Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Paper • 1908.10084 • Published • 13
This is a sentence-transformers model finetuned from Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertModel'})
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("Monad-dz/Arabic-Triplet-Titles-FT-response_v6")
# Run inference
sentences = [
'عن الوجه الوحيد\n\nحيث انه بخلاف ما يدعيه النائب العام لدى مجلس قضاء بشار فانه يتبين من خلال مراجعة اوراق الملف لا سيما القرار المطعون فيه ان قضاة المجلس سببوا قرارهم تسبيبا كافيا ذلك انهم ناقشوا الافعال المنسوبة للمتهمين والمتمثلة في حيازة المؤثرات العقلية بغرض البيع وتوصلوا الى كونها تشكل جنحة عرض المؤثرات العقلية على الغير بهدف الاستعمال الشخصي بالنسبة للمتهم فوراك عبدالرزاق وجنحة الحيازة من اجل الاستهلاك الشخصي بالنسبة للمتهمين بحوصي توفيق ويحياوي نصر الدين وانها ثابتة ضدهم اعتمااد على اسباب تم ابرازها بالقرار المنتقد وهو ما يدخل ضمن الصلاحيات المخولة لقضاة الموضوع في تقدير الوقائع على ضوء ما يتضمنه الملف من عناصر وما يدور بجلسة المحاكمة وإعطاء الوصف القانوني الملائم ومن ثمة جاء الوجه المثار غير وجيه مما يتعين رده وبالتالي التصريح برفض الطعن.',
'عن الوجه الوحيد المثار حول القصور في الأسباب\n\nحيث أنه بمراجعة القرار المطعون فيه يتجلى أن قضاة الموضوع قد ناقشوا بوضوح وقائع الأفعال المنسوبة إلى المتهم المطعون ضده دون أن يستخلصوا منها الأدلة الكافية لإدانته بها فصرحوا ببراءته وفق سلطتهم التقديرية في ذلك الأمر أن يجعل نعي النائب العام قرارهم غير سديد لذلك يتعين رفض طعنه لعدم التأسيس .',
'لكن حيث أنه باستقراء حيثيات القرار المطعون فيه يتبين أن قضاة الموضوع بالمجلس قد عللوا وسببوا قضاءهم بما فيه الكفاية والوضوح إذ عاينوا الوقائع وناقشوها وتوصلوا في قرارهم بعدم صحة إسناد جرم أخذ صور لهيئة نظامية طبقا للمادتين 70- 74 من قانون العقوبات للمطعون ضده بوشارب الزايدي وقضوا ببراءته لعدم توفر أركان الجرم محل المتابعة وقد أورد القرار المنتقد ذلك بقوله في الحيثية التالية\n\n( ( حيث أنه بالرجوع إلى الملف والحكم المستأنف يتضح وأن نص المادتين المتابعين بها المتهم لا تتطابقان على وقائع الحال لكون المادة المتابع بها المتهم تعاقب كل من أخذ صور في منطقة محرمة حددتها السلطة العسكرية أو البحرية والقيام كذلك بتصوير منشآت ومراكز عسكرية أو بحرية التي تهم الدفاع الوطني بغير إذن من تلك السلطة وما دامت الشرطة تندرج ضمن هيئة عمومية مدنية فإنها لا تدخل في قائمة الفئة المحددة بنص المادة المتابع بها المتهم مما يستوجب معه القول بعدم ثبوت التهمة ضده وبالتالي إخراجه من رباط التهمة والتصريح ببراءته طبقا للقانون. ) )\n\nحيث أن قضاة الموضوع بالمجلس قدروا الوقائع التي عرضت عليهم بناء على سلطتهم التقديرية المخولة لهم قانونا وبنوا قضاءهم حسب الأدلة المقدمة لهم في معرض المرافعات والتي حصلت المناقشة فيها حضوريا أمامهم طبقا للمادة 212 من قانون الاجراءات الجزائية.\n\nحيث أن القرار محل الطعن جاء مسببا تسبيبا قانونيا يتماشى مع مقتضيات أحكام المادة 379 من قانون الإجراءات الجزائية إضافة إلى أنه قد أيد حكما مسببا هو الآخر مما يجعل ما أثاره الطاعن النائب العام في الوجه الوحيد غير سديد يتعين رفضه و معه رفض الطعن موضوعا.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000, 0.5444, -0.3106],
# [ 0.5444, 1.0000, 0.0053],
# [-0.3106, 0.0053, 1.0000]])
anchor, positive, and negative| anchor | positive | negative | |
|---|---|---|---|
| type | string | string | string |
| details |
|
|
|
| anchor | positive | negative |
|---|---|---|
حيث إن ما ثثيره الطاعنة في هذا الفرّع في غير محله , ذلك أنه وكما جاء في أسباب الحكم الصادر في الدعوى بتاريخ 06 - 06 - 2013,طبقا للمرسوم الرئاسي رقم 02 - 195 المؤرخ في في 01 - 06 - 2002 المتضمن القانون الأساسي للشركة الجزائرية للكهرباء والغاز المسماة سونلغاز " شركة ذات أسهم" والحال تسمية الطاعنة المتعارف عليها هي "سونلغاز" رفع الدعوى ضدّها بهذه التسمية المعطاة لها بموجب المرسوم الرئاسي المذكور أعلاه مع بيان طبيعتها القانونية , وممثلها القانوني , والإشارة أيضا إلى مركزها بالبويرة , أي مديرية التوزيع بالبويرة , لا يعرض عريضة إفتتاح الدعوى لعدم القبول وعليه يتعيّن رفض الفرع |
لكن حيث إنه يتبين بالرجوع إلى الحكم محل الطعن بالنقض أن المحكمة أمرت بضم دعوى الطاعن ودعوى المطعون ضدها بموجب الحكم المؤرخ في 2016.11.08 فهرس رقم 16/34 وهو حكم غير قابل لأي طعن كما تنص عن ذلك المادة 209 من قانون الإجراءات المدنية والإدارية |
و لكن لا تكون لتلك الأحكام هذه الحجية إلا في نزاع قائم بين الخصوم أنفسهم دون أن تتغير صفاتهم و تتعلق بحقوق لها نفس المحل و السبب و لا يجوز للمحكمة ان تأخذ بهذه القرينة تلقائيا ". |
حيث أنه بالرجوع إلى أوراق ملف الطعن، أن قضاة المجلس اكتفوا بدراسة ظاهر عقد الاعتراف بالدين محل طلب الابطال و كيفية تحريره للوصول إلى تقرير صحته بالقول أن أرادة الطاعن أنصبت على محل و سبب مشروعين و أن العقد حرره ضابط عمومي و لم يكلفوا أنفسهم عناء البحث في سبب التزام الطاعن بدفع المبلغ المحدد بعقد الاعتراف بالدين للمطعون ضده للتحقق مما أذا كان المبلغ دينا بذمته تجاه المطعون ضده واجب السداد أم أن له سببا آخر بما في الملف من معطيات كالقضية الجزائية المفصول فيها بحكم مؤيد بقرار و التحقيق المدني الذي أجراه قاضي أول درجة قد تساعدهم على التعرف على نية الطرفين بدل الوقوف عند المعنى الحرفي للعقد ذلك أن أستيفاء العقد للشروط القانونية عند تحريره لا يحصنه من رقابة القضاء المدني للتأكد من نية الطاعن عند أبرامه على ضوء أحكام القانوني المدني المقررة للعقود و بقضائهم ذلك يكونون قد قصروا في تسبيب قرارهم مما يعرضه للنقض |
عن الوجه الوحيد |
حول الأوجه الثلاثة لإرتباطهم |
حيث بالاطلاع مجددا على القرار المطعون فيه يتبين فعلا أن قضاة المجلس لم يسببوا قرارهم بما فيه الكفاية ولم يناقشوا الوقائع المعروضة عليهم بكيفية دقيقة و واضحة وذلك بإبراز عناصر جريمة السرقة بظرف التسلق طبقا للمادة 354/ف3 من قانون العقوبات الملاحق بها المتهم المطعون ضده مرضي رضا إذ أنهم لم يبرروا قضاءهم ولم يذكروا النصوص القانونية المطبقة المادة المطبقة إذ لم يذكروا المادتين 592 و594 من قانون الاجراءات الجزائية و كما فعلوا شابوا قرارهم بالقصور في التسبيب مخالفين أحكام المادة 379 من نفس القانون ومن ثمة فإن الوجه الوحيد المثار من طرف الطاعن النائب العام مؤسس وسديد موضوعا يفتح مجالا لنقض وابطال القرار المطعون فيه. |
لكن حيث أنه وخلافاً لنعي الطاعن فإنه يتبين من القرار المطعون فيه القاضي بإلغاء الحكم المستأنف والقضاء من جديد ببراءة المتهم عن مخالفة الضرب والجرح العمدي أن قضاة الإستئناف إمتثلوا للنقطة القانونية التي قطعت فيها المحكمة العليا طبقاً لنص المادة 524 من قانون الإجراءات الجزائية ذلك بتسبيب قرارهم طبقاً لنص المادة 379 من نفس القانون إذ أنهم خلصوا من خلال دراسة أوراق الملف ووثائقه والمناقشات التي دارت بالجلسة إنعدام الدليل المادي الذي يفيد قيامه بالمخالفة السالفة الذكر مستبعدين بذلك تصريحات الضحية والشهادة الطبية المقدمة من طرفها مستعملين قضاة الموضوع سلطتهم في تقدير وقائع الدعوى وأدلة إثباتها والذين لا رقابة عليهم فيها من طرف المحكمة العليا وبذلك يكون قرارهم قد جاء مسبباً تسبيباً كافياً ممّا يجعل من الوجه المثار غير سديد تعين رفضه ورفض الطعن. |
حيث أنه من المقرر قانونا أن الأحكام والقرارات القضائية يجب أن تتضمن تسبيبا كافيا لما قضت به من إدانة أو براءة المتهم عن الجرم المتابع به. |
TripletLoss with these parameters:{
"distance_metric": "TripletDistanceMetric.COSINE",
"triplet_margin": 0.4
}
anchor, positive, and negative| anchor | positive | negative | |
|---|---|---|---|
| type | string | string | string |
| details |
|
|
|
| anchor | positive | negative |
|---|---|---|
لكن حيث الطاعن يقر في مذكرة المقدمة من دفاعه أنه لم يحضر أمام قضاة المجلس و بذلك لم يبد دفوعه و بذلك فإنه لا يمكن مؤاخذة القضاة على عدم تمكين الطاعن من هذا الإجراء لأنه يمكن الإحتجاج به لعدم إستجواب المتهم الذي تغيب بدون مبرر مما يتعين رفض الوجه لمخالفته القانون و من ثم رفض الطعن. |
لكن حيث أن القرار المطعون فيه يحمل دليل شرعيته وقانونيته وأن من المؤكد أنه قد صدر بعد أن عطيت الكلمة الأخيرة للمتهم وفق ما تنص عليه أحكام المادة 04/431 من قانون الإجراءات الجزائية وعليه كان على الطاعن إن لم يتم هذا الإجراء الجوهري أن يقدم ما يثبت ذلك واعتبارا أنه لم يفعل يتعين رفض ما جاء في هذا الوجه كما أنه يتبين من ديباجة القرار المطعون فيه الإشارة الواضحة إلى اسم ولقب الرئيس المقرر وهو السيد تقية علي و أنه من المؤكد أن هذا الأخير قد قام بتلاوة تقريره الشفوي في الجلسة وفق ما تقتضيه أحكام المادة 01/431 من قانون الإجراءات الجزائية وعليه كان على الطاعن إن لم يتم احترام هذا الإجراء الجوهري أن يقدم ما يثبت ذلك واعتبارا أنه لم يفعل يتعين رفض ما جاء في هذا الوجه. |
لكن بالرجوع إلى القرارالمطعون فيه يتبين أن قضاة المجلس قد سببوه بالقول |
لكن حيث بالرجوع إلى القرار المطعون فيه وبعكس ما يؤاخذه الطاعنون يتبين وأن القرار في صفحته الثانية الحيثية الثالثة عشر منها ورد ما يلي |
لكن حيث أن القرار المطعون فيه يحمل دليل شرعيته وقانونيته وأن من المؤكد أنه قد صدر بعد أن عطيت الكلمة الأخيرة للمتهم وفق ما تنص عليه أحكام المادة 04/431 من قانون الإجراءات الجزائية وعليه كان على الطاعن إن لم يتم هذا الإجراء الجوهري أن يقدم ما يثبت ذلك واعتبارا أنه لم يفعل يتعين رفض ما جاء في هذا الوجه كما أنه يتبين من ديباجة القرار المطعون فيه الإشارة الواضحة إلى اسم ولقب الرئيس المقرر وهو السيد تقية علي و أنه من المؤكد أن هذا الأخير قد قام بتلاوة تقريره الشفوي في الجلسة وفق ما تقتضيه أحكام المادة 01/431 من قانون الإجراءات الجزائية وعليه كان على الطاعن إن لم يتم احترام هذا الإجراء الجوهري أن يقدم ما يثبت ذلك واعتبارا أنه لم يفعل يتعين رفض ما جاء في هذا الوجه. |
عن الوجه الأول المثار من دفاع المتهم الطاعن المؤدي للنقض |
غير أنه يستشف بالرجوع إلى الحكم المطعون فيه أنه أشار في مقدماته إلى " بالجلسة العلنية المنعقدة ....." طبقا لأحكام المادة 521 من قانون الإجراءات الجزائية الأمر الذي يجعل الوجه هذا كسابقه غير مجدي ينبغي رفضه و معه رفض الطعن لعدم التأسيس. |
حيث فضلا عن كون ما ذكره الطاعن غير واضح و جاء يذكر أشياء مختلفة تتعلق بإصدار حكما سريا دون إشتراك المحلفين مخالفا للمادة 285 من قانون الإجراءات الجزائية و التي تلزم أن يصدر الحكم في جلسة علنية فإنه و بالرجوع إلى محضر المرافعات الذي يعد الوثيقة المثبتة للإجراءات يتبين و أنه أشار بصفحته الثانية أن رئيس الجلسة أمر بجعل الجلسة سرية ما يفيد و أن هذا الإجراء كان علنيا. |
لكن حيث أن هذا النعي في غير محله |
TripletLoss with these parameters:{
"distance_metric": "TripletDistanceMetric.COSINE",
"triplet_margin": 0.4
}
eval_strategy: stepsper_device_train_batch_size: 200per_device_eval_batch_size: 512gradient_accumulation_steps: 8learning_rate: 2e-05num_train_epochs: 15warmup_ratio: 0.1bf16: Trueload_best_model_at_end: Truepush_to_hub: Truehub_model_id: Monad-dz/Arabic-Triplet-Titles-FT-response_v6overwrite_output_dir: Falsedo_predict: Falseeval_strategy: stepsprediction_loss_only: Trueper_device_train_batch_size: 200per_device_eval_batch_size: 512per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 8eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 2e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 15max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: Nonewarmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falsebf16: Truefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Trueignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedeepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torch_fusedoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthproject: huggingfacetrackio_space_id: trackioddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Trueresume_from_checkpoint: Nonehub_model_id: Monad-dz/Arabic-Triplet-Titles-FT-response_v6hub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsehub_revision: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters: auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: noneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseliger_kernel_config: Noneeval_use_gather_object: Falseaverage_tokens_across_devices: Trueprompts: Nonebatch_sampler: batch_samplermulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}| Epoch | Step | Training Loss | Validation Loss |
|---|---|---|---|
| 0.1226 | 20 | 0.4518 | 0.4455 |
| 0.2452 | 40 | 0.4275 | 0.4173 |
| 0.3678 | 60 | 0.4097 | 0.4051 |
| 0.4904 | 80 | 0.4029 | 0.4016 |
| 0.6130 | 100 | 0.401 | 0.4002 |
| 0.7356 | 120 | 0.3997 | 0.3980 |
| 0.8582 | 140 | 0.3832 | 0.3415 |
| 0.9808 | 160 | 0.309 | 0.2613 |
| 1.0981 | 180 | 0.249 | 0.2155 |
| 1.2207 | 200 | 0.2105 | 0.1837 |
| 1.3433 | 220 | 0.1861 | 0.1637 |
| 1.4659 | 240 | 0.1679 | 0.1471 |
| 1.5885 | 260 | 0.1532 | 0.1351 |
| 1.7111 | 280 | 0.1419 | 0.1203 |
| 1.8337 | 300 | 0.1282 | 0.1120 |
| 1.9563 | 320 | 0.1192 | 0.1041 |
| 2.0736 | 340 | 0.1091 | 0.0957 |
| 2.1962 | 360 | 0.0997 | 0.0901 |
| 2.3188 | 380 | 0.096 | 0.0851 |
| 2.4414 | 400 | 0.091 | 0.0811 |
| 2.5640 | 420 | 0.0875 | 0.0788 |
| 2.6866 | 440 | 0.0838 | 0.0723 |
| 2.8092 | 460 | 0.0808 | 0.0692 |
| 2.9318 | 480 | 0.0784 | 0.0670 |
| 3.0490 | 500 | 0.0726 | 0.0655 |
| 3.1716 | 520 | 0.0659 | 0.0613 |
| 3.2943 | 540 | 0.0664 | 0.0592 |
| 3.4169 | 560 | 0.0629 | 0.0583 |
| 3.5395 | 580 | 0.0618 | 0.0541 |
| 3.6621 | 600 | 0.059 | 0.0539 |
| 3.7847 | 620 | 0.0576 | 0.0520 |
| 3.9073 | 640 | 0.0559 | 0.0502 |
| 4.0245 | 660 | 0.0549 | 0.0536 |
| 4.1471 | 680 | 0.0514 | 0.0488 |
| 4.2697 | 700 | 0.0503 | 0.0480 |
| 4.3923 | 720 | 0.0505 | 0.0455 |
| 4.5149 | 740 | 0.0474 | 0.0446 |
| 4.6375 | 760 | 0.0467 | 0.0432 |
| 4.7602 | 780 | 0.0468 | 0.0437 |
| 4.8828 | 800 | 0.0449 | 0.0417 |
| 5.0 | 820 | 0.043 | 0.0407 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{hermans2017defense,
title={In Defense of the Triplet Loss for Person Re-Identification},
author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
year={2017},
eprint={1703.07737},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Base model
aubmindlab/bert-base-arabertv02