Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Paper • 1908.10084 • Published • 13
This is a sentence-transformers model finetuned from Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertModel'})
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("Monad-dz/Arabic-Triplet-Titles-FT-response_v4")
# Run inference
sentences = [
'عن الوجهين السابقين مجتمعين\nو لكن حيث أنه يتبين من مراقبة أسباب الحكم المستأنف المؤيد بالقرار المطعون فيه أن القاضي الأول ناقش الوقائع المنسوبة للمتهم الطاعن و اعتمد في إثبات الإدانة على اعتراف المتهم على أنه هو من قام بكتابة الرسالة الموجهة للنائب العام و التي تضمنت عبارات إهانة في حق هيئة عمومية و هي محكمة عين صالح.\n\nحيث أن القرار المطعون فيه لم يسء حالة المتهم المستأنف و اكتفى بتأييد الحكم المستأنف في الدعوى الجزائية و في الدعوى المدنية فإن ديباجة الحكم المستانف تشير إلى الوكيل القضائي للخزينة العمومية كطرف مدني و بعد الإستئناف فإن أسباب القرار المطعون فيه تشير حرفيا إلى أنه "بعد الإستماع إلى دفاع الطرف المدني الذي التمس التمسك بطلباته السابقة و هي الطلبات التي قام المجلس بتخفيضها إلى مبلغ 10.000 دج".\n\nحيث أن القرار المطعون فيه جاء مستوفيا للشروط القانونية المطلوبة لصحته و لذلك يجب رفض الوجهين المثارين و معهما رفض الطعن.',
'حيث بالفعل باستقراء القرار المطعون فيه يتبين أن قضاة المجلس لم يحللوا الوقائع تحليلا كافيا و لم يتعرضوا إلى أركان التهمة المنسوبة للمطعون ضدهم, كما لم يناقشوا الحكم المستأنف و التسبيب الذي توصل به قاضي الدرجة الأولى إلى نتيجة الإدانة, بل أكتفوا بثلاث حيثيات للوصول إلى نتيجة البراءة دون الوقوف على الواقعة الأساسية في القضية فلم يتحروا في مدى توفر الركن المادي لجنحة الشروع في إبعاد قاصر لم تكمل 18 سنة و هو أن مصالح الضبطية القضائية ضبطوا المتهمين الثلاثة متلبسين داخل السيارة نوع 206 تحمل رقم 25-104- 06520 التي كانوا على متنها و هي تصرخ و طالبة النجدة و كان المطعون ضده طهاري نصر الدين يحاول الإمساك بيدها لم يشير قضاة المجلس خلال مناقشتهم للوقائع و تعليل قرارهم إلى هذه الواقعة .\n\nحيث أن تعليلا من هذا القبيل لا يصلح لقضاء الدرجة الثانية, باعتباره جاء مقتضبا في تطرقه للوقائع المتابع بها المطعون ضدهم, كما لم يأتوا بتعليل يفند التعليل الذي اعتمده قاضي الدرجة الأولى الذي توصل إلى نتيجة الإدانة, فجاء قضاءهم مشوبا بعيب قصور الأسباب و موجب للنقض عن هذا الوجه لوحده دون حاجة إلى مناقشة الوجه الثاني.\n\nحيث أن المصاريف القضائية تكون في هذه الحالة على المطعون ضدهم, طبقا للمادة 524 من قانون الإجراءات الجزائية.',
'لكن حيث أن النائب العام الطاعن جاء بوجه مقتضب لا يتبين منه أين تكمن مواطن قصور الأسباب حتى يتسنى للمحكمة العليا مناقشتها والرد عليها ومع ذلك فإنه يتبين من قراءة القرار المطعون فيه أن قضاة الإستئناف قد ناقشوا الوقائع المنسوبة إلى المتهم وخلصوا إلى نتيجة قضائهم ببراءته وقد سببوه بما فيه الكفاية بالقول\n\n( ( حيث يتضح من ملف الدعوى والمناقشات الحضورية أمام المجلس أن رئيس المصلحة بصندوق التقاعد يعتبر أن التقرير الذي أقامه ضده المدير إلى اللجنة المتساوية الأعضاء يوجد فيه قذف يتمثل في أن التقرير ذكر أن المذكور له سوابق قضائية. ) ) وكذا\n\n( ( حيث أنه بالرجوع إلى محضر اجتماع التأديب المودع بالملف فإنه يتضح أن هذه اللجنة ذكرت السوابق التأديبية ونوعها وتاريخها وأنها لم تتكلم اطلاقا عن السوابق القضائية مما يجعل المجلس يرى أنه فعلا وقع خطأ مادي في الكتابة. ) ) وكذا\n\n( ( وحيث أن عبارة قضائية بدلا من تأديبية الواردة في تقرير إلى اللجنة المتساوية الأعضاء لا تتضمن تحقيرا أو قدحا بمفهوم المادتين 296 و 297 من قانون العقوبات. ) ) .\n\nوحيث بتسبيبهم هذا أبرز قضاة الإستئناف الوسائل التي اعتمدوها للوصول إلى نتيجة قضائهم بعدم صحة اسناد الجرم إلى المتهم المطعون ضده بعدما قدروا الوقائع المنسوبة إليه ومحصوا أدلة الإثبات المعروضة عليهم والتي لم يستخلصوا منها ثبوت ارتكابه لها وهذا بناء على سلطتهم التقديرية المخولة لهم قانونا بموجب أحكام نص المادة 212 من قانون الإجراءات الجزائية.\n\nوحيث بالتالي جاء القرار المطعون فيه معللا بما فيه الكفاية ومراعيا لما تنص عليه أحكام المادة 379 من قانون الإجراءات الجزائية الأمر الذي يجعل ما يثيره الطاعن في هذا الوجه غير مؤسس وغير سديد مما يستوجب رفضه ورفض الطعن معه.\n\nفيما يخص طعن الطرف المدني\n\nحيث أنه بموجب كتاب موصى عليه مع الإشعار بالإستلام تم إنذار الطاعن ليتسنى له إيداع مذكرة تتضمن أوجه طعنه بالنقض وهي محررة وموقعة من طرف محام معتمد لدى المحكمة العليا في ظرف شهر واحد من تاريخ الإنذار تطبيقا لنص المادة 505 من قانون الإجراءات الجزائية غير أن الطاعن لم يمتثل إلى الإنذار الموجه إليه ولم يقدم أية مذكرة تتضمن أوجه طعنه بواسطة محام مقبول لدى المحكمة العليا مما يستوجب في هذه الحالة التصريح بعدم قبول الطعن بالنقض شكلا وفقا للمادة سالفة الذكر.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.9998, 0.9998],
# [0.9998, 1.0000, 0.9999],
# [0.9998, 0.9999, 1.0000]])
anchor, positive, and negative| anchor | positive | negative | |
|---|---|---|---|
| type | string | string | string |
| details |
|
|
|
| anchor | positive | negative |
|---|---|---|
وحيث أنه بالفعل فإنه يتبين من خلال أوراق الملف لاسيما القرارالمطعون فيه أن قضاة المجلس لم يسببواقرارهم تسبيبا كافيا ذلك أنهم أكتفوا بتأييد الحكم المستأنف القاضي بإدانة المتهمين بالأفعال المنسوبة إليهم إعتمادا على حيثية وحيدة عامة وسطحية مفادها أن قاضي الدرجة الأولى أصاب في حكمه مما يستوجب تأييده. |
وعليه فإن الوجه المثار يجد مستقرًا له لسداده مما يتعين معه قبوله وبالنتيجة نقض القرار المطعون فيه وهذا دون الحاجة للرد عن الوجه الثاني. |
عن الوجه الوحيد المثار |
فعلا حيث أنه يتبين من قراءة القرار المطعون فيه أنه جاء في منطوقه اعتبار معارضة المتهم الطاعن كأن لم تكن وأنه بصدور هذا الأخير يسترجع القرار الغيابي صلاحياته ويشكل معه كلا لا يتجزأ وأنه بالرجوع إليه فإنه يتبين منه أن قضاة الإستئناف قد خلصوا إلى نتيجة قضائهم بإلغاء الحكم المستأنف القاضي ببراءة المتهم الطاعن وقضوا بإدانته من اجل جرم الإدلاء بإقرارات كاذبة غير أنهم لم يسببوه بما فيه الكفاية مكتفين بالقول |
عن الوجهين الثاني والثالث لارتباطهما |
فعلا حيث أن ما يثيره الطاعن في هذا الوجه مؤسس وله ما يبرره بحيث أنه بصدور القرار المطعون فيه القاضي باعتبار المعارضة كأن لم تكن يسترد القرار الغيابي صلاحياته ويشكل معه كلا لا يتجزأ وأنه بالرجوع إليه فإنه يتبين أن قضاة الإستئناف لم يؤسسوا لقضائهم مكتفين بتعليل قرارهم بالقول |
حيث أنه بالرجوع إلى القرار المطعون فيه الذي أيد الحكم الصادر عن محكمة أول درجة القاضي بعدم قبول دعوى الطاعن "س.ع" الرامية إلى إبطال عقد إيداع وثائق قضائية مشهرة المؤرخ في 2007/11/17 رقم 76 حجم 488. |
ـ عن الوجهين الأول و الثاني معا لتكاملهما |
حيث أنه خلافا لما ذهب إليه الطاعنين أن قضاة الموضوع أجابوا وبإسهاب على كل الدفوع والطلبات محترمين في تلك المادة 4/554 من قانون الإجراءات المدنية والإدارية متمسكين بقرار المحكمة العليا بإعتبار أن القرار المطعون فيه جاء في إطار إعادة السير في الدعوى بعد النقض والإحالة وذكر قضاة الموضوع أن الحيازة لم تكن هادئة بل كانت مشوبة بغموض ولبس مما يجعل الركن المادي غير متوفر زيادة على ما تضمنته تصريحات الشاهدين المستمع إليهما من أن المرجع الحالي أي المدعو "م.م" إبن "ا" هو الذي كان يشغل القطعة الأرضية محل عقد الشهرة منذ عشرات السنين. |
TripletLoss with these parameters:{
"distance_metric": "TripletDistanceMetric.COSINE",
"triplet_margin": 0.4
}
anchor, positive, and negative| anchor | positive | negative | |
|---|---|---|---|
| type | string | string | string |
| details |
|
|
|
| anchor | positive | negative |
|---|---|---|
حيث أن الوجه المؤسس عليه الطعن لايمكن أن يؤسس على اعادة طرح الوقائع وثبوتها من عدمه , وأن تقديرالوقائع وعناصرالإثبات من اختصاص قضاة الموضوع. |
عن الوجه الوحيد المثار من قبل النائب العام |
علما أن هذه المسألة مخوٌلة لقضاة الموضوع بقوة القانون وبدون منازع. |
عن الوجهين السابقين مجتمعين |
حيث بالرجوع إلى القرار المطعون فيه يتضح وأن قضاة المجلس سببوا قضاءهم بالقول |
عن الوجه الوحيد المثار من لدن النائب العام |
عن الوجه الثاني للطعن و حيث أنه خلافا لما أثاره الطاعن فإن نص المادة 327 من قانون العقوبات لم يشترط لقيام الجريمة أن يكون الأمر القضائي مشمولا بالنفاذ المعجل أو نهائيا بل يكفي أن يكون الطرف المحكوم لصالحه الحكم قد سعى لتنفيذه وفقا للقانون و أن المحكوم عليه امتنع عن الامتثال و تمت معاينة ذلك بالطرق القانونية و هو ما أبرزه قضاة الموضوع في قضية الحال مما يجعل الوجه المثار غير سديد. |
أما عن جنحة إبعاد قاصرة دون 18 سنة من عمرها فإن المجلس عاين الوقائع وحللها وتوصل إلى الإستنتاج بأن المتهم أثرعلى الضحية سوداني صليحة وأبعدها ماديا عن الوسط الذي تعيش فيه وأخذها من الحدب الخفجي أين مارس عليها الجنس لعدة مرات وكان عمرها آنذاك أقل من 18 سنة ... |
لكن حيث أن الطاعن جاء بوجه جد مقتضب لا يتبين منه أين تكمن مواطن قصور أسباب القرار المطعون فيه حتى يتسنى للمحكمة العليا مناقشتها والرد عليها هذا من جهة. |
TripletLoss with these parameters:{
"distance_metric": "TripletDistanceMetric.COSINE",
"triplet_margin": 0.4
}
eval_strategy: stepsper_device_train_batch_size: 200per_device_eval_batch_size: 512gradient_accumulation_steps: 8learning_rate: 2e-05num_train_epochs: 15warmup_ratio: 0.1bf16: Trueload_best_model_at_end: Truepush_to_hub: Truehub_model_id: Monad-dz/Arabic-Triplet-Titles-FT-response_v4overwrite_output_dir: Falsedo_predict: Falseeval_strategy: stepsprediction_loss_only: Trueper_device_train_batch_size: 200per_device_eval_batch_size: 512per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 8eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 2e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 15max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falsebf16: Truefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Trueignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedeepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torch_fusedoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthproject: huggingfacetrackio_space_id: trackioddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Trueresume_from_checkpoint: Nonehub_model_id: Monad-dz/Arabic-Triplet-Titles-FT-response_v4hub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsehub_revision: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters: auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: noneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseliger_kernel_config: Noneeval_use_gather_object: Falseaverage_tokens_across_devices: Trueprompts: Nonebatch_sampler: batch_samplermulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}| Epoch | Step | Training Loss | Validation Loss |
|---|---|---|---|
| 0.0614 | 20 | 0.5624 | 0.5612 |
| 0.1228 | 40 | 0.518 | 0.4948 |
| 0.1842 | 60 | 0.46 | 0.4417 |
| 0.2456 | 80 | 0.425 | 0.4170 |
| 0.3070 | 100 | 0.4106 | 0.4076 |
| 0.3684 | 120 | 0.4049 | 0.4040 |
| 0.4298 | 140 | 0.4028 | 0.4024 |
| 0.4912 | 160 | 0.4018 | 0.4016 |
| 0.5526 | 180 | 0.4012 | 0.4011 |
| 0.6140 | 200 | 0.4008 | 0.4008 |
| 0.6754 | 220 | 0.4006 | 0.4006 |
| 0.7368 | 240 | 0.4005 | 0.4005 |
| 0.7982 | 260 | 0.4004 | 0.4004 |
| 0.8596 | 280 | 0.4003 | 0.4003 |
| 0.9210 | 300 | 0.4002 | 0.4002 |
| 0.9823 | 320 | 0.4002 | 0.4002 |
| 1.0430 | 340 | 0.4002 | 0.4002 |
| 1.1044 | 360 | 0.4001 | 0.4001 |
| 1.1658 | 380 | 0.4001 | 0.4001 |
| 1.2272 | 400 | 0.4001 | 0.4001 |
| 1.2886 | 420 | 0.4001 | 0.4001 |
| 1.3500 | 440 | 0.4001 | 0.4001 |
| 1.4114 | 460 | 0.4001 | 0.4001 |
| 1.4728 | 480 | 0.4001 | 0.4001 |
| 1.5342 | 500 | 0.4001 | 0.4001 |
| 1.5955 | 520 | 0.4001 | 0.4001 |
| 1.6569 | 540 | 0.4001 | 0.4001 |
| 1.7183 | 560 | 0.4 | 0.4000 |
| 1.7797 | 580 | 0.4 | 0.4000 |
| 1.8411 | 600 | 0.4 | 0.4000 |
| 1.9025 | 620 | 0.4 | 0.4000 |
| 1.9639 | 640 | 0.4 | 0.4000 |
| 2.0246 | 660 | 0.4 | 0.4000 |
| 2.0860 | 680 | 0.4 | 0.4000 |
| 2.1474 | 700 | 0.4 | 0.4000 |
| 2.2087 | 720 | 0.4 | 0.4000 |
| 2.2701 | 740 | 0.4 | 0.4000 |
| 2.3315 | 760 | 0.4 | 0.4000 |
| 2.3929 | 780 | 0.4 | 0.4000 |
| 2.4543 | 800 | 0.4 | 0.4000 |
| 2.5157 | 820 | 0.4 | 0.4000 |
| 2.5771 | 840 | 0.4 | 0.4000 |
| 2.6385 | 860 | 0.3999 | - |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{hermans2017defense,
title={In Defense of the Triplet Loss for Person Re-Identification},
author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
year={2017},
eprint={1703.07737},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Base model
aubmindlab/bert-base-arabertv02