Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Paper • 1908.10084 • Published • 13
This is a sentence-transformers model finetuned from Omartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertModel'})
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("Monad-dz/Arabic-Triplet-Titles-FT-response_v3")
# Run inference
sentences = [
'حيث أنه للأسباب المبينة أعلاه فإن الوجهين للطعن بالنقض غير مبررين يتعين رفضهما، و بالنتيجة رفض الطعن بالنقض لعدم التأسيس.\n\nحيث أن المصاريف القضائية تقع على عاتق الطاعنة طبقا لنص المادة 378 من قانون الإجراءات المدنية والإدارية.',
'حيث أنه للأسباب المبينة أعلاه فإن الوجه المثار من طرف الطاعن جاء غير مؤسس قانونا مما يستوجب بذلك رفض الطعن بالنقض لعدم التأسيس .',
'حيث أنه للأسباب المبينة أعلاه فإن أوجه الطعن بالنقض المثارة من طرف الطاعن جاءت غير مبررة قانونا مما يتعين معه رفض الطعن بالنقض لعدم التأسيس .\n\nحيث أن المصاريف القضائية تقع على عاتق الطاعن طبقا لنص المادة 378 من قانون الإجراءات المدنية و الإدارية.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.9938, 0.9972],
# [0.9938, 1.0000, 0.9948],
# [0.9972, 0.9948, 1.0000]])
anchor, positive, and negative| anchor | positive | negative | |
|---|---|---|---|
| type | string | string | string |
| details |
|
|
|
| anchor | positive | negative |
|---|---|---|
عن الوجه المثار |
لكن حيث يتبين من مطالعة الوجه المثار أنه يناقش الوقائع و السلطة التقديرية لها من طرف قضاة الموضوع إلا أن ذلك يدخل في سلطة تقدير قضاة الموضوع لأنه ليس من المسائل القانونية التي تخضع لرقابة المحكمة العليا أما بخصوص عنوان الوجه المتعلق بالقصور في التسبيب فانه بمطالعة القرار المطعون فيه يبين خلال مناقشة قضاة الدرجة للوقائع أول بأول بأنه يستخلص من ملف الدعوى أن الإستفسارات الموجهة للضحية على أساس التأخر عن العمل كانت الضحية بحيث عليها معترفة و تقدم بشأنها اعذار و تعتبر هذه الإجراءات في اطار العمل و أن قاضي الدرجة الأولى أسس حكمه على الإستنتاجات من خلال الإجراءات متابعتها في العمل و إعتبرها ضغوط معنوية للرضوخ لكي ينال من شرفها و انتهى قضاة المجلس أن ادعاءات الضحية يكتنفها شك لعدم وجود أي دليل خاصة و أن الشهود علموا من الضحية و لم يشاهدوا اي شيء و عليه فان الشك يفسر لصالح المتهم. |
حيث أن بالرجوع إلى القرار المطعون فيه يتبين أن قضاة الحكم قاموا بمناقشة تصريحات الشهود و هم حراس المكان الذي وقعت فيه الجريمة بذكرهم في القرارأن"منهم من أكد أن المتهمين و مجموعة كبيرة من الأطفال متعودين على صيد الحمام في المنطقة ولذالك توجهت الشكوك نحوهم " و حيث أن يتبين من أسباب المجلس أن قضاة الحكم أدركوا أن الوقائع المنسوبة للمتهمين لا يقابلها دليلا قاطعا و عللوا قرارهم على الشك الذي يسود الوقائع و فسروه بما فيه الكفاية لصالح المتهمين و عليه فالوجه المثار غير سديد |
عن الوجهين الثاني والثالث معا لإرتباطهما |
عن الوجهين معا لترابطهما |
حيث خلافا لمّا تدعيه الطاعنة تقدير نتائج الخبرة من الأمور الموضوعية الخاضعة للسلطة التقديرية لقضاة الموضوع متى علّلوا أخذهم بها , وقضاة المجلس لمّا بيّنوا أسباب الأخذ بنتائج الخبرتين قد برّروا رفضهم دفوعها الرامية إلى إجراء خبرة أخرى بأسباب كافية |
لكن حيث أن ما يثيره الطاعن بالوجه ما هو إلا تكرار لما جاء بالأوجه السابقة علما أن البلدية فعلا هي الوحيدة المخولة لإنهاء العلاقة القائمة بينها وبين المستفيدين من أملاكها في حالة ما إذا أرادت أن تنتهي الإستفادة وهو ما ليس عليه الحال في القضية المطروحة ذلك أن الطاعن لا يحوز على أي سند إستفادة ما عدا رخصة التسديد الممنوحة له من طرف المستفيدة الأصلية والدة المطعون ضده والتي توفيت ورجع حق الأستفادة من الطاولة موصضوع النزاع إلى إبنها الطاعن ومنها أصيح من حقه المطالبة بإسترجاع الأمكنة وعليه فإن الوجه غير سديد ويتعين رفضه. |
حيث أنه بالرجوع إلى القرار المطعون فيه أنه أيد الحكم المستأنف الذي بعدما صادق على الخبرات المنجزة واعتمد محضر التحقيق المنجز من طرف القضاة قضى برفض الدعوى الأصلية لعدم التأسيس والتي كانت ترمي إلى إلزام المدعو "ك.ج" بن "ص" وكل شاغل بإذنه بإخلاء القطعة الأرضية ذات الطابع الفلاحي مساحتها 18ه الواقعة بالمكان المسمى زانة البيضاء بحدودها وإلزامه بدفع تعويض قدره 00 000 000 1دج. |
لكن حيث من الثابت بالملف أن القضاة لم يرفضوا إجراء صلح كما تزعم الطاعنة لكنهم رفضوا دفعها المتضمن وقوع صلح طالما أنها لم ترفق بالملف ما يفيد ذلك هذا من جهة ومن جهة أخرى فإن القانون لايلزم القضاة بإجراء صلح في المادة التجارية وإنما الأمر يبقى جوازيّا بالنسبة لهم ومنه فإن الفرع من الوجه غير سديد. |
TripletLoss with these parameters:{
"distance_metric": "TripletDistanceMetric.COSINE",
"triplet_margin": 0.5
}
anchor, positive, and negative| anchor | positive | negative | |
|---|---|---|---|
| type | string | string | string |
| details |
|
|
|
| anchor | positive | negative |
|---|---|---|
حيث أن البين من عناصر النزاع و معطيات القرار أن قضاة المجلس طبقوا أحكام المادة 341 و 342 من القانون المدني و ذلك من خلال إشارتهم الصريحة إلى الإقرار الوارد في المقال الجوابي للطاعن أمام محكمة الدرجة الأولى |
لكن حيث أن القرارقد أعتمد على محضر التحقيق الذي أجرته المحكمة بين الأطراف وخلص من أقرار المطعون ضده الثاني بالواقعة القانونية وهي معاملة البيع,إلى ما انتهوا إليه من قضاءه و أن هذا التقريريدخل في سلطتهم التقديرية التي لا رقابة للمحكمة عليها والتي ليس من حقها من جهة أخرى أعادة تقديروسائل الإثبات التي أعتمدها القرارفالوجه إذا غيرمؤسس. |
عن الأوجه الثلاثة لترابطها و تكاملها |
ـ عن الوجه الأول |
عن الوجه الثاني |
عن الوجه الأول بفروعه الثلاثة |
عن الفرع الثاني |
عن الوجه الثاني |
عن الوجه الأول |
TripletLoss with these parameters:{
"distance_metric": "TripletDistanceMetric.COSINE",
"triplet_margin": 0.5
}
eval_strategy: stepsper_device_train_batch_size: 200per_device_eval_batch_size: 512gradient_accumulation_steps: 8learning_rate: 2e-05num_train_epochs: 15warmup_ratio: 0.1bf16: Trueload_best_model_at_end: Truepush_to_hub: Truehub_model_id: Monad-dz/Arabic-Triplet-Titles-FT-response_v3overwrite_output_dir: Falsedo_predict: Falseeval_strategy: stepsprediction_loss_only: Trueper_device_train_batch_size: 200per_device_eval_batch_size: 512per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 8eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 2e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 15max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falsebf16: Truefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Trueignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedeepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torch_fusedoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthproject: huggingfacetrackio_space_id: trackioddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Trueresume_from_checkpoint: Nonehub_model_id: Monad-dz/Arabic-Triplet-Titles-FT-response_v3hub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsehub_revision: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters: auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: noneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseliger_kernel_config: Noneeval_use_gather_object: Falseaverage_tokens_across_devices: Trueprompts: Nonebatch_sampler: batch_samplermulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}| Epoch | Step | Training Loss | Validation Loss |
|---|---|---|---|
| 0.0594 | 20 | 0.6129 | 0.6127 |
| 0.1189 | 40 | 0.5839 | 0.5693 |
| 0.1783 | 60 | 0.5448 | 0.5320 |
| 0.2377 | 80 | 0.5197 | 0.5135 |
| 0.2972 | 100 | 0.5085 | 0.5061 |
| 0.3566 | 120 | 0.5041 | 0.5032 |
| 0.4160 | 140 | 0.5023 | 0.5019 |
| 0.4755 | 160 | 0.5014 | 0.5013 |
| 0.5349 | 180 | 0.501 | 0.5009 |
| 0.5944 | 200 | 0.5007 | 0.5006 |
| 0.6538 | 220 | 0.5005 | 0.5005 |
| 0.7132 | 240 | 0.5004 | 0.5004 |
| 0.7727 | 260 | 0.5003 | 0.5003 |
| 0.8321 | 280 | 0.5002 | 0.5002 |
| 0.8915 | 300 | 0.5002 | 0.5002 |
| 0.9510 | 320 | 0.5002 | 0.5002 |
| 1.0089 | 340 | 0.5001 | 0.5001 |
| 1.0684 | 360 | 0.5001 | 0.5001 |
| 1.1278 | 380 | 0.5001 | 0.5001 |
| 1.1872 | 400 | 0.5001 | 0.5001 |
| 1.2467 | 420 | 0.5001 | 0.5001 |
| 1.3061 | 440 | 0.5001 | 0.5001 |
| 1.3655 | 460 | 0.5001 | 0.5000 |
| 1.4250 | 480 | 0.5 | 0.5000 |
| 1.4844 | 500 | 0.5 | 0.5000 |
| 1.5438 | 520 | 0.5 | 0.5000 |
| 1.6033 | 540 | 0.5 | 0.5000 |
| 1.6627 | 560 | 0.5 | 0.5000 |
| 1.7221 | 580 | 0.5 | 0.5000 |
| 1.7816 | 600 | 0.5 | 0.4998 |
| 1.8410 | 620 | 0.4996 | 0.5002 |
| 1.9004 | 640 | 0.5001 | 0.5000 |
| 1.9599 | 660 | 0.5 | 0.4999 |
| 2.0178 | 680 | 0.4974 | - |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{hermans2017defense,
title={In Defense of the Triplet Loss for Person Re-Identification},
author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
year={2017},
eprint={1703.07737},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Base model
aubmindlab/bert-base-arabertv02