sbert_training / epoch2 /model /README.md
jstAnotherCapi's picture
Upload folder using huggingface_hub
d2a5f53 verified
metadata
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - dense
  - generated_from_trainer
  - dataset_size:3954179
  - loss:MatryoshkaLoss
  - loss:MultipleNegativesRankingLoss
widget:
  - source_sentence: >-
      إذا لم تكن قد فعلت ذلك بالفعل ، تحقق من تصميمنا الجديد للمراسلات والحوارات
      واليوميات .
    sentences:
      - تم إعادة تصميم الرسائل والحوارات .
      - يقدم مقهى بارج كل من وجبات الغداء والإفطار .
      - قبل ان نعرف اسماء بعضنا او اي شيء قد تعانقنا وبكىنا .
  - source_sentence: أين تقع جامعة واينزبرج
    sentences:
      - >-
        جامعة دالاس بابتيست ( DBU ) ، المعروفة سابقا باسم كلية دالاس بابتيست ،
        هي جامعة فنون ليبرالية مسيحية تقع في دالاس ، تكساس . يقع الحرم الجامعي
        الرئيسي على بعد حوالي 12 ميلا ( 19 كم ) جنوب غرب وسط مدينة دالاس ويطل
        على بحيرة ماونتين كريك . تأسست جامعة دالاس بابتيست عام 1898 باسم كلية
        ديكاتور بابتيست ، وتدير حاليا حرما جامعيا في دالاس وبلانو وهيرست .
      - الزوجان معا
      - >-
        تقع جامعة واينسبرغ في حرم جامعي معاصر في تلال جنوب غرب ولاية بنسلفانيا ،
        مع ثلاثة مراكز للبالغين تقع في مناطق بيتسبرغ في ساوثبوينت وكرانبيري
        ومونروفيل . تم إدراج Hanna Hall و Miller Hall في السجل الوطني للأماكن
        التاريخية .
  - source_sentence: The isolated Russian forces resisted in several areas for two more days .
    sentences:
      - >-
        ياهو : كيف يمكنني معرفة ما إذا كان البريد الإلكتروني الذي أرسلته قد تم
        استلامه أو قراءته ؟
      - >-
        واستمرت الاشتباكات الحدودية خلال اليومين المقبلين ، حيث استهدفت المخافر
        الحدودية من الجانبين والتي أسفرت عن وقوع عشرات الإصابات .
      - قاومت القوات الروسية المعزولة في عة مناطق لمدة يومين آخرين .
  - source_sentence: فتاة هيبي بشعر أشقر وأرجواني على الجانب يرتدي قميص أبيض وملابس سوداء
    sentences:
      - فتاة " هيبي " ترتدي قميصا أبيضا وملابس سوداء شعرها أشقر وأحمر
      - المرأة تضع يدها في جيب الرجل
      - فتاة لديها سترة حمراء وسوداء
  - source_sentence: رجل وامرأة يجلسان في سيارة ووجههما في الاتجاه المعاكس من الكاميرا
    sentences:
      - هناك شخصان وسيارة
      - سيارة صدئة هي الشيء الوحيد المرئي
      - كان أفضل حالا
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - cosine_accuracy
model-index:
  - name: SentenceTransformer
    results:
      - task:
          type: triplet
          name: Triplet
        dataset:
          name: dev 768
          type: dev-768
        metrics:
          - type: cosine_accuracy
            value: 0.9809960126876831
            name: Cosine Accuracy
      - task:
          type: triplet
          name: Triplet
        dataset:
          name: dev 512
          type: dev-512
        metrics:
          - type: cosine_accuracy
            value: 0.9811199903488159
            name: Cosine Accuracy
      - task:
          type: triplet
          name: Triplet
        dataset:
          name: dev 256
          type: dev-256
        metrics:
          - type: cosine_accuracy
            value: 0.9813200235366821
            name: Cosine Accuracy
      - task:
          type: triplet
          name: Triplet
        dataset:
          name: dev 128
          type: dev-128
        metrics:
          - type: cosine_accuracy
            value: 0.9811360239982605
            name: Cosine Accuracy
      - task:
          type: triplet
          name: Triplet
        dataset:
          name: dev 64
          type: dev-64
        metrics:
          - type: cosine_accuracy
            value: 0.9796760082244873
            name: Cosine Accuracy

SentenceTransformer

This is a sentence-transformers model trained on the train dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Cosine Similarity
  • Training Dataset:
    • train

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'رجل وامرأة يجلسان في سيارة ووجههما في الاتجاه المعاكس من الكاميرا',
    'هناك شخصان وسيارة',
    'سيارة صدئة هي الشيء الوحيد المرئي',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.6451, 0.3299],
#         [0.6451, 1.0000, 0.4022],
#         [0.3299, 0.4022, 1.0000]])

Evaluation

Metrics

Triplet

  • Dataset: dev-768
  • Evaluated with TripletEvaluator with these parameters:
    {
        "truncate_dim": 768
    }
    
Metric Value
cosine_accuracy 0.981

Triplet

  • Dataset: dev-512
  • Evaluated with TripletEvaluator with these parameters:
    {
        "truncate_dim": 512
    }
    
Metric Value
cosine_accuracy 0.9811

Triplet

  • Dataset: dev-256
  • Evaluated with TripletEvaluator with these parameters:
    {
        "truncate_dim": 256
    }
    
Metric Value
cosine_accuracy 0.9813

Triplet

  • Dataset: dev-128
  • Evaluated with TripletEvaluator with these parameters:
    {
        "truncate_dim": 128
    }
    
Metric Value
cosine_accuracy 0.9811

Triplet

  • Dataset: dev-64
  • Evaluated with TripletEvaluator with these parameters:
    {
        "truncate_dim": 64
    }
    
Metric Value
cosine_accuracy 0.9797

Training Details

Training Dataset

train

  • Dataset: train
  • Size: 3,954,179 training samples
  • Columns: anchor, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    anchor positive negative
    type string string string
    details
    • min: 4 tokens
    • mean: 16.1 tokens
    • max: 113 tokens
    • min: 3 tokens
    • mean: 41.85 tokens
    • max: 512 tokens
    • min: 4 tokens
    • mean: 41.99 tokens
    • max: 512 tokens
  • Samples:
    anchor positive negative
    في أي مقاطعة تقع لويسفيل أركنساس لويسفيل هي بلدة في مقاطعة لافاييت ، أركنساس ، الولايات المتحدة . كان عدد السكان 1285 في تعداد عام 2000 . . المدينة هي مقر مقاطعة لافاييت . ماونتن هوم ، أركنساس . ماونتن هوم هي مدينة صغيرة في مقاطعة باكستر ، أركنساس ، الولايات المتحدة ، في جبال أوزارك الجنوبية بالقرب من حدود الولاية الشمالية مع ميسوري . اعتبارا من تعداد عام 2010 ، بلغ عدد سكان المدينة 12448 نسمة .
    متوسط سمك باب الخزانة تتميز أبواب العالم القديم بميزات رائعة مثل السماكة المتزايدة ، والملامح الأعمق ، والأعمدة والقضبان الأوسع لإضفاء مظهر وإحساس أكثر دراماتيكية عند مقارنتها بأبواب الخزانة التقليدية . يبلغ عرض Stiles Rails القياسية 3 بوصات ويمكن تصنيعها في 1 و 1 1 - 8 و 1 سمك . اعتمادا على الخطأ في اللوحة ، يبلغ متوسط أسعار الإصلاح 130 دولارا لإصلاح الأبواب الفولاذية و 190 دولارا للخشب و 170 دولارا للألمنيوم و 150 دولارا للألياف الزجاجية . مزيد من المعلومات حول كيفية استبدال لوحة باب المرآب . إذا تعطلت أداة فتح باب الجراج ، فقد تكون سلامتك في خطر . تريد التأكد من أن بابك يعمل بشكل صحيح حتى لا يغلق بطريق الخطأ على حيوان أليف أو شخص . تريد أيضا إغلاقها لإبعاد اللصوص عن منزلك .
    ما هو تعريف الملء اعادة تعبئه . اسم تخصيص ثان لوكيل الوصفات الطبية تم الحصول عليه من الصيدلية ، والذي يسمح به فعل الوصفة الأصلية علم الأدوية للحصول على المزيد من دواء معين ، بعد استخدام الكمية الموصوفة في البداية من الوكيل أو إعطائها . انظر الوصفة الطبية . تعليمات إعادة الملء قم بإعادة الملء فقط باستخدام Spectracide ' Bug Stop Home Barrier Refill . قم بإزالة الغطاء . قم بقياس وصب 12 . 8 أونصة سائلة من المركز في حاوية فارغة سعة 1 جالون من Spectracide - Bug Stop - حاجز منزلي ، واملأه حتى 1 جالون بالماء ، استبدل الغطاء وأغلقه بإحكام . المنتج المنسكب قم بقياس 12 . 8 أونصة سائلة من المركز وصبها بحذر في حاوية فارغة سعة 1 جالون من Spectracide - حاجز منزلي من Spectracide - حاجز منزلي ، واملأه حتى 1 جالون بالماء . استبدل الغطاء وأغلقه بإحكام . امسح أي منتج مسكوب .
  • Loss: MatryoshkaLoss with these parameters:
    {
        "loss": "MultipleNegativesRankingLoss",
        "matryoshka_dims": [
            768,
            512,
            256,
            128,
            64
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": -1
    }
    

Evaluation Dataset

train

  • Dataset: train
  • Size: 1,129,759 evaluation samples
  • Columns: anchor, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    anchor positive negative
    type string string string
    details
    • min: 4 tokens
    • mean: 16.7 tokens
    • max: 150 tokens
    • min: 4 tokens
    • mean: 36.54 tokens
    • max: 512 tokens
    • min: 3 tokens
    • mean: 35.42 tokens
    • max: 512 tokens
  • Samples:
    anchor positive negative
    رجل يرتدي سروال تنس أزرق وقميص بولو أبيض يضرب كرة التنس رجل يلعب رياضة هناك رجل يرتدي زي البيسبول يضرب كرة البيسبول بمضرب التنس
    امرأة في ثوب أسود تبدو متفاجئة امرأة تغيرت مشاعرها امرأة تسبح في المحيط
    رجل يرتدي قميص أبيض يقفز على شيء ما على دراجته الصفراء رجل يركب دراجته رجل يركب لوح التزلج فوق المنحدر
  • Loss: MatryoshkaLoss with these parameters:
    {
        "loss": "MultipleNegativesRankingLoss",
        "matryoshka_dims": [
            768,
            512,
            256,
            128,
            64
        ],
        "matryoshka_weights": [
            1,
            1,
            1,
            1,
            1
        ],
        "n_dims_per_step": -1
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 64
  • num_train_epochs: 2
  • learning_rate: 2e-05
  • warmup_steps: 0.1
  • gradient_accumulation_steps: 2
  • bf16: True
  • eval_strategy: steps
  • warmup_ratio: 0.1
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • per_device_train_batch_size: 64
  • num_train_epochs: 2
  • max_steps: -1
  • learning_rate: 2e-05
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: None
  • warmup_steps: 0.1
  • optim: adamw_torch
  • optim_args: None
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • optim_target_modules: None
  • gradient_accumulation_steps: 2
  • average_tokens_across_devices: True
  • max_grad_norm: 1.0
  • label_smoothing_factor: 0.0
  • bf16: True
  • fp16: False
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • use_liger_kernel: False
  • liger_kernel_config: None
  • use_cache: False
  • neftune_noise_alpha: None
  • torch_empty_cache_steps: None
  • auto_find_batch_size: False
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • include_num_input_tokens_seen: no
  • log_level: passive
  • log_level_replica: warning
  • disable_tqdm: False
  • project: huggingface
  • trackio_space_id: trackio
  • eval_strategy: steps
  • per_device_eval_batch_size: 8
  • prediction_loss_only: True
  • eval_on_start: False
  • eval_do_concat_batches: True
  • eval_use_gather_object: False
  • eval_accumulation_steps: None
  • include_for_metrics: []
  • batch_eval_metrics: False
  • save_only_model: False
  • save_on_each_node: False
  • enable_jit_checkpoint: False
  • push_to_hub: False
  • hub_private_repo: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_always_push: False
  • hub_revision: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • restore_callback_states_from_checkpoint: False
  • full_determinism: False
  • seed: 42
  • data_seed: None
  • use_cpu: False
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • dataloader_prefetch_factor: None
  • remove_unused_columns: True
  • label_names: None
  • train_sampling_strategy: random
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • ddp_backend: None
  • ddp_timeout: 1800
  • fsdp: []
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • deepspeed: None
  • debug: []
  • skip_memory_metrics: True
  • do_predict: False
  • resume_from_checkpoint: None
  • warmup_ratio: 0.1
  • local_rank: -1
  • prompts: None
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

Click to expand
Epoch Step Training Loss train loss dev-768_cosine_accuracy dev-512_cosine_accuracy dev-256_cosine_accuracy dev-128_cosine_accuracy dev-64_cosine_accuracy
0.5891 18200 0.8727 - - - - - -
0.5956 18400 0.8524 - - - - - -
0.6021 18600 0.8995 - - - - - -
0.6086 18800 0.8360 - - - - - -
0.6150 19000 0.8628 - - - - - -
0.6215 19200 0.8244 - - - - - -
0.6280 19400 0.8647 - - - - - -
0.6345 19600 0.8479 - - - - - -
0.6409 19800 0.8204 - - - - - -
0.6474 20000 0.8359 - - - - - -
0.6539 20200 0.7952 - - - - - -
0.6604 20400 0.8375 - - - - - -
0.6668 20600 0.8364 - - - - - -
0.6733 20800 0.8131 - - - - - -
0.6798 21000 0.8310 - - - - - -
0.6863 21200 0.8295 - - - - - -
0.6927 21400 0.7865 - - - - - -
0.6992 21600 0.7960 - - - - - -
0.7057 21800 0.8287 - - - - - -
0.7121 22000 0.8214 - - - - - -
0.7186 22200 0.7879 - - - - - -
0.7251 22400 0.8139 - - - - - -
0.7316 22600 0.7849 - - - - - -
0.7380 22800 0.7880 - - - - - -
0.7445 23000 0.7725 - - - - - -
0.7510 23200 0.8086 - - - - - -
0.7575 23400 0.7687 - - - - - -
0.7639 23600 0.7828 - - - - - -
0.7704 23800 0.7518 - - - - - -
0.7769 24000 0.7599 0.4041 0.9737 0.9738 0.9738 0.9734 0.9718
0.7834 24200 0.7332 - - - - - -
0.7898 24400 0.7476 - - - - - -
0.7963 24600 0.7806 - - - - - -
0.8028 24800 0.7511 - - - - - -
0.8093 25000 0.7652 - - - - - -
0.8157 25200 0.7883 - - - - - -
0.8222 25400 0.7305 - - - - - -
0.8287 25600 0.7308 - - - - - -
0.8352 25800 0.7368 - - - - - -
0.8416 26000 0.7432 - - - - - -
0.8481 26200 0.7046 - - - - - -
0.8546 26400 0.7476 - - - - - -
0.8611 26600 0.7212 - - - - - -
0.8675 26800 0.7335 - - - - - -
0.8740 27000 0.7415 - - - - - -
0.8805 27200 0.6937 - - - - - -
0.8869 27400 0.7294 - - - - - -
0.8934 27600 0.7436 - - - - - -
0.8999 27800 0.7093 - - - - - -
0.9064 28000 0.7480 - - - - - -
0.9128 28200 0.7039 - - - - - -
0.9193 28400 0.7091 - - - - - -
0.9258 28600 0.7019 - - - - - -
0.9323 28800 0.7081 - - - - - -
0.9387 29000 0.6833 - - - - - -
0.9452 29200 0.6982 - - - - - -
0.9517 29400 0.7249 - - - - - -
0.9582 29600 0.7282 - - - - - -
0.9646 29800 0.7147 - - - - - -
0.9711 30000 0.6742 0.3640 0.9758 0.9759 0.9761 0.9757 0.9742
0.9776 30200 0.6901 - - - - - -
0.9841 30400 0.7067 - - - - - -
0.9905 30600 0.7166 - - - - - -
0.9970 30800 0.6800 - - - - - -
1.0035 31000 0.6846 - - - - - -
1.0099 31200 0.6723 - - - - - -
1.0164 31400 0.6573 - - - - - -
1.0229 31600 0.6895 - - - - - -
1.0294 31800 0.6588 - - - - - -
1.0358 32000 0.6517 - - - - - -
1.0423 32200 0.6498 - - - - - -
1.0488 32400 0.6836 - - - - - -
1.0553 32600 0.6819 - - - - - -
1.0617 32800 0.6463 - - - - - -
1.0682 33000 0.6645 - - - - - -
1.0747 33200 0.6518 - - - - - -
1.0812 33400 0.6235 - - - - - -
1.0876 33600 0.6302 - - - - - -
1.0941 33800 0.6452 - - - - - -
1.1006 34000 0.6477 - - - - - -
1.1070 34200 0.6084 - - - - - -
1.1135 34400 0.6259 - - - - - -
1.1200 34600 0.6070 - - - - - -
1.1265 34800 0.5977 - - - - - -
1.1329 35000 0.6044 - - - - - -
1.1394 35200 0.6007 - - - - - -
1.1459 35400 0.5628 - - - - - -
1.1524 35600 0.5732 - - - - - -
1.1588 35800 0.5773 - - - - - -
1.1653 36000 0.5719 0.3356 0.9775 0.9777 0.9777 0.9774 0.9760
1.1718 36200 0.5471 - - - - - -
1.1783 36400 0.5635 - - - - - -
1.1847 36600 0.5390 - - - - - -
1.1912 36800 0.5428 - - - - - -
1.1977 37000 0.5205 - - - - - -
1.2042 37200 0.5362 - - - - - -
1.2106 37400 0.5386 - - - - - -
1.2171 37600 0.5203 - - - - - -
1.2236 37800 0.5301 - - - - - -
1.2301 38000 0.5232 - - - - - -
1.2365 38200 0.4922 - - - - - -
1.2430 38400 0.5029 - - - - - -
1.2495 38600 0.4989 - - - - - -
1.2560 38800 0.5053 - - - - - -
1.2624 39000 0.5081 - - - - - -
1.2689 39200 0.4960 - - - - - -
1.2754 39400 0.5052 - - - - - -
1.2818 39600 0.4984 - - - - - -
1.2883 39800 0.4909 - - - - - -
1.2948 40000 0.5120 - - - - - -
1.3013 40200 0.4873 - - - - - -
1.3077 40400 0.4896 - - - - - -
1.3142 40600 0.4900 - - - - - -
1.3207 40800 0.5036 - - - - - -
1.3272 41000 0.4876 - - - - - -
1.3336 41200 0.4705 - - - - - -
1.3401 41400 0.4786 - - - - - -
1.3466 41600 0.4998 - - - - - -
1.3531 41800 0.4692 - - - - - -
1.3595 42000 0.5064 0.3160 0.9788 0.9790 0.9790 0.9785 0.9774
1.3660 42200 0.4925 - - - - - -
1.3725 42400 0.4601 - - - - - -
1.3790 42600 0.4762 - - - - - -
1.3854 42800 0.4986 - - - - - -
1.3919 43000 0.4656 - - - - - -
1.3984 43200 0.4507 - - - - - -
1.4049 43400 0.4862 - - - - - -
1.4113 43600 0.4596 - - - - - -
1.4178 43800 0.4696 - - - - - -
1.4243 44000 0.4925 - - - - - -
1.4308 44200 0.4796 - - - - - -
1.4372 44400 0.4525 - - - - - -
1.4437 44600 0.4717 - - - - - -
1.4502 44800 0.4803 - - - - - -
1.4566 45000 0.4675 - - - - - -
1.4631 45200 0.4631 - - - - - -
1.4696 45400 0.4622 - - - - - -
1.4761 45600 0.4496 - - - - - -
1.4825 45800 0.4678 - - - - - -
1.4890 46000 0.4495 - - - - - -
1.4955 46200 0.4474 - - - - - -
1.5020 46400 0.4587 - - - - - -
1.5084 46600 0.4591 - - - - - -
1.5149 46800 0.4573 - - - - - -
1.5214 47000 0.4442 - - - - - -
1.5279 47200 0.4550 - - - - - -
1.5343 47400 0.4493 - - - - - -
1.5408 47600 0.4485 - - - - - -
1.5473 47800 0.4569 - - - - - -
1.5538 48000 0.4346 0.3001 0.9799 0.9802 0.9802 0.9798 0.9788
1.5602 48200 0.4469 - - - - - -
1.5667 48400 0.4602 - - - - - -
1.5732 48600 0.4430 - - - - - -
1.5797 48800 0.4524 - - - - - -
1.5861 49000 0.4528 - - - - - -
1.5926 49200 0.4348 - - - - - -
1.5991 49400 0.4533 - - - - - -
1.6056 49600 0.4523 - - - - - -
1.6120 49800 0.4509 - - - - - -
1.6185 50000 0.4365 - - - - - -
1.6250 50200 0.4504 - - - - - -
1.6314 50400 0.4292 - - - - - -
1.6379 50600 0.4406 - - - - - -
1.6444 50800 0.4333 - - - - - -
1.6509 51000 0.4361 - - - - - -
1.6573 51200 0.4065 - - - - - -
1.6638 51400 0.4671 - - - - - -
1.6703 51600 0.4328 - - - - - -
1.6768 51800 0.4310 - - - - - -
1.6832 52000 0.4523 - - - - - -
1.6897 52200 0.4232 - - - - - -
1.6962 52400 0.4257 - - - - - -
1.7027 52600 0.4448 - - - - - -
1.7091 52800 0.4491 - - - - - -
1.7156 53000 0.4224 - - - - - -
1.7221 53200 0.4297 - - - - - -
1.7286 53400 0.4522 - - - - - -
1.7350 53600 0.4195 - - - - - -
1.7415 53800 0.4227 - - - - - -
1.7480 54000 0.4381 0.2875 0.9807 0.9808 0.9808 0.9805 0.9794
1.7545 54200 0.4460 - - - - - -
1.7609 54400 0.4260 - - - - - -
1.7674 54600 0.4299 - - - - - -
1.7739 54800 0.4247 - - - - - -
1.7804 55000 0.4244 - - - - - -
1.7868 55200 0.4185 - - - - - -
1.7933 55400 0.4292 - - - - - -
1.7998 55600 0.4468 - - - - - -
1.8062 55800 0.4118 - - - - - -
1.8127 56000 0.4306 - - - - - -
1.8192 56200 0.4447 - - - - - -
1.8257 56400 0.4147 - - - - - -
1.8321 56600 0.4189 - - - - - -
1.8386 56800 0.4167 - - - - - -
1.8451 57000 0.4022 - - - - - -
1.8516 57200 0.4158 - - - - - -
1.8580 57400 0.4228 - - - - - -
1.8645 57600 0.4256 - - - - - -
1.8710 57800 0.4251 - - - - - -
1.8775 58000 0.4232 - - - - - -
1.8839 58200 0.4143 - - - - - -
1.8904 58400 0.4331 - - - - - -
1.8969 58600 0.4253 - - - - - -
1.9034 58800 0.4410 - - - - - -
1.9098 59000 0.4337 - - - - - -
1.9163 59200 0.4016 - - - - - -
1.9228 59400 0.4249 - - - - - -
1.9293 59600 0.4108 - - - - - -
1.9357 59800 0.4272 - - - - - -
1.9422 60000 0.3916 0.2812 0.9810 0.9811 0.9813 0.9811 0.9797
1.9487 60200 0.4334 - - - - - -
1.9552 60400 0.4462 - - - - - -
1.9616 60600 0.4436 - - - - - -
1.9681 60800 0.4278 - - - - - -
1.9746 61000 0.4170 - - - - - -
1.9810 61200 0.4376 - - - - - -
1.9875 61400 0.4433 - - - - - -
1.9940 61600 0.4292 - - - - - -

Framework Versions

  • Python: 3.10.19
  • Sentence Transformers: 5.2.3
  • Transformers: 5.2.0
  • PyTorch: 2.6.0+cu124
  • Accelerate: 1.12.0
  • Datasets: 4.5.0
  • Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}