yosefw/roberta-amharic-embed-base-v0

RoBERTa Amharic Text Embedding Medium

This is a sentence-transformers model finetuned from yosefw/roberta-base-am-embed on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: yosefw/roberta-base-am-embed
• Maximum Sequence Length: 510 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json
• Language: en
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 510, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("yosefw/roberta-amharic-embed-base")
# Run inference
sentences = [
    'አፀፋዊ እርምጃዉ ሻዕቢያ ለሚፈፅማቸው ጥፋቶች ቆም ብሎ እንዲያስብ የሚያደርግ መሆኑን ተገለጸ',
    'ሃላፊው ባሳለፍነው ሳምንት መጨረሻ በኤርትራ ጦር ላይ የተወሰደውን አፀፋዊ እርምጃ አስመልክተው በሰጡት ጋዜጣዊ መግለጫ፥ እርምጃው የኤርትራ መንግስት የሚያደርጋቸውን ትንኮሳዎች ሊያስቆም ይችላል የሚል እምነት እንዳላቸውም ገልጸዋል።በዚህ አጸፋዊ እርምጃ የተፈለገው ውጤት መገኘቱን ጠቅሰው፥ በኢትዮ – ኤርትራ ድንበር አካባቢ ከዚህ በኋላ ለሚፈጠር ችግርም የኤርትራ መንግስት ተጠያቂ መሆኑን ነው አጽንኦት ሰጥተው የተናገሩት።የኤርትራ መንግስት ከዚህ በኋላ የሚያደርገውን ትንኮሳ ከቀጠለ፥ መንግስት የሚወስደውን ተመጣጣኝ እርምጃ እንደሚቀጥልም ገልጸዋል።ሃገራቱ ወደ ጦርነት የሚገቡበት እድል ስለመኖሩ ለቀረበላቸው ጥያቄም፥ ሁኔታዎች የኤርትራ መንግስት በሚያደርጋቸው እንቅስቃሴዎች ላይ የተመሰረቱ ናቸው ብለዋል።ከዚህ ባለፈ ግን ከደረሰበት ኪሳራ እና ካለበት ሁኔታ አንጻር፥ የኤርትራ መንግስት ወደ ጦርነት ሊገባ እንደማይችል አስረድተዋል።በአሁኑ ወቅት የኢፌዴሪ መከላከያ ሰራዊት የሚፈለገውን ግብ አሳክቶ ወደ ቦታው መመለሱንም ነው ያስረዱት።ከአል ሸባብ ጋር ተያይዞ በሰጡት መግለጫም፥ ቡድኑ በሶማሊያ የኢትዮጵያን የጦር ቤዝ ለመቆጣጠር ያደረገው ጥረት እንዳልተሳከለት እና ከፍተኛ ኪሳራ እንደደረሰበት ጠቅሰዋል።መሰል የአል ሸባብ ጥቃቶች በሰላም አስከባሪ ሃይሎች ላይ እንደሚፈጸሙ አንስተው፥ የኢፌዴሪ መከላከያ ሰራዊት በሌሎች ሃገራት ካገኘው ተሞክሮ በመነሳት በቡድኑ ላይ ጠንካራ አፀፋዊ እርምጃ መውሰዱን አውስተዋል።አቶ ጌታቸው መከላከያ ሰራዊቱ በአሁኑ ሰአት በመደበኛ የሰላም ማስከበር ተልዕኮው ይገኛልም ነው ያሉት። (ኤፍ ቢ ሲ)',
    'በቅርቡ ኦፌኮን የተቀላቀሉት ጃዋር መሃመድ የፌደራል ፖሊስ ሲያደርግላቸው የነበረውን ጥበቃ ከ እሁድ ጥር 17/2012 ጀምሮ ማንሳቱን የኦሮሚያ ብሮድካስት ኮርፖሬሽን አስታወቀ፡፡ኦቢኤን በምሽት ሁለት ሰአት ዜናው ላይ አንዳስነበበው መንግስት ለማንኛውም ተፎካካሪ ፓርቲ አመራርም ሆነ አባል የግል ጥበቃ ስለማያደርግ እና አሰራሩም ስለማይፈቅድ ጥበቃዎቹ እንደተነሱ ፌደረላ ፖሊስ አስታውቋል፡፡አዲስ ማለዳም ባደረገችው ማጣራት ጃዋር ጠባቂዎቻቸው ወደ መደበኛ ስራቸው እንዲመለሱ እንዲያደርጉ የፌደራል ፖሊስ የወንጀል መከላከል ዘርፍ በፃፈው ደብዳቤ ማስታወቁን አረጋግጣለች፡፡አዲስ ማለዳ ወደ ጃዋር መሃመድ በተደጋጋሚ የስልክ ጥሪ ብታደርግም ለግዜው አስተያየት ከመስጠት ተቆጥበዋል፡፡',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Datasets: dim_768 and dim_256
• Evaluated with InformationRetrievalEvaluator

Metric	dim_768	dim_256
cosine_accuracy@1	0.677	0.6692
cosine_accuracy@3	0.8175	0.8045
cosine_accuracy@5	0.8519	0.843
cosine_accuracy@10	0.8931	0.885
cosine_precision@1	0.677	0.6692
cosine_precision@3	0.2725	0.2682
cosine_precision@5	0.1704	0.1686
cosine_precision@10	0.0893	0.0885
cosine_recall@1	0.677	0.6692
cosine_recall@3	0.8175	0.8045
cosine_recall@5	0.8519	0.843
cosine_recall@10	0.8931	0.885
cosine_ndcg@10	0.7878	0.779
cosine_mrr@10	0.7538	0.7449
cosine_map@100	0.7575	0.7489

Training Details

Training Dataset

json

• Dataset: json
• Size: 40,237 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 5 tokens mean: 14.57 tokens max: 37 tokens	min: 47 tokens mean: 295.23 tokens max: 510 tokens

• Samples:

  anchor	positive
  በጠበቃ የመወከል መብቱ አልተከበረም የተባለ ፍርደኛ ውሳኔ ተቀለበሰ	የፌዴራል ከፍተኛው ፍርድ ቤት በአንድ ተከሳሽ ላይ መጋቢት 13 ቀን 2008 ዓ.ም. በዕድሜ ልክ ጽኑ እስራት እንዲቀጣ የሰጠውን ፍርድ፣ በጠበቃ የመወከል መብቱ አልተከበረም በማለት የፌዴራል ጠቅላይ ፍርድ ቤት ይግባኝ ሰሚ ችሎት ታኅሳስ 14 ቀን 2009 ዓ.ም. ውድቅ አደረገው፡፡የፌዴራል ዓቃቤ ሕግ ወርቁ ከበደ ካሳ የተባለ ግለሰብ የወንጀል ሕግ አንቀጽ 32(1ሀ) እና 539(1ሀ) ሥር የተደነገገውን በመተላለፍ፣ ከባድ የግፍ አገዳደል በመጠቀም ሰው መግደሉን በመጥቀስ ለከፍተኛ ፍርድ ቤት ክስ ያቀርባል፡፡ ከፍተኛው ፍርድ ቤት የዓቃቤ ሕግ አንድ ምስክርን በመስማትና ተከሳሽ በአግባቡ ሊከላከል እንዳልቻለ በመግለጽ፣ በዕድሜ ልክ ጽኑ እስራት እንዲቀጣ ፍርድ መስጠቱን የጠቅላይ ፍርድ ቤት ውሳኔ ያስረዳል፡፡ፍርደኛው ለጠቅላይ ፍርድ ቤት ባቀረበው የይግባኝ አቤቱታ እንደገለጸው፣ ዓቃቤ ሕግ በሥር ፍርድ ቤት ያቀረበው ምስክሮች የሚመሰክሩበት ጭብጥና ያቀረባቸው ምስክሮች በሌላ ተከሳሽ ላይ የሚያስረዱ መሆኑ ተረጋግጧል፡፡ ሌላኛው ተከሳሽም ወንጀሉን መፈጸሙን መርቶ አሳይቷል፡፡ ሒደቱ ይህንን የሚያስረዳ ቢሆንም፣ ፍርድ ቤቱ ይግባኝ ባይን ጥፋተኛ በማለት ቅጣቱን እንደጣለበት አስረድቷል፡፡ በተጨማሪም ጥፋተኛ ሲባል ያቀረበው የቅጣት ማቅለያ እንዳልተያዘለት፣ ቅጣቱ በቅጣት ማንዋሉ መሠረት ሲሰላ ስህተት እንደተፈጸመና አቅም እንደሌለው እየታወቀ ተከላካይ ጠበቃ ሊቆምለት ሲገባ እንዳልቆመለት አስረድቷል፡፡ በሥር ፍርድ ቤት በሰነድ ማስረጃነት የቀረበበት በቀዳሚ ምርመራ አድራጊ ፍርድ ቤት የተሰጠ የምስክር ቃል ሲሆን፣ እሱ የሕግ ዕውቀት የሌለውና የተከሰሰበትም ድንጋጌ ከባድ መሆኑ እየታወቀ፣ ያለ ተከላካይ ጠበቃ መታየቱ ተገቢ አለመሆኑንና ሕገ መንግሥታዊ መብቱ ያልተጠበቀለት መሆኑን አስረድ...
  የሱዳን ጦር እና የቀድሞ የደህንነት ሃይሎች ተጋጩ	አዲስ አበባ፣ ጥር 6፣ 2012 (ኤፍ.ቢ.ሲ) የሱዳን ጦር እና የሱዳን የቀድሞው ፕሬዚዳንት ኦማር ሃሰን አልበሽር ታማኝ ናቸው የተባሉ የደህንነት ሃይሎች ተጋጩ።የቀድሞ የደህንነት አካላት በሰሜናዊ ካርቱም ከባድ መሳሪያዎችን መተኮሳቸውን ነዋሪዎች ተናግረዋል።ከዚህ ባለፈም ከአውሮፕላን ማረፊያው አቅራቢያ የሚገኝን የደህንነት መስሪያ ቤት ህንጻም ተቆጣጥረዋል ተብሏል።የሱዳን ወታደራዊ ምንጮች ደግሞ የመንግሥት ወታደሮች በተቀናቃኞቻቸው የተያዙትን ህንጻዎች መልሰው መቆጣጠራቸውን ገልጸዋል።በተኩስ ልውውጡ አምስት ሰዎች መቁሰላቸውም ነው የተነገረው።የሱዳን ሉዓላዊ ምክር ቤት የቀድሞ የደህንነት ሰዎች በሃገሪቱ መረጋጋት እንዳይሰፍን እያደረጉ ነው በሚል ይወነጅላቸዋል።አሁን ላይ በሃገሪቱ ለሚስተዋለው አመጽና አለመረጋጋትም የቀድሞው የደህንነት ሃላፊ ሳላህ ጎሽ አስተዋጽኦ አድርገዋልም ነው ያለው።የሉዓላዊ ምክር ቤቱ ከፍተኛ የስራ ሃላፊ የሆኑት ጀኔራል ሞሃመድ ሃምዳን ዳጋሎ፥ ድርጊቱን እንደማይታገሱ ተናግረዋል።አሁን ላይ በሃገሪቱ እየታየ ያለው ሰላምና መረጋጋት የሃገሪቱ የቀድሞ ፕሬዚዳንት ኦማር ሃሰን አልበሽር ከስልጣን ከወረዱ በኋላ የተካሄደውን ማሻሻያ ሲቃወሙ በነበሩ አካላት ፈተና ሊገጥመው ይችላል የሚል ስጋትም አጭሯል።ከዚህ ቀደም የተካሄዱ ተቃውሞዎችን ሲመሩ የነበሩ አካላት መሰል ኃላፊነት የጎደላቸው ተግባራት እንዲቆሙ ጥሪ አቅርበዋል።ምንጭ፦ ቢ.ቢ.ሲ
  የ2018 ኦስካር ዕጩዎች ይፋ ተደርገዋል	ለ90ኛ ጊዜ የሚካሄደው የ2018 የኦስካር ሽልማት ዕጩዎች ዝርዝር ከሰሞኑ ይፋ የተደረገ ሲሆን፣ 13 ጊዜ ለሽልማት የታጨው ዘ ሼፕ ኦፍ ዋተር፣ በአመቱ በብዛት በመታጨት ቀዳሚነቱን የያዘ ፊልም ሆኗል፡፡የሮማንቲክ ሳይንስ ፊክሽን ዘውግ ያለው ዘ ሼፕ ኦፍ ዋተር፣ በዘንድሮው የኦስካር ሽልማት በብዛት በመታጨት ታሪክ ቢሰራም፣ በኦስካር ታሪክ 14 ጊዜ በመታጨት ክብረወሰኑን ከያዙት ታይታኒክ፣ ኦል አባውት ኢቭ እና ላላ ላንድ ተርታ በመሰለፍ ሌላ ታሪክ መስራቱ ለጥቂት ሳይሳካለት ቀርቷል፡፡በ24 የተለያዩ ዘርፎች ዕጩዎች በቀረቡበት በዘንድሮው ኦስካር፣ በብዛት በመታጨት የሚመራው በስምንት ዘርፎች የታጨው ዳንኪርክ ሲሆን፣ ስሪ ቢልቦርድስ አውትሳይድ ኢቢንግ ሚሱሪ በ7፣ ፋንተም ትሬድ በ6 ይከተላሉ፡፡ የ22 አመቱ የፊልም ተዋናይ ቲሞቲ ቻላሜት፣ በኦስካር ታሪክ በለጋ እድሜው ለምርጥ ወንድ ተዋናይነት በመታጨት የሶስተኛነት ደረጃን መያዙን ያስታወቀው ተቋሙ፣ ሁለቱን ደረጃዎች የያዙት ጃኪ ኩፐር የተባለው የ9 አመት ታዳጊና ሚኪ ሩኒ የተባለው የ19 ወጣት መሆናቸውን አስታውሷል፡፡ ኦል ዘ መኒ ኢን ዘወርልድ በሚለው ፊልሙ በምርጥ ረዳት ተዋናይ ዘርፍ ለሽልማት የታጨው የ88 አመቱ የፊልም ተዋናይ ክሪስቶፈር ፕላመር፣ ረጅም እድሜ የገፋ የኦስካር ዕጩ በመሆን በታሪክ ተመዝግቧል፡፡በብዛት በታጨው ዘ ሼፕ ኦፍ ዋተር ላይ የምትተውነው ኦክታቪያ ስፔንሰር፣ ለሶስት ጊዜ ለኦስካር ሽልማት በመታጨት ቀዳሚዋ ጥቁር ሴት ተዋናይት የሚለውን ማዕረግ ከቪዮላ ዳቪስ ጋር ተጋርታለች፡፡ ዴንዘል ዋሽንግተን በበኩሉ፤ ስምንት ጊዜ በመታጨት ቀዳሚው ጥቁር የፊልም ተዋናይ በመሆን ታሪክ ሰርቷል፡፡ ሁለቱም ጥቁር ተዋንያን በብዛት በመታጨት ብቻ ሳይሆን፣ በተከታታይ አመታት ለዕጩነት በመቅረብም ታሪክ መስረታቸው...

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          256
      ],
      "matryoshka_weights": [
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• gradient_accumulation_steps: 4
• num_train_epochs: 4
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 4
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	dim_768_cosine_ndcg@10	dim_256_cosine_ndcg@10
0.0636	10	19.2221	-	-
0.1272	20	7.817	-	-
0.1908	30	2.6048	-	-
0.2544	40	1.8019	-	-
0.3180	50	1.461	-	-
0.3816	60	1.2402	-	-
0.4452	70	1.166	-	-
0.5087	80	1.0324	-	-
0.5723	90	1.0597	-	-
0.6359	100	0.8034	-	-
0.6995	110	0.7367	-	-
0.7631	120	0.8083	-	-
0.8267	130	0.7771	-	-
0.8903	140	0.6232	-	-
0.9539	150	0.6879	-	-
1.0	158	-	0.7408	0.7288
1.0127	160	0.718	-	-
1.0763	170	0.5172	-	-
1.1399	180	0.4693	-	-
1.2035	190	0.3275	-	-
1.2671	200	0.4193	-	-
1.3307	210	0.3847	-	-
1.3943	220	0.4076	-	-
1.4579	230	0.4115	-	-
1.5215	240	0.3987	-	-
1.5851	250	0.3783	-	-
1.6486	260	0.3091	-	-
1.7122	270	0.4008	-	-
1.7758	280	0.3311	-	-
1.8394	290	0.3505	-	-
1.9030	300	0.3806	-	-
1.9666	310	0.3149	-	-
2.0	316	-	0.7714	0.7616
2.0254	320	0.2969	-	-
2.0890	330	0.1995	-	-
2.1526	340	0.169	-	-
2.2162	350	0.2156	-	-
2.2798	360	0.1899	-	-
2.3434	370	0.215	-	-
2.4070	380	0.1832	-	-
2.4706	390	0.1781	-	-
2.5342	400	0.1713	-	-
2.5978	410	0.1505	-	-
2.6614	420	0.2004	-	-
2.7250	430	0.1558	-	-
2.7886	440	0.1527	-	-
2.8521	450	0.2093	-	-
2.9157	460	0.1502	-	-
2.9793	470	0.1182	-	-
3.0	474	-	0.7840	0.7752
3.0382	480	0.1314	-	-
3.1017	490	0.1495	-	-
3.1653	500	0.1256	-	-
3.2289	510	0.1342	-	-
3.2925	520	0.1466	-	-
3.3561	530	0.1149	-	-
3.4197	540	0.1373	-	-
3.4833	550	0.13	-	-
3.5469	560	0.1244	-	-
3.6105	570	0.1537	-	-
3.6741	580	0.1395	-	-
3.7377	590	0.1485	-	-
3.8013	600	0.1384	-	-
3.8649	610	0.105	-	-
3.9285	620	0.119	-	-
3.9793	628	-	0.7878	0.779

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.48.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.3.0
• Datasets: 3.3.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}