FareedKhan/models_testerrdd

SentenceTransformer based on mixedbread-ai/deepset-mxbai-embed-de-large-v1

This is a sentence-transformers model finetuned from mixedbread-ai/deepset-mxbai-embed-de-large-v1. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: mixedbread-ai/deepset-mxbai-embed-de-large-v1
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Welche Datenbestände dokumentieren die Fachaufsicht des BMI über Kinderbetreuungseinrichtungen in der Stadt Oberhof?',
    '\nDatenbestand\n    - titel: Kindertagesstätten der Stadt Oberhof\n    - typ: Fachverfahren\n    - kurzbeschreibung: Standorte von Kindergärten und Kinderkrippen der Stadt Oberhof.\n    - allgemeine_beschreibung: Der Datensatz zeigt die Standorte von Kindergärten und Kinderkrippen der Stadt Oberhof. Es handelt sich um einen Sekundärdatenbestand.\n    - fachliche_beschreibung: Der Datensatz wird von der Stadtverwaltung Oberhof verwaltet und dient dazu, Transparenz über die Kinderbetreuungseinrichtungen in Oberhof zu schaffen. Zuständige Behörden sind die Stadtverwaltung Oberhof und das Thüringer Ministerium für Inneres und Kommunales.\n    - zweck: Der Datensatz wird erhoben, um den Bürgern von Oberhof Informationen über die verfügbaren Kindertagesstätten und Kinderkrippen bereitzustellen.\n    - aktualisierungsfrequenz: http://inspire.ec.europa.eu/metadata-codelist/MaintenanceFrequencyCode/asNeeded\nDatenbestand hat Datenlieferanten\n    - name: Stadt Oberhof\nDatenbestand hat Schlagwort\n    - name: versorgungswirtschaft-und-staatliche-dienste\n    - name: kindertagesstätten\n    - name: kindergarten\n    - name: kinderbetreuung\n    - name: thüringen\n    - name: opendata\n    - name: kinderkrippe\n    - name: kita\nDatenbestand hat Kategorie\n    - name: Bildung\n    - name: Kultur und Sport\n    - name: Regierung und öffentlicher Sektor\n    - name: Regionen und Städte\n    - name: Bevölkerung und Gesellschaft\nDatenbestand hat Sprache\n    - name: Deutsch\nDatenbestand hat Ministerium\nMinisterium\n    - bezeichnung: Bundesministerium des Innern und für Heimat\n    - kurzbezeichnung: BMI\n    - ressorts: Stadt Oberhof\nDatenbestand hat Behörde\nBehoerde\n    - bezeichnung: Stadtverwaltung Oberhof\n    - kurzbezeichnung: Stadtverwaltung\n    - themen: Verwaltung, Bürgerdienste, Stadtrat, Satzungen\n    - ministerium_des_geschaeftsbereichs: Thüringer Ministerium für Inneres und Kommunales\n    - ressort: Kommunalverwaltung\nDatenbestand hat Gesetze:\nGesetz\n    - bezeichnung: Thüringer Kindertageseinrichtungsgesetz\n    - kurzbezeichnung: ThürKigaG\nDatenbestand hat Verordnung\nVerordnung\n    - referenz: https://www.hfm-weimar.de/fileadmin/user_upload/Gesetze_Ordnungen/Thueringer_Gleichstellungsgesetz.pdf\n    - bezeichnung: Thüringer Verordnung zur Bestimmung der zentralen Landesstelle für den automatisierten Datenaustausch\nVerordnung\n    - referenz: https://parldok.thueringer-landtag.de/ParlDok/dokument/72529/gesetz_und_verordnungsblatt_nr_11_2019.pdf\n    - bezeichnung: Thüringer Verordnung über die Anerkennung der Vereinbarung einer erfüllenden Gemeinde\n',
    "\nDatenbestand\n    - titel: Luftbild 2002\n    - typ: Fachverfahren\n    - kurzbeschreibung: Luftbild (Digitales Orthophoto) der Hanse- und Universitätsstadt Rostock und Umgebung von März und April 2002.\n    - allgemeine_beschreibung: Der Datensatz 'Luftbild 2002' umfasst das Luftbild (Digitales Orthophoto) der Hanse- und Universitätsstadt Rostock und Umgebung von März und April 2002 mit einer Bodenauflösung von 0,16 Metern. Die Ressourcen werden in der Regel nicht aktualisiert.\n    - fachliche_beschreibung: Der Datensatz wird von der Hanse- und Universitätsstadt Rostock bereitgestellt, speziell vom Ressort Kommunalaufsicht. Er dient der Bereitstellung historischer Luftbilder für die Öffentlichkeit.\n    - zweck: Der Datensatz wird erhoben, um historische Luftbilder der Hanse- und Universitätsstadt Rostock und Umgebung aus dem Jahr 2002 bereitzustellen.\n    - einfuehrungsjahr: 2017\n    - zeitliche_abdeckung_start: 2002-03-01T00:00:00+01:00\n    - zeitliche_abdeckung_ende: 2002-05-01T00:00:00+02:00\nDatenbestand hat Datenlieferanten\n    - name: Hanse- und Universitätsstadt Rostock\nDatenbestand hat Schlagwort\n    - name: luftbild\n    - name: Historisch\n    - name: Digitales Orthophoto\n    - name: 2002\n    - name: Bodenauflösung\n    - name: Rostock\n    - name: Luftbild\n    - name: Hanse- und Universitätsstadt\nDatenbestand hat Kategorie\n    - name: Regierung und öffentlicher Sektor\n    - name: Regionen und Städte\nDatenbestand hat politische Ebenen\n    - name: Ebene der Landkreise und Regierungsbezirke\nDatenbestand hat politisches Gebiet\n    - name: Rostock\n    - name: Hanse- und Universitätsstadt\nDatenbestand hat Sprache\n    - name: Deutsch\nDatenbestand hat geografische Abdeckung\n    - name: Rostock und Umgebung\nDatenbestand hat Ministerium\nMinisterium\n    - bezeichnung: Bundesministerium des Innern und für Heimat\n    - kurzbezeichnung: BMI\n    - ressorts: Hanse- und Universitätsstadt Rostock\nDatenbestand hat Behörde\nBehoerde\n    - bezeichnung: Hanse- und Universitätsstadt Rostock\n    - kurzbezeichnung: Rostock\n    - themen: Kommunalverwaltung, Stadtentwicklung, Öffentliche Ordnung\n    - ministerium_des_geschaeftsbereichs: Ministerium für Inneres und Europa Mecklenburg-Vorpommern\n    - ressort: Kommunalaufsicht\nDatenbestand hat Gesetze:\nGesetz\n    - bezeichnung: Bundesdatenschutzgesetz\n    - kurzbezeichnung: BDSG\nDatenbestand hat Verordnung\nVerordnung\n    - referenz: https://www.bgbl.de/xaver/bgbl/start.xav?start=%2F%2F*%5B%40attr_id%3D%27bgbl102s0027.pdf%27%5D\n    - bezeichnung: Verordnung über Art, Umfang, Beschaffenheit, Zulassung und Ausführung von Luftbildern\nVerordnung\n    - referenz: https://stadt.muenchen.de/rathaus/stadtrecht/vorschrift/831.html\n    - bezeichnung: Datenschutzrechtliche Belange bei Luftbildern\n",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Dataset: dim_512
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.4081
cosine_accuracy@3	0.6312
cosine_accuracy@5	0.7177
cosine_accuracy@10	0.8077
cosine_precision@1	0.4081
cosine_precision@3	0.2104
cosine_precision@5	0.1435
cosine_precision@10	0.0808
cosine_recall@1	0.4081
cosine_recall@3	0.6312
cosine_recall@5	0.7177
cosine_recall@10	0.8077
cosine_ndcg@10	0.6045
cosine_mrr@10	0.5399
cosine_map@100	0.5472

Training Details

Training Dataset

Unnamed Dataset

• Size: 3,262 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 15 tokens mean: 29.17 tokens max: 53 tokens	min: 308 tokens mean: 510.05 tokens max: 512 tokens

• Samples:

  anchor	positive
  Welche Datenbestände decken die Region Rostock und Umgebung ab und enthalten Informationen zu Verkehrswegen und -sicherheit?	Datenbestand - titel: Großraum- und Schwertransportrouten - typ: Fachverfahren - kurzbeschreibung: Empfohlene Großraum- und Schwertransportwege in Rostock und Umgebung mit Informationen zu Straßennutzung, Baulastträgern, Bewirtschaftern und Standorten von Ingenieurbauwerken im Eigentum der Stadt Rostock, die nicht für Großraum- und Schwertransporte zugänglich sind. - allgemeine_beschreibung: Der Datensatz umfasst die empfohlenen Großraum- und Schwertransportwege in der Hanse- und Universitätsstadt Rostock und Umgebung. Er enthält Informationen zu Straßennutzung, Baulastträgern, Bewirtschaftern und Standorten von Ingenieurbauwerken im Eigentum der Stadt Rostock, die nicht für Großraum- und Schwertransporte zugänglich sind. Die Ressourcen werden regelmäßig alle 365 Tage aktualisiert. - fachliche_beschreibung: Der Datensatz wird von der Hanse- und Universitätsstadt Rostock bereitgestellt. Zuständige Behörden sind das Ministerium für Inneres und Europa Mecklenburg-Vorpommern mit dem Ressort Kommunalaufsicht. Die Daten enthalten wichtige Informationen für die Verkehrsplanung und -sicherheit in Rostock und Umgebung. - zweck: Der Datensatz wird erhoben, um Informationen über empfohlene Großraum- und Schwertransportwege in Rostock und Umgebung bereitzustellen. Er dient der Planung und Durchführung von Großraum- und Schwertransporten sowie der Sicherstellung der Verkehrssicherheit und Infrastrukturintegrität. - einfuehrungsjahr: 2018 Datenbestand hat Datenlieferanten - name: Hanse- und Universitätsstadt Rostock Datenbestand hat Schlagwort - name: verkehrsinfrastruktur - name: Erlaubnis - name: Genehmigung - name: straßennetz - name: stadtverkehr - name: infrastruktur - name: brücke - name: Großraum- und Schwertransport - name: straßenverkehrstechnik - name: tunnel - name: verkehr - name: bauwerk - name: Straßenverkehrs-Ordnung - name: öffentlicher-verkehr - name: straße - name: verkehrstechnik - name: straßenverkehr - name: öffentliche-straße - name: Straßenverkehrszulassungsverordnung Datenbestand hat Kategorie - name: Verkehr - name: Regierung und öffentlicher Sektor - name: Regionen und Städte Datenbestand hat politische Ebenen - name: Ebene der Landkreise und Regierungsbezirke Datenbestand hat politisches Gebiet - name: Rostock - name: Hanse- und Universitätsstadt Datenbestand hat Sprache - name: Deutsch Datenbestand hat geografische Abdeckung - name: Rostock und Umgebung Datenbestand hat Ministerium Ministerium - bezeichnung: Bundesministerium des Innern und für Heimat - kurzbezeichnung: BMI - ressorts: Hanse- und Universitätsstadt Rostock Datenbestand hat Behörde Behoerde - bezeichnung: Hanse- und Universitätsstadt Rostock - kurzbezeichnung: Rostock - themen: Kommunalverwaltung, Stadtentwicklung, Öffentliche Ordnung - ministerium_des_geschaeftsbereichs: Ministerium für Inneres und Europa Mecklenburg-Vorpommern - ressort: Kommunalaufsicht Datenbestand hat Gesetze: Gesetz - absatz: 3 - bezeichnung: Straßenverkehrs-Ordnung (StVO) - kurzbezeichnung: StVO - paragraph: § 29 Datenbestand hat Verordnung Verordnung - referenz: https://www.buzer.de/StTbV.htm - bezeichnung: Straßenverkehr-Transportbegleitungsverordnung (StTbV) - kurzbezeichnung: StTbV Verordnung - referenz: https://www.buzer.de/StTbV.htm - bezeichnung: Straßenverkehrs-Zulassungs-Ordnung (StVZO) - kurzbezeichnung: StVZO
  Welche Datenbestände bieten Einblicke in die Standorte und Strukturen des THW für Koordinationszwecke im Katastrophenschutz?	Datenbestand - titel: Übersicht der THW-Liegenschaften - typ: Fachverfahren - kurzbeschreibung: Der Datensatz 'Übersicht der THW-Liegenschaften' enthält Adressen und Geoinformationen zu den Standorten des Technischen Hilfswerks (THW) in Deutschland. - allgemeine_beschreibung: Der Datensatz 'Übersicht der THW-Liegenschaften' enthält Informationen über die verschiedenen Standorte des Technischen Hilfswerks (THW) in Deutschland. Dazu gehören 668 Ortsverbände, 66 Geschäftsstellen, acht Landesverbände, eine Bundesschule mit zwei Standorten und die THW-Leitung. Die Daten enthalten Adressen und Geoinformationen zu den THW-Liegenschaften. - fachliche_beschreibung: Der Datensatz wird von der Bundesanstalt Technisches Hilfswerk erhoben und bereitgestellt. Das THW ist dem Bundesministerium des Innern, für Bau und Heimat unterstellt und hat als Aufgaben den Katastrophenschutz, technisch-humanitäre Hilfeleistungen und die Organisation von Einsatzkräften. Die Daten werden vom Referat Z2 - Organisation des THW geliefert und sind über das GovData Portal verfügbar. - zweck: Der Datensatz wird erhoben, um einen umfassenden Überblick über die Standorte und Strukturen des Technischen Hilfswerks in Deutschland zu bieten. Er dient der Transparenz und kann für Planungs- und Koordinationszwecke im Bereich des Katastrophenschutzes und der technisch-humanitären Hilfeleistungen genutzt werden. - einfuehrungsjahr: 2015 - zeitliche_abdeckung_start: 2015-01-01T00:00:00 Datenbestand hat Datenlieferanten - name: Referat Z2 - Organisation - name: Bundesanstalt Technisches Hilfswerk Datenbestand hat Schlagwort - name: THW-Landesverband - name: THW-Ortsverband - name: Rettung - name: Katastrophenschutz - name: Bergung - name: THW-Leitung - name: THW-Dienststellen - name: technisch-humanitäre Hilfeleistungen - name: THW-Liegenschaft - name: Geoinformationen - name: THW - name: THW-Geschäftsstelle Datenbestand hat Ministerium Ministerium - bezeichnung: Bundesministerium des Innern und für Heimat - kurzbezeichnung: BMI - ressorts: Bundesanstalt Technisches Hilfswerk, Referat Z2 - Organisation Datenbestand hat Behörde Behoerde - bezeichnung: Bundesanstalt Technisches Hilfswerk - kurzbezeichnung: THW - themen: Katastrophenschutz, technisch-humanitäre Hilfeleistungen, Organisation von Einsatzkräften - ministerium_des_geschaeftsbereichs: Bundesministerium des Innern, für Bau und Heimat - ressort: Geschäftsbereich des Bundesministeriums des Innern, für Bau und Heimat Datenbestand hat Gesetze: Gesetz - absatz: 1 - bezeichnung: Gesetz über das Technische Hilfswerk (THW-Gesetz) - kurzbezeichnung: THWG - paragraph: § 4 Datenbestand hat Verordnung Verordnung - referenz: https://beck-online.beck.de/Normen/29337/T?pagenr=21&sortField=1&sortDirection=1 - bezeichnung: Technisches Hilfswerk-Auslandsunfallfürsorgeverordnung - kurzbezeichnung: THW-AuslUFV Verordnung - referenz: https://ov-ludwigsburg.thw.de/fileadmin/user_upload/LVBW/GSTU/OLUD/Mediathek/Dokumente/thw_go_ea_anlage_00.pdf - bezeichnung: Geschäftsordnung des Technischen Hilfswerks - kurzbezeichnung: THW-GO
  Welche Datensätze analysieren die Geschlechterverteilung von Schulabgängern ohne Abschluss in deutschen Kreisen von 2006 bis 2021?	Datenbestand - titel: Anteil von Frauen und Männern an den Abgängerinnen und Abgängern ohne ersten Schulabschluss (Hauptschulabschluss) aus allgemeinbildenden Schulen nach Kreisen - typ: Fachverfahren - kurzbeschreibung: Prozentualer Anteil von Frauen und Männern an Schulabgängern ohne Hauptschulabschluss nach Kreisen - allgemeine_beschreibung: Der Datensatz enthält den prozentualen Anteil von Frauen und Männern an den Abgängerinnen und Abgängern ohne ersten Schulabschluss (Hauptschulabschluss) aus allgemeinbildenden Schulen nach Kreisen in Deutschland. - fachliche_beschreibung: Der Datensatz wird vom Bundesministerium für Familie, Senioren, Frauen und Jugend bereitgestellt und enthält Informationen über den Anteil von Frauen und Männern an Schulabgängern ohne ersten Schulabschluss aus allgemeinbildenden Schulen in Deutschland. Die Daten werden nach Kreisen aufgeschlüsselt und dienen der Analyse der Bildungssituation in verschiedenen Regionen des Landes. - zweck: Der Datensatz wird erhoben, um die Geschlechterverteilung bei Schulabgängern ohne Hauptschulabschluss in verschiedenen Regionen Deutschlands zu analysieren und mögliche Maßnahmen zur Verbesserung der Bildungschancen zu entwickeln. - einfuehrungsjahr: 2023 - zeitliche_abdeckung_start: 2006-01-01 - zeitliche_abdeckung_ende: 2021-12-31 Datenbestand hat Datenlieferanten - name: Bundesministerium für Familie - name: Frauen und Jugend - name: Senioren Datenbestand hat Schlagwort - name: bildung - name: schulabbrecher - name: gleichstellung - name: schulabschluss - name: schule Datenbestand hat Kategorie - name: Bevölkerung und Gesellschaft Datenbestand hat politische Ebenen - name: Ebene der Landkreise und Regierungsbezirke Datenbestand hat Sprache - name: Deutsch Datenbestand hat geografische Abdeckung - name: Bundesrepublik Deutschland - name: aufgeschlüsselt nach Kreisen Datenbestand hat Ministerium Ministerium - bezeichnung: Bundesministerium für Familie, Senioren, Frauen und Jugend - kurzbezeichnung: BMFSFJ - ressorts: Familie, Senioren, Frauen, Jugend Datenbestand hat Behörde Behoerde - bezeichnung: Bundesministerium für Familie, Senioren, Frauen und Jugend - kurzbezeichnung: BMFSFJ - ministerium_des_geschaeftsbereichs: Bundesministerium für Familie, Senioren, Frauen und Jugend - ressort: Bundesministerium für Familie, Senioren, Frauen und Jugend Datenbestand hat Gesetze: Gesetz - bezeichnung: E-Government-Gesetz Datenbestand hat Verordnung Verordnung Verordnung - referenz: https://recht.nrw.de/lmi/owa/br_vbl_detail_text?anw_nr=6&vd_id=20346&vd_back=N405&sg=0&menu=0 - bezeichnung: § 50 Schulgesetz NRW

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          512
      ],
      "matryoshka_weights": [
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• learning_rate: 1e-05
• warmup_ratio: 0.1
• bf16: True
• tf32: False
• load_best_model_at_end: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: False
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	dim_512_cosine_map@100
0	0	-	0.5212
0.0490	10	1.2397	-
0.0980	20	0.7542	-
0.1471	30	0.3055	-
0.1961	40	0.2075	-
0.2451	50	0.2064	-
0.2941	60	0.1429	-
0.3431	70	0.1821	-
0.3922	80	0.063	-
0.4412	90	0.078	-
0.4902	100	0.1026	-
0.5392	110	0.0717	-
0.5882	120	0.0394	-
0.6373	130	0.0751	-
0.6863	140	0.1377	-
0.7353	150	0.0666	-
0.7843	160	0.127	-
0.8333	170	0.1129	-
0.8824	180	0.0734	-
0.9314	190	0.0727	-
0.9804	200	0.1564	-
1.0	204	-	0.5428
1.0294	210	0.0904	-
1.0784	220	0.0974	-
1.1275	230	0.0785	-
1.1765	240	0.0704	-
1.2255	250	0.0929	-
1.2745	260	0.1119	-
1.3235	270	0.0459	-
1.3725	280	0.1181	-
1.4216	290	0.0459	-
1.4706	300	0.0248	-
1.5196	310	0.0567	-
1.5686	320	0.0247	-
1.6176	330	0.0412	-
1.6667	340	0.0498	-
1.7157	350	0.0693	-
1.7647	360	0.0589	-
1.8137	370	0.0383	-
1.8627	380	0.0429	-
1.9118	390	0.0466	-
1.9608	400	0.0331	-
2.0	408	-	0.5469
2.0098	410	0.0812	-
2.0588	420	0.0705	-
2.1078	430	0.0215	-
2.1569	440	0.0571	-
2.2059	450	0.0821	-
2.2549	460	0.046	-
2.3039	470	0.0165	-
2.3529	480	0.0335	-
2.4020	490	0.0339	-
2.4510	500	0.0291	-
2.5	510	0.0788	-
2.5490	520	0.0468	-
2.5980	530	0.0457	-
2.6471	540	0.0121	-
2.6961	550	0.0543	-
2.7451	560	0.0463	-
2.7941	570	0.0974	-
2.8431	580	0.0204	-
2.8922	590	0.012	-
2.9412	600	0.0545	-
2.9902	610	0.0581	-
3.0	612	-	0.5472

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.1.1
• Transformers: 4.45.2
• PyTorch: 2.4.1+cu121
• Accelerate: 1.0.0
• Datasets: 3.0.1
• Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}