README.md

metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:52896778
  - loss:CachedMultipleNegativesRankingLoss
base_model: KBLab/bert-base-swedish-cased
widget:
  - source_sentence: >-
      Næsten fire ud af fem (79%) angiver at det er fint at Danmark er
      foregangsland på kemikalieområdet i EU. Dette har været tilfældet de
      sidste år.
    sentences:
      - >-
        Studien som ble gjort avdekket blant annet svære kraterlignende
        strukturer på sjøbunnen. Det største krateret hadde ifølge
        Miljødirektoratet en radius på 40 meter, en høyde på 2,5 meter og
        inneholdt totale hydrokarboner på 4,5 prosent. Ifølge Statoil skal dette
        mest sannsynlig komme fra injeksjonsbrønn A-14 HX på Njord, der det ble
        injisert oljeholdig vann med kjemikalierester. Miljødirektoratet mener
        at samtlige av alle kjemikalier som ble injisert i brønnen fra 1999-2006
        er lekket ut til havbunnen. Dette bekrefter også Statoil langt på vei i
        sin redegjørelse. Men da Statoil fant ut av dette, tok det særdeles lang
        tid før det ble meldt fra om – over to år hadde gått. Både størrelsen på
        utslippet og at det tok så lang tid før Statoil rapporterte, mener Hanne
        Marie Øren i
      - >-
        angiver at det er fint at Danmark er foregangsland på kemikalieområdet i
        EU. Dette har været tilfældet de sidste år.") Forbrugerpanelet om
        hormonforstyrrende stoffer Næsten alle respondenterne (96%) svarer at de
        har hørt at hormonforstyrrende stoffer kan være eller mistænkes for at
        være skadelige. Problematikken har været
      - >-
        De jongerengarantieregeling en het jongerenwerkgelegenheidsinitiatief
        dat de regeling ondersteunt, zijn twee initiatieven van de EU die
        jongvolwassenen aan een baan, opleiding of leerlingplaats moeten helpen.
        De programma's zijn drie jaar geleden vastgesteld om jeugdwerkloosheid
        in Europa te bestrijden en hebben miljoenen jongeren geholpen. De
        resultaten zien er goed uit, maar de Europese Commissie stelt duidelijk
        dat er is nog geen reden is tot juichen. 06/12/2016
  - source_sentence: Iransk internet-mur skal beskytte mod angreb
    sentences:
      - >-
        Køkkenhaven Den skarpe smag af sennep giver maden det sidste pift. Bland
        den med forskellige ingredienser, og vælg mellem sorte, gule eller brune
        sennepsfrø. Du kan også selv dyrke sennep i haven. Få opskriften på en
        lækker urtesennep. Foto: iStockphoto
      - >-
        Iran strammer grebet om nettet. Landet vil skabe sit eget nationale
        internet og dermed beskytte sig mod angreb fra udlandet. 6. januar 2012
        kl. 10.43 Karim Pedersen Iran er kendt for sin strenge internet-censur
        og for sine mange forsøg på at overvåge landets borgere online. Senest
        er den danske virksomhed Rantek kommet i søgelyset, fordi man angiveligt
        har solgt israelsk overvågnings-software til Iran. Samtidig forsøger
        Iran at etablere sit eget nationale internet, hvor myndighederne har den
        fulde kontrol over alt indhold på netværket. Det kan være en
        forberedelse til det kommende parlamentsvalg i marts - mange af
        protesterne efter det omstridte præsidentvalg i 2009 blev organiseret
        online. Det iranske regime har slået hårdt ned på bloggere og advaret
        mod at opfordre til boykot af valget på nettet. Men
      - >-
        Emil er Frø ihvert fald henne i børnehaven :-) - Mor her har allerede
        for længst købt bluser med frøer på fra Småfolk, og i dag blev
        garderoben komplet med disse skønne grønne velourbukser med frølommer.
        Lommerne er meget lange og så seje med alle de frøer. Emil har længe
        manglet bukser, og det er jo skørt, for hverken disse frøbukser eller
        dem med bilerne fra igår har taget særlig lang tid at sy. Nå men hvor er
        det bare skønt, at jeg kunne glæde min store dreng med et par seje
        frøbukser.Dagen har også budt på opsætning af julelys. Vi har fået sat
        en udendørs lyskæde op langs vores lave hegn i indkørslen (ægte
        amerikansk stil), men nu er indkørslen ikke længere skummel, mørk og
        uindbydende. Jeg
  - source_sentence: Vad är menscykeln?
    sentences:
      - >-
        «Det siste året har livet mitt vært helt fantastisk. Jeg hadde aldri
        trodd at bloggen skulle føre meg så langt og hadde aldri trodd at jeg
        skulle få oppleve så mye. Jeg har lært utrolig mye, blant annet at
        venner er noe man må sette stor pris på. Og at man skal gripe dagen og
        være åpen for noe nytt, for dagen i dag får vi aldri igjen. Og ja,
        akkurat nå lever jeg livet, og har ingen planer om å bli voksen med det
        første. Lev hver dag som din siste!» (hentet fra Voes blogg) 1.
      - >-
        I och med landstigningen i Normandie på Dagen D den 6 juni, 1944, bröt
        kriget i väster ut igen och en ny situation uppstod. Den 24 augusti,
        1944 gav Hitler ett direktiv för att konstruktionen av Siegfriedlinjen
        skulle återupptas. 20 000 tvångsarbetare och medlemmar av den tyska
        riksarbetstjänsten (Reichsarbeitsdienst, RAD), av vilka de flesta var 14
        till 16 år gamla pojkar, försökte återupprusta linjen för
        försvarsändamål. Lokalbefolkningen kallades även in för att utföra detta
        arbete, oftast pansarvärnsdiken. Under bunkrarnas konstruktion var det
        redan klart att bunkrarna inte kunde stå emot de nyutvecklade
        pansarbrytande vapnen. Vid samma tidpunkt som den verkliga
        Siegfriedlinjen återaktverades byggdes små betonbunkrar upp längs
        gränsen av det ockuperade området. Dessa bunkrar kallades
        "Tobrukbunkrar" (efter hamnstaden Tobruk i östra Libyen). Dessa bunkrar
        var oftast skyttevärn för
      - >-
        Menscykeln räknas från första dagen i en mens till första dagen i nästa
        mens. Den brukar ofta vara cirka 28 dagar, men det är olika från person
        till person. Allt mellan 25 dagar till 32 dagar är vanligt. Ungefär 14
        dagar före mens sker ägglossningen. Det är då det finns chans till
        befruktning.
  - source_sentence: Hvad er XML-filtypenavnene?
    sentences:
      - >-
        Hjálparsagnir eins og nafnið gefur til kynna, hjálpa aðalsögninni að
        útskýra eitthvað; eins og til dæmis tíma. Hjálparsagnir geta aldrei
        staðið einar án aðalsagnar. Hjálparsagnir þurfa ekki alltaf að standa
        við hlið aðalsagna og oft er fleiri en ein hjálparsögn notuð.
        Hjálparsagnir bera ekki sjálfstæða merkingu. Nokkrar algengar íslenskar
        hjálparsagnir eru; hafa, vera, verða og munu.
      - >-
        Efter användandet ska doseringssprutan göras ren i varmt tvålvatten. När
        man ska ta isär doseringssprutan måste man ta i lite grann för att få
        loss kolven. Efter rengöringen är det bara att trycka tillbaka kolven.
        Skölj noga efteråt. Rengöringsmedel får inte användas, inte heller
        kokande vatten.
      - >-
        I Office kan du gemme filer i Open XML-formater og i de binære
        filformater fra tidligere versioner af Office, og programmet indeholder
        funktioner til kompatibilitetskontrol og filkonverteringsprogrammer, der
        tillader fildeling mellem forskellige versioner af Office. Åbne
        eksisterende filer i Office Du kan åbne og arbejde med en fil, der blev
        oprettet i en tidligere version af Office, og du kan derefter gemme den
        i det eksisterende format. Da du muligvis arbejder på en dokument sammen
        med nogen, der bruger en tidligere version af Office, bruger Office en
        kompatibilitetskontrol, der kontrollerer, at du ikke har anvendt en
        funktion, som en tidligere version af Office ikke understøtter. Når du
        gemmer filen, giver kompatibilitetskontrollen dig besked om disse
        funktioner og giver dig mulighed for at fjerne disse, før du fortsætter
        med
  - source_sentence: >-
      Mannen satt ensam i gruset en hel natt, men ingen brydde sig. Det Tove
      gjorde då värmer mitt hjärta. Vi behöver fler som dig!
    sentences:
      - >-
        <script
        data-adfscript="adx.adform.net/adx/?mid=168702&rnd=12341523"></script>
        <script src="//s1.adform.net/banners/scripts/adx.js" async
        defer></script> Ingen ville hjälpa den 75-årige mannen som suttit ute i
        gruset – hela natten. Tills 23-årige Tova Eldstål kom förbi. – Jag
        tycker vi ska börja ta hand om varandra mer, säger hon till Aftonbladet.
        Nu hyllar tusentals hennes Facebook-inlägg om händelsen. Det var i
        fredags morse som Tova Eldstål såg den äldre mannen sitta i gruset
        intill tågstationen i Fagersta. Ingen av de tio personer som gick
        framför Tova stannade till. Men det gjorde Tova.Hon fick veta att mannen
        hade ont i bröstet och att han suttit där sedan 17-tiden kvällen innan.
        Nu har Tova skrivit ett inlägg på Facebook om händelsen. Över 80 000 har
        gillat texten och tusentals hyllar henne för insatsen."Jag har missat
        mitt tåg men jag lämnade
      - >-
        Vi har fortsatt noen ledige plasser til kveldens store smaking. Bli med
        og smak 11 toppviner, deriblant flere årganger av Premier og Grand
        Cru-chabliser samtidig som du lærer mer om vinområdet. Med sin friske,
        klare duft av mineraler og nyåpnede østers, har de knusktørre vinene fra
        Chablis fått stjernestatus i vinverdenen. Smak Chablis på sitt aller
        beste og lær mer om hva som gjør dette vinområdet så spesielt ved å bli
        med på denne eksklusive smakingen. Revolusjonerende Grand Cru Denne
        kvelden får vi besøk fra et av Chablis' mest berømte vinhus, William
        Fèvre. Takket være fremsynthet på 1960-tallet har huset har den største
        andelen av Grand Cru-vinmarker blant alle vinhusene i området. Hele 16
        av de totalt 100 hektarene med de aller beste vinmarkene i Chablis
        tilhører eiendommen.
      - >-
        – Våre hovedargumenter for dette er at vi anser Jonas Gahr Støres og
        Felix Tschudis vennskap for å være inhabiliserende nært, og at Felix
        Tschudis interesser i den reelle mottaker av midlene fra UD er både
        særegne og av tilstrekkelig styrke. De samlede omstendigheter er egnet
        til å svekke tilliten, skriver advokatfirmaet videre. Støre selv sier
        via kommunikasjonssjef Ragnhild Imerslund i UD at han tar vurderingen
        til orientering.
pipeline_tag: sentence-similarity
library_name: sentence-transformers

SentenceTransformer based on KBLab/bert-base-swedish-cased

This is a sentence-transformers model finetuned from KBLab/bert-base-swedish-cased on the parquet dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: KBLab/bert-base-swedish-cased
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • parquet

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("nicher92/embedding_model_one_epoch")
# Run inference
sentences = [
    'Mannen satt ensam i gruset en hel natt, men ingen brydde sig. Det Tove gjorde då värmer mitt hjärta. Vi behöver fler som dig!',
    '<script data-adfscript="adx.adform.net/adx/?mid=168702&rnd=12341523"></script> <script src="//s1.adform.net/banners/scripts/adx.js" async defer></script> Ingen ville hjälpa den 75-årige mannen som suttit ute i gruset – hela natten. Tills 23-årige Tova Eldstål kom förbi. – Jag tycker vi ska börja ta hand om varandra mer, säger hon till Aftonbladet. Nu hyllar tusentals hennes Facebook-inlägg om händelsen. Det var i fredags morse som Tova Eldstål såg den äldre mannen sitta i gruset intill tågstationen i Fagersta. Ingen av de tio personer som gick framför Tova stannade till. Men det gjorde Tova.Hon fick veta att mannen hade ont i bröstet och att han suttit där sedan 17-tiden kvällen innan. Nu har Tova skrivit ett inlägg på Facebook om händelsen. Över 80 000 har gillat texten och tusentals hyllar henne för insatsen."Jag har missat mitt tåg men jag lämnade',
    "Vi har fortsatt noen ledige plasser til kveldens store smaking. Bli med og smak 11 toppviner, deriblant flere årganger av Premier og Grand Cru-chabliser samtidig som du lærer mer om vinområdet. Med sin friske, klare duft av mineraler og nyåpnede østers, har de knusktørre vinene fra Chablis fått stjernestatus i vinverdenen. Smak Chablis på sitt aller beste og lær mer om hva som gjør dette vinområdet så spesielt ved å bli med på denne eksklusive smakingen. Revolusjonerende Grand Cru Denne kvelden får vi besøk fra et av Chablis' mest berømte vinhus, William Fèvre. Takket være fremsynthet på 1960-tallet har huset har den største andelen av Grand Cru-vinmarker blant alle vinhusene i området. Hele 16 av de totalt 100 hektarene med de aller beste vinmarkene i Chablis tilhører eiendommen.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

parquet

• Dataset: parquet
• Size: 52,896,778 training samples
• Columns: header and body
• Approximate statistics based on the first 1000 samples:

  	header	body
  type	string	string
  details	min: 4 tokens mean: 12.12 tokens max: 178 tokens	min: 13 tokens mean: 154.53 tokens max: 362 tokens

• Samples:

  header	body
  Miljø: 4	Ford Focus stv. med 115-hesters diesel har et oppgitt EU-forbruk på 0,42 l/mil og et oppgitt CO2-utslipp på 109 g/km. Begge deler er gode tall for bilstørrelsen. I praksis, ute på veien i vår 20 mil lange testløype, trenger Focus stv. 0,52 l/mil. Fortsatt er det et godkjent tall, men Focusen havner noen dieseldråper bak for eksempel den forbruksoptimerte Skoda Octavia GreenLine.
  Invitation til klassefest 2013	17 okt Der kom brev med posten. (frit oversat til html af Leif) Kære gamle klassekammerater:Så er det endnu engang tid til klassekomsammen. Som aftalt sidste år er det **lørdag den 26. oktober:**Vi mødes kl. 13,00 foran indgangen til Århus Domkirke, Store Torv 1, 8000 Århus C.Herfra går vi til Besættelsesmuseet i Århus 1940-45 i Mathilde Fibrigers Have 2, hvor vi kan gå rundt og se på hvad der skete under besættelsen i Århus By.Når vi er færdige tager vi ud til mig, hvor vi vil få en god middag. Efterfølgende kaffe og senere natmad. Håber vi må få en rigtig hyggelig dag sammen. Du skal give besked, om du kommer senest den 16.10på telefon:eller Mobil:Beløb og opkrævning på dagen: ca. 300,- kr. Hilsen festudvalget: Hanne Gerner Thomsen
  Konklusjon: 6	Hovedkarakteren er ikke et gjennomsnitt av delkarakterene, men et uttrykk for hvordan bilen totalt sett er i forhold til konkurrentene på det tidspunktet da testen ble gjennomført. Som nevnt allerede i innledningen: Vi mener Ford Focus 1,6 TDCI stv. totalt sett er den beste kompakte stasjonsvogna på markedet per i dag (juni 2011), og slik sett forsvarer den en sekser på terningen. Blant de sterkeste sidene er opplevelsen av at Focus gir mye god bil for pengene både når det gjelder kjøreegenskaper, plass og ytelser. Litt rom for forbedring finner vi først og fremst når det gjelder motoren. 1,5-litersdieselen er ikke lenger klassens mest kultiverte.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 128
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 2048
• learning_rate: 0.0002
• warmup_ratio: 0.1
• bf16: True
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 2048
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 0.0002
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0012	5	6.7754
0.0023	10	6.6896
0.0035	15	6.5047
0.0046	20	6.2826
0.0058	25	5.9985
0.0070	30	5.6479
0.0081	35	5.2283
0.0093	40	4.9118
0.0105	45	4.5856
0.0116	50	4.2933
0.0128	55	4.039
0.0139	60	3.8274
0.0151	65	3.6651
0.0163	70	3.5111
0.0174	75	3.3547
0.0186	80	3.2696
0.0197	85	3.1727
0.0209	90	3.0879
0.0221	95	3.0103
0.0232	100	2.9765
0.0244	105	2.8899
0.0256	110	2.8561
0.0267	115	2.8292
0.0279	120	2.7635
0.0290	125	2.7508
0.0302	130	2.705
0.0314	135	2.6831
0.0325	140	2.6545
0.0337	145	2.6175
0.0349	150	2.595
0.0360	155	2.5818
0.0372	160	2.537
0.0383	165	2.538
0.0395	170	2.5051
0.0407	175	2.502
0.0418	180	2.4705
0.0430	185	2.4809
0.0441	190	2.4443
0.0453	195	2.409
0.0465	200	2.3929
0.0476	205	2.3917
0.0488	210	2.3654
0.0500	215	2.3603
0.0511	220	2.3482
0.0523	225	2.3189
0.0534	230	2.3009
0.0546	235	2.3032
0.0558	240	2.2824
0.0569	245	2.2792
0.0581	250	2.2642
0.0592	255	2.2435
0.0604	260	2.2361
0.0616	265	2.2115
0.0627	270	2.2203
0.0639	275	2.1931
0.0651	280	2.2
0.0662	285	2.1862
0.0674	290	2.1615
0.0685	295	2.1783
0.0697	300	2.1515
0.0709	305	2.1318
0.0720	310	2.1403
0.0732	315	2.1252
0.0743	320	2.1199
0.0755	325	2.1036
0.0767	330	2.1033
0.0778	335	2.0887
0.0790	340	2.0715
0.0802	345	2.0709
0.0813	350	2.0488
0.0825	355	2.0484
0.0836	360	2.0373
0.0848	365	2.051
0.0860	370	2.0395
0.0871	375	2.0248
0.0883	380	2.0148
0.0895	385	2.0126
0.0906	390	1.9956
0.0918	395	1.987
0.0929	400	1.9875
0.0941	405	1.9698
0.0953	410	1.9596
0.0964	415	1.968
0.0976	420	1.9438
0.0987	425	1.9411
0.0999	430	1.9624
0.1011	435	1.938
0.1022	440	1.9295
0.1034	445	1.922
0.1046	450	1.9306
0.1057	455	1.921
0.1069	460	1.915
0.1080	465	1.883
0.1092	470	1.8886
0.1104	475	1.8886
0.1115	480	1.9004
0.1127	485	1.878
0.1138	490	1.8567
0.1150	495	1.8659
0.1162	500	1.8522
0.1173	505	1.8482
0.1185	510	1.8356
0.1197	515	1.8566
0.1208	520	1.8392
0.1220	525	1.8407
0.1231	530	1.8201
0.1243	535	1.8152
0.1255	540	1.8012
0.1266	545	1.819
0.1278	550	1.8131
0.1289	555	1.8167
0.1301	560	1.8123
0.1313	565	1.8035
0.1324	570	1.7781
0.1336	575	1.7684
0.1348	580	1.7633
0.1359	585	1.7765
0.1371	590	1.767
0.1382	595	1.7633
0.1394	600	1.7555
0.1406	605	1.7437
0.1417	610	1.7348
0.1429	615	1.7329
0.1441	620	1.7394
0.1452	625	1.7367
0.1464	630	1.737
0.1475	635	1.7063
0.1487	640	1.727
0.1499	645	1.732
0.1510	650	1.7172
0.1522	655	1.7164
0.1533	660	1.7175
0.1545	665	1.7119
0.1557	670	1.6951
0.1568	675	1.7021
0.1580	680	1.6708
0.1592	685	1.6839
0.1603	690	1.6834
0.1615	695	1.6743
0.1626	700	1.6755
0.1638	705	1.6798
0.1650	710	1.6671
0.1661	715	1.6563
0.1673	720	1.6555
0.1684	725	1.6413
0.1696	730	1.6471
0.1708	735	1.6532
0.1719	740	1.6481
0.1731	745	1.6429
0.1743	750	1.6488
0.1754	755	1.6475
0.1766	760	1.6213
0.1777	765	1.6367
0.1789	770	1.6319
0.1801	775	1.6204
0.1812	780	1.6377
0.1824	785	1.6203
0.1836	790	1.6117
0.1847	795	1.59
0.1859	800	1.6249
0.1870	805	1.5927
0.1882	810	1.6007
0.1894	815	1.5908
0.1905	820	1.6081
0.1917	825	1.5973
0.1928	830	1.6012
0.1940	835	1.5899
0.1952	840	1.589
0.1963	845	1.5766
0.1975	850	1.5613
0.1987	855	1.58
0.1998	860	1.5811
0.2010	865	1.5763
0.2021	870	1.5605
0.2033	875	1.5807
0.2045	880	1.5681
0.2056	885	1.5681
0.2068	890	1.551
0.2079	895	1.5418
0.2091	900	1.5523
0.2103	905	1.5508
0.2114	910	1.5463
0.2126	915	1.5356
0.2138	920	1.5573
0.2149	925	1.5439
0.2161	930	1.5383
0.2172	935	1.5248
0.2184	940	1.5263
0.2196	945	1.5249
0.2207	950	1.516
0.2219	955	1.5114
0.2230	960	1.5167
0.2242	965	1.5302
0.2254	970	1.5164
0.2265	975	1.5295
0.2277	980	1.5098
0.2289	985	1.5297
0.2300	990	1.5146
0.2312	995	1.5094
0.2323	1000	1.5022
0.2335	1005	1.5026
0.2347	1010	1.4903
0.2358	1015	1.4934
0.2370	1020	1.5048
0.2382	1025	1.4882
0.2393	1030	1.4692
0.2405	1035	1.4894
0.2416	1040	1.4774
0.2428	1045	1.4928
0.2440	1050	1.4861
0.2451	1055	1.4829
0.2463	1060	1.4738
0.2474	1065	1.4902
0.2486	1070	1.4784
0.2498	1075	1.4804
0.2509	1080	1.4692
0.2521	1085	1.4625
0.2533	1090	1.4511
0.2544	1095	1.4735
0.2556	1100	1.4547
0.2567	1105	1.4488
0.2579	1110	1.4585
0.2591	1115	1.455
0.2602	1120	1.4571
0.2614	1125	1.4617
0.2625	1130	1.4572
0.2637	1135	1.4501
0.2649	1140	1.4599
0.2660	1145	1.4469
0.2672	1150	1.4308
0.2684	1155	1.4329
0.2695	1160	1.441
0.2707	1165	1.431
0.2718	1170	1.4323
0.2730	1175	1.4194
0.2742	1180	1.4364
0.2753	1185	1.4364
0.2765	1190	1.4228
0.2776	1195	1.418
0.2788	1200	1.4246
0.2800	1205	1.4387
0.2811	1210	1.4188
0.2823	1215	1.4035
0.2835	1220	1.4233
0.2846	1225	1.4112
0.2858	1230	1.4284
0.2869	1235	1.4154
0.2881	1240	1.4167
0.2893	1245	1.4049
0.2904	1250	1.4064
0.2916	1255	1.4057
0.2928	1260	1.4204
0.2939	1265	1.4093
0.2951	1270	1.4053
0.2962	1275	1.4018
0.2974	1280	1.398
0.2986	1285	1.4039
0.2997	1290	1.3844
0.3009	1295	1.4017
0.3020	1300	1.3993
0.3032	1305	1.3962
0.3044	1310	1.3784
0.3055	1315	1.395
0.3067	1320	1.3998
0.3079	1325	1.3904
0.3090	1330	1.3858
0.3102	1335	1.378
0.3113	1340	1.3812
0.3125	1345	1.3912
0.3137	1350	1.3775
0.3148	1355	1.3628
0.3160	1360	1.3757
0.3171	1365	1.3852
0.3183	1370	1.377
0.3195	1375	1.3985
0.3206	1380	1.3703
0.3218	1385	1.3564
0.3230	1390	1.3658
0.3241	1395	1.3662
0.3253	1400	1.3536
0.3264	1405	1.3542
0.3276	1410	1.355
0.3288	1415	1.3569
0.3299	1420	1.3565
0.3311	1425	1.3538
0.3322	1430	1.3447
0.3334	1435	1.3368
0.3346	1440	1.3581
0.3357	1445	1.3601
0.3369	1450	1.3367
0.3381	1455	1.3406
0.3392	1460	1.3393
0.3404	1465	1.3631
0.3415	1470	1.338
0.3427	1475	1.3441
0.3439	1480	1.3405
0.3450	1485	1.3532
0.3462	1490	1.3478
0.3474	1495	1.3383
0.3485	1500	1.3346
0.3497	1505	1.341
0.3508	1510	1.3254
0.3520	1515	1.3296
0.3532	1520	1.328
0.3543	1525	1.3395
0.3555	1530	1.3242
0.3566	1535	1.318
0.3578	1540	1.3167
0.3590	1545	1.3238
0.3601	1550	1.314
0.3613	1555	1.3258
0.3625	1560	1.3189
0.3636	1565	1.3058
0.3648	1570	1.321
0.3659	1575	1.3003
0.3671	1580	1.3165
0.3683	1585	1.3083
0.3694	1590	1.3165
0.3706	1595	1.3179
0.3717	1600	1.3132
0.3729	1605	1.3005
0.3741	1610	1.3062
0.3752	1615	1.3179
0.3764	1620	1.315
0.3776	1625	1.306
0.3787	1630	1.304
0.3799	1635	1.2906
0.3810	1640	1.3015
0.3822	1645	1.2997
0.3834	1650	1.2931
0.3845	1655	1.2915
0.3857	1660	1.3021
0.3868	1665	1.2969
0.3880	1670	1.2941
0.3892	1675	1.2938
0.3903	1680	1.2968
0.3915	1685	1.2821
0.3927	1690	1.2786
0.3938	1695	1.2856
0.3950	1700	1.2785
0.3961	1705	1.2752
0.3973	1710	1.2946
0.3985	1715	1.2817
0.3996	1720	1.2799
0.4008	1725	1.2727
0.4020	1730	1.2851
0.4031	1735	1.2552
0.4043	1740	1.2824
0.4054	1745	1.2601
0.4066	1750	1.2851
0.4078	1755	1.267
0.4089	1760	1.2694
0.4101	1765	1.2699
0.4112	1770	1.2604
0.4124	1775	1.2739
0.4136	1780	1.2842
0.4147	1785	1.2686
0.4159	1790	1.2642
0.4171	1795	1.2634
0.4182	1800	1.2516
0.4194	1805	1.2644
0.4205	1810	1.2635
0.4217	1815	1.2516
0.4229	1820	1.2582
0.4240	1825	1.2513
0.4252	1830	1.2468
0.4263	1835	1.2388
0.4275	1840	1.2494
0.4287	1845	1.2383
0.4298	1850	1.2567
0.4310	1855	1.2518
0.4322	1860	1.2571
0.4333	1865	1.2445
0.4345	1870	1.251
0.4356	1875	1.2446
0.4368	1880	1.2315
0.4380	1885	1.2382
0.4391	1890	1.256
0.4403	1895	1.2446
0.4414	1900	1.2286
0.4426	1905	1.2411
0.4438	1910	1.2392
0.4449	1915	1.233
0.4461	1920	1.2455
0.4473	1925	1.2309
0.4484	1930	1.2178
0.4496	1935	1.2253
0.4507	1940	1.2295
0.4519	1945	1.229
0.4531	1950	1.2456
0.4542	1955	1.2366
0.4554	1960	1.2273
0.4566	1965	1.2208
0.4577	1970	1.2291
0.4589	1975	1.2083
0.4600	1980	1.2342
0.4612	1985	1.2237
0.4624	1990	1.2265
0.4635	1995	1.2098
0.4647	2000	1.2258
0.4658	2005	1.2357
0.4670	2010	1.2194
0.4682	2015	1.2258
0.4693	2020	1.2014
0.4705	2025	1.2051
0.4717	2030	1.2035
0.4728	2035	1.2179
0.4740	2040	1.2241
0.4751	2045	1.2255
0.4763	2050	1.2265
0.4775	2055	1.2163
0.4786	2060	1.211
0.4798	2065	1.2178
0.4809	2070	1.2344
0.4821	2075	1.2089
0.4833	2080	1.2031
0.4844	2085	1.2128
0.4856	2090	1.2074
0.4868	2095	1.2071
0.4879	2100	1.2005
0.4891	2105	1.2133
0.4902	2110	1.1913
0.4914	2115	1.2054
0.4926	2120	1.2071
0.4937	2125	1.1938
0.4949	2130	1.1956
0.4961	2135	1.1932
0.4972	2140	1.2124
0.4984	2145	1.2098
0.4995	2150	1.216
0.5007	2155	1.2135
0.5019	2160	1.2
0.5030	2165	1.2118
0.5042	2170	1.1988
0.5053	2175	1.1973
0.5065	2180	1.2039
0.5077	2185	1.1959
0.5088	2190	1.1924
0.5100	2195	1.1875
0.5112	2200	1.1806
0.5123	2205	1.1933
0.5135	2210	1.1837
0.5146	2215	1.1876
0.5158	2220	1.1901
0.5170	2225	1.1971
0.5181	2230	1.2016
0.5193	2235	1.1849
0.5204	2240	1.1823
0.5216	2245	1.1757
0.5228	2250	1.1816
0.5239	2255	1.18
0.5251	2260	1.1879
0.5263	2265	1.1867
0.5274	2270	1.1734
0.5286	2275	1.1798
0.5297	2280	1.1848
0.5309	2285	1.1829
0.5321	2290	1.177
0.5332	2295	1.1795
0.5344	2300	1.1725
0.5355	2305	1.1747
0.5367	2310	1.1736
0.5379	2315	1.1777
0.5390	2320	1.1897
0.5402	2325	1.1792
0.5414	2330	1.1843
0.5425	2335	1.1762
0.5437	2340	1.1804
0.5448	2345	1.1728
0.5460	2350	1.1514
0.5472	2355	1.1747
0.5483	2360	1.1658
0.5495	2365	1.1763
0.5507	2370	1.1588
0.5518	2375	1.1641
0.5530	2380	1.1714
0.5541	2385	1.1697
0.5553	2390	1.1567
0.5565	2395	1.1696
0.5576	2400	1.1578
0.5588	2405	1.1683
0.5599	2410	1.1547
0.5611	2415	1.1642
0.5623	2420	1.1755
0.5634	2425	1.159
0.5646	2430	1.1602
0.5658	2435	1.1652
0.5669	2440	1.1478
0.5681	2445	1.1542
0.5692	2450	1.15
0.5704	2455	1.1665
0.5716	2460	1.1765
0.5727	2465	1.1598
0.5739	2470	1.1448
0.5750	2475	1.1431
0.5762	2480	1.1503
0.5774	2485	1.1433
0.5785	2490	1.1556
0.5797	2495	1.1692
0.5809	2500	1.1454
0.5820	2505	1.15
0.5832	2510	1.1528
0.5843	2515	1.1454
0.5855	2520	1.1656
0.5867	2525	1.1455
0.5878	2530	1.156
0.5890	2535	1.1489
0.5901	2540	1.1442
0.5913	2545	1.1466
0.5925	2550	1.1437
0.5936	2555	1.1579
0.5948	2560	1.1484
0.5960	2565	1.1399
0.5971	2570	1.1475
0.5983	2575	1.1486
0.5994	2580	1.1612
0.6006	2585	1.1435
0.6018	2590	1.1439
0.6029	2595	1.1427
0.6041	2600	1.1468
0.6053	2605	1.1391
0.6064	2610	1.1427
0.6076	2615	1.1428
0.6087	2620	1.1415
0.6099	2625	1.1345
0.6111	2630	1.1356
0.6122	2635	1.1274
0.6134	2640	1.1472
0.6145	2645	1.1364
0.6157	2650	1.1293
0.6169	2655	1.1333
0.6180	2660	1.1371
0.6192	2665	1.1486
0.6204	2670	1.1271
0.6215	2675	1.1371
0.6227	2680	1.1298
0.6238	2685	1.1414
0.625	2690	1.1365
0.6262	2695	1.1484
0.6273	2700	1.1248
0.6285	2705	1.1291
0.6296	2710	1.1267
0.6308	2715	1.121
0.6320	2720	1.1414
0.6331	2725	1.1362
0.6343	2730	1.1206
0.6355	2735	1.1337
0.6366	2740	1.1122
0.6378	2745	1.122
0.6389	2750	1.1245
0.6401	2755	1.1426
0.6413	2760	1.1233
0.6424	2765	1.1398
0.6436	2770	1.1214
0.6447	2775	1.1152
0.6459	2780	1.1348
0.6471	2785	1.1238
0.6482	2790	1.1175
0.6494	2795	1.1153
0.6506	2800	1.1153
0.6517	2805	1.1164
0.6529	2810	1.1155
0.6540	2815	1.108
0.6552	2820	1.1138
0.6564	2825	1.1121
0.6575	2830	1.1205
0.6587	2835	1.1252
0.6599	2840	1.1151
0.6610	2845	1.1209
0.6622	2850	1.1231
0.6633	2855	1.1212
0.6645	2860	1.1151
0.6657	2865	1.1143
0.6668	2870	1.1147
0.6680	2875	1.1208
0.6691	2880	1.1132
0.6703	2885	1.1
0.6715	2890	1.1087
0.6726	2895	1.1216
0.6738	2900	1.1112
0.6750	2905	1.1221
0.6761	2910	1.095
0.6773	2915	1.1068
0.6784	2920	1.1092
0.6796	2925	1.1145
0.6808	2930	1.1153
0.6819	2935	1.1082
0.6831	2940	1.1001
0.6842	2945	1.1154
0.6854	2950	1.1079
0.6866	2955	1.1051
0.6877	2960	1.1073
0.6889	2965	1.1024
0.6901	2970	1.1029
0.6912	2975	1.0998
0.6924	2980	1.1144
0.6935	2985	1.1092
0.6947	2990	1.1043
0.6959	2995	1.1095
0.6970	3000	1.0948
0.6982	3005	1.0866
0.6993	3010	1.1011
0.7005	3015	1.1002
0.7017	3020	1.0948
0.7028	3025	1.0962
0.7040	3030	1.0981
0.7052	3035	1.0909
0.7063	3040	1.0945
0.7075	3045	1.1108
0.7086	3050	1.1119
0.7098	3055	1.0856
0.7110	3060	1.1141
0.7121	3065	1.1079
0.7133	3070	1.099
0.7145	3075	1.0813
0.7156	3080	1.0849
0.7168	3085	1.0927
0.7179	3090	1.0949
0.7191	3095	1.0974
0.7203	3100	1.1004
0.7214	3105	1.0897
0.7226	3110	1.0958
0.7237	3115	1.0995
0.7249	3120	1.0982
0.7261	3125	1.0986
0.7272	3130	1.0971
0.7284	3135	1.0797
0.7296	3140	1.0915
0.7307	3145	1.1058
0.7319	3150	1.0822
0.7330	3155	1.0806
0.7342	3160	1.0762
0.7354	3165	1.0965
0.7365	3170	1.0853
0.7377	3175	1.0873
0.7388	3180	1.1015
0.7400	3185	1.0832
0.7412	3190	1.0919
0.7423	3195	1.0838
0.7435	3200	1.079
0.7447	3205	1.0802
0.7458	3210	1.0723
0.7470	3215	1.0861
0.7481	3220	1.078
0.7493	3225	1.0847
0.7505	3230	1.0907
0.7516	3235	1.0874
0.7528	3240	1.0883
0.7539	3245	1.0897
0.7551	3250	1.0842
0.7563	3255	1.0921
0.7574	3260	1.099
0.7586	3265	1.0753
0.7598	3270	1.0921
0.7609	3275	1.0847
0.7621	3280	1.0921
0.7632	3285	1.0809
0.7644	3290	1.088
0.7656	3295	1.0812
0.7667	3300	1.0788
0.7679	3305	1.0998
0.7691	3310	1.0788
0.7702	3315	1.0863
0.7714	3320	1.0827
0.7725	3325	1.0806
0.7737	3330	1.0776
0.7749	3335	1.0825
0.7760	3340	1.067
0.7772	3345	1.0735
0.7783	3350	1.0826
0.7795	3355	1.0692
0.7807	3360	1.0827
0.7818	3365	1.0868
0.7830	3370	1.0696
0.7842	3375	1.0739
0.7853	3380	1.0759
0.7865	3385	1.0706
0.7876	3390	1.0811
0.7888	3395	1.0672
0.7900	3400	1.0534
0.7911	3405	1.0635
0.7923	3410	1.0737
0.7934	3415	1.0707
0.7946	3420	1.0642
0.7958	3425	1.0744
0.7969	3430	1.0738
0.7981	3435	1.0675
0.7993	3440	1.0705
0.8004	3445	1.0682
0.8016	3450	1.0593
0.8027	3455	1.0702
0.8039	3460	1.0688
0.8051	3465	1.068
0.8062	3470	1.0678
0.8074	3475	1.0563
0.8086	3480	1.0759
0.8097	3485	1.074
0.8109	3490	1.0712
0.8120	3495	1.0707
0.8132	3500	1.0635
0.8144	3505	1.077
0.8155	3510	1.0633
0.8167	3515	1.0731
0.8178	3520	1.0726
0.8190	3525	1.0648
0.8202	3530	1.0655
0.8213	3535	1.0552
0.8225	3540	1.0488
0.8237	3545	1.0544
0.8248	3550	1.0677
0.8260	3555	1.066
0.8271	3560	1.0545
0.8283	3565	1.0621
0.8295	3570	1.0716
0.8306	3575	1.0577
0.8318	3580	1.0626
0.8329	3585	1.0589
0.8341	3590	1.0759
0.8353	3595	1.0544
0.8364	3600	1.0736
0.8376	3605	1.0604
0.8388	3610	1.0471
0.8399	3615	1.0627
0.8411	3620	1.0595
0.8422	3625	1.0529
0.8434	3630	1.0629
0.8446	3635	1.0614
0.8457	3640	1.0585
0.8469	3645	1.0584
0.8480	3650	1.0588
0.8492	3655	1.0555
0.8504	3660	1.0452
0.8515	3665	1.0603
0.8527	3670	1.0568
0.8539	3675	1.0623
0.8550	3680	1.0397
0.8562	3685	1.0747
0.8573	3690	1.0478
0.8585	3695	1.0514
0.8597	3700	1.0474
0.8608	3705	1.0469
0.8620	3710	1.0526
0.8632	3715	1.041
0.8643	3720	1.0483
0.8655	3725	1.0479
0.8666	3730	1.0536
0.8678	3735	1.0515
0.8690	3740	1.0547
0.8701	3745	1.0699
0.8713	3750	1.0525
0.8724	3755	1.0561
0.8736	3760	1.0459
0.8748	3765	1.0619
0.8759	3770	1.0325
0.8771	3775	1.041
0.8783	3780	1.0414
0.8794	3785	1.0516
0.8806	3790	1.0452
0.8817	3795	1.0402
0.8829	3800	1.0447
0.8841	3805	1.0482
0.8852	3810	1.0455
0.8864	3815	1.041
0.8875	3820	1.0485
0.8887	3825	1.0402
0.8899	3830	1.052
0.8910	3835	1.0348
0.8922	3840	1.0369
0.8934	3845	1.0535
0.8945	3850	1.0426
0.8957	3855	1.0474
0.8968	3860	1.0293
0.8980	3865	1.0368
0.8992	3870	1.038
0.9003	3875	1.0447
0.9015	3880	1.0476
0.9026	3885	1.0422
0.9038	3890	1.0314
0.9050	3895	1.0331
0.9061	3900	1.0434
0.9073	3905	1.0251
0.9085	3910	1.05
0.9096	3915	1.0289
0.9108	3920	1.0338
0.9119	3925	1.0319
0.9131	3930	1.0234
0.9143	3935	1.0376
0.9154	3940	1.0314
0.9166	3945	1.0401
0.9178	3950	1.0501
0.9189	3955	1.0392
0.9201	3960	1.0241
0.9212	3965	1.0286
0.9224	3970	1.0419
0.9236	3975	1.0311
0.9247	3980	1.0418
0.9259	3985	1.0299
0.9270	3990	1.0395
0.9282	3995	1.0287
0.9294	4000	1.0306

Framework Versions

• Python: 3.12.9
• Sentence Transformers: 4.1.0
• Transformers: 4.52.4
• PyTorch: 2.6.0+cu124
• Accelerate: 1.7.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}