Add new SentenceTransformer model

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,1261 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:52896778
+- loss:CachedMultipleNegativesRankingLoss
+base_model: KBLab/bert-base-swedish-cased
+widget:
+- source_sentence: Næsten fire ud af fem (79%) angiver at det er fint at Danmark er
+    foregangsland på kemikalieområdet i EU. Dette har været tilfældet de sidste år.
+  sentences:
+  - Studien som ble gjort avdekket blant annet svære kraterlignende strukturer på
+    sjøbunnen. Det største krateret hadde ifølge Miljødirektoratet en radius på 40
+    meter, en høyde på 2,5 meter og inneholdt totale hydrokarboner på 4,5 prosent.
+    Ifølge Statoil skal dette mest sannsynlig komme fra injeksjonsbrønn A-14 HX på
+    Njord, der det ble injisert oljeholdig vann med kjemikalierester. Miljødirektoratet
+    mener at samtlige av alle kjemikalier som ble injisert i brønnen fra 1999-2006
+    er lekket ut til havbunnen. Dette bekrefter også Statoil langt på vei i sin redegjørelse.
+    Men da Statoil fant ut av dette, tok det særdeles lang tid før det ble meldt fra
+    om – over to år hadde gått. Både størrelsen på utslippet og at det tok så lang
+    tid før Statoil rapporterte, mener Hanne Marie Øren i
+  - angiver at det er fint at Danmark er foregangsland på kemikalieområdet i EU. Dette
+    har været tilfældet de sidste år.") Forbrugerpanelet om hormonforstyrrende stoffer
+    Næsten alle respondenterne (96%) svarer at de har hørt at hormonforstyrrende stoffer
+    kan være eller mistænkes for at være skadelige. Problematikken har været
+  - De jongerengarantieregeling en het jongerenwerkgelegenheidsinitiatief dat de regeling
+    ondersteunt, zijn twee initiatieven van de EU die jongvolwassenen aan een baan,
+    opleiding of leerlingplaats moeten helpen. De programma's zijn drie jaar geleden
+    vastgesteld om jeugdwerkloosheid in Europa te bestrijden en hebben miljoenen jongeren
+    geholpen. De resultaten zien er goed uit, maar de Europese Commissie stelt duidelijk
+    dat er is nog geen reden is tot juichen. 06/12/2016
+- source_sentence: Iransk internet-mur skal beskytte mod angreb
+  sentences:
+  - 'Køkkenhaven Den skarpe smag af sennep giver maden det sidste pift. Bland den
+    med forskellige ingredienser, og vælg mellem sorte, gule eller brune sennepsfrø.
+    Du kan også selv dyrke sennep i haven. Få opskriften på en lækker urtesennep.
+    Foto: iStockphoto'
+  - Iran strammer grebet om nettet. Landet vil skabe sit eget nationale internet og
+    dermed beskytte sig mod angreb fra udlandet. 6. januar 2012 kl. 10.43 Karim Pedersen
+    Iran er kendt for sin strenge internet-censur og for sine mange forsøg på at overvåge
+    landets borgere online. Senest er den danske virksomhed Rantek kommet i søgelyset,
+    fordi man angiveligt har solgt israelsk overvågnings-software til Iran. Samtidig
+    forsøger Iran at etablere sit eget nationale internet, hvor myndighederne har
+    den fulde kontrol over alt indhold på netværket. Det kan være en forberedelse
+    til det kommende parlamentsvalg i marts - mange af protesterne efter det omstridte
+    præsidentvalg i 2009 blev organiseret online. Det iranske regime har slået hårdt
+    ned på bloggere og advaret mod at opfordre til boykot af valget på nettet. Men
+  - Emil er Frø ihvert fald henne i børnehaven :-) - Mor her har allerede for længst
+    købt bluser med frøer på fra Småfolk, og i dag blev garderoben komplet med disse
+    skønne grønne velourbukser med frølommer. Lommerne er meget lange og så seje med
+    alle de frøer. Emil har længe manglet bukser, og det er jo skørt, for hverken
+    disse frøbukser eller dem med bilerne fra igår har taget særlig lang tid at sy.
+    Nå men hvor er det bare skønt, at jeg kunne glæde min store dreng med et par seje
+    frøbukser.Dagen har også budt på opsætning af julelys. Vi har fået sat en udendørs
+    lyskæde op langs vores lave hegn i indkørslen (ægte amerikansk stil), men nu er
+    indkørslen ikke længere skummel, mørk og uindbydende. Jeg
+- source_sentence: Vad är menscykeln?
+  sentences:
+  - «Det siste året har livet mitt vært helt fantastisk. Jeg hadde aldri trodd at
+    bloggen skulle føre meg så langt og hadde aldri trodd at jeg skulle få oppleve
+    så mye. Jeg har lært utrolig mye, blant annet at venner er noe man må sette stor
+    pris på. Og at man skal gripe dagen og være åpen for noe nytt, for dagen i dag
+    får vi aldri igjen. Og ja, akkurat nå lever jeg livet, og har ingen planer om
+    å bli voksen med det første. Lev hver dag som din siste!» (hentet fra Voes blogg)
+    1.
+  - I och med landstigningen i Normandie på Dagen D den 6 juni, 1944, bröt kriget
+    i väster ut igen och en ny situation uppstod. Den 24 augusti, 1944 gav Hitler
+    ett direktiv för att konstruktionen av Siegfriedlinjen skulle återupptas. 20 000
+    tvångsarbetare och medlemmar av den tyska riksarbetstjänsten (Reichsarbeitsdienst,
+    RAD), av vilka de flesta var 14 till 16 år gamla pojkar, försökte återupprusta
+    linjen för försvarsändamål. Lokalbefolkningen kallades även in för att utföra
+    detta arbete, oftast pansarvärnsdiken. Under bunkrarnas konstruktion var det redan
+    klart att bunkrarna inte kunde stå emot de nyutvecklade pansarbrytande vapnen.
+    Vid samma tidpunkt som den verkliga Siegfriedlinjen återaktverades byggdes små
+    betonbunkrar upp längs gränsen av det ockuperade området. Dessa bunkrar kallades
+    "Tobrukbunkrar" (efter hamnstaden Tobruk i östra Libyen). Dessa bunkrar var oftast
+    skyttevärn för
+  - Menscykeln räknas från första dagen i en mens till första dagen i nästa mens.
+    Den brukar ofta vara cirka 28 dagar, men det är olika från person till person.
+    Allt mellan 25 dagar till 32 dagar är vanligt. Ungefär 14 dagar före mens sker
+    ägglossningen. Det är då det finns chans till befruktning.
+- source_sentence: Hvad er XML-filtypenavnene?
+  sentences:
+  - Hjálparsagnir eins og nafnið gefur til kynna, hjálpa aðalsögninni að útskýra eitthvað;
+    eins og til dæmis tíma. Hjálparsagnir geta aldrei staðið einar án aðalsagnar.
+    Hjálparsagnir þurfa ekki alltaf að standa við hlið aðalsagna og oft er fleiri
+    en ein hjálparsögn notuð. Hjálparsagnir bera ekki sjálfstæða merkingu. Nokkrar
+    algengar íslenskar hjálparsagnir eru; hafa, vera, verða og munu.
+  - Efter användandet ska doseringssprutan göras ren i varmt tvålvatten. När man ska
+    ta isär doseringssprutan måste man ta i lite grann för att få loss kolven. Efter
+    rengöringen är det bara att trycka tillbaka kolven. Skölj noga efteråt. Rengöringsmedel
+    får inte användas, inte heller kokande vatten.
+  - I Office kan du gemme filer i Open XML-formater og i de binære filformater fra
+    tidligere versioner af Office, og programmet indeholder funktioner til kompatibilitetskontrol
+    og filkonverteringsprogrammer, der tillader fildeling mellem forskellige versioner
+    af Office. Åbne eksisterende filer i Office Du kan åbne og arbejde med en fil,
+    der blev oprettet i en tidligere version af Office, og du kan derefter gemme den
+    i det eksisterende format. Da du muligvis arbejder på en dokument sammen med nogen,
+    der bruger en tidligere version af Office, bruger Office en kompatibilitetskontrol,
+    der kontrollerer, at du ikke har anvendt en funktion, som en tidligere version
+    af Office ikke understøtter. Når du gemmer filen, giver kompatibilitetskontrollen
+    dig besked om disse funktioner og giver dig mulighed for at fjerne disse, før
+    du fortsætter med
+- source_sentence: Mannen satt ensam i gruset en hel natt, men ingen brydde sig. Det
+    Tove gjorde då värmer mitt hjärta. Vi behöver fler som dig!
+  sentences:
+  - <script data-adfscript="adx.adform.net/adx/?mid=168702&rnd=12341523"></script>
+    <script src="//s1.adform.net/banners/scripts/adx.js" async defer></script> Ingen
+    ville hjälpa den 75-årige mannen som suttit ute i gruset – hela natten. Tills
+    23-årige Tova Eldstål kom förbi. – Jag tycker vi ska börja ta hand om varandra
+    mer, säger hon till Aftonbladet. Nu hyllar tusentals hennes Facebook-inlägg om
+    händelsen. Det var i fredags morse som Tova Eldstål såg den äldre mannen sitta
+    i gruset intill tågstationen i Fagersta. Ingen av de tio personer som gick framför
+    Tova stannade till. Men det gjorde Tova.Hon fick veta att mannen hade ont i bröstet
+    och att han suttit där sedan 17-tiden kvällen innan. Nu har Tova skrivit ett inlägg
+    på Facebook om händelsen. Över 80 000 har gillat texten och tusentals hyllar henne
+    för insatsen."Jag har missat mitt tåg men jag lämnade
+  - Vi har fortsatt noen ledige plasser til kveldens store smaking. Bli med og smak
+    11 toppviner, deriblant flere årganger av Premier og Grand Cru-chabliser samtidig
+    som du lærer mer om vinområdet. Med sin friske, klare duft av mineraler og nyåpnede
+    østers, har de knusktørre vinene fra Chablis fått stjernestatus i vinverdenen.
+    Smak Chablis på sitt aller beste og lær mer om hva som gjør dette vinområdet så
+    spesielt ved å bli med på denne eksklusive smakingen. Revolusjonerende Grand Cru
+    Denne kvelden får vi besøk fra et av Chablis' mest berømte vinhus, William Fèvre.
+    Takket være fremsynthet på 1960-tallet har huset har den største andelen av Grand
+    Cru-vinmarker blant alle vinhusene i området. Hele 16 av de totalt 100 hektarene
+    med de aller beste vinmarkene i Chablis tilhører eiendommen.
+  - – Våre hovedargumenter for dette er at vi anser Jonas Gahr Støres og Felix Tschudis
+    vennskap for å være inhabiliserende nært, og at Felix Tschudis interesser i den
+    reelle mottaker av midlene fra UD er både særegne og av tilstrekkelig styrke.
+    De samlede omstendigheter er egnet til å svekke tilliten, skriver advokatfirmaet
+    videre. Støre selv sier via kommunikasjonssjef Ragnhild Imerslund i UD at han
+    tar vurderingen til orientering.
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+---
+
+# SentenceTransformer based on KBLab/bert-base-swedish-cased
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [KBLab/bert-base-swedish-cased](https://huggingface.co/KBLab/bert-base-swedish-cased) on the parquet dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [KBLab/bert-base-swedish-cased](https://huggingface.co/KBLab/bert-base-swedish-cased) <!-- at revision c710fb8dff81abb11d704cd46a8a1e010b2b022c -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - parquet
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("nicher92/embedding_model_one_epoch")
+# Run inference
+sentences = [
+    'Mannen satt ensam i gruset en hel natt, men ingen brydde sig. Det Tove gjorde då värmer mitt hjärta. Vi behöver fler som dig!',
+    '<script data-adfscript="adx.adform.net/adx/?mid=168702&rnd=12341523"></script> <script src="//s1.adform.net/banners/scripts/adx.js" async defer></script> Ingen ville hjälpa den 75-årige mannen som suttit ute i gruset – hela natten. Tills 23-årige Tova Eldstål kom förbi. – Jag tycker vi ska börja ta hand om varandra mer, säger hon till Aftonbladet. Nu hyllar tusentals hennes Facebook-inlägg om händelsen. Det var i fredags morse som Tova Eldstål såg den äldre mannen sitta i gruset intill tågstationen i Fagersta. Ingen av de tio personer som gick framför Tova stannade till. Men det gjorde Tova.Hon fick veta att mannen hade ont i bröstet och att han suttit där sedan 17-tiden kvällen innan. Nu har Tova skrivit ett inlägg på Facebook om händelsen. Över 80 000 har gillat texten och tusentals hyllar henne för insatsen."Jag har missat mitt tåg men jag lämnade',
+    "Vi har fortsatt noen ledige plasser til kveldens store smaking. Bli med og smak 11 toppviner, deriblant flere årganger av Premier og Grand Cru-chabliser samtidig som du lærer mer om vinområdet. Med sin friske, klare duft av mineraler og nyåpnede østers, har de knusktørre vinene fra Chablis fått stjernestatus i vinverdenen. Smak Chablis på sitt aller beste og lær mer om hva som gjør dette vinområdet så spesielt ved å bli med på denne eksklusive smakingen. Revolusjonerende Grand Cru Denne kvelden får vi besøk fra et av Chablis' mest berømte vinhus, William Fèvre. Takket være fremsynthet på 1960-tallet har huset har den største andelen av Grand Cru-vinmarker blant alle vinhusene i området. Hele 16 av de totalt 100 hektarene med de aller beste vinmarkene i Chablis tilhører eiendommen.",
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### parquet
+
+* Dataset: parquet
+* Size: 52,896,778 training samples
+* Columns: <code>header</code> and <code>body</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | header                                                                             | body                                                                                 |
+  |:--------|:-----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                             | string                                                                               |
+  | details | <ul><li>min: 4 tokens</li><li>mean: 12.12 tokens</li><li>max: 178 tokens</li></ul> | <ul><li>min: 13 tokens</li><li>mean: 154.53 tokens</li><li>max: 362 tokens</li></ul> |
+* Samples:
+  | header                                      | body                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                 |
+  |:--------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Miljø: 4</code>                       | <code>Ford Focus stv. med 115-hesters diesel har et oppgitt EU-forbruk på 0,42 l/mil og et oppgitt CO2-utslipp på 109 g/km. Begge deler er gode tall for bilstørrelsen. I praksis, ute på veien i vår 20 mil lange testløype, trenger Focus stv. 0,52 l/mil. Fortsatt er det et godkjent tall, men Focusen havner noen dieseldråper bak for eksempel den forbruksoptimerte Skoda Octavia GreenLine.</code>                                                                                                                                                                                                                                                                                                                                                                           |
+  | <code>Invitation til klassefest 2013</code> | <code>17 okt Der kom brev med posten. (frit oversat til html af Leif) Kære gamle klassekammerater:Så er det endnu engang tid til klassekomsammen. Som aftalt sidste år er det **lørdag den 26. oktober:**Vi mødes kl. 13,00 foran indgangen til Århus Domkirke, Store Torv 1, 8000 Århus C.Herfra går vi til Besættelsesmuseet i Århus 1940-45 i Mathilde Fibrigers Have 2, hvor vi kan gå rundt og se på hvad der skete under besættelsen i Århus By.Når vi er færdige tager vi ud til mig, hvor vi vil få en god middag. Efterfølgende kaffe og senere natmad. Håber vi må få en rigtig hyggelig dag sammen. Du skal give besked, om du kommer senest den 16.10på telefon:eller Mobil:Beløb og opkrævning på dagen: ca. 300,- kr. Hilsen festudvalget: Hanne Gerner Thomsen</code> |
+  | <code>Konklusjon: 6</code>                  | <code>Hovedkarakteren er ikke et gjennomsnitt av delkarakterene, men et uttrykk for hvordan bilen totalt sett er i forhold til konkurrentene på det tidspunktet da testen ble gjennomført. Som nevnt allerede i innledningen: Vi mener Ford Focus 1,6 TDCI stv. totalt sett er den beste kompakte stasjonsvogna på markedet per i dag (juni 2011), og slik sett forsvarer den en sekser på terningen. Blant de sterkeste sidene er opplevelsen av at Focus gir mye god bil for pengene både når det gjelder kjøreegenskaper, plass og ytelser. Litt rom for forbedring finner vi først og fremst når det gjelder motoren. 1,5-litersdieselen er ikke lenger klassens mest kultiverte. | | || Pris | 244800 | Vår karakter</code>                                                     |
+* Loss: [<code>CachedMultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cachedmultiplenegativesrankingloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "cos_sim",
+      "mini_batch_size": 128
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: steps
+- `per_device_train_batch_size`: 2048
+- `learning_rate`: 0.0002
+- `warmup_ratio`: 0.1
+- `bf16`: True
+- `load_best_model_at_end`: True
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: steps
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 2048
+- `per_device_eval_batch_size`: 8
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 0.0002
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 3
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: True
+- `fp16`: False
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: True
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+<details><summary>Click to expand</summary>
+
+| Epoch  | Step | Training Loss |
+|:------:|:----:|:-------------:|
+| 0.0012 | 5    | 6.7754        |
+| 0.0023 | 10   | 6.6896        |
+| 0.0035 | 15   | 6.5047        |
+| 0.0046 | 20   | 6.2826        |
+| 0.0058 | 25   | 5.9985        |
+| 0.0070 | 30   | 5.6479        |
+| 0.0081 | 35   | 5.2283        |
+| 0.0093 | 40   | 4.9118        |
+| 0.0105 | 45   | 4.5856        |
+| 0.0116 | 50   | 4.2933        |
+| 0.0128 | 55   | 4.039         |
+| 0.0139 | 60   | 3.8274        |
+| 0.0151 | 65   | 3.6651        |
+| 0.0163 | 70   | 3.5111        |
+| 0.0174 | 75   | 3.3547        |
+| 0.0186 | 80   | 3.2696        |
+| 0.0197 | 85   | 3.1727        |
+| 0.0209 | 90   | 3.0879        |
+| 0.0221 | 95   | 3.0103        |
+| 0.0232 | 100  | 2.9765        |
+| 0.0244 | 105  | 2.8899        |
+| 0.0256 | 110  | 2.8561        |
+| 0.0267 | 115  | 2.8292        |
+| 0.0279 | 120  | 2.7635        |
+| 0.0290 | 125  | 2.7508        |
+| 0.0302 | 130  | 2.705         |
+| 0.0314 | 135  | 2.6831        |
+| 0.0325 | 140  | 2.6545        |
+| 0.0337 | 145  | 2.6175        |
+| 0.0349 | 150  | 2.595         |
+| 0.0360 | 155  | 2.5818        |
+| 0.0372 | 160  | 2.537         |
+| 0.0383 | 165  | 2.538         |
+| 0.0395 | 170  | 2.5051        |
+| 0.0407 | 175  | 2.502         |
+| 0.0418 | 180  | 2.4705        |
+| 0.0430 | 185  | 2.4809        |
+| 0.0441 | 190  | 2.4443        |
+| 0.0453 | 195  | 2.409         |
+| 0.0465 | 200  | 2.3929        |
+| 0.0476 | 205  | 2.3917        |
+| 0.0488 | 210  | 2.3654        |
+| 0.0500 | 215  | 2.3603        |
+| 0.0511 | 220  | 2.3482        |
+| 0.0523 | 225  | 2.3189        |
+| 0.0534 | 230  | 2.3009        |
+| 0.0546 | 235  | 2.3032        |
+| 0.0558 | 240  | 2.2824        |
+| 0.0569 | 245  | 2.2792        |
+| 0.0581 | 250  | 2.2642        |
+| 0.0592 | 255  | 2.2435        |
+| 0.0604 | 260  | 2.2361        |
+| 0.0616 | 265  | 2.2115        |
+| 0.0627 | 270  | 2.2203        |
+| 0.0639 | 275  | 2.1931        |
+| 0.0651 | 280  | 2.2           |
+| 0.0662 | 285  | 2.1862        |
+| 0.0674 | 290  | 2.1615        |
+| 0.0685 | 295  | 2.1783        |
+| 0.0697 | 300  | 2.1515        |
+| 0.0709 | 305  | 2.1318        |
+| 0.0720 | 310  | 2.1403        |
+| 0.0732 | 315  | 2.1252        |
+| 0.0743 | 320  | 2.1199        |
+| 0.0755 | 325  | 2.1036        |
+| 0.0767 | 330  | 2.1033        |
+| 0.0778 | 335  | 2.0887        |
+| 0.0790 | 340  | 2.0715        |
+| 0.0802 | 345  | 2.0709        |
+| 0.0813 | 350  | 2.0488        |
+| 0.0825 | 355  | 2.0484        |
+| 0.0836 | 360  | 2.0373        |
+| 0.0848 | 365  | 2.051         |
+| 0.0860 | 370  | 2.0395        |
+| 0.0871 | 375  | 2.0248        |
+| 0.0883 | 380  | 2.0148        |
+| 0.0895 | 385  | 2.0126        |
+| 0.0906 | 390  | 1.9956        |
+| 0.0918 | 395  | 1.987         |
+| 0.0929 | 400  | 1.9875        |
+| 0.0941 | 405  | 1.9698        |
+| 0.0953 | 410  | 1.9596        |
+| 0.0964 | 415  | 1.968         |
+| 0.0976 | 420  | 1.9438        |
+| 0.0987 | 425  | 1.9411        |
+| 0.0999 | 430  | 1.9624        |
+| 0.1011 | 435  | 1.938         |
+| 0.1022 | 440  | 1.9295        |
+| 0.1034 | 445  | 1.922         |
+| 0.1046 | 450  | 1.9306        |
+| 0.1057 | 455  | 1.921         |
+| 0.1069 | 460  | 1.915         |
+| 0.1080 | 465  | 1.883         |
+| 0.1092 | 470  | 1.8886        |
+| 0.1104 | 475  | 1.8886        |
+| 0.1115 | 480  | 1.9004        |
+| 0.1127 | 485  | 1.878         |
+| 0.1138 | 490  | 1.8567        |
+| 0.1150 | 495  | 1.8659        |
+| 0.1162 | 500  | 1.8522        |
+| 0.1173 | 505  | 1.8482        |
+| 0.1185 | 510  | 1.8356        |
+| 0.1197 | 515  | 1.8566        |
+| 0.1208 | 520  | 1.8392        |
+| 0.1220 | 525  | 1.8407        |
+| 0.1231 | 530  | 1.8201        |
+| 0.1243 | 535  | 1.8152        |
+| 0.1255 | 540  | 1.8012        |
+| 0.1266 | 545  | 1.819         |
+| 0.1278 | 550  | 1.8131        |
+| 0.1289 | 555  | 1.8167        |
+| 0.1301 | 560  | 1.8123        |
+| 0.1313 | 565  | 1.8035        |
+| 0.1324 | 570  | 1.7781        |
+| 0.1336 | 575  | 1.7684        |
+| 0.1348 | 580  | 1.7633        |
+| 0.1359 | 585  | 1.7765        |
+| 0.1371 | 590  | 1.767         |
+| 0.1382 | 595  | 1.7633        |
+| 0.1394 | 600  | 1.7555        |
+| 0.1406 | 605  | 1.7437        |
+| 0.1417 | 610  | 1.7348        |
+| 0.1429 | 615  | 1.7329        |
+| 0.1441 | 620  | 1.7394        |
+| 0.1452 | 625  | 1.7367        |
+| 0.1464 | 630  | 1.737         |
+| 0.1475 | 635  | 1.7063        |
+| 0.1487 | 640  | 1.727         |
+| 0.1499 | 645  | 1.732         |
+| 0.1510 | 650  | 1.7172        |
+| 0.1522 | 655  | 1.7164        |
+| 0.1533 | 660  | 1.7175        |
+| 0.1545 | 665  | 1.7119        |
+| 0.1557 | 670  | 1.6951        |
+| 0.1568 | 675  | 1.7021        |
+| 0.1580 | 680  | 1.6708        |
+| 0.1592 | 685  | 1.6839        |
+| 0.1603 | 690  | 1.6834        |
+| 0.1615 | 695  | 1.6743        |
+| 0.1626 | 700  | 1.6755        |
+| 0.1638 | 705  | 1.6798        |
+| 0.1650 | 710  | 1.6671        |
+| 0.1661 | 715  | 1.6563        |
+| 0.1673 | 720  | 1.6555        |
+| 0.1684 | 725  | 1.6413        |
+| 0.1696 | 730  | 1.6471        |
+| 0.1708 | 735  | 1.6532        |
+| 0.1719 | 740  | 1.6481        |
+| 0.1731 | 745  | 1.6429        |
+| 0.1743 | 750  | 1.6488        |
+| 0.1754 | 755  | 1.6475        |
+| 0.1766 | 760  | 1.6213        |
+| 0.1777 | 765  | 1.6367        |
+| 0.1789 | 770  | 1.6319        |
+| 0.1801 | 775  | 1.6204        |
+| 0.1812 | 780  | 1.6377        |
+| 0.1824 | 785  | 1.6203        |
+| 0.1836 | 790  | 1.6117        |
+| 0.1847 | 795  | 1.59          |
+| 0.1859 | 800  | 1.6249        |
+| 0.1870 | 805  | 1.5927        |
+| 0.1882 | 810  | 1.6007        |
+| 0.1894 | 815  | 1.5908        |
+| 0.1905 | 820  | 1.6081        |
+| 0.1917 | 825  | 1.5973        |
+| 0.1928 | 830  | 1.6012        |
+| 0.1940 | 835  | 1.5899        |
+| 0.1952 | 840  | 1.589         |
+| 0.1963 | 845  | 1.5766        |
+| 0.1975 | 850  | 1.5613        |
+| 0.1987 | 855  | 1.58          |
+| 0.1998 | 860  | 1.5811        |
+| 0.2010 | 865  | 1.5763        |
+| 0.2021 | 870  | 1.5605        |
+| 0.2033 | 875  | 1.5807        |
+| 0.2045 | 880  | 1.5681        |
+| 0.2056 | 885  | 1.5681        |
+| 0.2068 | 890  | 1.551         |
+| 0.2079 | 895  | 1.5418        |
+| 0.2091 | 900  | 1.5523        |
+| 0.2103 | 905  | 1.5508        |
+| 0.2114 | 910  | 1.5463        |
+| 0.2126 | 915  | 1.5356        |
+| 0.2138 | 920  | 1.5573        |
+| 0.2149 | 925  | 1.5439        |
+| 0.2161 | 930  | 1.5383        |
+| 0.2172 | 935  | 1.5248        |
+| 0.2184 | 940  | 1.5263        |
+| 0.2196 | 945  | 1.5249        |
+| 0.2207 | 950  | 1.516         |
+| 0.2219 | 955  | 1.5114        |
+| 0.2230 | 960  | 1.5167        |
+| 0.2242 | 965  | 1.5302        |
+| 0.2254 | 970  | 1.5164        |
+| 0.2265 | 975  | 1.5295        |
+| 0.2277 | 980  | 1.5098        |
+| 0.2289 | 985  | 1.5297        |
+| 0.2300 | 990  | 1.5146        |
+| 0.2312 | 995  | 1.5094        |
+| 0.2323 | 1000 | 1.5022        |
+| 0.2335 | 1005 | 1.5026        |
+| 0.2347 | 1010 | 1.4903        |
+| 0.2358 | 1015 | 1.4934        |
+| 0.2370 | 1020 | 1.5048        |
+| 0.2382 | 1025 | 1.4882        |
+| 0.2393 | 1030 | 1.4692        |
+| 0.2405 | 1035 | 1.4894        |
+| 0.2416 | 1040 | 1.4774        |
+| 0.2428 | 1045 | 1.4928        |
+| 0.2440 | 1050 | 1.4861        |
+| 0.2451 | 1055 | 1.4829        |
+| 0.2463 | 1060 | 1.4738        |
+| 0.2474 | 1065 | 1.4902        |
+| 0.2486 | 1070 | 1.4784        |
+| 0.2498 | 1075 | 1.4804        |
+| 0.2509 | 1080 | 1.4692        |
+| 0.2521 | 1085 | 1.4625        |
+| 0.2533 | 1090 | 1.4511        |
+| 0.2544 | 1095 | 1.4735        |
+| 0.2556 | 1100 | 1.4547        |
+| 0.2567 | 1105 | 1.4488        |
+| 0.2579 | 1110 | 1.4585        |
+| 0.2591 | 1115 | 1.455         |
+| 0.2602 | 1120 | 1.4571        |
+| 0.2614 | 1125 | 1.4617        |
+| 0.2625 | 1130 | 1.4572        |
+| 0.2637 | 1135 | 1.4501        |
+| 0.2649 | 1140 | 1.4599        |
+| 0.2660 | 1145 | 1.4469        |
+| 0.2672 | 1150 | 1.4308        |
+| 0.2684 | 1155 | 1.4329        |
+| 0.2695 | 1160 | 1.441         |
+| 0.2707 | 1165 | 1.431         |
+| 0.2718 | 1170 | 1.4323        |
+| 0.2730 | 1175 | 1.4194        |
+| 0.2742 | 1180 | 1.4364        |
+| 0.2753 | 1185 | 1.4364        |
+| 0.2765 | 1190 | 1.4228        |
+| 0.2776 | 1195 | 1.418         |
+| 0.2788 | 1200 | 1.4246        |
+| 0.2800 | 1205 | 1.4387        |
+| 0.2811 | 1210 | 1.4188        |
+| 0.2823 | 1215 | 1.4035        |
+| 0.2835 | 1220 | 1.4233        |
+| 0.2846 | 1225 | 1.4112        |
+| 0.2858 | 1230 | 1.4284        |
+| 0.2869 | 1235 | 1.4154        |
+| 0.2881 | 1240 | 1.4167        |
+| 0.2893 | 1245 | 1.4049        |
+| 0.2904 | 1250 | 1.4064        |
+| 0.2916 | 1255 | 1.4057        |
+| 0.2928 | 1260 | 1.4204        |
+| 0.2939 | 1265 | 1.4093        |
+| 0.2951 | 1270 | 1.4053        |
+| 0.2962 | 1275 | 1.4018        |
+| 0.2974 | 1280 | 1.398         |
+| 0.2986 | 1285 | 1.4039        |
+| 0.2997 | 1290 | 1.3844        |
+| 0.3009 | 1295 | 1.4017        |
+| 0.3020 | 1300 | 1.3993        |
+| 0.3032 | 1305 | 1.3962        |
+| 0.3044 | 1310 | 1.3784        |
+| 0.3055 | 1315 | 1.395         |
+| 0.3067 | 1320 | 1.3998        |
+| 0.3079 | 1325 | 1.3904        |
+| 0.3090 | 1330 | 1.3858        |
+| 0.3102 | 1335 | 1.378         |
+| 0.3113 | 1340 | 1.3812        |
+| 0.3125 | 1345 | 1.3912        |
+| 0.3137 | 1350 | 1.3775        |
+| 0.3148 | 1355 | 1.3628        |
+| 0.3160 | 1360 | 1.3757        |
+| 0.3171 | 1365 | 1.3852        |
+| 0.3183 | 1370 | 1.377         |
+| 0.3195 | 1375 | 1.3985        |
+| 0.3206 | 1380 | 1.3703        |
+| 0.3218 | 1385 | 1.3564        |
+| 0.3230 | 1390 | 1.3658        |
+| 0.3241 | 1395 | 1.3662        |
+| 0.3253 | 1400 | 1.3536        |
+| 0.3264 | 1405 | 1.3542        |
+| 0.3276 | 1410 | 1.355         |
+| 0.3288 | 1415 | 1.3569        |
+| 0.3299 | 1420 | 1.3565        |
+| 0.3311 | 1425 | 1.3538        |
+| 0.3322 | 1430 | 1.3447        |
+| 0.3334 | 1435 | 1.3368        |
+| 0.3346 | 1440 | 1.3581        |
+| 0.3357 | 1445 | 1.3601        |
+| 0.3369 | 1450 | 1.3367        |
+| 0.3381 | 1455 | 1.3406        |
+| 0.3392 | 1460 | 1.3393        |
+| 0.3404 | 1465 | 1.3631        |
+| 0.3415 | 1470 | 1.338         |
+| 0.3427 | 1475 | 1.3441        |
+| 0.3439 | 1480 | 1.3405        |
+| 0.3450 | 1485 | 1.3532        |
+| 0.3462 | 1490 | 1.3478        |
+| 0.3474 | 1495 | 1.3383        |
+| 0.3485 | 1500 | 1.3346        |
+| 0.3497 | 1505 | 1.341         |
+| 0.3508 | 1510 | 1.3254        |
+| 0.3520 | 1515 | 1.3296        |
+| 0.3532 | 1520 | 1.328         |
+| 0.3543 | 1525 | 1.3395        |
+| 0.3555 | 1530 | 1.3242        |
+| 0.3566 | 1535 | 1.318         |
+| 0.3578 | 1540 | 1.3167        |
+| 0.3590 | 1545 | 1.3238        |
+| 0.3601 | 1550 | 1.314         |
+| 0.3613 | 1555 | 1.3258        |
+| 0.3625 | 1560 | 1.3189        |
+| 0.3636 | 1565 | 1.3058        |
+| 0.3648 | 1570 | 1.321         |
+| 0.3659 | 1575 | 1.3003        |
+| 0.3671 | 1580 | 1.3165        |
+| 0.3683 | 1585 | 1.3083        |
+| 0.3694 | 1590 | 1.3165        |
+| 0.3706 | 1595 | 1.3179        |
+| 0.3717 | 1600 | 1.3132        |
+| 0.3729 | 1605 | 1.3005        |
+| 0.3741 | 1610 | 1.3062        |
+| 0.3752 | 1615 | 1.3179        |
+| 0.3764 | 1620 | 1.315         |
+| 0.3776 | 1625 | 1.306         |
+| 0.3787 | 1630 | 1.304         |
+| 0.3799 | 1635 | 1.2906        |
+| 0.3810 | 1640 | 1.3015        |
+| 0.3822 | 1645 | 1.2997        |
+| 0.3834 | 1650 | 1.2931        |
+| 0.3845 | 1655 | 1.2915        |
+| 0.3857 | 1660 | 1.3021        |
+| 0.3868 | 1665 | 1.2969        |
+| 0.3880 | 1670 | 1.2941        |
+| 0.3892 | 1675 | 1.2938        |
+| 0.3903 | 1680 | 1.2968        |
+| 0.3915 | 1685 | 1.2821        |
+| 0.3927 | 1690 | 1.2786        |
+| 0.3938 | 1695 | 1.2856        |
+| 0.3950 | 1700 | 1.2785        |
+| 0.3961 | 1705 | 1.2752        |
+| 0.3973 | 1710 | 1.2946        |
+| 0.3985 | 1715 | 1.2817        |
+| 0.3996 | 1720 | 1.2799        |
+| 0.4008 | 1725 | 1.2727        |
+| 0.4020 | 1730 | 1.2851        |
+| 0.4031 | 1735 | 1.2552        |
+| 0.4043 | 1740 | 1.2824        |
+| 0.4054 | 1745 | 1.2601        |
+| 0.4066 | 1750 | 1.2851        |
+| 0.4078 | 1755 | 1.267         |
+| 0.4089 | 1760 | 1.2694        |
+| 0.4101 | 1765 | 1.2699        |
+| 0.4112 | 1770 | 1.2604        |
+| 0.4124 | 1775 | 1.2739        |
+| 0.4136 | 1780 | 1.2842        |
+| 0.4147 | 1785 | 1.2686        |
+| 0.4159 | 1790 | 1.2642        |
+| 0.4171 | 1795 | 1.2634        |
+| 0.4182 | 1800 | 1.2516        |
+| 0.4194 | 1805 | 1.2644        |
+| 0.4205 | 1810 | 1.2635        |
+| 0.4217 | 1815 | 1.2516        |
+| 0.4229 | 1820 | 1.2582        |
+| 0.4240 | 1825 | 1.2513        |
+| 0.4252 | 1830 | 1.2468        |
+| 0.4263 | 1835 | 1.2388        |
+| 0.4275 | 1840 | 1.2494        |
+| 0.4287 | 1845 | 1.2383        |
+| 0.4298 | 1850 | 1.2567        |
+| 0.4310 | 1855 | 1.2518        |
+| 0.4322 | 1860 | 1.2571        |
+| 0.4333 | 1865 | 1.2445        |
+| 0.4345 | 1870 | 1.251         |
+| 0.4356 | 1875 | 1.2446        |
+| 0.4368 | 1880 | 1.2315        |
+| 0.4380 | 1885 | 1.2382        |
+| 0.4391 | 1890 | 1.256         |
+| 0.4403 | 1895 | 1.2446        |
+| 0.4414 | 1900 | 1.2286        |
+| 0.4426 | 1905 | 1.2411        |
+| 0.4438 | 1910 | 1.2392        |
+| 0.4449 | 1915 | 1.233         |
+| 0.4461 | 1920 | 1.2455        |
+| 0.4473 | 1925 | 1.2309        |
+| 0.4484 | 1930 | 1.2178        |
+| 0.4496 | 1935 | 1.2253        |
+| 0.4507 | 1940 | 1.2295        |
+| 0.4519 | 1945 | 1.229         |
+| 0.4531 | 1950 | 1.2456        |
+| 0.4542 | 1955 | 1.2366        |
+| 0.4554 | 1960 | 1.2273        |
+| 0.4566 | 1965 | 1.2208        |
+| 0.4577 | 1970 | 1.2291        |
+| 0.4589 | 1975 | 1.2083        |
+| 0.4600 | 1980 | 1.2342        |
+| 0.4612 | 1985 | 1.2237        |
+| 0.4624 | 1990 | 1.2265        |
+| 0.4635 | 1995 | 1.2098        |
+| 0.4647 | 2000 | 1.2258        |
+| 0.4658 | 2005 | 1.2357        |
+| 0.4670 | 2010 | 1.2194        |
+| 0.4682 | 2015 | 1.2258        |
+| 0.4693 | 2020 | 1.2014        |
+| 0.4705 | 2025 | 1.2051        |
+| 0.4717 | 2030 | 1.2035        |
+| 0.4728 | 2035 | 1.2179        |
+| 0.4740 | 2040 | 1.2241        |
+| 0.4751 | 2045 | 1.2255        |
+| 0.4763 | 2050 | 1.2265        |
+| 0.4775 | 2055 | 1.2163        |
+| 0.4786 | 2060 | 1.211         |
+| 0.4798 | 2065 | 1.2178        |
+| 0.4809 | 2070 | 1.2344        |
+| 0.4821 | 2075 | 1.2089        |
+| 0.4833 | 2080 | 1.2031        |
+| 0.4844 | 2085 | 1.2128        |
+| 0.4856 | 2090 | 1.2074        |
+| 0.4868 | 2095 | 1.2071        |
+| 0.4879 | 2100 | 1.2005        |
+| 0.4891 | 2105 | 1.2133        |
+| 0.4902 | 2110 | 1.1913        |
+| 0.4914 | 2115 | 1.2054        |
+| 0.4926 | 2120 | 1.2071        |
+| 0.4937 | 2125 | 1.1938        |
+| 0.4949 | 2130 | 1.1956        |
+| 0.4961 | 2135 | 1.1932        |
+| 0.4972 | 2140 | 1.2124        |
+| 0.4984 | 2145 | 1.2098        |
+| 0.4995 | 2150 | 1.216         |
+| 0.5007 | 2155 | 1.2135        |
+| 0.5019 | 2160 | 1.2           |
+| 0.5030 | 2165 | 1.2118        |
+| 0.5042 | 2170 | 1.1988        |
+| 0.5053 | 2175 | 1.1973        |
+| 0.5065 | 2180 | 1.2039        |
+| 0.5077 | 2185 | 1.1959        |
+| 0.5088 | 2190 | 1.1924        |
+| 0.5100 | 2195 | 1.1875        |
+| 0.5112 | 2200 | 1.1806        |
+| 0.5123 | 2205 | 1.1933        |
+| 0.5135 | 2210 | 1.1837        |
+| 0.5146 | 2215 | 1.1876        |
+| 0.5158 | 2220 | 1.1901        |
+| 0.5170 | 2225 | 1.1971        |
+| 0.5181 | 2230 | 1.2016        |
+| 0.5193 | 2235 | 1.1849        |
+| 0.5204 | 2240 | 1.1823        |
+| 0.5216 | 2245 | 1.1757        |
+| 0.5228 | 2250 | 1.1816        |
+| 0.5239 | 2255 | 1.18          |
+| 0.5251 | 2260 | 1.1879        |
+| 0.5263 | 2265 | 1.1867        |
+| 0.5274 | 2270 | 1.1734        |
+| 0.5286 | 2275 | 1.1798        |
+| 0.5297 | 2280 | 1.1848        |
+| 0.5309 | 2285 | 1.1829        |
+| 0.5321 | 2290 | 1.177         |
+| 0.5332 | 2295 | 1.1795        |
+| 0.5344 | 2300 | 1.1725        |
+| 0.5355 | 2305 | 1.1747        |
+| 0.5367 | 2310 | 1.1736        |
+| 0.5379 | 2315 | 1.1777        |
+| 0.5390 | 2320 | 1.1897        |
+| 0.5402 | 2325 | 1.1792        |
+| 0.5414 | 2330 | 1.1843        |
+| 0.5425 | 2335 | 1.1762        |
+| 0.5437 | 2340 | 1.1804        |
+| 0.5448 | 2345 | 1.1728        |
+| 0.5460 | 2350 | 1.1514        |
+| 0.5472 | 2355 | 1.1747        |
+| 0.5483 | 2360 | 1.1658        |
+| 0.5495 | 2365 | 1.1763        |
+| 0.5507 | 2370 | 1.1588        |
+| 0.5518 | 2375 | 1.1641        |
+| 0.5530 | 2380 | 1.1714        |
+| 0.5541 | 2385 | 1.1697        |
+| 0.5553 | 2390 | 1.1567        |
+| 0.5565 | 2395 | 1.1696        |
+| 0.5576 | 2400 | 1.1578        |
+| 0.5588 | 2405 | 1.1683        |
+| 0.5599 | 2410 | 1.1547        |
+| 0.5611 | 2415 | 1.1642        |
+| 0.5623 | 2420 | 1.1755        |
+| 0.5634 | 2425 | 1.159         |
+| 0.5646 | 2430 | 1.1602        |
+| 0.5658 | 2435 | 1.1652        |
+| 0.5669 | 2440 | 1.1478        |
+| 0.5681 | 2445 | 1.1542        |
+| 0.5692 | 2450 | 1.15          |
+| 0.5704 | 2455 | 1.1665        |
+| 0.5716 | 2460 | 1.1765        |
+| 0.5727 | 2465 | 1.1598        |
+| 0.5739 | 2470 | 1.1448        |
+| 0.5750 | 2475 | 1.1431        |
+| 0.5762 | 2480 | 1.1503        |
+| 0.5774 | 2485 | 1.1433        |
+| 0.5785 | 2490 | 1.1556        |
+| 0.5797 | 2495 | 1.1692        |
+| 0.5809 | 2500 | 1.1454        |
+| 0.5820 | 2505 | 1.15          |
+| 0.5832 | 2510 | 1.1528        |
+| 0.5843 | 2515 | 1.1454        |
+| 0.5855 | 2520 | 1.1656        |
+| 0.5867 | 2525 | 1.1455        |
+| 0.5878 | 2530 | 1.156         |
+| 0.5890 | 2535 | 1.1489        |
+| 0.5901 | 2540 | 1.1442        |
+| 0.5913 | 2545 | 1.1466        |
+| 0.5925 | 2550 | 1.1437        |
+| 0.5936 | 2555 | 1.1579        |
+| 0.5948 | 2560 | 1.1484        |
+| 0.5960 | 2565 | 1.1399        |
+| 0.5971 | 2570 | 1.1475        |
+| 0.5983 | 2575 | 1.1486        |
+| 0.5994 | 2580 | 1.1612        |
+| 0.6006 | 2585 | 1.1435        |
+| 0.6018 | 2590 | 1.1439        |
+| 0.6029 | 2595 | 1.1427        |
+| 0.6041 | 2600 | 1.1468        |
+| 0.6053 | 2605 | 1.1391        |
+| 0.6064 | 2610 | 1.1427        |
+| 0.6076 | 2615 | 1.1428        |
+| 0.6087 | 2620 | 1.1415        |
+| 0.6099 | 2625 | 1.1345        |
+| 0.6111 | 2630 | 1.1356        |
+| 0.6122 | 2635 | 1.1274        |
+| 0.6134 | 2640 | 1.1472        |
+| 0.6145 | 2645 | 1.1364        |
+| 0.6157 | 2650 | 1.1293        |
+| 0.6169 | 2655 | 1.1333        |
+| 0.6180 | 2660 | 1.1371        |
+| 0.6192 | 2665 | 1.1486        |
+| 0.6204 | 2670 | 1.1271        |
+| 0.6215 | 2675 | 1.1371        |
+| 0.6227 | 2680 | 1.1298        |
+| 0.6238 | 2685 | 1.1414        |
+| 0.625  | 2690 | 1.1365        |
+| 0.6262 | 2695 | 1.1484        |
+| 0.6273 | 2700 | 1.1248        |
+| 0.6285 | 2705 | 1.1291        |
+| 0.6296 | 2710 | 1.1267        |
+| 0.6308 | 2715 | 1.121         |
+| 0.6320 | 2720 | 1.1414        |
+| 0.6331 | 2725 | 1.1362        |
+| 0.6343 | 2730 | 1.1206        |
+| 0.6355 | 2735 | 1.1337        |
+| 0.6366 | 2740 | 1.1122        |
+| 0.6378 | 2745 | 1.122         |
+| 0.6389 | 2750 | 1.1245        |
+| 0.6401 | 2755 | 1.1426        |
+| 0.6413 | 2760 | 1.1233        |
+| 0.6424 | 2765 | 1.1398        |
+| 0.6436 | 2770 | 1.1214        |
+| 0.6447 | 2775 | 1.1152        |
+| 0.6459 | 2780 | 1.1348        |
+| 0.6471 | 2785 | 1.1238        |
+| 0.6482 | 2790 | 1.1175        |
+| 0.6494 | 2795 | 1.1153        |
+| 0.6506 | 2800 | 1.1153        |
+| 0.6517 | 2805 | 1.1164        |
+| 0.6529 | 2810 | 1.1155        |
+| 0.6540 | 2815 | 1.108         |
+| 0.6552 | 2820 | 1.1138        |
+| 0.6564 | 2825 | 1.1121        |
+| 0.6575 | 2830 | 1.1205        |
+| 0.6587 | 2835 | 1.1252        |
+| 0.6599 | 2840 | 1.1151        |
+| 0.6610 | 2845 | 1.1209        |
+| 0.6622 | 2850 | 1.1231        |
+| 0.6633 | 2855 | 1.1212        |
+| 0.6645 | 2860 | 1.1151        |
+| 0.6657 | 2865 | 1.1143        |
+| 0.6668 | 2870 | 1.1147        |
+| 0.6680 | 2875 | 1.1208        |
+| 0.6691 | 2880 | 1.1132        |
+| 0.6703 | 2885 | 1.1           |
+| 0.6715 | 2890 | 1.1087        |
+| 0.6726 | 2895 | 1.1216        |
+| 0.6738 | 2900 | 1.1112        |
+| 0.6750 | 2905 | 1.1221        |
+| 0.6761 | 2910 | 1.095         |
+| 0.6773 | 2915 | 1.1068        |
+| 0.6784 | 2920 | 1.1092        |
+| 0.6796 | 2925 | 1.1145        |
+| 0.6808 | 2930 | 1.1153        |
+| 0.6819 | 2935 | 1.1082        |
+| 0.6831 | 2940 | 1.1001        |
+| 0.6842 | 2945 | 1.1154        |
+| 0.6854 | 2950 | 1.1079        |
+| 0.6866 | 2955 | 1.1051        |
+| 0.6877 | 2960 | 1.1073        |
+| 0.6889 | 2965 | 1.1024        |
+| 0.6901 | 2970 | 1.1029        |
+| 0.6912 | 2975 | 1.0998        |
+| 0.6924 | 2980 | 1.1144        |
+| 0.6935 | 2985 | 1.1092        |
+| 0.6947 | 2990 | 1.1043        |
+| 0.6959 | 2995 | 1.1095        |
+| 0.6970 | 3000 | 1.0948        |
+| 0.6982 | 3005 | 1.0866        |
+| 0.6993 | 3010 | 1.1011        |
+| 0.7005 | 3015 | 1.1002        |
+| 0.7017 | 3020 | 1.0948        |
+| 0.7028 | 3025 | 1.0962        |
+| 0.7040 | 3030 | 1.0981        |
+| 0.7052 | 3035 | 1.0909        |
+| 0.7063 | 3040 | 1.0945        |
+| 0.7075 | 3045 | 1.1108        |
+| 0.7086 | 3050 | 1.1119        |
+| 0.7098 | 3055 | 1.0856        |
+| 0.7110 | 3060 | 1.1141        |
+| 0.7121 | 3065 | 1.1079        |
+| 0.7133 | 3070 | 1.099         |
+| 0.7145 | 3075 | 1.0813        |
+| 0.7156 | 3080 | 1.0849        |
+| 0.7168 | 3085 | 1.0927        |
+| 0.7179 | 3090 | 1.0949        |
+| 0.7191 | 3095 | 1.0974        |
+| 0.7203 | 3100 | 1.1004        |
+| 0.7214 | 3105 | 1.0897        |
+| 0.7226 | 3110 | 1.0958        |
+| 0.7237 | 3115 | 1.0995        |
+| 0.7249 | 3120 | 1.0982        |
+| 0.7261 | 3125 | 1.0986        |
+| 0.7272 | 3130 | 1.0971        |
+| 0.7284 | 3135 | 1.0797        |
+| 0.7296 | 3140 | 1.0915        |
+| 0.7307 | 3145 | 1.1058        |
+| 0.7319 | 3150 | 1.0822        |
+| 0.7330 | 3155 | 1.0806        |
+| 0.7342 | 3160 | 1.0762        |
+| 0.7354 | 3165 | 1.0965        |
+| 0.7365 | 3170 | 1.0853        |
+| 0.7377 | 3175 | 1.0873        |
+| 0.7388 | 3180 | 1.1015        |
+| 0.7400 | 3185 | 1.0832        |
+| 0.7412 | 3190 | 1.0919        |
+| 0.7423 | 3195 | 1.0838        |
+| 0.7435 | 3200 | 1.079         |
+| 0.7447 | 3205 | 1.0802        |
+| 0.7458 | 3210 | 1.0723        |
+| 0.7470 | 3215 | 1.0861        |
+| 0.7481 | 3220 | 1.078         |
+| 0.7493 | 3225 | 1.0847        |
+| 0.7505 | 3230 | 1.0907        |
+| 0.7516 | 3235 | 1.0874        |
+| 0.7528 | 3240 | 1.0883        |
+| 0.7539 | 3245 | 1.0897        |
+| 0.7551 | 3250 | 1.0842        |
+| 0.7563 | 3255 | 1.0921        |
+| 0.7574 | 3260 | 1.099         |
+| 0.7586 | 3265 | 1.0753        |
+| 0.7598 | 3270 | 1.0921        |
+| 0.7609 | 3275 | 1.0847        |
+| 0.7621 | 3280 | 1.0921        |
+| 0.7632 | 3285 | 1.0809        |
+| 0.7644 | 3290 | 1.088         |
+| 0.7656 | 3295 | 1.0812        |
+| 0.7667 | 3300 | 1.0788        |
+| 0.7679 | 3305 | 1.0998        |
+| 0.7691 | 3310 | 1.0788        |
+| 0.7702 | 3315 | 1.0863        |
+| 0.7714 | 3320 | 1.0827        |
+| 0.7725 | 3325 | 1.0806        |
+| 0.7737 | 3330 | 1.0776        |
+| 0.7749 | 3335 | 1.0825        |
+| 0.7760 | 3340 | 1.067         |
+| 0.7772 | 3345 | 1.0735        |
+| 0.7783 | 3350 | 1.0826        |
+| 0.7795 | 3355 | 1.0692        |
+| 0.7807 | 3360 | 1.0827        |
+| 0.7818 | 3365 | 1.0868        |
+| 0.7830 | 3370 | 1.0696        |
+| 0.7842 | 3375 | 1.0739        |
+| 0.7853 | 3380 | 1.0759        |
+| 0.7865 | 3385 | 1.0706        |
+| 0.7876 | 3390 | 1.0811        |
+| 0.7888 | 3395 | 1.0672        |
+| 0.7900 | 3400 | 1.0534        |
+| 0.7911 | 3405 | 1.0635        |
+| 0.7923 | 3410 | 1.0737        |
+| 0.7934 | 3415 | 1.0707        |
+| 0.7946 | 3420 | 1.0642        |
+| 0.7958 | 3425 | 1.0744        |
+| 0.7969 | 3430 | 1.0738        |
+| 0.7981 | 3435 | 1.0675        |
+| 0.7993 | 3440 | 1.0705        |
+| 0.8004 | 3445 | 1.0682        |
+| 0.8016 | 3450 | 1.0593        |
+| 0.8027 | 3455 | 1.0702        |
+| 0.8039 | 3460 | 1.0688        |
+| 0.8051 | 3465 | 1.068         |
+| 0.8062 | 3470 | 1.0678        |
+| 0.8074 | 3475 | 1.0563        |
+| 0.8086 | 3480 | 1.0759        |
+| 0.8097 | 3485 | 1.074         |
+| 0.8109 | 3490 | 1.0712        |
+| 0.8120 | 3495 | 1.0707        |
+| 0.8132 | 3500 | 1.0635        |
+| 0.8144 | 3505 | 1.077         |
+| 0.8155 | 3510 | 1.0633        |
+| 0.8167 | 3515 | 1.0731        |
+| 0.8178 | 3520 | 1.0726        |
+| 0.8190 | 3525 | 1.0648        |
+| 0.8202 | 3530 | 1.0655        |
+| 0.8213 | 3535 | 1.0552        |
+| 0.8225 | 3540 | 1.0488        |
+| 0.8237 | 3545 | 1.0544        |
+| 0.8248 | 3550 | 1.0677        |
+| 0.8260 | 3555 | 1.066         |
+| 0.8271 | 3560 | 1.0545        |
+| 0.8283 | 3565 | 1.0621        |
+| 0.8295 | 3570 | 1.0716        |
+| 0.8306 | 3575 | 1.0577        |
+| 0.8318 | 3580 | 1.0626        |
+| 0.8329 | 3585 | 1.0589        |
+| 0.8341 | 3590 | 1.0759        |
+| 0.8353 | 3595 | 1.0544        |
+| 0.8364 | 3600 | 1.0736        |
+| 0.8376 | 3605 | 1.0604        |
+| 0.8388 | 3610 | 1.0471        |
+| 0.8399 | 3615 | 1.0627        |
+| 0.8411 | 3620 | 1.0595        |
+| 0.8422 | 3625 | 1.0529        |
+| 0.8434 | 3630 | 1.0629        |
+| 0.8446 | 3635 | 1.0614        |
+| 0.8457 | 3640 | 1.0585        |
+| 0.8469 | 3645 | 1.0584        |
+| 0.8480 | 3650 | 1.0588        |
+| 0.8492 | 3655 | 1.0555        |
+| 0.8504 | 3660 | 1.0452        |
+| 0.8515 | 3665 | 1.0603        |
+| 0.8527 | 3670 | 1.0568        |
+| 0.8539 | 3675 | 1.0623        |
+| 0.8550 | 3680 | 1.0397        |
+| 0.8562 | 3685 | 1.0747        |
+| 0.8573 | 3690 | 1.0478        |
+| 0.8585 | 3695 | 1.0514        |
+| 0.8597 | 3700 | 1.0474        |
+| 0.8608 | 3705 | 1.0469        |
+| 0.8620 | 3710 | 1.0526        |
+| 0.8632 | 3715 | 1.041         |
+| 0.8643 | 3720 | 1.0483        |
+| 0.8655 | 3725 | 1.0479        |
+| 0.8666 | 3730 | 1.0536        |
+| 0.8678 | 3735 | 1.0515        |
+| 0.8690 | 3740 | 1.0547        |
+| 0.8701 | 3745 | 1.0699        |
+| 0.8713 | 3750 | 1.0525        |
+| 0.8724 | 3755 | 1.0561        |
+| 0.8736 | 3760 | 1.0459        |
+| 0.8748 | 3765 | 1.0619        |
+| 0.8759 | 3770 | 1.0325        |
+| 0.8771 | 3775 | 1.041         |
+| 0.8783 | 3780 | 1.0414        |
+| 0.8794 | 3785 | 1.0516        |
+| 0.8806 | 3790 | 1.0452        |
+| 0.8817 | 3795 | 1.0402        |
+| 0.8829 | 3800 | 1.0447        |
+| 0.8841 | 3805 | 1.0482        |
+| 0.8852 | 3810 | 1.0455        |
+| 0.8864 | 3815 | 1.041         |
+| 0.8875 | 3820 | 1.0485        |
+| 0.8887 | 3825 | 1.0402        |
+| 0.8899 | 3830 | 1.052         |
+| 0.8910 | 3835 | 1.0348        |
+| 0.8922 | 3840 | 1.0369        |
+| 0.8934 | 3845 | 1.0535        |
+| 0.8945 | 3850 | 1.0426        |
+| 0.8957 | 3855 | 1.0474        |
+| 0.8968 | 3860 | 1.0293        |
+| 0.8980 | 3865 | 1.0368        |
+| 0.8992 | 3870 | 1.038         |
+| 0.9003 | 3875 | 1.0447        |
+| 0.9015 | 3880 | 1.0476        |
+| 0.9026 | 3885 | 1.0422        |
+| 0.9038 | 3890 | 1.0314        |
+| 0.9050 | 3895 | 1.0331        |
+| 0.9061 | 3900 | 1.0434        |
+| 0.9073 | 3905 | 1.0251        |
+| 0.9085 | 3910 | 1.05          |
+| 0.9096 | 3915 | 1.0289        |
+| 0.9108 | 3920 | 1.0338        |
+| 0.9119 | 3925 | 1.0319        |
+| 0.9131 | 3930 | 1.0234        |
+| 0.9143 | 3935 | 1.0376        |
+| 0.9154 | 3940 | 1.0314        |
+| 0.9166 | 3945 | 1.0401        |
+| 0.9178 | 3950 | 1.0501        |
+| 0.9189 | 3955 | 1.0392        |
+| 0.9201 | 3960 | 1.0241        |
+| 0.9212 | 3965 | 1.0286        |
+| 0.9224 | 3970 | 1.0419        |
+| 0.9236 | 3975 | 1.0311        |
+| 0.9247 | 3980 | 1.0418        |
+| 0.9259 | 3985 | 1.0299        |
+| 0.9270 | 3990 | 1.0395        |
+| 0.9282 | 3995 | 1.0287        |
+| 0.9294 | 4000 | 1.0306        |
+
+</details>
+
+### Framework Versions
+- Python: 3.12.9
+- Sentence Transformers: 4.1.0
+- Transformers: 4.52.4
+- PyTorch: 2.6.0+cu124
+- Accelerate: 1.7.0
+- Datasets: 3.6.0
+- Tokenizers: 0.21.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### CachedMultipleNegativesRankingLoss
+```bibtex
+@misc{gao2021scaling,
+    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
+    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
+    year={2021},
+    eprint={2101.06983},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,27 @@
+{
+  "_name_or_path": "checkpoint-4000",
+  "architectures": [
+    "BertModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "classifier_dropout": null,
+  "gradient_checkpointing": false,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 512,
+  "model_type": "bert",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "output_past": true,
+  "pad_token_id": 0,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.46.2",
+  "type_vocab_size": 2,
+  "use_cache": true,
+  "vocab_size": 50325
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "4.1.0",
+    "transformers": "4.46.2",
+    "pytorch": "2.6.0+cu126"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f6b0a27e28edad9e3c6af9815cb0863962f3b082208c36ccc6f6a23bc034f9fa
+size 498786152

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,37 @@
+{
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,65 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "do_basic_tokenize": true,
+  "do_lower_case": false,
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "max_length": 512,
+  "model_max_length": 512,
+  "never_split": null,
+  "pad_to_multiple_of": null,
+  "pad_token": "[PAD]",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "sep_token": "[SEP]",
+  "stride": 0,
+  "strip_accents": false,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "BertTokenizer",
+  "truncation_side": "right",
+  "truncation_strategy": "longest_first",
+  "unk_token": "[UNK]"
+}