Upload folder using huggingface_hub

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+    "word_embedding_dimension": 768,
+    "pooling_mode_cls_token": false,
+    "pooling_mode_mean_tokens": true,
+    "pooling_mode_max_tokens": false,
+    "pooling_mode_mean_sqrt_len_tokens": false,
+    "pooling_mode_weightedmean_tokens": false,
+    "pooling_mode_lasttoken": false,
+    "include_prompt": true
+}

README.md

@@ -0,0 +1,658 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- dense
+- generated_from_trainer
+- dataset_size:767808
+- loss:MultipleNegativesRankingLoss
+- loss:TripletLoss
+widget:
+- source_sentence: R10-R19 Symptômes et signes relatifs à l'appareil digestif et à
+    l'abdomen
+  sentences:
+  - Symptômes et signes relatifs à l'appareil digestif et à l'abdomen
+  - 'L''exploration de la classification autour de l''acte HBMD01410, correspondant
+    à la modélisation occlusale par la technique de la cire ajoutée sur une dent (1°
+    activité chirurgicale ou médicale, phase par défaut), révèle un cheminement procédural
+    qui s''inscrit dans le cadre des actes de phase 0. Cet acte est apparenté à l''acte
+    NDFA00310, qui désigne une talectomie avec création d''une néarthrose tibiopédieuse,
+    elle aussi en première activité chirurgicale ou médicale et en phase par défaut.
+    Ce dernier renvoie à son tour à l''acte AHPA01140, correspondant à la libération
+    ou résection d''un nerf digital plantaire par abord direct, réalisé sous anesthésie
+    et en phase par défaut. Cet acte appartient à une catégorie d''interventions chirurgicales
+    de même nature, incluant notamment BADA00540 (canthopexie médiale pour dystopie
+    congénitale, sous anesthésie, phase par défaut) et PAGA00710 (désépiphysiodèse
+    d''un os long par abord direct, 1° activité chir/med, phase par défaut). Un autre
+    acte similaire est GAMA00240, qui concerne la réparation d''une perte de substance
+    du nez par lambeau frontal à pédicule inférieur, également en phase par défaut
+    et sous anesthésie. L''ensemble de ces actes relève de la classe « ActeActivitePhase_Phase_0
+    », qui regroupe les phases d''actes de phase 0. Cette classe inclut plusieurs
+    procédures de même type, telles que BADA00540, GAMA00240, PAGA00710 et AHPA01140,
+    toutes réalisées en phase par défaut. La classe chirurgicale « ActeActivitePhase_Phase_0
+    » est liée à d''autres groupes, notamment « ActeActivitePhase_Phase_2 », qui regroupe
+    des actes en phase 2. Ce groupe inclut des procédures telles que HAMA00712 (reconstruction
+    du philtrum par lambeau hétérolabial pour séquelle de fente orofaciale, 1° activité
+    chir/med, phase 2 : section du pédicule), HAMA00742 (même acte, mais sous anesthésie,
+    phase 2), MJMA01412 (reconstruction d''un tendon de la main par transplant pédiculé
+    en deux temps, phase 2 : transplant pédiculé), ainsi que MJMA01442 (même acte
+    sous anesthésie, phase 2). HAMA00742 apparaît également comme une alternative
+    chirurgicale dans ce contexte. Enfin, l''acte HKPA00712, correspondant à la mise
+    à plat d''un abcès ou d''une fistule haute de l''anus (transsphinctérien supérieur
+    ou trajet complexe multiramifié) avec drainage par anse souple, en phase 2 (séance
+    de traction progressive sur l''anse souple), est également apparenté à cette filiation
+    procédurale. Au total, cette exploration a permis d''identifier 20 codes CCAM
+    reliés directement ou indirectement à HBMD01410, illustrant la structure hiérarchique
+    et catégorielle de la classification.'
+  - N50 Autres affections des organes génitaux de l'homme
+- source_sentence: N92 Ménorragie, polyménorrhée et métrorragie
+  sentences:
+  - N95.0 Saignements postménopausiques
+  - Ménorragie, polyménorrhée et métrorragie
+  - 'La classification ATC de la substance désocortisone (H02AA03) s''inscrit dans
+    une hiérarchie pharmacologique bien définie. Ce dérivé stéroïdien appartient au
+    sous-groupe chimique H02AA, qui regroupe les minéralocorticoïdes, une classe d''hormones
+    corticosurrénales agissant principalement sur l''équilibre hydro-électrolytique.
+    Au sein de ce sous-groupe, la désocortisone (H02AA03) est associée à d''autres
+    substances comme la fludrocortisone (H02AA02) et l''aldostérone (H02AA01), cette
+    dernière étant considérée comme une alternative thérapeutique pertinente. L''aldostérone,
+    hormone naturelle, partage avec la désocortisone le même mécanisme d''action centré
+    sur la réabsorption rénale du sodium et l''excrétion du potassium.
+
+
+    Le sous-groupe H02AA fait partie du groupe pharmacologique H02A, intitulé « Corticostéroïdes
+    à usage systémique, simples », qui inclut les corticoïdes administrés par voie
+    systémique sans association à d''autres principes actifs. Ce groupe H02A s''inscrit
+    lui-même dans la classe thérapeutique H02, « Corticostéroïdes à usage systémique
+    », qui englobe non seulement les minéralocorticoïdes mais aussi d''autres sous-groupes
+    comme les antiadrénaux (H02C). La classe H02 est complétée par le groupe H02B,
+    qui regroupe les associations de corticostéroïdes à usage systémique, soulignant
+    ainsi la distinction entre traitements monosubstances et combinaisons.
+
+
+    La classe H02 appartient au grand groupe anatomique H, « Préparations hormonales
+    systémiques, hormones sexuelles et insulines exclues », qui regroupe diverses
+    hormones agissant de manière systémique. Ce groupe H est l''un des principaux
+    axes de la classification ATC, aux côtés d''autres grands systèmes comme le système
+    nerveux (groupe N). Par ailleurs, des liens thérapeutiques peuvent être établis
+    avec d''autres classes hormonales telles que les hormones hypophysaires et hypothalamiques
+    (H01), les hormones pancréatiques (H04) ou encore les agents intervenant dans
+    l''homéostasie calcique (H05). Au sein du groupe H04, on retrouve notamment les
+    hormones glycogénolytiques (H04A), comme le glucagon, regroupées dans le sous-groupe
+    chimique H04AA. Cette exploration met en lumière les relations structurales et
+    fonctionnelles entre les différentes entités de la classification ATC, depuis
+    la substance spécifique jusqu''aux grandes catégories thérapeutiques et anatomiques.'
+- source_sentence: S36.8 Lésion traumatique d'autres organes intraabdominaux
+  sentences:
+  - C08CA Dihydropyridine derivatives
+  - vaccins de l'entérovirus 71
+  - 'Péritoine
+
+    Rétropéritoine
+
+    '
+- source_sentence: CAMA001 Reconstruction totale de l'auricule en un temps
+  sentences:
+  - reconstr. tot. auricule 1temps
+  - GELE001 Intubation trachéale par fibroscopie ou dispositif laryngé particulier,
+    au cours d'une anesthésie générale
+  - autres hormones de l'antéhypophyse et analogues
+- source_sentence: GALD0011
+  sentences:
+  - Reconstruction de l'urètre postérieur après mise à plat
+  - JDHE002 Biopsie de la vessie à la pince, par endoscopie
+  - Pose unilatérale ou bilatérale de prothèse de calibrage de la cavité nasale -
+    1° activité chir/med
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+---
+
+# SentenceTransformer
+
+This is a [sentence-transformers](https://www.SBERT.net) model trained on the pairs and triplets datasets. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+<!-- - **Base model:** [Unknown](https://huggingface.co/unknown) -->
+- **Maximum Sequence Length:** 8192 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+- **Training Datasets:**
+    - pairs
+    - triplets
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("sentence_transformers_model_id")
+# Run inference
+sentences = [
+    'GALD0011',
+    'Pose unilatérale ou bilatérale de prothèse de calibrage de la cavité nasale - 1° activité chir/med',
+    'JDHE002 Biopsie de la vessie à la pince, par endoscopie',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities)
+# tensor([[1.0000, 0.7786, 0.1076],
+#         [0.7786, 1.0000, 0.0230],
+#         [0.1076, 0.0230, 1.0000]])
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Datasets
+
+#### pairs
+
+* Dataset: pairs
+* Size: 595,409 training samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                            | positive                                                                           |
+  |:--------|:----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                             |
+  | details | <ul><li>min: 4 tokens</li><li>mean: 19.65 tokens</li><li>max: 87 tokens</li></ul> | <ul><li>min: 3 tokens</li><li>mean: 43.31 tokens</li><li>max: 720 tokens</li></ul> |
+* Samples:
+  | anchor                                                                                                                                                                                                                | positive                                                                                                                                                                                                |
+  |:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>LEPA0024 Ostéotomie antérieure ou discectomie totale pour déformation rigide de la colonne vertébrale avec arthrodèse, sans correction instrumentale, sur 1 à 3 vertèbres, par thoracotomie - anesthésie</code> | <code>LEPA002 Ostéotomie antérieure ou discectomie totale pour déformation rigide de la colonne vertébrale avec arthrodèse, sans correction instrumentale, sur 1 à 3 vertèbres, par thoracotomie</code> |
+  | <code>Z11.8 Examen spécial de dépistage d'autres maladies infectieuses et parasitaires</code>                                                                                                                         | <code>Maladies à Rickettsia</code>                                                                                                                                                                      |
+  | <code>FBFA003 Exérèse du thymus vestigial, par thoracotomie</code>                                                                                                                                                    | <code>YYYY041 Supplément pour récupération peropératoire de sang</code>                                                                                                                                 |
+* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "cos_sim",
+      "gather_across_devices": false
+  }
+  ```
+
+#### triplets
+
+* Dataset: triplets
+* Size: 172,399 training samples
+* Columns: <code>anchor</code>, <code>positive</code>, and <code>negative</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                            | positive                                                                             | negative                                                                             |
+  |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                               | string                                                                               |
+  | details | <ul><li>min: 6 tokens</li><li>mean: 24.74 tokens</li><li>max: 73 tokens</li></ul> | <ul><li>min: 4 tokens</li><li>mean: 618.25 tokens</li><li>max: 1599 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 613.92 tokens</li><li>max: 1630 tokens</li></ul> |
+* Samples:
+  | anchor                                                                    | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       | negative                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
+  |:--------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>Z23.5 Nécessité d'une vaccination contre le tétanos seul</code>     | <code>Le code Z23.5, qui désigne la nécessité d'une vaccination contre le tétanos seul, s'inscrit dans le cadre plus large du groupe nosologique Z23, « Nécessité d'une vaccination contre une seule maladie bactérienne ». Ce groupe inclut plusieurs codes spécifiques selon l'agent infectieux ciblé, permettant une distinction fine entre les différents besoins vaccinaux. Ainsi, Z23.5 doit être différencié de Z23.0 (nécessité d'une vaccination contre le choléra seul), Z23.1 (nécessité d'une vaccination contre la typhoïde-paratyphoïde seule [TAB]), Z23.2 (nécessité d'une vaccination contre la tuberculose [BCG]), Z23.3 (nécessité d'une vaccination contre la peste), Z23.4 (nécessité d'une vaccination contre la tularémie), Z23.6 (nécessité d'une vaccination contre la diphtérie seule), Z23.7 (nécessité d'une vaccination contre la coqueluche seule) et Z23.8 (nécessité d'une vaccination contre d'autres maladies bactériennes uniques). Chacun de ces codes correspond à une indication vaccinale spécifique et...</code>       | <code>Le code Z23.1, qui désigne la nécessité d'une vaccination contre la typhoïde-paratyphoïde seule (vaccination TAB), s'inscrit dans le cadre des actes préventifs liés à une immunisation spécifique contre une maladie bactérienne unique. Ce code appartient à la catégorie plus large Z23, « Nécessité d'une vaccination contre une seule maladie bactérienne », qui regroupe l'ensemble des situations où une vaccination ciblant une bactérie spécifique est indiquée. Pour distinguer Z23.1 des autres codes proches, il est essentiel de considérer l'agent infectieux visé par la vaccination.<br><br>Parmi les codes du même groupe nosologique, Z23.6 correspond à la nécessité d'une vaccination contre la diphtérie seule, tandis que Z23.7 concerne la coqueluche, Z23.5 le tétanos, Z23.0 le choléra, Z23.2 la tuberculose (BCG), Z23.3 la peste, Z23.4 la tularémie, et Z23.8 regroupe les autres maladies bactériennes uniques non spécifiées ailleurs. Tous ces codes sont mutuellement exclusifs selon le germe ciblé, et leur...</code>       |
+  | <code>H74.3 Autres anomalies acquises des osselets</code>                 | <code>Le code H74.3 désigne les anomalies acquises des osselets, notamment l’ankylose des osselets et la perte partielle des osselets. Ce diagnostic doit être distingué d’autres affections de l’oreille moyenne appartenant au même groupe nosologique ou à des catégories voisines. Ainsi, la tympanosclérose (H74.0), caractérisée par une calcification de la membrane tympanique ou des structures de l’oreille moyenne, peut présenter des similitudes cliniques mais se distingue par sa physiopathologie et ses lésions histologiques spécifiques. Une autre entité proche est le polype de l’oreille moyenne (H74.4), souvent associé à une inflammation chronique et une prolifération granulationnelle, qui doit être différencié sur la base de l’aspect endoscopique et histologique. La dissociation ou la dislocation des osselets (H74.2) représente une atteinte mécanique ou traumatique des chaînes ossiculaires, identifiable par imagerie ou exploration fonctionnelle, contrairement à l’ankylose incluse dans H74.3. U...</code>       | <code>Le code H74.4 désigne un polype de l'oreille moyenne, une affection acquise caractérisée par la formation d'une excroissance muqueuse bénigne dans la cavité tympanique, souvent secondaire à une inflammation chronique. Ce diagnostic doit être distingué de plusieurs autres affections de l'oreille moyenne classées dans le même chapitre (H74), qui regroupe les anomalies acquises de cette région.<br><br>Un diagnostic différentiel proche est H74.2, correspondant à une dissociation ou une dislocation des osselets, souvent post-traumatique ou liée à une otite chronique destructive. Il faut également évoquer H74.0 (tympanosclérose), caractérisée par des dépôts de collagène hyalin dans la membrane tympanique ou la muqueuse de l'oreille moyenne, pouvant entraîner une rigidité de la chaîne ossiculaire. L’ankylose ou la perte partielle des osselets, regroupées sous le code H74.3 (autres anomalies acquises des osselets), constituent d'autres causes mécaniques de surdité de transmission à différencier du p...</code>       |
+  | <code>M79.96 Affection des tissus mous, sans précision - " Jambe "</code> | <code>Le code CIM-10 M79.96 désigne une affection des tissus mous, non précisée, localisée à la jambe. Ce code inclut également les atteintes du péroné, du tibia et de l’articulation du genou, bien qu’il ne spécifie pas la nature exacte de la lésion. Il s’inscrit dans la catégorie plus large M79.9, qui regroupe toutes les affections des tissus mous sans précision, avec une localisation ostéoarticulaire. Cette catégorie exclut expressément la douleur psychogène des tissus mous, codée F45.4. Les subdivisions de localisation (de 0 à 9) permettent d’indiquer le siège anatomique de l’atteinte, notamment la jambe (code 6), et facilitent une codification plus précise dans le cadre du chapitre XIII du CIM-10 relatif aux affections du système ostéoarticulaire et du tissu conjonctif.<br><br>Le code M79.97 correspond à la fibromyalgie, une entité clinique fréquemment associée aux douleurs diffuses ou localisées des tissus mous, également susceptible d’affecter la jambe. Bien que distincte dans sa physiopatho...</code> | <code>Le code CIM-10 M79.92 désigne une affection des tissus mous, sans précision, localisée au bras. Ce code couvre notamment les atteintes concernant l'humérus et l'articulation du coude, et peut être utilisé de manière synonyme dans ces localisations. Pour distinguer M79.92 des autres entités diagnostiques proches, une attention particulière doit être portée à la localisation anatomique précise de la symptomatologie.<br><br>En effet, M79.92 doit être différencié de M79.93, qui concerne les affections des tissus mous de l'avant-bras, incluant le radius, le cubitus et l'articulation du poignet. De même, M79.91 correspond à une atteinte de la région scapulaire, englobant la clavicule, l'omoplate, ainsi que les articulations acromioclaviculaire, scapulohumérale et sternoclaviculaire, ce qui permet d'exclure une localisation plus distale comme le bras proprement dit.<br><br>Parmi les autres codes de la même catégorie, M79.95 concerne la région pelvienne et la cuisse (bassin, fémur, fesses, articulation de...</code> |
+* Loss: [<code>TripletLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#tripletloss) with these parameters:
+  ```json
+  {
+      "distance_metric": "TripletDistanceMetric.COSINE",
+      "triplet_margin": 0.5
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `per_device_train_batch_size`: 4
+- `gradient_accumulation_steps`: 16
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.01
+- `warmup_ratio`: 0.1
+- `fp16`: True
+- `dataloader_num_workers`: 4
+- `ddp_find_unused_parameters`: False
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: no
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 4
+- `per_device_eval_batch_size`: 8
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 16
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.01
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 3
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: None
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `bf16`: False
+- `fp16`: True
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: True
+- `dataloader_num_workers`: 4
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `parallelism_config`: None
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `project`: huggingface
+- `trackio_space_id`: trackio
+- `ddp_find_unused_parameters`: False
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: None
+- `hub_always_push`: False
+- `hub_revision`: None
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: no
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `liger_kernel_config`: None
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: True
+- `prompts`: None
+- `batch_sampler`: batch_sampler
+- `multi_dataset_batch_sampler`: proportional
+- `router_mapping`: {}
+- `learning_rate_mapping`: {}
+
+</details>
+
+### Training Logs
+<details><summary>Click to expand</summary>
+
+| Epoch  | Step  | Training Loss |
+|:------:|:-----:|:-------------:|
+| 0.0167 | 100   | 0.9901        |
+| 0.0333 | 200   | 0.698         |
+| 0.0500 | 300   | 0.411         |
+| 0.0667 | 400   | 0.2986        |
+| 0.0834 | 500   | 0.2381        |
+| 0.1000 | 600   | 0.1955        |
+| 0.1167 | 700   | 0.1746        |
+| 0.1334 | 800   | 0.15          |
+| 0.1500 | 900   | 0.1356        |
+| 0.1667 | 1000  | 0.1214        |
+| 0.1834 | 1100  | 0.1179        |
+| 0.2001 | 1200  | 0.1044        |
+| 0.2167 | 1300  | 0.0846        |
+| 0.2334 | 1400  | 0.0852        |
+| 0.2501 | 1500  | 0.0736        |
+| 0.2667 | 1600  | 0.068         |
+| 0.2834 | 1700  | 0.0618        |
+| 0.3001 | 1800  | 0.0571        |
+| 0.3167 | 1900  | 0.0486        |
+| 0.3334 | 2000  | 0.0551        |
+| 0.3501 | 2100  | 0.0457        |
+| 0.3668 | 2200  | 0.0493        |
+| 0.3834 | 2300  | 0.0395        |
+| 0.4001 | 2400  | 0.0421        |
+| 0.4168 | 2500  | 0.0352        |
+| 0.4334 | 2600  | 0.0352        |
+| 0.4501 | 2700  | 0.0365        |
+| 0.4668 | 2800  | 0.0352        |
+| 0.4835 | 2900  | 0.0327        |
+| 0.5001 | 3000  | 0.0313        |
+| 0.5168 | 3100  | 0.0354        |
+| 0.5335 | 3200  | 0.0298        |
+| 0.5501 | 3300  | 0.0306        |
+| 0.5668 | 3400  | 0.0338        |
+| 0.5835 | 3500  | 0.0293        |
+| 0.6002 | 3600  | 0.0269        |
+| 0.6168 | 3700  | 0.0278        |
+| 0.6335 | 3800  | 0.0277        |
+| 0.6502 | 3900  | 0.0265        |
+| 0.6668 | 4000  | 0.0302        |
+| 0.6835 | 4100  | 0.0284        |
+| 0.7002 | 4200  | 0.0246        |
+| 0.7169 | 4300  | 0.0243        |
+| 0.7335 | 4400  | 0.0267        |
+| 0.7502 | 4500  | 0.0277        |
+| 0.7669 | 4600  | 0.0236        |
+| 0.7835 | 4700  | 0.0261        |
+| 0.8002 | 4800  | 0.0252        |
+| 0.8169 | 4900  | 0.025         |
+| 0.8336 | 5000  | 0.0221        |
+| 0.8502 | 5100  | 0.0261        |
+| 0.8669 | 5200  | 0.0229        |
+| 0.8836 | 5300  | 0.023         |
+| 0.9002 | 5400  | 0.0211        |
+| 0.9169 | 5500  | 0.0222        |
+| 0.9336 | 5600  | 0.0221        |
+| 0.9502 | 5700  | 0.024         |
+| 0.9669 | 5800  | 0.0239        |
+| 0.9836 | 5900  | 0.0208        |
+| 1.0002 | 6000  | 0.0235        |
+| 1.0168 | 6100  | 0.0213        |
+| 1.0335 | 6200  | 0.0222        |
+| 1.0502 | 6300  | 0.0207        |
+| 1.0669 | 6400  | 0.0187        |
+| 1.0835 | 6500  | 0.0224        |
+| 1.1002 | 6600  | 0.0202        |
+| 1.1169 | 6700  | 0.022         |
+| 1.1335 | 6800  | 0.0183        |
+| 1.1502 | 6900  | 0.0214        |
+| 1.1669 | 7000  | 0.0181        |
+| 1.1835 | 7100  | 0.0168        |
+| 1.2002 | 7200  | 0.0167        |
+| 1.2169 | 7300  | 0.0158        |
+| 1.2336 | 7400  | 0.02          |
+| 1.2502 | 7500  | 0.014         |
+| 1.2669 | 7600  | 0.0149        |
+| 1.2836 | 7700  | 0.0143        |
+| 1.3002 | 7800  | 0.0158        |
+| 1.3169 | 7900  | 0.0128        |
+| 1.3336 | 8000  | 0.0157        |
+| 1.3503 | 8100  | 0.014         |
+| 1.3669 | 8200  | 0.0148        |
+| 1.3836 | 8300  | 0.0128        |
+| 1.4003 | 8400  | 0.0141        |
+| 1.4169 | 8500  | 0.0114        |
+| 1.4336 | 8600  | 0.0124        |
+| 1.4503 | 8700  | 0.0128        |
+| 1.4670 | 8800  | 0.0122        |
+| 1.4836 | 8900  | 0.011         |
+| 1.5003 | 9000  | 0.0126        |
+| 1.5170 | 9100  | 0.013         |
+| 1.5336 | 9200  | 0.0129        |
+| 1.5503 | 9300  | 0.0122        |
+| 1.5670 | 9400  | 0.012         |
+| 1.5837 | 9500  | 0.0108        |
+| 1.6003 | 9600  | 0.0108        |
+| 1.6170 | 9700  | 0.0117        |
+| 1.6337 | 9800  | 0.0122        |
+| 1.6503 | 9900  | 0.0093        |
+| 1.6670 | 10000 | 0.012         |
+| 1.6837 | 10100 | 0.0106        |
+| 1.7003 | 10200 | 0.0096        |
+| 1.7170 | 10300 | 0.0095        |
+| 1.7337 | 10400 | 0.0111        |
+| 1.7504 | 10500 | 0.0125        |
+| 1.7670 | 10600 | 0.0114        |
+| 1.7837 | 10700 | 0.0105        |
+| 1.8004 | 10800 | 0.0106        |
+| 1.8170 | 10900 | 0.0111        |
+| 1.8337 | 11000 | 0.0096        |
+| 1.8504 | 11100 | 0.0111        |
+| 1.8671 | 11200 | 0.0112        |
+| 1.8837 | 11300 | 0.0111        |
+| 1.9004 | 11400 | 0.0101        |
+| 1.9171 | 11500 | 0.01          |
+| 1.9337 | 11600 | 0.009         |
+| 1.9504 | 11700 | 0.011         |
+| 1.9671 | 11800 | 0.011         |
+| 1.9838 | 11900 | 0.0093        |
+| 2.0003 | 12000 | 0.0113        |
+| 2.0170 | 12100 | 0.0091        |
+| 2.0337 | 12200 | 0.0106        |
+| 2.0503 | 12300 | 0.0092        |
+| 2.0670 | 12400 | 0.0091        |
+| 2.0837 | 12500 | 0.0105        |
+| 2.1004 | 12600 | 0.0096        |
+| 2.1170 | 12700 | 0.011         |
+| 2.1337 | 12800 | 0.0093        |
+| 2.1504 | 12900 | 0.0105        |
+| 2.1670 | 13000 | 0.0088        |
+| 2.1837 | 13100 | 0.0089        |
+| 2.2004 | 13200 | 0.0092        |
+| 2.2171 | 13300 | 0.0079        |
+| 2.2337 | 13400 | 0.0095        |
+| 2.2504 | 13500 | 0.0075        |
+| 2.2671 | 13600 | 0.0083        |
+| 2.2837 | 13700 | 0.0074        |
+| 2.3004 | 13800 | 0.0083        |
+| 2.3171 | 13900 | 0.0075        |
+| 2.3338 | 14000 | 0.0089        |
+| 2.3504 | 14100 | 0.0083        |
+| 2.3671 | 14200 | 0.0084        |
+| 2.3838 | 14300 | 0.0073        |
+| 2.4004 | 14400 | 0.0085        |
+| 2.4171 | 14500 | 0.0064        |
+| 2.4338 | 14600 | 0.0073        |
+| 2.4505 | 14700 | 0.0081        |
+| 2.4671 | 14800 | 0.0067        |
+| 2.4838 | 14900 | 0.0066        |
+| 2.5005 | 15000 | 0.0077        |
+| 2.5171 | 15100 | 0.0079        |
+| 2.5338 | 15200 | 0.0082        |
+| 2.5505 | 15300 | 0.0075        |
+| 2.5671 | 15400 | 0.0074        |
+| 2.5838 | 15500 | 0.0063        |
+| 2.6005 | 15600 | 0.0064        |
+| 2.6172 | 15700 | 0.0072        |
+| 2.6338 | 15800 | 0.0082        |
+| 2.6505 | 15900 | 0.0051        |
+| 2.6672 | 16000 | 0.0083        |
+| 2.6838 | 16100 | 0.0063        |
+| 2.7005 | 16200 | 0.0058        |
+| 2.7172 | 16300 | 0.0058        |
+| 2.7339 | 16400 | 0.0072        |
+| 2.7505 | 16500 | 0.008         |
+| 2.7672 | 16600 | 0.0072        |
+| 2.7839 | 16700 | 0.0065        |
+| 2.8005 | 16800 | 0.0062        |
+| 2.8172 | 16900 | 0.0069        |
+| 2.8339 | 17000 | 0.0061        |
+| 2.8506 | 17100 | 0.0067        |
+| 2.8672 | 17200 | 0.0074        |
+| 2.8839 | 17300 | 0.0077        |
+| 2.9006 | 17400 | 0.0068        |
+| 2.9172 | 17500 | 0.0069        |
+| 2.9339 | 17600 | 0.006         |
+| 2.9506 | 17700 | 0.008         |
+| 2.9673 | 17800 | 0.0067        |
+| 2.9839 | 17900 | 0.0061        |
+
+</details>
+
+### Framework Versions
+- Python: 3.12.12
+- Sentence Transformers: 5.2.0
+- Transformers: 4.57.6
+- PyTorch: 2.9.1+cu128
+- Accelerate: 1.12.0
+- Datasets: 4.5.0
+- Tokenizers: 0.22.2
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+#### TripletLoss
+```bibtex
+@misc{hermans2017defense,
+    title={In Defense of the Triplet Loss for Person Re-Identification},
+    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
+    year={2017},
+    eprint={1703.07737},
+    archivePrefix={arXiv},
+    primaryClass={cs.CV}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,45 @@
+{
+  "architectures": [
+    "ModernBertModel"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 1,
+  "classifier_activation": "silu",
+  "classifier_bias": false,
+  "classifier_dropout": 0.0,
+  "classifier_pooling": "mean",
+  "cls_token_id": 1,
+  "decoder_bias": true,
+  "deterministic_flash_attn": false,
+  "dtype": "float32",
+  "embedding_dropout": 0.0,
+  "eos_token_id": 2,
+  "global_attn_every_n_layers": 3,
+  "global_rope_theta": 160000.0,
+  "gradient_checkpointing": false,
+  "hidden_activation": "gelu",
+  "hidden_size": 768,
+  "initializer_cutoff_factor": 2.0,
+  "initializer_range": 0.02,
+  "intermediate_size": 1152,
+  "layer_norm_eps": 1e-05,
+  "local_attention": 128,
+  "local_rope_theta": 10000.0,
+  "max_position_embeddings": 8192,
+  "mlp_bias": false,
+  "mlp_dropout": 0.0,
+  "model_type": "modernbert",
+  "norm_bias": false,
+  "norm_eps": 1e-05,
+  "num_attention_heads": 12,
+  "num_hidden_layers": 22,
+  "pad_token_id": 0,
+  "position_embedding_type": "absolute",
+  "repad_logits_with_grad": false,
+  "sep_token_id": 2,
+  "sparse_pred_ignore_index": -100,
+  "sparse_prediction": false,
+  "transformers_version": "4.57.6",
+  "vocab_size": 32768
+}

config_sentence_transformers.json

@@ -0,0 +1,14 @@
+{
+  "model_type": "SentenceTransformer",
+  "__version__": {
+    "sentence_transformers": "5.2.0",
+    "transformers": "4.57.6",
+    "pytorch": "2.9.1+cu128"
+  },
+  "prompts": {
+    "query": "",
+    "document": ""
+  },
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:19c3c91e267a062cdd3de09c6da022b2baf8d203621b5fe5b3af23cbd11cb647
+size 542002936

modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+    "max_seq_length": 8192,
+    "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,62 @@
+{
+  "add_prefix_space": true,
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "[MASK]",
+      "lstrip": true,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "[CLS]",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "eos_token": "[SEP]",
+  "errors": "replace",
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 8192,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "trim_offsets": true,
+  "unk_token": "[UNK]"
+}