Stergios-Konstantinidis/ML2025_fine_tuned_embeddings_final

SentenceTransformer based on sentence-transformers/all-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/all-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/all-MiniLM-L12-v2
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Stergios-Konstantinidis/ML2025_fine_tuned_embeddings_final")
# Run inference
sentences = [
    'Der Bund ist ja gemäss diesen Ausführungen im Moment selbst daran, die Gewässerschutzzonen zu überarbeiten.',
    'Der Bund ist ja gemäss diesen Ausführungen im Moment selbst daran, die Gewässerschutzzonen zu überarbeiten.',
    'Auch nach der Session erhielt ich keine Reaktionen von Gemeinden oder anderen Kommunalverbänden.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 1.0000, 0.2699],
#         [1.0000, 1.0000, 0.2699],
#         [0.2699, 0.2699, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 846,800 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	int
  details	min: 4 tokens mean: 117.03 tokens max: 128 tokens	min: 4 tokens mean: 117.03 tokens max: 128 tokens	1: 100.00%

• Samples:

  sentence_0	sentence_1	label
  Bundesgericht Tribunal fédéral Tribunale federale Tribunal federal {T 0/2} 9C_26/2017 Urteil vom 28. Februar 2017 II. sozialrechtliche Abteilung Besetzung Bundesrichterin Pfiffner, Präsidentin, Bundesrichterin Glanzmann, Bundesrichter Parrino, Gerichtsschreiber R. Widmer. Verfahrensbeteiligte A., vertreten durch Rechtsanwalt Dr. Kurt Pfau, Beschwerdeführerin, gegen IV-Stelle des Kantons Zürich, Röntgenstrasse 17, 8005 Zürich, Beschwerdegegnerin. Gegenstand Invalidenversicherung, Beschwerde gegen den Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 14. November 2016. Sachverhalt: A. Die 1956 geborene A. ist von Beruf Physiotherapeutin. Seit 2008 war sie als Selbstständigerwerbende tätig, ab März 2013 arbeitete sie in einem Pensum von 60 %. Am 7. März 2014 meldete sie sich unter Hinweis auf Schmerzen im Halsbereich bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf Abklärungen in medizinischer und erwerblicher Hinsicht lehnte die IV-Stelle d...	Bundesgericht Tribunal fédéral Tribunale federale Tribunal federal {T 0/2} 9C_26/2017 Urteil vom 28. Februar 2017 II. sozialrechtliche Abteilung Besetzung Bundesrichterin Pfiffner, Präsidentin, Bundesrichterin Glanzmann, Bundesrichter Parrino, Gerichtsschreiber R. Widmer. Verfahrensbeteiligte A., vertreten durch Rechtsanwalt Dr. Kurt Pfau, Beschwerdeführerin, gegen IV-Stelle des Kantons Zürich, Röntgenstrasse 17, 8005 Zürich, Beschwerdegegnerin. Gegenstand Invalidenversicherung, Beschwerde gegen den Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 14. November 2016. Sachverhalt: A. Die 1956 geborene A. ist von Beruf Physiotherapeutin. Seit 2008 war sie als Selbstständigerwerbende tätig, ab März 2013 arbeitete sie in einem Pensum von 60 %. Am 7. März 2014 meldete sie sich unter Hinweis auf Schmerzen im Halsbereich bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf Abklärungen in medizinischer und erwerblicher Hinsicht lehnte die IV-Stelle d...	1
  Cour administrative d'appel de Bordeaux, 6ème chambre (formation à 3), 11/12/2012, 11BX02332, Inédit au recueil Lebon Vu le mémoire, enregistré le 18 août 2011, présenté pour la section du bourg de la commune de Ménoire (Corrèze), prise en la personne de son président ; La section du bourg de la commune de Ménoire demande à la cour : 1°) d'annuler le jugement n° 0901949 en date du 23 juin 2011 par lequel le tribunal administratif de Limoges a, sur la demande de M. Serge X, annulé les délibérations du 16 juin 2009 relatives aux baux à conclure avec M. Y, M. Z et Mme A ainsi que le refus opposé à la candidature de M. X le 16 juin 2009 et le rejet de son recours gracieux, le 25 août 2009 ; 2°) de condamner M. X à lui verser la somme de 2 000 euros au titre de l'article L. 761-1 du code de justice administrative ; --------------------------------------------------------------------------------------------------------- ...	Cour administrative d'appel de Bordeaux, 6ème chambre (formation à 3), 11/12/2012, 11BX02332, Inédit au recueil Lebon Vu le mémoire, enregistré le 18 août 2011, présenté pour la section du bourg de la commune de Ménoire (Corrèze), prise en la personne de son président ; La section du bourg de la commune de Ménoire demande à la cour : 1°) d'annuler le jugement n° 0901949 en date du 23 juin 2011 par lequel le tribunal administratif de Limoges a, sur la demande de M. Serge X, annulé les délibérations du 16 juin 2009 relatives aux baux à conclure avec M. Y, M. Z et Mme A ainsi que le refus opposé à la candidature de M. X le 16 juin 2009 et le rejet de son recours gracieux, le 25 août 2009 ; 2°) de condamner M. X à lui verser la somme de 2 000 euros au titre de l'article L. 761-1 du code de justice administrative ; --------------------------------------------------------------------------------------------------------- ...	1
  CAA de VERSAILLES, 1ère chambre, 27/02/2024, 22VE00341, Inédit au recueil Lebon Vu la procédure suivante : Procédure contentieuse antérieure : M. et Mme B... et A... C... ont demandé au tribunal administratif de Versailles de prononcer la réduction des suppléments d'impôt sur le revenu auxquelles ils ont été assujettis au titre des années 2013, 2014 et 2015 et de mettre à la charge de l'Etat la somme de 2 500 euros au titre de l'article L. 761-1 du code de justice administrative. Par jugement n° 1906999 du 20 décembre 2021, le tribunal administratif de Versailles a prononcé un non-lieu à statuer sur les impositions en litige à concurrence du dégrèvement de 21 014 euros intervenu en cours d'instance et a rejeté le surplus des conclusions de leur demande. Procédure devant la cour : Par une requête et des mémoires enregistrés les 17 février 2022, 22 décembre 2022 et 12 janvier 2024, M. et Mme C..., représentés...	CAA de VERSAILLES, 1ère chambre, 27/02/2024, 22VE00341, Inédit au recueil Lebon Vu la procédure suivante : Procédure contentieuse antérieure : M. et Mme B... et A... C... ont demandé au tribunal administratif de Versailles de prononcer la réduction des suppléments d'impôt sur le revenu auxquelles ils ont été assujettis au titre des années 2013, 2014 et 2015 et de mettre à la charge de l'Etat la somme de 2 500 euros au titre de l'article L. 761-1 du code de justice administrative. Par jugement n° 1906999 du 20 décembre 2021, le tribunal administratif de Versailles a prononcé un non-lieu à statuer sur les impositions en litige à concurrence du dégrèvement de 21 014 euros intervenu en cours d'instance et a rejeté le surplus des conclusions de leur demande. Procédure devant la cour : Par une requête et des mémoires enregistrés les 17 février 2022, 22 décembre 2022 et 12 janvier 2024, M. et Mme C..., représentés...	1

• Loss: ContrastiveTensionLoss

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 40
• per_device_eval_batch_size: 40
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 40
• per_device_eval_batch_size: 40
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.0472	500	25.7749
0.0945	1000	25.6226
0.1417	1500	25.5715
0.1889	2000	25.5408
0.2362	2500	25.518
0.2834	3000	25.5019
0.3307	3500	25.4902
0.3779	4000	25.4788
0.4251	4500	25.469
0.4724	5000	25.4588
0.5196	5500	25.4543
0.5668	6000	25.445
0.6141	6500	25.4427
0.6613	7000	25.4357
0.7085	7500	25.4292
0.7558	8000	25.424
0.8030	8500	25.422
0.8503	9000	25.4186
0.8975	9500	25.4119
0.9447	10000	25.4115
0.9920	10500	25.4085
1.0392	11000	25.3999
1.0864	11500	25.3976
1.1337	12000	25.3939
1.1809	12500	25.3935
1.2282	13000	25.3893
1.2754	13500	25.3874
1.3226	14000	25.3824
1.3699	14500	25.3835
1.4171	15000	25.3818
1.4643	15500	25.3749
1.5116	16000	25.3775
1.5588	16500	25.3723
1.6060	17000	25.3735
1.6533	17500	25.3715
1.7005	18000	25.3703
1.7478	18500	25.3685
1.7950	19000	25.3654
1.8422	19500	25.3665
1.8895	20000	25.3614
1.9367	20500	25.3641
1.9839	21000	25.3598
2.0312	21500	25.3561
2.0784	22000	25.3563
2.1256	22500	25.3528
2.1729	23000	25.3528
2.2201	23500	25.3529
2.2674	24000	25.3483
2.3146	24500	25.3482
2.3618	25000	25.35
2.4091	25500	25.3479
2.4563	26000	25.347
2.5035	26500	25.3472
2.5508	27000	25.3449
2.5980	27500	25.3453
2.6453	28000	25.3437
2.6925	28500	25.3423
2.7397	29000	25.3397
2.7870	29500	25.3399
2.8342	30000	25.338
2.8814	30500	25.3386
2.9287	31000	25.3374
2.9759	31500	25.3366

Framework Versions

• Python: 3.10.13
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.1+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.1
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveTensionLoss

@inproceedings{carlsson2021semantic,
    title={Semantic Re-tuning with Contrastive Tension},
    author={Fredrik Carlsson and Amaru Cuba Gyllensten and Evangelia Gogoulou and Erik Ylip{"a}{"a} Hellqvist and Magnus Sahlgren},
    booktitle={International Conference on Learning Representations},
    year={2021},
    url={https://openreview.net/forum?id=Ov_sMNau-PF}
}