finetune_21_08_2025_18_55_50 / README.md

BjarneNPO

Add new SentenceTransformer model

3265637 verified 4 months ago

preview code

raw

history blame contribute delete

25.7 kB

metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - dense
  - generated_from_trainer
  - dataset_size:19964
  - loss:MultipleNegativesRankingLoss
base_model: Snowflake/snowflake-arctic-embed-m-v2.0
widget:
  - source_sentence: 'Kollegin hat Probleme mit dem Login zu '
    sentences:
      - >-
        Alle genannten Kinder gab es in kitaplus. Bei einem musste nur eine neue
        BI angelegt werden, bei den anderen muss der Vertrag in einer anderen
        Kita rückgängig gemacht werden, damit es in kitaplus in dieser
        Einrichtung aus der Liste der Absagen genommen werden kann.
      - Der Bereich ist aktuell noch nicht sichtbar.
      - muss mit dem Rentamt geklärt werden
  - source_sentence: Benutzer möchte einen Kollegen nur für die Dokumentenbibliothek anlegen.
    sentences:
      - Rücksprache mit Entwickler.
      - Sie muss den Regler auf Anzahl stellen
      - >-
        Zusammen die Rolle gewählt und dort dann in den individuellen Rechten
        alles auf lesend bzw. ausblenden gestellt, außer die Bibliothek.
  - source_sentence: >-
      Ist es richtig so, dass Mitarbeiter, wenn sie nach einer gewissen Zeit
      wieder in die Einrichtung kommen, erneut angelegt werden müssen?
    sentences:
      - >-
        Userin an den Träger verwiesen, dieser kann bei ihr ein neues Passwort
        setzen.
      - Ja, das ist korrekt so.
      - >-
        Userin muss erst rechts über das 3-Punkte-menü die "Anmeldedaten
        zusammenführen". Danach muss man in den angelegten BI die Gruppenform
        des Anmeldeportals angeben.
  - source_sentence: Userin kann die Öffnungszeiten der Einrichtung nicht bearbeiten.
    sentences:
      - >-
        informiert, dass es keinen Testzugang gibt, aber Handbücher und Hilfen
        in zur Verfügung stehen, wenn die Schnittstelle eingerichtet wurde.
      - Bereits bekannt, die Kollegen sind schon dabei den Fehler zu beheben.
      - Userin darf dies mit der Rolle nicht.
  - source_sentence: fragt wie der Stand zu dem aktuellen Problem ist
    sentences:
      - Userin muss sich an die Bistums IT wenden.
      - >-
        In Klärung mit der Kollegin - Das Problem liegt leider an deren
        Betreiber. Die sind aber informiert und arbeiten bereits daran
      - findet diese in der Übersicht der Gruppen.
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - cosine_accuracy@1
  - cosine_accuracy@3
  - cosine_accuracy@5
  - cosine_accuracy@10
  - cosine_precision@1
  - cosine_precision@3
  - cosine_precision@5
  - cosine_precision@10
  - cosine_recall@1
  - cosine_recall@3
  - cosine_recall@5
  - cosine_recall@10
  - cosine_ndcg@10
  - cosine_mrr@10
  - cosine_map@100
model-index:
  - name: SentenceTransformer based on Snowflake/snowflake-arctic-embed-m-v2.0
    results:
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: Snowflake/snowflake arctic embed m v2.0
          type: Snowflake/snowflake-arctic-embed-m-v2.0
        metrics:
          - type: cosine_accuracy@1
            value: 0.1897810218978102
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.7153284671532847
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.8029197080291971
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.8540145985401459
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.1897810218978102
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.44282238442822386
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.4656934306569343
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.44598540145985405
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.008333162948877848
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.09894770560292243
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.16592225698065116
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.23699966604646722
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.45898091811493363
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.4676572818908586
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.2943817650574986
            name: Cosine Map@100

SentenceTransformer based on Snowflake/snowflake-arctic-embed-m-v2.0

This is a sentence-transformers model finetuned from Snowflake/snowflake-arctic-embed-m-v2.0 on the train dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: Snowflake/snowflake-arctic-embed-m-v2.0
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- train

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'GteModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("BjarneNPO/finetune_21_08_2025_18_55_50")
# Run inference
queries = [
    "fragt wie der Stand zu dem aktuellen Problem ist",
]
documents = [
    'In Klärung mit der Kollegin - Das Problem liegt leider an deren Betreiber. Die sind aber informiert und arbeiten bereits daran',
    'findet diese in der Übersicht der Gruppen.',
    'Userin muss sich an die Bistums IT wenden.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.2540, 0.0537, 0.0780]])

Evaluation

Metrics

Information Retrieval

Dataset: Snowflake/snowflake-arctic-embed-m-v2.0
Evaluated with scripts.InformationRetrievalEvaluatorCustom.InformationRetrievalEvaluatorCustom with these parameters:
```
{
    "query_prompt_name": "query",
    "corpus_prompt_name": "query"
}
```

Metric	Value
cosine_accuracy@1	0.1898
cosine_accuracy@3	0.7153
cosine_accuracy@5	0.8029
cosine_accuracy@10	0.854
cosine_precision@1	0.1898
cosine_precision@3	0.4428
cosine_precision@5	0.4657
cosine_precision@10	0.446
cosine_recall@1	0.0083
cosine_recall@3	0.0989
cosine_recall@5	0.1659
cosine_recall@10	0.237
cosine_ndcg@10	0.459
cosine_mrr@10	0.4677
cosine_map@100	0.2944

Training Details

Training Dataset

train

Dataset: train
Size: 19,964 training samples
Columns: query and answer
Approximate statistics based on the first 1000 samples:
query answer
type string string
details
min: 4 tokens
mean: 27.77 tokens
max: 615 tokens

min: 3 tokens
mean: 22.87 tokens
max: 151 tokens

	query	answer
type	string	string
details	min: 4 tokens mean: 27.77 tokens max: 615 tokens	min: 3 tokens mean: 22.87 tokens max: 151 tokens

Samples:

query	answer
`Wie kann man die Jahresurlaubsübersicht exportieren?`	`über das 3 Punkte Menü rechts oben. Mitarbeiter auswählen und exportieren`
`1. Vertragsabschlüsse werden nicht übertragen`
2. Kinder kommen nicht von nach
3. Absage kann bei Portalstatus nicht erstellt werden.	`Ticket`
Userin gebeten sich an den Support zu wenden, da der Fehler liegt.
`Wird im Anmeldeportal nicht gefunden.`	`Die Schnittstelle war noch nicht aktiviert und Profil ebenfalls nicht.`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
per_device_train_batch_size: 32
per_device_eval_batch_size: 64
gradient_accumulation_steps: 8
learning_rate: 2e-05
num_train_epochs: 10
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: True
tf32: True
load_best_model_at_end: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 32
per_device_eval_batch_size: 64
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 8
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 10
max_steps: -1
lr_scheduler_type: cosine
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: True
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Snowflake/snowflake-arctic-embed-m-v2.0_cosine_ndcg@10
0.1282	10	2.8279	-
0.2564	20	2.7011	-
0.3846	30	2.6182	-
0.5128	40	2.3893	-
0.6410	50	2.2499	-
0.7692	60	2.1048	-
0.8974	70	1.987	-
1.0	78	-	0.5043
1.0256	80	1.7766	-
1.1538	90	1.7516	-
1.2821	100	1.6332	-
1.4103	110	1.5975	-
1.5385	120	1.5437	-
1.6667	130	1.4739	-
1.7949	140	1.3988	-
1.9231	150	1.3845	-
2.0	156	-	0.4853
2.0513	160	1.2183	-
2.1795	170	1.2841	-
2.3077	180	1.2558	-
2.4359	190	1.2305	-
2.5641	200	1.2234	-
2.6923	210	1.1089	-
2.8205	220	1.1591	-
2.9487	230	1.0641	-
3.0	234	-	0.4735
3.0769	240	1.0085	-
3.2051	250	1.0507	-
3.3333	260	1.0183	-
3.4615	270	1.0208	-
3.5897	280	0.9587	-
3.7179	290	0.9273	-
3.8462	300	0.9171	-
3.9744	310	0.9076	-
4.0	312	-	0.4704
4.1026	320	0.8029	-
4.2308	330	0.8903	-
4.3590	340	0.8794	-
4.4872	350	0.851	-
4.6154	360	0.823	-
4.7436	370	0.7819	-
4.8718	380	0.7974	-
5.0	390	0.7552	0.4693
5.1282	400	0.7336	-
5.2564	410	0.7652	-
5.3846	420	0.7597	-
5.5128	430	0.7481	-
5.6410	440	0.6982	-
5.7692	450	0.6817	-
5.8974	460	0.7136	-
6.0	468	-	0.4652
6.0256	470	0.6233	-
6.1538	480	0.6739	-
6.2821	490	0.6646	-
6.4103	500	0.6614	-
6.5385	510	0.6699	-
6.6667	520	0.6291	-
6.7949	530	0.6344	-
6.9231	540	0.6459	-
7.0	546	-	0.4635
7.0513	550	0.5652	-
7.1795	560	0.6227	-
7.3077	570	0.6308	-
7.4359	580	0.6253	-
7.5641	590	0.6315	-
7.6923	600	0.5571	-
7.8205	610	0.6234	-
7.9487	620	0.5742	-
8.0	624	-	0.4611
8.0769	630	0.5583	-
8.2051	640	0.5817	-
8.3333	650	0.5913	-
8.4615	660	0.6025	-
8.5897	670	0.5726	-
8.7179	680	0.5492	-
8.8462	690	0.5907	-
8.9744	700	0.5756	-
9.0	702	-	0.4606
9.1026	710	0.5134	-
9.2308	720	0.5861	-
9.3590	730	0.6	-
9.4872	740	0.5839	-
9.6154	750	0.5688	-
9.7436	760	0.5443	-
9.8718	770	0.5687	-
10.0	780	0.5608	0.4590

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.10.11
Sentence Transformers: 5.1.0
Transformers: 4.55.2
PyTorch: 2.8.0+cu129
Accelerate: 1.10.0
Datasets: 3.6.0
Tokenizers: 0.21.4

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}