IrvinTopi/mnrl-sanity14

SentenceTransformer based on PaDaS-Lab/xlm-roberta-base-msmarco

This is a sentence-transformers model finetuned from PaDaS-Lab/xlm-roberta-base-msmarco. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: PaDaS-Lab/xlm-roberta-base-msmarco
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Was ist eigentlich typisch dänisch?',
    'Es gibt viele Dinge, die unser Lieblingsland auszeichnen. Hier findest Du ein paar Beispiele für das, was wunderbar typisch dänisch ist: 1. Hygge ist ein wichtiger Teil der dänischen Lebensweise, 2. In Dänemark wird das Fahrrad häufig dem Auto vorgezogen, 3. Vertrauen ist die dänische Grundeinstellung, 4. Dänemark ist super kinderfreundlich, 5. Auch die Dänen machen gerne Urlaub im eigenen Ferienhaus. Bei Deiner Zeit in Dänemark wirst Du bestimmt selber viele großartig typische Dinge bemerken und Dich rundum wohl fühlen.',
    'Die Grundlage eines jeden Wettbonus sind die Bonus- und Umsatzbedingungen, die bestimmen, wie schnell ein 150%-Bonus und mögliche Gewinne ausgezahlt werden können. Achten Sie daher darauf, dass die Umsatzbedingungen Ihres Wettanbieters für den 150%-Bonus vernünftig und nicht zu sehr zeitlich begrenzt sind.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.8050, 0.1170],
#         [0.8050, 1.0000, 0.1410],
#         [0.1170, 0.1410, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,280,000 training samples
• Columns: sentence_0, sentence_1, sentence_2, sentence_3, sentence_4, and sentence_5
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	sentence_2	sentence_3	sentence_4	sentence_5
  type	string	string	string	string	string	string
  details	min: 4 tokens mean: 15.81 tokens max: 155 tokens	min: 11 tokens mean: 74.39 tokens max: 492 tokens	min: 10 tokens mean: 72.7 tokens max: 485 tokens	min: 9 tokens mean: 73.9 tokens max: 512 tokens	min: 8 tokens mean: 76.82 tokens max: 512 tokens	min: 12 tokens mean: 71.19 tokens max: 512 tokens

• Samples:

  sentence_0	sentence_1	sentence_2	sentence_3	sentence_4	sentence_5
  Wat is een leuke badplaats voor jongeren?	Voor jongeren zijn Blanes en Lloret de Mar hele leuke badplaatsen. De steden zijn ingericht op het uitgaansleven. Je vindt hier dus veel clubs en bars. Overdag zijn er veel activiteiten te doen op het strand.	We beoordelen onze docenten via een intakegesprek op verschillende gebieden. Pedagogisch uiteraard: aanpak, didactische skills, eventuele ervaring. Maar ook de vakkennis huiswerkbegeleiding is belangrijk voor ons. Elke bijlesdocent uit regio Zoutleeuw moet ook een uittreksel uit het strafregister model 596.2 voorleggen, samen met hun diploma('s). We houden de kwaliteit van onze docenten steevast in de gaten.	Schuurmiddel kan poreuze oppervlakken beschadigen. De korrelige structuur kan ervoor zorgen dat er krassen achterblijven op het oppervlak of er kleine deukjes ontstaan. Lees daarom altijd de instructies op de fles en probeer het middel eerst op een klein en niet-zichtbaar stukje van het oppervlak.	Spinnen zijn nuttig voor het vangen van andere insecten zoals vliegen en muggen. Bij overlast wil je natuurlijk wel graag af van spinnen. Wanneer er teveel komen is dit niet meer fijn en zal je spinnen moeten bestrijden voordat je hele huis vol zit.	Wanneer je grond overhoudt na bijvoorbeeld het afgraven van je tuin of terrein of de bouw en verbouwing van je huis heb je in de meeste gevallen een schoongrondverklaring nodig. Daarna is het namelijk pas mogelijk de grond af te laten voeren door een transportbedrijf of milieustraat. Wanneer je gemeente geen schoongrondverklaring voor jouw terrein beschikbaar heeft, moet je hier dus zelf voor zorgen door middel van het laten uitvoeren van bodemonderzoek. Bij de (ver)bouw van een huis of bij het verbouwen of afgraven van de tuin, komt het vaak voor dat je veel grond overhoudt. Schone grond wordt apart afgevoerd in een grondcontainer en mag niet bij ander bouw-en sloopafval. Maar let op: de grond kan alleen worden afgevoerd wanneer het schoon is verklaard. Hier kan je een schoongrondverklaring voor aanvragen
  Kann man in Deutschland amerikanische Häuser bauen?	Grundsätzlich können Sie auch in unserer Heimat ein amerikanisches Haus bauen, sofern es der örtliche Bebauungsplan zulässt. Abgesehen von der recht üppig verschnörkelten amerikanischen Villa aus den Südstaaten fügen sich die Holzbauten nahtlos in die meisten Wohngegenden ein. Und auch für ein ausgeklügeltes amerikanisches Haus mit Veranda sollten Sie bei entsprechend großem Grundstück eine Baugenehmigung erhalten. Informieren Sie sich am besten zeitnah, um mögliche Änderungen mit Ihrem Baupartner einzuplanen.	Du bekommst deine erste Rechnung von Polarstern i.d.R. zum selben Zeitpunkt, an dem du bisher deine Rechnung von deinem Energieversorger bekommen hast. Denn nicht der Energieversorger legt den Zeitpunkt der Ablesung des Zählerstandes fest, sondern der zuständige Netzbetreiber. Und dein Netzbetreiber bleibt trotz Versorgerwechsel gleich, folglich bleibt es auch beim gleichen Abrechnungszeitraum. Wenn du einen anderen Abrechnungsturnus wünscht, sprich einfach mit uns, telefonisch unter 089 309 042 914 oder per E-Mail an  abrechnung@service.polarstern-energie.de .	Innerhalb Österreichs berechnen wir für die Warenlieferung pauschal 3,95 € pro Bestellung. Achten Sie auf unsere Sonderangebote, denn wir bieten auch regelmäßig kostenlosen Versand an.	Dies ist nur dann notwendig, wenn in der Gebrauchsanweisung die Anwendung auf dem Gesicht ausgeschlossen wird, was bei keinem Linola Präparat gegeben ist. Aufgrund der Eigenschaften ergeben sich jedoch bevorzugte Anwendungsregionen. Linola Gesicht ist daher für die Anwendung auf der Gesichtshaut vorgesehen, doch lässt sie sich natürlich auch auf allen anderen Hautstellen anwenden. Da die Creme zudem einen hohen Anteil an natürlichen Pflanzenölen in einer Wasser-in-Öl-Emulsion enthält, ergibt sich eine starke und nachhaltige Hautfettung. Mit ihrem Fettgehalt von 30% kann daher die gleiche Wirkung erzielt werden wie mit anderen, stärker fetthaltigen Cremes.	Mit der pdfFiller-Mobil-App für Android können Sie Änderungen an PDF-Dateien wie holen sie sich kostenlos vornehmen. Dokumente können direkt von Ihrem Mobilgerät aus bearbeitet, signiert und gesendet werden. Installieren Sie die App und verwalten Sie Ihre Dokumente von überall aus.
  Como posso jogar a versão demo do Ganesha Gold gratuitamente?	Para jogar a versão demo grátis do Ganesha Gold, basta acessar um cassino online que ofereça o jogo e selecionar a opção “Demo” ou “Jogar Grátis”. A versão demo permite que você experimente o jogo sem arriscar dinheiro real, perfeito para quem deseja conhecer as funcionalidades antes de apostar.	Você precisa de seu passaporte, carteira de motorista, carteira de identidade, conta de serviços públicos ou uma combinação de ambos para validar sua conta.	A queda de cabelo e o cabelo quebrado são comuns na gravidez, mas podem ser minimizados mantendo uma dieta saudável, evitando tração excessiva nos fios (penteados muito apertados, por exemplo), fazendo hidratações recorrentes e utilizando produtos suaves para lavar os fios.	Nas montanhas, em Les Saisies, este apartamento oferece acesso direto às pistas de esqui e fica a 2 km de Elevador para esqui de Legette, Le Signal em Les Saisies e Informações turísticas de Les Saisies. Elevador para esqui de Chard du Beurre e Elevador para esqui de Bisanne também ficam a 2 km.	O manjericão sagrado, também conhecido como tulsi, é conhecido pelo seu poder terapêutico, as folhas de tulsi são agora consideradas pela maioria dos países como adaptógenos (agentes anti-stress) e têm sido amplamente utilizadas para promover a saúde em todo o corpo.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• num_train_epochs: 1
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.05	500	1.1958
0.1	1000	0.1077
0.15	1500	0.084
0.2	2000	0.0711
0.25	2500	0.0668
0.3	3000	0.0601
0.35	3500	0.0576
0.4	4000	0.0558
0.45	4500	0.0536
0.5	5000	0.0523
0.55	5500	0.0498
0.6	6000	0.0511
0.65	6500	0.0472
0.7	7000	0.046
0.75	7500	0.0452
0.8	8000	0.0448
0.85	8500	0.043
0.9	9000	0.0426
0.95	9500	0.0441
1.0	10000	0.0441

Framework Versions

• Python: 3.10.4
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.1+cu128
• Accelerate: 1.12.0
• Datasets: 2.21.0
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}