JonasGru/lt-e5

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-base
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'query: stasys šimkus paaiškinimas',
    'passage: stasys šimkus vasario motiškiuose seredžiaus valsčius rusijos imperija spalio kaune kompozitorius chorų organizatorius ir dirigentas muzikos publicistas folkloristas pedagogas ir muzikos visuomenininkas biografija vaizdas stasys šimkus with son algis jpeg thumb left px stasys šimkus su sūnumi algiu jav stasys šimkus su karine uniforma gimė mažažemių valstiečių šeimoje nuo muzikos mokėsi pas vietos vargonininką juozo naujalio vargonininkų ir dirigentų kursuose kaune dainavo mėgėjų choruose nuo metų vargonininkavo čiobiškyje krokialaukyje skirsnemunėje nuo dalyvavo lietuviškųjų vakarų veikloje organizavo chorus rengė koncertus užrašinėjo liaudies dainas mokėsi varšuvos muzikos instituto vargonų klasėje pas prof suržinskį vedė varšuvos lietuvių draugijos chorą stažavosi peterburgo vadovavo lietuvių chorams be studijų dėstė muziką šv kotrynos bažnyčios katalikų gimnazijoje kaip chormeisteris bendradarbiavo su česlovu sasnausku lietuvių draugijos nukentėjusiems dėl karo šelpti pasiųstas jav rinkti aukų organizavo lietuvių chorus rengė koncertus statė operetes jav miestuose leido žurnalą muzika grįžęs lietuvą dalyvavo lietuvių meno kūrėjų draugijos veikloje buvo jos valdybos pirmininkas studijavo kompoziciją leipcigo ir berlyno klaipėdoje įkūrė muzikos mokyklą joje dėstė ir buvo jos direktorius čia subūrė simfoninį orkestrą valstybės teatro dirigentas vytauto didžiojo universiteto mišraus choro vadovas ir švietimo ministerijos muzikos inspektorius šimkus daug prisidėjo prie pirmųjų lietuvos dainų švenčių rengimo buvo jų dirigentas nuo kauno profesorius palaidotas petrašiūnų kapinėse stasys šimkus buvo įdomi asmenybė didelio temperamento ūmus neišsenkamos energijos dažnai būdavo geros nuotaikos nekreipdavo dėmesio smulkmenas karštai griebdavosi',
    'passage: alma adamkienė vasario šiauliuose gegužės vilniuje lietuvių filantropė visuomenės veikėja lr prezidento valdo adamkaus žmona buvusi pirmoji šalies dama vaizdas alma adamkiene and laura bush jpg thumb left px alma adamkienė su laura buš knygos viršelis biografija adamkienės tėvas stasys nutautas buvo prekybininkas motina ona soblytė nutautienė talkino vyrui versle augo telšiuose tarybinei kariuomenei veržiantis lietuvą nutautų šeima sunkvežimiu išvyko šventają kur apsigyveno pas žvejį nuo kurios juos laivu išplaukė link švedijos bet nepasiekus kranto laivą sulaikė vokiečių kariai ir išplukdino rygą kur juos dviems savaitėms pasodino rygos kalėjimą iš ten juos nuplukdino prekybiniu laivu gdanską tada traukinius ir vokietiją pabėgėlių stovyklą alma adamkienė vokietijoje baigė eichšteto lietuvių gimnaziją ten susipažino su valdu adamkumi kur jis mokėsi lietuvių kalbos vėliau studijavo erlangeno universiteto filologijos fakultete bavarijoje adamkienės šeima persikėlė jungtines amerikos valstijas kur jos šeima turėjo giminių ilinojuje pati gyveno rokforde atvykusi jungtines amerikos valstijas alma adamkienė dirbo plieno gamyklos laboratorijoje laborante vėliau draudimo kompanijoje ištekėjo už valdo adamkaus nuo net dvidešimt penkerius metus ji vadovavo iš jav lietuvių bendruomenės aktyvisto juozo bačiūno įsigytai tabor farmos vasarvietei kuri tapo svarbiu lietuvybės centru čia daug metų vykdavo liberaliosios pakraipos lietuvių išeivių organizacijos santara šviesa suvažiavimai dar rudenį vykstant prezidento rinkimų kampanijai alma adamkienė nusprendė kad ir kaip baigtųsi rinkimai ji lietuvoje pradės labdaringą veiklą buvo įkurtas almos adamkienės labdaros ir paramos',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 199,992 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 6 tokens mean: 12.31 tokens max: 35 tokens	min: 144 tokens mean: 358.42 tokens max: 512 tokens

• Samples:

  sentence_0	sentence_1
  query: fiziologija	passage: vaizdas claude bernard and his pupils oil painting after léon augus wellcome jpg thumb upright paveiksle vaizduojamas klodas bernaras šiuolaikinės fiziologijos pradininkas su savo mokiniais fiziologija gamta ir λόγος lógos mokslas protas gr φυσιολογία mokslas tiriantis gyvųjų organizmų fizikines biochemines ir informacijos perdirbimo funkcijas tradiciškai fiziologijos mokslas skirstomas augalų fiziologiją ir gyvūnų fiziologiją tačiau fiziologijos principai yra tie patys visiems organizmams pvz žinios apie mielių ląsteles gali būti pritaikomos ir žmogaus ląstelėms normalioji fiziologija nagrinėja sveiko organizmo funkcijas jų reguliavimo mechanizmus norint suprasti gyvo organizmo funkcijas būtina išmanyti jo struktūrą sandarą todėl fiziologija glaudžiai siejasi su anatomija histologija biochemija biofizika fiziologija siejasi ir su kitais mokslais zoologija genetika matematika chemija fizika fiziologijos tyrimo objektas gyvas organizmas ar jo struktūrinės dalys organų sistemos organai audiniai ląstelės fiziologija padeda suprasti sveiko organizmo veiklą jo sugebėjimą prisitaikyti prie nuolat kintančios aplinkos nepakitus vidinės terpės sudėčiai fiziologija sudaro teorinį ir praktinį pagrindą nagrinėjant organizme vykstančius patologinius procesus sporto fiziologija tiria organizmo struktūrą bei funkcijų pokyčius veikiant fiziniams krūviams joje taikoma koncepcija kad veikiant fiziniams krūviams organizmas prie jų adaptuojasi sporto fiziologijos raida sporto fiziologija gana jaunas mokslas tik xix pabaigoje londone buvo išleistas pirmas fizinių pratimų vadovėlis kurio autorius la grange xx pradžioje šį mokslą toliau vystė chopkinas nustatęs ryšį tarp raumenų veiklos ir laktato kaupimosi dilas įkūrė laboratoriją nuovargio kilmei tirti po pirmojo
  query: gūšra apibrėžimas	passage: gūšra dar žinoma kaip milvydo ežeras ežeras vakarų lietuvoje telšių rajone apie km šiaurės rytus nuo varnių km rytus nuo janapolės varnių regioniniame parke ežeras ovalios formos ilgis iš šiaurės pietus km plotis km altitudė giliausia vieta ežeras telkšo ištirpusio ledo luisto suformuotame duburyje krantai žemi vakarinis krantas plačiai užpelkėjęs apaugęs mišku pietuose įteka bevardis upelis vakaruose netoliese tekančią virvytę išteka druja ežeras yra drujos draustinyje prie gūšros rasta neolito gyvenviečių pėdsakų šalia įsikūrę milvydiškių ir lenkalių kaimai šaltiniai kategorija telšių rajono ežerai
  query: get apibrėžimas	passage: getas dgs gittim gittin žydų skyrybų raštas kurį žydas išduoda žydei nutraukiant vedybas pagrindinis rašto tekstas nuo dabar tu gali bendrauti su visais vyrais kitaip sakant tu nebesi ištekėjusi moteris ir tau paleistuvavimą draudžiantys įstatymai daugiau nebegalioja geto skyrybų raštas taip pat sugrąžina moteriai visas buvusias teises kurias ji turėjo prieš ištekėdama būtini reikalavimai getui getas skyrybų raštas privalo būti parašytas tik pas judaizmo soferį tam turi būti gautas judėjo vyro sutikimas žydei žmonai draudžiama skirtis getas turi būti parašytas ant tokio poperiaus kurio turinio nebūtų galima ištrinti arba taisyti geto data turi atitikti skyrybų rašto sudarymo datą bet koks geto taisyklių pažeidimas panaikina skyrybų procedūrą nuorodos skyrybos judėjiškai skyrybų raštas kategorija judaizmas

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 12
• per_device_eval_batch_size: 12
• num_train_epochs: 1
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 12
• per_device_eval_batch_size: 12
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
0.0300	500	0.3228
0.0600	1000	0.0094
0.0900	1500	0.009
0.1200	2000	0.0037
0.1500	2500	0.005
0.1800	3000	0.0041
0.2100	3500	0.0034
0.2400	4000	0.0052
0.2700	4500	0.0036
0.3000	5000	0.0015
0.3300	5500	0.0009
0.3600	6000	0.0017
0.3900	6500	0.0023
0.4200	7000	0.002
0.4500	7500	0.0023
0.4800	8000	0.0017
0.5100	8500	0.0018
0.5400	9000	0.0018
0.5700	9500	0.0023
0.6000	10000	0.0019
0.6300	10500	0.0016
0.6600	11000	0.0007
0.6900	11500	0.0005
0.7200	12000	0.0012
0.7500	12500	0.0003
0.7800	13000	0.0007
0.8100	13500	0.0013
0.8400	14000	0.0007
0.8700	14500	0.0004
0.9000	15000	0.0002
0.9300	15500	0.0012
0.9600	16000	0.0004
0.9900	16500	0.0006

Framework Versions

• Python: 3.12.9
• Sentence Transformers: 3.0.1
• Transformers: 4.41.2
• PyTorch: 2.9.1+cu128
• Accelerate: 0.31.0
• Datasets: 4.4.2
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}