JonasGru/lt-gte

SentenceTransformer based on Alibaba-NLP/gte-multilingual-base

This is a sentence-transformers model finetuned from Alibaba-NLP/gte-multilingual-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Alibaba-NLP/gte-multilingual-base
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'query: allianz arena pavyzdžiai',
    'passage: allianz arena futbolo stadionas vokietijoje šiaurinėje miuncheno miesto dalyje stadione yra sėdima vieta šiame stadione buvo sužaistos šešios pasaulio čempionato varžybos savo namų rungtynes čia žaidžia bayern münchen futbolo klubas iki bayern dalijosi stadionu su tsv münchen prieš tai abi komandos žaidė miuncheno olimpiniame stadione nuo iki istorija stadionas buvo pradėtas statyti spalio atidarytas gegužės statybos kainavo milijonus eurų pavadinimas allianz kompanija yra nusipirkusi teisę vadinti šį stadioną savo vardu iai metų tačiau pasaulio čempionato metu stadionas oficialiai vadintas fifa world cup stadium munich nes rėmėjo vardas remiantis fifa įstatais negali figūruoti panašiai yra ir su uefa čempionų lyga rungtynių metu šis stadionas žinomas kaip munich arena miuncheno arena nuorodos pasaulio čempionato svetainė apie allianz areną oficialus allianz arenos tinklalapis išnašos kategorija vokietijos futbolo stadionai kategorija miuncheno sportas kategorija pasaulio futbolo čempionatų stadionai',
    'passage: guns roses jav sunkiojo roko muzikos grupė įkurta xx dešimtečio viduryje joje susivienijo įvairių holivudo muzikos grupių nariai grupė jau buvo pagarsėjusi gyvo garso koncertais kai pasirašė pirmąjį kontraktą apie grupę tracii guns ir rob gardner negalėjo dalyvauti viename koncertų kuris vyko sietle axl rose paskambino gitaristui slash ir būgnininkui steven adler su kuriais buvo atsitiktinai susipažinęs ir pasiteiravo ar jie nenorėtų prisijungti vienam koncertui šie sutiko taip los andžele susikūrė susikūrė guns roses grįždami iš los andželo jie parašė žodžius dainai welcome to the jungle kuri tapo jų daina parašu grupės unikalus stilius apėmė punk bliuzą ir netgi tų dienų populiarųjį sunkųjį metalą grupę sudarė vokalas axl rose gitaristai tracii guns ir izzy stradlin bosistas ole beich vėliau pakeistas duff mckagan ir būgnininkas rob gardner grupės pavadinimas kilo iš dviejų grupių sujungtų pavadinimų hollywood rose ir guns kurių nariai ir grojo naujai susikūrusiame kolektyve pakilimas metais grupė išleido albumą ep live like suicide kuris pasiekė įrašų kompanijos geffen records atstovus šie pasiūlė grupei kontraktą tais pačiais metais alan niven tapo grupės vadybininku grupės albumas appetite for destruction pasirodė metų rugpjūčio albumas buvo parduotas milijonų tiražu ir pakilo pirmąją chart vietą albumo žinomesnės dainos welcome to the jungle sweet child mine ir paradise city visos trys dainos buvo billboard chart dešimtukuose metais apetite for destruction išliko geriausiai parduodamu visų laikų',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 199,992 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 6 tokens mean: 12.31 tokens max: 24 tokens	min: 130 tokens mean: 241.88 tokens max: 256 tokens

• Samples:

  sentence_0	sentence_1
  query: palangos miesto taryba 1990–1995 m. apibrėžimas	passage: palangos miesto savivaldybės taryba palangos miesto savivaldybės atstovaujamoji institucija išrinkta kovo pilnas pavadinimas palangos miesto liaudies deputatų taryba nuo balandžio mėn palangos miesto taryba nuo liepos mėn palangos miesto savivaldybės taryba teisinis pagrindas vietos savivaldos pagrindų įstatymu priimtu vasario savivaldybės suskirstytos žemesniosios pakopos savivaldybes apylinkės gyvenvietės valsčiai rajono apskrities miestai ir aukštesniosios pakopos savivaldybes rajonai apskritys respublikos miestai palangai priskirtas aukštesniosios pakopos savivaldybės statusas rinkimai vadovaujantis lietuvos trs aukščiausiosios tarybos gruodžio priimtu lietuvos tarybų socialistinės respublikos vietinių liaudies deputatų tarybų rinkimų įstatymu vyko pagal mažoritarinę sistemą kandidatus kelti galėjo renkamos tarybos teritorijoje esančių visuomeninių politinių organizacijų visuomeninių judėjimų rajonų ir miestų organai taip pat ne mažiau kaip darbo ar gyvenamosios vietos piliečių susirinkimas tai buvo pirmieji laisvi ir demokratiški rinkimai po savivaldybių tarybų rinkimų rinkimai įvyko kovo pakartotinis balsavimas ii turas balandžio tačiau kai kuriose rinkimų apygardose rinkimai neįvyko kitose daputatas nebuvo išrinktas arba buvo paskirtas miesto valdybos nariu pakartotiniai rinkimai neužimtas deputatų vietas vyko gegužės ir lapkričio tarybos deputatai bronius martinkus palangos miesto tarybos pirmininkas rimantas antanas mikalkėnas nuorodos oficiali svetainė kategorija lietuvos savivaldybių tarybų rinkimai
  query: kas yra hellgate: london	passage: hellgate london veiksmo žaidimas vaidmenimis rpg skirtas microsoft windows operaciniai sistemai trumpai žaidimą galima apibūdinti kaip modernų diablo tiek grafikos tiek siužeto prasme žaidėjui tenka vaduoti londoną nuo gausybės pragaro monstrų ir kitų negyvelių žaidimas įdomus tuo kad jį galima žaisti iš trečiojo asmens arba iš pirmojo asmens kaip šaudyklės perspektyvos veikėjų klasės blademaster kovotojas puola su dviem kardais evoker magas naudoja magiją summoner magas iškviečia kovai monstrus marksman šaulys naudojasi ginklais engeneer šaulys naudojasi robotais bei kai kuriomis karinėmis priemonėmis guardian gynybinis kovotojas naudojasi kardu ir skydu bei auromis kategorija kompiuteriniai žaidimai kategorija kompiuteriniai vaidmenų žaidimai kategorija mokslinės fantastikos kompiuteriniai žaidimai
  query: jurgis dovydaitis pavyzdžiai	passage: jurgis dovydaitis prie darbo stalo xx deš jurgis dovydaitis spalio runkiai višakio rūdos valsčius rugpjūčio vilnius lietuvos tautosakininkas biografija gimė motiejaus ir marijos dovydaičių šeimoje buvo keturioliktas vaikas brolis lietuvos akto signataras ministras pirmininkas pranas dovydaitis gimtasis kaimas buvo sunaikintas sovietmečiu kazlų rūdos miškus pavertus kariniu poligonu žmona mokytoja marcelė kirdeikytė dovydaitienė vaizdas višakio rūda paminklas jpg miniatiūra px left medinis paminklas dovydaičiui višakio rūdoje baigė kauno aušros gimnaziją vilniaus universitetą vilniaus universiteto ir vilniaus pedagoginio instituto dėstytojas tautosaką rinkti paskatino rašytojas vincas krėvė nuo sukauptas tautosakos kūrinių archyvas yra seniausias ir didžiausias vieno žmogaus sukauptas tautosakos archyvas lietuvoje surinkta kūrinių tai dainų tekstai ir jų melodijos žaidimai pasakos padavimai sakmės pasakojimai anekdotai patarlės burtai prietarai mįslės atsiminimai etnografiniai aprašymai raudos papročių aprašai gamtos garsų pamėgdžiojimai oracijos archyvą padovanojo lietuvių literatūros ir tautosakos institutui archyve rankraščių virš magnetinių juostų juostelių kuriose užfiksuoti tautosakos pateikėjai ir su tautosakos gyvavimu susiję faktai bei daug kitos medžiagos lietuvių kalbos žodyno kartotekai užrašė apie žodžių parašė straipsnių apie tautosakos gyvavimą rinkimą pateikėjus papročius įvertinimas valstybinė jono basanavičiaus premija skirta už nuopelnus lietuvių etninei kultūrai renkant ir skelbiant tautosaką mato slančiausko premija nuo kraštotyros draugijos garbės narys apie jurgį dovydaitį sukurtas kino filmas palikimas algirdo tarvydo studija režisierius algirdas tarvydas minint jurgio dovydaičio ąsias gimimo metines višakio rūdoje pastatytas paminklas jo vardu pavadinta kazlų rūdos

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 12
• per_device_eval_batch_size: 12
• num_train_epochs: 1
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 12
• per_device_eval_batch_size: 12
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
0.0300	500	0.0908
0.0600	1000	0.0114
0.0900	1500	0.008
0.1200	2000	0.0079
0.1500	2500	0.0049
0.1800	3000	0.0046
0.2100	3500	0.0031
0.2400	4000	0.0047
0.2700	4500	0.003
0.3000	5000	0.0035
0.3300	5500	0.0034
0.3600	6000	0.0019
0.3900	6500	0.0031
0.4200	7000	0.002
0.4500	7500	0.0023
0.4800	8000	0.0015
0.5100	8500	0.0009
0.5400	9000	0.0019
0.5700	9500	0.0013
0.6000	10000	0.0009
0.6300	10500	0.0006
0.6600	11000	0.0009
0.6900	11500	0.001
0.7200	12000	0.0014
0.7500	12500	0.0027
0.7800	13000	0.0012
0.8100	13500	0.0009
0.8400	14000	0.001
0.8700	14500	0.0004
0.9000	15000	0.0006
0.9300	15500	0.0006
0.9600	16000	0.0019
0.9900	16500	0.0013

Framework Versions

• Python: 3.12.9
• Sentence Transformers: 3.0.1
• Transformers: 4.41.2
• PyTorch: 2.9.1+cu128
• Accelerate: 0.31.0
• Datasets: 4.4.2
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}