aimarsg/bernat_berria_s_contrastive

SentenceTransformer based on HiTZ/BERnaT_base

This is a sentence-transformers model finetuned from HiTZ/BERnaT_base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: HiTZ/BERnaT_base
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'RobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("aimarsg/bernat_berria_s_contrastive")
# Run inference
sentences = [
    'Zein dira sindikatuek lan istripuak murrizteko egindako eskaerak?',
    'CCOO sindikatuak irmo gaitzetsi du lan istripua. «Lan istripu tasa handienetako lurraldea da Nafarroa, eta zifra horiek murrizteak lehentasun izan behar du Nafarroako Gobernuarentzat eta inplikatutako eragileentzat». Patronalari dei egin dio Lan Arriskuen Prebentziorako legea «zorrotz betetzera», eta horretarako «behar diren baliabide guztiak» jarri beharko liratekeela gaineratu du.\n\nSindikatu horren irudiko, lantokira joateak ez lioke inori eragin behar inolako arriskurik. «Lan istripurik ez izateko erantzukizuna enpresen gain dago erabat, eta administrazioak funtsezko rola jokatzen du araudia betetzen dela zaintzeko orduan», esan du.\n\nAntzera eta gogor mintzatu da ELA. «Egoera horren erantzule nagusiak patronala eta erakunde publikoak dira». Sindikatuaren arabera, enpresek, sistematikoki, ez dute betetzen legedia, eta Nafarroako Gobernuak uko egiten dio «beharrezko kontrol neurriak» ezartzeari. Hala, ELAk eskatu du Nafarroako Osasun Publikoaren Lan Osasunaren Institututuko ikuskaritzako langile kopurua «hirukoizteko».\n\nAlderdien mezua\n\nAlderdiek doluminak azaldu dizkiote langilearen senideei. «Adeitasun eta babes osoa» adierazi diete sozialistek. Geroa Baik, berriz, heriotza deitoratu, eta «babes eta elkartasun osoa» adierazi die.\n\nEH Bilduk ere babesa adierazi die gertukoei. «Prekaritateak hiltzen du. Lan baldintza duinak», eskatu du koalizioak sare sozialetan. Altsasuko EH Bilduk «amorrua eta tristura» azaldu du: «Ezin dugu horrelakorik gehiago onartu».\n\nUPNk ere ezbeharra gaitzetsi du, eta lan istripuak geldiarazteko neurriak «premiazkoak» direla azpimarratu du.',
    '[galleries:horizontal:76]\n\nHondarrezko patioa zeharkatu, eta alboko etxean bizi den lehengusinarenera doa tea hartzera. Aho batez diote askotan ez dutela afaltzen. Tauaf Mouleren seme-alabak gosaldu gabe doaz eskolara. Didiha, Chej eta Hamsari bi galleta ematen dizkiete gelara sartzean. Bojadorko Lemsid herrixkan bizi dira, errepide ertzean. Bi emakumeak hilabetean behin joaten dira nazioarteko laguntza banatzen den dairako bilketa puntura. Saskia gero eta urriagoa da. Hilabete honetan kilo erdi bat arroz, kilo erdi bat dilista, kilo erdi bat garbantzu, sei kilo irin, litro erdi bat olio eta kilo bat azukre jaso dituzte pertsonako. «Lehen, halako bi jasotzen genuen. Bi kilo azukre ematen zizkiguten, eta espagetiak eta arrautzak. Garai batean, atun latak ere bai».\n\nMende erdi bat\n\nTindufeko (Aljeria) kanpalekuetako egoera humanitarioa gero eta latzagoa da. Datorren urtean mende erdi bat egingo dute sahararrek basamortuen basamortuan errefuxiatuta, eremu idor honetan abandonatuta. Marokok 1975eko azaroaren 6an okupatu zuen Mendebaldeko Sahara. Martxa beltzarekin ezagutu zuten sahararrek zein den exodo eta gerra hitzen esanahia. Munduko errefuxiatu gunerik zaharrenetakoan ondorena luzatzen ari da. 1991n, su etena sinatu zutenean, jaioterrira itzultzeko kutxak prestatu zituzten, baina erreferendumaren promesa ezerezean geratu zen.\n\nEmbarka Saleh itzulerarako kutxa baten alboan. Erreferenduma iragarri zutenean, sahararrek jaioterrira itzultzeko kutxak prestatu zituzten. K.B.T.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.7255, -0.1722],
#         [ 0.7255,  1.0000, -0.1316],
#         [-0.1722, -0.1316,  1.0000]])

Evaluation

Metrics

Triplet

• Dataset: multilingual-e5-large
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.865

Training Details

Training Dataset

Unnamed Dataset

• Size: 5,998 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 8 tokens mean: 15.01 tokens max: 33 tokens	min: 68 tokens mean: 290.38 tokens max: 462 tokens

• Samples:

  anchor	positive
  Zein dira Louis ekaitzaren ondorioz gaur eta bihar ezarri diren abisuak?	Abisu horiak eta laranjak ezarri dituzte gaurko eta biharko, haizea, olatuak, elurra eta ekaitzak direla eta Iritsi da Louis ekaitza, iritsi da negu giroa. Eta hasia da haizeteak, euria eta olatu handiak sortzen, eta tximistak eta elurra ere ekarriko ditu. Euskalmet Euskal Meteorologia Agentziak eta Meteo France Frantziako meteorologia zerbitzuak abisu laranjak eta horiak ezarri dituzte gaurko eta biharko. Nafarroan ez da abisurik. Euskalmetek abisu laranja ezarri du gaur itsasaldean, nabigaziorako, lehenengo bi milietan, eguerdiko hamabietatik gaueko hamabietara. Haize indartsua izango da, bost metrotik gorako olatuak espero dituzte, eta itsaso zakarra hainbat lekutan. Gainerakoan, kostaldean abisu horia izango da: litekeena da olatuen ura pasealekuetara eta malekoietara iristea, arratsaldean batez ere. Elurra botako du gaur, eta hotz egingo du. Euskalmetek abisu horia ezarri du Arabako Erdialdean, Ebroren inguruan eta Bizkaiko eta Gipuzkoako barnealdean, elurragatik, eguerdiko ham...
  Zein da energia berriztagarrien ekarpena mundu osoko elektrizitate ekoizpenean 2026rako?	Energia agentziaren arabera, Txinak apustu handia egin du energia nuklearren alde eta, herrialdean erreaktore berriak jartzeaz gain, industria oso bat sortu du haren inguruan; hango teknologia dute mundu osoan eraikitzen ari diren hamar erreaktore nuklear berrietatik zazpik. Oro har, belaunaldi berrikoak dira, txikiagoak eta merkeagoak. Energia berriztagarriak nagusi Energia agentziak energia nuklearraren aldeko apustua txalotu du. Haren arabera, hori eta energia berriztagarrien hazkunde azkarrak erregai fosilak sistema elektrikotik kanporatzen ari dira, ikatza batez ere. IEAk kalkulatu duenez, energia berriztagarriak eta nuklearrak mundu osoko elektrizitatearen %46 produzituko dute 2026an; %40 izan zen 2023an. -% 3,2 Argindar kontsumoa Europan. Prezioa jaitsi arren, Europan elektrizitatearen kontsumoa %3,2 murriztu zen iaz; batez ere, industriaren sektorean. IEAren arabera, Europako elektrizitate kontsumoa 2026ra arte ez da 2021eko mailara iritsiko. Energia berriztagarriak soilik...
  Zein da Realaren ibilbidea Espainiako Kopan azken 35 urteetan?	Aurrez egindakoa eredu Hirugarren urtez jarraian, Espainiako Kopako zortzi talderik onenen artean dago Reala. Azkenaldian sarri jokatu ditu final-laurdenak, baina iraganeko ibilbideak argi erakusten du ez dela batere erraza horren urrun iristea, eta balio handia duela. Izan ere, azken 35 urteetan txuri-urdinek zazpi aldiz baino ez dute gainditu final-zortzirenen langa. Urrutien 2019-2020ko Kopan iritsi ziren, finala jokatu eta irabazita. Azken bi aldietan, ilusioa piztu zitzaien berriro, baina Betisek eta Bartzelonak kanporatu egin zituzten final-laurdenetan. Ez dute nahi gaur gauza bera gertatzerik: Celtari irabazten eta, hala, finalaren atarira iristen saiatuko dira. Konfiantza izan eta garaipenean sinesteko, Realak aski du duela hiru egun egindakoari erreparatzea: 0-1 irabazi zuen gaurko zelaian, Balaidosen. Hartara, jarraipena eman zion Celtaren zelaian daraman bolada gozoari. Irabazi egin ditu han jokatu dituen azken bost partidak. Soilik Real Madrilek esan dezake gauza bera. Ga...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 6,000 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 7 tokens mean: 15.3 tokens max: 33 tokens	min: 68 tokens mean: 289.3 tokens max: 462 tokens	min: 4 tokens mean: 136.06 tokens max: 437 tokens

• Samples:

  anchor	positive	negative
  Zein enpresatara igorri zituzten Zubietako errauste plantatik ateratako hondakinak 2022an?	Nafarroakoaz gain, ba al da beste ikerketarik zabalik? Bai. Asensio diputatua eta GHK-ko zenbait arduradun ikertzen ari da Donostiako 5. Instrukzio Epaitegia, Gipuzkoako Fiskaltzak aurkeztutako salaketa baten ostean. Fiskalak bi delituren zantzuak antzeman ditu: batetik, ingurumenaren kontrako delitu batenak, Zubietan «hondakin arriskutsuak» sortu zirelakoan; eta, bestetik, dokumentuen faltsutzearenak. Hain zuzen, Asensiori eta GHK-ko arduradunei egozten diete hondakinen identifikazio kodeak faltsutu izana, eta lixibiatu horiek lohi gisara pasarazi zituztela. Fiskaltzaren arabera, 12.602 tona hondakin atera ziren errauste plantatik 2022an, eta bi enpresatara igorri zituzten: Ecofert Sansoain, Artaxoan; eta Sader, Bilbon. Auzibide horrek jatorria du GuraSOS elkarteak fiskaltzara iaz igorritako txosten batean, eta Guardia Zibila ari da auzia ikertzen.	Azken enborren gainean balantza egin zenuen bizpahiru aldiz. Zer gertatu zen? Nire erritmoa hautsi egin nuen. Entrenamenduetan bezala, agian, martxa bat jaitsi behar nuen, eta gelditu gabe segi. Gelditzen hasi nintzen, eta prestaketa ona nuenez, segituan osatzen nintzen, eta indarrez hasi. Erritmoa hautsi nuen hala. Bete-errekuperatu, bete-errekuperatu aritu nintzen. Baina bai, jende askok esan dit. Gero, egurrak jartzerakoan baremo batzuk daude; zabalago jarri daitezke, tenteago... Oso tenteak zeuden azken horiek, eta goian leku gutxi zuen. Oreka galtzen nuen, eta horregatik egiten nuen balantza. Ez zen nekearekin erori behar nuelako. «Lan-erdiak igarota, lasaiago hartzeko esan zidaten, baina kasu gutxi egin nien. Denbora asko igaro dut prestatzen, eta plazan erakutsi egin nahi izaten da». Txikia IV.a uste zenuen baino apalago ikusi al zenuen? Baietz esango nuke, Julen askoz gehiago dela uste dut eta. Alde horretatik, aldearekin aritzea askoz errazagoa da, baina uste dut jendeak l...
  Zein da Doinuele sarearen helburua euskal literatura eta musikaren arloan?	Handituz joango da Doinuele sarea? Esperantza badugu. Adibidez, sinbolikoa da, baina Arabatik ez dugu inor, ez dugu Arabako plazarik sarean. Borondatea behar da azoka bat egiteko, baina ez da zaila. Musika eta literatura maitatuz, horrelako zerbait lor daiteke. Azoka sortzea erraza dela diozu, baina erronka zaila da sarea handitzea? Bai, erronka zaila da euskaraz bizitzea, erronka zaila da euskaraz sortzea... baina euskaldunoi tokatu zaizkigun erronkak dira horiek. Zaila izan arren, erronka polita da, eta, lehen esan bezala, esperantza badugu. Nola antolatzen zarete Doinuelen? Bakoitza bere azokarekin ibili arren, elkarrekin biltzen gara urte osoan. Nazio ikuspegia daukan sarea da hau, eta ezaugarri hori oso garrantzitsua da gure lanean. Bakoitzak bere eskualdean egoera bat dauka euskararen harira, toki ezberdinetatik gatoz, baina, elkar ezagutzeari esker, elkarrekin lan egiteko aukera sortu zaigu. Denok partekatzen dugu gauza bera: osotasunean euskaraz bizitzeko zailtasuna. LOTS...	Talaia egokia duzu Elkarrekoa euskal literaturan gertatzen ari direnez jabetzeko. Gertatzen ari da bereziki aipagarria zaizun ezer? Aipatuko dizut zerbait, baina ez dakit oso interesgarria den. Hasi nintzenean, testu asko jasotzen genituen oso euskara maila eskasa zeukatenak; gaur egun, erredakzio aldetik, maila hobea dago batez beste. Hori nabarmena da. Eta jasotzen den original kopurua asko handitu da. Jende askok nahi du idatzi, eta hori oso poztekoa da. Sortzaile asko daude, batzuk kaskarragoak, beste batzuk askoz hobeak, baina badago gogo bat transmititzeko, komunikatzeko, artea egiteko. Hori ez da aldatu. Izatekotan, areagotu egin da. Baina? Baina beste alde batetik, ikusten dugu salmenta datuak nahiko apalak direla. Gutxienez hiru krisi gertatu dira aldi batera. Bat da literaturaren eta idazlearen prestigio orokorraren galera. Oro har, liburuak, maila sinbolikoan, kulturaren leku gorena eduki du; gaur esango nuke ezetz. Bestalde, guztion entretenimenduan, zentzu zabalenean, f...
  Zein da Goizalde Landabasoren ibilbidea irratigintzan?	Irratia «Gizartea aldatu da eta aukera gehiago daude bi hizkuntzekin jolasteko» Radio Euskadiko 'Pompas de papel' literatur saioa aurkezten eta zuzentzen du Landabasok. Euskarazko irrati-nobela bat sortu du programarako. 35 urte daramatza irratigintzan Goizalde Landabasok (Bilbo, 1970). Lehen bost urteak Bizkaia Irratian egin zituen, eta aurten 30 urte beteko ditu EITBko irratietan lanean. Urte asko dira irratian zabiltzala. Nola hartu duzu Pompas de papel saioa gidatzeko erronka? Erantzukizun handiarekin. Uste dut emakumeoi askotan gertatzen zaigula: pentsatzen aritu ohi gara gai izango ote garen zerbait egiteko. Astean behin egiten da saioa, baina lan karga handia du. Asko irakurtzea eskatzen du. Baina ilusioa egin zidan gauza berri bat hasteak. Hedabideetan gure inguruan ez da askotan gertatzen horrelako erantzukizun bat ematea. Pozik hartu dut erronka, ilusioz. Kolaboratzaile sare sendoa duzu. Zer nabarmenduko zenuke haiengandik? Nabarmenduko nuke literaturazale amorratuak d...	Jokatu al duzu noizbait hainbeste jenderen aurrean? Ez; ederra izan zen. Gustuko dut halako giroa dagoela jokatzea, asko gozatu dut. Emakumeen zesta-punta zer indar hartzen ari den ikustea ere garrantzitsua izan da. Giroa aparta izan da. Zer esango zenieke zaleei? Eskerrak emango nizkieke. Izugarria izan da Gernikako frontoia zalez eta ikurrinez beteta ikustea. Podiumeko unea ez dut sekula ahaztuko, betiko izango dut oroimenean. Pozgarria da bizi izan duguna, eta dena horren ondo atera izana. Antolatzaileek lan bikaina egin dute, eta jendeak primeran erantzun du. Zure ustez, egun hauetan gertatutakoa urrats esanguratsua izan da etorkizunean zazpi herrialdeak ordezkatuko dituen selekzioa lortzeko? Ametsa litzateke hori. Urratsa handia izan da, eta gehiago egin behar dira aurrerantzean, pausoz pauso helburua lortzeko. Unibertsitatera sartzeko hautaproba ere egin behar izan duzu egun hauetan. Nola moldatu zara? Ondo, nahiko ondo atera zait. Goizean goiz jaiki, apunteak berriz begir...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• learning_rate: 2e-05
• warmup_ratio: 0.1
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	multilingual-e5-large_cosine_accuracy
0.1333	100	1.0156	-	-
0.2667	200	0.1413	-	-
0.4	300	0.1286	-	-
0.5333	400	0.0938	-	-
0.6667	500	0.0709	-	-
0.8	600	0.0545	-	-
0.9333	700	0.0643	-	-
1.0	750	-	0.4445	0.8395
1.0667	800	0.0394	-	-
1.2	900	0.0337	-	-
1.3333	1000	0.0194	-	-
1.4667	1100	0.0352	-	-
1.6	1200	0.036	-	-
1.7333	1300	0.0227	-	-
1.8667	1400	0.0165	-	-
2.0	1500	0.0192	0.3873	0.8547
2.1333	1600	0.0159	-	-
2.2667	1700	0.0146	-	-
2.4	1800	0.0127	-	-
2.5333	1900	0.0073	-	-
2.6667	2000	0.0081	-	-
2.8	2100	0.0119	-	-
2.9333	2200	0.0091	-	-
3.0	2250	-	0.3534	0.8650

Framework Versions

• Python: 3.10.8
• Sentence Transformers: 5.1.0
• Transformers: 4.56.0
• PyTorch: 2.8.0+cu128
• Accelerate: 1.10.1
• Datasets: 4.0.0
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}