Instructions to use cuadron11/mrbert-parl-ft with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use cuadron11/mrbert-parl-ft with sentence-transformers:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("cuadron11/mrbert-parl-ft")

sentences = [
    "Noiz egingo dio aurre Eusko Jaurlaritzak 2012ko aparteko ordainsariaren likidazioari langile publikoekin?",
    "[TOPIC: Galdera, Leire Pinedo Bustamante EH Bildu taldeko legebiltzarkideak Ogasun eta Ekonomiako sailburuari egina, BEZaren doikuntzetatik eratorritako 400 milioi euro inguruko kopuruaren erabilpenari buruz]\n[PINEDO BUSTAMANTE, (EH Bildu)]:\naparteko ordainsarian, 2012ko aparteko ordainsariaren zati horretan, eta bejondeigula, administrazio bakanetakoa baita zuena langile publikoekin likidazio hori oraindik egin gabe zuena. Izan bedi ongi etorria. Baina egia da, inbertsio horiei eta abarri ekitea aztertzen ari bazarete, ez litzatekeela txarra izango, aurrekontuetan babesa ematen dizuetenez gain, gai- nerako taldeok ere jakinaren gainean egotea. Ez baita gauza bera inbertsioei urteko azken hiruhilekoan ekitea, orduan zuk, zalantzarik gabe, 2018ko aurrekontuari (Date: 20.10.2017)",
    "[TOPIC: Legez besteko proposamen hauek batera eztabaidatu eta behin betiko ebazpena hartzea: Elkarrekin Podemos-IU talde parlamentarioak egindako legez besteko proposamena, anbulantziak publifikatzeari buruz eta Euskal Talde Popularra-Ciudadanos talde parlamentarioak egindako legez besteko proposamena, Eusko Jaurlaritzak Arabako Lurralde Historikoan anbulantzia medikalizatuen hornidura handitu beharrari buruz]\n[GARRIDO KNÖRR, (PV-ETP)]:\nbat handitzeko konpromisoaz gain, behar besteko zuhurtasuna eduki dezagula hori egitate bihurtzen dela ikusi ahal izateko. Baina, tira, espero dezagun egia izango dela… Eta, batez ere, orduan ikusiko zelako Alderdi Popularrak urte hauetan guztietan, askotan bakardadean, azken aldian talde gehiagorekin batera −baita zurearekin ere, Gasteizko Udalean aldeko botoa eman baitzuen−, eduki duen jarraitutasunak bere fruituak eman dituela. Ordezkatzen dudan taldeak Arabako erakunde guztietan −Arabako Batzar Nagusietan, Gasteizko Udalean…−, baita (Date: 15.12.2022)",
    "[TOPIC: Mozioa, Gorka Maneiro Labayen Mistoa-UPyD taldeko legebil- tzarkideak aurkeztua, forupeko egoera desagerraraztearen gainean. Eztabaida eta behin betiko ebazpena]\n[SÉMPER PASCUAL, (PV-ETP)]:\nMadrilgo Autonomia Erkidegoan ere, zeinean Alderdi Popularrak gobernatzen baitu, erreforma bat hasi dute, Madrilgo Autonomia Erkidegoan onartutakoa, besteak beste, forupeko egoera kentzeko. Eta, orobat, bide batez, gobernatzaileen agintaldia murrizteko eta mugatzeko. Izan ere, bada errealitate bat zuek, Maneiro jaunak bereziki, baina zuek ere ez duzuena identifikatu edo aitortu. Konstituzioa erreformatu beharrik izan gabe, gaur egun Espainian dauden 10.000 forupekoak, 10.000 inguru, 600 forupeko eskasera murriztu ditzakegu, (Date: 02.06.2016)"
]
embeddings = model.encode(sentences)

similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [4, 4]

Notebooks
Google Colab
Kaggle

mrbert-parl-ft / README.md

cuadron11

Add new SentenceTransformer model

b2afb9f verified 21 days ago

preview code

Raw

History Blame Contribute Delete

38.1 kB

metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - dense
  - generated_from_trainer
  - dataset_size:8703
  - loss:MultipleNegativesRankingLoss
base_model: BSC-LT/MrBERT
widget:
  - source_sentence: >-
      Noiz egingo dio aurre Eusko Jaurlaritzak 2012ko aparteko ordainsariaren
      likidazioari langile publikoekin?
    sentences:
      - >-
        [TOPIC: Galdera, Leire Pinedo Bustamante EH Bildu taldeko
        legebiltzarkideak Ogasun eta Ekonomiako sailburuari egina, BEZaren
        doikuntzetatik eratorritako 400 milioi euro inguruko kopuruaren
        erabilpenari buruz]

        [PINEDO BUSTAMANTE, (EH Bildu)]:

        aparteko ordainsarian, 2012ko aparteko ordainsariaren zati horretan, eta
        bejondeigula, administrazio bakanetakoa baita zuena langile publikoekin
        likidazio hori oraindik egin gabe zuena. Izan bedi ongi etorria. Baina
        egia da, inbertsio horiei eta abarri ekitea aztertzen ari bazarete, ez
        litzatekeela txarra izango, aurrekontuetan babesa ematen dizuetenez
        gain, gai- nerako taldeok ere jakinaren gainean egotea. Ez baita gauza
        bera inbertsioei urteko azken hiruhilekoan ekitea, orduan zuk,
        zalantzarik gabe, 2018ko aurrekontuari (Date: 20.10.2017)
      - >-
        [TOPIC: Legez besteko proposamen hauek batera eztabaidatu eta behin
        betiko ebazpena hartzea: Elkarrekin Podemos-IU talde parlamentarioak
        egindako legez besteko proposamena, anbulantziak publifikatzeari buruz
        eta Euskal Talde Popularra-Ciudadanos talde parlamentarioak egindako
        legez besteko proposamena, Eusko Jaurlaritzak Arabako Lurralde
        Historikoan anbulantzia medikalizatuen hornidura handitu beharrari
        buruz]

        [GARRIDO KNÖRR, (PV-ETP)]:

        bat handitzeko konpromisoaz gain, behar besteko zuhurtasuna eduki
        dezagula hori egitate bihurtzen dela ikusi ahal izateko. Baina, tira,
        espero dezagun egia izango dela… Eta, batez ere, orduan ikusiko zelako
        Alderdi Popularrak urte hauetan guztietan, askotan bakardadean, azken
        aldian talde gehiagorekin batera −baita zurearekin ere, Gasteizko
        Udalean aldeko botoa eman baitzuen−, eduki duen jarraitutasunak bere
        fruituak eman dituela. Ordezkatzen dudan taldeak Arabako erakunde
        guztietan −Arabako Batzar Nagusietan, Gasteizko Udalean…−, baita (Date:
        15.12.2022)
      - >-
        [TOPIC: Mozioa, Gorka Maneiro Labayen Mistoa-UPyD taldeko legebil-
        tzarkideak aurkeztua, forupeko egoera desagerraraztearen gainean.
        Eztabaida eta behin betiko ebazpena]

        [SÉMPER PASCUAL, (PV-ETP)]:

        Madrilgo Autonomia Erkidegoan ere, zeinean Alderdi Popularrak
        gobernatzen baitu, erreforma bat hasi dute, Madrilgo Autonomia
        Erkidegoan onartutakoa, besteak beste, forupeko egoera kentzeko. Eta,
        orobat, bide batez, gobernatzaileen agintaldia murrizteko eta mugatzeko.
        Izan ere, bada errealitate bat zuek, Maneiro jaunak bereziki, baina zuek
        ere ez duzuena identifikatu edo aitortu. Konstituzioa erreformatu
        beharrik izan gabe, gaur egun Espainian dauden 10.000 forupekoak, 10.000
        inguru, 600 forupeko eskasera murriztu ditzakegu, (Date: 02.06.2016)
  - source_sentence: >-
      Zergatik eman zuen Eusko Jaurlaritzak Kantauriko antxoaren elikadura
      kalitate eta segurtasunari buruzko oharra antxoaren kanpainaren
      hastapenetan?
    sentences:
      - >-
        [TOPIC: Interpelazioa, María del Carmen López de Ocariz López de Munain
        Euskal Talde Popularreko legebiltzarkideak Ekonomiaren Garapen eta
        Lehiakortasuneko sailburuari egina, Kantauriko antxoaren elikadura
        kalitate eta segurtasunaren inguruan Eusko Jaurlaritzako Osasun eta
        Arrantza sailen artean izandako deskoordinazioari buruz]

        [LÓPEZ DE OCARIZ LÓPEZ DE MUNAIN, (PV-ETP)]:

        igo izana, zergatik egin da oraintxe justu, antxoaren kanpainaren
        hastapenetan, ohar hori? Zergatik? Hori al da elikagai baten gaineko
        komunikazio-programa? Hori al da arriskua ebaluatzea? Arriskua aipatu
        da, nola eman herritarrei egoeraren berri, gertatu den hori gertatu
        gabe. Alarma: horixe da saihestu beharrekoa, sailburu andrea. Hortaz,
        nire ustez hobe zenukete erratu duzuela aitortu, denok uler dezakegu
        eta. Haatik, okerra zuzendu beharrean, oker horretan tematuta jarraitzen
        duzue, (Date: 30.05.2014)
      - >-
        [TOPIC: Mozioa, José Ramón Becerra Carollo Elkarrekin Podemos taldeko
        legebiltzarkideak aurkeztua, Urdaibaiko Biosfera Erreserbako garapen
        sozioekonomikoari buruz. Eztabaida eta behin betiko ebazpena]

        [ARRUABARRENA AZPITARTE, (EA-NV)]:

        Bermeoko portua, errepide-konexioa, eginkizun dagoen beste proiektu bat
        da hori, eta horretarako seguruenera kanpo-finantzaketa beharko da,
        dirutza ikaragarriak direlako eta zaila delako datozen lau urteetan
        egitea. Gernikako merkatua eraberritzea, baxurako flota modernizatzea.
        Neurri txiki handi asko dira, banan-banan egiten joan beharko direnak,
        lan asko eginez eta, jakina, oraindik aurkitu ez dugun formulazio bat
        aurkitzeko asmoz, etorkizunerako balioko duena, ziur gaude, Euskadi
        osorako eta beharbada munduko beste lekuetarako (Date: 06.06.2019)
      - >-
        emateko izan zuen moduak antxoaren arrantza-sektore osoan eta astebete
        lehenago, sei egun lehenago, Eusko Jaurlaritzak berak Kantauriko antxoa
        sustatzeko egin zuen kanpainan.
  - source_sentence: Zein da Euzko Alderdi Jeltzalearen estrategia kulturari dagokionez?
    sentences:
      - >-
        [TOPIC: Mozioa, Carmelo Barrio Baroja Euskal Talde Popularreko
        legebiltzarkideak aurkeztua, Kultura Auzolanean programaren egoerari
        buruz. Eztabaida eta behin betiko ebazpena]

        [URRUTIA OIANGUREN, (EA-NV)]:

        Bai, legebiltzarburu anderea, eserlekutik, zure baimenarekin. Nik
        eskertzen diot zintzotasun-aitorpena EH Bilduko ordezkariari. Egia esan,
        ni etxe honetan nagoenetik uste dut ez dudala inoiz asmorik izan inori
        ez dena esateko. Baina uste dut zure argudioan ez duzula ondo
        ezberdintzen gauza bat. Gauza bat da plan estrategikorik ez izatea eta
        beste gauza bat da estrategiarik ez izatea. Eta nik uste dut estrategia,
        baita kulturari dagokionez ere eta Euzko Alderdi Jeltzaleari (Date:
        27.06.2019)
      - >-
        [TOPIC: Mozioa, Gorka Maneiro Labayen Mistoa-UPyD taldeko
        legebiltzarkideak aurkeztua, Leioa eta Gasteizko campusetan berriki
        gertatu diren indarkeriazko liskarrei buruz. Eztabaida eta behin betiko
        ebazpena]

        [ITURRATE IBARRA, (EA-NV)]:

        –eta ez diot harrotasunez–, ez nau pozten eta ez nau berotzen ere, penaz
        diot. Hemen ez dago, esan duzun moduan, atzerapausorik; testu honetan
        ez, behintzat. Eta gaurko egunean asmoetan ezta ere, ez da egon, are
        gutxiago koldarkeriarik. Hori bai ez nuela espero, eta ez da egia. Hemen
        ez dago koldarkeriarik. Hemen dagoena da –nire lehenengo interbentzioan
        esan dut– oinarrizko printzipioak berrestea, gizarte osasuntsu bat,
        gizarte demokratiko bat, gizarte (Date: 19.05.2016)
      - >-
        Euzko Alderdi Jeltzalea, baina, beste kontu batzuei begira dago –bistan
        da–, eta bere estrategia du Donostiari dagokion guztian, Gipuzkoari
        dagokion guztian eta, batik bat, proiektu zehatz honi dagokion
  - source_sentence: >-
      Zein da Euskal Talde Parlamentario Popularraren jarrera Euskadiko Turismo
      Legeari buruz?
    sentences:
      - >-
        [TOPIC: Euskal Talde Parlamentario Popularrak egindako legez besteko
        proposamena, Euskadiko ostalaritza-sektoreari estatus berri bat eman
        beharrari buruz. Eztabaida eta behin betiko ebazpena]

        [LÓPEZ DE OCARIZ LÓPEZ DE MUNAIN, (PV-ETP)]:

        ohi dira udalak, hirigunean pil-pilean den ustea zein den jakin nahi
        dutenean? Merkataritzara eta ostalaritzara. Horregatik parte hartzen
        dute udaletako foroetan, jakina, eta harro daude hor parte hartzeaz. Eta
        Casanova jaunak esaten zigun gaurko ekimen hau... Begira, batzuetan,
        akordio txar batetik konponbide onak etortzen dira. Ez genuen Turismo
        Legean parte hartu; ez genuen babestu. Ziur guk Turismo Legerako
        proposatzen genuena ez zela ostalaritza egituraren izenean agertzea; guk
        jasota (Date: 23.02.2017)
      - >-
        Legebiltzar honetan eztabaida-aldian dagoen lege-proiektua da; baina,
        gainera, Euskal Sozialistak taldeak eta Euzko Abertzaleak taldeak
        hainbat zuzenketa proposatu ditugu lege-proiektu horretarako, eta
      - >-
        [TOPIC: Euskal Sozialistak legebiltzar-taldeak egindako
        lege-proposamena, Euskadiko udalena. Aintzat hartzeari buruzko eztabaida
        eta behin betiko ebazpena]

        [ARRONDO ALDASORO, (EH Bildu)]:

        –eta honekin bukatuko dut–, baina ez edonola. Guk ere, gaur hemen gauden
        legebiltzarkideok, diru publikoa jasotzen dugu egiten dugunagatik. Ez
        dut uste prest egongo ginatekeenik gure bizitza fiskalizarazteko, gaur
        egun pertsona batzuei fiskalizatzen zaien bezala: kontu korronteak,
        mugikorreko gastua edo elektrizitatearen gastua kontrolatzea; Lanbideri
        jakinarazi gabe errege magoaren plantak egiteagatiko galarazpenak…
        Laburbilduz, asko genuke hitz egiteko horri guztiari buruz. Agian pixka
        bat lotsatu behar genuke Euskal (Date: 31.01.2013)
  - source_sentence: Zer esan nahi du bizitzaren sostengarritasunak zaintzaren testuinguruan?
    sentences:
      - >-
        [TOPIC: Mozioa, Eukene Arana Varas Elkarrekin Podemos taldeko
        legebiltzarkideak aurkeztua, zaintza-lanei, gizarte berdintzaileagoari
        eta bizitzak erdigunean jartzeko tresnei buruz. Eztabaida eta behin
        betiko ebazpena]

        [ETXEBARRIETA LEGRAND, (EH Bildu)]:

        Eserlekutik, bakarrik kontu pare bat aipatzeko. Zaintzaz hitz egiten ari
        garenean ez gabiltzalako hitz egiten soilik dependentzia-egoeran dauden
        pertsonen zaintzaz, Garrido anderea; hitz egiten ari gara pertsona
        guztiek momenturen batean edo bizitzako edozein momentutan, hobeto
        esanda, daukagun beharraz, bizitzaren sostengarritasunak hori esan nahi
        duelako, denok bizitzako edozein momentutan zainduak izateko beharra
        daukagulako, zaintzeko beharra daukagulako, pertsonak ere badauzkagulako
        gure inguruan. Beraz, ikuspuntualdaketa batez ari gara hitz egiten,
        (Date: 07.03.2019)
      - >-
        Hau familietako zaintzaren desagerpenarekin parekatu zenuen eta,
        gainera, zuek sostengarritasunak kezkatzen zaituztela esan zenuen.
      - >-
        [TOPIC: Interpelazioa, Jon Hernández Hidalgo Elkarrekin Podemos taldeko
        legebiltzarkideak Enpleguko eta Gizarte Politiketako sailburuaru egina,
        Euskadiko pentsiodunen egoerari buruz]

        [HERNÁNDEZ HIDALGO, (EP)]:

        egingo diela, eta horixe da nire interpelazioa, eta pentsatzen dut denok
        aldeztuko dugula Jaurlaritzaren jarrera, baldin eta, jakina, aurrekontu
        horiekin salerosian aritzen ez bada eta kontu honi traizio egiten ez
        badio. Hori da gure iritzia, Artolazabal andrea; zu beharbada ez zara
        bat etorriko, baina guretzat garrantzitsua da gai hau. Aurrekontu
        horiek, beste gauza batzuen artean, honek gertatzen jarraitu dezala
        ahalbidetuko dute, eta, beraz, Jaurlaritzak kontu honetan jarrera
        aktiboa izateko asmoa duen (Date: 23.03.2018)
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
  - cosine_accuracy
model-index:
  - name: SentenceTransformer based on BSC-LT/MrBERT
    results:
      - task:
          type: triplet
          name: Triplet
        dataset:
          name: mrbert parl ft
          type: mrbert-parl-ft
        metrics:
          - type: cosine_accuracy
            value: 0.6003905534744263
            name: Cosine Accuracy

SentenceTransformer based on BSC-LT/MrBERT

This is a sentence-transformers model finetuned from BSC-LT/MrBERT. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: BSC-LT/MrBERT
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("cuadron11/mrbert-parl-ft")
# Run inference
sentences = [
    'Zer esan nahi du bizitzaren sostengarritasunak zaintzaren testuinguruan?',
    '[TOPIC: Mozioa, Eukene Arana Varas Elkarrekin Podemos taldeko legebiltzarkideak aurkeztua, zaintza-lanei, gizarte berdintzaileagoari eta bizitzak erdigunean jartzeko tresnei buruz. Eztabaida eta behin betiko ebazpena]\n[ETXEBARRIETA LEGRAND, (EH Bildu)]:\nEserlekutik, bakarrik kontu pare bat aipatzeko. Zaintzaz hitz egiten ari garenean ez gabiltzalako hitz egiten soilik dependentzia-egoeran dauden pertsonen zaintzaz, Garrido anderea; hitz egiten ari gara pertsona guztiek momenturen batean edo bizitzako edozein momentutan, hobeto esanda, daukagun beharraz, bizitzaren sostengarritasunak hori esan nahi duelako, denok bizitzako edozein momentutan zainduak izateko beharra daukagulako, zaintzeko beharra daukagulako, pertsonak ere badauzkagulako gure inguruan. Beraz, ikuspuntualdaketa batez ari gara hitz egiten, (Date: 07.03.2019)',
    'Hau familietako zaintzaren desagerpenarekin parekatu zenuen eta, gainera, zuek sostengarritasunak kezkatzen zaituztela esan zenuen.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0078, 0.8828, 0.9023],
#         [0.8828, 1.0000, 0.9336],
#         [0.9023, 0.9336, 1.0000]], dtype=torch.bfloat16)

Evaluation

Metrics

Triplet

Dataset: mrbert-parl-ft
Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.6004

Training Details

Training Dataset

Unnamed Dataset

Size: 8,703 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 8 tokens
mean: 19.94 tokens
max: 46 tokens

min: 136 tokens
mean: 184.89 tokens
max: 250 tokens

	anchor	positive
type	string	string
details	min: 8 tokens mean: 19.94 tokens max: 46 tokens	min: 136 tokens mean: 184.89 tokens max: 250 tokens

Samples:

anchor	positive
`Nork proposatu zuen mendekotasunari erantzuteko zerga berriak sortzea arbuiatzeari buruzko legez besteko proposamena?`	[TOPIC: MistoaUPyD legebiltzar-taldeak egindako legez besteko proposamena, mendekotasunari erantzuteko zerga berriak sortzea arbuiatzeari buruz. Eztabaida eta behin betiko ebazpena] [DAMBORENEA BASTERRECHEA, (PV-ETP)]: Bai, oso labur, eserlekutik. Soilik esan nahi dut Aburtok etorkizunera begira egingo zuela hausnarketa hori, baina herrialde honetan zerga-igoera bat onartu dela berriki hark aipatzen zituen gizarte-zerbitzuak bermatzeko. Eta guri berdin zaigu nola deitu: gainkarga, zerga berria… deitu nahi duzuen bezala. badakigu azkenean betikoek ordainduko dutela, herritarrek eta iruzurrik egiten ez dutenek. Eta herrialde honetako norbaitek edo herrialde honetatik kanpoko norbaitek gainkarga bat ezarri behar dela, aberatsenek (Date: 19.02.2015)
`Zein dira Eusko Jaurlaritzaren helburuak zerga-erreformaren bidez?`	[TOPIC: Galdera, Leire Pinedo Bustamante EH Bildu taldeko legebiltzarkideak lehendakariari egina, zerga-erreformari buruz] [OGASUN ETA FINANTZETAKO SAILBURUAK (GATZAGAETXEBARRIA BASTIDA), (EA-NV)]: hobetzen dugun, ekintzailetzaren programa hobetzen dugun, enpleguarena ere bai, bergizarteratzeko eta bergizarteratze horretan dauden diru-sarrera bermatzeko hobetu, familia eta lana partekatzea hobetzeko programa ere hobetu, etxebizitzako osagarrien programa ere hobetu egin dugu. Hori da erronka, alde batetik. Bigarrena, gure ongizate-estatua bermatu eta indartu. Osakidetzaren kontratu-programa, beharrezkoa dena eta asetu behar duguna gure herritarren beharrei erantzuteko, hobetu egin dugu. Gure hezkuntza publikoa eta hitzartutakoa, herri-ekimenen aldetik sortutako (Date: 14.11.2014)
`Zein da Euskadin langabeziak izan duen bilakaera azkenaldian?`	[TOPIC: Galdera, Ekain Rico Lezama Euskal Sozialistak taldeko legebiltzarkideak bigarren lehendakariorde eta Lan eta Enpleguko sailburuari egina, enplegu-datuen bilakaerari buruz] [BIGARREN LEHENDAKARIORDE ETA LAN ETA ENPLEGUKO SAILBURUAK (MENDIA CUEVA), (SV-ES)]: da euskal herritarrentzat gure 18 ordezkarietatik 17k Espainia osorako aurrekontuak ontzat eman dituztela. Eta berri bikaina da jakitea Euskadin Espainiakoekin koherenteak diren aurrekontuak izango ditugula; horiek sendotuko baitituzte, gaur ikusten ari garen bezala, arrakasta erakutsi duten politikak. Begirada luze hori erabili behar dugu, azaroa hilabete irregularra izaten baita enpleguan. Hala ere, oraingoan jaitsi egin da berriro langabezia lurralde guztietan, sektore guztietan, adin-tarte guztietan; baita gizonen artean ere, baina bereziki emakumeen (Date: 02.12.2022)

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Evaluation Dataset

Unnamed Dataset

Size: 8,706 evaluation samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative
type	string	string	string
details	min: 8 tokens mean: 20.12 tokens max: 44 tokens	min: 127 tokens mean: 184.2 tokens max: 260 tokens	min: 3 tokens mean: 90.14 tokens max: 231 tokens

Samples:

anchor	positive	negative
`Zergatik ez du Euskal Sozialistak taldeko legebiltzarkideak onartzen hezkuntzaren kalitatea hobetzeko lege organikoaren aurreproiektua?`	[TOPIC: Galdera, María Isabel Celaá Diéguez Euskal Sozialistak taldeko legebiltzarkideak Hezkuntza, Hizkuntza Politika eta Kulturako sailburuari egina, hezkuntzaren kalitatea hobetzeko lege organikoari buruz] [CELAÁ DIÉGUEZ, (SV-ES)]: eta akordio guztiak hautsi baititu, erantzun bakarra eman dakioke: atzera egitea. Gainera, prozesuaren une hau da egokiena, aurreproiektuaren fasean baikaude oraindik. Ministroen Kontseilutik ere ez da sartu. Ezta hori ere. Ez dugu nahi Wert ministroak proposatzen duena, umeak bereizi egiten baititu 14 urte dituztenean, beren abileziak garatu ahal izan baino askoz lehenago. Ez dugu nahi irakasleak kentzen aurreztea, eta, aldiz, errebalidetan gastatzea. Ez dugu nahi, inola ere, errefortzu-tratamendua (Date: 22.02.2013)	[TOPIC: Galdera, Julen Arzuaga Gumuzio EH Bildu taldeko legebiltzarkideak Segurtasuneko sailburuari egina, foam jaurtigaiek eragiten dituzten kalteei buruz] [SEGURTASUNEKO SAILBURUAK (BELTRÁN DE HEREDIA ARRONIZ), (EA-NV)]: Esan dizut, Arzuaga jauna, hasierahasieratik ari gara ikertzen egun hartan Bilbon Euskalduna Jauregiaren aurrean eman ziren gertakariak. Baina zuk, antza, dagoeneko egin duzu ikerketa guztia, azterketa zorrotz guztia, ondorioak badituzu, eta ez dizu ezertarako balio egiten ari garen lanak; lan zorrotza da, lan xehatua, inguruabarrak zeintzuk izan ziren zehazteko eta gertakariak zehazki nola izan ziren balioesteko. Zuk esaten duzu pertsona honek, neska honek, emakume gazte honek zauriak jasan (Date: 03.05.2019)
`Zein da EH Bilduren jarrera IRPH indizea erabiltzeari uztearen inguruan?`	[TOPIC: EH Bildu legebiltzar-taldeak egindako legez besteko proposamena, IRPH indizea erabiltzeari uztearen inguruan. Eztabaida eta behin betiko ebazpena] [BEITIALARRANGOITIA LIZARRALDE, (EH Bildu)]: Mila esker. Beno, PPren erantzuna espero zitekeena zen. Hala ere, nire hasierako parte hartzean esan dudana esaten ari zaio herritarrei: bakoitza defendatu dadila eta interes orokorra, hor konpon, jakitun epaileek zenbateko astindua eman dioten bai bere legeari eta baita ondoriozkoari ere. Baina uste dut denei, zuen jarrera zuritze nahi horretan, funtsezko zerbait ahaztu zaizuela, eta da epai bat dagoela eta epai horrek nulidadeaz hitz egiten duela. Ez duela hitz egiten ez (Date: 19.06.2014)	[TOPIC: Galdera, Antonio Damborenea Basterrechea Euskal Talde Popularreko legebiltzarkideak Ekonomiaren Garapen eta Azpiegituretako sailburuari egina, La Navali buruz] [DAMBORENEA BASTERRECHEA, (PV-ETP)]: ez litzateke hori izango, baizik eta ea Jaurlaritza hau prest dagoen puntapuntako sektore ekonomikoa erortzen uzteko, Euskadin teknologikoki dugunaren modukoa, hain zuzen ere, eta bitxia bada ere, ontzigintzarako oparoa den garaian. Badakit ez gaudela munduko gasolioaren arazoa konpontzeko, ezta ontzigintzarena ere oro har munduan, baina gurea bai, gure enpresetan, hemen –ez zait argi geratu, bestalde, gasolioa igotzearen alde zauden ala ez–, baina jakin nahi nuke Jaurlaritzak –inbertitzaile baten (Date: 05.10.2018)
`Zein da euskal gizartearen iritzia euskal erakundeen inguruan, kontratazio publikoei eta esleipen zuzenei dagokienez?`	[TOPIC: Galdera, Josu Estarrona Elizondo EH Bildu taldeko legebiltzarkideak lehendakariari egina, kontratazio publikoetan, esleipen zuzenetan, enpresa eta ente publikoetako lanpostuetarako hautaketaprozesuetan… alderdi jakin baten parte edo gertukoa izateagatik abantaila izatearen inguruan] [JAURLARITZAKO LEHENDAKARIAK (URKULLU RENTERIA), (EA-NV)]: Legebiltzarburu andrea, legebiltzarkideok, sailburuok, jaun-andreok, egun on guztioi. Estarrona jauna, nik ez dakit, zuk diozun bezala, iritzi hori hain zabalduta edo txertatuta dagoen euskal gizartean. Zure iritzia izango da, eta zuk jakingo duzu zergatik diozun. Baina, ez dut uste baieztapen hori frogatu daitekeenik. Berez, alderantziz gertatzen ari da, eta hori erakusten dute euskal gizartearen iritzia ezagutzeko egiten diren ikerketa guztiek. Alde batetik, urtez urte, euskal erakundeen balorazioa, (Date: 07.02.2020)	`Funtsezkoa, berriro diot, gure asmo eta intentzioei dagokienez, eta, Ganbera honen gomendioei jarraiki, aurrera egiten jarraitzeko eta euskal herritarrek duten kalitateko sistema publikoa babesteko egin`

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim",
    "gather_across_devices": false,
    "directions": [
        "query_to_doc"
    ],
    "partition_mode": "joint",
    "hardness_mode": null,
    "hardness_strength": 0.0
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 64
learning_rate: 2e-05
warmup_steps: 0.1
eval_strategy: epoch
per_device_eval_batch_size: 64
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

per_device_train_batch_size: 64
num_train_epochs: 3
max_steps: -1
learning_rate: 2e-05
lr_scheduler_type: linear
lr_scheduler_kwargs: None
warmup_steps: 0.1
optim: adamw_torch_fused
optim_args: None
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
optim_target_modules: None
gradient_accumulation_steps: 1
average_tokens_across_devices: True
max_grad_norm: 1.0
label_smoothing_factor: 0.0
bf16: False
fp16: False
bf16_full_eval: False
fp16_full_eval: False
tf32: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
use_liger_kernel: False
liger_kernel_config: None
use_cache: False
neftune_noise_alpha: None
torch_empty_cache_steps: None
auto_find_batch_size: False
log_on_each_node: True
logging_nan_inf_filter: True
include_num_input_tokens_seen: no
log_level: passive
log_level_replica: warning
disable_tqdm: False
project: huggingface
trackio_space_id: trackio
eval_strategy: epoch
per_device_eval_batch_size: 64
prediction_loss_only: True
eval_on_start: False
eval_do_concat_batches: True
eval_use_gather_object: False
eval_accumulation_steps: None
include_for_metrics: []
batch_eval_metrics: False
save_only_model: False
save_on_each_node: False
enable_jit_checkpoint: False
push_to_hub: False
hub_private_repo: None
hub_model_id: None
hub_strategy: every_save
hub_always_push: False
hub_revision: None
load_best_model_at_end: False
ignore_data_skip: False
restore_callback_states_from_checkpoint: False
full_determinism: False
seed: 42
data_seed: None
use_cpu: False
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_pin_memory: True
dataloader_persistent_workers: False
dataloader_prefetch_factor: None
remove_unused_columns: True
label_names: None
train_sampling_strategy: random
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
ddp_backend: None
ddp_timeout: 1800
fsdp: []
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
deepspeed: None
debug: []
skip_memory_metrics: True
do_predict: False
resume_from_checkpoint: None
warmup_ratio: None
local_rank: -1
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Validation Loss	mrbert-parl-ft_cosine_accuracy
1.0	136	4.6988	0.5660
2.0	272	4.6214	0.5937
3.0	408	4.6046	0.6004

Framework Versions

Python: 3.11.8
Sentence Transformers: 5.3.0
Transformers: 5.2.0
PyTorch: 2.11.0+cu130
Accelerate: 1.13.0
Datasets: 4.8.4
Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}