Ihor commited on
Commit
680cd55
·
verified ·
1 Parent(s): dfc32ed

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +593 -0
README.md ADDED
@@ -0,0 +1,593 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ language:
4
+ - multilingual
5
+ - da
6
+ - sv
7
+ - 'no'
8
+ - cs
9
+ - pl
10
+ - lt
11
+ - et
12
+ - lv
13
+ - es
14
+ - fi
15
+ - en
16
+ - de
17
+ - fr
18
+ - ro
19
+ - it
20
+ - pt
21
+ - nl
22
+ - ar
23
+ - zh
24
+ - hi
25
+ - uk
26
+ - sl
27
+ library_name: gliner
28
+ datasets:
29
+ - knowledgator/gliner-multilingual-synthetic
30
+ - lang-uk/UberText-NER-Silver
31
+ pipeline_tag: token-classification
32
+ tags:
33
+ - NER
34
+ - GLiNER
35
+ - information extraction
36
+ - encoder
37
+ - entity recognition
38
+ - multilingual
39
+ ---
40
+
41
+ ![alt text](image.png)
42
+
43
+ **GLiNER** is a Named Entity Recognition (NER) model capable of identifying any entity type using a bidirectional transformer encoders (BERT-like). It provides a practical alternative to traditional NER models, which are limited to predefined entities, and Large Language Models (LLMs) that, despite their flexibility, are costly and large for resource-constrained scenarios.
44
+
45
+ The initial GLiNER models were trained mainly on English data. Available multilingual models relied on existing multilingual NER datasets, but we prepared synthetical dataset [knowledgator/gliner-multilingual-synthetic](https://huggingface.co/datasets/knowledgator/gliner-multilingual-synthetic) using LLM to annotate [Fineweb-2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) multilingual dataset. To enable broader language coverage, we replaced the `DeBERTa` backbone used in monolingual GLiNER models with `MT5` encoders, improving performance and adaptability across diverse languages.
46
+
47
+ Key Advantages Over Previous GLiNER Models:
48
+ * Enhanced performance and generalization capabilities
49
+ * Supports , `Swedish`, `Norwegian`, `Czech`, `Polish`, `Lithuanian`, `Estonian`, `Latvian`, `Spanish`, `Finnish`, `English`, `German`, `French`, `Romanian`, `Italian`, `Portuguese`, `Dutch`, `Ukrainian`, `Hindi`, `Chinese`, `Arabic` languages.
50
+ * 3 model size available.
51
+
52
+ ### Installation & Usage
53
+ Install or update the gliner package with all tokenizers that might be needed to process different languages:
54
+ ```bash
55
+ pip install gliner[tokenizers] -U
56
+ ```
57
+ Once you've downloaded the GLiNER library, you can import the GLiNER class. You can then load this model using `GLiNER.from_pretrained` and predict entities with `predict_entities`.
58
+
59
+ ```python
60
+ from gliner import GLiNER
61
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
62
+ text = """
63
+ Cristiano Ronaldo dos Santos Aveiro (Portuguese pronunciation: [kɾiʃˈtjɐnu ʁɔˈnaldu]; born 5 February 1985) is a Portuguese professional footballer who plays as a forward for and captains both Saudi Pro League club Al Nassr and the Portugal national team. Widely regarded as one of the greatest players of all time, Ronaldo has won five Ballon d'Or awards,[note 3] a record three UEFA Men's Player of the Year Awards, and four European Golden Shoes, the most by a European player. He has won 33 trophies in his career, including seven league titles, five UEFA Champions Leagues, the UEFA European Championship and the UEFA Nations League. Ronaldo holds the records for most appearances (183), goals (140) and assists (42) in the Champions League, goals in the European Championship (14), international goals (128) and international appearances (205). He is one of the few players to have made over 1,200 professional career appearances, the most by an outfield player, and has scored over 850 official senior career goals for club and country, making him the top goalscorer of all time.
64
+ """
65
+ labels = ["person", "award", "date", "competitions", "teams"]
66
+ entities = model.predict_entities(text, labels, threshold=0.5)
67
+ for entity in entities:
68
+ print(entity["text"], "=>", entity["label"])
69
+ ```
70
+
71
+ ```
72
+ Cristiano Ronaldo dos Santos Aveiro => persona
73
+ 5 de febrero de 1985 => fecha
74
+ Al Nassr de la Liga Profesional Saudí => equipos
75
+ selección nacional de Portugal => equipos
76
+ Balón de Oro => premio
77
+ Jugador del Año de la UEFA => premio
78
+ Botas de Oro europeas => premio
79
+ 33 trofeos => premio
80
+ Ligas de Campeones de la UEFA => competiciones
81
+ Eurocopa => competiciones
82
+ Liga de Naciones de la UEFA => competiciones
83
+ Liga de Campeones => competiciones
84
+ ```
85
+
86
+ <details>
87
+ <summary>Spanish</summary>
88
+
89
+ ```python
90
+ from gliner import GLiNER
91
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
92
+ text = """
93
+ Cristiano Ronaldo dos Santos Aveiro (pronunciación en portugués: [kɾiʃˈtjɐnu ʁɔˈnaldu]; nacido el 5 de febrero de 1985) es un futbolista profesional portugués que juega como delantero y es capitán tanto del club Al Nassr de la Liga Profesional Saudí como de la selección nacional de Portugal. Ampliamente considerado como uno de los mejores jugadores de todos los tiempos, Ronaldo ha ganado cinco premios Balón de Oro, un récord de tres premios al Jugador del Año de la UEFA y cuatro Botas de Oro europeas, la mayor cantidad para un jugador europeo. Ha ganado 33 trofeos en su carrera, incluidos siete títulos de liga, cinco Ligas de Campeones de la UEFA, la Eurocopa y la Liga de Naciones de la UEFA. Ronaldo posee los récords de más apariciones (183), goles (140) y asistencias (42) en la Liga de Campeones, goles en la Eurocopa (14), goles internacionales (128) y apariciones internacionales (205). Es uno de los pocos jugadores que ha disputado más de 1.200 partidos profesionales en su carrera, la mayor cantidad para un jugador de campo, y ha marcado más de 850 goles oficiales en su carrera senior con clubes y selecciones, lo que lo convierte en el máximo goleador de todos los tiempos.
94
+ """
95
+ labels = ["persona", "premio", "fecha", "competiciones", "equipos"]
96
+ entities = model.predict_entities(text, labels, threshold=0.5)
97
+ for entity in entities:
98
+ print(entity["text"], "=>", entity["label"])
99
+ ```
100
+
101
+ ```
102
+ Cristiano Ronaldo dos Santos Aveiro => persona
103
+ 5 de febrero de 1985 => fecha
104
+ Al Nassr de la Liga Profesional Saudí => equipos
105
+ selección nacional de Portugal => equipos
106
+ Balón de Oro => premio
107
+ Jugador del Año de la UEFA => premio
108
+ Botas de Oro europeas => premio
109
+ 33 trofeos => premio
110
+ Ligas de Campeones de la UEFA => competiciones
111
+ Eurocopa => competiciones
112
+ Liga de Naciones de la UEFA => competiciones
113
+ Liga de Campeones => competiciones
114
+ ```
115
+ </details>
116
+
117
+ <details>
118
+ <summary>Danish</summary>
119
+
120
+ ```python
121
+ from gliner import GLiNER
122
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
123
+ text = """
124
+ Cristiano Ronaldo dos Santos Aveiro (portugisisk udtale: [kɾiʃˈtjɐnu ʁɔˈnaldu]; født 5. februar 1985) er en portugisisk professionel fodboldspiller, der spiller som angriber for og er anfører for både den saudiske Pro League-klub Al Nassr og det portugisiske landshold. Bredt anerkendt som en af de største spillere gennem tiderne har Ronaldo vundet fem Ballon d'Or-priser, en rekord på tre UEFA Men's Player of the Year-priser og fire europæiske Guldstøvler – flest af en europæisk spiller. Han har vundet 33 trofæer i sin karriere, herunder syv ligatitler, fem UEFA Champions League-titler, EM og UEFA Nations League. Ronaldo har rekorderne for flest optrædener (183), mål (140) og assists (42) i Champions League, mål ved EM (14), internationale mål (128) og internationale optrædener (205). Han er en af de få spillere, der har spillet over 1.200 professionelle kampe – flest af en markspiller – og har scoret over 850 officielle mål i sin seniorkarriere for klub og land, hvilket gør ham til historiens mest scorende spiller.
125
+ """
126
+ labels = ["person", "pris", "dato", "turneringer", "hold"]
127
+ entities = model.predict_entities(text, labels, threshold=0.5)
128
+ for entity in entities:
129
+ print(entity["text"], "=>", entity["label"])
130
+ ```
131
+
132
+ ```
133
+ Cristiano Ronaldo dos Santos Aveiro => person
134
+ 5. februar 1985 => dato
135
+ Pro League-klub => hold
136
+ Al Nassr => hold
137
+ portugisiske landshold => hold
138
+ Ballon d'Or-priser => pris
139
+ UEFA Men's Player of the Year-priser => turneringer
140
+ Guldstøvler => pris
141
+ UEFA Champions League-titler => turneringer
142
+ EM => turneringer
143
+ UEFA Nations League => turneringer
144
+ Champions League => turneringer
145
+ EM => turneringer
146
+ ```
147
+ </details>
148
+
149
+ <details>
150
+ <summary>Swedish</summary>
151
+
152
+ ```python
153
+ from gliner import GLiNER
154
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
155
+ text = """
156
+ Cristiano Ronaldo dos Santos Aveiro (portugisisk uttal: [kɾiʃˈtjɐnu ʁɔˈnaldu]; född 5 februari 1985) är en portugisisk professionell fotbollsspelare som spelar som anfallare för och är kapten för både Saudi Pro League-klubben Al Nassr och Portugals landslag. Allmänt ansedd som en av de största spelarna genom tiderna har Ronaldo vunnit fem Ballon d'Or-utmärkelser, ett rekord på tre UEFA:s Årets spelare och fyra europeiska Gyllene skor – flest av en europeisk spelare. Han har vunnit 33 troféer under sin karriär, inklusive sju ligatitlar, fem UEFA Champions League-titlar, UEFA:s europamästerskap och UEFA Nations League. Ronaldo innehar rekorden för flest framträdanden (183), mål (140) och assist (42) i Champions League, mål i EM (14), landslagsmål (128) och landslagsframträdanden (205). Han är en av få spelare som spelat över 1 200 professionella matcher, flest av en utespelare, och har gjort över 850 officiella seniormål för klubb och landslag, vilket gör honom till den främsta målskytten genom tiderna.
157
+ """
158
+ labels = ["person", "utmärkelse", "datum", "tävlingar", "lag"]
159
+ entities = model.predict_entities(text, labels, threshold=0.5)
160
+ for entity in entities:
161
+ print(entity["text"], "=>", entity["label"])
162
+ ```
163
+
164
+ ```
165
+ Cristiano Ronaldo dos Santos Aveiro => person
166
+ 5 februari 1985 => datum
167
+ Saudi Pro League-klubben => lag
168
+ Al Nassr => lag
169
+ Portugals landslag => lag
170
+ Ballon d'Or-utmärkelser => utmärkelse
171
+ Årets spelare => utmärkelse
172
+ Gyllene skor => utmärkelse
173
+ 33 troféer => utmärkelse
174
+ sju ligatitlar => utmärkelse
175
+ UEFA Champions League-titlar => tävlingar
176
+ UEFA:s europamästerskap => tävlingar
177
+ UEFA Nations League => tävlingar
178
+ Champions League => tävlingar
179
+ EM => tävlingar
180
+ ```
181
+ </details>
182
+
183
+ <details>
184
+ <summary>Norwegian</summary>
185
+
186
+ ```python
187
+ from gliner import GLiNER
188
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
189
+ text = """
190
+ Cristiano Ronaldo dos Santos Aveiro (portugisisk uttale: [kɾiʃˈtjɐnu ʁɔˈnaldu]; født 5. februar 1985) er en portugisisk profesjonell fotballspiller som spiller som spiss og er kaptein både for den saudiarabiske klubben Al Nassr og det portugisiske landslaget. Bredt ansett som en av tidenes beste spillere, har Ronaldo vunnet fem Ballon d'Or-priser, en rekord på tre UEFA Årets Spiller-priser, og fire europeiske Gullstøvler – flest av alle europeiske spillere. Han har vunnet 33 troféer i løpet av karrieren, inkludert syv ligatitler, fem UEFA Champions League-titler, EM og UEFA Nations League. Ronaldo innehar rekordene for flest opptredener (183), mål (140) og målgivende pasninger (42) i Champions League, mål i EM (14), landslagsmål (128) og landskamper (205). Han er en av få spillere med over 1200 profesjonelle kamper, flest for en utespiller, og har scoret over 850 mål i offisielle seniorkamper for klubb og landslag, noe som gjør ham til tidenes toppscorer.
191
+ """
192
+ labels = ["person", "pris", "dato", "konkurranser", "lag"]
193
+ entities = model.predict_entities(text, labels, threshold=0.5)
194
+ for entity in entities:
195
+ print(entity["text"], "=>", entity["label"])
196
+ ```
197
+
198
+ ```
199
+ Cristiano Ronaldo dos Santos Aveiro => person
200
+ 5. februar 1985 => dato
201
+ Al Nassr => lag
202
+ portugisiske landslaget => lag
203
+ Ballon d'Or-priser => pris
204
+ UEFA Årets Spiller-priser => konkurranser
205
+ Gullstøvler => konkurranser
206
+ 33 troféer => pris
207
+ syv ligatitler => pris
208
+ UEFA Champions League-titler => konkurranser
209
+ EM => konkurranser
210
+ UEFA Nations League => konkurranser
211
+ Champions League => konkurranser
212
+ EM => konkurranser
213
+ ```
214
+ </details>
215
+
216
+ <details>
217
+ <summary>Czech</summary>
218
+
219
+ ```python
220
+ from gliner import GLiNER
221
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
222
+ text = """
223
+ Cristiano Ronaldo dos Santos Aveiro (portugalská výslovnost: [kɾiʃˈtjɐnu ʁɔˈnaldu]; narozen 5. února 1985) je portugalský profesionální fotbalista, který hraje jako útočník a je kapitánem jak klubu Al Nassr v Saúdské profesionální lize, tak portugalského národního týmu. Široce považován za jednoho z nejlepších hráčů všech dob, Ronaldo získal pět ocenění Ballon d'Or, rekordní tři ocenění UEFA Hráč roku a čtyři Zlaté kopačky, což je nejvíce ze všech evropských hráčů. Ve své kariéře vyhrál 33 trofejí, včetně sedmi ligových titulů, pěti Lig mistrů UEFA, Mistrovství Evropy UEFA a Ligy národů UEFA. Ronaldo drží rekordy v počtu startů (183), gólů (140) a asistencí (42) v Lize mistrů, gólů na mistrovství Evropy (14), mezinárodních gólů (128) a mezinárodních startů (205). Je jedním z mála hráčů, kteří odehráli více než 1 200 profesionálních zápasů, což je nejvíce mezi hráči v poli, a vstřelil přes 850 oficiálních gólů na klubové a reprezentační úrovni, čímž se stal nejlepším střelcem všech dob.
224
+ """
225
+ labels = ["osoba", "ocenění", "datum", "soutěže", "týmy"]
226
+ entities = model.predict_entities(text, labels, threshold=0.5)
227
+ for entity in entities:
228
+ print(entity["text"], "=>", entity["label"])
229
+ ```
230
+
231
+ ```
232
+ Cristiano Ronaldo dos Santos Aveiro => osoba
233
+ 5. února 1985 => datum
234
+ Al Nassr => týmy
235
+ Saúdské profesionální lize => týmy
236
+ Ballon d'Or => ocenění
237
+ rekordní tři ocenění UEFA Hráč roku => ocenění
238
+ Zlaté kopačky => ocenění
239
+ 33 trofejí => ocenění
240
+ sedmi ligových titulů => ocenění
241
+ Lig mistrů UEFA => soutěže
242
+ Mistrovství Evropy UEFA => soutěže
243
+ Ligy národů UEFA => soutěže
244
+ Lize mistrů => soutěže
245
+ mistrovství Evropy => soutěže
246
+ ```
247
+ </details>
248
+
249
+ <details>
250
+ <summary>Polish</summary>
251
+
252
+ ```python
253
+ from gliner import GLiNER
254
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
255
+ text = """
256
+ Cristiano Ronaldo dos Santos Aveiro (wymowa portugalska: [kɾiʃˈtjɐnu ʁɔˈnaldu]; ur. 5 lutego 1985) to portugalski piłkarz grający na pozycji napastnika, kapitan klubu Al Nassr z saudyjskiej ligi oraz reprezentacji Portugalii. Uważany za jednego z najwybitniejszych zawodników w historii, Ronaldo zdobył pięć Złotych Piłek, rekordowe trzy nagrody UEFA dla najlepszego piłkarza roku oraz cztery Złote Buty, najwięcej wśród europejskich zawodników. W swojej karierze zdobył 33 trofea, w tym siedem tytułów mistrza ligi, pięć Lig Mistrzów UEFA, mistrzostwo Europy i Ligę Narodów UEFA. Ronaldo posiada rekordy w liczbie występów (183), goli (140) i asyst (42) w Lidze Mistrzów, bramek na Mistrzostwach Europy (14), goli międzynarodowych (128) oraz meczów międzynarodowych (205). Jest jednym z nielicznych piłkarzy z ponad 1200 oficjalnymi występami w karierze — najwięcej spośród graczy z pola — oraz zdobywcą ponad 850 goli dla klubów i reprezentacji, co czyni go najlepszym strzelcem wszech czasów.
257
+ """
258
+ labels = ["osoba", "nagroda", "data", "rozgrywki", "drużyny"]
259
+ entities = model.predict_entities(text, labels, threshold=0.5)
260
+ for entity in entities:
261
+ print(entity["text"], "=>", entity["label"])
262
+ ```
263
+
264
+ ```
265
+ Cristiano Ronaldo dos Santos Aveiro => osoba
266
+ 5 lutego 1985 => data
267
+ Al Nassr => drużyny
268
+ reprezentacji Portugalii => drużyny
269
+ Złotych Piłek => nagroda
270
+ Złote Buty => nagroda
271
+ Lig Mistrzów UEFA => rozgrywki
272
+ mistrzostwo Europy => rozgrywki
273
+ Ligę Narodów UEFA => rozgrywki
274
+ Mistrzostwach Europy => rozgrywki
275
+ ```
276
+ </details>
277
+
278
+ <details>
279
+ <summary>Lithuanian</summary>
280
+
281
+ ```python
282
+ from gliner import GLiNER
283
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
284
+ text = """
285
+ Cristiano Ronaldo dos Santos Aveiro (portugališka tarimo forma: [kɾiʃˈtjɐnu ʁɔˈnaldu]; gimė 1985 m. vasario 5 d.) yra portugalų profesionalus futbolininkas, žaidžiantis puolėjo pozicijoje ir esantis tiek Saudo Arabijos „Pro League“ klubo „Al Nassr“, tiek Portugalijos nacionalinės rinktinės kapitonas. Plačiai laikomas vienu geriausių visų laikų žaidėjų, Ronaldo yra laimėjęs penkis „Ballon d'Or“ apdovanojimus, rekordiškai tris UEFA metų žaidėjo apdovanojimus ir keturis Europos „Auksinius batelius“ – daugiausiai tarp Europos žaidėjų. Savo karjeroje jis laimėjo 33 trofėjus, įskaitant septynis lygos titulus, penkis UEFA Čempionų lygos titulus, UEFA Europos čempionatą ir UEFA Tautų lygą. Ronaldo priklauso rekordai pagal daugiausiai pasirodymų (183), įvarčių (140) ir rezultatyvių perdavimų (42) Čempionų lygoje, įvarčių Europos čempionate (14), tarptautinių įvarčių (128) ir tarptautinių pasirodymų (205). Jis yra vienas iš nedaugelio žaidėjų, sužaidusių daugiau nei 1200 profesionalių rungtynių – daugiausiai tarp aikštės žaidėjų – ir pelnęs daugiau nei 850 oficialių įvarčių klubų ir rinktinės lygiu, tapdamas rezultatyviausiu visų laikų žaidėju.
286
+ """
287
+ labels = ["asmuo", "apdovanojimas", "data", "varžybos", "komandos"]
288
+ entities = model.predict_entities(text, labels, threshold=0.5)
289
+ for entity in entities:
290
+ print(entity["text"], "=>", entity["label"])
291
+ ```
292
+
293
+ ```
294
+ Cristiano Ronaldo dos Santos Aveiro => asmuo
295
+ 1985 m. vasario 5 d. => data
296
+ Al Nassr => komandos
297
+ Ballon d'Or => apdovanojimas
298
+ UEFA metų žaidėjo apdovanojimus => apdovanojimas
299
+ Europos „Auksinius batelius => apdovanojimas
300
+ UEFA Čempionų lygos => varžybos
301
+ UEFA Europos čempionatą => varžybos
302
+ UEFA Tautų lygą => varžybos
303
+ ```
304
+ </details>
305
+
306
+ <details>
307
+ <summary>Estonian</summary>
308
+
309
+ ```python
310
+ from gliner import GLiNER
311
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
312
+ text = """
313
+ Cristiano Ronaldo dos Santos Aveiro (portugali hääldus: [kɾiʃˈtjɐnu ʁɔˈnaldu]; sündinud 5. veebruaril 1985) on Portugali elukutseline jalgpallur, kes mängib ründajana ja on kapteniks nii Saudi Araabia Pro League'i klubis Al Nassr kui ka Portugali rahvuskoondises. Teda peetakse laialdaselt üheks aegade parimaks mängijaks. Ronaldo on võitnud viis Ballon d'Or auhinda, kolm UEFA Aasta Meesmängija auhinda ning neli Euroopa Kuldset Saapa auhinda – enim Euroopa mängijate seas. Ta on oma karjääri jooksul võitnud 33 trofeed, sealhulgas seitse liigatiitlit, viis UEFA Meistrite Liigat, UEFA Euroopa meistrivõistlused ja UEFA Rahvuste Liiga. Ronaldol on Meistrite Liigas enim mänge (183), väravaid (140) ja resultatiivseid sööte (42), Euroopa meistrivõistlustel enim väravaid (14), rahvusvahelisi väravaid (128) ja rahvusvahelisi mänge (205). Ta on üks vähestest mängijatest, kes on pidanud üle 1200 ametliku mängu ning löönud üle 850 värava klubide ja koondise eest, olles kõigi aegade parim väravakütt.
314
+ """
315
+ labels = ["isik", "auhind", "kuupäev", "võistlused", "meeskonnad"]
316
+ entities = model.predict_entities(text, labels, threshold=0.5)
317
+ for entity in entities:
318
+ print(entity["text"], "=>", entity["label"])
319
+ ```
320
+
321
+ ```
322
+ Cristiano Ronaldo dos Santos Aveiro => isik
323
+ 5. veebruaril 1985 => kuupäev
324
+ Al Nassr => meeskonnad
325
+ Portugali rahvuskoondises => meeskonnad
326
+ Ballon d'Or auhinda => auhind
327
+ UEFA Aasta Meesmängija auhinda => auhind
328
+ Euroopa Kuldset Saapa auhinda => auhind
329
+ UEFA Meistrite Liigat => võistlused
330
+ UEFA Euroopa meistrivõistlused => võistlused
331
+ UEFA Rahvuste Liiga => võistlused
332
+ ```
333
+ </details>
334
+
335
+ <details>
336
+ <summary>Latvian</summary>
337
+
338
+ ```python
339
+ from gliner import GLiNER
340
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
341
+ text = """
342
+ Kristiānu Ronaldu dušu Santušu Aveiru (portugāļu izruna: [kɾiʃˈtjɐnu ʁɔˈnaldu]; dzimis 1985. gada 5. februārī) ir portugāļu profesionāls futbolists, kurš spēlē kā uzbrucējs un ir kapteinis gan Saūda Arābijas Pro līgas klubā "Al Nassr", gan Portugāles izlasē. Plaši tiek uzskatīts par vienu no visu laiku izcilākajiem spēlētājiem. Ronaldu ir ieguvis piecas Ballon d'Or balvas, rekorda trīs UEFA Gada spēlētāja balvas un četras Eiropas Zelta bučus – visvairāk starp Eiropas spēlētājiem. Viņš savas karjeras laikā ir izcīnījis 33 trofejas, tostarp septiņus līgas titulus, piecas UEFA Čempionu līgas, UEFA Eiropas čempionātu un UEFA Nāciju līgu. Ronaldu pieder rekordi pēc dalību skaita (183), vārtu guvumiem (140) un piespēlēm (42) Čempionu līgā, vārtiem Eiropas čempionātā (14), vārtiem starptautiskā līmenī (128) un spēļu skaita izlasē (205). Viņš ir viens no nedaudzajiem spēlētājiem ar vairāk nekā 1200 profesionālām spēlēm, visvairāk starp laukuma spēlētājiem, un ir guvis vairāk nekā 850 oficiālus vārtus klubos un izlasē, padarot viņu par visu laiku rezultatīvāko spēlētāju.
343
+ """
344
+ labels = ["persona", "balva", "datums", "sacensības", "komandas"]
345
+ entities = model.predict_entities(text, labels, threshold=0.5)
346
+ for entity in entities:
347
+ print(entity["text"], "=>", entity["label"])
348
+ ```
349
+
350
+ ```
351
+ Kristiānu Ronaldu => persona
352
+ Santušu Aveiru => persona
353
+ 1985. gada 5. februārī => datums
354
+ Al Nassr => komandas
355
+ Portugāles izlasē => komandas
356
+ Ballon d'Or balvas => balva
357
+ UEFA Gada spēlētāja balvas => balva
358
+ Eiropas Zelta bučus => balva
359
+ UEFA Čempionu līgas => sacensības
360
+ UEFA Eiropas čempionātu => sacensības
361
+ UEFA Nāciju līgu => sacensības
362
+ ```
363
+ </details>
364
+
365
+ <details>
366
+ <summary>Finnish</summary>
367
+
368
+ ```python
369
+ from gliner import GLiNER
370
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
371
+ text = """
372
+ Cristiano Ronaldo dos Santos Aveiro (lausutaan portugaliksi: [kɾiʃˈtjɐnu ʁɔˈnaldu]; syntynyt 5. helmikuuta 1985) on portugalilainen ammattilaisjalkapalloilija, joka pelaa hyökkääjänä ja toimii kapteenina sekä Saudi Pro League -seura Al Nassrissa että Portugalin maajoukkueessa. Häntä pidetään laajalti yhtenä kaikkien aikojen parhaista pelaajista. Ronaldo on voittanut viisi Ballon d'Or -palkintoa, ennätykselliset kolme UEFA:n Vuoden Pelaaja -palkintoa ja neljä Euroopan Kultakenkää – eniten eurooppalaispelaajista. Hän on urallaan voittanut 33 pokaalia, mukaan lukien seitsemän sarjamestaruutta, viisi UEFA Mestarien liigaa, UEFA:n Euroopan-mestaruuden ja UEFA Nations Leaguen. Ronaldo pitää hallussaan ennätyksiä Mestarien liigassa pelien (183), maalien (140) ja syöttöjen (42) määrässä, EM-kisojen maaleissa (14), maaottelumaaleissa (128) ja maaotteluiden määrässä (205). Hän on yksi harvoista pelaajista, joka on pelannut yli 1 200 ammattilaisottelua – eniten kenttäpelaajista – ja tehnyt yli 850 virallista maalia seurassa ja maajoukkueessa, mikä tekee hänestä kaikkien aikojen maalikuninkaan.
373
+ """
374
+ labels = ["henkilö", "palkinto", "päivämäärä", "kilpailut", "joukkueet"]
375
+ entities = model.predict_entities(text, labels, threshold=0.5)
376
+ for entity in entities:
377
+ print(entity["text"], "=>", entity["label"])
378
+ ```
379
+
380
+ ```
381
+ Cristiano Ronaldo dos Santos Aveiro => henkilö
382
+ 5. helmikuuta 1985 => päivämäärä
383
+ Saudi Pro League => joukkueet
384
+ Al Nassrissa => joukkueet
385
+ Portugalin maajoukkueessa => joukkueet
386
+ Ballon d'Or -palkintoa => palkinto
387
+ UEFA:n Vuoden Pelaaja -palkintoa => palkinto
388
+ Euroopan Kultakenkää => palkinto
389
+ UEFA Mestarien liigaa => kilpailut
390
+ UEFA:n Euroopan-mestaruuden => kilpailut
391
+ UEFA Nations Leaguen => kilpailut
392
+ EM-kisojen => kilpailut
393
+ ```
394
+ </details>
395
+
396
+ <details>
397
+ <summary>German</summary>
398
+
399
+ ```python
400
+ from gliner import GLiNER
401
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
402
+ text = """
403
+ Cristiano Ronaldo dos Santos Aveiro (portugiesische Aussprache: [kɾiʃˈtjɐnu ʁɔˈnaldu]; geboren am 5. Februar 1985) ist ein portugiesischer Profifußballer, der als Stürmer spielt und sowohl für den Verein Al Nassr in der Saudi Pro League als auch für die portugiesische Nationalmannschaft Kapitän ist. Allgemein gilt er als einer der größten Spieler aller Zeiten. Ronaldo hat fünf Ballon-d'Or-Auszeichnungen, einen Rekord von drei UEFA-Auszeichnungen als Spieler des Jahres und vier europäische Goldene Schuhe gewonnen – die meisten für einen europäischen Spieler. In seiner Karriere hat er 33 Trophäen gewonnen, darunter sieben Ligatitel, fünf UEFA-Champions-League-Titel, die UEFA-Europameisterschaft und die UEFA Nations League. Ronaldo hält die Rekorde für die meisten Einsätze (183), Tore (140) und Assists (42) in der Champions League, Tore bei Europameisterschaften (14), Länderspieltore (128) und Länderspieleinsätze (205). Er ist einer der wenigen Spieler, die über 1.200 Einsätze in ihrer Profikarriere absolviert haben – die meisten eines Feldspielers – und hat über 850 offizielle Tore für Verein und Land erzielt, womit er der erfolgreichste Torschütze aller Zeiten ist.
404
+ """
405
+ labels = ["person", "auszeichnung", "datum", "wettbewerbe", "teams"]
406
+ entities = model.predict_entities(text, labels, threshold=0.5)
407
+ for entity in entities:
408
+ print(entity["text"], "=>", entity["label"])
409
+ ```
410
+
411
+ ```
412
+ Cristiano Ronaldo dos Santos Aveiro => person
413
+ 5. Februar 1985 => datum
414
+ Al Nassr => teams
415
+ Saudi Pro League => wettbewerbe
416
+ portugiesische Nationalmannschaft => teams
417
+ Ballon-d'Or-Auszeichnungen => auszeichnung
418
+ UEFA-Auszeichnungen => auszeichnung
419
+ Spieler des Jahres => auszeichnung
420
+ europäische Goldene Schuhe => auszeichnung
421
+ UEFA-Champions-League-Titel => wettbewerbe
422
+ UEFA-Europameisterschaft => wettbewerbe
423
+ UEFA Nations League => wettbewerbe
424
+ ```
425
+ </details>
426
+
427
+ <details>
428
+ <summary>French</summary>
429
+
430
+ ```python
431
+ from gliner import GLiNER
432
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
433
+ text = """
434
+ Cristiano Ronaldo dos Santos Aveiro (prononciation portugaise : [kɾiʃˈtjɐnu ʁɔˈnaldu] ; né le 5 février 1985) est un footballeur professionnel portugais qui joue comme attaquant et est capitaine à la fois du club d'Al Nassr en Saudi Pro League et de l'équipe nationale du Portugal. Largement considéré comme l’un des plus grands joueurs de tous les temps, Ronaldo a remporté cinq Ballons d’Or, un record de trois prix du Joueur de l’année UEFA et quatre Souliers d’or européens, le plus grand nombre pour un joueur européen. Il a remporté 33 trophées dans sa carrière, dont sept titres de championnat, cinq Ligues des champions de l’UEFA, le Championnat d'Europe et la Ligue des nations de l’UEFA. Ronaldo détient les records du plus grand nombre d'apparitions (183), de buts (140) et de passes décisives (42) en Ligue des champions, de buts dans le Championnat d'Europe (14), de buts internationaux (128) et d'apparitions internationales (205). Il est l’un des rares joueurs à avoir disputé plus de 1 200 matchs professionnels en carrière, le plus grand nombre pour un joueur de champ, et a marqué plus de 850 buts officiels en carrière en club et en sélection, ce qui fait de lui le meilleur buteur de tous les temps.
435
+ """
436
+ labels = ["personne", "récompense", "date", "compétitions", "équipes"]
437
+ entities = model.predict_entities(text, labels, threshold=0.5)
438
+ for entity in entities:
439
+ print(entity["text"], "=>", entity["label"])
440
+ ```
441
+
442
+ ```
443
+ Cristiano Ronaldo dos Santos Aveiro => personne
444
+ 5 février 1985 => date
445
+ Al Nassr => équipes
446
+ Saudi Pro League => compétitions
447
+ équipe nationale du Portugal => équipes
448
+ Ballons d’Or => récompense
449
+ Joueur de l’année UEFA => récompense
450
+ Souliers d’or européens => récompense
451
+ Ligues des champions de l’UEFA => compétitions
452
+ Championnat d'Europe => compétitions
453
+ Ligue des nations de l’UEFA => compétitions
454
+ ```
455
+ </details>
456
+
457
+ <details>
458
+ <summary>Italian</summary>
459
+
460
+ ```python
461
+ from gliner import GLiNER
462
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
463
+ text = """
464
+ Cristiano Ronaldo dos Santos Aveiro (pronuncia portoghese: [kɾiʃˈtjɐnu ʁɔˈnaldu]; nato il 5 febbraio 1985) è un calciatore professionista portoghese che gioca come attaccante e che è capitano sia del club Al Nassr della Saudi Pro League sia della nazionale portoghese. Considerato ampiamente uno dei più grandi giocatori di tutti i tempi, Ronaldo ha vinto cinque Palloni d'Oro, un record di tre premi Giocatore dell'Anno UEFA e quattro Scarpe d'Oro europee, il numero più alto per un giocatore europeo. Ha vinto 33 trofei nella sua carriera, inclusi sette titoli di campionato, cinque Champions League UEFA, il Campionato europeo UEFA e la UEFA Nations League. Ronaldo detiene i record per il maggior numero di presenze (183), gol (140) e assist (42) in Champions League, gol nel Campionato europeo (14), gol internazionali (128) e presenze internazionali (205). È uno dei pochi giocatori ad aver superato le 1.200 presenze professionistiche in carriera, il numero più alto per un giocatore di movimento, e ha segnato oltre 850 gol ufficiali con club e nazionale, rendendolo il miglior marcatore di tutti i tempi.
465
+ """
466
+ labels = ["persona", "premio", "data", "competizioni", "squadre"]
467
+ entities = model.predict_entities(text, labels, threshold=0.5)
468
+ for entity in entities:
469
+ print(entity["text"], "=>", entity["label"])
470
+ ```
471
+
472
+ ```
473
+ Cristiano Ronaldo dos Santos Aveiro => persona
474
+ 5 febbraio 1985 => data
475
+ Al Nassr => squadre
476
+ Saudi Pro League => competizioni
477
+ Palloni d'Oro => premio
478
+ Giocatore dell'Anno UEFA => premio
479
+ Scarpe d'Oro europee => premio
480
+ Champions League UEFA => competizioni
481
+ Campionato europeo UEFA => competizioni
482
+ UEFA Nations League => competizioni
483
+ ```
484
+ </details>
485
+
486
+ <details>
487
+ <summary>Romanian</summary>
488
+
489
+ ```python
490
+ from gliner import GLiNER
491
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
492
+ text = """
493
+ Cristiano Ronaldo dos Santos Aveiro (pronunție în portugheză: [kɾiʃˈtjɐnu ʁɔˈnaldu]; născut la 5 februarie 1985) este un fotbalist profesionist portughez care joacă pe postul de atacant și este căpitan atât al clubului Al Nassr din Liga Profesionistă Saudită, cât și al echipei naționale a Portugaliei. Larg considerat unul dintre cei mai buni jucători din toate timpurile, Ronaldo a câștigat cinci premii Ballon d'Or, un record de trei premii Jucătorul Anului UEFA și patru Ghete de Aur europene, cele mai multe pentru un jucător european. A câștigat 33 de trofee în carieră, inclusiv șapte titluri de campionat, cinci Ligi ale Campionilor UEFA, Campionatul European UEFA și Liga Națiunilor UEFA. Ronaldo deține recordurile pentru cele mai multe apariții (183), goluri (140) și pase decisive (42) în Liga Campionilor, goluri în Campionatul European (14), goluri internaționale (128) și apariții internaționale (205). Este unul dintre puținii jucători care au jucat peste 1.200 de meciuri profesioniste, cele mai multe pentru un jucător de câmp, și a marcat peste 850 de goluri oficiale în carieră pentru club și țară, devenind cel mai bun marcator din toate timpurile.
494
+ """
495
+ labels = ["persoană", "premiu", "dată", "competiții", "echipe"]
496
+ entities = model.predict_entities(text, labels, threshold=0.5)
497
+ for entity in entities:
498
+ print(entity["text"], "=>", entity["label"])
499
+ ```
500
+
501
+ ```
502
+ Cristiano Ronaldo dos Santos Aveiro => persoană
503
+ 5 februarie 1985 => dată
504
+ Al Nassr => echipe
505
+ Liga Profesionistă Saudită => competiții
506
+ Ballon d'Or => premiu
507
+ Jucătorul Anului UEFA => premiu
508
+ Ghete de Aur europene => premiu
509
+ Ligi ale Campionilor UEFA => competiții
510
+ Campionatul European UEFA => competiții
511
+ Liga Națiunilor UEFA => competiții
512
+ ```
513
+ </details>
514
+
515
+ <details>
516
+ <summary>Portuguese</summary>
517
+
518
+ ```python
519
+ from gliner import GLiNER
520
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
521
+ text = """
522
+ Cristiano Ronaldo dos Santos Aveiro (pronúncia em português: [kɾiʃˈtjɐnu ʁɔˈnaldu]; nascido em 5 de fevereiro de 1985) é um futebolista profissional português que atua como atacante e é capitão tanto do clube Al Nassr da Liga Profissional Saudita quanto da seleção nacional de Portugal. Amplamente considerado um dos maiores jogadores de todos os tempos, Ronaldo conquistou cinco prêmios Ballon d'Or, um recorde de três prêmios de Jogador do Ano da UEFA e quatro Chuteiras de Ouro europeias, o maior número para um jogador europeu. Ele venceu 33 troféus em sua carreira, incluindo sete títulos de liga, cinco Ligas dos Campeões da UEFA, o Campeonato Europeu da UEFA e a Liga das Nações da UEFA. Ronaldo detém os recordes de mais aparições (183), gols (140) e assistências (42) na Liga dos Campeões, gols no Campeonato Europeu (14), gols internacionais (128) e aparições internacionais (205). Ele é um dos poucos jogadores a ter feito mais de 1.200 aparições profissionais, o maior número entre jogadores de linha, e marcou mais de 850 gols oficiais na carreira profissional por clubes e pela seleção, sendo o maior artilheiro de todos os tempos.
523
+ """
524
+ labels = ["pessoa", "prêmio", "data", "competições", "equipes"]
525
+ entities = model.predict_entities(text, labels, threshold=0.5)
526
+ for entity in entities:
527
+ print(entity["text"], "=>", entity["label"])
528
+ ```
529
+
530
+ ```
531
+ Cristiano Ronaldo dos Santos Aveiro => pessoa
532
+ 5 de fevereiro de 1985 => data
533
+ Al Nassr => equipes
534
+ Liga Profissional Saudita => competições
535
+ seleção nacional de Portugal => equipes
536
+ Ballon d'Or => prêmio
537
+ Jogador do Ano da UEFA => prêmio
538
+ Chuteiras de Ouro europeias => prêmio
539
+ Ligas dos Campeões da UEFA => competições
540
+ Campeonato Europeu da UEFA => competições
541
+ Liga das Nações da UEFA => competições
542
+ ```
543
+ </details>
544
+
545
+ <details>
546
+ <summary>Portuguese</summary>
547
+
548
+ ```python
549
+ from gliner import GLiNER
550
+ model = GLiNER.from_pretrained("knowledgator/gliner-x-large")
551
+ text = """
552
+ Cristiano Ronaldo dos Santos Aveiro (Portugese uitspraak: [kɾiʃˈtjɐnu ʁɔˈnaldu]; geboren op 5 februari 1985) is een Portugese professionele voetballer die als aanvaller speelt voor en aanvoerder is van zowel de Saoedische Pro League-club Al Nassr als het nationale team van Portugal. Algemeen beschouwd als een van de beste spelers aller tijden, heeft Ronaldo vijf Ballon d'Or-onderscheidingen gewonnen, een record van drie UEFA Men's Player of the Year Awards, en vier Europese Gouden Schoenen, het meeste voor een Europese speler. Hij heeft 33 trofeeën gewonnen in zijn carrière, waaronder zeven landstitels, vijf UEFA Champions Leagues, het EK en de UEFA Nations League. Ronaldo bezit de records voor de meeste optredens (183), doelpunten (140) en assists (42) in de Champions League, doelpunten op het EK (14), interlanddoelpunten (128) en interlandoptredens (205). Hij is een van de weinige spelers die meer dan 1.200 professionele wedstrijden heeft gespeeld, het meeste voor een veldspeler, en heeft meer dan 850 officiële doelpunten gescoord voor club en land, waarmee hij de topscorer aller tijden is.
553
+ """
554
+ labels = ["persoon", "onderscheiding", "datum", "competities", "teams"]
555
+ entities = model.predict_entities(text, labels, threshold=0.5)
556
+ for entity in entities:
557
+ print(entity["text"], "=>", entity["label"])
558
+ ```
559
+
560
+ ```
561
+ Cristiano Ronaldo dos Santos Aveiro => persoon
562
+ 5 februari 1985 => datum
563
+ Saoedische Pro League-club => teams
564
+ Al Nassr => teams
565
+ nationale team van Portugal => teams
566
+ Ballon d'Or-onderscheidingen => onderscheiding
567
+ UEFA Men's Player of the Year Awards => onderscheiding
568
+ Europese Gouden Schoenen => onderscheiding
569
+ UEFA Champions Leagues => competities
570
+ EK => competities
571
+ UEFA Nations League => competities
572
+ ```
573
+ </details>
574
+
575
+ ### Benchmarks
576
+ Below you can see the table with benchmarking results (F1 score) on various maltilingual named entity recognition datasets:
577
+
578
+ | Dataset | knowledgator/gliner-x-small | knowledgator/gliner-x-base | knowledgator/gliner-x-large | urchade/gliner_multi-v2.1 |
579
+ | --- | --- | --- | --- | --- |
580
+ | da_ddt | 0.7648 | 0.7635 | **0.8660** | 0.644 |
581
+ | de_pud | 0.7154 | 0.7597 | **0.7862** | 0.640 |
582
+ | en_ewt | 0.6597 | 0.6775 | **0.7549** | 0.573 |
583
+ | en_pud | 0.7399 | 0.7506 | **0.7858** | 0.628 |
584
+ | pt_bosque | 0.8273 | 0.8322 | **0.8782** | 0.739 |
585
+ | pt_pud | 0.7857 | 0.7854 | **0.8446** | 0.687 |
586
+ | sv_pud | 0.8033 | 0.8196 | **0.8638** | 0.682 |
587
+ | zh_pud | 0.5792 | 0.6152 | **0.6794** | 0.641 |
588
+
589
+
590
+ ![alt text](plot.png)
591
+ ### Join Our Discord
592
+
593
+ Connect with our community on Discord for news, support, and discussion about our models. Join [Discord](https://discord.gg/dkyeAgs9DG).