sheldonrobinson commited on
Commit
ddffcbc
·
verified ·
1 Parent(s): aebafc3

Upload folder using huggingface_hub

Browse files
.gitattributes CHANGED
@@ -33,3 +33,6 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ de/de_decoder.onnx filter=lfs diff=lfs merge=lfs -text
37
+ de/de_joiner.onnx filter=lfs diff=lfs merge=lfs -text
38
+ de/de_encoder.onnx filter=lfs diff=lfs merge=lfs -text
LICENSE ADDED
File without changes
README.md ADDED
@@ -0,0 +1,46 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: other
3
+ license_name: test
4
+ license_link: LICENSE
5
+ language:
6
+ - en
7
+ - fr
8
+ - de
9
+ - es
10
+ - pt
11
+ metrics:
12
+ - accuracy
13
+ - cer
14
+ pipeline_tag: automatic-speech-recognition
15
+ ---
16
+ # Model Card for Model ID
17
+
18
+ <!-- Provide a quick summary of what the model is/does. -->
19
+
20
+ > **( update august 2025 - CC-BY models are coming soon. )**
21
+
22
+ ## Overview
23
+ This is a family of low-latency streaming models designed for use on edge devices.
24
+ **Goal**: Provide faster or higher-quality performance compared to similarly sized Whisper and other models.
25
+
26
+ - **Languages**: English, French, German (7 more languages coming).
27
+
28
+ ## Demos
29
+ - [**Browser Demo (CPU)**](https://huggingface.co/spaces/Banafo/Kroko-Streaming-ASR-Wasm)
30
+ *(Runs entirely in the browser using CPU.)*
31
+ - [**Gradio / Python Demo**](https://huggingface.co/spaces/Banafo/Kroko-Streaming-ASR-Python)
32
+
33
+ ## License
34
+ The license is still under consideration (likely Coqui). The model is intended to be **dual-licensed**:
35
+ - **Free for non-commercial use**.
36
+ - **Affordable license for commercial use**.
37
+
38
+
39
+
40
+ ## Training
41
+ - Training is done with a modified k2/Icefall pipeline.
42
+ - Inference can be performed with the standard Sherpa project.
43
+ - Silence padding and volume normalization may help produce better results.
44
+
45
+ ## Acknowledgements
46
+ Special thanks to the [Lhotse](https://github.com/lhotse-speech/lhotse), [Sherpa](https://github.com/k2-fsa/sherpa), [k2](https://github.com/k2-fsa/k2), and [Icefall](https://github.com/k2-fsa/icefall) teams for their support and tools.
de/de_decoder.onnx ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:94a29592b403c53fa2231b478637da1ab4abcef7f5e46e432098416a4a3ed562
3
+ size 617489
de/de_encoder.onnx ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6e83993d6967ec7a3498b055b7e85ace85b5d64d1b1e8773cb29a43a11f5edb5
3
+ size 70091557
de/de_joiner.onnx ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:28356bff070aea51ab1d725a3278e81d19f9300f860d3248a7014292264df15a
3
+ size 336817
de/de_tokens.txt ADDED
@@ -0,0 +1,657 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ <blk> 0
2
+ <sos/eos> 1
3
+ <unk> 2
4
+ ▁ 3
5
+ t 4
6
+ e 5
7
+ en 6
8
+ s 7
9
+ . 8
10
+ n 9
11
+ er 10
12
+ , 11
13
+ r 12
14
+ o 13
15
+ ▁und 14
16
+ g 15
17
+ a 16
18
+ ▁die 17
19
+ l 18
20
+ m 19
21
+ i 20
22
+ k 21
23
+ u 22
24
+ ▁das 23
25
+ f 24
26
+ h 25
27
+ ▁ist 26
28
+ b 27
29
+ d 28
30
+ ▁ich 29
31
+ st 30
32
+ ▁der 31
33
+ ▁ein 32
34
+ in 33
35
+ ▁in 34
36
+ ä 35
37
+ ▁ge 36
38
+ ge 37
39
+ ▁auch 38
40
+ p 39
41
+ w 40
42
+ ▁so 41
43
+ ▁zu 42
44
+ ▁wir 43
45
+ ▁es 44
46
+ te 45
47
+ ch 46
48
+ ▁nicht 47
49
+ sch 48
50
+ ra 49
51
+ el 50
52
+ ▁da 51
53
+ ▁den 52
54
+ ung 53
55
+ ar 54
56
+ ck 55
57
+ it 56
58
+ ▁F 57
59
+ an 58
60
+ ig 59
61
+ ie 60
62
+ ü 61
63
+ ▁mit 62
64
+ le 63
65
+ z 64
66
+ ▁be 65
67
+ ▁D 66
68
+ de 67
69
+ ö 68
70
+ ▁auf 69
71
+ al 70
72
+ ▁dann 71
73
+ ▁K 72
74
+ lich 73
75
+ ▁H 74
76
+ es 75
77
+ ▁B 76
78
+ ▁S 77
79
+ ▁k 78
80
+ ▁M 79
81
+ ▁f 80
82
+ ▁hier 81
83
+ ▁W 82
84
+ ▁eine 83
85
+ ten 84
86
+ ▁T 85
87
+ se 86
88
+ gen 87
89
+ ▁man 88
90
+ ▁L 89
91
+ re 90
92
+ ▁an 91
93
+ ▁P 92
94
+ ein 93
95
+ ▁jetzt 94
96
+ ▁ver 95
97
+ - 96
98
+ ▁dass 97
99
+ ▁A 98
100
+ ter 99
101
+ v 100
102
+ or 101
103
+ ▁diese 102
104
+ ▁von 103
105
+ ▁noch 104
106
+ la 105
107
+ ▁er 106
108
+ y 107
109
+ and 108
110
+ ▁G 109
111
+ il 110
112
+ ▁ja 111
113
+ ▁haben 112
114
+ ▁für 113
115
+ tz 114
116
+ mm 115
117
+ on 116
118
+ au 117
119
+ c 118
120
+ li 119
121
+ ▁b 120
122
+ ut 121
123
+ un 122
124
+ at 123
125
+ ur 124
126
+ ▁sich 125
127
+ ▁aus 126
128
+ ▁was 127
129
+ ▁sie 128
130
+ ▁N 129
131
+ ▁d 130
132
+ ro 131
133
+ ▁im 132
134
+ ▁hat 133
135
+ ▁wie 134
136
+ ▁bei 135
137
+ ▁mal 136
138
+ ß 137
139
+ ▁kann 138
140
+ ▁du 139
141
+ ▁sind 140
142
+ am 141
143
+ ▁E 142
144
+ ▁ihr 143
145
+ ▁war 144
146
+ ▁dem 145
147
+ ▁w 146
148
+ is 147
149
+ ▁p 148
150
+ ben 149
151
+ ▁g 150
152
+ den 151
153
+ ▁aber 152
154
+ ol 153
155
+ und 154
156
+ ▁wenn 155
157
+ ne 156
158
+ ▁oder 157
159
+ ? 158
160
+ be 159
161
+ ze 160
162
+ ▁St 161
163
+ ▁Das 162
164
+ ff 163
165
+ ▁habe 164
166
+ ri 165
167
+ ▁Und 166
168
+ ing 167
169
+ ▁sch 168
170
+ rei 169
171
+ ▁m 170
172
+ ▁h 171
173
+ ▁Sch 172
174
+ uch 173
175
+ um 174
176
+ der 175
177
+ ▁ganz 176
178
+ ▁vor 177
179
+ icht 178
180
+ ▁also 179
181
+ mal 180
182
+ ▁schon 181
183
+ ▁Die 182
184
+ ▁Be 183
185
+ he 184
186
+ ▁Ge 185
187
+ ▁Ich 186
188
+ ▁R 187
189
+ rü 188
190
+ hr 189
191
+ ann 190
192
+ iert 191
193
+ ▁C 192
194
+ ber 193
195
+ end 194
196
+ ▁als 195
197
+ ach 196
198
+ hl 197
199
+ ▁viel 198
200
+ ▁sehr 199
201
+ ▁über 200
202
+ ▁einfach 201
203
+ ▁uns 202
204
+ ▁st 203
205
+ ▁sein 204
206
+ em 205
207
+ zu 206
208
+ ern 207
209
+ ▁wird 208
210
+ ▁nach 209
211
+ ft 210
212
+ ste 211
213
+ hn 212
214
+ us 213
215
+ I 214
216
+ wei 215
217
+ me 216
218
+ chen 217
219
+ lo 218
220
+ as 219
221
+ ▁des 220
222
+ ▁ko 221
223
+ oll 222
224
+ ▁O 223
225
+ ▁um 224
226
+ aus 225
227
+ ir 226
228
+ ell 227
229
+ 0 228
230
+ ▁zum 229
231
+ ▁In 230
232
+ ▁immer 231
233
+ stell 232
234
+ ▁mir 233
235
+ ort 234
236
+ ik 235
237
+ ▁einen 236
238
+ ▁je 237
239
+ ▁re 238
240
+ sp 239
241
+ ▁Sie 240
242
+ ru 241
243
+ ▁wieder 242
244
+ ▁Da 243
245
+ ▁alle 244
246
+ all 245
247
+ halt 246
248
+ ▁werden 247
249
+ et 248
250
+ kommen 249
251
+ ▁mehr 250
252
+ ▁nur 251
253
+ ! 252
254
+ ▁ab 253
255
+ ▁gut 254
256
+ ▁Ver 255
257
+ iv 256
258
+ V 257
259
+ ab 258
260
+ che 259
261
+ ▁wo 260
262
+ ▁muss 261
263
+ ieren 262
264
+ ▁An 263
265
+ ▁bisschen 264
266
+ zi 265
267
+ pp 266
268
+ ▁gibt 267
269
+ igen 268
270
+ rie 269
271
+ ist 270
272
+ ▁weil 271
273
+ ▁Ma 272
274
+ ▁natürlich 273
275
+ ▁Er 274
276
+ ▁mich 275
277
+ lei 276
278
+ ▁Re 277
279
+ ür 278
280
+ wi 279
281
+ ation 280
282
+ ungen 281
283
+ di 282
284
+ ion 283
285
+ ▁Wir 284
286
+ ▁erst 285
287
+ ▁machen 286
288
+ nen 287
289
+ ▁Z 288
290
+ : 289
291
+ ▁andere 290
292
+ ▁Ein 291
293
+ ma 292
294
+ ekt 293
295
+ äh 294
296
+ lä 295
297
+ ▁meine 296
298
+ ▁U 297
299
+ nder 298
300
+ pf 299
301
+ ich 300
302
+ ▁können 301
303
+ her 302
304
+ ▁unter 303
305
+ ▁sa 304
306
+ ▁ent 305
307
+ art 306
308
+ weg 307
309
+ isch 308
310
+ ▁Ko 309
311
+ ▁sp 310
312
+ ▁geht 311
313
+ ho 312
314
+ ▁Sp 313
315
+ ul 314
316
+ ad 315
317
+ ▁bin 316
318
+ id 317
319
+ ▁durch 318
320
+ ▁einem 319
321
+ ▁So 320
322
+ ▁hin 321
323
+ wa 322
324
+ j 323
325
+ ▁zwei 324
326
+ ▁weiter 325
327
+ ungs 326
328
+ ver 327
329
+ ▁bis 328
330
+ ▁wirklich 329
331
+ ▁am 330
332
+ ▁euch 331
333
+ reich 332
334
+ x 333
335
+ ▁wurde 334
336
+ acht 335
337
+ ▁ob 336
338
+ ▁dir 337
339
+ ▁soll 338
340
+ spiel 339
341
+ ische 340
342
+ ▁sagen 341
343
+ ▁Also 342
344
+ J 343
345
+ ▁Es 344
346
+ ischen 345
347
+ ▁1 346
348
+ ▁eigentlich 347
349
+ teil 348
350
+ ▁eben 349
351
+ ▁mein 350
352
+ ▁Ja 351
353
+ lass 352
354
+ ▁alles 353
355
+ arbeit 354
356
+ ▁vielleicht 355
357
+ ▁her 356
358
+ ▁unsere 357
359
+ schaft 358
360
+ ▁Jahr 359
361
+ ▁heißt 360
362
+ ▁Zu 361
363
+ fahr 362
364
+ ▁Pro 363
365
+ ▁ma 364
366
+ akt 365
367
+ ment 366
368
+ ▁könnt 367
369
+ ▁Al 368
370
+ ▁finde 369
371
+ ▁hab 370
372
+ ord 371
373
+ ▁Was 372
374
+ gehen 373
375
+ nehmen 374
376
+ S 375
377
+ ▁damit 376
378
+ fall 377
379
+ 2 378
380
+ leg 379
381
+ ' 380
382
+ ▁ange 381
383
+ ▁schön 382
384
+ heit 383
385
+ ▁heute 384
386
+ ▁würde 385
387
+ ▁genau 386
388
+ äng 387
389
+ ex 388
390
+ uss 389
391
+ ühr 390
392
+ anz 391
393
+ zeit 392
394
+ ▁Mo 393
395
+ ▁groß 394
396
+ ▁sei 395
397
+ ▁will 396
398
+ ▁Aber 397
399
+ ▁gleich 398
400
+ pass 399
401
+ ▁gerade 400
402
+ ▁Aus 401
403
+ ▁dein 402
404
+ ▁doch 403
405
+ bau 404
406
+ ▁möchte 405
407
+ ▁richtig 406
408
+ schau 407
409
+ ▁gesagt 408
410
+ ▁weiß 409
411
+ ▁neue 410
412
+ ▁macht 411
413
+ ▁kleine 412
414
+ ▁sehen 413
415
+ ▁etwas 414
416
+ ▁Vor 415
417
+ ▁wichtig 416
418
+ ▁Zeit 417
419
+ A 418
420
+ ▁hatte 419
421
+ ▁glaube 420
422
+ 5 421
423
+ ▁Beispiel 422
424
+ ▁Auf 423
425
+ ▁lang 424
426
+ 3 425
427
+ ▁Wenn 426
428
+ ▁hast 427
429
+ ▁dich 428
430
+ ▁müssen 429
431
+ ▁gemacht 430
432
+ zieh 431
433
+ ktion 432
434
+ ▁sondern 433
435
+ P 434
436
+ T 435
437
+ D 436
438
+ E 437
439
+ 4 438
440
+ q 439
441
+ M 440
442
+ R 441
443
+ B 442
444
+ 1 443
445
+ C 444
446
+ Ü 445
447
+ 9 446
448
+ 6 447
449
+ 8 448
450
+ K 449
451
+ Q 450
452
+ N 451
453
+ L 452
454
+ F 453
455
+ O 454
456
+ G 455
457
+ 7 456
458
+ W 457
459
+ Y 458
460
+ U 459
461
+ H 460
462
+ Ö 461
463
+ Ä 462
464
+ X 463
465
+ Z 464
466
+ ; 465
467
+ é 466
468
+ \ 467
469
+ % 468
470
+ „ 469
471
+ / 470
472
+ * 471
473
+ + 472
474
+ “ 473
475
+ [ 474
476
+ € 475
477
+ á 476
478
+ # 477
479
+ ° 478
480
+ < 479
481
+ > 480
482
+ è 481
483
+ í 482
484
+ ’ 483
485
+ ó 484
486
+ à 485
487
+ & 486
488
+ ō 487
489
+ ë 488
490
+ ú 489
491
+ š 490
492
+ ô 491
493
+ ø 492
494
+ ñ 493
495
+ @ 494
496
+ $ 495
497
+ ê 496
498
+ ç 497
499
+ = 498
500
+ Š 499
501
+ – 500
502
+ ć 501
503
+ É 502
504
+ ı 503
505
+ ( 504
506
+ â 505
507
+ _ 506
508
+ ł 507
509
+ ã 508
510
+ ğ 509
511
+ î 510
512
+ č 511
513
+ ş 512
514
+ ) 513
515
+ ā 514
516
+ å 515
517
+ ř 516
518
+ Á 517
519
+ û 518
520
+ ž 519
521
+ ý 520
522
+ ū 521
523
+ Ÿ 522
524
+ ș 523
525
+ ‘ 524
526
+ Ç 525
527
+ Č 526
528
+ Ş 527
529
+ ‚ 528
530
+ ī 529
531
+ « 530
532
+ ù 531
533
+ ě 532
534
+ » 533
535
+ İ 534
536
+ ś 535
537
+ ă 536
538
+ ò 537
539
+ Ō 538
540
+ ț 539
541
+ ì 540
542
+ ï 541
543
+ ə 542
544
+ æ 543
545
+ ń 544
546
+ Œ 545
547
+ ð 546
548
+ Ã 547
549
+ Ó 548
550
+ Ø 549
551
+ Î 550
552
+ Ž 551
553
+ Å 552
554
+ œ 553
555
+ Ś 554
556
+ ʿ 555
557
+ À 556
558
+ Í 557
559
+ Đ 558
560
+ Æ 559
561
+ Â 560
562
+ ą 561
563
+ ė 562
564
+ ę 563
565
+ Ł 564
566
+ ň 565
567
+ È 566
568
+ đ 567
569
+ ů 568
570
+ ́ 569
571
+ Ú 570
572
+ Ș 571
573
+ Ð 572
574
+ Ř 573
575
+ ơ 574
576
+ ư 575
577
+ ʻ 576
578
+ ạ 577
579
+ ộ 578
580
+ ő 579
581
+ Ż 580
582
+ ż 581
583
+ ḥ 582
584
+ ź 583
585
+ ” 584
586
+ ġ 585
587
+ а 586
588
+ ē 587
589
+ ť 588
590
+ Ḫ 589
591
+ и 590
592
+ õ 591
593
+ Ő 592
594
+ е 593
595
+ р 594
596
+ ф 595
597
+ Þ 596
598
+ Ê 597
599
+ Ñ 598
600
+ Ô 599
601
+ ÿ 600
602
+ ď 601
603
+ Ī 602
604
+ ĭ 603
605
+ ǐ 604
606
+ ǔ 605
607
+ в 606
608
+ м 607
609
+ о 608
610
+ ḫ 609
611
+ ṣ 610
612
+ ṭ 611
613
+ ẞ 612
614
+ ả 613
615
+ ế 614
616
+ ị 615
617
+ ố 616
618
+ ŏ 617
619
+ Ĺ 618
620
+ Ə 619
621
+ С 620
622
+ Ć 621
623
+ Ħ 622
624
+ ` 623
625
+ Ā 624
626
+ ņ 625
627
+ ű 626
628
+ ǒ 627
629
+ ǧ 628
630
+ Ț 629
631
+ Ш 630
632
+ к 631
633
+ ч 632
634
+ ш 633
635
+ ע 634
636
+ ḿ 635
637
+ ṃ 636
638
+ ṛ 637
639
+ ṟ 638
640
+ ấ 639
641
+ ầ 640
642
+ ắ 641
643
+ ằ 642
644
+ ẹ 643
645
+ ễ 644
646
+ ở 645
647
+ ụ 646
648
+ Ò 647
649
+ י 648
650
+ ש 649
651
+ #0 650
652
+ #1 651
653
+ #2 652
654
+ #3 653
655
+ #4 654
656
+ #5 655
657
+ #6 656
decode_file.py ADDED
@@ -0,0 +1,200 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import argparse
2
+ import time
3
+ import wave
4
+ from pathlib import Path
5
+ from typing import Tuple
6
+
7
+ import numpy as np
8
+ import sherpa_onnx
9
+ from huggingface_hub import hf_hub_download
10
+
11
+
12
+ def get_args():
13
+ parser = argparse.ArgumentParser(
14
+ formatter_class=argparse.ArgumentDefaultsHelpFormatter
15
+ )
16
+
17
+ parser.add_argument(
18
+ "--lang",
19
+ type=str,
20
+ required=True,
21
+ help="Language code (e.g., 'en', 'fr', 'de')",
22
+ )
23
+
24
+ parser.add_argument(
25
+ "--hf-token",
26
+ type=str,
27
+ required=True,
28
+ help="Hugging Face access token for private model repository",
29
+ )
30
+
31
+ parser.add_argument(
32
+ "--num-threads",
33
+ type=int,
34
+ default=1,
35
+ help="Number of threads for neural network computation",
36
+ )
37
+
38
+ parser.add_argument(
39
+ "--decoding-method",
40
+ type=str,
41
+ default="greedy_search",
42
+ help="Valid values: greedy_search and modified_beam_search",
43
+ )
44
+
45
+ parser.add_argument(
46
+ "--max-active-paths",
47
+ type=int,
48
+ default=4,
49
+ help="Used only when --decoding-method is modified_beam_search.",
50
+ )
51
+
52
+ parser.add_argument(
53
+ "--lm",
54
+ type=str,
55
+ default="",
56
+ help="Used only when --decoding-method is modified_beam_search. Path of language model.",
57
+ )
58
+
59
+ parser.add_argument(
60
+ "--lm-scale",
61
+ type=float,
62
+ default=0.1,
63
+ help="Used only when --decoding-method is modified_beam_search. Scale of language model.",
64
+ )
65
+
66
+ parser.add_argument(
67
+ "--provider",
68
+ type=str,
69
+ default="cpu",
70
+ help="Valid values: cpu, cuda, coreml",
71
+ )
72
+
73
+ parser.add_argument(
74
+ "--hotwords-file",
75
+ type=str,
76
+ default="",
77
+ help="The file containing hotwords, one word/phrase per line.",
78
+ )
79
+
80
+ parser.add_argument(
81
+ "--hotwords-score",
82
+ type=float,
83
+ default=1.5,
84
+ help="Hotword score for biasing word/phrase. Used only if --hotwords-file is given.",
85
+ )
86
+
87
+ parser.add_argument(
88
+ "sound_files",
89
+ type=str,
90
+ nargs="+",
91
+ help="The input sound file(s) to decode. Must be WAVE format, single channel, 16-bit.",
92
+ )
93
+
94
+ return parser.parse_args()
95
+
96
+
97
+ def assert_file_exists(filename: str):
98
+ assert Path(filename).is_file(), f"{filename} does not exist!"
99
+
100
+
101
+ def read_wave(wave_filename: str) -> Tuple[np.ndarray, int]:
102
+ with wave.open(wave_filename) as f:
103
+ assert f.getnchannels() == 1, f.getnchannels()
104
+ assert f.getsampwidth() == 2, f.getsampwidth()
105
+ num_samples = f.getnframes()
106
+ samples = f.readframes(num_samples)
107
+ samples_int16 = np.frombuffer(samples, dtype=np.int16)
108
+ samples_float32 = samples_int16.astype(np.float32) / 32768
109
+ return samples_float32, f.getframerate()
110
+
111
+
112
+ def download_models(language_code, hf_token):
113
+ """Downloads encoder, decoder, joiner, and tokens.txt from Hugging Face."""
114
+ repo_id = "Banafo/test-onnx"
115
+
116
+ model_filenames = {
117
+ "encoder": f"{language_code}_encoder.onnx",
118
+ "decoder": f"{language_code}_decoder.onnx",
119
+ "joiner": f"{language_code}_joiner.onnx",
120
+ "tokens": f"{language_code}_tokens.txt",
121
+ }
122
+
123
+ model_paths = {}
124
+ for model_name, filename in model_filenames.items():
125
+ print(f"Downloading {filename}...")
126
+ model_paths[model_name] = hf_hub_download(repo_id=repo_id, filename=filename, token=hf_token)
127
+ print(f"Loaded {filename}")
128
+
129
+ return model_paths
130
+
131
+
132
+ def main():
133
+ args = get_args()
134
+
135
+ # Download models and tokens file
136
+ model_paths = download_models(args.lang, args.hf_token)
137
+
138
+ # Initialize the transducer-based recognizer
139
+ recognizer = sherpa_onnx.OnlineRecognizer.from_transducer(
140
+ tokens=model_paths["tokens"],
141
+ encoder=model_paths["encoder"],
142
+ decoder=model_paths["decoder"],
143
+ joiner=model_paths["joiner"],
144
+ num_threads=args.num_threads,
145
+ provider=args.provider,
146
+ sample_rate=16000,
147
+ feature_dim=80,
148
+ decoding_method=args.decoding_method,
149
+ max_active_paths=args.max_active_paths,
150
+ lm=args.lm,
151
+ lm_scale=args.lm_scale,
152
+ hotwords_file=args.hotwords_file,
153
+ hotwords_score=args.hotwords_score,
154
+ )
155
+
156
+ print("Started!")
157
+ start_time = time.time()
158
+
159
+ streams = []
160
+ total_duration = 0
161
+ for wave_filename in args.sound_files:
162
+ assert_file_exists(wave_filename)
163
+ samples, sample_rate = read_wave(wave_filename)
164
+ duration = len(samples) / sample_rate
165
+ total_duration += duration
166
+
167
+ s = recognizer.create_stream()
168
+ s.accept_waveform(sample_rate, samples)
169
+
170
+ tail_paddings = np.zeros(int(0.66 * sample_rate), dtype=np.float32)
171
+ s.accept_waveform(sample_rate, tail_paddings)
172
+ s.input_finished()
173
+
174
+ streams.append(s)
175
+
176
+ while True:
177
+ ready_list = [s for s in streams if recognizer.is_ready(s)]
178
+ if not ready_list:
179
+ break
180
+ recognizer.decode_streams(ready_list)
181
+
182
+ results = [recognizer.get_result(s) for s in streams]
183
+ end_time = time.time()
184
+ print("Done!")
185
+
186
+ for wave_filename, result in zip(args.sound_files, results):
187
+ print(f"{wave_filename}\n{result}")
188
+ print("-" * 10)
189
+
190
+ elapsed_seconds = end_time - start_time
191
+ rtf = elapsed_seconds / total_duration
192
+ print(f"num_threads: {args.num_threads}")
193
+ print(f"decoding_method: {args.decoding_method}")
194
+ print(f"Wave duration: {total_duration:.3f} s")
195
+ print(f"Elapsed time: {elapsed_seconds:.3f} s")
196
+ print(f"Real time factor (RTF): {elapsed_seconds:.3f}/{total_duration:.3f} = {rtf:.3f}")
197
+
198
+
199
+ if __name__ == "__main__":
200
+ main()
en/en_decoder.onnx ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:455ba38466fce8d5a57e7db68a323b684079ca4d9e1dd93a740d9b2429aae3b1
3
+ size 617488
en/en_encoder.onnx ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d4881c57449d581e0770fd53fa66c2fdc6cd167d92ece7c715e603defc96d9d4
3
+ size 70092599
en/en_joiner.onnx ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d406f616736350e2a7df3e39398b78eb2fc1a2ca6973a19d3853fa3227e25b52
3
+ size 336817
en/en_tokens.txt ADDED
@@ -0,0 +1,652 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ <blk> 0
2
+ <sos/eos> 1
3
+ <unk> 2
4
+ s 3
5
+ ▁the 4
6
+ t 5
7
+ , 6
8
+ . 7
9
+ ▁a 8
10
+ ▁to 9
11
+ ' 10
12
+ e 11
13
+ ▁and 12
14
+ ▁ 13
15
+ ing 14
16
+ ▁of 15
17
+ y 16
18
+ n 17
19
+ a 18
20
+ d 19
21
+ o 20
22
+ ▁you 21
23
+ ▁that 22
24
+ ▁I 23
25
+ ▁in 24
26
+ i 25
27
+ ed 26
28
+ ▁it 27
29
+ re 28
30
+ m 29
31
+ r 30
32
+ p 31
33
+ ▁is 32
34
+ al 33
35
+ ▁we 34
36
+ g 35
37
+ er 36
38
+ ▁s 37
39
+ or 38
40
+ u 39
41
+ c 40
42
+ ar 41
43
+ f 42
44
+ in 43
45
+ b 44
46
+ ▁this 45
47
+ ▁for 46
48
+ ll 47
49
+ ▁be 48
50
+ ▁so 49
51
+ ▁re 50
52
+ l 51
53
+ ▁c 52
54
+ k 53
55
+ w 54
56
+ le 55
57
+ ▁on 56
58
+ h 57
59
+ ve 58
60
+ ▁do 59
61
+ es 60
62
+ ly 61
63
+ ri 62
64
+ ▁have 63
65
+ it 64
66
+ ▁b 65
67
+ ▁w 66
68
+ ▁with 67
69
+ ▁f 68
70
+ ▁e 69
71
+ ▁can 70
72
+ ▁p 71
73
+ ▁are 72
74
+ ▁was 73
75
+ ent 74
76
+ ur 75
77
+ on 76
78
+ ce 77
79
+ ▁i 78
80
+ ▁like 79
81
+ ▁st 80
82
+ ▁A 81
83
+ an 82
84
+ ▁he 83
85
+ ▁t 84
86
+ ch 85
87
+ ▁me 86
88
+ ra 87
89
+ ▁or 88
90
+ en 89
91
+ ic 90
92
+ ▁not 91
93
+ - 92
94
+ ▁S 93
95
+ ▁but 94
96
+ ▁just 95
97
+ ▁as 96
98
+ th 97
99
+ ter 98
100
+ ▁they 99
101
+ ▁what 100
102
+ ▁de 101
103
+ ation 102
104
+ ro 103
105
+ ver 104
106
+ ck 105
107
+ ▁your 106
108
+ E 107
109
+ te 108
110
+ ▁The 109
111
+ ▁all 110
112
+ ▁C 111
113
+ ▁know 112
114
+ se 113
115
+ il 114
116
+ ▁at 115
117
+ ▁d 116
118
+ ad 117
119
+ ▁ca 118
120
+ ▁one 119
121
+ A 120
122
+ ▁my 121
123
+ ▁So 122
124
+ el 123
125
+ ▁there 124
126
+ ▁And 125
127
+ ▁if 126
128
+ lo 127
129
+ at 128
130
+ ▁g 129
131
+ ate 130
132
+ ▁about 131
133
+ ▁go 132
134
+ T 133
135
+ ? 134
136
+ S 135
137
+ ▁up 136
138
+ ▁ma 137
139
+ la 138
140
+ ▁out 139
141
+ ▁get 140
142
+ ▁an 141
143
+ ▁from 142
144
+ ▁se 143
145
+ ▁T 144
146
+ ir 145
147
+ O 146
148
+ x 147
149
+ I 148
150
+ ▁see 149
151
+ ▁co 150
152
+ ment 151
153
+ ▁mo 152
154
+ us 153
155
+ as 154
156
+ et 155
157
+ ▁going 156
158
+ ng 157
159
+ ▁some 158
160
+ he 159
161
+ ▁M 160
162
+ hi 161
163
+ ▁here 162
164
+ li 163
165
+ ▁con 164
166
+ ▁B 165
167
+ ▁ho 166
168
+ ▁pa 167
169
+ ▁P 168
170
+ me 169
171
+ v 170
172
+ ▁bo 171
173
+ ci 172
174
+ est 173
175
+ ▁W 174
176
+ ▁D 175
177
+ ne 176
178
+ un 177
179
+ ▁will 178
180
+ ▁want 179
181
+ ▁don 180
182
+ ▁really 181
183
+ ▁O 182
184
+ ▁L 183
185
+ ect 184
186
+ ▁think 185
187
+ ▁because 186
188
+ ▁H 187
189
+ z 188
190
+ om 189
191
+ ▁us 190
192
+ ho 191
193
+ ▁more 192
194
+ ol 193
195
+ ▁time 194
196
+ ▁our 195
197
+ ▁when 196
198
+ ▁li 197
199
+ ge 198
200
+ ▁no 199
201
+ ity 200
202
+ ▁F 201
203
+ age 202
204
+ ▁mi 203
205
+ qu 204
206
+ ▁right 205
207
+ ▁su 206
208
+ ▁by 207
209
+ N 208
210
+ ▁po 209
211
+ ul 210
212
+ ▁how 211
213
+ ut 212
214
+ ▁which 213
215
+ ▁now 214
216
+ ▁fa 215
217
+ 0 216
218
+ ▁1 217
219
+ ▁look 218
220
+ ow 219
221
+ ▁then 220
222
+ act 221
223
+ ▁would 222
224
+ ▁who 223
225
+ ies 224
226
+ vi 225
227
+ ry 226
228
+ ▁- 227
229
+ ▁N 228
230
+ L 229
231
+ ting 230
232
+ ▁people 231
233
+ ive 232
234
+ am 233
235
+ ers 234
236
+ ight 235
237
+ ▁R 236
238
+ ▁ex 237
239
+ ▁G 238
240
+ im 239
241
+ nd 240
242
+ ▁them 241
243
+ ide 242
244
+ : 243
245
+ ▁le 244
246
+ ta 245
247
+ ▁very 246
248
+ ▁pro 247
249
+ ke 248
250
+ ma 249
251
+ ▁these 250
252
+ ▁E 251
253
+ ▁work 252
254
+ ally 253
255
+ is 254
256
+ ▁fi 255
257
+ ▁also 256
258
+ able 257
259
+ ▁We 258
260
+ ▁his 259
261
+ ▁la 260
262
+ ru 261
263
+ ▁make 262
264
+ ▁has 263
265
+ ▁o 264
266
+ ig 265
267
+ R 266
268
+ id 267
269
+ ▁say 268
270
+ ist 269
271
+ lu 270
272
+ ld 271
273
+ ▁lo 272
274
+ ▁had 273
275
+ ▁other 274
276
+ ion 275
277
+ ▁into 276
278
+ ther 277
279
+ ▁their 278
280
+ ▁way 279
281
+ ▁ha 280
282
+ tion 281
283
+ ▁J 282
284
+ ▁You 283
285
+ ▁sp 284
286
+ D 285
287
+ ▁back 286
288
+ ▁were 287
289
+ ▁need 288
290
+ ▁It 289
291
+ ▁ba 290
292
+ ▁un 291
293
+ ▁over 292
294
+ mp 293
295
+ ous 294
296
+ pe 295
297
+ ▁use 296
298
+ ▁k 297
299
+ C 298
300
+ ▁where 299
301
+ ▁did 300
302
+ Y 301
303
+ ▁ne 302
304
+ and 303
305
+ ach 304
306
+ ound 305
307
+ ▁got 306
308
+ H 307
309
+ ▁any 308
310
+ sion 309
311
+ ine 310
312
+ ▁even 311
313
+ ! 312
314
+ ▁ra 313
315
+ ▁little 314
316
+ mo 315
317
+ ▁take 316
318
+ ▁ro 317
319
+ 5 318
320
+ ▁pre 319
321
+ ▁than 320
322
+ one 321
323
+ ▁been 322
324
+ j 323
325
+ co 324
326
+ ▁let 325
327
+ ction 326
328
+ ▁comp 327
329
+ ance 328
330
+ ▁dis 329
331
+ ▁well 330
332
+ ▁op 331
333
+ ▁good 332
334
+ de 333
335
+ ▁lot 334
336
+ um 335
337
+ U 336
338
+ ▁she 337
339
+ ant 338
340
+ ▁two 339
341
+ ▁But 340
342
+ ▁kind 341
343
+ ▁could 342
344
+ ▁first 343
345
+ der 344
346
+ pp 345
347
+ ▁start 346
348
+ ▁down 347
349
+ ▁actually 348
350
+ ▁fe 349
351
+ ub 350
352
+ ▁per 351
353
+ ▁those 352
354
+ ture 353
355
+ M 354
356
+ ▁mean 355
357
+ ▁come 356
358
+ ▁things 357
359
+ end 358
360
+ op 359
361
+ ▁her 360
362
+ ▁year 361
363
+ ving 362
364
+ les 363
365
+ P 364
366
+ per 365
367
+ ha 366
368
+ mb 367
369
+ ish 368
370
+ ten 369
371
+ ▁off 370
372
+ ▁much 371
373
+ ▁He 372
374
+ ▁app 373
375
+ ▁something 374
376
+ ▁vi 375
377
+ ence 376
378
+ ud 377
379
+ ard 378
380
+ tic 379
381
+ ▁sa 380
382
+ ical 381
383
+ ▁tra 382
384
+ ▁U 383
385
+ ▁through 384
386
+ ▁part 385
387
+ ure 386
388
+ ▁inter 387
389
+ ff 388
390
+ ▁gonna 389
391
+ ▁thing 390
392
+ ▁comm 391
393
+ ▁This 392
394
+ 1 393
395
+ vo 394
396
+ ▁again 395
397
+ 4 396
398
+ ated 397
399
+ ▁di 398
400
+ ▁new 399
401
+ ▁different 400
402
+ ▁him 401
403
+ ize 402
404
+ ▁talk 403
405
+ 9 404
406
+ ition 405
407
+ ▁exp 406
408
+ ▁sc 407
409
+ ▁bit 408
410
+ 2 409
411
+ ▁K 410
412
+ ▁mu 411
413
+ ▁only 412
414
+ ▁hu 413
415
+ ful 414
416
+ lic 415
417
+ ca 416
418
+ ▁ta 417
419
+ ▁th 418
420
+ ugh 419
421
+ ▁day 420
422
+ ▁cha 421
423
+ ▁give 422
424
+ ▁put 423
425
+ ▁show 424
426
+ ▁man 425
427
+ ▁every 426
428
+ cu 427
429
+ ▁In 428
430
+ ▁most 429
431
+ ▁video 430
432
+ row 431
433
+ ▁help 432
434
+ no 433
435
+ ▁car 434
436
+ ▁try 435
437
+ ▁feel 436
438
+ nk 437
439
+ ▁said 438
440
+ ▁sha 439
441
+ ▁\ 440
442
+ ▁should 441
443
+ 00 442
444
+ ▁en 443
445
+ ▁yeah 444
446
+ ▁That 445
447
+ F 446
448
+ com 447
449
+ ▁uh 448
450
+ ▁gu 449
451
+ ▁pri 450
452
+ ven 451
453
+ ▁great 452
454
+ ... 453
455
+ ▁Ma 454
456
+ ▁around 455
457
+ ▁add 456
458
+ 6 457
459
+ ▁many 458
460
+ 8 459
461
+ ▁um 460
462
+ ▁same 461
463
+ ▁find 462
464
+ ian 463
465
+ ▁though 464
466
+ ▁jo 465
467
+ port 466
468
+ ▁before 467
469
+ ▁end 468
470
+ iv 469
471
+ ▁2 470
472
+ ▁still 471
473
+ ▁after 472
474
+ ▁play 473
475
+ line 474
476
+ V 475
477
+ ▁point 476
478
+ ▁high 477
479
+ ▁long 478
480
+ ▁okay 479
481
+ ▁love 480
482
+ ible 481
483
+ ▁life 482
484
+ ▁happen 483
485
+ ▁three 484
486
+ ▁V 485
487
+ ▁place 486
488
+ ▁THE 487
489
+ ▁big 488
490
+ ▁next 489
491
+ ▁might 490
492
+ 7 491
493
+ ▁why 492
494
+ ▁sure 493
495
+ ▁20 494
496
+ ▁va 495
497
+ \ 496
498
+ ▁question 497
499
+ ▁Now 498
500
+ ▁3 499
501
+ G 500
502
+ ▁imp 501
503
+ ▁fun 502
504
+ B 503
505
+ ▁world 504
506
+ ▁gra 505
507
+ ward 506
508
+ ▁change 507
509
+ K 508
510
+ ▁another 509
511
+ ER 510
512
+ ▁person 511
513
+ ▁own 512
514
+ RE 513
515
+ ▁plan 514
516
+ ▁tell 515
517
+ ▁hand 516
518
+ 3 517
519
+ ) 518
520
+ ▁always 519
521
+ ▁What 520
522
+ ▁na 521
523
+ ▁made 522
524
+ ▁keep 523
525
+ ▁number 524
526
+ ative 525
527
+ ▁( 526
528
+ ness 527
529
+ ▁last 528
530
+ ▁name 529
531
+ ▁important 530
532
+ W 531
533
+ ON 532
534
+ ▁maybe 533
535
+ ▁guys 534
536
+ ▁learn 535
537
+ ▁course 536
538
+ ▁under 537
539
+ ▁system 538
540
+ ▁pretty 539
541
+ ▁run 540
542
+ ▁better 541
543
+ ▁example 542
544
+ ▁turn 543
545
+ ▁game 544
546
+ land 545
547
+ ▁second 546
548
+ ▁data 547
549
+ ▁everything 548
550
+ ▁create 549
551
+ ▁trans 550
552
+ ▁idea 551
553
+ ▁count 552
554
+ ▁probably 553
555
+ ▁power 554
556
+ ▁between 555
557
+ ▁build 556
558
+ ▁hard 557
559
+ ▁understand 558
560
+ ▁while 559
561
+ ▁four 560
562
+ ▁Yeah 561
563
+ > 562
564
+ ▁nice 563
565
+ ▁problem 564
566
+ ▁watch 565
567
+ ▁together 566
568
+ ific 567
569
+ ▁already 568
570
+ ▁light 569
571
+ ▁small 570
572
+ ▁God 571
573
+ ▁close 572
574
+ ▁type 573
575
+ ▁product 574
576
+ ▁word 575
577
+ ▁anything 576
578
+ ▁process 577
579
+ ING 578
580
+ ▁stuff 579
581
+ ; 580
582
+ ▁experience 581
583
+ ▁left 582
584
+ ▁reason 583
585
+ struct 584
586
+ ▁level 585
587
+ ▁free 586
588
+ ▁coming 587
589
+ ▁friend 588
590
+ ▁quite 589
591
+ ▁making 590
592
+ press 591
593
+ ▁money 592
594
+ ▁information 593
595
+ ▁direct 594
596
+ ▁When 595
597
+ ▁develop 596
598
+ ▁full 597
599
+ ▁ju 598
600
+ ▁enough 599
601
+ ▁follow 600
602
+ ▁believe 601
603
+ ▁support 602
604
+ / 603
605
+ ▁Okay 604
606
+ < 605
607
+ ▁large 606
608
+ ▁become 607
609
+ ▁quick 608
610
+ ▁business 609
611
+ ▁design 610
612
+ ▁without 611
613
+ ▁AND 612
614
+ ▁group 613
615
+ ▁complete 614
616
+ ▁control 615
617
+ ▁space 616
618
+ ▁month 617
619
+ ▁click 618
620
+ ▁color 619
621
+ ▁remember 620
622
+ ▁connect 621
623
+ X 622
624
+ Q 623
625
+ Z 624
626
+ % 625
627
+ $ 626
628
+ * 627
629
+ J 628
630
+ q 629
631
+ & 630
632
+ # 631
633
+ + 632
634
+ ( 633
635
+ @ 634
636
+ = 635
637
+ ^ 636
638
+ £ 637
639
+ ° 638
640
+ € 639
641
+ α 640
642
+ ε 641
643
+ π 642
644
+ ρ 643
645
+ λ 644
646
+ σ 645
647
+ θ 646
648
+ β 647
649
+ Δ 648
650
+ φ 649
651
+ #0 650
652
+ #1 651
es/es_decoder.onnx ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d4ce176b94b25f7acc88717bc3f704fcf5d6e131aaac2e0cabab3885541181ee
3
+ size 617488
es/es_encoder.onnx ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:2d9f5ef87d1a5257f8a6687e21501c56f3aa2fcbfcfab9364dcc4ce4e06ae81b
3
+ size 154878102
es/es_joiner.onnx ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:dae35df88d676e320fcdb99217328e66dcf722bf11b0f2459e14ddb5b982ded5
3
+ size 336817
es/es_tokens.txt ADDED
@@ -0,0 +1,652 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ <blk> 0
2
+ <sos/eos> 1
3
+ <unk> 2
4
+ s 3
5
+ ▁de 4
6
+ r 5
7
+ ▁a 6
8
+ ▁que 7
9
+ n 8
10
+ ▁ 9
11
+ ▁la 10
12
+ ▁y 11
13
+ ▁en 12
14
+ ▁el 13
15
+ a 14
16
+ , 15
17
+ o 16
18
+ ▁es 17
19
+ e 18
20
+ l 19
21
+ . 20
22
+ ▁se 21
23
+ ▁con 22
24
+ do 23
25
+ u 24
26
+ ta 25
27
+ i 26
28
+ ra 27
29
+ ▁no 28
30
+ ▁un 29
31
+ c 30
32
+ ca 31
33
+ la 32
34
+ na 33
35
+ ▁lo 34
36
+ ▁o 35
37
+ ▁los 36
38
+ to 37
39
+ mos 38
40
+ ▁re 39
41
+ da 40
42
+ ▁una 41
43
+ ▁para 42
44
+ ti 43
45
+ ma 44
46
+ ▁su 45
47
+ ▁por 46
48
+ es 47
49
+ ci 48
50
+ ri 49
51
+ ce 50
52
+ ▁si 51
53
+ ción 52
54
+ lo 53
55
+ d 54
56
+ ▁ca 55
57
+ de 56
58
+ ▁me 57
59
+ ó 58
60
+ er 59
61
+ ro 60
62
+ é 61
63
+ li 62
64
+ di 63
65
+ te 64
66
+ t 65
67
+ ▁te 66
68
+ re 67
69
+ ▁al 68
70
+ sa 69
71
+ le 70
72
+ ▁las 71
73
+ á 72
74
+ ▁esta 73
75
+ m 74
76
+ ▁in 75
77
+ si 76
78
+ ▁del 77
79
+ cu 78
80
+ p 79
81
+ ▁ma 80
82
+ ga 81
83
+ ▁como 82
84
+ co 83
85
+ mente 84
86
+ ndo 85
87
+ ▁mi 86
88
+ ▁va 87
89
+ ▁más 88
90
+ vi 89
91
+ ▁e 90
92
+ ▁di 91
93
+ ba 92
94
+ en 93
95
+ gu 94
96
+ no 95
97
+ pe 96
98
+ ▁co 97
99
+ pa 98
100
+ b 99
101
+ mi 100
102
+ g 101
103
+ ▁ha 102
104
+ ni 103
105
+ í 104
106
+ go 105
107
+ ▁le 106
108
+ f 107
109
+ ▁este 108
110
+ y 109
111
+ z 110
112
+ ▁pro 111
113
+ me 112
114
+ ja 113
115
+ so 114
116
+ os 115
117
+ ▁pero 116
118
+ tra 117
119
+ tu 118
120
+ mo 119
121
+ se 120
122
+ ne 121
123
+ ar 122
124
+ ▁cu 123
125
+ ▁vi 124
126
+ ▁po 125
127
+ ▁está 126
128
+ ▁pa 127
129
+ ▁vamos 128
130
+ jo 129
131
+ ▁pe 130
132
+ za 131
133
+ nte 132
134
+ po 133
135
+ ▁A 134
136
+ ▁tiene 135
137
+ tro 136
138
+ ▁ya 137
139
+ ▁porque 138
140
+ bi 139
141
+ ▁f 140
142
+ ▁c 141
143
+ ▁so 142
144
+ rá 143
145
+ rio 144
146
+ ente 145
147
+ cha 146
148
+ idad 147
149
+ ▁muy 148
150
+ al 149
151
+ cio 150
152
+ je 151
153
+ ría 152
154
+ pi 153
155
+ fi 154
156
+ ▁i 155
157
+ ▁ex 156
158
+ ía 157
159
+ ▁puede 158
160
+ ▁aquí 159
161
+ ▁esto 160
162
+ ▁tu 161
163
+ lu 162
164
+ ▁mo 163
165
+ ▁hacer 164
166
+ sta 165
167
+ mp 166
168
+ h 167
169
+ ▁to 168
170
+ les 169
171
+ ▁también 170
172
+ tar 171
173
+ gi 172
174
+ ▁p 173
175
+ res 174
176
+ dos 175
177
+ ▁pre 176
178
+ ▁todo 177
179
+ be 178
180
+ va 179
181
+ nta 180
182
+ ▁yo 181
183
+ das 182
184
+ ú 183
185
+ fe 184
186
+ ▁hay 185
187
+ ▁ver 186
188
+ ▁ba 187
189
+ ve 188
190
+ tos 189
191
+ ▁mu 190
192
+ ▁son 191
193
+ vo 192
194
+ ciones 193
195
+ ▁ve 194
196
+ ▁fue 195
197
+ ▁com 196
198
+ ble 197
199
+ ▁ser 198
200
+ ten 199
201
+ 0 200
202
+ ña 201
203
+ ón 202
204
+ ño 203
205
+ lla 204
206
+ ▁per 205
207
+ ▁li 206
208
+ ▁sa 207
209
+ ▁así 208
210
+ ▁nos 209
211
+ ▁Es 210
212
+ que 211
213
+ ado 212
214
+ ▁bien 213
215
+ cto 214
216
+ ▁cuando 215
217
+ ▁cre 216
218
+ ▁persona 217
219
+ k 218
220
+ miento 219
221
+ ▁pues 220
222
+ ▁tra 221
223
+ ▁Y 222
224
+ ▁eso 223
225
+ ▁C 224
226
+ ▁ju 225
227
+ ▁S 226
228
+ nos 227
229
+ ▁pu 228
230
+ ▁ci 229
231
+ encia 230
232
+ mb 231
233
+ ▁1 232
234
+ zo 233
235
+ ▁hi 234
236
+ qui 235
237
+ era 236
238
+ ▁ahora 237
239
+ ntes 238
240
+ ▁entonces 239
241
+ ▁voy 240
242
+ los 241
243
+ ver 242
244
+ ido 243
245
+ ▁mucho 244
246
+ nd 245
247
+ ▁he 246
248
+ nda 247
249
+ ria 248
250
+ bo 249
251
+ rte 250
252
+ ▁sus 251
253
+ ▁fa 252
254
+ sión 253
255
+ ▁ho 254
256
+ ▁hace 255
257
+ ru 256
258
+ ▁tenemos 257
259
+ ▁P 258
260
+ ▁punto 259
261
+ ▁da 260
262
+ llo 261
263
+ tas 262
264
+ ▁bueno 263
265
+ ▁otro 264
266
+ ▁T 265
267
+ gra 266
268
+ nto 267
269
+ ▁primer 268
270
+ ▁b 269
271
+ ▁dos 270
272
+ j 271
273
+ ▁fi 272
274
+ ▁sobre 273
275
+ ▁qué 274
276
+ is 275
277
+ dad 276
278
+ ▁parte 277
279
+ ▁sin 278
280
+ tura 279
281
+ pre 280
282
+ ron 281
283
+ ▁qui 282
284
+ ▁día 283
285
+ ▁gra 284
286
+ ▁dis 285
287
+ lle 286
288
+ ▁pasa 287
289
+ ste 288
290
+ ▁forma 289
291
+ cho 290
292
+ ▁uno 291
293
+ ▁ne 292
294
+ ▁inter 293
295
+ ▁La 294
296
+ ▁bo 295
297
+ án 296
298
+ ▁ni 297
299
+ cta 298
300
+ ge 299
301
+ ▁todos 300
302
+ sti 301
303
+ ▁entre 302
304
+ ▁otra 303
305
+ ▁vez 304
306
+ ndi 305
307
+ ncia 306
308
+ ▁donde 307
309
+ tri 308
310
+ ▁par 309
311
+ cia 310
312
+ ▁pi 311
313
+ bu 312
314
+ iendo 313
315
+ ▁esa 314
316
+ ter 315
317
+ ▁nuestro 316
318
+ lar 317
319
+ tiva 318
320
+ endo 319
321
+ ▁El 320
322
+ ▁sal 321
323
+ ▁ti 322
324
+ ▁hu 323
325
+ lí 324
326
+ menta 325
327
+ ▁tener 326
328
+ ▁ro 327
329
+ ▁era 328
330
+ ▁mismo 329
331
+ xi 330
332
+ du 331
333
+ ▁decir 332
334
+ ▁vida 333
335
+ ▁poco 334
336
+ ▁sea 335
337
+ ven 336
338
+ tó 337
339
+ ▁hasta 338
340
+ ▁mejor 339
341
+ ▁car 340
342
+ den 341
343
+ nza 342
344
+ ? 343
345
+ ▁do 344
346
+ ▁g 345
347
+ ▁ese 346
348
+ x 347
349
+ ▁B 348
350
+ bra 349
351
+ ▁algo 350
352
+ tivo 351
353
+ rse 352
354
+ remos 353
355
+ ▁sí 354
356
+ ▁tiempo 355
357
+ mento 356
358
+ tí 357
359
+ 5 358
360
+ ▁ga 359
361
+ ▁cómo 360
362
+ ▁ven 361
363
+ for 362
364
+ ▁v 363
365
+ ▁están 364
366
+ gen 365
367
+ ▁En 366
368
+ v 367
369
+ ▁R 368
370
+ ▁vídeo 369
371
+ ▁cada 370
372
+ V 371
373
+ tica 372
374
+ gre 373
375
+ ▁ahí 374
376
+ cción 375
377
+ ▁siempre 376
378
+ ▁sabe 377
379
+ ▁Co 378
380
+ ico 379
381
+ ▁pie 380
382
+ ▁desde 381
383
+ ▁dice 382
384
+ ▁habla 383
385
+ ▁les 384
386
+ ▁reco 385
387
+ ▁fu 386
388
+ ▁em 387
389
+ ▁nuestra 388
390
+ ▁había 389
391
+ ▁llega 390
392
+ ▁ra 391
393
+ ▁caso 392
394
+ w 393
395
+ ▁poder 394
396
+ ▁momento 395
397
+ ▁nada 396
398
+ N 397
399
+ ▁nosotros 398
400
+ ▁E 399
401
+ mina 400
402
+ ▁cla 401
403
+ ▁cosas 402
404
+ ▁ejemplo 403
405
+ ▁tengo 404
406
+ M 405
407
+ ch 406
408
+ ▁imp 407
409
+ J 408
410
+ tico 409
411
+ ▁tú 410
412
+ bre 411
413
+ ▁dar 412
414
+ ▁él 413
415
+ ▁D 414
416
+ ▁G 415
417
+ ▁cer 416
418
+ bri 417
419
+ ▁importante 418
420
+ ▁tan 419
421
+ tre 420
422
+ ▁vol 421
423
+ ▁manera 422
424
+ ▁mí 423
425
+ ▁Si 424
426
+ ▁podemos 425
427
+ tru 426
428
+ ▁hoy 427
429
+ ▁hecho 428
430
+ 4 429
431
+ ▁I 430
432
+ ▁plan 431
433
+ ▁años 432
434
+ duc 433
435
+ che 434
436
+ ▁tanto 435
437
+ ▁No 436
438
+ ▁verdad 437
439
+ ya 438
440
+ ▁L 439
441
+ ▁F 440
442
+ ▁Se 441
443
+ ifica 442
444
+ ▁después 443
445
+ ▁2 444
446
+ liza 445
447
+ ▁quiere 446
448
+ ▁estaba 447
449
+ ▁come 448
450
+ pu 449
451
+ : 450
452
+ éis 451
453
+ ▁tipo 452
454
+ ▁utiliza 453
455
+ ▁luego 454
456
+ ▁lleva 455
457
+ ▁tres 456
458
+ ▁cuenta 457
459
+ ▁du 458
460
+ cía 459
461
+ ▁Pa 460
462
+ ▁menos 461
463
+ ▁final 462
464
+ ▁llama 463
465
+ ▁De 464
466
+ ▁lugar 465
467
+ ▁Lo 466
468
+ ▁be 467
469
+ ▁mundo 468
470
+ ▁encontr 469
471
+ cial 470
472
+ gue 471
473
+ ▁compa 472
474
+ ▁fe 473
475
+ ▁Por 474
476
+ ▁O 475
477
+ ▁3 476
478
+ cional 477
479
+ ▁solo 478
480
+ ▁Ma 479
481
+ ▁gusta 480
482
+ ▁poner 481
483
+ uel 482
484
+ ▁tal 483
485
+ ▁gente 484
486
+ ▁genera 485
487
+ ▁acá 486
488
+ ▁hemos 487
489
+ ieron 488
490
+ ▁cual 489
491
+ ▁alguna 490
492
+ ▁trabaja 491
493
+ 9 492
494
+ ▁hacia 493
495
+ ▁Un 494
496
+ 2 495
497
+ ▁toma 496
498
+ ▁estoy 497
499
+ ▁mayor 498
500
+ ▁agua 499
501
+ ▁ayuda 500
502
+ ▁nuevo 501
503
+ ▁veces 502
504
+ ▁tenía 503
505
+ 6 504
506
+ 8 505
507
+ ▁Pero 506
508
+ Q 507
509
+ ▁ustedes 508
510
+ ▁trabajo 509
511
+ ▁20 510
512
+ ▁grande 511
513
+ ▁trans 512
514
+ ñ 513
515
+ ▁medio 514
516
+ ▁problema 515
517
+ ▁Dios 516
518
+ ▁color 517
519
+ ▁chi 518
520
+ 1 519
521
+ ▁igual 520
522
+ ▁quiero 521
523
+ bilidad 522
524
+ ▁auto 523
525
+ ▁dentro 524
526
+ ▁cualquier 525
527
+ ▁sé 526
528
+ ▁siguiente 527
529
+ ▁hombre 528
530
+ ▁tenga 529
531
+ ▁necesita 530
532
+ puesto 531
533
+ ▁número 532
534
+ ▁diferente 533
535
+ ▁bastante 534
536
+ ▁corre 535
537
+ ▁nueva 536
538
+ ¿ 537
539
+ 7 538
540
+ ▁Ha 539
541
+ - 540
542
+ ▁busca 541
543
+ A 542
544
+ ▁poquito 543
545
+ ▁pregunta 544
546
+ ▁haciendo 545
547
+ ▁durante 546
548
+ ▁pueda 547
549
+ ▁viene 548
550
+ ▁parece 549
551
+ ▁además 550
552
+ ▁podría 551
553
+ ▁aquel 552
554
+ ▁cambia 553
555
+ H 554
556
+ ▁canal 555
557
+ ▁familia 556
558
+ ; 557
559
+ ▁vuelta 558
560
+ scrib 559
561
+ ▁Mi 560
562
+ ▁mujer 561
563
+ E 562
564
+ ▁país 563
565
+ ▁idea 564
566
+ ▁buena 565
567
+ ▁termina 566
568
+ ▁palabra 567
569
+ ▁realiza 568
570
+ ! 569
571
+ ▁nivel 570
572
+ ▁ciudad 571
573
+ ▁aplica 572
574
+ ▁espera 573
575
+ ▁señor 574
576
+ ▁aunque 575
577
+ ▁historia 576
578
+ ▁cuerpo 577
579
+ ▁sistema 578
580
+ ▁algunos 579
581
+ ▁coloca 580
582
+ ▁realmente 581
583
+ ▁último 582
584
+ I 583
585
+ ▁resulta 584
586
+ ▁gracias 585
587
+ ▁fácil 586
588
+ O 587
589
+ ▁Ho 588
590
+ ▁Entonces 589
591
+ ▁haber 590
592
+ ▁Me 591
593
+ ▁sólo 592
594
+ ▁incluso 593
595
+ ▁dinero 594
596
+ ▁funciona 595
597
+ ▁producto 596
598
+ ▁cambio 597
599
+ ▁especial 598
600
+ ▁información 599
601
+ U 600
602
+ ▁proceso 601
603
+ ▁nunca 602
604
+ ▁compra 603
605
+ ▁empezar 604
606
+ S 605
607
+ ▁padre 606
608
+ puesta 607
609
+ ▁posible 608
610
+ 3 609
611
+ ▁empresa 610
612
+ ▁amigos 611
613
+ K 612
614
+ R 613
615
+ T 614
616
+ C 615
617
+ W 616
618
+ D 617
619
+ P 618
620
+ L 619
621
+ q 620
622
+ % 621
623
+ ü 622
624
+ X 623
625
+ É 624
626
+ ¡ 625
627
+ Z 626
628
+ B 627
629
+ ' 628
630
+ G 629
631
+ Á 630
632
+ F 631
633
+ Y 632
634
+ Ó 633
635
+ Í 634
636
+ Ú 635
637
+ $ 636
638
+ * 637
639
+ / 638
640
+ # 639
641
+ + 640
642
+ > 641
643
+ Ü 642
644
+ _ 643
645
+ @ 644
646
+ [ 645
647
+ € 646
648
+ < 647
649
+ = 648
650
+ & 649
651
+ #0 650
652
+ #1 651
fr/fr_decoder.onnx ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6aed547570e3ab5afc05429a017cedd3a056c16df3baa5703f02461cefa25bac
3
+ size 617488
fr/fr_encoder.onnx ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e02facae1daf6f1f13da67ea3ace7c722516d0868d1768d78c0580bc22cc0c5b
3
+ size 70092599
fr/fr_joiner.onnx ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a51eec759bcdcaae2614686fa2a8b57417b2d420dd55a5a5558b388d35a9b2b6
3
+ size 336817
fr/fr_tokens.txt ADDED
@@ -0,0 +1,653 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ <blk> 0
2
+ <sos/eos> 1
3
+ 000 2
4
+ 00 3
5
+ <unk> 4
6
+ . 5
7
+ s 6
8
+ ▁ 7
9
+ ’ 8
10
+ e 9
11
+ ▁de 10
12
+ t 11
13
+ 1 12
14
+ ▁0 13
15
+ ▁c 14
16
+ 9 15
17
+ r 16
18
+ 7 17
19
+ , 18
20
+ 5 19
21
+ o 20
22
+ 4 21
23
+ 6 22
24
+ 2 23
25
+ er 24
26
+ u 25
27
+ é 26
28
+ i 27
29
+ p 28
30
+ ▁la 29
31
+ 3 30
32
+ 8 31
33
+ ▁d 32
34
+ a 33
35
+ ▁l 34
36
+ ▁et 35
37
+ on 36
38
+ ▁le 37
39
+ ▁s 38
40
+ es 39
41
+ n 40
42
+ c 41
43
+ ▁à 42
44
+ ▁en 43
45
+ est 44
46
+ ▁que 45
47
+ ▁a 46
48
+ in 47
49
+ v 48
50
+ ▁les 49
51
+ g 50
52
+ is 51
53
+ f 52
54
+ ent 53
55
+ l 54
56
+ m 55
57
+ ▁un 56
58
+ it 57
59
+ ▁qui 58
60
+ ▁des 59
61
+ ▁p 60
62
+ il 61
63
+ ▁vous 62
64
+ ▁f 63
65
+ ▁m 64
66
+ ▁n 65
67
+ ▁pour 66
68
+ ▁pas 67
69
+ re 68
70
+ ▁je 69
71
+ ▁t 70
72
+ le 71
73
+ ant 72
74
+ ▁ce 73
75
+ ▁qu 74
76
+ te 75
77
+ y 76
78
+ ▁2 77
79
+ ▁une 78
80
+ an 79
81
+ ▁b 80
82
+ ▁on 81
83
+ b 82
84
+ ▁par 83
85
+ ir 84
86
+ ▁dans 85
87
+ ▁3 86
88
+ al 87
89
+ ▁se 88
90
+ ▁est 89
91
+ ▁il 90
92
+ ment 91
93
+ ar 92
94
+ ▁j 93
95
+ at 94
96
+ ai 95
97
+ ▁du 96
98
+ ▁re 97
99
+ h 98
100
+ ▁sur 99
101
+ ri 100
102
+ ra 101
103
+ or 102
104
+ ation 103
105
+ ais 104
106
+ ▁ça 105
107
+ ▁au 106
108
+ ▁g 107
109
+ ique 108
110
+ ou 109
111
+ ont 110
112
+ è 111
113
+ ▁v 112
114
+ eur 113
115
+ ▁r 114
116
+ - 115
117
+ ▁ma 116
118
+ d 117
119
+ ie 118
120
+ li 119
121
+ ez 120
122
+ ▁plus 121
123
+ ement 122
124
+ ▁tout 123
125
+ elle 124
126
+ en 125
127
+ ▁4 126
128
+ ▁va 127
129
+ me 128
130
+ ▁ré 129
131
+ ▁C 130
132
+ ce 131
133
+ our 132
134
+ ch 133
135
+ ▁5 134
136
+ ▁dé 135
137
+ ▁donc 136
138
+ ▁in 137
139
+ ci 138
140
+ us 139
141
+ qu 140
142
+ im 141
143
+ ro 142
144
+ ▁mais 143
145
+ ur 144
146
+ ol 145
147
+ ▁fait 146
148
+ ne 147
149
+ am 148
150
+ ▁pro 149
151
+ tre 150
152
+ ▁avec 151
153
+ 0 152
154
+ che 153
155
+ om 154
156
+ ité 155
157
+ ul 156
158
+ ex 157
159
+ ▁ne 158
160
+ de 159
161
+ ter 160
162
+ té 161
163
+ ▁ou 162
164
+ que 163
165
+ iv 164
166
+ ▁vo 165
167
+ id 166
168
+ ée 167
169
+ ort 168
170
+ ▁ch 169
171
+ age 170
172
+ ér 171
173
+ ▁si 172
174
+ ▁po 173
175
+ end 174
176
+ ut 175
177
+ ac 176
178
+ ▁nous 177
179
+ ▁vi 178
180
+ ▁bien 179
181
+ ▁pr 180
182
+ ▁0.20 181
183
+ ▁y 182
184
+ el 183
185
+ ▁me 184
186
+ eux 185
187
+ ré 186
188
+ ▁é 187
189
+ ▁comme 188
190
+ ▁sa 189
191
+ ▁faire 190
192
+ os 191
193
+ ▁mon 192
194
+ un 193
195
+ di 194
196
+ ouv 195
197
+ ons 196
198
+ 13 197
199
+ ▁sont 198
200
+ ▁cette 199
201
+ ▁1. 200
202
+ as 201
203
+ la 202
204
+ 42 203
205
+ ance 204
206
+ ▁P 205
207
+ ct 206
208
+ ▁h 207
209
+ aire 208
210
+ ▁peu 209
211
+ ▁M 210
212
+ if 211
213
+ aux 212
214
+ ▁0.21 213
215
+ ▁1 214
216
+ ic 215
217
+ ag 216
218
+ ens 217
219
+ ille 218
220
+ ▁comp 219
221
+ au 220
222
+ ▁là 221
223
+ ▁même 222
224
+ tion 223
225
+ ait 224
226
+ ▁très 225
227
+ ▁peut 226
228
+ 45 227
229
+ 38 228
230
+ ▁S 229
231
+ ier 230
232
+ ▁6 231
233
+ 43 232
234
+ ▁10 233
235
+ ien 234
236
+ vi 235
237
+ ▁11 236
238
+ out 237
239
+ ▁aussi 238
240
+ 72 239
241
+ ab 240
242
+ 62 241
243
+ ▁0.22 242
244
+ éc 243
245
+ ▁12 244
246
+ 49 245
247
+ ver 246
248
+ 52 247
249
+ 48 248
250
+ ▁tu 249
251
+ né 250
252
+ 32 251
253
+ ière 252
254
+ 75 253
255
+ ▁petit 254
256
+ k 255
257
+ ▁pré 256
258
+ ▁Et 257
259
+ ▁D 258
260
+ all 259
261
+ 02 260
262
+ ine 261
263
+ 73 262
264
+ ▁A 263
265
+ 65 264
266
+ ▁0.23 265
267
+ ap 266
268
+ 79 267
269
+ lo 268
270
+ onne 269
271
+ 46 270
272
+ j 271
273
+ 63 272
274
+ lé 273
275
+ 78 274
276
+ du 275
277
+ ▁parce 276
278
+ ▁tra 277
279
+ ▁dire 278
280
+ 03 279
281
+ 82 280
282
+ 01 281
283
+ ▁8 282
284
+ ven 283
285
+ op 284
286
+ 44 285
287
+ 05 286
288
+ 35 287
289
+ z 288
290
+ 69 289
291
+ autre 290
292
+ 68 291
293
+ 33 292
294
+ 08 293
295
+ 09 294
296
+ ▁pla 295
297
+ ▁cha 296
298
+ ▁moi 297
299
+ une 298
300
+ 76 299
301
+ 06 300
302
+ 04 301
303
+ ▁0.24 302
304
+ able 303
305
+ 12 304
306
+ ▁être 305
307
+ ▁cons 306
308
+ ▁quand 307
309
+ 07 308
310
+ ence 309
311
+ ▁votre 310
312
+ lu 311
313
+ ▁puis 312
314
+ ▁15 313
315
+ 85 314
316
+ ▁son 315
317
+ sion 316
318
+ ▁chose 317
319
+ eau 318
320
+ 83 319
321
+ ▁sou 320
322
+ app 321
323
+ 15 322
324
+ 66 323
325
+ ▁0.25 324
326
+ um 325
327
+ ▁Le 326
328
+ ▁app 327
329
+ ad 328
330
+ 88 329
331
+ 98 330
332
+ ▁elle 331
333
+ ▁14 332
334
+ ▁19 333
335
+ ture 334
336
+ ▁parti 335
337
+ ère 336
338
+ form 337
339
+ x 338
340
+ ▁deux 339
341
+ était 340
342
+ ▁dis 341
343
+ ction 342
344
+ ale 343
345
+ ▁0.26 344
346
+ ign 345
347
+ ress 346
348
+ E 347
349
+ ▁vraiment 348
350
+ à 349
351
+ acc 350
352
+ ê 351
353
+ ▁Il 352
354
+ art 353
355
+ ▁16 354
356
+ ord 355
357
+ ob 356
358
+ N 357
359
+ ▁0.27 358
360
+ and 359
361
+ ndre 360
362
+ ▁leur 361
363
+ ▁18 362
364
+ ph 363
365
+ ▁L 364
366
+ î 365
367
+ ▁alors 366
368
+ ▁ét 367
369
+ ▁B 368
370
+ ▁20 369
371
+ ▁17 370
372
+ ▁Je 371
373
+ sse 372
374
+ ▁0.28 373
375
+ ête 374
376
+ ▁T 375
377
+ ▁faut 376
378
+ ▁ba 377
379
+ ▁tous 378
380
+ ▁déc 379
381
+ ▁personne 380
382
+ rait 381
383
+ être 382
384
+ ▁22 383
385
+ emb 384
386
+ ▁fin 385
387
+ ▁0.29 386
388
+ ion 387
389
+ â 388
390
+ ▁mé 389
391
+ F 390
392
+ ▁quelque 391
393
+ ange 392
394
+ ▁beaucoup 393
395
+ ▁vais 394
396
+ cul 395
397
+ ég 396
398
+ ▁suis 397
399
+ omme 398
400
+ ▁21 399
401
+ ▁fois 400
402
+ ▁temps 401
403
+ ▁où 402
404
+ R 403
405
+ ten 404
406
+ J 405
407
+ ▁On 406
408
+ ard 407
409
+ ▁0.31 408
410
+ ▁lui 409
411
+ ▁notre 410
412
+ ô 411
413
+ ible 412
414
+ ▁Donc 413
415
+ ud 414
416
+ ▁23 415
417
+ min 416
418
+ ▁été 417
419
+ ▁ici 418
420
+ ▁voilà 419
421
+ ▁0.30 420
422
+ ▁avoir 421
423
+ I 422
424
+ ▁vidéo 423
425
+ ▁voir 424
426
+ ▁0.32 425
427
+ ▁coup 426
428
+ ▁grand 427
429
+ hui 428
430
+ ▁jour 429
431
+ ▁avez 430
432
+ ix 431
433
+ ▁En 432
434
+ û 433
435
+ ▁La 434
436
+ ▁0.33 435
437
+ ▁travail 436
438
+ ▁encore 437
439
+ ette 438
440
+ ▁juste 439
441
+ tru 440
442
+ ▁permet 441
443
+ V 442
444
+ gue 443
445
+ ▁0.34 444
446
+ O 445
447
+ ▁att 446
448
+ A 447
449
+ ▁exemple 448
450
+ ▁0.35 449
451
+ ▁24 450
452
+ ▁pense 451
453
+ G 452
454
+ ▁trouve 453
455
+ ▁comment 454
456
+ ▁toujours 455
457
+ ▁0.36 456
458
+ isse 457
459
+ w 458
460
+ ▁après 459
461
+ ▁certain 460
462
+ ▁pouvoir 461
463
+ ▁déjà 462
464
+ ▁simple 463
465
+ ▁passe 464
466
+ ç 465
467
+ H 466
468
+ Q 467
469
+ S 468
470
+ U 469
471
+ œ 470
472
+ P 471
473
+ T 472
474
+ C 473
475
+ K 474
476
+ É 475
477
+ D 476
478
+ Ç 477
479
+ ï 478
480
+ M 479
481
+ W 480
482
+ Y 481
483
+ % 482
484
+ L 483
485
+ q 484
486
+ X 485
487
+ B 486
488
+ À 487
489
+ ë 488
490
+ Z 489
491
+ ù 490
492
+ Â 491
493
+ * 492
494
+ / 493
495
+ ° 494
496
+ + 495
497
+ € 496
498
+ ü 497
499
+ Ê 498
500
+ [ 499
501
+ ö 500
502
+ È 501
503
+ Î 502
504
+ $ 503
505
+ # 504
506
+ á 505
507
+ _ 506
508
+ ä 507
509
+ Ô 508
510
+ í 509
511
+ ó 510
512
+ > 511
513
+ < 512
514
+ ō 513
515
+ ñ 514
516
+ @ 515
517
+ Œ 516
518
+ & 517
519
+ ā 518
520
+ = 519
521
+ ú 520
522
+ æ 521
523
+ ã 522
524
+ Ï 523
525
+ ū 524
526
+ ì 525
527
+ ń 526
528
+ ī 527
529
+ ø 528
530
+ Á 529
531
+ ł 530
532
+ ć 531
533
+ Ö 532
534
+ å 533
535
+ Ü 534
536
+ š 535
537
+ ÿ 536
538
+ Ž 537
539
+ Ó 538
540
+ Ë 539
541
+ č 540
542
+ ò 541
543
+ Ō 542
544
+ Ù 543
545
+ ə 544
546
+ Ø 545
547
+ ý 546
548
+ Ã 547
549
+ Æ 548
550
+ ś 549
551
+ ɛ 550
552
+ ğ 551
553
+ ş 552
554
+ Û 553
555
+ õ 554
556
+ ž 555
557
+ ē 556
558
+ ș 557
559
+ ṇ 558
560
+ Ā 559
561
+ ı 560
562
+ ṅ 561
563
+ İ 562
564
+ ő 563
565
+ ư 564
566
+ Ś 565
567
+ ɑ 566
568
+ Å 567
569
+ Ñ 568
570
+ ů 569
571
+ ɪ 570
572
+ ḍ 571
573
+ Ț 572
574
+ Č 573
575
+ Š 574
576
+ Ÿ 575
577
+ ð 576
578
+ ě 577
579
+ Í 578
580
+ ß 579
581
+ ɔ 580
582
+ ḥ 581
583
+ ả 582
584
+ ợ 583
585
+ ṣ 584
586
+ ṭ 585
587
+ ế 586
588
+ ṃ 587
589
+ ă 588
590
+ ė 589
591
+ ř 590
592
+ ɸ 591
593
+ ệ 592
594
+ ᴀ 593
595
+ Ä 594
596
+ Đ 595
597
+ ę 596
598
+ Ő 597
599
+ ż 598
600
+ ǐ 599
601
+ ɜ 600
602
+ ʒ 601
603
+ ᴛ 602
604
+ ạ 603
605
+ Ì 604
606
+ ɶ 605
607
+ ề 606
608
+ ộ 607
609
+ Ş 608
610
+ ǎ 609
611
+ Ł 610
612
+ ơ 611
613
+ ǔ 612
614
+ ɲ 613
615
+ ɴ 614
616
+ ʁ 615
617
+ ʃ 616
618
+ ắ 617
619
+ ớ 618
620
+ ờ 619
621
+ ǒ 620
622
+ đ 621
623
+ ʀ 622
624
+ Ṛ 623
625
+ Þ 624
626
+ Ą 625
627
+ ĝ 626
628
+ Ħ 627
629
+ ƒ 628
630
+ ɥ 629
631
+ Ṫ 630
632
+ ấ 631
633
+ ễ 632
634
+ ṛ 633
635
+ ; 634
636
+ ! 635
637
+ : 636
638
+ ą 637
639
+ ? 638
640
+ Ò 639
641
+ Ú 640
642
+ Ć 641
643
+ ċ 642
644
+ Ğ 643
645
+ ĥ 644
646
+ ħ 645
647
+ ĩ 646
648
+ Ī 647
649
+ ĭ 648
650
+ Ń 649
651
+ #0 650
652
+ #1 651
653
+ #2 652