First commit

data/lang_bpe_1000/tokens.txt

@@ -0,0 +1,1002 @@
+<blk> 0
+<sos/eos> 1
+<unk> 2
+▁, 3
+▁ 4
+s 5
+▁. 6
+▁et 7
+▁ja 8
+▁on 9
+i 10
+l 11
+t 12
+e 13
+a 14
+d 15
+u 16
+r 17
+▁see 18
+▁siis 19
+▁ka 20
+st 21
+b 22
+n 23
+le 24
+ma 25
+▁ei 26
+m 27
+te 28
+▁ma 29
+me 30
+da 31
+k 32
+ta 33
+▁kui 34
+ks 35
+h 36
+id 37
+ga 38
+ne 39
+▁me 40
+o 41
+▁aga 42
+se 43
+▁nii 44
+▁või 45
+- 46
+ri 47
+▁ta 48
+ti 49
+va 50
+nud 51
+is 52
+▁mis 53
+vad 54
+▁seda 55
+▁ole 56
+gi 57
+ja 58
+tu 59
+õ 60
+▁te 61
+▁nagu 62
+▁oli 63
+ku 64
+ü 65
+v 66
+de 67
+▁selle 68
+ra 69
+la 70
+ä 71
+ge 72
+li 73
+▁väga 74
+el 75
+ni 76
+▁sa 77
+lt 78
+▁ju 79
+▁noh 80
+ka 81
+p 82
+ke 83
+▁saa 84
+▁pa 85
+sa 86
+▁? 87
+gu 88
+nd 89
+ki 90
+nda 91
+▁oma 92
+▁kas 93
+▁a 94
+▁nüüd 95
+oo 96
+na 97
+re 98
+us 99
+▁seal 100
+▁siin 101
+he 102
+▁va 103
+▁no 104
+tud 105
+▁need 106
+al 107
+si 108
+es 109
+▁kõik 110
+▁k 111
+g 112
+mi 113
+vi 114
+▁üks 115
+mise 116
+ru 117
+mine 118
+▁kes 119
+▁pi 120
+▁meil 121
+su 122
+▁tegelikult 123
+▁palju 124
+▁võib 125
+▁la 126
+tus 127
+▁jah 128
+▁o 129
+ha 130
+hi 131
+lu 132
+du 133
+nu 134
+ed 135
+sti 136
+pi 137
+an 138
+▁täna 139
+eri 140
+▁tea 141
+▁tu 142
+it 143
+ve 144
+▁kus 145
+ndi 146
+as 147
+ide 148
+▁juba 149
+▁mida 150
+▁ko 151
+▁veel 152
+▁si 153
+▁pea 154
+▁Eesti 155
+▁e 156
+tsi 157
+▁töö 158
+▁meie 159
+▁välja 160
+ju 161
+di 162
+▁nende 163
+▁nad 164
+ad 165
+▁neid 166
+f 167
+▁kuidas 168
+sid 169
+▁üle 170
+▁käi 171
+il 172
+sin 173
+▁eks 174
+▁re 175
+in 176
+▁to 177
+▁tule 178
+▁ke 179
+takse 180
+▁ku 181
+▁ära 182
+▁aasta 183
+▁praegu 184
+ar 185
+▁ühe 186
+▁se 187
+▁mitte 188
+olla 189
+dus 190
+ko 191
+▁ikkagi 192
+▁tee 193
+▁iga 194
+lik 195
+en 196
+▁sõ 197
+lise 198
+▁nä 199
+▁P 200
+▁mingi 201
+▁selline 202
+teist 203
+pe 204
+sse 205
+▁tuleb 206
+▁S 207
+▁selles 208
+tada 209
+pa 210
+▁olnud 211
+use 212
+tse 213
+▁ki 214
+▁A 215
+▁ve 216
+▁tõ 217
+▁küll 218
+▁võ 219
+▁teha 220
+▁oleks 221
+▁tä 222
+▁sellest 223
+▁K 224
+▁näiteks 225
+▁ha 226
+▁f 227
+▁mõ 228
+at 229
+ng 230
+▁hea 231
+▁minu 232
+ngu 233
+des 234
+▁ikka 235
+▁loo 236
+lus 237
+tuse 238
+hu 239
+konna 240
+line 241
+ndus 242
+mis 243
+▁mu 244
+ba 245
+▁suur 246
+▁just 247
+öelda 248
+▁kaks 249
+▁p 250
+▁su 251
+▁lii 252
+ud 253
+mist 254
+ele 255
+▁taha 256
+▁sest 257
+▁hakka 258
+▁mille 259
+▁midagi 260
+liku 261
+sed 262
+▁vaata 263
+▁sellise 264
+▁ra 265
+▁osa 266
+or 267
+▁kõ 268
+ik 269
+▁suure 270
+▁vastu 271
+▁ette 272
+▁pu 273
+▁kindlasti 274
+ist 275
+▁po 276
+▁sü 277
+▁ütle 278
+▁aru 279
+▁saab 280
+sime 281
+pp 282
+mu 283
+▁ise 284
+kümne 285
+▁vä 286
+▁mul 287
+selt 288
+▁esi 289
+▁kogu 290
+ini 291
+▁jä 292
+▁rohkem 293
+et 294
+tab 295
+▁kuul 296
+▁kõige 297
+öö 298
+▁küsimus 299
+▁N 300
+▁E 301
+▁ar 302
+val 303
+lda 304
+▁vaja 305
+▁tema 306
+▁lihtsalt 307
+tes 308
+▁kolm 309
+▁vii 310
+on 311
+▁vahe 312
+▁koha 313
+▁jää 314
+iku 315
+mus 316
+▁eest 317
+▁sama 318
+▁arvan 319
+▁na 320
+▁lähe 321
+kond 322
+mas 323
+▁too 324
+▁öelda 325
+maa 326
+▁olen 327
+▁peale 328
+est 329
+▁kokku 330
+▁päris 331
+lo 332
+▁rääki 333
+▁olla 334
+▁H 335
+▁mina 336
+▁ehk 337
+▁oleme 338
+▁ho 339
+▁teise 340
+▁sinna 341
+ro 342
+▁R 343
+▁ütleme 344
+▁läbi 345
+▁inimesed 346
+▁edasi 347
+▁hästi 348
+▁enam 349
+tel 350
+▁J 351
+▁niimoodi 352
+▁T 353
+▁riigi 354
+▁I 355
+▁peaks 356
+▁aja 357
+▁lõ 358
+▁ainult 359
+▁ajal 360
+ani 361
+▁suu 362
+▁õp 363
+▁koos 364
+lli 365
+▁tead 366
+▁ega 367
+▁tagasi 368
+▁nime 369
+▁vähe 370
+valt 371
+nna 372
+kse 373
+▁tõesti 374
+to 375
+nni 376
+liselt 377
+▁mil 378
+▁enda 379
+▁vi 380
+▁viis 381
+▁korra 382
+kord 383
+▁muidugi 384
+▁raha 385
+▁kon 386
+kirja 387
+päeva 388
+▁sellist 389
+▁mõttes 390
+tatud 391
+▁ava 392
+▁eel 393
+▁üldse 394
+c 395
+ab 396
+ika 397
+▁üheksa 398
+▁olid 399
+▁ela 400
+tava 401
+▁pe 402
+▁kasuta 403
+sioon 404
+▁tuli 405
+kku 406
+▁sel 407
+alt 408
+▁elu 409
+▁in 410
+▁tal 411
+üü 412
+▁päeva 413
+aja 414
+▁Euroopa 415
+del 416
+▁and 417
+▁ri 418
+▁pärast 419
+▁võiks 420
+▁kahe 421
+▁era 422
+▁peab 423
+▁vaid 424
+▁inimeste 425
+▁võimalik 426
+▁asi 427
+▁põ 428
+pu 429
+tega 430
+ngi 431
+töö 432
+po 433
+test 434
+▁olema 435
+list 436
+▁arva 437
+▁Ka 438
+jad 439
+aadi 440
+▁mõne 441
+▁tähendab 442
+▁kaheksa 443
+▁kelle 444
+▁lu 445
+▁miks 446
+▁nõu 447
+▁tuhat 448
+▁teema 449
+▁piir 450
+▁räägi 451
+ina 452
+▁asja 453
+maks 454
+▁näe 455
+eid 456
+▁aeg 457
+▁küsi 458
+▁juurde 459
+umi 460
+oni 461
+kas 462
+je 463
+▁kesk 464
+▁enne 465
+▁li 466
+tele 467
+▁pü 468
+▁mõtle 469
+▁teine 470
+dega 471
+▁kohta 472
+▁sai 473
+▁toimu 474
+▁isegi 475
+▁peal 476
+▁otsus 477
+likult 478
+▁probleem 479
+▁Eestis 480
+▁jaoks 481
+suguse 482
+▁sul 483
+▁kuni 484
+▁jälle 485
+▁poolt 486
+▁aastat 487
+▁olemas 488
+nts 489
+▁ilm 490
+▁läheb 491
+▁selge 492
+äär 493
+▁pä 494
+▁poole 495
+▁ongi 496
+tama 497
+▁B 498
+▁riik 499
+▁kor 500
+▁hu 501
+▁erinev 502
+▁kohe 503
+▁põhi 504
+▁all 505
+tsiooni 506
+▁mo 507
+▁kooli 508
+vä 509
+▁muu 510
+▁pool 511
+▁parem 512
+▁sellega 513
+mo 514
+▁pla 515
+sus 516
+▁tü 517
+▁uue 518
+koht 519
+▁siia 520
+▁natukene 521
+▁võta 522
+▁tr 523
+▁võimalus 524
+▁tööta 525
+ssi 526
+▁an 527
+▁suht 528
+▁vaba 529
+▁mä 530
+▁kuskil 531
+▁sellepärast 532
+▁kodu 533
+▁vasta 534
+M 535
+▁teie 536
+ö 537
+▁kuidagi 538
+▁sisse 539
+seadus 540
+▁mulle 541
+▁ütles 542
+jo 543
+vus 544
+▁auto 545
+▁vali 546
+▁jõud 547
+▁kuus 548
+jõu 549
+▁natuke 550
+atsiooni 551
+▁linna 552
+▁saada 553
+▁pole 554
+▁aega 555
+▁Tallinna 556
+L 557
+amet 558
+▁täpselt 559
+▁täiesti 560
+▁valitsus 561
+▁noor 562
+▁kuna 563
+▁ees 564
+▁üles 565
+▁nelja 566
+▁tegi 567
+▁lõpu 568
+▁sõna 569
+dest 570
+▁tere 571
+▁ning 572
+▁saanud 573
+▁keele 574
+▁sellele 575
+▁vana 576
+▁pere 577
+▁väike 578
+▁neli 579
+▁vist 580
+▁sealt 581
+▁viie 582
+jate 583
+▁soovi 584
+▁pro 585
+▁taga 586
+▁lapse 587
+juht 588
+▁lä 589
+▁selleks 590
+laste 591
+rvi 592
+vo 593
+▁neil 594
+▁läks 595
+▁juhtu 596
+tamise 597
+▁kinni 598
+▁uuri 599
+▁seitse 600
+▁kirjuta 601
+▁Ra 602
+▁ühis 603
+▁para 604
+▁puhul 605
+▁tuhande 606
+▁maailma 607
+▁keegi 608
+▁Va 609
+▁kaasa 610
+▁so 611
+▁ro 612
+▁lisa 613
+▁minna 614
+▁esimese 615
+▁muutu 616
+O 617
+miseks 618
+usega 619
+▁nädala 620
+▁aastal 621
+luse 622
+▁alg 623
+▁räägime 624
+taja 625
+▁inimene 626
+▁aitäh 627
+ori 628
+▁kolme 629
+▁alati 630
+▁õige 631
+▁Te 632
+▁valmis 633
+▁loomulikult 634
+▁soo 635
+V 636
+▁anna 637
+▁hä 638
+▁laste 639
+▁puudu 640
+▁laul 641
+aar 642
+võtt 643
+its 644
+▁käe 645
+asi 646
+päev 647
+▁rahva 648
+▁abi 649
+▁asjad 650
+▁majandus 651
+▁Ma 652
+▁hoo 653
+▁hetkel 654
+▁tund 655
+järg 656
+▁pane 657
+lased 658
+▁Ta 659
+▁di 660
+▁inimese 661
+või 662
+rdi 663
+▁sellised 664
+▁õhtu 665
+▁inimesi 666
+▁korda 667
+▁niisugune 668
+pool 669
+likku 670
+▁kuju 671
+olu 672
+ktor 673
+kogu 674
+per 675
+aeg 676
+liste 677
+▁raske 678
+▁muud 679
+seisu 680
+▁ala 681
+▁tunne 682
+▁leid 683
+▁võtta 684
+meetri 685
+ber 686
+▁pigem 687
+▁Mar 688
+▁kakskümmend 689
+▁mitme 690
+tiivse 691
+▁vaadata 692
+▁joo 693
+y 694
+▁protsenti 695
+▁tegele 696
+süsteem 697
+▁ilmselt 698
+▁huvi 699
+▁mõni 700
+▁välis 701
+▁kiire 702
+▁põhjus 703
+▁au 704
+▁alla 705
+▁ühte 706
+▁panna 707
+▁tegema 708
+kaitse 709
+▁mõju 710
+▁eriti 711
+▁tehtud 712
+▁teinud 713
+▁hinna 714
+▁õnne 715
+▁Vi 716
+▁kõigi 717
+▁uus 718
+▁olukord 719
+▁oluline 720
+▁juures 721
+▁näita 722
+▁kur 723
+G 724
+▁kunagi 725
+▁olulise 726
+▁rahu 727
+▁valimis 728
+▁kohtu 729
+▁huvitav 730
+▁oska 731
+▁jooksul 732
+▁asju 733
+▁Li 734
+▁ennast 735
+▁info 736
+▁umbes 737
+▁ilus 738
+▁näha 739
+C 740
+j 741
+▁üsna 742
+▁järgi 743
+▁tore 744
+▁tõsi 745
+▁meeldi 746
+▁lugu 747
+▁Tartu 748
+▁esimene 749
+▁kuhu 750
+▁tundub 751
+▁juhul 752
+▁tervis 753
+▁viimase 754
+▁otse 755
+järje 756
+▁oota 757
+▁jõua 758
+▁luba 759
+täht 760
+minister 761
+moodi 762
+▁ümber 763
+▁kümme 764
+▁hääl 765
+poliitika 766
+ministeerium 767
+eerida 768
+kontroll 769
+▁küla 770
+valitsus 771
+▁mingisuguse 772
+oloog 773
+kooli 774
+▁tõepoolest 775
+▁müü 776
+▁euro 777
+▁alusta 778
+' 779
+F 780
+▁kahekümne 781
+▁vähemalt 782
+▁tegevus 783
+▁kell 784
+▁Liidu 785
+aalne 786
+▁La 787
+š 788
+▁väikse 789
+projekt 790
+D 791
+▁sotsiaal 792
+▁tulnud 793
+▁kahju 794
+▁vot 795
+▁tugev 796
+E 797
+▁järgmise 798
+organ 799
+▁arvu 800
+eeritud 801
+▁millise 802
+▁istu 803
+▁terve 804
+U 805
+▁Venemaa 806
+▁kõrval 807
+aali 808
+▁tulla 809
+▁läinud 810
+ministri 811
+▁tekki 812
+▁mängi 813
+▁rahvus 814
+▁tegemist 815
+▁põhja 816
+▁kätte 817
+riigi 818
+▁järel 819
+▁hakata 820
+▁märk 821
+▁täie 822
+▁alguses 823
+▁samamoodi 824
+w 825
+▁mäleta 826
+▁ehita 827
+▁pöör 828
+▁määra 829
+Ü 830
+▁hoopis 831
+▁mind 832
+▁üld 833
+▁raamatu 834
+▁Le 835
+punkt 836
+▁toeta 837
+asutus 838
+R 839
+▁inimest 840
+▁kolmkümmend 841
+▁seotud 842
+▁julge 843
+▁metsa 844
+▁laps 845
+▁Mi 846
+▁seitsme 847
+▁uudis 848
+▁Soome 849
+protsess 850
+▁õpetaja 851
+programm 852
+▁põhimõtteliselt 853
+▁kõigepealt 854
+korra 855
+���meelest 856
+▁Kesk 857
+▁silma 858
+▁lennu 859
+▁konkreetse 860
+▁mitu 861
+▁hommikust 862
+▁jätku 863
+▁lõpeta 864
+▁erinevate 865
+▁samuti 866
+▁Ve 867
+▁kutsu 868
+▁arvesta 869
+jää 870
+▁varem 871
+▁liikme 872
+ž 873
+S 874
+K 875
+T 876
+A 877
+z 878
+W 879
+I 880
+x 881
+P 882
+Õ 883
+Y 884
+N 885
+. 886
+B 887
+Z 888
+J 889
+H 890
+Q 891
+Š 892
+, 893
+X 894
+2 895
+q 896
+" 897
+3 898
+1 899
+0 900
+4 901
+Ž 902
+5 903
+9 904
+8 905
+о 906
+é 907
+6 908
+@ 909
+7 910
+а 911
+и 912
+т 913
+н 914
+л 915
+к 916
+; 917
+ˇ 918
+я 919
+с 920
+ú 921
+& 922
+д 923
+г 924
+ц 925
+у 926
+е 927
+р 928
+ć 929
+з 930
+á 931
+ë 932
+ø 933
+ė 934
+ш 935
+К 936
+ы 937
+) 938
+É 939
+à 940
+ğ 941
+й 942
+ð 943
+М 944
+п 945
+м 946
+< 947
+~ 948
+å 949
+è 950
+Č 951
+А 952
+Р 953
+С 954
+б 955
+в 956
+ф 957
+х 958
+ь 959
+ю 960
+’ 961
+ī 962
+ņ 963
+ą 964
+ó 965
+( 966
+э 967
+# 968
+í 969
+æ 970
+ū 971
+ā 972
+ç 973
+ē 974
+́ 975
+č 976
+> 977
+Ä 978
+Ö 979
+: 980
+! 981
+В 982
+ß 983
+Ā 984
+/ 985
+| 986
+ž 987
+§ 988
+þ 989
+ł 990
+Ś 991
+И 992
+У 993
+Å 994
+ô 995
+? 996
+Ø 997
+ķ 998
+ś 999
+#0 1000
+#1 1001