Upload tokens.txt with huggingface_hub

tokens.txt

@@ -0,0 +1,129 @@
+<unk> 0
+s 1
+▁ 2
+a 3
+i 4
+t 5
+e 6
+u 7
+c 8
+n 9
+m 10
+l 11
+r 12
+▁de 13
+o 14
+es 15
+d 16
+▁a 17
+p 18
+ar 19
+' 20
+v 21
+g 22
+b 23
+▁d 24
+er 25
+▁la 26
+en 27
+▁p 28
+or 29
+re 30
+▁f 31
+▁el 32
+al 33
+ra 34
+in 35
+▁l 36
+▁i 37
+▁es 38
+an 39
+on 40
+ri 41
+▁va 42
+ta 43
+at 44
+▁s 45
+à 46
+ci 47
+▁t 48
+f 49
+▁en 50
+ll 51
+▁se 52
+▁c 53
+▁per 54
+ant 55
+x 56
+ti 57
+h 58
+▁un 59
+▁al 60
+ment 61
+▁b 62
+it 63
+q 64
+▁del 65
+▁no 66
+▁re 67
+ca 68
+j 69
+í 70
+os 71
+di 72
+▁és 73
+▁com 74
+▁ca 75
+ol 76
+ó 77
+▁con 78
+li 79
+ent 80
+è 81
+▁ma 82
+vi 83
+▁g 84
+▁les 85
+gu 86
+▁que 87
+la 88
+ò 89
+▁amb 90
+tre 91
+- 92
+▁po 93
+▁ha 94
+▁els 95
+▁una 96
+ada 97
+ro 98
+é 99
+z 100
+eix 101
+ació 102
+▁pro 103
+que 104
+ter 105
+▁co 106
+ç 107
+▁ser 108
+y 109
+▁aquest 110
+▁mo 111
+▁mi 112
+▁hi 113
+▁més 114
+any 115
+▁també 116
+ú 117
+k 118
+· 119
+w 120
+ï 121
+ü 122
+á 123
+ñ 124
+— 125
+– 126
+ı 127
+<blk> 128