ljcamargo commited on
Commit
8b9cd61
·
verified ·
1 Parent(s): 531d402

Upload recipe/special_tokens.txt with huggingface_hub

Browse files
Files changed (1) hide show
  1. recipe/special_tokens.txt +156 -0
recipe/special_tokens.txt CHANGED
@@ -16,26 +16,37 @@
16
  <|fim_pad|>
17
  <|repo_name|>
18
  <|file_sep|>
 
19
  <|lang:all|>
 
20
  <|lang:amu|>
21
  <|lang:amu0|>
22
  <|lang:azg|>
 
23
  <|lang:azn0|>
24
  <|lang:azz|>
 
 
25
  <|lang:cco|>
26
  <|lang:cco0|>
27
  <|lang:chd|>
28
  <|lang:chf|>
29
  <|lang:chf0|>
 
30
  <|lang:chq|>
 
31
  <|lang:cle|>
32
  <|lang:cnl|>
33
  <|lang:cnt|>
 
34
  <|lang:coz|>
35
  <|lang:cpa|>
36
  <|lang:crn|>
37
  <|lang:cso|>
 
38
  <|lang:cta|>
 
 
39
  <|lang:ctp|>
40
  <|lang:ctp0|>
41
  <|lang:ctu|>
@@ -43,71 +54,216 @@
43
  <|lang:cut|>
44
  <|lang:cux|>
45
  <|lang:de|>
 
46
  <|lang:en-US|>
47
  <|lang:eng|>
48
  <|lang:es-MX|>
 
49
  <|lang:fr|>
50
  <|lang:hch|>
 
51
  <|lang:hus|>
52
  <|lang:huv|>
 
53
  <|lang:hve0|>
 
54
  <|lang:jac|>
 
 
55
  <|lang:kek|>
 
 
56
  <|lang:knj|>
 
 
57
  <|lang:lac|>
58
  <|lang:maa|>
59
  <|lang:maj|>
60
  <|lang:mam|>
61
  <|lang:maq|>
 
62
  <|lang:mau|>
63
  <|lang:maz|>
64
  <|lang:maz0|>
 
 
65
  <|lang:mco|>
66
  <|lang:mco0|>
67
  <|lang:meh|>
68
  <|lang:mfy|>
 
69
  <|lang:mib|>
70
  <|lang:mie|>
71
  <|lang:mig|>
 
 
 
72
  <|lang:mim0|>
 
 
 
73
  <|lang:mix|>
 
 
 
 
 
 
74
  <|lang:mmc|>
 
 
 
 
 
 
 
 
75
  <|lang:mxv0|>
 
 
 
 
 
76
  <|lang:nch|>
 
 
 
 
 
 
 
 
 
 
 
 
 
 
77
  <|lang:nlv0|>
 
 
78
  <|lang:ntp|>
79
  <|lang:ocu|>
 
 
 
 
 
 
80
  <|lang:ots|>
 
 
81
  <|lang:pei|>
82
  <|lang:pia|>
 
 
83
  <|lang:pmq|>
 
 
84
  <|lang:poi|>
85
  <|lang:poi0|>
 
 
 
86
  <|lang:pt-BR|>
87
  <|lang:pua|>
88
  <|lang:quc|>
89
  <|lang:sei|>
90
  <|lang:spa|>
 
91
  <|lang:stp|>
 
 
92
  <|lang:tar0|>
 
 
 
 
 
 
 
 
93
  <|lang:toj|>
 
94
  <|lang:top|>
 
 
95
  <|lang:tpp|>
 
96
  <|lang:tpx|>
97
  <|lang:tpx0|>
 
 
 
98
  <|lang:trs|>
99
  <|lang:trs0|>
 
 
100
  <|lang:tsz|>
 
101
  <|lang:tzh|>
102
  <|lang:tzo|>
103
  <|lang:unk|>
104
  <|lang:var|>
 
 
 
 
 
 
 
 
 
 
 
 
 
105
  <|lang:yaq|>
106
  <|lang:yua|>
 
 
 
 
 
107
  <|lang:zai|>
108
  <|lang:zam|>
 
 
 
 
 
 
 
 
 
109
  <|lang:zoc|>
 
 
110
  <|lang:zoq|>
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
111
  <|reserved_0|>
112
  <|reserved_1|>
113
  <|reserved_2|>
 
16
  <|fim_pad|>
17
  <|repo_name|>
18
  <|file_sep|>
19
+ <|lang:agu|>
20
  <|lang:all|>
21
+ <|lang:am1*|>
22
  <|lang:amu|>
23
  <|lang:amu0|>
24
  <|lang:azg|>
25
+ <|lang:azn|>
26
  <|lang:azn0|>
27
  <|lang:azz|>
28
+ <|lang:cac|>
29
+ <|lang:cak|>
30
  <|lang:cco|>
31
  <|lang:cco0|>
32
  <|lang:chd|>
33
  <|lang:chf|>
34
  <|lang:chf0|>
35
+ <|lang:chj|>
36
  <|lang:chq|>
37
+ <|lang:chz|>
38
  <|lang:cle|>
39
  <|lang:cnl|>
40
  <|lang:cnt|>
41
+ <|lang:cok|>
42
  <|lang:coz|>
43
  <|lang:cpa|>
44
  <|lang:crn|>
45
  <|lang:cso|>
46
+ <|lang:ct2*|>
47
  <|lang:cta|>
48
+ <|lang:cte|>
49
+ <|lang:ctl|>
50
  <|lang:ctp|>
51
  <|lang:ctp0|>
52
  <|lang:ctu|>
 
54
  <|lang:cut|>
55
  <|lang:cux|>
56
  <|lang:de|>
57
+ <|lang:dih|>
58
  <|lang:en-US|>
59
  <|lang:eng|>
60
  <|lang:es-MX|>
61
+ <|lang:esp|>
62
  <|lang:fr|>
63
  <|lang:hch|>
64
+ <|lang:hu2*|>
65
  <|lang:hus|>
66
  <|lang:huv|>
67
+ <|lang:hve|>
68
  <|lang:hve0|>
69
+ <|lang:ixc|>
70
  <|lang:jac|>
71
+ <|lang:jmx|>
72
+ <|lang:kak|>
73
  <|lang:kek|>
74
+ <|lang:kic|>
75
+ <|lang:klb|>
76
  <|lang:knj|>
77
+ <|lang:knja|>
78
+ <|lang:ku1*|>
79
  <|lang:lac|>
80
  <|lang:maa|>
81
  <|lang:maj|>
82
  <|lang:mam|>
83
  <|lang:maq|>
84
+ <|lang:mat|>
85
  <|lang:mau|>
86
  <|lang:maz|>
87
  <|lang:maz0|>
88
+ <|lang:mbz|>
89
+ <|lang:mbzl|>
90
  <|lang:mco|>
91
  <|lang:mco0|>
92
  <|lang:meh|>
93
  <|lang:mfy|>
94
+ <|lang:mhc|>
95
  <|lang:mib|>
96
  <|lang:mie|>
97
  <|lang:mig|>
98
+ <|lang:mih|>
99
+ <|lang:mil|>
100
+ <|lang:mim|>
101
  <|lang:mim0|>
102
+ <|lang:mio|>
103
+ <|lang:mir|>
104
+ <|lang:mit|>
105
  <|lang:mix|>
106
+ <|lang:miy|>
107
+ <|lang:miz|>
108
+ <|lang:mjc|>
109
+ <|lang:mks|>
110
+ <|lang:ml2*|>
111
+ <|lang:ml8*|>
112
  <|lang:mmc|>
113
+ <|lang:mop|>
114
+ <|lang:mpm|>
115
+ <|lang:mto|>
116
+ <|lang:mxb|>
117
+ <|lang:mxp|>
118
+ <|lang:mxq|>
119
+ <|lang:mxt|>
120
+ <|lang:mxv|>
121
  <|lang:mxv0|>
122
+ <|lang:mxy|>
123
+ <|lang:mza|>
124
+ <|lang:mzi|>
125
+ <|lang:mzia|>
126
+ <|lang:naz|>
127
  <|lang:nch|>
128
+ <|lang:ncj|>
129
+ <|lang:ncl|>
130
+ <|lang:ncx|>
131
+ <|lang:neq|>
132
+ <|lang:ngu|>
133
+ <|lang:nhe|>
134
+ <|lang:nhg|>
135
+ <|lang:nhi|>
136
+ <|lang:nhm|>
137
+ <|lang:nhn|>
138
+ <|lang:nhw|>
139
+ <|lang:nhx|>
140
+ <|lang:nhy|>
141
+ <|lang:nlv|>
142
  <|lang:nlv0|>
143
+ <|lang:npl|>
144
+ <|lang:nsu|>
145
  <|lang:ntp|>
146
  <|lang:ocu|>
147
+ <|lang:ood|>
148
+ <|lang:opt|>
149
+ <|lang:ote|>
150
+ <|lang:otm|>
151
+ <|lang:otn|>
152
+ <|lang:otq|>
153
  <|lang:ots|>
154
+ <|lang:ott|>
155
+ <|lang:pbs|>
156
  <|lang:pei|>
157
  <|lang:pia|>
158
+ <|lang:plo|>
159
+ <|lang:pls|>
160
  <|lang:pmq|>
161
+ <|lang:pmz|>
162
+ <|lang:poe|>
163
  <|lang:poi|>
164
  <|lang:poi0|>
165
+ <|lang:pos|>
166
+ <|lang:ppi|>
167
+ <|lang:pps|>
168
  <|lang:pt-BR|>
169
  <|lang:pua|>
170
  <|lang:quc|>
171
  <|lang:sei|>
172
  <|lang:spa|>
173
+ <|lang:st1*|>
174
  <|lang:stp|>
175
+ <|lang:tac|>
176
+ <|lang:tar|>
177
  <|lang:tar0|>
178
+ <|lang:tcf|>
179
+ <|lang:tee|>
180
+ <|lang:thh|>
181
+ <|lang:tku|>
182
+ <|lang:tl1*|>
183
+ <|lang:tla|>
184
+ <|lang:to1*|>
185
+ <|lang:toc|>
186
  <|lang:toj|>
187
+ <|lang:too|>
188
  <|lang:top|>
189
+ <|lang:tos|>
190
+ <|lang:tpl|>
191
  <|lang:tpp|>
192
+ <|lang:tpt|>
193
  <|lang:tpx|>
194
  <|lang:tpx0|>
195
+ <|lang:tqt|>
196
+ <|lang:tr3*|>
197
+ <|lang:trc|>
198
  <|lang:trs|>
199
  <|lang:trs0|>
200
+ <|lang:ts4*|>
201
+ <|lang:ts9*|>
202
  <|lang:tsz|>
203
+ <|lang:ttc|>
204
  <|lang:tzh|>
205
  <|lang:tzo|>
206
  <|lang:unk|>
207
  <|lang:var|>
208
+ <|lang:vmj|>
209
+ <|lang:vmm|>
210
+ <|lang:vmp|>
211
+ <|lang:vmy|>
212
+ <|lang:vmy0|>
213
+ <|lang:vmz|>
214
+ <|lang:wa1*|>
215
+ <|lang:xta|>
216
+ <|lang:xtd|>
217
+ <|lang:xti|>
218
+ <|lang:xtj|>
219
+ <|lang:xtm|>
220
+ <|lang:xtn|>
221
  <|lang:yaq|>
222
  <|lang:yua|>
223
+ <|lang:zaa|>
224
+ <|lang:zab|>
225
+ <|lang:zac|>
226
+ <|lang:zad|>
227
+ <|lang:zae|>
228
  <|lang:zai|>
229
  <|lang:zam|>
230
+ <|lang:zao|>
231
+ <|lang:zaq|>
232
+ <|lang:zaq0|>
233
+ <|lang:zar|>
234
+ <|lang:zas|>
235
+ <|lang:zav|>
236
+ <|lang:zaw|>
237
+ <|lang:zca|>
238
+ <|lang:zl3*|>
239
  <|lang:zoc|>
240
+ <|lang:zoh|>
241
+ <|lang:zoh0|>
242
  <|lang:zoq|>
243
+ <|lang:zoqa|>
244
+ <|lang:zor|>
245
+ <|lang:zos|>
246
+ <|lang:zpb|>
247
+ <|lang:zpc|>
248
+ <|lang:zpd|>
249
+ <|lang:zpf|>
250
+ <|lang:zpg|>
251
+ <|lang:zpi|>
252
+ <|lang:zpl|>
253
+ <|lang:zpm|>
254
+ <|lang:zpn|>
255
+ <|lang:zpo|>
256
+ <|lang:zpq|>
257
+ <|lang:zpr|>
258
+ <|lang:zpt|>
259
+ <|lang:zpu|>
260
+ <|lang:zpv|>
261
+ <|lang:zpz|>
262
+ <|lang:zsr|>
263
+ <|lang:ztg|>
264
+ <|lang:ztp|>
265
+ <|lang:ztq|>
266
+ <|lang:zts|>
267
  <|reserved_0|>
268
  <|reserved_1|>
269
  <|reserved_2|>