Hugging Face's logo

tachiwin
/
tokenizer_test3

tokenizers
tokenizer
multilingual
byte-level-bpe
indigenous-languages
tachiwin
Model card Files
xet
 Community
tokenizer_test3
File size: 2,795 Bytes
68bb59f
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
{
  "backend": "tokenizers",
  "bos_token": "<|startoftext|>",
  "eos_token": "<|endoftext|>",
  "extra_special_tokens": [
    "<|im_start|>",
    "<|im_end|>",
    "<|tool_call_start|>",
    "<|tool_call_end|>",
    "<|tool_response_start|>",
    "<|tool_response_end|>",
    "<|reasoning_start|>",
    "<|reasoning_end|>",
    "<|fim_prefix|>",
    "<|fim_middle|>",
    "<|fim_suffix|>",
    "<|fim_pad|>",
    "<|repo_name|>",
    "<|file_sep|>",
    "<|lang:all|>",
    "<|lang:amu|>",
    "<|lang:amu0|>",
    "<|lang:azg|>",
    "<|lang:azn0|>",
    "<|lang:azz|>",
    "<|lang:cco|>",
    "<|lang:cco0|>",
    "<|lang:chd|>",
    "<|lang:chf|>",
    "<|lang:chf0|>",
    "<|lang:chq|>",
    "<|lang:cle|>",
    "<|lang:cnl|>",
    "<|lang:cnt|>",
    "<|lang:coz|>",
    "<|lang:cpa|>",
    "<|lang:crn|>",
    "<|lang:cso|>",
    "<|lang:cta|>",
    "<|lang:ctp|>",
    "<|lang:ctp0|>",
    "<|lang:ctu|>",
    "<|lang:cuc|>",
    "<|lang:cut|>",
    "<|lang:cux|>",
    "<|lang:de|>",
    "<|lang:en-US|>",
    "<|lang:eng|>",
    "<|lang:es-MX|>",
    "<|lang:fr|>",
    "<|lang:hch|>",
    "<|lang:hus|>",
    "<|lang:huv|>",
    "<|lang:hve0|>",
    "<|lang:jac|>",
    "<|lang:kek|>",
    "<|lang:knj|>",
    "<|lang:lac|>",
    "<|lang:maa|>",
    "<|lang:maj|>",
    "<|lang:mam|>",
    "<|lang:maq|>",
    "<|lang:mau|>",
    "<|lang:maz|>",
    "<|lang:maz0|>",
    "<|lang:mco|>",
    "<|lang:mco0|>",
    "<|lang:meh|>",
    "<|lang:mfy|>",
    "<|lang:mib|>",
    "<|lang:mie|>",
    "<|lang:mig|>",
    "<|lang:mim0|>",
    "<|lang:mix|>",
    "<|lang:mmc|>",
    "<|lang:mxv0|>",
    "<|lang:nch|>",
    "<|lang:nlv0|>",
    "<|lang:ntp|>",
    "<|lang:ocu|>",
    "<|lang:ots|>",
    "<|lang:pei|>",
    "<|lang:pia|>",
    "<|lang:pmq|>",
    "<|lang:poi|>",
    "<|lang:poi0|>",
    "<|lang:pt-BR|>",
    "<|lang:pua|>",
    "<|lang:quc|>",
    "<|lang:sei|>",
    "<|lang:spa|>",
    "<|lang:stp|>",
    "<|lang:tar0|>",
    "<|lang:toj|>",
    "<|lang:top|>",
    "<|lang:tpp|>",
    "<|lang:tpx|>",
    "<|lang:tpx0|>",
    "<|lang:trs|>",
    "<|lang:trs0|>",
    "<|lang:tsz|>",
    "<|lang:tzh|>",
    "<|lang:tzo|>",
    "<|lang:unk|>",
    "<|lang:var|>",
    "<|lang:yaq|>",
    "<|lang:yua|>",
    "<|lang:zai|>",
    "<|lang:zam|>",
    "<|lang:zoc|>",
    "<|lang:zoq|>",
    "<|reserved_0|>",
    "<|reserved_1|>",
    "<|reserved_2|>",
    "<|reserved_3|>",
    "<|reserved_4|>",
    "<|reserved_5|>",
    "<|reserved_6|>",
    "<|reserved_7|>",
    "<|reserved_8|>",
    "<|reserved_9|>",
    "<|reserved_10|>",
    "<|reserved_11|>",
    "<|reserved_12|>",
    "<|reserved_13|>",
    "<|reserved_14|>",
    "<|reserved_15|>"
  ],
  "model_max_length": 4096,
  "pad_token": "<|pad|>",
  "tokenizer_class": "TokenizersBackend",
  "unk_token": "<|unk|>"
}