File size: 3,075 Bytes
0d7e5e2
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
{
  "add_prefix_space": false,
  "audio_bos_token": "<|audio_start|>",
  "audio_eos_token": "<|audio_end|>",
  "audio_token": "<|audio_pad|>",
  "backend": "tokenizers",
  "bos_token": "<bos>",
  "clean_up_tokenization_spaces": false,
  "eos_token": "<eos>",
  "errors": "replace",
  "extra_special_tokens": [
    "<input>",
    "<output>",
    "<3d_begin>",
    "<z_0>",
    "<z_1>",
    "<z_2>",
    "<z_3>",
    "<z_4>",
    "<z_5>",
    "<z_6>",
    "<z_7>",
    "<n_0>",
    "<n_1>",
    "<n_2>",
    "<n_3>",
    "<n_4>",
    "<n_5>",
    "<n_6>",
    "<n_7>",
    "<n_8>",
    "<n_9>",
    "<n_10>",
    "<n_11>",
    "<n_12>",
    "<n_13>",
    "<n_14>",
    "<n_15>",
    "<n_16>",
    "<n_17>",
    "<n_18>",
    "<n_19>",
    "<n_20>",
    "<n_21>",
    "<n_22>",
    "<n_23>",
    "<n_24>",
    "<n_25>",
    "<n_26>",
    "<n_27>",
    "<n_28>",
    "<n_29>",
    "<n_30>",
    "<n_31>",
    "<n_32>",
    "<n_33>",
    "<n_34>",
    "<n_35>",
    "<n_36>",
    "<n_37>",
    "<n_38>",
    "<n_39>",
    "<n_40>",
    "<n_41>",
    "<n_42>",
    "<n_43>",
    "<n_44>",
    "<n_45>",
    "<n_46>",
    "<n_47>",
    "<n_48>",
    "<n_49>",
    "<n_50>",
    "<n_51>",
    "<n_52>",
    "<n_53>",
    "<n_54>",
    "<n_55>",
    "<n_56>",
    "<n_57>",
    "<n_58>",
    "<n_59>",
    "<n_60>",
    "<n_61>",
    "<n_62>",
    "<n_63>",
    "<n_64>",
    "<c_0>",
    "<c_1>",
    "<c_2>",
    "<c_3>",
    "<c_4>",
    "<c_5>",
    "<c_6>",
    "<c_7>",
    "<c_8>",
    "<c_9>",
    "<c_10>",
    "<c_11>",
    "<c_12>",
    "<c_13>",
    "<c_14>",
    "<c_15>",
    "<c_16>",
    "<c_17>",
    "<c_18>",
    "<c_19>",
    "<c_20>",
    "<c_21>",
    "<c_22>",
    "<c_23>",
    "<c_24>",
    "<c_25>",
    "<c_26>",
    "<c_27>",
    "<c_28>",
    "<c_29>",
    "<c_30>",
    "<c_31>",
    "<c_32>",
    "<c_33>",
    "<c_34>",
    "<c_35>",
    "<c_36>",
    "<c_37>",
    "<c_38>",
    "<c_39>",
    "<c_40>",
    "<c_41>",
    "<c_42>",
    "<c_43>",
    "<c_44>",
    "<c_45>",
    "<c_46>",
    "<c_47>",
    "<c_48>",
    "<c_49>",
    "<c_50>",
    "<c_51>",
    "<c_52>",
    "<c_53>",
    "<c_54>",
    "<c_55>",
    "<c_56>",
    "<c_57>",
    "<c_58>",
    "<c_59>",
    "<c_60>",
    "<c_61>",
    "<c_62>",
    "<c_63>",
    "<3d_end>"
  ],
  "image_token": "<|image_pad|>",
  "is_local": true,
  "model_max_length": 262144,
  "model_specific_special_tokens": {
    "audio_bos_token": "<|audio_start|>",
    "audio_eos_token": "<|audio_end|>",
    "audio_token": "<|audio_pad|>",
    "image_token": "<|image_pad|>",
    "video_token": "<|video_pad|>",
    "vision_bos_token": "<|vision_start|>",
    "vision_eos_token": "<|vision_end|>"
  },
  "pad_token": "<pad>",
  "pretokenize_regex": "(?i:'s|'t|'re|'ve|'m|'ll|'d)|[^\\r\\n\\p{L}\\p{N}]?[\\p{L}\\p{M}]+|\\p{N}| ?[^\\s\\p{L}\\p{M}\\p{N}]+[\\r\\n]*|\\s*[\\r\\n]+|\\s+(?!\\S)|\\s+",
  "split_special_tokens": false,
  "tokenizer_class": "TokenizersBackend",
  "unk_token": null,
  "video_token": "<|video_pad|>",
  "vision_bos_token": "<|vision_start|>",
  "vision_eos_token": "<|vision_end|>"
}