Zual commited on
Commit
5981655
·
verified ·
1 Parent(s): dce8e40

Upload tokenizer.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. tokenizer.json +83 -83
tokenizer.json CHANGED
@@ -82,32 +82,32 @@
82
  "h7": 79,
83
  "h8": 80,
84
  "R": 81,
85
- "P": 82,
86
- "Q": 83,
87
- "N": 84,
88
  "K": 85,
89
- "B": 86,
90
- "x": 87,
91
- ".": 88,
92
- "O": 89,
93
- "=": 90,
94
- "-": 91,
95
- "9": 92,
96
- "0": 93,
97
- "+": 94,
98
- "#": 95,
99
- "'": 96,
100
- ",": 97,
101
- "\"": 98,
102
- "\t": 99,
103
- "]": 100,
104
- " ": 101,
105
- ")": 102,
106
- "\n": 103,
107
- "(": 104,
108
- "[": 105,
109
- "/": 106,
110
- "!": 107
111
  },
112
  "id2token": {
113
  "0": "<PAD>",
@@ -192,76 +192,76 @@
192
  "79": "h7",
193
  "80": "h8",
194
  "81": "R",
195
- "82": "P",
196
- "83": "Q",
197
- "84": "N",
198
  "85": "K",
199
- "86": "B",
200
- "87": "x",
201
- "88": ".",
202
- "89": "O",
203
- "90": "=",
204
- "91": "-",
205
- "92": "9",
206
- "93": "0",
207
- "94": "+",
208
- "95": "#",
209
- "96": "'",
210
- "97": ",",
211
- "98": "\"",
212
- "99": "\t",
213
- "100": "]",
214
- "101": " ",
215
- "102": ")",
216
- "103": "\n",
217
- "104": "(",
218
- "105": "[",
219
- "106": "/",
220
- "107": "!"
221
  },
222
  "valid_chars": [
223
- "P",
224
- "8",
225
- "O",
226
- "=",
227
- "]",
228
- "a",
229
- "3",
230
- "-",
231
  "5",
232
  "9",
233
- "!",
 
 
 
234
  "#",
 
235
  "'",
236
- ")",
237
- "\n",
238
- "(",
239
- "6",
240
- "N",
241
- "B",
242
  "/",
243
- "2",
244
- ".",
 
 
245
  "+",
246
- "b",
247
- "0",
248
  "h",
249
- "1",
250
- "[",
251
- "g",
252
- "7",
253
- "f",
254
- "R",
255
- "x",
256
- ",",
257
- "\"",
258
  "\t",
259
- "e",
 
 
 
260
  "Q",
261
- " ",
262
- "d",
263
  "c",
264
- "K",
265
- "4"
 
 
 
 
 
 
 
 
 
266
  ]
267
  }
 
82
  "h7": 79,
83
  "h8": 80,
84
  "R": 81,
85
+ "N": 82,
86
+ "B": 83,
87
+ "Q": 84,
88
  "K": 85,
89
+ "P": 86,
90
+ "+": 87,
91
+ "O": 88,
92
+ "=": 89,
93
+ "-": 90,
94
+ "#": 91,
95
+ "x": 92,
96
+ "9": 93,
97
+ ".": 94,
98
+ "0": 95,
99
+ "\t": 96,
100
+ ")": 97,
101
+ "\n": 98,
102
+ "!": 99,
103
+ "[": 100,
104
+ ",": 101,
105
+ "'": 102,
106
+ "\"": 103,
107
+ "/": 104,
108
+ "(": 105,
109
+ " ": 106,
110
+ "]": 107
111
  },
112
  "id2token": {
113
  "0": "<PAD>",
 
192
  "79": "h7",
193
  "80": "h8",
194
  "81": "R",
195
+ "82": "N",
196
+ "83": "B",
197
+ "84": "Q",
198
  "85": "K",
199
+ "86": "P",
200
+ "87": "+",
201
+ "88": "O",
202
+ "89": "=",
203
+ "90": "-",
204
+ "91": "#",
205
+ "92": "x",
206
+ "93": "9",
207
+ "94": ".",
208
+ "95": "0",
209
+ "96": "\t",
210
+ "97": ")",
211
+ "98": "\n",
212
+ "99": "!",
213
+ "100": "[",
214
+ "101": ",",
215
+ "102": "'",
216
+ "103": "\"",
217
+ "104": "/",
218
+ "105": "(",
219
+ "106": " ",
220
+ "107": "]"
221
  },
222
  "valid_chars": [
 
 
 
 
 
 
 
 
223
  "5",
224
  "9",
225
+ "[",
226
+ "7",
227
+ "4",
228
+ "g",
229
  "#",
230
+ "d",
231
  "'",
 
 
 
 
 
 
232
  "/",
233
+ "P",
234
+ "1",
235
+ ")",
236
+ "e",
237
  "+",
 
 
238
  "h",
239
+ "a",
240
+ "6",
241
+ "=",
242
+ "-",
243
+ ".",
244
+ "K",
245
+ "2",
 
 
246
  "\t",
247
+ "O",
248
+ "N",
249
+ "8",
250
+ "x",
251
  "Q",
252
+ "\"",
253
+ "(",
254
  "c",
255
+ "f",
256
+ " ",
257
+ "b",
258
+ "]",
259
+ "\n",
260
+ "R",
261
+ "!",
262
+ "3",
263
+ ",",
264
+ "B",
265
+ "0"
266
  ]
267
  }