Upload tokenizer.json with huggingface_hub
Browse files- tokenizer.json +83 -83
tokenizer.json
CHANGED
|
@@ -82,32 +82,32 @@
|
|
| 82 |
"h7": 79,
|
| 83 |
"h8": 80,
|
| 84 |
"R": 81,
|
| 85 |
-
"
|
| 86 |
-
"
|
| 87 |
-
"
|
| 88 |
"K": 85,
|
| 89 |
-
"
|
| 90 |
-
"
|
| 91 |
-
"
|
| 92 |
-
"
|
| 93 |
-
"
|
| 94 |
-
"
|
| 95 |
-
"
|
| 96 |
-
"
|
| 97 |
-
"
|
| 98 |
-
"
|
| 99 |
-
"
|
| 100 |
-
"
|
| 101 |
-
"\"
|
| 102 |
-
"
|
| 103 |
-
"
|
| 104 |
-
"
|
| 105 |
-
"
|
| 106 |
-
"\
|
| 107 |
-
"
|
| 108 |
-
"
|
| 109 |
-
"
|
| 110 |
-
"
|
| 111 |
},
|
| 112 |
"id2token": {
|
| 113 |
"0": "<PAD>",
|
|
@@ -192,76 +192,76 @@
|
|
| 192 |
"79": "h7",
|
| 193 |
"80": "h8",
|
| 194 |
"81": "R",
|
| 195 |
-
"82": "
|
| 196 |
-
"83": "
|
| 197 |
-
"84": "
|
| 198 |
"85": "K",
|
| 199 |
-
"86": "
|
| 200 |
-
"87": "
|
| 201 |
-
"88": "
|
| 202 |
-
"89": "
|
| 203 |
-
"90": "
|
| 204 |
-
"91": "
|
| 205 |
-
"92": "
|
| 206 |
-
"93": "
|
| 207 |
-
"94": "
|
| 208 |
-
"95": "
|
| 209 |
-
"96": "
|
| 210 |
-
"97": "
|
| 211 |
-
"98": "\"
|
| 212 |
-
"99": "
|
| 213 |
-
"100": "
|
| 214 |
-
"101": "
|
| 215 |
-
"102": "
|
| 216 |
-
"103": "\
|
| 217 |
-
"104": "
|
| 218 |
-
"105": "
|
| 219 |
-
"106": "
|
| 220 |
-
"107": "
|
| 221 |
},
|
| 222 |
"valid_chars": [
|
| 223 |
-
"P",
|
| 224 |
-
"8",
|
| 225 |
-
"O",
|
| 226 |
-
"=",
|
| 227 |
-
"]",
|
| 228 |
-
"a",
|
| 229 |
-
"3",
|
| 230 |
-
"-",
|
| 231 |
"5",
|
| 232 |
"9",
|
| 233 |
-
"
|
|
|
|
|
|
|
|
|
|
| 234 |
"#",
|
|
|
|
| 235 |
"'",
|
| 236 |
-
")",
|
| 237 |
-
"\n",
|
| 238 |
-
"(",
|
| 239 |
-
"6",
|
| 240 |
-
"N",
|
| 241 |
-
"B",
|
| 242 |
"/",
|
| 243 |
-
"
|
| 244 |
-
"
|
|
|
|
|
|
|
| 245 |
"+",
|
| 246 |
-
"b",
|
| 247 |
-
"0",
|
| 248 |
"h",
|
| 249 |
-
"
|
| 250 |
-
"
|
| 251 |
-
"
|
| 252 |
-
"
|
| 253 |
-
"
|
| 254 |
-
"
|
| 255 |
-
"
|
| 256 |
-
",",
|
| 257 |
-
"\"",
|
| 258 |
"\t",
|
| 259 |
-
"
|
|
|
|
|
|
|
|
|
|
| 260 |
"Q",
|
| 261 |
-
"
|
| 262 |
-
"
|
| 263 |
"c",
|
| 264 |
-
"
|
| 265 |
-
"
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 266 |
]
|
| 267 |
}
|
|
|
|
| 82 |
"h7": 79,
|
| 83 |
"h8": 80,
|
| 84 |
"R": 81,
|
| 85 |
+
"N": 82,
|
| 86 |
+
"B": 83,
|
| 87 |
+
"Q": 84,
|
| 88 |
"K": 85,
|
| 89 |
+
"P": 86,
|
| 90 |
+
"+": 87,
|
| 91 |
+
"O": 88,
|
| 92 |
+
"=": 89,
|
| 93 |
+
"-": 90,
|
| 94 |
+
"#": 91,
|
| 95 |
+
"x": 92,
|
| 96 |
+
"9": 93,
|
| 97 |
+
".": 94,
|
| 98 |
+
"0": 95,
|
| 99 |
+
"\t": 96,
|
| 100 |
+
")": 97,
|
| 101 |
+
"\n": 98,
|
| 102 |
+
"!": 99,
|
| 103 |
+
"[": 100,
|
| 104 |
+
",": 101,
|
| 105 |
+
"'": 102,
|
| 106 |
+
"\"": 103,
|
| 107 |
+
"/": 104,
|
| 108 |
+
"(": 105,
|
| 109 |
+
" ": 106,
|
| 110 |
+
"]": 107
|
| 111 |
},
|
| 112 |
"id2token": {
|
| 113 |
"0": "<PAD>",
|
|
|
|
| 192 |
"79": "h7",
|
| 193 |
"80": "h8",
|
| 194 |
"81": "R",
|
| 195 |
+
"82": "N",
|
| 196 |
+
"83": "B",
|
| 197 |
+
"84": "Q",
|
| 198 |
"85": "K",
|
| 199 |
+
"86": "P",
|
| 200 |
+
"87": "+",
|
| 201 |
+
"88": "O",
|
| 202 |
+
"89": "=",
|
| 203 |
+
"90": "-",
|
| 204 |
+
"91": "#",
|
| 205 |
+
"92": "x",
|
| 206 |
+
"93": "9",
|
| 207 |
+
"94": ".",
|
| 208 |
+
"95": "0",
|
| 209 |
+
"96": "\t",
|
| 210 |
+
"97": ")",
|
| 211 |
+
"98": "\n",
|
| 212 |
+
"99": "!",
|
| 213 |
+
"100": "[",
|
| 214 |
+
"101": ",",
|
| 215 |
+
"102": "'",
|
| 216 |
+
"103": "\"",
|
| 217 |
+
"104": "/",
|
| 218 |
+
"105": "(",
|
| 219 |
+
"106": " ",
|
| 220 |
+
"107": "]"
|
| 221 |
},
|
| 222 |
"valid_chars": [
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 223 |
"5",
|
| 224 |
"9",
|
| 225 |
+
"[",
|
| 226 |
+
"7",
|
| 227 |
+
"4",
|
| 228 |
+
"g",
|
| 229 |
"#",
|
| 230 |
+
"d",
|
| 231 |
"'",
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 232 |
"/",
|
| 233 |
+
"P",
|
| 234 |
+
"1",
|
| 235 |
+
")",
|
| 236 |
+
"e",
|
| 237 |
"+",
|
|
|
|
|
|
|
| 238 |
"h",
|
| 239 |
+
"a",
|
| 240 |
+
"6",
|
| 241 |
+
"=",
|
| 242 |
+
"-",
|
| 243 |
+
".",
|
| 244 |
+
"K",
|
| 245 |
+
"2",
|
|
|
|
|
|
|
| 246 |
"\t",
|
| 247 |
+
"O",
|
| 248 |
+
"N",
|
| 249 |
+
"8",
|
| 250 |
+
"x",
|
| 251 |
"Q",
|
| 252 |
+
"\"",
|
| 253 |
+
"(",
|
| 254 |
"c",
|
| 255 |
+
"f",
|
| 256 |
+
" ",
|
| 257 |
+
"b",
|
| 258 |
+
"]",
|
| 259 |
+
"\n",
|
| 260 |
+
"R",
|
| 261 |
+
"!",
|
| 262 |
+
"3",
|
| 263 |
+
",",
|
| 264 |
+
"B",
|
| 265 |
+
"0"
|
| 266 |
]
|
| 267 |
}
|