| { | |
| "version": "1.0", | |
| "truncation": null, | |
| "padding": null, | |
| "added_tokens": [ | |
| { | |
| "id": 275, | |
| "content": "<PAD>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| } | |
| ], | |
| "normalizer": null, | |
| "pre_tokenizer": { | |
| "type": "WhitespaceSplit" | |
| }, | |
| "post_processor": { | |
| "type": "TemplateProcessing", | |
| "single": [ | |
| { | |
| "Sequence": { | |
| "id": "A", | |
| "type_id": 0 | |
| } | |
| } | |
| ], | |
| "pair": [ | |
| { | |
| "Sequence": { | |
| "id": "A", | |
| "type_id": 0 | |
| } | |
| }, | |
| { | |
| "Sequence": { | |
| "id": "B", | |
| "type_id": 1 | |
| } | |
| } | |
| ], | |
| "special_tokens": {} | |
| }, | |
| "decoder": null, | |
| "model": { | |
| "type": "WordLevel", | |
| "vocab": { | |
| "<BYTE_0>": 0, | |
| "<BYTE_1>": 1, | |
| "<BYTE_2>": 2, | |
| "<BYTE_3>": 3, | |
| "<BYTE_4>": 4, | |
| "<BYTE_5>": 5, | |
| "<BYTE_6>": 6, | |
| "<BYTE_7>": 7, | |
| "<BYTE_8>": 8, | |
| "<BYTE_9>": 9, | |
| "<BYTE_10>": 10, | |
| "<BYTE_11>": 11, | |
| "<BYTE_12>": 12, | |
| "<BYTE_13>": 13, | |
| "<BYTE_14>": 14, | |
| "<BYTE_15>": 15, | |
| "<BYTE_16>": 16, | |
| "<BYTE_17>": 17, | |
| "<BYTE_18>": 18, | |
| "<BYTE_19>": 19, | |
| "<BYTE_20>": 20, | |
| "<BYTE_21>": 21, | |
| "<BYTE_22>": 22, | |
| "<BYTE_23>": 23, | |
| "<BYTE_24>": 24, | |
| "<BYTE_25>": 25, | |
| "<BYTE_26>": 26, | |
| "<BYTE_27>": 27, | |
| "<BYTE_28>": 28, | |
| "<BYTE_29>": 29, | |
| "<BYTE_30>": 30, | |
| "<BYTE_31>": 31, | |
| "<BYTE_32>": 32, | |
| "<BYTE_33>": 33, | |
| "<BYTE_34>": 34, | |
| "<BYTE_35>": 35, | |
| "<BYTE_36>": 36, | |
| "<BYTE_37>": 37, | |
| "<BYTE_38>": 38, | |
| "<BYTE_39>": 39, | |
| "<BYTE_40>": 40, | |
| "<BYTE_41>": 41, | |
| "<BYTE_42>": 42, | |
| "<BYTE_43>": 43, | |
| "<BYTE_44>": 44, | |
| "<BYTE_45>": 45, | |
| "<BYTE_46>": 46, | |
| "<BYTE_47>": 47, | |
| "<BYTE_48>": 48, | |
| "<BYTE_49>": 49, | |
| "<BYTE_50>": 50, | |
| "<BYTE_51>": 51, | |
| "<BYTE_52>": 52, | |
| "<BYTE_53>": 53, | |
| "<BYTE_54>": 54, | |
| "<BYTE_55>": 55, | |
| "<BYTE_56>": 56, | |
| "<BYTE_57>": 57, | |
| "<BYTE_58>": 58, | |
| "<BYTE_59>": 59, | |
| "<BYTE_60>": 60, | |
| "<BYTE_61>": 61, | |
| "<BYTE_62>": 62, | |
| "<BYTE_63>": 63, | |
| "<BYTE_64>": 64, | |
| "<BYTE_65>": 65, | |
| "<BYTE_66>": 66, | |
| "<BYTE_67>": 67, | |
| "<BYTE_68>": 68, | |
| "<BYTE_69>": 69, | |
| "<BYTE_70>": 70, | |
| "<BYTE_71>": 71, | |
| "<BYTE_72>": 72, | |
| "<BYTE_73>": 73, | |
| "<BYTE_74>": 74, | |
| "<BYTE_75>": 75, | |
| "<BYTE_76>": 76, | |
| "<BYTE_77>": 77, | |
| "<BYTE_78>": 78, | |
| "<BYTE_79>": 79, | |
| "<BYTE_80>": 80, | |
| "<BYTE_81>": 81, | |
| "<BYTE_82>": 82, | |
| "<BYTE_83>": 83, | |
| "<BYTE_84>": 84, | |
| "<BYTE_85>": 85, | |
| "<BYTE_86>": 86, | |
| "<BYTE_87>": 87, | |
| "<BYTE_88>": 88, | |
| "<BYTE_89>": 89, | |
| "<BYTE_90>": 90, | |
| "<BYTE_91>": 91, | |
| "<BYTE_92>": 92, | |
| "<BYTE_93>": 93, | |
| "<BYTE_94>": 94, | |
| "<BYTE_95>": 95, | |
| "<BYTE_96>": 96, | |
| "<BYTE_97>": 97, | |
| "<BYTE_98>": 98, | |
| "<BYTE_99>": 99, | |
| "<BYTE_100>": 100, | |
| "<BYTE_101>": 101, | |
| "<BYTE_102>": 102, | |
| "<BYTE_103>": 103, | |
| "<BYTE_104>": 104, | |
| "<BYTE_105>": 105, | |
| "<BYTE_106>": 106, | |
| "<BYTE_107>": 107, | |
| "<BYTE_108>": 108, | |
| "<BYTE_109>": 109, | |
| "<BYTE_110>": 110, | |
| "<BYTE_111>": 111, | |
| "<BYTE_112>": 112, | |
| "<BYTE_113>": 113, | |
| "<BYTE_114>": 114, | |
| "<BYTE_115>": 115, | |
| "<BYTE_116>": 116, | |
| "<BYTE_117>": 117, | |
| "<BYTE_118>": 118, | |
| "<BYTE_119>": 119, | |
| "<BYTE_120>": 120, | |
| "<BYTE_121>": 121, | |
| "<BYTE_122>": 122, | |
| "<BYTE_123>": 123, | |
| "<BYTE_124>": 124, | |
| "<BYTE_125>": 125, | |
| "<BYTE_126>": 126, | |
| "<BYTE_127>": 127, | |
| "<BYTE_128>": 128, | |
| "<BYTE_129>": 129, | |
| "<BYTE_130>": 130, | |
| "<BYTE_131>": 131, | |
| "<BYTE_132>": 132, | |
| "<BYTE_133>": 133, | |
| "<BYTE_134>": 134, | |
| "<BYTE_135>": 135, | |
| "<BYTE_136>": 136, | |
| "<BYTE_137>": 137, | |
| "<BYTE_138>": 138, | |
| "<BYTE_139>": 139, | |
| "<BYTE_140>": 140, | |
| "<BYTE_141>": 141, | |
| "<BYTE_142>": 142, | |
| "<BYTE_143>": 143, | |
| "<BYTE_144>": 144, | |
| "<BYTE_145>": 145, | |
| "<BYTE_146>": 146, | |
| "<BYTE_147>": 147, | |
| "<BYTE_148>": 148, | |
| "<BYTE_149>": 149, | |
| "<BYTE_150>": 150, | |
| "<BYTE_151>": 151, | |
| "<BYTE_152>": 152, | |
| "<BYTE_153>": 153, | |
| "<BYTE_154>": 154, | |
| "<BYTE_155>": 155, | |
| "<BYTE_156>": 156, | |
| "<BYTE_157>": 157, | |
| "<BYTE_158>": 158, | |
| "<BYTE_159>": 159, | |
| "<BYTE_160>": 160, | |
| "<BYTE_161>": 161, | |
| "<BYTE_162>": 162, | |
| "<BYTE_163>": 163, | |
| "<BYTE_164>": 164, | |
| "<BYTE_165>": 165, | |
| "<BYTE_166>": 166, | |
| "<BYTE_167>": 167, | |
| "<BYTE_168>": 168, | |
| "<BYTE_169>": 169, | |
| "<BYTE_170>": 170, | |
| "<BYTE_171>": 171, | |
| "<BYTE_172>": 172, | |
| "<BYTE_173>": 173, | |
| "<BYTE_174>": 174, | |
| "<BYTE_175>": 175, | |
| "<BYTE_176>": 176, | |
| "<BYTE_177>": 177, | |
| "<BYTE_178>": 178, | |
| "<BYTE_179>": 179, | |
| "<BYTE_180>": 180, | |
| "<BYTE_181>": 181, | |
| "<BYTE_182>": 182, | |
| "<BYTE_183>": 183, | |
| "<BYTE_184>": 184, | |
| "<BYTE_185>": 185, | |
| "<BYTE_186>": 186, | |
| "<BYTE_187>": 187, | |
| "<BYTE_188>": 188, | |
| "<BYTE_189>": 189, | |
| "<BYTE_190>": 190, | |
| "<BYTE_191>": 191, | |
| "<BYTE_192>": 192, | |
| "<BYTE_193>": 193, | |
| "<BYTE_194>": 194, | |
| "<BYTE_195>": 195, | |
| "<BYTE_196>": 196, | |
| "<BYTE_197>": 197, | |
| "<BYTE_198>": 198, | |
| "<BYTE_199>": 199, | |
| "<BYTE_200>": 200, | |
| "<BYTE_201>": 201, | |
| "<BYTE_202>": 202, | |
| "<BYTE_203>": 203, | |
| "<BYTE_204>": 204, | |
| "<BYTE_205>": 205, | |
| "<BYTE_206>": 206, | |
| "<BYTE_207>": 207, | |
| "<BYTE_208>": 208, | |
| "<BYTE_209>": 209, | |
| "<BYTE_210>": 210, | |
| "<BYTE_211>": 211, | |
| "<BYTE_212>": 212, | |
| "<BYTE_213>": 213, | |
| "<BYTE_214>": 214, | |
| "<BYTE_215>": 215, | |
| "<BYTE_216>": 216, | |
| "<BYTE_217>": 217, | |
| "<BYTE_218>": 218, | |
| "<BYTE_219>": 219, | |
| "<BYTE_220>": 220, | |
| "<BYTE_221>": 221, | |
| "<BYTE_222>": 222, | |
| "<BYTE_223>": 223, | |
| "<BYTE_224>": 224, | |
| "<BYTE_225>": 225, | |
| "<BYTE_226>": 226, | |
| "<BYTE_227>": 227, | |
| "<BYTE_228>": 228, | |
| "<BYTE_229>": 229, | |
| "<BYTE_230>": 230, | |
| "<BYTE_231>": 231, | |
| "<BYTE_232>": 232, | |
| "<BYTE_233>": 233, | |
| "<BYTE_234>": 234, | |
| "<BYTE_235>": 235, | |
| "<BYTE_236>": 236, | |
| "<BYTE_237>": 237, | |
| "<BYTE_238>": 238, | |
| "<BYTE_239>": 239, | |
| "<BYTE_240>": 240, | |
| "<BYTE_241>": 241, | |
| "<BYTE_242>": 242, | |
| "<BYTE_243>": 243, | |
| "<BYTE_244>": 244, | |
| "<BYTE_245>": 245, | |
| "<BYTE_246>": 246, | |
| "<BYTE_247>": 247, | |
| "<BYTE_248>": 248, | |
| "<BYTE_249>": 249, | |
| "<BYTE_250>": 250, | |
| "<BYTE_251>": 251, | |
| "<BYTE_252>": 252, | |
| "<BYTE_253>": 253, | |
| "<BYTE_254>": 254, | |
| "<BYTE_255>": 255, | |
| "<DIGIT_0>": 256, | |
| "<DIGIT_1>": 257, | |
| "<DIGIT_2>": 258, | |
| "<DIGIT_3>": 259, | |
| "<DIGIT_4>": 260, | |
| "<DIGIT_5>": 261, | |
| "<DIGIT_6>": 262, | |
| "<DIGIT_7>": 263, | |
| "<DIGIT_8>": 264, | |
| "<DIGIT_9>": 265, | |
| "<ADD>": 266, | |
| "<SUB>": 267, | |
| "<MULTIPLY>": 268, | |
| "<START>": 269, | |
| "<STEP>": 270, | |
| "<FINAL>": 271, | |
| "<PIPE>": 272, | |
| "<COLON>": 273, | |
| "<BOUNDARY>": 274, | |
| "<PAD>": 275 | |
| }, | |
| "unk_token": "<unk>" | |
| } | |
| } |