| { | |
| "version": "1.0", | |
| "truncation": null, | |
| "padding": null, | |
| "added_tokens": [ | |
| { | |
| "id": 0, | |
| "content": "<pad>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| }, | |
| { | |
| "id": 1, | |
| "content": "<cls>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| }, | |
| { | |
| "id": 2, | |
| "content": "<sep>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| }, | |
| { | |
| "id": 3, | |
| "content": "<unk>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| }, | |
| { | |
| "id": 4, | |
| "content": "<mask>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| } | |
| ], | |
| "normalizer": null, | |
| "pre_tokenizer": null, | |
| "post_processor": { | |
| "type": "TemplateProcessing", | |
| "single": [ | |
| { | |
| "SpecialToken": { | |
| "id": "<cls>", | |
| "type_id": 0 | |
| } | |
| }, | |
| { | |
| "Sequence": { | |
| "id": "A", | |
| "type_id": 0 | |
| } | |
| }, | |
| { | |
| "SpecialToken": { | |
| "id": "<sep>", | |
| "type_id": 0 | |
| } | |
| } | |
| ], | |
| "pair": [ | |
| { | |
| "SpecialToken": { | |
| "id": "<cls>", | |
| "type_id": 0 | |
| } | |
| }, | |
| { | |
| "Sequence": { | |
| "id": "A", | |
| "type_id": 0 | |
| } | |
| }, | |
| { | |
| "SpecialToken": { | |
| "id": "<sep>", | |
| "type_id": 0 | |
| } | |
| }, | |
| { | |
| "Sequence": { | |
| "id": "B", | |
| "type_id": 1 | |
| } | |
| }, | |
| { | |
| "SpecialToken": { | |
| "id": "<sep>", | |
| "type_id": 1 | |
| } | |
| } | |
| ], | |
| "special_tokens": { | |
| "<cls>": { | |
| "id": "<cls>", | |
| "ids": [ | |
| 1 | |
| ], | |
| "tokens": [ | |
| "<cls>" | |
| ] | |
| }, | |
| "<sep>": { | |
| "id": "<sep>", | |
| "ids": [ | |
| 2 | |
| ], | |
| "tokens": [ | |
| "<sep>" | |
| ] | |
| } | |
| } | |
| }, | |
| "decoder": { | |
| "type": "BPEDecoder", | |
| "suffix": "</w>" | |
| }, | |
| "model": { | |
| "type": "BPE", | |
| "dropout": null, | |
| "unk_token": null, | |
| "continuing_subword_prefix": null, | |
| "end_of_word_suffix": null, | |
| "fuse_unk": false, | |
| "byte_fallback": false, | |
| "vocab": { | |
| "<pad>": 0, | |
| "<cls>": 1, | |
| "<sep>": 2, | |
| "<unk>": 3, | |
| "<mask>": 4, | |
| "A": 5, | |
| "B": 6, | |
| "C": 7, | |
| "D": 8, | |
| "E": 9, | |
| "F": 10, | |
| "G": 11, | |
| "H": 12, | |
| "I": 13, | |
| "K": 14, | |
| "L": 15, | |
| "M": 16, | |
| "N": 17, | |
| "O": 18, | |
| "P": 19, | |
| "Q": 20, | |
| "R": 21, | |
| "S": 22, | |
| "T": 23, | |
| "U": 24, | |
| "V": 25, | |
| "W": 26, | |
| "X": 27, | |
| "Y": 28, | |
| "Z": 29, | |
| "AA": 30, | |
| "LL": 31, | |
| "SS": 32, | |
| "LA": 33, | |
| "LS": 34, | |
| "GG": 35, | |
| "LV": 36, | |
| "LR": 37, | |
| "LE": 38, | |
| "LG": 39, | |
| "LT": 40, | |
| "AV": 41, | |
| "AG": 42, | |
| "LP": 43, | |
| "LD": 44, | |
| "LI": 45, | |
| "AS": 46, | |
| "EE": 47, | |
| "RR": 48, | |
| "LK": 49, | |
| "VV": 50, | |
| "AT": 51, | |
| "AE": 52, | |
| "SG": 53, | |
| "DG": 54, | |
| "AR": 55, | |
| "KK": 56, | |
| "AI": 57, | |
| "AP": 58, | |
| "TT": 59, | |
| "LN": 60, | |
| "LF": 61, | |
| "LQ": 62, | |
| "AD": 63, | |
| "SV": 64, | |
| "ST": 65, | |
| "SI": 66, | |
| "SP": 67, | |
| "DE": 68, | |
| "TG": 69, | |
| "TV": 70, | |
| "SR": 71, | |
| "SE": 72, | |
| "DV": 73, | |
| "PP": 74, | |
| "KE": 75, | |
| "KI": 76, | |
| "DI": 77, | |
| "GV": 78, | |
| "AQ": 79, | |
| "AF": 80, | |
| "RV": 81, | |
| "TI": 82, | |
| "NI": 83, | |
| "PV": 84, | |
| "RE": 85, | |
| "SF": 86, | |
| "KV": 87, | |
| "NG": 88, | |
| "LY": 89, | |
| "RI": 90, | |
| "PG": 91, | |
| "RG": 92, | |
| "DD": 93, | |
| "PE": 94, | |
| "AK": 95, | |
| "NV": 96, | |
| "SD": 97, | |
| "TE": 98, | |
| "QQ": 99 | |
| }, | |
| "merges": [ | |
| "A A", | |
| "L L", | |
| "S S", | |
| "L A", | |
| "L S", | |
| "G G", | |
| "L V", | |
| "L R", | |
| "L E", | |
| "L G", | |
| "L T", | |
| "A V", | |
| "A G", | |
| "L P", | |
| "L D", | |
| "L I", | |
| "A S", | |
| "E E", | |
| "R R", | |
| "L K", | |
| "V V", | |
| "A T", | |
| "A E", | |
| "S G", | |
| "D G", | |
| "A R", | |
| "K K", | |
| "A I", | |
| "A P", | |
| "T T", | |
| "L N", | |
| "L F", | |
| "L Q", | |
| "A D", | |
| "S V", | |
| "S T", | |
| "S I", | |
| "S P", | |
| "D E", | |
| "T G", | |
| "T V", | |
| "S R", | |
| "S E", | |
| "D V", | |
| "P P", | |
| "K E", | |
| "K I", | |
| "D I", | |
| "G V", | |
| "A Q", | |
| "A F", | |
| "R V", | |
| "T I", | |
| "N I", | |
| "P V", | |
| "R E", | |
| "S F", | |
| "K V", | |
| "N G", | |
| "L Y", | |
| "R I", | |
| "P G", | |
| "R G", | |
| "D D", | |
| "P E", | |
| "A K", | |
| "N V", | |
| "S D", | |
| "T E", | |
| "Q Q" | |
| ] | |
| } | |
| } |