{ "version": "1.0", "truncation": null, "padding": null, "added_tokens": [ { "id": 0, "content": "[STOP]", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true }, { "id": 1, "content": "[UNK]", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true }, { "id": 2, "content": "[SPACE]", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true }, { "id": 256, "content": "[START]", "single_word": false, "lstrip": false, "rstrip": false, "normalized": false, "special": true } ], "normalizer": null, "pre_tokenizer": { "type": "Whitespace" }, "post_processor": null, "decoder": null, "model": { "type": "BPE", "dropout": null, "unk_token": "[UNK]", "continuing_subword_prefix": null, "end_of_word_suffix": null, "fuse_unk": false, "byte_fallback": false, "vocab": { "[STOP]": 0, "[UNK]": 1, "[SPACE]": 2, "!": 3, "%": 4, "&": 5, "'": 6, ",": 7, "-": 8, ".": 9, "0": 10, "1": 11, "2": 12, "3": 13, "4": 14, "5": 15, "6": 16, "7": 17, "8": 18, "9": 19, "?": 20, "a": 21, "b": 22, "c": 23, "d": 24, "e": 25, "f": 26, "g": 27, "h": 28, "i": 29, "j": 30, "k": 31, "l": 32, "m": 33, "n": 34, "o": 35, "p": 36, "q": 37, "r": 38, "s": 39, "t": 40, "u": 41, "v": 42, "w": 43, "x": 44, "y": 45, "z": 46, "×": 47, "β": 48, "а": 49, "б": 50, "и": 51, "к": 52, "л": 53, "о": 54, "п": 55, "с": 56, "ы": 57, "؟": 58, "…": 59, "℃": 60, "ⅱ": 61, "①": 62, "②": 63, "④": 64, "⑤": 65, "○": 66, "、": 67, "。": 68, "々": 69, "〇": 70, "「": 71, "」": 72, "〜": 73, "ぁ": 74, "あ": 75, "ぃ": 76, "い": 77, "ぅ": 78, "う": 79, "ぇ": 80, "え": 81, "ぉ": 82, "お": 83, "か": 84, "が": 85, "き": 86, "ぎ": 87, "く": 88, "ぐ": 89, "け": 90, "げ": 91, "こ": 92, "ご": 93, "さ": 94, "ざ": 95, "し": 96, "じ": 97, "す": 98, "ず": 99, "せ": 100, "ぜ": 101, "そ": 102, "ぞ": 103, "た": 104, "だ": 105, "ち": 106, "ぢ": 107, "っ": 108, "つ": 109, "づ": 110, "て": 111, "で": 112, "と": 113, "ど": 114, "な": 115, "に": 116, "ぬ": 117, "ね": 118, "の": 119, "は": 120, "ば": 121, "ぱ": 122, "ひ": 123, "び": 124, "ぴ": 125, "ふ": 126, "ぶ": 127, "ぷ": 128, "へ": 129, "べ": 130, "ぺ": 131, "ほ": 132, "ぼ": 133, "ぽ": 134, "ま": 135, "み": 136, "む": 137, "め": 138, "も": 139, "ゃ": 140, "や": 141, "ゅ": 142, "ゆ": 143, "ょ": 144, "よ": 145, "ら": 146, "り": 147, "る": 148, "れ": 149, "ろ": 150, "わ": 151, "を": 152, "ん": 153, "ゔ": 154, "ゖ": 155, "・": 156, "ー": 157, "って": 158, "った": 159, "ょう": 160, "した": 161, "さん": 162, "から": 163, "して": 164, "ない": 165, "です": 166, "なん": 167, "いう": 168, "ます": 169, "とう": 170, "たい": 171, "そう": 172, "たし": 173, "っと": 174, "こと": 175, "かん": 176, "かい": 177, "いた": 178, "おも": 179, "こう": 180, "わたし": 181, "ちゃ": 182, "んだ": 183, "あり": 184, "よう": 185, "んな": 186, "ました": 187, "いの": 188, "ゅう": 189, "ちょ": 190, "けど": 191, "ある": 192, "さい": 193, "じゃ": 194, "らい": 195, "んの": 196, "ちょっと": 197, "いる": 198, "んで": 199, "とか": 200, "この": 201, "にな": 202, "その": 203, "いて": 204, "なか": 205, "しょう": 206, "しょ": 207, "とおも": 208, "ありが": 209, "それ": 210, "という": 211, "なんか": 212, "みな": 213, "はい": 214, "もう": 215, "しん": 216, "ので": 217, "ありがとう": 218, "ほう": 219, "かな": 220, "います": 221, "これ": 222, "こん": 223, "じょう": 224, "がい": 225, "しい": 226, "どう": 227, "でも": 228, "みたい": 229, "せん": 230, "はな": 231, "する": 232, "れて": 233, "せい": 234, "とき": 235, "あの": 236, "しゃ": 237, "もの": 238, "だい": 239, "んです": 240, "んは": 241, "ろう": 242, "ほん": 243, "たの": 244, "いい": 245, "みたいな": 246, "だった": 247, "にん": 248, "っていう": 249, "いのり": 250, "ぜん": 251, "いただ": 252, "にち": 253, "でき": 254, "では": 255, "[START]": 256 }, "merges": [ "っ て", "っ た", "ょ う", "し た", "さ ん", "か ら", "し て", "な い", "で す", "な ん", "い う", "ま す", "と う", "た い", "そ う", "た し", "っ と", "こ と", "か ん", "か い", "い た", "お も", "こ う", "わ たし", "ち ゃ", "ん だ", "あ り", "よ う", "ん な", "ま した", "い の", "ゅ う", "ち ょ", "け ど", "あ る", "さ い", "じ ゃ", "ら い", "ん の", "ちょ っと", "い る", "ん で", "と か", "こ の", "に な", "そ の", "い て", "な か", "し ょう", "し ょ", "と おも", "あり が", "そ れ", "と いう", "なん か", "み な", "は い", "も う", "し ん", "の で", "ありが とう", "ほ う", "か な", "い ます", "こ れ", "こ ん", "じ ょう", "が い", "し い", "ど う", "で も", "み たい", "せ ん", "は な", "す る", "れ て", "せ い", "と き", "あ の", "し ゃ", "も の", "だ い", "ん です", "ん は", "ろ う", "ほ ん", "た の", "い い", "みたい な", "だ った", "に ん", "って いう", "いの り", "ぜ ん", "いた だ", "に ち", "で き", "で は" ], "language": "multi" } }