tokenizer_jp.json

{
    "version": "1.0",
    "truncation": null,
    "padding": null,
    "added_tokens": [
        {
            "id": 0,
            "content": "[STOP]",
            "single_word": false,
            "lstrip": false,
            "rstrip": false,
            "normalized": false,
            "special": true
        },
        {
            "id": 1,
            "content": "[UNK]",
            "single_word": false,
            "lstrip": false,
            "rstrip": false,
            "normalized": false,
            "special": true
        },
        {
            "id": 2,
            "content": "[SPACE]",
            "single_word": false,
            "lstrip": false,
            "rstrip": false,
            "normalized": false,
            "special": true
        },
        {
            "id": 256,
            "content": "[START]",
            "single_word": false,
            "lstrip": false,
            "rstrip": false,
            "normalized": false,
            "special": true
        }
    ],
    "normalizer": null,
    "pre_tokenizer": {
        "type": "Whitespace"
    },
    "post_processor": null,
    "decoder": null,
    "model": {
        "type": "BPE",
        "dropout": null,
        "unk_token": "[UNK]",
        "continuing_subword_prefix": null,
        "end_of_word_suffix": null,
        "fuse_unk": false,
        "byte_fallback": false,
        "vocab": {
            "[STOP]": 0,
            "[UNK]": 1,
            "[SPACE]": 2,
            "!": 3,
            "%": 4,
            "&": 5,
            "'": 6,
            ",": 7,
            "-": 8,
            ".": 9,
            "0": 10,
            "1": 11,
            "2": 12,
            "3": 13,
            "4": 14,
            "5": 15,
            "6": 16,
            "7": 17,
            "8": 18,
            "9": 19,
            "?": 20,
            "a": 21,
            "b": 22,
            "c": 23,
            "d": 24,
            "e": 25,
            "f": 26,
            "g": 27,
            "h": 28,
            "i": 29,
            "j": 30,
            "k": 31,
            "l": 32,
            "m": 33,
            "n": 34,
            "o": 35,
            "p": 36,
            "q": 37,
            "r": 38,
            "s": 39,
            "t": 40,
            "u": 41,
            "v": 42,
            "w": 43,
            "x": 44,
            "y": 45,
            "z": 46,
            "×": 47,
            "β": 48,
            "а": 49,
            "б": 50,
            "и": 51,
            "к": 52,
            "л": 53,
            "о": 54,
            "п": 55,
            "с": 56,
            "ы": 57,
            "؟": 58,
            "…": 59,
            "℃": 60,
            "ⅱ": 61,
            "①": 62,
            "②": 63,
            "④": 64,
            "⑤": 65,
            "○": 66,
            "、": 67,
            "。": 68,
            "々": 69,
            "〇": 70,
            "「": 71,
            "」": 72,
            "〜": 73,
            "ぁ": 74,
            "あ": 75,
            "ぃ": 76,
            "い": 77,
            "ぅ": 78,
            "う": 79,
            "ぇ": 80,
            "え": 81,
            "ぉ": 82,
            "お": 83,
            "か": 84,
            "が": 85,
            "き": 86,
            "ぎ": 87,
            "く": 88,
            "ぐ": 89,
            "け": 90,
            "げ": 91,
            "こ": 92,
            "ご": 93,
            "さ": 94,
            "ざ": 95,
            "し": 96,
            "じ": 97,
            "す": 98,
            "ず": 99,
            "せ": 100,
            "ぜ": 101,
            "そ": 102,
            "ぞ": 103,
            "た": 104,
            "だ": 105,
            "ち": 106,
            "ぢ": 107,
            "っ": 108,
            "つ": 109,
            "づ": 110,
            "て": 111,
            "で": 112,
            "と": 113,
            "ど": 114,
            "な": 115,
            "に": 116,
            "ぬ": 117,
            "ね": 118,
            "の": 119,
            "は": 120,
            "ば": 121,
            "ぱ": 122,
            "ひ": 123,
            "び": 124,
            "ぴ": 125,
            "ふ": 126,
            "ぶ": 127,
            "ぷ": 128,
            "へ": 129,
            "べ": 130,
            "ぺ": 131,
            "ほ": 132,
            "ぼ": 133,
            "ぽ": 134,
            "ま": 135,
            "み": 136,
            "む": 137,
            "め": 138,
            "も": 139,
            "ゃ": 140,
            "や": 141,
            "ゅ": 142,
            "ゆ": 143,
            "ょ": 144,
            "よ": 145,
            "ら": 146,
            "り": 147,
            "る": 148,
            "れ": 149,
            "ろ": 150,
            "わ": 151,
            "を": 152,
            "ん": 153,
            "ゔ": 154,
            "ゖ": 155,
            "・": 156,
            "ー": 157,
            "って": 158,
            "った": 159,
            "ょう": 160,
            "した": 161,
            "さん": 162,
            "から": 163,
            "して": 164,
            "ない": 165,
            "です": 166,
            "なん": 167,
            "いう": 168,
            "ます": 169,
            "とう": 170,
            "たい": 171,
            "そう": 172,
            "たし": 173,
            "っと": 174,
            "こと": 175,
            "かん": 176,
            "かい": 177,
            "いた": 178,
            "おも": 179,
            "こう": 180,
            "わたし": 181,
            "ちゃ": 182,
            "んだ": 183,
            "あり": 184,
            "よう": 185,
            "んな": 186,
            "ました": 187,
            "いの": 188,
            "ゅう": 189,
            "ちょ": 190,
            "けど": 191,
            "ある": 192,
            "さい": 193,
            "じゃ": 194,
            "らい": 195,
            "んの": 196,
            "ちょっと": 197,
            "いる": 198,
            "んで": 199,
            "とか": 200,
            "この": 201,
            "にな": 202,
            "その": 203,
            "いて": 204,
            "なか": 205,
            "しょう": 206,
            "しょ": 207,
            "とおも": 208,
            "ありが": 209,
            "それ": 210,
            "という": 211,
            "なんか": 212,
            "みな": 213,
            "はい": 214,
            "もう": 215,
            "しん": 216,
            "ので": 217,
            "ありがとう": 218,
            "ほう": 219,
            "かな": 220,
            "います": 221,
            "これ": 222,
            "こん": 223,
            "じょう": 224,
            "がい": 225,
            "しい": 226,
            "どう": 227,
            "でも": 228,
            "みたい": 229,
            "せん": 230,
            "はな": 231,
            "する": 232,
            "れて": 233,
            "せい": 234,
            "とき": 235,
            "あの": 236,
            "しゃ": 237,
            "もの": 238,
            "だい": 239,
            "んです": 240,
            "んは": 241,
            "ろう": 242,
            "ほん": 243,
            "たの": 244,
            "いい": 245,
            "みたいな": 246,
            "だった": 247,
            "にん": 248,
            "っていう": 249,
            "いのり": 250,
            "ぜん": 251,
            "いただ": 252,
            "にち": 253,
            "でき": 254,
            "では": 255,
            "[START]": 256
        },
        "merges": [
            "っ て",
            "っ た",
            "ょ う",
            "し た",
            "さ ん",
            "か ら",
            "し て",
            "な い",
            "で す",
            "な ん",
            "い う",
            "ま す",
            "と う",
            "た い",
            "そ う",
            "た し",
            "っ と",
            "こ と",
            "か ん",
            "か い",
            "い た",
            "お も",
            "こ う",
            "わ たし",
            "ち ゃ",
            "ん だ",
            "あ り",
            "よ う",
            "ん な",
            "ま した",
            "い の",
            "ゅ う",
            "ち ょ",
            "け ど",
            "あ る",
            "さ い",
            "じ ゃ",
            "ら い",
            "ん の",
            "ちょ っと",
            "い る",
            "ん で",
            "と か",
            "こ の",
            "に な",
            "そ の",
            "い て",
            "な か",
            "し ょう",
            "し ょ",
            "と おも",
            "あり が",
            "そ れ",
            "と いう",
            "なん か",
            "み な",
            "は い",
            "も う",
            "し ん",
            "の で",
            "ありが とう",
            "ほ う",
            "か な",
            "い ます",
            "こ れ",
            "こ ん",
            "じ ょう",
            "が い",
            "し い",
            "ど う",
            "で も",
            "み たい",
            "せ ん",
            "は な",
            "す る",
            "れ て",
            "せ い",
            "と き",
            "あ の",
            "し ゃ",
            "も の",
            "だ い",
            "ん です",
            "ん は",
            "ろ う",
            "ほ ん",
            "た の",
            "い い",
            "みたい な",
            "だ った",
            "に ん",
            "って いう",
            "いの り",
            "ぜ ん",
            "いた だ",
            "に ち",
            "で き",
            "で は"
        ],
        "language": "multi"
    }
}