phonebook / tokenizer.json
NagaYu's picture
Add tokenizer.json
27773a0 verified
Raw
History Blame Contribute Delete
2.21 kB
{"itos": ["<pad>", "<bos>", "<eos>", "<unk>", "A", "B", "C", "D", "E", "G", "H", "I", "K", "L", "M", "N", "O", "Q", "R", "S", "T", "U", "X", "Y", "あ", "お", "く", "こ", "さ", "す", "ぞ", "つ", "ど", "な", "ば", "び", "み", "も", "ら", "り", "れ", "ろ", "ァ", "ア", "ィ", "イ", "ゥ", "ウ", "ェ", "エ", "ォ", "オ", "カ", "ガ", "キ", "ギ", "ク", "グ", "ケ", "ゲ", "コ", "ゴ", "サ", "ザ", "シ", "ジ", "ス", "ズ", "セ", "ゼ", "ソ", "ゾ", "タ", "ダ", "チ", "ヂ", "ッ", "ツ", "ヅ", "テ", "デ", "ト", "ド", "ナ", "ニ", "ヌ", "ネ", "ノ", "ハ", "バ", "パ", "ヒ", "ビ", "ピ", "フ", "ブ", "プ", "ヘ", "ベ", "ペ", "ホ", "ボ", "ポ", "マ", "ミ", "ム", "メ", "モ", "ャ", "ヤ", "ュ", "ユ", "ョ", "ヨ", "ラ", "リ", "ル", "レ", "ロ", "ヮ", "ワ", "ヰ", "ヱ", "ヲ", "ン", "ヴ", "ヵ", "ヶ", "ヷ", "ヸ", "ヹ", "ヺ", "ー", "一", "三", "上", "下", "不", "中", "事", "井", "京", "仙", "企", "伊", "会", "住", "佐", "作", "保", "信", "備", "光", "内", "出", "分", "刷", "券", "前", "加", "動", "務", "化", "北", "医", "千", "南", "印", "取", "口", "古", "台", "吉", "名", "告", "和", "品", "商", "園", "城", "埼", "報", "塗", "大", "央", "奈", "媛", "子", "学", "宅", "宮", "小", "局", "屋", "山", "岡", "島", "崎", "川", "工", "幌", "広", "店", "建", "形", "後", "情", "愛", "戸", "所", "技", "斎", "新", "日", "星", "春", "書", "木", "本", "札", "材", "村", "東", "松", "林", "柳", "根", "森", "業", "横", "橋", "機", "気", "水", "池", "沖", "沢", "河", "流", "浜", "海", "清", "渡", "滋", "潟", "熊", "版", "物", "玉", "生", "産", "田", "画", "発", "白", "百", "知", "石", "研", "神", "福", "秋", "精", "総", "緑", "縄", "織", "群", "興", "舗", "良", "色", "茨", "菓", "葉", "薬", "藤", "装", "製", "西", "計", "設", "証", "谷", "賀", "輸", "農", "辺", "近", "送", "通", "造", "運", "都", "酒", "重", "野", "金", "鈴", "鉄", "銀", "長", "開", "関", "阪", "院", "陸", "険", "陽", "電", "青", "静", "食", "香", "馬", "駒", "高", "鳥", "黒"]}