| { |
| "version": "1.0", |
| "truncation": null, |
| "padding": null, |
| "added_tokens": [ |
| { |
| "id": 0, |
| "content": "[UNK]", |
| "single_word": false, |
| "lstrip": false, |
| "rstrip": false, |
| "normalized": false, |
| "special": true |
| }, |
| { |
| "id": 1, |
| "content": "[CLS]", |
| "single_word": false, |
| "lstrip": false, |
| "rstrip": false, |
| "normalized": false, |
| "special": true |
| }, |
| { |
| "id": 2, |
| "content": "[SEP]", |
| "single_word": false, |
| "lstrip": false, |
| "rstrip": false, |
| "normalized": false, |
| "special": true |
| }, |
| { |
| "id": 3, |
| "content": "[PAD]", |
| "single_word": false, |
| "lstrip": false, |
| "rstrip": false, |
| "normalized": false, |
| "special": true |
| }, |
| { |
| "id": 4, |
| "content": "[MASK]", |
| "single_word": false, |
| "lstrip": false, |
| "rstrip": false, |
| "normalized": false, |
| "special": true |
| } |
| ], |
| "normalizer": null, |
| "pre_tokenizer": { |
| "type": "Whitespace" |
| }, |
| "post_processor": { |
| "type": "TemplateProcessing", |
| "single": [ |
| { |
| "Sequence": { |
| "id": "A", |
| "type_id": 0 |
| } |
| } |
| ], |
| "pair": [ |
| { |
| "Sequence": { |
| "id": "A", |
| "type_id": 0 |
| } |
| }, |
| { |
| "Sequence": { |
| "id": "B", |
| "type_id": 1 |
| } |
| } |
| ], |
| "special_tokens": {} |
| }, |
| "decoder": null, |
| "model": { |
| "type": "BPE", |
| "dropout": null, |
| "unk_token": "[UNK]", |
| "continuing_subword_prefix": null, |
| "end_of_word_suffix": null, |
| "fuse_unk": false, |
| "byte_fallback": false, |
| "ignore_merges": false, |
| "vocab": { |
| "[UNK]": 0, |
| "[CLS]": 1, |
| "[SEP]": 2, |
| "[PAD]": 3, |
| "[MASK]": 4, |
| "!": 5, |
| ",": 6, |
| ".": 7, |
| "A": 8, |
| "E": 9, |
| "F": 10, |
| "G": 11, |
| "H": 12, |
| "J": 13, |
| "K": 14, |
| "L": 15, |
| "M": 16, |
| "N": 17, |
| "O": 18, |
| "P": 19, |
| "R": 20, |
| "S": 21, |
| "T": 22, |
| "a": 23, |
| "d": 24, |
| "e": 25, |
| "f": 26, |
| "g": 27, |
| "h": 28, |
| "i": 29, |
| "j": 30, |
| "k": 31, |
| "l": 32, |
| "m": 33, |
| "n": 34, |
| "o": 35, |
| "p": 36, |
| "r": 37, |
| "s": 38, |
| "t": 39, |
| "u": 40, |
| "w": 41, |
| "x": 42, |
| "y": 43, |
| "z": 44, |
| "na": 45, |
| "ra": 46, |
| "as": 47, |
| "mo": 48, |
| "it": 49, |
| "ita": 50, |
| "ol": 51, |
| "ia": 52, |
| "ina": 53, |
| "fe": 54, |
| "op": 55, |
| "ki": 56, |
| "sa": 57, |
| "ola": 58, |
| "rita": 59, |
| "li": 60, |
| "az": 61, |
| "er": 62, |
| "lola": 63, |
| "itana": 64, |
| "opa": 65, |
| "nu": 66, |
| "nus": 67, |
| "titana": 68, |
| "popa": 69, |
| "mona": 70, |
| "fenus": 71, |
| "liia": 72, |
| "ni": 73, |
| "asna": 74, |
| "momo": 75, |
| "aze": 76, |
| "iara": 77, |
| "fera": 78, |
| "nina": 79, |
| "momorita": 80, |
| "aski": 81, |
| "ma": 82, |
| "we": 83, |
| "kiara": 84, |
| "ro": 85, |
| "wen": 86, |
| "kol": 87, |
| "ll": 88, |
| "llia": 89, |
| "era": 90, |
| "ga": 91, |
| "kira": 92, |
| "sallia": 93, |
| "ka": 94, |
| "olga": 95, |
| "ona": 96, |
| "wx": 97, |
| "yna": 98, |
| "erina": 99, |
| "wxa": 100, |
| "gwen": 101, |
| "ie": 102, |
| "rosa": 103, |
| "As": 104, |
| "hi": 105, |
| "hyna": 106, |
| "aska": 107, |
| "ashi": 108, |
| "mwxa": 109, |
| "uni": 110, |
| "gwenna": 111, |
| "asni": 112, |
| "erie": 113, |
| "kina": 114, |
| "eera": 115, |
| "opma": 116, |
| "kolina": 117, |
| "in": 118, |
| "jona": 119, |
| "lopma": 120, |
| "azin": 121, |
| "azinn": 122, |
| "una": 123, |
| "Lola": 124, |
| "jeera": 125, |
| "ja": 126, |
| "kolma": 127, |
| "Mo": 128, |
| "da": 129, |
| "de": 130, |
| "lisa": 131, |
| "delisa": 132, |
| "juna": 133, |
| "suni": 134, |
| "asnina": 135, |
| "Er": 136, |
| "se": 137, |
| "Fera": 138, |
| "lazinn": 139, |
| "Suni": 140, |
| "erra": 141, |
| "momodelisa": 142, |
| "Rita": 143, |
| "Aski": 144, |
| "Momo": 145, |
| "Kiara": 146, |
| "Gwen": 147, |
| "Kina": 148, |
| "Nina": 149, |
| "Ro": 150, |
| "rose": 151, |
| "Lazinn": 152, |
| "Erie": 153, |
| "Jona": 154, |
| "Sa": 155, |
| "Asni": 156, |
| "Juna": 157, |
| "Mwxa": 158, |
| "lli": 159, |
| "Aska": 160, |
| "Mora": 161, |
| "Rose": 162, |
| "Kol": 163, |
| "Li": 164, |
| "Mona": 165, |
| "Asna": 166, |
| "Erra": 167, |
| "Liia": 168, |
| "Fe": 169, |
| "Jeera": 170, |
| "Ki": 171, |
| "Popa": 172, |
| "mora": 173, |
| "Momodelisa": 174, |
| "Gwenna": 175, |
| "Rosa": 176, |
| "Sallia": 177, |
| "Salli": 178, |
| "Kolma": 179, |
| "Fenus": 180, |
| "Kira": 181, |
| "Az": 182, |
| "Hyna": 183, |
| "Titana": 184, |
| "Asnina": 185, |
| "Aze": 186, |
| "Ol": 187, |
| "le": 188, |
| "salli": 189, |
| "Ashi": 190, |
| "Erina": 191, |
| "Olga": 192, |
| "..": 193, |
| "Ja": 194, |
| "Je": 195, |
| "Lopma": 196, |
| "ar": 197, |
| "gwe": 198, |
| "par": 199, |
| "Kolina": 200, |
| "gwena": 201, |
| "parle": 202 |
| }, |
| "merges": [ |
| [ |
| "n", |
| "a" |
| ], |
| [ |
| "r", |
| "a" |
| ], |
| [ |
| "a", |
| "s" |
| ], |
| [ |
| "m", |
| "o" |
| ], |
| [ |
| "i", |
| "t" |
| ], |
| [ |
| "it", |
| "a" |
| ], |
| [ |
| "o", |
| "l" |
| ], |
| [ |
| "i", |
| "a" |
| ], |
| [ |
| "i", |
| "na" |
| ], |
| [ |
| "f", |
| "e" |
| ], |
| [ |
| "o", |
| "p" |
| ], |
| [ |
| "k", |
| "i" |
| ], |
| [ |
| "s", |
| "a" |
| ], |
| [ |
| "ol", |
| "a" |
| ], |
| [ |
| "r", |
| "ita" |
| ], |
| [ |
| "l", |
| "i" |
| ], |
| [ |
| "a", |
| "z" |
| ], |
| [ |
| "e", |
| "r" |
| ], |
| [ |
| "l", |
| "ola" |
| ], |
| [ |
| "ita", |
| "na" |
| ], |
| [ |
| "op", |
| "a" |
| ], |
| [ |
| "n", |
| "u" |
| ], |
| [ |
| "nu", |
| "s" |
| ], |
| [ |
| "t", |
| "itana" |
| ], |
| [ |
| "p", |
| "opa" |
| ], |
| [ |
| "mo", |
| "na" |
| ], |
| [ |
| "fe", |
| "nus" |
| ], |
| [ |
| "li", |
| "ia" |
| ], |
| [ |
| "n", |
| "i" |
| ], |
| [ |
| "as", |
| "na" |
| ], |
| [ |
| "mo", |
| "mo" |
| ], |
| [ |
| "az", |
| "e" |
| ], |
| [ |
| "ia", |
| "ra" |
| ], |
| [ |
| "fe", |
| "ra" |
| ], |
| [ |
| "n", |
| "ina" |
| ], |
| [ |
| "momo", |
| "rita" |
| ], |
| [ |
| "as", |
| "ki" |
| ], |
| [ |
| "m", |
| "a" |
| ], |
| [ |
| "w", |
| "e" |
| ], |
| [ |
| "k", |
| "iara" |
| ], |
| [ |
| "r", |
| "o" |
| ], |
| [ |
| "we", |
| "n" |
| ], |
| [ |
| "k", |
| "ol" |
| ], |
| [ |
| "l", |
| "l" |
| ], |
| [ |
| "ll", |
| "ia" |
| ], |
| [ |
| "e", |
| "ra" |
| ], |
| [ |
| "g", |
| "a" |
| ], |
| [ |
| "ki", |
| "ra" |
| ], |
| [ |
| "sa", |
| "llia" |
| ], |
| [ |
| "k", |
| "a" |
| ], |
| [ |
| "ol", |
| "ga" |
| ], |
| [ |
| "o", |
| "na" |
| ], |
| [ |
| "w", |
| "x" |
| ], |
| [ |
| "y", |
| "na" |
| ], |
| [ |
| "er", |
| "ina" |
| ], |
| [ |
| "wx", |
| "a" |
| ], |
| [ |
| "g", |
| "wen" |
| ], |
| [ |
| "i", |
| "e" |
| ], |
| [ |
| "ro", |
| "sa" |
| ], |
| [ |
| "A", |
| "s" |
| ], |
| [ |
| "h", |
| "i" |
| ], |
| [ |
| "h", |
| "yna" |
| ], |
| [ |
| "as", |
| "ka" |
| ], |
| [ |
| "as", |
| "hi" |
| ], |
| [ |
| "m", |
| "wxa" |
| ], |
| [ |
| "u", |
| "ni" |
| ], |
| [ |
| "gwen", |
| "na" |
| ], |
| [ |
| "as", |
| "ni" |
| ], |
| [ |
| "er", |
| "ie" |
| ], |
| [ |
| "k", |
| "ina" |
| ], |
| [ |
| "e", |
| "era" |
| ], |
| [ |
| "op", |
| "ma" |
| ], |
| [ |
| "kol", |
| "ina" |
| ], |
| [ |
| "i", |
| "n" |
| ], |
| [ |
| "j", |
| "ona" |
| ], |
| [ |
| "l", |
| "opma" |
| ], |
| [ |
| "az", |
| "in" |
| ], |
| [ |
| "azin", |
| "n" |
| ], |
| [ |
| "u", |
| "na" |
| ], |
| [ |
| "L", |
| "ola" |
| ], |
| [ |
| "j", |
| "eera" |
| ], |
| [ |
| "j", |
| "a" |
| ], |
| [ |
| "kol", |
| "ma" |
| ], |
| [ |
| "M", |
| "o" |
| ], |
| [ |
| "d", |
| "a" |
| ], |
| [ |
| "d", |
| "e" |
| ], |
| [ |
| "li", |
| "sa" |
| ], |
| [ |
| "de", |
| "lisa" |
| ], |
| [ |
| "j", |
| "una" |
| ], |
| [ |
| "s", |
| "uni" |
| ], |
| [ |
| "as", |
| "nina" |
| ], |
| [ |
| "E", |
| "r" |
| ], |
| [ |
| "s", |
| "e" |
| ], |
| [ |
| "F", |
| "era" |
| ], |
| [ |
| "l", |
| "azinn" |
| ], |
| [ |
| "S", |
| "uni" |
| ], |
| [ |
| "er", |
| "ra" |
| ], |
| [ |
| "momo", |
| "delisa" |
| ], |
| [ |
| "R", |
| "ita" |
| ], |
| [ |
| "As", |
| "ki" |
| ], |
| [ |
| "Mo", |
| "mo" |
| ], |
| [ |
| "K", |
| "iara" |
| ], |
| [ |
| "G", |
| "wen" |
| ], |
| [ |
| "K", |
| "ina" |
| ], |
| [ |
| "N", |
| "ina" |
| ], |
| [ |
| "R", |
| "o" |
| ], |
| [ |
| "ro", |
| "se" |
| ], |
| [ |
| "L", |
| "azinn" |
| ], |
| [ |
| "Er", |
| "ie" |
| ], |
| [ |
| "J", |
| "ona" |
| ], |
| [ |
| "S", |
| "a" |
| ], |
| [ |
| "As", |
| "ni" |
| ], |
| [ |
| "J", |
| "una" |
| ], |
| [ |
| "M", |
| "wxa" |
| ], |
| [ |
| "l", |
| "li" |
| ], |
| [ |
| "As", |
| "ka" |
| ], |
| [ |
| "Mo", |
| "ra" |
| ], |
| [ |
| "Ro", |
| "se" |
| ], |
| [ |
| "K", |
| "ol" |
| ], |
| [ |
| "L", |
| "i" |
| ], |
| [ |
| "M", |
| "ona" |
| ], |
| [ |
| "As", |
| "na" |
| ], |
| [ |
| "Er", |
| "ra" |
| ], |
| [ |
| "Li", |
| "ia" |
| ], |
| [ |
| "F", |
| "e" |
| ], |
| [ |
| "J", |
| "eera" |
| ], |
| [ |
| "K", |
| "i" |
| ], |
| [ |
| "P", |
| "opa" |
| ], |
| [ |
| "mo", |
| "ra" |
| ], |
| [ |
| "Momo", |
| "delisa" |
| ], |
| [ |
| "Gwen", |
| "na" |
| ], |
| [ |
| "Ro", |
| "sa" |
| ], |
| [ |
| "Sa", |
| "llia" |
| ], |
| [ |
| "Sa", |
| "lli" |
| ], |
| [ |
| "Kol", |
| "ma" |
| ], |
| [ |
| "Fe", |
| "nus" |
| ], |
| [ |
| "Ki", |
| "ra" |
| ], |
| [ |
| "A", |
| "z" |
| ], |
| [ |
| "H", |
| "yna" |
| ], |
| [ |
| "T", |
| "itana" |
| ], |
| [ |
| "As", |
| "nina" |
| ], |
| [ |
| "Az", |
| "e" |
| ], |
| [ |
| "O", |
| "l" |
| ], |
| [ |
| "l", |
| "e" |
| ], |
| [ |
| "sa", |
| "lli" |
| ], |
| [ |
| "As", |
| "hi" |
| ], |
| [ |
| "Er", |
| "ina" |
| ], |
| [ |
| "Ol", |
| "ga" |
| ], |
| [ |
| ".", |
| "." |
| ], |
| [ |
| "J", |
| "a" |
| ], |
| [ |
| "J", |
| "e" |
| ], |
| [ |
| "L", |
| "opma" |
| ], |
| [ |
| "a", |
| "r" |
| ], |
| [ |
| "g", |
| "we" |
| ], |
| [ |
| "p", |
| "ar" |
| ], |
| [ |
| "Kol", |
| "ina" |
| ], |
| [ |
| "gwe", |
| "na" |
| ], |
| [ |
| "par", |
| "le" |
| ] |
| ] |
| } |
| } |
