runs/ediff/tokenizer.json

{"mode": "lua", "itos": {"0": "<pad>", "1": "<bos>", "2": "<eos>", "3": "<mask>", "4": "<gap>", "5": "<pre>", "6": "<suf>", "7": "<mid>", "8": "<unk>", "9": "\"a\"", "10": "\"ab\"", "11": "\"abc\"", "12": "\"b\"", "13": "\"bar\"", "14": "\"baz\"", "15": "\"foo\"", "16": "\"hi\"", "17": "\"key\"", "18": "\"lua\"", "19": "\"ok\"", "20": "\"one\"", "21": "\"two\"", "22": "\"val\"", "23": "\"x\"", "24": "\"y\"", "25": "#", "26": "%", "27": "(", "28": ")", "29": "*", "30": "+", "31": ",", "32": "-", "33": ".", "34": "..", "35": "//", "36": "0", "37": "1", "38": "2", "39": "3", "40": "4", "41": "5", "42": "6", "43": "7", "44": "8", "45": "9", "46": "<", "47": "<=", "48": "=", "49": "==", "50": ">", "51": ">=", "52": "[", "53": "]", "54": "abs", "55": "and", "56": "ceil", "57": "do", "58": "else", "59": "end", "60": "f", "61": "false", "62": "floor", "63": "for", "64": "function", "65": "if", "66": "local", "67": "lower", "68": "math", "69": "not", "70": "or", "71": "rep", "72": "return", "73": "reverse", "74": "string", "75": "sub", "76": "then", "77": "tostring", "78": "true", "79": "upper", "80": "v1", "81": "v10", "82": "v11", "83": "v12", "84": "v13", "85": "v14", "86": "v15", "87": "v16", "88": "v17", "89": "v18", "90": "v19", "91": "v2", "92": "v20", "93": "v21", "94": "v22", "95": "v23", "96": "v24", "97": "v25", "98": "v26", "99": "v27", "100": "v3", "101": "v4", "102": "v5", "103": "v6", "104": "v7", "105": "v8", "106": "v9", "107": "y", "108": "{", "109": "}", "110": "~="}}