{
  "format_version": 1,
  "transformer": {
    "vocab_size": 65,
    "n_layers": 4,
    "d_model": 256,
    "n_heads": 8,
    "d_mlp": 1024,
    "max_seq_len": 33,
    "mlp": "gelu",
    "norm": "layernorm",
    "dropout": 0.0
  },
  "vocab": [
    "0",
    "1",
    "2",
    "3",
    "4",
    "5",
    "6",
    "7",
    "8",
    "9",
    "10",
    "11",
    "12",
    "13",
    "14",
    "15",
    "16",
    "17",
    "18",
    "19",
    "20",
    "21",
    "22",
    "23",
    "24",
    "25",
    "26",
    "27",
    "28",
    "29",
    "30",
    "31",
    "32",
    "33",
    "34",
    "35",
    "36",
    "37",
    "38",
    "39",
    "40",
    "41",
    "42",
    "43",
    "44",
    "45",
    "46",
    "47",
    "48",
    "49",
    "50",
    "51",
    "52",
    "53",
    "54",
    "55",
    "56",
    "57",
    "58",
    "59",
    "60",
    "61",
    "62",
    "63",
    "SEP"
  ]
}