| { | |
| "format_version": 1, | |
| "transformer": { | |
| "vocab_size": 65, | |
| "n_layers": 4, | |
| "d_model": 256, | |
| "n_heads": 8, | |
| "d_mlp": 1024, | |
| "max_seq_len": 33, | |
| "mlp": "gelu", | |
| "norm": "layernorm", | |
| "dropout": 0.0 | |
| }, | |
| "vocab": [ | |
| "0", | |
| "1", | |
| "2", | |
| "3", | |
| "4", | |
| "5", | |
| "6", | |
| "7", | |
| "8", | |
| "9", | |
| "10", | |
| "11", | |
| "12", | |
| "13", | |
| "14", | |
| "15", | |
| "16", | |
| "17", | |
| "18", | |
| "19", | |
| "20", | |
| "21", | |
| "22", | |
| "23", | |
| "24", | |
| "25", | |
| "26", | |
| "27", | |
| "28", | |
| "29", | |
| "30", | |
| "31", | |
| "32", | |
| "33", | |
| "34", | |
| "35", | |
| "36", | |
| "37", | |
| "38", | |
| "39", | |
| "40", | |
| "41", | |
| "42", | |
| "43", | |
| "44", | |
| "45", | |
| "46", | |
| "47", | |
| "48", | |
| "49", | |
| "50", | |
| "51", | |
| "52", | |
| "53", | |
| "54", | |
| "55", | |
| "56", | |
| "57", | |
| "58", | |
| "59", | |
| "60", | |
| "61", | |
| "62", | |
| "63", | |
| "SEP" | |
| ] | |
| } | |