config.json

{
 "model_type": "gary4",
 "architecture": "char-level GPT (2 layers, 4 heads, 48 dim, ctx 128)",
 "n_layer": 2,
 "n_head": 4,
 "n_embd": 48,
 "block_size": 128,
 "vocab_size": 96,
 "chars": [
  "\n",
  " ",
  "!",
  "\"",
  "#",
  "$",
  "%",
  "&",
  "'",
  "(",
  ")",
  "*",
  "+",
  ",",
  "-",
  ".",
  "/",
  "0",
  "1",
  "2",
  "3",
  "4",
  "5",
  "6",
  "7",
  "8",
  "9",
  ":",
  ";",
  "<",
  "=",
  ">",
  "?",
  "@",
  "A",
  "B",
  "C",
  "D",
  "E",
  "F",
  "G",
  "H",
  "I",
  "J",
  "K",
  "L",
  "M",
  "N",
  "O",
  "P",
  "Q",
  "R",
  "S",
  "T",
  "U",
  "V",
  "W",
  "X",
  "Y",
  "Z",
  "[",
  "\\",
  "]",
  "^",
  "_",
  "`",
  "a",
  "b",
  "c",
  "d",
  "e",
  "f",
  "g",
  "h",
  "i",
  "j",
  "k",
  "l",
  "m",
  "n",
  "o",
  "p",
  "q",
  "r",
  "s",
  "t",
  "u",
  "v",
  "w",
  "x",
  "y",
  "z",
  "{",
  "|",
  "}",
  "~"
 ],
 "n_params": 67392,
 "pretrain_steps": 7054,
 "pretrain_val_loss": 2.086,
 "training_data": "~4.7MB sample of The Pile (monology/pile-uncopyrighted) + tiny chat fine-tune"
}