Upload config.json with huggingface_hub

config.json

@@ -0,0 +1,111 @@
+{
+ "model_type": "gary4",
+ "architecture": "char-level GPT (2 layers, 4 heads, 48 dim, ctx 128)",
+ "n_layer": 2,
+ "n_head": 4,
+ "n_embd": 48,
+ "block_size": 128,
+ "vocab_size": 96,
+ "chars": [
+  "\n",
+  " ",
+  "!",
+  "\"",
+  "#",
+  "$",
+  "%",
+  "&",
+  "'",
+  "(",
+  ")",
+  "*",
+  "+",
+  ",",
+  "-",
+  ".",
+  "/",
+  "0",
+  "1",
+  "2",
+  "3",
+  "4",
+  "5",
+  "6",
+  "7",
+  "8",
+  "9",
+  ":",
+  ";",
+  "<",
+  "=",
+  ">",
+  "?",
+  "@",
+  "A",
+  "B",
+  "C",
+  "D",
+  "E",
+  "F",
+  "G",
+  "H",
+  "I",
+  "J",
+  "K",
+  "L",
+  "M",
+  "N",
+  "O",
+  "P",
+  "Q",
+  "R",
+  "S",
+  "T",
+  "U",
+  "V",
+  "W",
+  "X",
+  "Y",
+  "Z",
+  "[",
+  "\\",
+  "]",
+  "^",
+  "_",
+  "`",
+  "a",
+  "b",
+  "c",
+  "d",
+  "e",
+  "f",
+  "g",
+  "h",
+  "i",
+  "j",
+  "k",
+  "l",
+  "m",
+  "n",
+  "o",
+  "p",
+  "q",
+  "r",
+  "s",
+  "t",
+  "u",
+  "v",
+  "w",
+  "x",
+  "y",
+  "z",
+  "{",
+  "|",
+  "}",
+  "~"
+ ],
+ "n_params": 67392,
+ "pretrain_steps": 7054,
+ "pretrain_val_loss": 2.086,
+ "training_data": "~4.7MB sample of The Pile (monology/pile-uncopyrighted) + tiny chat fine-tune"
+}