Source snapshot of github.com/Scottcjn/elya-nes@655ff72
c0c5128 verified 14 days ago
63.6 kB
{
 "info": {
  "rows": 1408,
  "nnz": 233408,
  "nnz_per_token": [
   53156,
   53218,
   53271,
   53295,
   53135,
   53412,
   53349,
   53296
  ],
  "weights_per_token": 102400,
  "weights_on_cart": 446464,
  "nexp": 8,
  "stream_banks": 55,
  "header_bytes": 5684,
  "banks": 55,
  "bank_crossings_per_token": 13,
  "tokens": [
   1,
   4,
   2,
   0,
   20,
   18,
   33,
   36,
   43,
   18,
   38,
   14,
   26,
   51,
   15,
   15,
   24,
   55,
   18,
   0
  ],
  "ntok": 19,
  "weights_npz": "runs/fac/n8_exact_s1.npz",
  "seed_tok": 1
 },
 "tokens": [
  1,
  4,
  2,
  0,
  20,
  18,
  33,
  36,
  43,
  18,
  38,
  14,
  26,
  51,
  15,
  15,
  24,
  55,
  18,
  0
 ],
 "trace": [
  {
   "tok": 1,
   "pos": 0,
   "x0": [
    4,
    1,
    2,
    2,
    4,
    1,
    0,
    2,
    -1,
    -5,
    -3,
    4,
    -3,
    2,
    -4,
    -1,
    7,
    -1,
    2,
    0,
    -4,
    7,
    1,
    6,
    -1,
    -1,
    -7,
    3,
    5,
    -4,
    -5,
    -7,
    -4,
    -7,
    -4,
    -2,
    0,
    0,
    4,
    -2,
    -3,
    6,
    -4,
    -2,
    2,
    0,
    5,
    -4,
    7,
    -4,
    0,
    -5,
    0,
    6,
    -3,
    -1,
    -6,
    -5,
    -6,
    -1,
    -3,
    -3,
    2,
    7
   ],
   "att": [
    -1,
    -2,
    1,
    -1,
    0,
    -1,
    0,
    -1,
    -1,
    -2,
    -1,
    0,
    1,
    0,
    1,
    -2,
    -1,
    1,
    1,
    1,
    1,
    -2,
    -2,
    1,
    0,
    -1,
    -1,
    0,
    -2,
    0,
    0,
    -2,
    0,
    -2,
    1,
    0,
    -2,
    1,
    0,
    1,
    -1,
    -1,
    -1,
    -2,
    -1,
    0,
    1,
    -1,
    0,
    -2,
    0,
    -2,
    0,
    -2,
    0,
    1,
    1,
    -2,
    0,
    0,
    -1,
    0,
    -2,
    0
   ],
   "q": [
    -7,
    1,
    -2,
    4,
    -6,
    -7,
    7,
    -1,
    6,
    -7,
    5,
    -7,
    5,
    -6,
    5,
    -3,
    0,
    -3,
    -2,
    0,
    1,
    6,
    -4,
    7,
    4,
    2,
    4,
    2,
    -4,
    -5,
    5,
    -1,
    -7,
    5,
    -7,
    -6,
    -2,
    5,
    -2,
    3,
    6,
    7,
    -2,
    -4,
    -7,
    7,
    -2,
    6,
    -1,
    -7,
    1,
    -6,
    4,
    2,
    1,
    3,
    -5,
    0,
    -6,
    -2,
    7,
    1,
    -3,
    6
   ],
   "scores": [
    31
   ],
   "p": [
    7
   ],
   "L0.x": [
    0,
    1,
    -2,
    0,
    2,
    7,
    -3,
    5,
    -7,
    -7,
    -6,
    3,
    -7,
    -4,
    -3,
    0,
    7,
    1,
    -2,
    -7,
    -3,
    7,
    5,
    5,
    -7,
    -6,
    -6,
    2,
    7,
    -3,
    -7,
    0,
    -5,
    -4,
    0,
    -4,
    1,
    1,
    -6,
    -4,
    6,
    -1,
    -5,
    -7,
    -2,
    -5,
    3,
    -7,
    7,
    -6,
    -5,
    -1,
    -1,
    3,
    -7,
    -7,
    -2,
    -7,
    -7,
    -4,
    -4,
    -1,
    1,
    0
   ],
   "L1.x": [
    7,
    0,
    -5,
    2,
    7,
    6,
    -6,
    7,
    -7,
    -4,
    -3,
    7,
    -7,
    3,
    -3,
    -6,
    7,
    -3,
    -6,
    -7,
    0,
    7,
    7,
    0,
    -7,
    -5,
    2,
    -7,
    6,
    3,
    -3,
    -2,
    -7,
    -4,
    -7,
    1,
    3,
    -5,
    -1,
    -6,
    1,
    -5,
    5,
    -6,
    -5,
    -7,
    -3,
    -7,
    -1,
    -7,
    -3,
    -2,
    -7,
    6,
    -7,
    0,
    -7,
    1,
    0,
    -5,
    -1,
    -1,
    -4,
    4
   ],
   "L2.x": [
    5,
    1,
    -5,
    -4,
    6,
    0,
    -7,
    0,
    -1,
    -5,
    -6,
    1,
    -7,
    -7,
    -7,
    -5,
    4,
    -3,
    -7,
    -7,
    6,
    1,
    4,
    2,
    -4,
    -3,
    7,
    -1,
    1,
    7,
    -6,
    -2,
    -4,
    -7,
    0,
    0,
    3,
    1,
    4,
    -7,
    -1,
    -5,
    -1,
    -5,
    -7,
    -7,
    0,
    -5,
    -7,
    -7,
    0,
    5,
    -7,
    7,
    -7,
    1,
    -7,
    -2,
    0,
    -1,
    3,
    6,
    -3,
    1
   ],
   "logits0_8": [
    64,
    42,
    -41,
    -46,
    74,
    -50,
    -43,
    -26
   ],
   "next": 4
  },
  {
   "tok": 4,
   "pos": 1,
   "x0": [
    -3,
    1,
    -1,
    0,
    1,
    -3,
    -2,
    -3,
    2,
    -6,
    -6,
    5,
    2,
    4,
    -4,
    1,
    2,
    0,
    2,
    2,
    -3,
    4,
    6,
    -3,
    0,
    -1,
    -7,
    1,
    -3,
    -2,
    -4,
    -6,
    -3,
    2,
    0,
    3,
    0,
    -6,
    1,
    6,
    -2,
    4,
    -3,
    -6,
    2,
    -1,
    6,
    -3,
    -1,
    1,
    0,
    0,
    -3,
    4,
    -3,
    -2,
    0,
    -3,
    -3,
    -5,
    -1,
    -1,
    4,
    4
   ],
   "att": [
    -1,
    -2,
    1,
    -1,
    0,
    -1,
    0,
    -1,
    -1,
    -2,
    -1,
    0,
    1,
    0,
    1,
    -2,
    -1,
    1,
    1,
    1,
    1,
    -2,
    -2,
    1,
    0,
    -1,
    -1,
    0,
    -2,
    0,
    0,
    -2,
    0,
    -2,
    1,
    0,
    -2,
    1,
    0,
    1,
    -1,
    -1,
    -1,
    -2,
    -1,
    0,
    1,
    -1,
    0,
    -2,
    0,
    -2,
    0,
    -2,
    0,
    1,
    1,
    -2,
    0,
    0,
    -1,
    0,
    -2,
    0
   ],
   "q": [
    -5,
    3,
    -3,
    4,
    -4,
    -6,
    4,
    -1,
    4,
    -7,
    3,
    7,
    2,
    -5,
    7,
    -7,
    -6,
    -6,
    -4,
    1,
    -2,
    5,
    -2,
    4,
    0,
    -6,
    4,
    7,
    -1,
    7,
    3,
    2,
    -4,
    4,
    -7,
    -7,
    -7,
    3,
    3,
    -2,
    7,
    1,
    -1,
    -7,
    -6,
    1,
    -3,
    1,
    -3,
    -7,
    5,
    -5,
    3,
    1,
    -2,
    -1,
    -3,
    -7,
    1,
    -2,
    4,
    3,
    7,
    -5
   ],
   "scores": [
    9,
    -30
   ],
   "p": [
    7,
    0
   ],
   "L0.x": [
    -7,
    1,
    5,
    0,
    1,
    -3,
    1,
    4,
    -2,
    -7,
    -7,
    7,
    -7,
    4,
    -1,
    7,
    1,
    -1,
    -7,
    2,
    -4,
    7,
    7,
    0,
    -6,
    -3,
    -1,
    4,
    2,
    -1,
    1,
    -7,
    -6,
    -7,
    4,
    -1,
    4,
    0,
    5,
    6,
    7,
    4,
    -6,
    -5,
    3,
    -5,
    7,
    -7,
    -3,
    -2,
    -2,
    -6,
    -7,
    1,
    -7,
    1,
    -3,
    -4,
    -7,
    -3,
    3,
    -1,
    0,
    -1
   ],
   "L1.x": [
    -7,
    2,
    4,
    7,
    7,
    -7,
    3,
    6,
    -6,
    3,
    -7,
    4,
    -3,
    7,
    -1,
    -2,
    -7,
    -6,
    0,
    2,
    -5,
    7,
    7,
    -1,
    -3,
    1,
    0,
    -1,
    -5,
    -2,
    -7,
    -7,
    -1,
    -7,
    -3,
    0,
    4,
    1,
    5,
    5,
    6,
    2,
    2,
    -1,
    7,
    -7,
    6,
    -5,
    -4,
    -5,
    -7,
    -5,
    -2,
    1,
    0,
    3,
    0,
    -3,
    -6,
    2,
    2,
    -7,
    2,
    -4
   ],
   "L2.x": [
    -5,
    5,
    6,
    7,
    7,
    -2,
    7,
    4,
    4,
    1,
    0,
    0,
    -4,
    2,
    1,
    4,
    0,
    -7,
    -6,
    3,
    -7,
    7,
    0,
    5,
    0,
    6,
    -5,
    -2,
    -6,
    2,
    -4,
    -5,
    -2,
    -7,
    -6,
    0,
    -1,
    2,
    5,
    2,
    6,
    2,
    6,
    5,
    7,
    -7,
    1,
    -5,
    -7,
    -6,
    -6,
    -6,
    -7,
    -2,
    4,
    7,
    6,
    2,
    -4,
    2,
    -3,
    -6,
    2,
    0
   ],
   "logits0_8": [
    77,
    -8,
    82,
    7,
    41,
    67,
    35,
    35
   ],
   "next": 2
  },
  {
   "tok": 2,
   "pos": 2,
   "x0": [
    1,
    -2,
    6,
    -4,
    -5,
    0,
    -7,
    0,
    1,
    -3,
    0,
    -1,
    2,
    1,
    -7,
    2,
    2,
    -6,
    2,
    1,
    -2,
    -2,
    3,
    3,
    -5,
    -1,
    -1,
    -2,
    -2,
    0,
    -5,
    -2,
    -2,
    -3,
    0,
    -1,
    -1,
    -5,
    2,
    1,
    -3,
    -1,
    4,
    -2,
    4,
    2,
    7,
    3,
    4,
    -3,
    -3,
    -3,
    0,
    -3,
    2,
    -2,
    -4,
    -5,
    -1,
    -1,
    1,
    2,
    6,
    4
   ],
   "att": [
    0,
    -1,
    0,
    0,
    0,
    -1,
    -1,
    -1,
    -1,
    -1,
    -1,
    0,
    0,
    -1,
    0,
    -1,
    -1,
    1,
    0,
    0,
    0,
    -2,
    -2,
    0,
    0,
    -1,
    -1,
    0,
    -2,
    0,
    0,
    -2,
    1,
    1,
    1,
    1,
    -2,
    0,
    1,
    0,
    1,
    -2,
    -2,
    0,
    -2,
    1,
    1,
    -1,
    0,
    1,
    1,
    -2,
    1,
    1,
    1,
    1,
    -1,
    -2,
    -1,
    -1,
    1,
    -2,
    -2,
    1
   ],
   "q": [
    -4,
    -1,
    0,
    -1,
    5,
    0,
    -1,
    -1,
    7,
    -7,
    7,
    -4,
    0,
    -6,
    6,
    0,
    -2,
    -7,
    -7,
    -6,
    -2,
    1,
    -7,
    3,
    -7,
    -3,
    0,
    2,
    0,
    2,
    -7,
    7,
    2,
    6,
    -7,
    1,
    7,
    -2,
    0,
    6,
    -7,
    -2,
    1,
    3,
    4,
    5,
    2,
    -4,
    -7,
    -7,
    -3,
    2,
    6,
    7,
    5,
    5,
    -7,
    -7,
    -3,
    -3,
    -2,
    1,
    -2,
    -6
   ],
   "scores": [
    6,
    46,
    -16
   ],
   "p": [
    0,
    7,
    0
   ],
   "L0.x": [
    4,
    -7,
    2,
    -5,
    -6,
    3,
    -5,
    4,
    1,
    -7,
    -7,
    7,
    5,
    -6,
    -5,
    1,
    7,
    -3,
    -7,
    -4,
    -5,
    7,
    7,
    -7,
    -2,
    1,
    1,
    6,
    -2,
    0,
    -7,
    4,
    0,
    0,
    5,
    7,
    -3,
    2,
    1,
    3,
    -7,
    -1,
    7,
    -6,
    7,
    -2,
    2,
    -2,
    -3,
    -6,
    -7,
    -1,
    -2,
    -5,
    -7,
    -3,
    -4,
    0,
    -2,
    -5,
    2,
    -7,
    7,
    5
   ],
   "L1.x": [
    5,
    -3,
    -6,
    -7,
    4,
    -6,
    -7,
    -5,
    -7,
    -3,
    -1,
    4,
    6,
    -7,
    -1,
    -5,
    1,
    -6,
    -7,
    2,
    -7,
    7,
    6,
    0,
    6,
    2,
    -2,
    -4,
    -4,
    7,
    -7,
    4,
    1,
    -4,
    0,
    7,
    -5,
    -3,
    -1,
    -2,
    -5,
    4,
    3,
    -7,
    1,
    -7,
    4,
    -7,
    -7,
    -7,
    -7,
    3,
    -3,
    -4,
    -3,
    -2,
    -4,
    -6,
    5,
    0,
    -1,
    -6,
    2,
    7
   ],
   "L2.x": [
    3,
    3,
    2,
    -7,
    7,
    -1,
    -6,
    -5,
    -4,
    3,
    -6,
    -3,
    6,
    -3,
    3,
    -6,
    2,
    -6,
    -7,
    4,
    -6,
    6,
    7,
    2,
    6,
    -2,
    -3,
    -2,
    -7,
    7,
    -7,
    6,
    6,
    -5,
    2,
    7,
    -5,
    5,
    -7,
    -7,
    -1,
    2,
    3,
    -7,
    -7,
    -7,
    6,
    0,
    -1,
    -7,
    -7,
    6,
    -7,
    -7,
    1,
    -4,
    -7,
    -6,
    -1,
    2,
    -7,
    -1,
    -3,
    -1
   ],
   "logits0_8": [
    159,
    -81,
    -23,
    -58,
    8,
    -79,
    -35,
    -7
   ],
   "next": 0
  },
  {
   "tok": 0,
   "pos": 3,
   "x0": [
    -2,
    2,
    -2,
    -3,
    1,
    -2,
    -6,
    0,
    2,
    -2,
    -3,
    0,
    0,
    -1,
    -6,
    1,
    -2,
    -1,
    -3,
    -2,
    -5,
    7,
    1,
    -5,
    1,
    1,
    -4,
    5,
    3,
    0,
    1,
    -6,
    -6,
    -1,
    4,
    -4,
    0,
    0,
    -3,
    2,
    -3,
    3,
    0,
    4,
    0,
    -1,
    3,
    -1,
    1,
    -2,
    -4,
    1,
    1,
    -3,
    -5,
    -3,
    0,
    -5,
    -3,
    0,
    -4,
    0,
    2,
    6
   ],
   "att": [
    1,
    0,
    -1,
    0,
    0,
    -1,
    -1,
    -1,
    0,
    1,
    0,
    0,
    -1,
    -1,
    0,
    -1,
    0,
    0,
    -1,
    0,
    0,
    -1,
    -1,
    0,
    0,
    -1,
    0,
    -1,
    -1,
    0,
    0,
    -1,
    -2,
    0,
    -2,
    -2,
    1,
    -2,
    -1,
    1,
    1,
    1,
    1,
    -1,
    1,
    1,
    -2,
    1,
    1,
    1,
    0,
    1,
    -2,
    -2,
    -2,
    1,
    1,
    0,
    -2,
    -2,
    1,
    1,
    1,
    -1
   ],
   "q": [
    -5,
    -1,
    7,
    6,
    3,
    3,
    -1,
    -1,
    7,
    -3,
    7,
    -3,
    -2,
    -5,
    6,
    0,
    -3,
    3,
    -7,
    -7,
    -5,
    0,
    -7,
    -6,
    7,
    7,
    -3,
    -7,
    -7,
    3,
    -5,
    6,
    6,
    -7,
    -1,
    -6,
    -7,
    7,
    1,
    7,
    7,
    -2,
    -2,
    0,
    2,
    -1,
    7,
    -5,
    -3,
    -7,
    7,
    -6,
    -7,
    -1,
    7,
    -7,
    0,
    -7,
    -2,
    -5,
    0,
    -4,
    7,
    -6
   ],
   "scores": [
    -183,
    -208,
    -105,
    -220
   ],
   "p": [
    0,
    0,
    7,
    0
   ],
   "L0.x": [
    0,
    -2,
    2,
    -4,
    -4,
    -6,
    -4,
    -5,
    -2,
    -2,
    2,
    -1,
    -6,
    -1,
    -3,
    0,
    -3,
    -2,
    -6,
    -1,
    -3,
    7,
    -3,
    -7,
    -2,
    -5,
    -5,
    2,
    0,
    4,
    -6,
    -7,
    -7,
    -4,
    4,
    0,
    4,
    -4,
    -7,
    6,
    -4,
    4,
    4,
    6,
    4,
    -2,
    5,
    -3,
    7,
    5,
    -3,
    -3,
    2,
    -2,
    -7,
    -6,
    -2,
    0,
    0,
    2,
    -5,
    -3,
    7,
    0
   ],
   "L1.x": [
    -7,
    -6,
    5,
    -5,
    -3,
    -2,
    1,
    -7,
    -7,
    -6,
    5,
    -1,
    -3,
    -2,
    -3,
    -7,
    -6,
    1,
    -7,
    4,
    -7,
    7,
    -3,
    -7,
    -1,
    -3,
    -7,
    -5,
    -3,
    7,
    -7,
    -7,
    -6,
    -7,
    -4,
    2,
    6,
    -2,
    -7,
    0,
    0,
    2,
    2,
    0,
    7,
    -7,
    7,
    -4,
    5,
    7,
    -1,
    4,
    3,
    -1,
    -7,
    -3,
    0,
    5,
    6,
    5,
    -5,
    0,
    2,
    2
   ],
   "L2.x": [
    -7,
    -7,
    7,
    -4,
    1,
    4,
    -1,
    -7,
    -7,
    -7,
    7,
    -7,
    -5,
    -1,
    -4,
    -7,
    -5,
    3,
    -3,
    -4,
    -7,
    2,
    -7,
    -7,
    -5,
    -1,
    -7,
    -4,
    0,
    7,
    -7,
    -6,
    3,
    -7,
    -7,
    7,
    2,
    -6,
    0,
    -6,
    4,
    -2,
    7,
    0,
    3,
    -2,
    7,
    3,
    -2,
    2,
    -5,
    7,
    4,
    5,
    1,
    -7,
    -7,
    7,
    6,
    7,
    -7,
    5,
    5,
    1
   ],
   "logits0_8": [
    33,
    21,
    14,
    2,
    -14,
    14,
    15,
    -17
   ],
   "next": 20
  },
  {
   "tok": 20,
   "pos": 4,
   "x0": [
    1,
    -4,
    -3,
    -1,
    3,
    -2,
    -1,
    -4,
    -6,
    -5,
    -1,
    -1,
    -1,
    -3,
    -5,
    3,
    -4,
    0,
    4,
    -2,
    1,
    0,
    -1,
    -3,
    -5,
    -1,
    -6,
    -6,
    -3,
    1,
    0,
    -1,
    -7,
    0,
    -1,
    2,
    4,
    -1,
    -2,
    2,
    0,
    2,
    -1,
    -1,
    0,
    4,
    5,
    0,
    0,
    1,
    2,
    0,
    -2,
    1,
    0,
    -6,
    -3,
    -5,
    0,
    -2,
    5,
    -1,
    -3,
    7
   ],
   "att": [
    1,
    -1,
    0,
    1,
    -2,
    -2,
    1,
    1,
    1,
    -2,
    0,
    -2,
    1,
    1,
    0,
    1,
    1,
    1,
    1,
    -1,
    1,
    -1,
    1,
    -2,
    -2,
    1,
    1,
    -2,
    1,
    -2,
    -1,
    1,
    -2,
    0,
    -2,
    -2,
    1,
    -2,
    -1,
    1,
    1,
    1,
    1,
    -1,
    1,
    1,
    -2,
    1,
    1,
    1,
    0,
    1,
    -2,
    -2,
    -2,
    1,
    1,
    0,
    -2,
    -2,
    1,
    1,
    1,
    -1
   ],
   "q": [
    -4,
    -3,
    4,
    7,
    7,
    2,
    -3,
    -5,
    7,
    -1,
    7,
    5,
    4,
    -7,
    -5,
    5,
    0,
    -7,
    -3,
    -7,
    -4,
    6,
    3,
    -4,
    -5,
    -5,
    -4,
    -4,
    2,
    -1,
    1,
    7,
    7,
    -7,
    2,
    -7,
    -7,
    2,
    -3,
    7,
    3,
    5,
    -7,
    -6,
    4,
    3,
    -4,
    2,
    -5,
    0,
    7,
    3,
    -1,
    -5,
    7,
    6,
    -5,
    -6,
    -7,
    -7,
    -1,
    -6,
    7,
    -7
   ],
   "scores": [
    -170,
    -194,
    -93,
    -158,
    -147
   ],
   "p": [
    0,
    0,
    7,
    0,
    0
   ],
   "L0.x": [
    2,
    -2,
    1,
    3,
    -7,
    -7,
    4,
    -7,
    -6,
    -7,
    -1,
    6,
    -7,
    -2,
    -3,
    5,
    3,
    -3,
    -2,
    -1,
    3,
    -2,
    -4,
    0,
    -7,
    -1,
    -7,
    0,
    -6,
    -7,
    2,
    -6,
    -4,
    7,
    3,
    3,
    -2,
    7,
    -2,
    6,
    5,
    7,
    1,
    -1,
    7,
    7,
    -7,
    -4,
    5,
    -1,
    -5,
    6,
    -7,
    -1,
    0,
    2,
    -3,
    1,
    -2,
    4,
    0,
    3,
    -1,
    7
   ],
   "L1.x": [
    0,
    -2,
    3,
    5,
    -1,
    0,
    6,
    0,
    -7,
    -7,
    -2,
    5,
    -5,
    -4,
    0,
    -2,
    1,
    0,
    -4,
    2,
    -3,
    5,
    1,
    -4,
    -1,
    -7,
    -5,
    2,
    -5,
    -7,
    -4,
    -7,
    1,
    6,
    -4,
    7,
    3,
    7,
    -5,
    4,
    6,
    5,
    4,
    1,
    7,
    1,
    -2,
    -4,
    0,
    -3,
    -7,
    7,
    -7,
    -7,
    5,
    6,
    0,
    -7,
    -3,
    0,
    0,
    -2,
    -7,
    7
   ],
   "L2.x": [
    -2,
    -2,
    3,
    7,
    -1,
    1,
    7,
    -4,
    -1,
    -6,
    -3,
    -1,
    -7,
    -7,
    2,
    -4,
    -2,
    0,
    -7,
    3,
    0,
    5,
    2,
    0,
    -5,
    -3,
    -7,
    3,
    0,
    0,
    -1,
    -7,
    3,
    7,
    -7,
    7,
    3,
    7,
    -5,
    7,
    7,
    6,
    7,
    6,
    6,
    3,
    -6,
    -7,
    -7,
    -1,
    -7,
    4,
    -7,
    -7,
    7,
    7,
    -3,
    1,
    -7,
    1,
    -6,
    -6,
    -1,
    2
   ],
   "logits0_8": [
    34,
    -7,
    49,
    23,
    8,
    -18,
    57,
    -42
   ],
   "next": 18
  },
  {
   "tok": 18,
   "pos": 5,
   "x0": [
    1,
    0,
    0,
    0,
    2,
    -2,
    -5,
    -7,
    -3,
    -1,
    0,
    -4,
    -3,
    -4,
    -4,
    -3,
    2,
    -2,
    -5,
    1,
    -4,
    2,
    3,
    2,
    1,
    0,
    -2,
    -1,
    -4,
    -1,
    -3,
    -3,
    -3,
    -3,
    0,
    1,
    0,
    -4,
    1,
    -1,
    -6,
    -3,
    -4,
    1,
    0,
    4,
    5,
    1,
    1,
    -1,
    2,
    2,
    0,
    -3,
    1,
    -1,
    -5,
    -4,
    -2,
    -2,
    -7,
    -1,
    0,
    3
   ],
   "att": [
    0,
    -2,
    0,
    -2,
    0,
    -1,
    -2,
    0,
    1,
    0,
    -1,
    1,
    -2,
    -2,
    0,
    1,
    -1,
    -1,
    0,
    1,
    -2,
    0,
    1,
    0,
    0,
    -1,
    0,
    -2,
    0,
    0,
    -2,
    -2,
    -2,
    -1,
    -2,
    1,
    -1,
    1,
    -1,
    -1,
    0,
    -1,
    -2,
    -2,
    1,
    1,
    1,
    1,
    1,
    1,
    1,
    -1,
    1,
    1,
    1,
    -1,
    -1,
    -2,
    -1,
    -2,
    1,
    1,
    1,
    -2
   ],
   "q": [
    -4,
    0,
    3,
    -3,
    7,
    6,
    -1,
    -4,
    7,
    0,
    7,
    -4,
    -3,
    -6,
    -1,
    5,
    -5,
    -4,
    -5,
    -7,
    -5,
    7,
    -4,
    2,
    -3,
    3,
    -6,
    -6,
    -7,
    0,
    4,
    7,
    5,
    2,
    2,
    0,
    0,
    7,
    -7,
    7,
    6,
    7,
    -3,
    0,
    4,
    5,
    0,
    1,
    -5,
    -6,
    0,
    -4,
    2,
    3,
    7,
    -6,
    -5,
    -7,
    4,
    -7,
    2,
    -7,
    -7,
    1
   ],
   "scores": [
    -105,
    -92,
    -38,
    -99,
    -16,
    -61
   ],
   "p": [
    0,
    0,
    1,
    0,
    6,
    0
   ],
   "L0.x": [
    2,
    3,
    5,
    6,
    -3,
    -6,
    -3,
    -3,
    -7,
    -1,
    -7,
    7,
    -4,
    3,
    -5,
    -6,
    7,
    -1,
    -7,
    -1,
    4,
    5,
    -6,
    -6,
    2,
    -1,
    0,
    0,
    4,
    3,
    -1,
    -7,
    -5,
    -7,
    -1,
    -3,
    6,
    -4,
    -1,
    7,
    0,
    1,
    0,
    4,
    2,
    -4,
    1,
    5,
    5,
    -5,
    5,
    -5,
    2,
    -7,
    5,
    -2,
    -7,
    -1,
    -3,
    -3,
    -7,
    -1,
    -3,
    7
   ],
   "L1.x": [
    7,
    7,
    -4,
    7,
    -1,
    0,
    -3,
    1,
    -7,
    -7,
    -7,
    -1,
    -7,
    3,
    -7,
    -6,
    7,
    -7,
    -6,
    -7,
    7,
    4,
    -5,
    -7,
    7,
    -5,
    -3,
    -5,
    -1,
    -2,
    1,
    -4,
    -2,
    -7,
    -4,
    -4,
    0,
    -7,
    -2,
    2,
    2,
    -3,
    -7,
    -4,
    7,
    -5,
    1,
    -4,
    -1,
    -7,
    4,
    2,
    0,
    0,
    5,
    1,
    -7,
    -2,
    1,
    -7,
    -7,
    0,
    1,
    7
   ],
   "L2.x": [
    7,
    3,
    -7,
    -1,
    -3,
    -1,
    4,
    2,
    3,
    -2,
    -7,
    -7,
    -7,
    -2,
    -7,
    -2,
    2,
    -3,
    -5,
    -7,
    6,
    -3,
    -7,
    -5,
    0,
    0,
    1,
    -4,
    -7,
    -7,
    2,
    -1,
    1,
    1,
    -1,
    -7,
    3,
    -6,
    3,
    0,
    6,
    6,
    0,
    -7,
    7,
    -7,
    6,
    -3,
    -3,
    -6,
    7,
    6,
    -7,
    -4,
    7,
    -6,
    -1,
    -1,
    -7,
    -7,
    -7,
    1,
    1,
    7
   ],
   "logits0_8": [
    5,
    -41,
    -4,
    -34,
    98,
    -50,
    -51,
    18
   ],
   "next": 33
  },
  {
   "tok": 33,
   "pos": 6,
   "x0": [
    3,
    5,
    -3,
    -2,
    -5,
    6,
    -4,
    -1,
    1,
    -1,
    3,
    -6,
    1,
    2,
    -4,
    -1,
    -3,
    -2,
    4,
    -3,
    -1,
    4,
    2,
    4,
    2,
    4,
    1,
    -2,
    -1,
    0,
    3,
    1,
    -2,
    0,
    1,
    3,
    0,
    -2,
    4,
    -2,
    0,
    2,
    1,
    -3,
    -7,
    -2,
    6,
    2,
    1,
    -3,
    0,
    1,
    1,
    -3,
    -2,
    -4,
    1,
    -3,
    -2,
    -2,
    -1,
    0,
    -1,
    5
   ],
   "att": [
    0,
    -2,
    -1,
    -1,
    -1,
    -1,
    -2,
    0,
    1,
    -1,
    0,
    1,
    -1,
    -2,
    0,
    0,
    0,
    -1,
    -1,
    1,
    -1,
    0,
    1,
    1,
    0,
    -1,
    0,
    -2,
    0,
    0,
    -2,
    -2,
    1,
    1,
    -2,
    -2,
    -2,
    1,
    -1,
    1,
    1,
    -1,
    1,
    1,
    0,
    1,
    1,
    -1,
    1,
    -2,
    -2,
    -1,
    0,
    1,
    0,
    0,
    1,
    -1,
    -2,
    1,
    1,
    1,
    0,
    -1
   ],
   "q": [
    -4,
    4,
    -3,
    -5,
    7,
    7,
    -6,
    3,
    7,
    -3,
    1,
    -3,
    -1,
    -1,
    6,
    4,
    0,
    -2,
    1,
    2,
    -7,
    -3,
    -7,
    -3,
    -7,
    3,
    5,
    4,
    -4,
    7,
    3,
    7,
    7,
    -5,
    6,
    1,
    2,
    3,
    -7,
    7,
    7,
    -2,
    -1,
    7,
    -2,
    5,
    1,
    4,
    -7,
    -3,
    0,
    -4,
    1,
    1,
    5,
    -2,
    -7,
    7,
    -7,
    -6,
    -2,
    3,
    7,
    -6
   ],
   "scores": [
    -123,
    -97,
    -45,
    -102,
    -31,
    2,
    -54
   ],
   "p": [
    0,
    0,
    0,
    0,
    0,
    6,
    0
   ],
   "L0.x": [
    4,
    1,
    -5,
    2,
    -7,
    3,
    -7,
    7,
    6,
    -7,
    2,
    3,
    -2,
    2,
    -6,
    -2,
    0,
    -3,
    -1,
    -3,
    -1,
    3,
    -3,
    7,
    3,
    0,
    -6,
    -2,
    -1,
    -2,
    7,
    7,
    -2,
    -5,
    0,
    2,
    -6,
    6,
    1,
    2,
    -7,
    0,
    1,
    -5,
    -7,
    -7,
    2,
    4,
    0,
    -7,
    -3,
    2,
    2,
    -7,
    -7,
    1,
    -4,
    2,
    -4,
    3,
    -5,
    -1,
    3,
    6
   ],
   "L1.x": [
    4,
    7,
    0,
    7,
    1,
    2,
    0,
    1,
    4,
    -3,
    7,
    5,
    -5,
    -1,
    -4,
    -7,
    1,
    -7,
    6,
    -2,
    -6,
    7,
    -6,
    3,
    0,
    -7,
    -3,
    4,
    1,
    -7,
    2,
    5,
    -2,
    -7,
    -2,
    -4,
    0,
    7,
    -7,
    -7,
    -7,
    -4,
    0,
    -1,
    -6,
    -7,
    -3,
    6,
    3,
    -7,
    -7,
    7,
    3,
    -7,
    -7,
    4,
    -7,
    0,
    -7,
    -1,
    -7,
    0,
    -5,
    7
   ],
   "L2.x": [
    -3,
    7,
    0,
    7,
    2,
    5,
    7,
    0,
    7,
    4,
    0,
    0,
    -7,
    -7,
    -7,
    -7,
    7,
    0,
    0,
    6,
    -1,
    2,
    -4,
    7,
    4,
    0,
    -6,
    -1,
    3,
    -5,
    0,
    -3,
    -1,
    -7,
    -4,
    2,
    -5,
    7,
    -1,
    -2,
    0,
    -5,
    4,
    4,
    0,
    1,
    -2,
    6,
    2,
    -7,
    -6,
    1,
    4,
    -7,
    0,
    7,
    -2,
    7,
    -1,
    2,
    -2,
    4,
    0,
    1
   ],
   "logits0_8": [
    52,
    -1,
    4,
    15,
    21,
    16,
    -10,
    21
   ],
   "next": 36
  },
  {
   "tok": 36,
   "pos": 7,
   "x0": [
    -1,
    2,
    -3,
    0,
    2,
    3,
    -3,
    -1,
    1,
    -2,
    1,
    -4,
    5,
    -3,
    0,
    -2,
    -1,
    -3,
    2,
    -1,
    -1,
    -2,
    -1,
    1,
    0,
    0,
    0,
    1,
    4,
    3,
    3,
    -1,
    -2,
    -5,
    -1,
    5,
    0,
    1,
    5,
    1,
    0,
    3,
    4,
    3,
    6,
    0,
    2,
    3,
    5,
    6,
    2,
    3,
    0,
    0,
    -4,
    -4,
    -5,
    -3,
    -3,
    -3,
    -4,
    1,
    -3,
    2
   ],
   "att": [
    -1,
    0,
    0,
    -1,
    -1,
    1,
    -1,
    -2,
    -2,
    0,
    1,
    0,
    1,
    1,
    -2,
    -1,
    1,
    -1,
    -2,
    1,
    -2,
    1,
    0,
    0,
    1,
    1,
    1,
    1,
    1,
    1,
    0,
    1,
    1,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    -1,
    0,
    0,
    1,
    0,
    1,
    -1,
    0,
    0,
    -2,
    0,
    0,
    0,
    0,
    -1,
    0,
    -1,
    0,
    0,
    1,
    0,
    1,
    0,
    -1
   ],
   "q": [
    1,
    -6,
    4,
    4,
    5,
    2,
    2,
    -2,
    7,
    0,
    3,
    1,
    -1,
    5,
    7,
    1,
    -7,
    -7,
    -1,
    -1,
    2,
    3,
    -4,
    2,
    -3,
    3,
    -2,
    -3,
    -1,
    0,
    -3,
    4,
    4,
    -2,
    5,
    -7,
    2,
    2,
    -4,
    7,
    -1,
    1,
    0,
    0,
    1,
    -1,
    2,
    -1,
    -5,
    -1,
    3,
    -5,
    1,
    1,
    4,
    0,
    -5,
    1,
    1,
    -5,
    2,
    4,
    4,
    -1
   ],
   "scores": [
    -96,
    -79,
    -43,
    -73,
    -30,
    4,
    4,
    6
   ],
   "p": [
    0,
    0,
    0,
    0,
    0,
    2,
    2,
    3
   ],
   "L0.x": [
    -7,
    6,
    -2,
    -7,
    1,
    1,
    -1,
    -3,
    -4,
    -5,
    4,
    -5,
    0,
    -5,
    0,
    -3,
    -2,
    -4,
    -2,
    -6,
    -2,
    -2,
    0,
    5,
    5,
    5,
    -1,
    3,
    -2,
    -1,
    7,
    0,
    0,
    -7,
    -3,
    7,
    4,
    1,
    7,
    1,
    1,
    -2,
    5,
    5,
    -1,
    -7,
    0,
    3,
    1,
    7,
    -4,
    -2,
    -2,
    -7,
    -7,
    0,
    -7,
    -4,
    -4,
    -7,
    -7,
    3,
    1,
    3
   ],
   "L1.x": [
    -7,
    7,
    -4,
    -7,
    7,
    2,
    5,
    -7,
    -7,
    -7,
    7,
    -1,
    -3,
    -7,
    0,
    -7,
    -7,
    -7,
    -7,
    0,
    -7,
    -6,
    7,
    7,
    7,
    7,
    4,
    7,
    -7,
    -7,
    7,
    0,
    -2,
    -7,
    -3,
    5,
    7,
    -6,
    7,
    -7,
    2,
    -7,
    4,
    7,
    3,
    -7,
    -3,
    -1,
    -5,
    5,
    -7,
    4,
    -3,
    -7,
    -7,
    7,
    -7,
    -7,
    -6,
    -7,
    0,
    7,
    7,
    -1
   ],
   "L2.x": [
    -7,
    3,
    3,
    0,
    7,
    1,
    1,
    -3,
    -3,
    0,
    7,
    -7,
    1,
    -7,
    3,
    -2,
    -1,
    3,
    0,
    7,
    -4,
    0,
    2,
    7,
    7,
    5,
    -4,
    0,
    -4,
    0,
    7,
    -6,
    0,
    -7,
    -7,
    2,
    0,
    0,
    -1,
    0,
    5,
    -4,
    7,
    7,
    2,
    0,
    -3,
    7,
    -3,
    1,
    -7,
    -1,
    4,
    -2,
    0,
    7,
    -2,
    0,
    -7,
    -5,
    -2,
    2,
    0,
    0
   ],
   "logits0_8": [
    32,
    25,
    77,
    70,
    -16,
    67,
    31,
    21
   ],
   "next": 43
  },
  {
   "tok": 43,
   "pos": 8,
   "x0": [
    -4,
    0,
    -1,
    4,
    1,
    7,
    -3,
    -3,
    -3,
    -6,
    -2,
    -1,
    -3,
    -5,
    -4,
    1,
    -3,
    -1,
    3,
    -1,
    0,
    0,
    3,
    -4,
    3,
    3,
    5,
    -3,
    7,
    3,
    -3,
    -1,
    0,
    5,
    3,
    1,
    2,
    -2,
    0,
    3,
    1,
    -1,
    6,
    0,
    -7,
    -2,
    0,
    2,
    -2,
    6,
    4,
    5,
    -3,
    0,
    -4,
    -5,
    1,
    -1,
    3,
    -3,
    -1,
    -2,
    4,
    1
   ],
   "att": [
    -1,
    0,
    0,
    0,
    0,
    1,
    0,
    -1,
    -1,
    0,
    0,
    -1,
    0,
    1,
    -1,
    0,
    0,
    -1,
    -2,
    0,
    -1,
    -1,
    0,
    0,
    -1,
    0,
    0,
    0,
    0,
    1,
    -1,
    0,
    1,
    -1,
    1,
    1,
    1,
    -1,
    0,
    -1,
    -2,
    1,
    -1,
    1,
    0,
    1,
    -2,
    0,
    -1,
    -2,
    1,
    1,
    0,
    -1,
    -1,
    0,
    -2,
    1,
    1,
    1,
    -1,
    1,
    0,
    -2
   ],
   "q": [
    0,
    -4,
    7,
    3,
    5,
    1,
    -7,
    0,
    7,
    6,
    3,
    7,
    -7,
    -7,
    7,
    7,
    -7,
    -4,
    -3,
    -1,
    -7,
    -2,
    -3,
    -3,
    -7,
    3,
    3,
    7,
    -4,
    5,
    6,
    7,
    7,
    -4,
    7,
    3,
    -7,
    7,
    -4,
    7,
    -2,
    1,
    -3,
    -4,
    7,
    -1,
    2,
    -6,
    -1,
    7,
    7,
    -7,
    -6,
    -7,
    7,
    3,
    -2,
    -4,
    2,
    -7,
    -7,
    -5,
    7,
    -7
   ],
   "scores": [
    -211,
    -228,
    -154,
    -196,
    -153,
    -82,
    -40,
    -31,
    -85
   ],
   "p": [
    0,
    0,
    0,
    0,
    0,
    0,
    2,
    5,
    0
   ],
   "L0.x": [
    -7,
    7,
    6,
    1,
    7,
    7,
    -7,
    -7,
    4,
    -6,
    -3,
    1,
    0,
    -6,
    2,
    -5,
    -7,
    -2,
    -5,
    -4,
    0,
    6,
    0,
    -5,
    0,
    6,
    -2,
    7,
    7,
    -5,
    -5,
    -2,
    4,
    7,
    -4,
    6,
    0,
    -5,
    -3,
    6,
    -3,
    6,
    7,
    -5,
    -7,
    -2,
    2,
    7,
    -1,
    5,
    7,
    -2,
    -2,
    4,
    -7,
    -4,
    -3,
    1,
    0,
    0,
    -7,
    -7,
    -1,
    2
   ],
   "L1.x": [
    -7,
    0,
    5,
    1,
    0,
    0,
    -5,
    0,
    7,
    1,
    3,
    5,
    -6,
    -6,
    4,
    -7,
    -7,
    4,
    -7,
    -6,
    3,
    0,
    -4,
    -7,
    0,
    2,
    -7,
    7,
    7,
    -7,
    -7,
    -7,
    7,
    1,
    -7,
    7,
    7,
    -7,
    0,
    7,
    -7,
    7,
    7,
    5,
    -7,
    -7,
    -5,
    7,
    -7,
    7,
    0,
    -5,
    -4,
    -1,
    -7,
    6,
    -5,
    2,
    -5,
    -1,
    -3,
    -7,
    5,
    6
   ],
   "L2.x": [
    -7,
    -6,
    7,
    -7,
    -3,
    -1,
    -2,
    1,
    1,
    -7,
    2,
    -1,
    -7,
    -6,
    7,
    -1,
    -7,
    7,
    -2,
    2,
    6,
    5,
    -7,
    0,
    -6,
    -7,
    -7,
    7,
    7,
    -1,
    -7,
    -6,
    7,
    -4,
    -7,
    7,
    0,
    0,
    4,
    7,
    -1,
    7,
    7,
    3,
    0,
    0,
    -7,
    0,
    0,
    -1,
    0,
    -2,
    -7,
    -6,
    1,
    7,
    -7,
    7,
    -7,
    7,
    -6,
    -1,
    -1,
    2
   ],
   "logits0_8": [
    -8,
    -12,
    -6,
    8,
    -23,
    -4,
    69,
    -36
   ],
   "next": 18
  },
  {
   "tok": 18,
   "pos": 9,
   "x0": [
    0,
    1,
    0,
    0,
    1,
    -1,
    -3,
    -7,
    -3,
    1,
    0,
    -5,
    -4,
    -6,
    -2,
    -1,
    1,
    -1,
    -4,
    0,
    -3,
    2,
    1,
    3,
    0,
    1,
    0,
    -1,
    -5,
    0,
    -2,
    -1,
    -1,
    -2,
    -1,
    1,
    0,
    -4,
    1,
    -3,
    -5,
    -5,
    -2,
    2,
    -1,
    6,
    2,
    1,
    0,
    -1,
    2,
    2,
    1,
    -3,
    1,
    -2,
    -5,
    -2,
    -2,
    -1,
    -7,
    0,
    -1,
    0
   ],
   "att": [
    1,
    0,
    -2,
    1,
    -2,
    1,
    -2,
    1,
    0,
    0,
    -2,
    0,
    -1,
    0,
    1,
    0,
    1,
    -2,
    -2,
    -1,
    -2,
    1,
    0,
    -1,
    -2,
    -1,
    0,
    -1,
    -2,
    0,
    -1,
    -1,
    0,
    -1,
    0,
    0,
    1,
    -1,
    0,
    -1,
    0,
    0,
    0,
    1,
    0,
    0,
    0,
    1,
    -1,
    0,
    1,
    1,
    0,
    0,
    -1,
    -1,
    -2,
    1,
    1,
    -1,
    -1,
    -1,
    0,
    0
   ],
   "q": [
    -4,
    -4,
    2,
    -6,
    7,
    7,
    -5,
    -6,
    7,
    7,
    5,
    -3,
    -7,
    -6,
    -4,
    7,
    -4,
    -5,
    -4,
    -7,
    -7,
    7,
    -4,
    3,
    -5,
    3,
    -7,
    -7,
    -7,
    0,
    3,
    7,
    7,
    1,
    7,
    -1,
    2,
    7,
    -7,
    7,
    5,
    7,
    -4,
    3,
    7,
    2,
    1,
    1,
    -2,
    3,
    2,
    -4,
    -1,
    0,
    7,
    -7,
    -5,
    -7,
    3,
    -7,
    -2,
    -7,
    -7,
    1
   ],
   "scores": [
    -183,
    -160,
    -117,
    -142,
    -79,
    -117,
    -45,
    -5,
    -2,
    -42
   ],
   "p": [
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    2,
    4,
    0
   ],
   "L0.x": [
    5,
    1,
    7,
    1,
    3,
    -7,
    0,
    0,
    -7,
    -2,
    -7,
    -1,
    -6,
    0,
    3,
    -5,
    4,
    3,
    1,
    3,
    5,
    5,
    -3,
    -2,
    -4,
    3,
    -3,
    -4,
    2,
    -3,
    3,
    0,
    0,
    -6,
    -6,
    3,
    0,
    1,
    -3,
    7,
    -7,
    7,
    4,
    -2,
    -7,
    2,
    -2,
    -2,
    6,
    -4,
    0,
    -6,
    -3,
    -3,
    7,
    -7,
    -7,
    -2,
    -1,
    -4,
    -7,
    -6,
    -3,
    5
   ],
   "L1.x": [
    2,
    4,
    7,
    -7,
    6,
    -2,
    -2,
    -2,
    -7,
    -7,
    -4,
    -7,
    -7,
    0,
    7,
    4,
    1,
    3,
    7,
    1,
    7,
    7,
    0,
    -7,
    0,
    6,
    -7,
    -7,
    7,
    -2,
    7,
    -5,
    6,
    -7,
    -7,
    -5,
    -4,
    5,
    -7,
    5,
    -3,
    0,
    4,
    -5,
    0,
    4,
    -7,
    -2,
    7,
    -7,
    -7,
    -1,
    -7,
    -2,
    0,
    -7,
    -7,
    -6,
    4,
    4,
    0,
    -7,
    -1,
    7
   ],
   "L2.x": [
    -2,
    1,
    6,
    -1,
    2,
    -6,
    2,
    3,
    -4,
    0,
    2,
    -7,
    -7,
    4,
    7,
    -1,
    2,
    -2,
    1,
    6,
    6,
    6,
    3,
    -7,
    0,
    6,
    0,
    -2,
    5,
    -2,
    7,
    -3,
    1,
    -2,
    -7,
    0,
    -4,
    7,
    -7,
    0,
    5,
    -3,
    -1,
    -7,
    7,
    4,
    -2,
    4,
    7,
    0,
    -7,
    -4,
    -7,
    6,
    2,
    -7,
    -7,
    -2,
    1,
    7,
    2,
    1,
    1,
    -1
   ],
   "logits0_8": [
    -1,
    -4,
    35,
    -21,
    -46,
    -1,
    14,
    50
   ],
   "next": 38
  },
  {
   "tok": 38,
   "pos": 10,
   "x0": [
    -2,
    3,
    0,
    3,
    -5,
    0,
    1,
    2,
    -4,
    2,
    -1,
    -7,
    -3,
    -5,
    2,
    -1,
    -3,
    4,
    -4,
    1,
    -6,
    3,
    1,
    -2,
    -3,
    0,
    1,
    -2,
    -6,
    1,
    1,
    -1,
    -3,
    0,
    4,
    2,
    1,
    -2,
    1,
    0,
    -5,
    -3,
    1,
    0,
    -4,
    2,
    2,
    4,
    3,
    -1,
    3,
    0,
    0,
    -2,
    0,
    -2,
    -3,
    0,
    -1,
    -2,
    -7,
    -1,
    -2,
    -1
   ],
   "att": [
    -1,
    -1,
    -2,
    0,
    -2,
    -1,
    -1,
    -1,
    0,
    -1,
    0,
    0,
    0,
    0,
    1,
    -1,
    1,
    -1,
    -2,
    0,
    0,
    0,
    0,
    0,
    -1,
    0,
    0,
    -1,
    0,
    0,
    -2,
    -1,
    0,
    -1,
    0,
    0,
    1,
    -1,
    0,
    -1,
    0,
    -1,
    0,
    1,
    0,
    -1,
    0,
    1,
    -1,
    0,
    1,
    1,
    0,
    0,
    0,
    -1,
    -2,
    1,
    1,
    -1,
    -2,
    -2,
    0,
    1
   ],
   "q": [
    -1,
    0,
    7,
    -6,
    7,
    7,
    -4,
    -4,
    7,
    7,
    -4,
    -2,
    -7,
    -2,
    -1,
    6,
    -4,
    -4,
    5,
    -4,
    -7,
    7,
    -4,
    -4,
    -7,
    5,
    -2,
    -3,
    -6,
    -2,
    0,
    7,
    7,
    6,
    7,
    6,
    0,
    7,
    -4,
    7,
    7,
    3,
    2,
    3,
    7,
    -3,
    7,
    7,
    -1,
    5,
    3,
    -1,
    -3,
    -5,
    7,
    -7,
    -3,
    -5,
    3,
    -7,
    -7,
    -7,
    -4,
    -1
   ],
   "scores": [
    -181,
    -171,
    -120,
    -139,
    -84,
    -123,
    -56,
    -9,
    17,
    -36,
    -17
   ],
   "p": [
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    6,
    0,
    0
   ],
   "L0.x": [
    -4,
    7,
    6,
    0,
    0,
    -3,
    5,
    3,
    -1,
    -2,
    5,
    -6,
    -6,
    -1,
    5,
    0,
    1,
    5,
    0,
    -5,
    -7,
    7,
    -2,
    -7,
    -7,
    0,
    -5,
    -7,
    -5,
    -1,
    5,
    1,
    -1,
    0,
    5,
    7,
    4,
    -3,
    1,
    -3,
    -7,
    -3,
    0,
    0,
    -4,
    -2,
    -3,
    7,
    3,
    -2,
    -3,
    -3,
    1,
    -7,
    3,
    -7,
    -3,
    5,
    2,
    -2,
    -7,
    -7,
    -6,
    5
   ],
   "L1.x": [
    -7,
    2,
    7,
    -3,
    7,
    -7,
    7,
    7,
    -7,
    0,
    7,
    -7,
    2,
    -3,
    7,
    7,
    7,
    -4,
    -6,
    2,
    -7,
    7,
    3,
    -7,
    0,
    6,
    -7,
    -7,
    -6,
    0,
    7,
    7,
    2,
    -7,
    7,
    7,
    0,
    -7,
    -3,
    -7,
    -2,
    5,
    -2,
    3,
    -7,
    -7,
    -2,
    6,
    -3,
    1,
    -7,
    2,
    7,
    -7,
    5,
    -4,
    -7,
    6,
    1,
    -7,
    -7,
    -7,
    -5,
    7
   ],
   "L2.x": [
    -4,
    1,
    7,
    -2,
    7,
    -4,
    1,
    1,
    -7,
    -3,
    5,
    -3,
    -4,
    -7,
    1,
    0,
    7,
    -6,
    -7,
    -2,
    -7,
    5,
    -1,
    0,
    5,
    7,
    0,
    -3,
    -4,
    -7,
    0,
    1,
    5,
    -7,
    0,
    0,
    -4,
    -3,
    5,
    -5,
    7,
    3,
    3,
    3,
    0,
    -7,
    -2,
    3,
    4,
    -7,
    -7,
    0,
    7,
    -4,
    2,
    -7,
    -7,
    7,
    7,
    -5,
    -6,
    -7,
    -7,
    2
   ],
   "logits0_8": [
    82,
    -23,
    77,
    -7,
    25,
    -35,
    -13,
    43
   ],
   "next": 14
  },
  {
   "tok": 14,
   "pos": 11,
   "x0": [
    -1,
    0,
    -1,
    -1,
    -1,
    -4,
    -5,
    1,
    0,
    -1,
    -4,
    -3,
    -2,
    -6,
    -2,
    6,
    0,
    2,
    5,
    -1,
    -3,
    0,
    -1,
    -4,
    -2,
    3,
    3,
    3,
    -2,
    2,
    4,
    -2,
    0,
    1,
    0,
    -1,
    1,
    2,
    3,
    -1,
    0,
    1,
    -3,
    -1,
    -4,
    3,
    1,
    1,
    -3,
    0,
    0,
    3,
    -1,
    -2,
    -1,
    -4,
    1,
    3,
    -2,
    -2,
    -1,
    -2,
    -4,
    2
   ],
   "att": [
    -2,
    -2,
    -1,
    0,
    -1,
    -2,
    -1,
    -2,
    0,
    -1,
    1,
    1,
    1,
    1,
    1,
    -1,
    1,
    0,
    -2,
    1,
    1,
    0,
    0,
    1,
    1,
    1,
    0,
    -1,
    1,
    1,
    -2,
    -1,
    1,
    0,
    -2,
    -2,
    -1,
    0,
    1,
    0,
    1,
    -2,
    0,
    1,
    0,
    1,
    1,
    -2,
    1,
    -2,
    -2,
    -1,
    0,
    1,
    1,
    0,
    0,
    1,
    -2,
    1,
    1,
    1,
    -1,
    -1
   ],
   "q": [
    -6,
    -7,
    7,
    -6,
    7,
    7,
    -7,
    -5,
    7,
    7,
    5,
    0,
    -1,
    -7,
    -2,
    7,
    2,
    -3,
    -7,
    -7,
    -7,
    7,
    -4,
    -7,
    -5,
    0,
    -7,
    -7,
    -2,
    7,
    3,
    7,
    7,
    -6,
    7,
    -6,
    -3,
    7,
    -2,
    7,
    7,
    0,
    -2,
    7,
    7,
    -7,
    7,
    -1,
    4,
    7,
    7,
    -7,
    -7,
    -7,
    7,
    -6,
    -2,
    -5,
    -3,
    -7,
    -6,
    -7,
    7,
    -5
   ],
   "scores": [
    -294,
    -296,
    -213,
    -269,
    -193,
    -140,
    -120,
    -81,
    -50,
    -12,
    24,
    -22
   ],
   "p": [
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    7,
    0
   ],
   "L0.x": [
    4,
    6,
    -6,
    0,
    0,
    -2,
    -7,
    7,
    7,
    -1,
    -7,
    -7,
    -4,
    0,
    -2,
    3,
    -2,
    -1,
    7,
    -1,
    4,
    -1,
    5,
    3,
    -7,
    6,
    2,
    0,
    -4,
    1,
    -2,
    7,
    -7,
    -2,
    7,
    0,
    1,
    4,
    -6,
    -7,
    -3,
    4,
    -4,
    -7,
    -4,
    5,
    0,
    -3,
    -2,
    -1,
    -7,
    2,
    -7,
    -7,
    -7,
    0,
    -4,
    -2,
    7,
    1,
    -2,
    6,
    2,
    3
   ],
   "L1.x": [
    -2,
    7,
    -4,
    -7,
    0,
    -7,
    3,
    7,
    6,
    -3,
    -7,
    -7,
    -6,
    7,
    1,
    7,
    -7,
    -7,
    7,
    5,
    7,
    7,
    7,
    1,
    -7,
    7,
    0,
    6,
    -5,
    2,
    7,
    7,
    -7,
    4,
    0,
    -2,
    7,
    -1,
    -7,
    -3,
    -7,
    -3,
    2,
    -6,
    -7,
    -4,
    -7,
    -6,
    -1,
    -1,
    -7,
    7,
    0,
    0,
    -7,
    3,
    -7,
    -7,
    3,
    4,
    -7,
    4,
    7,
    1
   ],
   "L2.x": [
    -4,
    3,
    -7,
    -5,
    -5,
    -7,
    -4,
    4,
    7,
    -1,
    0,
    -7,
    -2,
    7,
    -3,
    7,
    -7,
    -4,
    2,
    5,
    7,
    7,
    7,
    -2,
    -5,
    1,
    -3,
    7,
    0,
    2,
    7,
    7,
    0,
    6,
    -1,
    2,
    2,
    6,
    -7,
    -7,
    -4,
    -6,
    3,
    0,
    0,
    -5,
    -7,
    -3,
    -7,
    -3,
    -7,
    3,
    -6,
    4,
    -7,
    2,
    -7,
    -7,
    4,
    7,
    -7,
    0,
    4,
    3
   ],
   "logits0_8": [
    18,
    17,
    -37,
    -40,
    -14,
    60,
    -31,
    -61
   ],
   "next": 26
  },
  {
   "tok": 26,
   "pos": 12,
   "x0": [
    0,
    2,
    -2,
    -2,
    3,
    3,
    -2,
    -1,
    1,
    0,
    2,
    -4,
    -3,
    -3,
    2,
    3,
    -1,
    4,
    4,
    1,
    -1,
    -1,
    1,
    0,
    1,
    4,
    1,
    -1,
    2,
    -2,
    5,
    3,
    0,
    -2,
    -1,
    3,
    1,
    -2,
    2,
    -1,
    -1,
    -1,
    3,
    -3,
    -1,
    0,
    -2,
    5,
    1,
    4,
    -2,
    0,
    4,
    0,
    -3,
    -3,
    -2,
    4,
    -1,
    1,
    -4,
    0,
    -1,
    0
   ],
   "att": [
    0,
    -1,
    1,
    -1,
    -1,
    -2,
    0,
    1,
    1,
    -2,
    -1,
    -1,
    -1,
    0,
    1,
    1,
    1,
    1,
    1,
    1,
    -2,
    1,
    0,
    0,
    1,
    -2,
    1,
    -2,
    1,
    1,
    -2,
    -1,
    1,
    0,
    -2,
    -2,
    -1,
    0,
    1,
    0,
    1,
    -2,
    0,
    1,
    0,
    1,
    1,
    -2,
    1,
    -2,
    -2,
    -1,
    0,
    1,
    1,
    0,
    0,
    1,
    -2,
    1,
    1,
    1,
    -1,
    -1
   ],
   "q": [
    0,
    -6,
    -1,
    -7,
    7,
    7,
    -4,
    -5,
    7,
    2,
    -3,
    1,
    -5,
    3,
    0,
    7,
    -7,
    -3,
    6,
    -1,
    -7,
    2,
    -1,
    -3,
    -4,
    4,
    -3,
    -3,
    -4,
    7,
    0,
    7,
    7,
    1,
    7,
    -7,
    -2,
    7,
    -1,
    7,
    6,
    7,
    -6,
    6,
    7,
    -7,
    7,
    6,
    0,
    7,
    -4,
    -7,
    -7,
    -7,
    3,
    7,
    1,
    1,
    2,
    -5,
    -7,
    1,
    7,
    -5
   ],
   "scores": [
    -211,
    -208,
    -133,
    -169,
    -148,
    -110,
    -70,
    -66,
    -53,
    1,
    35,
    -18,
    -26
   ],
   "p": [
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    7,
    0,
    0
   ],
   "L0.x": [
    6,
    -2,
    1,
    1,
    7,
    7,
    1,
    -3,
    7,
    -2,
    -3,
    -1,
    -7,
    1,
    -1,
    -1,
    -2,
    7,
    -3,
    0,
    0,
    -1,
    4,
    -4,
    -1,
    7,
    -3,
    -3,
    2,
    2,
    6,
    4,
    1,
    -7,
    1,
    5,
    2,
    7,
    7,
    4,
    1,
    -2,
    5,
    -7,
    0,
    -4,
    -6,
    7,
    1,
    1,
    1,
    -5,
    -3,
    -6,
    -7,
    -5,
    -6,
    6,
    -3,
    -2,
    1,
    -3,
    4,
    1
   ],
   "L1.x": [
    1,
    0,
    5,
    2,
    7,
    7,
    6,
    -4,
    5,
    -7,
    4,
    -6,
    -7,
    -2,
    0,
    4,
    -7,
    3,
    4,
    -4,
    -7,
    1,
    7,
    -7,
    -5,
    7,
    3,
    0,
    5,
    -3,
    4,
    3,
    0,
    -2,
    1,
    -5,
    7,
    3,
    7,
    -2,
    -5,
    -2,
    7,
    -7,
    -7,
    -7,
    0,
    6,
    -3,
    1,
    -4,
    -4,
    -7,
    -7,
    -6,
    -4,
    -7,
    -2,
    -4,
    -5,
    -7,
    -6,
    4,
    -2
   ],
   "L2.x": [
    1,
    -1,
    7,
    1,
    7,
    7,
    7,
    2,
    -2,
    -2,
    7,
    -4,
    -7,
    -3,
    2,
    6,
    -5,
    2,
    7,
    -5,
    -6,
    -2,
    -2,
    0,
    -7,
    3,
    2,
    3,
    -1,
    0,
    5,
    0,
    -1,
    -7,
    7,
    -3,
    5,
    0,
    5,
    6,
    2,
    -5,
    5,
    0,
    -4,
    -2,
    0,
    3,
    -7,
    -3,
    -7,
    -7,
    -1,
    2,
    -7,
    6,
    3,
    4,
    -4,
    -7,
    -7,
    2,
    7,
    4
   ],
   "logits0_8": [
    -4,
    54,
    48,
    12,
    77,
    75,
    50,
    28
   ],
   "next": 51
  },
  {
   "tok": 51,
   "pos": 13,
   "x0": [
    0,
    -5,
    -5,
    -3,
    1,
    3,
    4,
    -4,
    -5,
    3,
    1,
    -4,
    -4,
    -3,
    5,
    0,
    -7,
    -3,
    3,
    -7,
    -1,
    0,
    2,
    1,
    -4,
    5,
    -1,
    -2,
    1,
    4,
    -3,
    0,
    1,
    6,
    -1,
    5,
    3,
    3,
    -6,
    0,
    -1,
    -1,
    1,
    -3,
    4,
    2,
    -4,
    1,
    -2,
    -1,
    -4,
    4,
    1,
    -1,
    -5,
    -4,
    -1,
    2,
    1,
    0,
    0,
    -2,
    0,
    -4
   ],
   "att": [
    -1,
    0,
    -1,
    0,
    0,
    1,
    -1,
    0,
    0,
    0,
    0,
    0,
    -1,
    0,
    -1,
    0,
    0,
    -1,
    -2,
    0,
    -1,
    0,
    0,
    0,
    -1,
    0,
    0,
    -1,
    0,
    0,
    -1,
    1,
    0,
    0,
    1,
    1,
    1,
    -1,
    0,
    -2,
    -1,
    1,
    0,
    0,
    0,
    0,
    -1,
    -1,
    1,
    -1,
    0,
    0,
    0,
    0,
    -2,
    1,
    -2,
    1,
    1,
    0,
    0,
    1,
    -1,
    -2
   ],
   "q": [
    7,
    -7,
    1,
    -1,
    7,
    5,
    -1,
    -7,
    0,
    7,
    7,
    -3,
    -4,
    -7,
    -7,
    7,
    0,
    -7,
    3,
    -7,
    -3,
    -3,
    4,
    -5,
    -7,
    1,
    -7,
    -7,
    0,
    -1,
    -2,
    3,
    4,
    -7,
    7,
    -7,
    -5,
    2,
    4,
    7,
    0,
    7,
    0,
    2,
    7,
    -2,
    -1,
    -3,
    7,
    7,
    7,
    -5,
    -7,
    -7,
    7,
    2,
    -4,
    -6,
    -7,
    1,
    -5,
    -7,
    1,
    -7
   ],
   "scores": [
    -221,
    -229,
    -176,
    -176,
    -168,
    -90,
    -75,
    -54,
    -79,
    3,
    22,
    8,
    70,
    17
   ],
   "p": [
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    7,
    0
   ],
   "L0.x": [
    2,
    2,
    2,
    -7,
    -1,
    -5,
    -3,
    1,
    -6,
    5,
    -5,
    -2,
    -5,
    -4,
    5,
    5,
    -7,
    -5,
    5,
    -7,
    4,
    6,
    1,
    5,
    -7,
    6,
    -2,
    0,
    2,
    -1,
    -5,
    -1,
    3,
    3,
    -1,
    7,
    -5,
    -2,
    0,
    -2,
    0,
    6,
    -3,
    6,
    -2,
    0,
    -6,
    7,
    6,
    -4,
    1,
    4,
    -1,
    -6,
    -7,
    1,
    -6,
    4,
    0,
    -2,
    6,
    -7,
    -7,
    -3
   ],
   "L1.x": [
    -4,
    4,
    5,
    -2,
    5,
    1,
    0,
    7,
    -3,
    4,
    -5,
    -2,
    -7,
    -3,
    5,
    7,
    -6,
    -7,
    6,
    -7,
    0,
    4,
    1,
    3,
    -7,
    7,
    3,
    7,
    3,
    2,
    -2,
    -7,
    -5,
    7,
    2,
    7,
    -2,
    -7,
    -5,
    -1,
    -1,
    1,
    -2,
    5,
    -1,
    -7,
    -4,
    2,
    7,
    -7,
    3,
    2,
    -3,
    -7,
    0,
    -4,
    -7,
    4,
    -5,
    0,
    -3,
    0,
    -7,
    1
   ],
   "L2.x": [
    -4,
    7,
    7,
    -1,
    7,
    7,
    3,
    1,
    -7,
    -1,
    1,
    -6,
    -7,
    -7,
    2,
    7,
    -7,
    -5,
    5,
    1,
    4,
    4,
    -4,
    -1,
    -7,
    5,
    -6,
    7,
    -5,
    7,
    4,
    -2,
    -1,
    6,
    7,
    7,
    1,
    -7,
    -7,
    4,
    0,
    1,
    -1,
    7,
    3,
    0,
    -6,
    -2,
    7,
    -5,
    0,
    0,
    3,
    -7,
    -7,
    -7,
    0,
    -1,
    -7,
    0,
    -6,
    7,
    -1,
    -1
   ],
   "logits0_8": [
    9,
    17,
    22,
    44,
    17,
    29,
    8,
    -21
   ],
   "next": 15
  },
  {
   "tok": 15,
   "pos": 14,
   "x0": [
    -3,
    2,
    2,
    -3,
    -2,
    1,
    3,
    -5,
    -1,
    -2,
    1,
    -5,
    3,
    -7,
    0,
    3,
    -1,
    4,
    3,
    1,
    -3,
    -2,
    -2,
    5,
    0,
    1,
    3,
    -2,
    1,
    4,
    -1,
    0,
    3,
    4,
    4,
    -4,
    4,
    -2,
    4,
    0,
    -2,
    -5,
    2,
    2,
    2,
    -2,
    -3,
    -4,
    -1,
    -3,
    -1,
    -1,
    3,
    -1,
    1,
    -6,
    3,
    4,
    4,
    -1,
    0,
    -2,
    -3,
    -2
   ],
   "att": [
    1,
    0,
    -2,
    1,
    0,
    1,
    -2,
    1,
    1,
    1,
    0,
    1,
    -2,
    -1,
    -2,
    1,
    0,
    -2,
    -2,
    0,
    -1,
    0,
    1,
    0,
    -2,
    0,
    0,
    -2,
    0,
    -1,
    -2,
    1,
    -2,
    0,
    0,
    0,
    0,
    0,
    0,
    -1,
    -1,
    -1,
    -1,
    1,
    1,
    0,
    -1,
    0,
    0,
    0,
    -1,
    0,
    1,
    0,
    0,
    -1,
    -2,
    -1,
    0,
    0,
    1,
    0,
    0,
    0
   ],
   "q": [
    -4,
    -7,
    0,
    -7,
    7,
    7,
    -7,
    -7,
    2,
    7,
    4,
    7,
    -7,
    -7,
    -7,
    7,
    -3,
    0,
    -6,
    -7,
    -7,
    -1,
    -6,
    -1,
    -7,
    -2,
    -5,
    -7,
    -4,
    2,
    2,
    7,
    3,
    -7,
    7,
    7,
    0,
    5,
    1,
    7,
    -3,
    0,
    -2,
    7,
    7,
    -7,
    5,
    -4,
    5,
    7,
    7,
    -7,
    -5,
    -7,
    6,
    0,
    -2,
    7,
    -4,
    -6,
    -4,
    -7,
    -2,
    -7
   ],
   "scores": [
    -203,
    -183,
    -177,
    -158,
    -114,
    -97,
    -99,
    -46,
    -53,
    3,
    27,
    22,
    74,
    75,
    71
   ],
   "p": [
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    2,
    3,
    2
   ],
   "L0.x": [
    4,
    1,
    -1,
    2,
    -6,
    -4,
    -4,
    2,
    -1,
    -5,
    -4,
    0,
    2,
    -7,
    -1,
    1,
    0,
    5,
    0,
    1,
    -2,
    5,
    -7,
    2,
    -7,
    4,
    5,
    -2,
    1,
    4,
    -5,
    -4,
    2,
    5,
    4,
    -2,
    4,
    -4,
    7,
    3,
    -7,
    -2,
    4,
    5,
    -2,
    0,
    -7,
    2,
    -1,
    0,
    2,
    6,
    6,
    0,
    -3,
    3,
    4,
    6,
    3,
    -5,
    -2,
    4,
    -7,
    5
   ],
   "L1.x": [
    -1,
    7,
    0,
    6,
    0,
    -4,
    -2,
    -1,
    -7,
    -7,
    -6,
    1,
    -2,
    -7,
    -1,
    3,
    1,
    3,
    4,
    -1,
    -2,
    7,
    -1,
    5,
    -7,
    7,
    7,
    -3,
    2,
    7,
    -5,
    -1,
    -6,
    7,
    7,
    1,
    7,
    -7,
    3,
    5,
    -7,
    -7,
    2,
    2,
    0,
    -7,
    -7,
    3,
    4,
    -7,
    5,
    0,
    2,
    -7,
    5,
    4,
    7,
    3,
    -4,
    -5,
    -7,
    7,
    -7,
    -1
   ],
   "L2.x": [
    0,
    7,
    -1,
    7,
    7,
    2,
    2,
    -5,
    -7,
    -7,
    -7,
    -4,
    -7,
    -7,
    -3,
    7,
    -3,
    3,
    7,
    2,
    -1,
    7,
    -6,
    -3,
    -7,
    6,
    1,
    7,
    -7,
    7,
    1,
    5,
    -3,
    6,
    7,
    5,
    7,
    -5,
    0,
    7,
    -7,
    -5,
    -3,
    6,
    4,
    -3,
    -5,
    -1,
    7,
    -6,
    0,
    -5,
    7,
    -7,
    -4,
    -2,
    7,
    -4,
    -2,
    -6,
    -5,
    7,
    -4,
    4
   ],
   "logits0_8": [
    -7,
    27,
    2,
    9,
    44,
    24,
    -7,
    -10
   ],
   "next": 15
  },
  {
   "tok": 15,
   "pos": 15,
   "x0": [
    -2,
    2,
    3,
    -3,
    -2,
    1,
    4,
    -5,
    -1,
    -2,
    1,
    -4,
    3,
    -7,
    0,
    3,
    -1,
    4,
    3,
    2,
    -2,
    -3,
    -3,
    5,
    0,
    2,
    3,
    -2,
    1,
    5,
    0,
    0,
    4,
    4,
    4,
    -4,
    3,
    -2,
    4,
    -1,
    -2,
    -5,
    2,
    2,
    2,
    -2,
    -3,
    -4,
    -1,
    -3,
    -1,
    -1,
    4,
    -1,
    1,
    -6,
    2,
    4,
    4,
    -1,
    1,
    -2,
    -3,
    -4
   ],
   "att": [
    1,
    0,
    -2,
    0,
    0,
    1,
    -2,
    0,
    1,
    1,
    0,
    1,
    -2,
    -1,
    -2,
    1,
    -1,
    -2,
    -2,
    0,
    -1,
    0,
    1,
    0,
    -1,
    0,
    -1,
    -2,
    0,
    -1,
    -2,
    1,
    -2,
    -1,
    0,
    -1,
    1,
    -2,
    -1,
    0,
    0,
    -1,
    -1,
    1,
    0,
    0,
    -2,
    1,
    -1,
    1,
    0,
    1,
    1,
    0,
    0,
    0,
    -2,
    0,
    -1,
    1,
    1,
    0,
    1,
    0
   ],
   "q": [
    -4,
    -7,
    -1,
    -7,
    7,
    7,
    -7,
    -7,
    0,
    7,
    3,
    7,
    -7,
    -7,
    -7,
    7,
    -2,
    0,
    -7,
    -7,
    -7,
    -2,
    -6,
    0,
    -7,
    -2,
    -5,
    -7,
    -4,
    2,
    2,
    7,
    2,
    -7,
    7,
    7,
    0,
    5,
    1,
    7,
    -3,
    0,
    -1,
    7,
    7,
    -7,
    4,
    -4,
    7,
    7,
    7,
    -7,
    -4,
    -7,
    5,
    1,
    -2,
    7,
    -3,
    -6,
    -6,
    -7,
    -3,
    -7
   ],
   "scores": [
    -195,
    -176,
    -172,
    -150,
    -114,
    -102,
    -102,
    -50,
    -64,
    -7,
    17,
    19,
    69,
    68,
    66,
    92
   ],
   "p": [
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    1,
    1,
    0,
    5
   ],
   "L0.x": [
    5,
    0,
    0,
    -2,
    -5,
    -4,
    -2,
    1,
    2,
    -1,
    -5,
    -4,
    0,
    -7,
    -1,
    0,
    1,
    1,
    -4,
    -2,
    -1,
    3,
    -7,
    2,
    -7,
    -1,
    4,
    -1,
    0,
    4,
    -5,
    -4,
    0,
    4,
    -1,
    -4,
    7,
    -2,
    7,
    -1,
    -7,
    -4,
    6,
    2,
    -3,
    -5,
    -7,
    0,
    0,
    -3,
    5,
    5,
    3,
    2,
    -2,
    4,
    -1,
    7,
    5,
    -5,
    -2,
    4,
    -7,
    1
   ],
   "L1.x": [
    -3,
    5,
    2,
    5,
    -2,
    -3,
    -4,
    -6,
    5,
    -5,
    -7,
    -7,
    -3,
    -7,
    -3,
    -4,
    6,
    1,
    0,
    -6,
    -2,
    7,
    -1,
    1,
    -7,
    5,
    3,
    2,
    4,
    0,
    -2,
    -1,
    -7,
    -2,
    -1,
    1,
    7,
    -3,
    5,
    6,
    -7,
    -7,
    0,
    0,
    -7,
    -7,
    -6,
    -2,
    4,
    -7,
    7,
    0,
    -3,
    -3,
    7,
    7,
    -2,
    2,
    -3,
    -7,
    -7,
    7,
    -7,
    -7
   ],
   "L2.x": [
    -2,
    7,
    -3,
    7,
    0,
    0,
    -5,
    -5,
    0,
    0,
    -7,
    -4,
    -7,
    -1,
    -7,
    -3,
    6,
    5,
    -2,
    -6,
    -7,
    2,
    -4,
    3,
    -7,
    4,
    1,
    7,
    2,
    -1,
    -4,
    2,
    -7,
    -6,
    7,
    3,
    7,
    -7,
    4,
    2,
    -7,
    -2,
    -3,
    -5,
    0,
    -6,
    -7,
    6,
    2,
    -7,
    3,
    3,
    0,
    3,
    2,
    7,
    4,
    -4,
    0,
    -4,
    -5,
    7,
    -4,
    -1
   ],
   "logits0_8": [
    14,
    6,
    -23,
    -3,
    34,
    26,
    -64,
    -33
   ],
   "next": 24
  },
  {
   "tok": 24,
   "pos": 16,
   "x0": [
    -3,
    3,
    6,
    1,
    -2,
    -4,
    7,
    -1,
    0,
    4,
    -2,
    0,
    -2,
    -1,
    2,
    5,
    -3,
    3,
    1,
    -3,
    -1,
    0,
    -2,
    -1,
    -1,
    7,
    -1,
    -5,
    0,
    7,
    3,
    4,
    6,
    -1,
    3,
    -3,
    -3,
    6,
    -1,
    -5,
    -4,
    -2,
    -2,
    1,
    3,
    0,
    -7,
    -3,
    1,
    0,
    5,
    -1,
    1,
    0,
    -4,
    -1,
    -3,
    2,
    0,
    2,
    -1,
    -2,
    -3,
    -3
   ],
   "att": [
    0,
    -1,
    -2,
    -1,
    -2,
    0,
    -2,
    -1,
    1,
    0,
    -1,
    1,
    0,
    0,
    0,
    -1,
    -2,
    -2,
    -1,
    -2,
    0,
    0,
    -2,
    0,
    0,
    0,
    -1,
    0,
    0,
    0,
    -1,
    -1,
    -2,
    -1,
    0,
    -2,
    1,
    -2,
    -1,
    1,
    1,
    -2,
    -2,
    1,
    0,
    1,
    -1,
    1,
    -2,
    1,
    0,
    1,
    1,
    0,
    1,
    0,
    -2,
    1,
    -2,
    1,
    1,
    1,
    1,
    1
   ],
   "q": [
    -3,
    -7,
    0,
    -5,
    5,
    7,
    -7,
    -7,
    -3,
    7,
    3,
    -4,
    -7,
    -7,
    -7,
    7,
    -7,
    1,
    0,
    -7,
    -3,
    7,
    -4,
    -5,
    -7,
    -6,
    -7,
    -7,
    3,
    -7,
    3,
    5,
    7,
    -7,
    7,
    -3,
    -5,
    7,
    2,
    6,
    7,
    3,
    2,
    7,
    7,
    -6,
    7,
    -2,
    7,
    7,
    7,
    -1,
    -4,
    -7,
    4,
    -7,
    -2,
    -3,
    1,
    -7,
    -7,
    -7,
    -4,
    0
   ],
   "scores": [
    -234,
    -232,
    -179,
    -207,
    -145,
    -142,
    -97,
    -62,
    -38,
    -33,
    -11,
    -10,
    76,
    75,
    117,
    143,
    98
   ],
   "p": [
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    6,
    0
   ],
   "L0.x": [
    7,
    -3,
    3,
    -1,
    -3,
    1,
    -2,
    -1,
    -6,
    -1,
    3,
    -7,
    -7,
    4,
    7,
    -1,
    4,
    0,
    -7,
    -3,
    7,
    6,
    -5,
    -6,
    -5,
    5,
    -5,
    -7,
    -5,
    7,
    -7,
    7,
    0,
    -1,
    4,
    -2,
    -7,
    7,
    0,
    7,
    -2,
    -2,
    -3,
    5,
    7,
    -6,
    -3,
    -2,
    5,
    0,
    7,
    0,
    -5,
    4,
    -6,
    -2,
    -2,
    4,
    5,
    5,
    -4,
    2,
    1,
    -7
   ],
   "L1.x": [
    7,
    -3,
    -1,
    7,
    -7,
    4,
    -1,
    7,
    0,
    -4,
    0,
    -7,
    -6,
    7,
    7,
    -7,
    7,
    -6,
    0,
    -6,
    7,
    7,
    -7,
    -2,
    -7,
    7,
    -7,
    -1,
    1,
    1,
    -5,
    7,
    0,
    -4,
    -3,
    -7,
    0,
    7,
    -7,
    3,
    2,
    1,
    -6,
    7,
    -1,
    -5,
    -4,
    -7,
    7,
    5,
    6,
    4,
    -7,
    7,
    -3,
    1,
    1,
    1,
    7,
    -2,
    2,
    4,
    6,
    -7
   ],
   "L2.x": [
    5,
    0,
    -7,
    7,
    -7,
    7,
    -1,
    4,
    -4,
    -2,
    -7,
    -3,
    -7,
    7,
    3,
    -4,
    7,
    -7,
    -3,
    -1,
    5,
    3,
    -7,
    -2,
    -2,
    2,
    0,
    -1,
    0,
    3,
    3,
    7,
    2,
    1,
    1,
    -3,
    1,
    7,
    -6,
    1,
    1,
    -1,
    -4,
    -2,
    -1,
    -3,
    -3,
    -6,
    5,
    3,
    5,
    1,
    -7,
    5,
    3,
    -5,
    7,
    0,
    2,
    3,
    2,
    3,
    7,
    -1
   ],
   "logits0_8": [
    1,
    -19,
    -68,
    -22,
    20,
    -34,
    -39,
    -19
   ],
   "next": 55
  },
  {
   "tok": 55,
   "pos": 17,
   "x0": [
    -5,
    5,
    -2,
    -2,
    -1,
    4,
    4,
    -1,
    -3,
    3,
    3,
    -3,
    7,
    1,
    7,
    1,
    2,
    7,
    1,
    -7,
    -1,
    -3,
    -4,
    3,
    -4,
    3,
    2,
    1,
    -1,
    4,
    2,
    3,
    1,
    3,
    -2,
    3,
    -4,
    0,
    3,
    -6,
    -2,
    -2,
    -1,
    2,
    2,
    0,
    -5,
    4,
    0,
    3,
    -2,
    5,
    2,
    2,
    -1,
    2,
    1,
    4,
    6,
    3,
    -7,
    1,
    -2,
    -3
   ],
   "att": [
    -1,
    -1,
    -1,
    -1,
    -1,
    0,
    -1,
    -2,
    0,
    0,
    -1,
    0,
    0,
    0,
    0,
    0,
    -2,
    -1,
    0,
    -2,
    0,
    0,
    -1,
    0,
    0,
    0,
    -1,
    -1,
    -1,
    0,
    -1,
    0,
    -1,
    0,
    -1,
    0,
    0,
    0,
    0,
    -1,
    -1,
    -1,
    -1,
    0,
    0,
    -1,
    -1,
    0,
    -1,
    0,
    -1,
    0,
    0,
    0,
    0,
    -1,
    -1,
    -1,
    -1,
    0,
    0,
    -1,
    0,
    0
   ],
   "q": [
    6,
    -7,
    -4,
    -7,
    2,
    7,
    2,
    -7,
    4,
    7,
    -7,
    2,
    -7,
    7,
    -7,
    5,
    0,
    4,
    0,
    2,
    -6,
    3,
    1,
    -4,
    -2,
    -1,
    -3,
    0,
    0,
    1,
    -3,
    -6,
    3,
    1,
    6,
    -2,
    7,
    -7,
    0,
    -4,
    -1,
    -2,
    3,
    -2,
    -3,
    -7,
    3,
    2,
    5,
    7,
    2,
    -7,
    -4,
    -1,
    -7,
    -1,
    -5,
    0,
    3,
    2,
    0,
    1,
    0,
    2
   ],
   "scores": [
    -34,
    -17,
    -64,
    -3,
    -53,
    -72,
    -82,
    -84,
    -31,
    -60,
    -52,
    -51,
    -30,
    17,
    0,
    8,
    12,
    0
   ],
   "p": [
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    2,
    0,
    1,
    1,
    0
   ],
   "L0.x": [
    -5,
    7,
    2,
    -5,
    6,
    7,
    -4,
    -2,
    -1,
    -5,
    6,
    -5,
    7,
    1,
    7,
    -2,
    7,
    7,
    -3,
    -6,
    -7,
    -3,
    -5,
    -1,
    -7,
    4,
    1,
    -2,
    3,
    -1,
    6,
    3,
    -2,
    2,
    4,
    2,
    0,
    1,
    1,
    -7,
    -7,
    -7,
    -2,
    7,
    -1,
    -2,
    -5,
    7,
    -7,
    6,
    -7,
    1,
    -4,
    -5,
    -3,
    7,
    -2,
    7,
    1,
    -1,
    -7,
    -3,
    -1,
    -3
   ],
   "L1.x": [
    -7,
    5,
    1,
    0,
    7,
    0,
    -3,
    4,
    -7,
    -6,
    7,
    -7,
    7,
    -5,
    3,
    -3,
    7,
    0,
    -7,
    1,
    -2,
    -6,
    -2,
    0,
    -7,
    7,
    -7,
    -2,
    1,
    3,
    7,
    7,
    -7,
    -5,
    7,
    7,
    7,
    -7,
    -5,
    -7,
    -7,
    -7,
    5,
    7,
    -7,
    -7,
    -7,
    7,
    -7,
    7,
    -7,
    7,
    -6,
    -6,
    -7,
    5,
    -7,
    7,
    -4,
    -7,
    -7,
    3,
    5,
    -2
   ],
   "L2.x": [
    -3,
    7,
    6,
    1,
    7,
    1,
    4,
    0,
    -7,
    0,
    7,
    -4,
    -4,
    -7,
    0,
    -7,
    3,
    6,
    -2,
    4,
    -3,
    0,
    -7,
    6,
    0,
    5,
    0,
    2,
    -7,
    7,
    6,
    1,
    0,
    -5,
    1,
    -1,
    3,
    0,
    0,
    0,
    1,
    -5,
    7,
    4,
    0,
    1,
    -4,
    6,
    0,
    3,
    -7,
    -1,
    -2,
    -7,
    -5,
    7,
    3,
    7,
    -7,
    -1,
    0,
    2,
    -4,
    -5
   ],
   "logits0_8": [
    58,
    33,
    44,
    63,
    26,
    58,
    51,
    26
   ],
   "next": 18
  },
  {
   "tok": 18,
   "pos": 18,
   "x0": [
    1,
    1,
    2,
    2,
    2,
    -1,
    1,
    -7,
    -3,
    7,
    1,
    -1,
    -2,
    -7,
    6,
    -2,
    1,
    3,
    -4,
    1,
    -2,
    -1,
    -2,
    1,
    0,
    4,
    3,
    0,
    -6,
    4,
    0,
    3,
    4,
    0,
    -2,
    0,
    0,
    -3,
    0,
    -7,
    -4,
    -7,
    -1,
    2,
    -1,
    5,
    -2,
    2,
    -4,
    -2,
    0,
    2,
    3,
    -1,
    4,
    -1,
    -3,
    5,
    0,
    3,
    -6,
    1,
    -3,
    -7
   ],
   "att": [
    -2,
    1,
    1,
    0,
    0,
    0,
    -1,
    -2,
    -1,
    0,
    1,
    0,
    1,
    1,
    -1,
    0,
    1,
    0,
    -2,
    -2,
    -1,
    -1,
    -1,
    1,
    0,
    0,
    0,
    0,
    0,
    1,
    -2,
    1,
    -1,
    -1,
    1,
    1,
    1,
    -1,
    1,
    -2,
    -1,
    1,
    -1,
    1,
    -1,
    0,
    -1,
    -1,
    -1,
    -2,
    -1,
    -1,
    0,
    0,
    -2,
    0,
    -1,
    1,
    0,
    1,
    0,
    1,
    -1,
    -1
   ],
   "q": [
    -3,
    -7,
    -3,
    -7,
    7,
    7,
    -7,
    -7,
    -3,
    7,
    -1,
    -3,
    -7,
    -6,
    -7,
    7,
    1,
    -4,
    -4,
    -7,
    -7,
    7,
    1,
    2,
    -7,
    3,
    -7,
    -7,
    -7,
    0,
    2,
    4,
    7,
    2,
    7,
    0,
    2,
    6,
    -7,
    0,
    4,
    7,
    -7,
    6,
    7,
    -7,
    0,
    2,
    7,
    7,
    -1,
    -6,
    -5,
    -6,
    2,
    -6,
    -5,
    -6,
    6,
    -7,
    -7,
    -7,
    -7,
    5
   ],
   "scores": [
    -200,
    -174,
    -166,
    -163,
    -145,
    -210,
    -131,
    -102,
    -89,
    -129,
    -85,
    -25,
    25,
    82,
    105,
    137,
    110,
    167,
    131
   ],
   "p": [
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    0,
    6,
    0
   ],
   "L0.x": [
    3,
    6,
    7,
    5,
    2,
    2,
    -5,
    -5,
    -5,
    -1,
    4,
    5,
    0,
    -6,
    7,
    -5,
    -4,
    4,
    1,
    0,
    -5,
    3,
    -4,
    2,
    2,
    0,
    -2,
    -3,
    -5,
    -2,
    3,
    7,
    6,
    -5,
    -1,
    7,
    3,
    6,
    -3,
    0,
    -7,
    -3,
    -3,
    3,
    -7,
    3,
    -7,
    4,
    -2,
    -6,
    -6,
    -5,
    1,
    -5,
    4,
    -7,
    -7,
    6,
    1,
    -1,
    -7,
    1,
    -6,
    -2
   ],
   "L1.x": [
    -2,
    7,
    7,
    1,
    7,
    6,
    1,
    -6,
    -7,
    -7,
    7,
    -2,
    -5,
    -7,
    4,
    -4,
    -5,
    0,
    6,
    -7,
    -6,
    7,
    6,
    7,
    7,
    6,
    -7,
    -7,
    -4,
    2,
    -1,
    -4,
    7,
    -7,
    -7,
    5,
    -1,
    7,
    1,
    -7,
    0,
    -6,
    -6,
    -7,
    -4,
    1,
    -7,
    -1,
    2,
    -7,
    -7,
    3,
    1,
    -7,
    -6,
    -6,
    -7,
    6,
    7,
    6,
    -6,
    -4,
    4,
    6
   ],
   "L2.x": [
    2,
    7,
    7,
    7,
    7,
    5,
    3,
    0,
    -6,
    0,
    7,
    -5,
    -1,
    -7,
    7,
    -4,
    1,
    0,
    0,
    1,
    -7,
    5,
    7,
    2,
    7,
    7,
    0,
    -4,
    -7,
    0,
    -7,
    -4,
    4,
    -7,
    -1,
    1,
    -2,
    5,
    1,
    -7,
    3,
    -2,
    1,
    -7,
    2,
    -7,
    0,
    7,
    7,
    -7,
    -7,
    -1,
    7,
    -1,
    -7,
    -7,
    -7,
    7,
    5,
    0,
    -7,
    -2,
    0,
    6
   ],
   "logits0_8": [
    107,
    -4,
    48,
    -44,
    51,
    -10,
    -39,
    68
   ],
   "next": 0
  }
 ]
}