{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 2.0,
  "eval_steps": 500,
  "global_step": 7500,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0005333333333333334,
      "grad_norm": 0.0734102800488472,
      "learning_rate": 4.999333333333334e-06,
      "loss": 0.0053,
      "on_policy_loss": 0.0053,
      "step": 2
    },
    {
      "epoch": 0.0010666666666666667,
      "grad_norm": 0.04231974110007286,
      "learning_rate": 4.998e-06,
      "loss": 0.0037,
      "on_policy_loss": 0.0037,
      "step": 4
    },
    {
      "epoch": 0.0016,
      "grad_norm": 0.0442638173699379,
      "learning_rate": 4.9966666666666665e-06,
      "loss": 0.0079,
      "on_policy_loss": 0.0079,
      "step": 6
    },
    {
      "epoch": 0.0021333333333333334,
      "grad_norm": 0.05411602556705475,
      "learning_rate": 4.995333333333334e-06,
      "loss": 0.0061,
      "on_policy_loss": 0.0061,
      "step": 8
    },
    {
      "epoch": 0.0026666666666666666,
      "grad_norm": 0.03065400943160057,
      "learning_rate": 4.994000000000001e-06,
      "loss": 0.0048,
      "on_policy_loss": 0.0048,
      "step": 10
    },
    {
      "epoch": 0.0032,
      "grad_norm": 0.03163999319076538,
      "learning_rate": 4.992666666666667e-06,
      "loss": 0.0045,
      "on_policy_loss": 0.0045,
      "step": 12
    },
    {
      "epoch": 0.0037333333333333333,
      "grad_norm": 0.03065590374171734,
      "learning_rate": 4.991333333333333e-06,
      "loss": 0.0036,
      "on_policy_loss": 0.0036,
      "step": 14
    },
    {
      "epoch": 0.004266666666666667,
      "grad_norm": 0.03685757890343666,
      "learning_rate": 4.9900000000000005e-06,
      "loss": 0.0045,
      "on_policy_loss": 0.0045,
      "step": 16
    },
    {
      "epoch": 0.0048,
      "grad_norm": 0.028580745682120323,
      "learning_rate": 4.988666666666668e-06,
      "loss": 0.0028,
      "on_policy_loss": 0.0028,
      "step": 18
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 0.03327447548508644,
      "learning_rate": 4.987333333333333e-06,
      "loss": 0.0037,
      "on_policy_loss": 0.0037,
      "step": 20
    },
    {
      "epoch": 0.005866666666666667,
      "grad_norm": 0.03132786229252815,
      "learning_rate": 4.986e-06,
      "loss": 0.003,
      "on_policy_loss": 0.003,
      "step": 22
    },
    {
      "epoch": 0.0064,
      "grad_norm": 0.03353668749332428,
      "learning_rate": 4.984666666666667e-06,
      "loss": 0.0026,
      "on_policy_loss": 0.0026,
      "step": 24
    },
    {
      "epoch": 0.006933333333333333,
      "grad_norm": 0.0316372886300087,
      "learning_rate": 4.983333333333334e-06,
      "loss": 0.0028,
      "on_policy_loss": 0.0028,
      "step": 26
    },
    {
      "epoch": 0.007466666666666667,
      "grad_norm": 0.03691698983311653,
      "learning_rate": 4.982e-06,
      "loss": 0.0029,
      "on_policy_loss": 0.0029,
      "step": 28
    },
    {
      "epoch": 0.008,
      "grad_norm": 0.03375197574496269,
      "learning_rate": 4.980666666666667e-06,
      "loss": 0.0029,
      "on_policy_loss": 0.0029,
      "step": 30
    },
    {
      "epoch": 0.008533333333333334,
      "grad_norm": 0.03423282876610756,
      "learning_rate": 4.979333333333334e-06,
      "loss": 0.0003,
      "on_policy_loss": 0.0003,
      "step": 32
    },
    {
      "epoch": 0.009066666666666667,
      "grad_norm": 0.03425760194659233,
      "learning_rate": 4.9780000000000005e-06,
      "loss": 0.0017,
      "on_policy_loss": 0.0017,
      "step": 34
    },
    {
      "epoch": 0.0096,
      "grad_norm": 0.03294433653354645,
      "learning_rate": 4.976666666666667e-06,
      "loss": -0.0001,
      "on_policy_loss": -0.0001,
      "step": 36
    },
    {
      "epoch": 0.010133333333333333,
      "grad_norm": 0.04381166025996208,
      "learning_rate": 4.975333333333334e-06,
      "loss": 0.0016,
      "on_policy_loss": 0.0016,
      "step": 38
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 0.036234766244888306,
      "learning_rate": 4.974e-06,
      "loss": 0.0015,
      "on_policy_loss": 0.0015,
      "step": 40
    },
    {
      "epoch": 0.0112,
      "grad_norm": 0.03799313306808472,
      "learning_rate": 4.972666666666667e-06,
      "loss": -0.0002,
      "on_policy_loss": -0.0002,
      "step": 42
    },
    {
      "epoch": 0.011733333333333333,
      "grad_norm": 0.03695640340447426,
      "learning_rate": 4.9713333333333336e-06,
      "loss": 0.0003,
      "on_policy_loss": 0.0003,
      "step": 44
    },
    {
      "epoch": 0.012266666666666667,
      "grad_norm": 0.052530158311128616,
      "learning_rate": 4.970000000000001e-06,
      "loss": -0.0005,
      "on_policy_loss": -0.0005,
      "step": 46
    },
    {
      "epoch": 0.0128,
      "grad_norm": 0.040965575724840164,
      "learning_rate": 4.968666666666667e-06,
      "loss": -0.0006,
      "on_policy_loss": -0.0006,
      "step": 48
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 0.04049980267882347,
      "learning_rate": 4.967333333333334e-06,
      "loss": -0.0014,
      "on_policy_loss": -0.0014,
      "step": 50
    },
    {
      "epoch": 0.013866666666666666,
      "grad_norm": 0.043315090239048004,
      "learning_rate": 4.966e-06,
      "loss": -0.0026,
      "on_policy_loss": -0.0026,
      "step": 52
    },
    {
      "epoch": 0.0144,
      "grad_norm": 0.04070189595222473,
      "learning_rate": 4.964666666666667e-06,
      "loss": -0.0029,
      "on_policy_loss": -0.0029,
      "step": 54
    },
    {
      "epoch": 0.014933333333333333,
      "grad_norm": 0.04142970219254494,
      "learning_rate": 4.963333333333334e-06,
      "loss": -0.0022,
      "on_policy_loss": -0.0022,
      "step": 56
    },
    {
      "epoch": 0.015466666666666667,
      "grad_norm": 0.035719044506549835,
      "learning_rate": 4.962e-06,
      "loss": -0.0037,
      "on_policy_loss": -0.0037,
      "step": 58
    },
    {
      "epoch": 0.016,
      "grad_norm": 0.03825042396783829,
      "learning_rate": 4.960666666666667e-06,
      "loss": -0.0024,
      "on_policy_loss": -0.0024,
      "step": 60
    },
    {
      "epoch": 0.016533333333333334,
      "grad_norm": 0.040884651243686676,
      "learning_rate": 4.9593333333333335e-06,
      "loss": -0.0033,
      "on_policy_loss": -0.0033,
      "step": 62
    },
    {
      "epoch": 0.017066666666666667,
      "grad_norm": 0.04455515369772911,
      "learning_rate": 4.958000000000001e-06,
      "loss": -0.0048,
      "on_policy_loss": -0.0048,
      "step": 64
    },
    {
      "epoch": 0.0176,
      "grad_norm": 0.04075073078274727,
      "learning_rate": 4.956666666666667e-06,
      "loss": -0.0054,
      "on_policy_loss": -0.0054,
      "step": 66
    },
    {
      "epoch": 0.018133333333333335,
      "grad_norm": 0.045225340873003006,
      "learning_rate": 4.955333333333334e-06,
      "loss": -0.0038,
      "on_policy_loss": -0.0038,
      "step": 68
    },
    {
      "epoch": 0.018666666666666668,
      "grad_norm": 0.040665920823812485,
      "learning_rate": 4.954e-06,
      "loss": -0.0063,
      "on_policy_loss": -0.0063,
      "step": 70
    },
    {
      "epoch": 0.0192,
      "grad_norm": 0.04076242819428444,
      "learning_rate": 4.9526666666666675e-06,
      "loss": -0.0059,
      "on_policy_loss": -0.0059,
      "step": 72
    },
    {
      "epoch": 0.019733333333333332,
      "grad_norm": 0.04467208683490753,
      "learning_rate": 4.951333333333334e-06,
      "loss": -0.0063,
      "on_policy_loss": -0.0063,
      "step": 74
    },
    {
      "epoch": 0.020266666666666665,
      "grad_norm": 0.04794229939579964,
      "learning_rate": 4.95e-06,
      "loss": -0.0073,
      "on_policy_loss": -0.0073,
      "step": 76
    },
    {
      "epoch": 0.0208,
      "grad_norm": 0.047096360474824905,
      "learning_rate": 4.948666666666667e-06,
      "loss": -0.0073,
      "on_policy_loss": -0.0073,
      "step": 78
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 0.041875824332237244,
      "learning_rate": 4.947333333333334e-06,
      "loss": -0.0068,
      "on_policy_loss": -0.0068,
      "step": 80
    },
    {
      "epoch": 0.021866666666666666,
      "grad_norm": 0.04557337611913681,
      "learning_rate": 4.946000000000001e-06,
      "loss": -0.0068,
      "on_policy_loss": -0.0068,
      "step": 82
    },
    {
      "epoch": 0.0224,
      "grad_norm": 0.04572661593556404,
      "learning_rate": 4.944666666666667e-06,
      "loss": -0.0061,
      "on_policy_loss": -0.0061,
      "step": 84
    },
    {
      "epoch": 0.022933333333333333,
      "grad_norm": 0.04595373943448067,
      "learning_rate": 4.943333333333334e-06,
      "loss": -0.0063,
      "on_policy_loss": -0.0063,
      "step": 86
    },
    {
      "epoch": 0.023466666666666667,
      "grad_norm": 0.05926121398806572,
      "learning_rate": 4.942e-06,
      "loss": -0.0065,
      "on_policy_loss": -0.0065,
      "step": 88
    },
    {
      "epoch": 0.024,
      "grad_norm": 0.05039963126182556,
      "learning_rate": 4.9406666666666666e-06,
      "loss": -0.0074,
      "on_policy_loss": -0.0074,
      "step": 90
    },
    {
      "epoch": 0.024533333333333334,
      "grad_norm": 0.05656545236706734,
      "learning_rate": 4.939333333333334e-06,
      "loss": -0.0095,
      "on_policy_loss": -0.0095,
      "step": 92
    },
    {
      "epoch": 0.025066666666666668,
      "grad_norm": 0.05498494580388069,
      "learning_rate": 4.938000000000001e-06,
      "loss": -0.007,
      "on_policy_loss": -0.007,
      "step": 94
    },
    {
      "epoch": 0.0256,
      "grad_norm": 0.057311635464429855,
      "learning_rate": 4.936666666666667e-06,
      "loss": -0.009,
      "on_policy_loss": -0.009,
      "step": 96
    },
    {
      "epoch": 0.026133333333333335,
      "grad_norm": 0.05586175248026848,
      "learning_rate": 4.935333333333333e-06,
      "loss": -0.0101,
      "on_policy_loss": -0.0101,
      "step": 98
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 0.06207728758454323,
      "learning_rate": 4.9340000000000005e-06,
      "loss": -0.0108,
      "on_policy_loss": -0.0108,
      "step": 100
    },
    {
      "epoch": 0.0272,
      "grad_norm": 0.051035426557064056,
      "learning_rate": 4.932666666666668e-06,
      "loss": -0.0111,
      "on_policy_loss": -0.0111,
      "step": 102
    },
    {
      "epoch": 0.027733333333333332,
      "grad_norm": 0.05411957949399948,
      "learning_rate": 4.931333333333334e-06,
      "loss": -0.0113,
      "on_policy_loss": -0.0113,
      "step": 104
    },
    {
      "epoch": 0.028266666666666666,
      "grad_norm": 0.05827395245432854,
      "learning_rate": 4.93e-06,
      "loss": -0.0122,
      "on_policy_loss": -0.0122,
      "step": 106
    },
    {
      "epoch": 0.0288,
      "grad_norm": 0.061237581074237823,
      "learning_rate": 4.928666666666667e-06,
      "loss": -0.012,
      "on_policy_loss": -0.012,
      "step": 108
    },
    {
      "epoch": 0.029333333333333333,
      "grad_norm": 0.0637030303478241,
      "learning_rate": 4.927333333333334e-06,
      "loss": -0.0115,
      "on_policy_loss": -0.0115,
      "step": 110
    },
    {
      "epoch": 0.029866666666666666,
      "grad_norm": 0.06797392666339874,
      "learning_rate": 4.926e-06,
      "loss": -0.0137,
      "on_policy_loss": -0.0137,
      "step": 112
    },
    {
      "epoch": 0.0304,
      "grad_norm": 0.0644611343741417,
      "learning_rate": 4.924666666666667e-06,
      "loss": -0.014,
      "on_policy_loss": -0.014,
      "step": 114
    },
    {
      "epoch": 0.030933333333333334,
      "grad_norm": 0.07516752928495407,
      "learning_rate": 4.923333333333334e-06,
      "loss": -0.015,
      "on_policy_loss": -0.015,
      "step": 116
    },
    {
      "epoch": 0.031466666666666664,
      "grad_norm": 0.06538259983062744,
      "learning_rate": 4.9220000000000005e-06,
      "loss": -0.0125,
      "on_policy_loss": -0.0125,
      "step": 118
    },
    {
      "epoch": 0.032,
      "grad_norm": 0.06800492107868195,
      "learning_rate": 4.920666666666667e-06,
      "loss": -0.0151,
      "on_policy_loss": -0.0151,
      "step": 120
    },
    {
      "epoch": 0.03253333333333333,
      "grad_norm": 0.061899032443761826,
      "learning_rate": 4.919333333333334e-06,
      "loss": -0.016,
      "on_policy_loss": -0.016,
      "step": 122
    },
    {
      "epoch": 0.03306666666666667,
      "grad_norm": 0.07094570994377136,
      "learning_rate": 4.918e-06,
      "loss": -0.0146,
      "on_policy_loss": -0.0146,
      "step": 124
    },
    {
      "epoch": 0.0336,
      "grad_norm": 0.0743999183177948,
      "learning_rate": 4.9166666666666665e-06,
      "loss": -0.0146,
      "on_policy_loss": -0.0146,
      "step": 126
    },
    {
      "epoch": 0.034133333333333335,
      "grad_norm": 0.06561978161334991,
      "learning_rate": 4.915333333333334e-06,
      "loss": -0.0167,
      "on_policy_loss": -0.0167,
      "step": 128
    },
    {
      "epoch": 0.034666666666666665,
      "grad_norm": 0.06558384001255035,
      "learning_rate": 4.914000000000001e-06,
      "loss": -0.0195,
      "on_policy_loss": -0.0195,
      "step": 130
    },
    {
      "epoch": 0.0352,
      "grad_norm": 0.08552420884370804,
      "learning_rate": 4.912666666666667e-06,
      "loss": -0.0191,
      "on_policy_loss": -0.0191,
      "step": 132
    },
    {
      "epoch": 0.03573333333333333,
      "grad_norm": 0.07153847813606262,
      "learning_rate": 4.911333333333333e-06,
      "loss": -0.0206,
      "on_policy_loss": -0.0206,
      "step": 134
    },
    {
      "epoch": 0.03626666666666667,
      "grad_norm": 0.07106580585241318,
      "learning_rate": 4.9100000000000004e-06,
      "loss": -0.0195,
      "on_policy_loss": -0.0195,
      "step": 136
    },
    {
      "epoch": 0.0368,
      "grad_norm": 0.07008425146341324,
      "learning_rate": 4.9086666666666676e-06,
      "loss": -0.0164,
      "on_policy_loss": -0.0164,
      "step": 138
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 0.06346597522497177,
      "learning_rate": 4.907333333333334e-06,
      "loss": -0.0187,
      "on_policy_loss": -0.0187,
      "step": 140
    },
    {
      "epoch": 0.037866666666666667,
      "grad_norm": 0.06417416036128998,
      "learning_rate": 4.906e-06,
      "loss": -0.0203,
      "on_policy_loss": -0.0203,
      "step": 142
    },
    {
      "epoch": 0.0384,
      "grad_norm": 0.07341042906045914,
      "learning_rate": 4.904666666666667e-06,
      "loss": -0.0202,
      "on_policy_loss": -0.0202,
      "step": 144
    },
    {
      "epoch": 0.038933333333333334,
      "grad_norm": 0.07860957086086273,
      "learning_rate": 4.9033333333333335e-06,
      "loss": -0.0202,
      "on_policy_loss": -0.0202,
      "step": 146
    },
    {
      "epoch": 0.039466666666666664,
      "grad_norm": 0.06940370053052902,
      "learning_rate": 4.902000000000001e-06,
      "loss": -0.0199,
      "on_policy_loss": -0.0199,
      "step": 148
    },
    {
      "epoch": 0.04,
      "grad_norm": 0.09360740333795547,
      "learning_rate": 4.900666666666667e-06,
      "loss": -0.0218,
      "on_policy_loss": -0.0218,
      "step": 150
    },
    {
      "epoch": 0.04053333333333333,
      "grad_norm": 0.07690355181694031,
      "learning_rate": 4.899333333333334e-06,
      "loss": -0.015,
      "on_policy_loss": -0.015,
      "step": 152
    },
    {
      "epoch": 0.04106666666666667,
      "grad_norm": 0.06715365499258041,
      "learning_rate": 4.898e-06,
      "loss": -0.0219,
      "on_policy_loss": -0.0219,
      "step": 154
    },
    {
      "epoch": 0.0416,
      "grad_norm": 0.08058011531829834,
      "learning_rate": 4.896666666666667e-06,
      "loss": -0.0204,
      "on_policy_loss": -0.0204,
      "step": 156
    },
    {
      "epoch": 0.042133333333333335,
      "grad_norm": 0.06684421002864838,
      "learning_rate": 4.895333333333334e-06,
      "loss": -0.0208,
      "on_policy_loss": -0.0208,
      "step": 158
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 0.07038065791130066,
      "learning_rate": 4.894e-06,
      "loss": -0.0206,
      "on_policy_loss": -0.0206,
      "step": 160
    },
    {
      "epoch": 0.0432,
      "grad_norm": 0.0754682719707489,
      "learning_rate": 4.892666666666667e-06,
      "loss": -0.0219,
      "on_policy_loss": -0.0219,
      "step": 162
    },
    {
      "epoch": 0.04373333333333333,
      "grad_norm": 0.07050193101167679,
      "learning_rate": 4.8913333333333335e-06,
      "loss": -0.025,
      "on_policy_loss": -0.025,
      "step": 164
    },
    {
      "epoch": 0.04426666666666667,
      "grad_norm": 0.08656826615333557,
      "learning_rate": 4.890000000000001e-06,
      "loss": -0.0203,
      "on_policy_loss": -0.0203,
      "step": 166
    },
    {
      "epoch": 0.0448,
      "grad_norm": 0.06893248111009598,
      "learning_rate": 4.888666666666667e-06,
      "loss": -0.0216,
      "on_policy_loss": -0.0216,
      "step": 168
    },
    {
      "epoch": 0.04533333333333334,
      "grad_norm": 0.07932749390602112,
      "learning_rate": 4.887333333333334e-06,
      "loss": -0.0272,
      "on_policy_loss": -0.0272,
      "step": 170
    },
    {
      "epoch": 0.04586666666666667,
      "grad_norm": 0.08165016770362854,
      "learning_rate": 4.886e-06,
      "loss": -0.02,
      "on_policy_loss": -0.02,
      "step": 172
    },
    {
      "epoch": 0.0464,
      "grad_norm": 0.08190740644931793,
      "learning_rate": 4.884666666666667e-06,
      "loss": -0.0243,
      "on_policy_loss": -0.0243,
      "step": 174
    },
    {
      "epoch": 0.046933333333333334,
      "grad_norm": 0.07891784608364105,
      "learning_rate": 4.883333333333334e-06,
      "loss": -0.023,
      "on_policy_loss": -0.023,
      "step": 176
    },
    {
      "epoch": 0.047466666666666664,
      "grad_norm": 0.09337010234594345,
      "learning_rate": 4.882000000000001e-06,
      "loss": -0.0251,
      "on_policy_loss": -0.0251,
      "step": 178
    },
    {
      "epoch": 0.048,
      "grad_norm": 0.09058930724859238,
      "learning_rate": 4.880666666666667e-06,
      "loss": -0.0253,
      "on_policy_loss": -0.0253,
      "step": 180
    },
    {
      "epoch": 0.04853333333333333,
      "grad_norm": 0.07533235847949982,
      "learning_rate": 4.8793333333333334e-06,
      "loss": -0.0247,
      "on_policy_loss": -0.0247,
      "step": 182
    },
    {
      "epoch": 0.04906666666666667,
      "grad_norm": 0.08810349553823471,
      "learning_rate": 4.8780000000000006e-06,
      "loss": -0.0281,
      "on_policy_loss": -0.0281,
      "step": 184
    },
    {
      "epoch": 0.0496,
      "grad_norm": 0.0902642160654068,
      "learning_rate": 4.876666666666668e-06,
      "loss": -0.0226,
      "on_policy_loss": -0.0226,
      "step": 186
    },
    {
      "epoch": 0.050133333333333335,
      "grad_norm": 0.08445727825164795,
      "learning_rate": 4.875333333333334e-06,
      "loss": -0.0251,
      "on_policy_loss": -0.0251,
      "step": 188
    },
    {
      "epoch": 0.050666666666666665,
      "grad_norm": 0.09078209847211838,
      "learning_rate": 4.874e-06,
      "loss": -0.0261,
      "on_policy_loss": -0.0261,
      "step": 190
    },
    {
      "epoch": 0.0512,
      "grad_norm": 0.08264480531215668,
      "learning_rate": 4.872666666666667e-06,
      "loss": -0.0294,
      "on_policy_loss": -0.0294,
      "step": 192
    },
    {
      "epoch": 0.05173333333333333,
      "grad_norm": 0.0883079320192337,
      "learning_rate": 4.871333333333334e-06,
      "loss": -0.0269,
      "on_policy_loss": -0.0269,
      "step": 194
    },
    {
      "epoch": 0.05226666666666667,
      "grad_norm": 0.08513063192367554,
      "learning_rate": 4.87e-06,
      "loss": -0.0305,
      "on_policy_loss": -0.0305,
      "step": 196
    },
    {
      "epoch": 0.0528,
      "grad_norm": 0.08184549957513809,
      "learning_rate": 4.868666666666667e-06,
      "loss": -0.0276,
      "on_policy_loss": -0.0276,
      "step": 198
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 0.11080221831798553,
      "learning_rate": 4.867333333333334e-06,
      "loss": -0.0275,
      "on_policy_loss": -0.0275,
      "step": 200
    },
    {
      "epoch": 0.05386666666666667,
      "grad_norm": 0.09099579602479935,
      "learning_rate": 4.8660000000000005e-06,
      "loss": -0.0305,
      "on_policy_loss": -0.0305,
      "step": 202
    },
    {
      "epoch": 0.0544,
      "grad_norm": 0.07716250419616699,
      "learning_rate": 4.864666666666667e-06,
      "loss": -0.0329,
      "on_policy_loss": -0.0329,
      "step": 204
    },
    {
      "epoch": 0.054933333333333334,
      "grad_norm": 0.08531473577022552,
      "learning_rate": 4.863333333333334e-06,
      "loss": -0.0305,
      "on_policy_loss": -0.0305,
      "step": 206
    },
    {
      "epoch": 0.055466666666666664,
      "grad_norm": 0.0794999822974205,
      "learning_rate": 4.862e-06,
      "loss": -0.0344,
      "on_policy_loss": -0.0344,
      "step": 208
    },
    {
      "epoch": 0.056,
      "grad_norm": 0.08699879050254822,
      "learning_rate": 4.8606666666666665e-06,
      "loss": -0.0377,
      "on_policy_loss": -0.0377,
      "step": 210
    },
    {
      "epoch": 0.05653333333333333,
      "grad_norm": 0.08283720910549164,
      "learning_rate": 4.859333333333334e-06,
      "loss": -0.0345,
      "on_policy_loss": -0.0345,
      "step": 212
    },
    {
      "epoch": 0.05706666666666667,
      "grad_norm": 0.08647821843624115,
      "learning_rate": 4.858000000000001e-06,
      "loss": -0.0311,
      "on_policy_loss": -0.0311,
      "step": 214
    },
    {
      "epoch": 0.0576,
      "grad_norm": 0.09586355090141296,
      "learning_rate": 4.856666666666667e-06,
      "loss": -0.0353,
      "on_policy_loss": -0.0353,
      "step": 216
    },
    {
      "epoch": 0.058133333333333335,
      "grad_norm": 0.07707138359546661,
      "learning_rate": 4.855333333333333e-06,
      "loss": -0.0354,
      "on_policy_loss": -0.0354,
      "step": 218
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 0.08729278296232224,
      "learning_rate": 4.8540000000000005e-06,
      "loss": -0.0327,
      "on_policy_loss": -0.0327,
      "step": 220
    },
    {
      "epoch": 0.0592,
      "grad_norm": 0.1144837886095047,
      "learning_rate": 4.852666666666668e-06,
      "loss": -0.0348,
      "on_policy_loss": -0.0348,
      "step": 222
    },
    {
      "epoch": 0.05973333333333333,
      "grad_norm": 0.09191666543483734,
      "learning_rate": 4.851333333333334e-06,
      "loss": -0.0379,
      "on_policy_loss": -0.0379,
      "step": 224
    },
    {
      "epoch": 0.06026666666666667,
      "grad_norm": 0.09080820530653,
      "learning_rate": 4.85e-06,
      "loss": -0.0346,
      "on_policy_loss": -0.0346,
      "step": 226
    },
    {
      "epoch": 0.0608,
      "grad_norm": 0.08678620308637619,
      "learning_rate": 4.848666666666667e-06,
      "loss": -0.0396,
      "on_policy_loss": -0.0396,
      "step": 228
    },
    {
      "epoch": 0.06133333333333333,
      "grad_norm": 0.09203074127435684,
      "learning_rate": 4.8473333333333336e-06,
      "loss": -0.0388,
      "on_policy_loss": -0.0388,
      "step": 230
    },
    {
      "epoch": 0.06186666666666667,
      "grad_norm": 0.0928531140089035,
      "learning_rate": 4.846e-06,
      "loss": -0.0376,
      "on_policy_loss": -0.0376,
      "step": 232
    },
    {
      "epoch": 0.0624,
      "grad_norm": 0.09847469627857208,
      "learning_rate": 4.844666666666667e-06,
      "loss": -0.038,
      "on_policy_loss": -0.038,
      "step": 234
    },
    {
      "epoch": 0.06293333333333333,
      "grad_norm": 0.08975666761398315,
      "learning_rate": 4.843333333333334e-06,
      "loss": -0.0408,
      "on_policy_loss": -0.0408,
      "step": 236
    },
    {
      "epoch": 0.06346666666666667,
      "grad_norm": 0.09588569402694702,
      "learning_rate": 4.842e-06,
      "loss": -0.0386,
      "on_policy_loss": -0.0386,
      "step": 238
    },
    {
      "epoch": 0.064,
      "grad_norm": 0.12780119478702545,
      "learning_rate": 4.840666666666667e-06,
      "loss": -0.0381,
      "on_policy_loss": -0.0381,
      "step": 240
    },
    {
      "epoch": 0.06453333333333333,
      "grad_norm": 0.10287312418222427,
      "learning_rate": 4.839333333333334e-06,
      "loss": -0.0418,
      "on_policy_loss": -0.0418,
      "step": 242
    },
    {
      "epoch": 0.06506666666666666,
      "grad_norm": 0.0949934870004654,
      "learning_rate": 4.838e-06,
      "loss": -0.0368,
      "on_policy_loss": -0.0368,
      "step": 244
    },
    {
      "epoch": 0.0656,
      "grad_norm": 0.11634264141321182,
      "learning_rate": 4.836666666666667e-06,
      "loss": -0.0387,
      "on_policy_loss": -0.0387,
      "step": 246
    },
    {
      "epoch": 0.06613333333333334,
      "grad_norm": 0.08391745388507843,
      "learning_rate": 4.8353333333333335e-06,
      "loss": -0.0409,
      "on_policy_loss": -0.0409,
      "step": 248
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 0.10359810292720795,
      "learning_rate": 4.834000000000001e-06,
      "loss": -0.0393,
      "on_policy_loss": -0.0393,
      "step": 250
    },
    {
      "epoch": 0.0672,
      "grad_norm": 0.10020611435174942,
      "learning_rate": 4.832666666666667e-06,
      "loss": -0.0405,
      "on_policy_loss": -0.0405,
      "step": 252
    },
    {
      "epoch": 0.06773333333333334,
      "grad_norm": 0.08834574371576309,
      "learning_rate": 4.831333333333334e-06,
      "loss": -0.0386,
      "on_policy_loss": -0.0386,
      "step": 254
    },
    {
      "epoch": 0.06826666666666667,
      "grad_norm": 0.11176567524671555,
      "learning_rate": 4.83e-06,
      "loss": -0.041,
      "on_policy_loss": -0.041,
      "step": 256
    },
    {
      "epoch": 0.0688,
      "grad_norm": 0.08713947236537933,
      "learning_rate": 4.8286666666666675e-06,
      "loss": -0.0448,
      "on_policy_loss": -0.0448,
      "step": 258
    },
    {
      "epoch": 0.06933333333333333,
      "grad_norm": 0.12452417612075806,
      "learning_rate": 4.827333333333334e-06,
      "loss": -0.0425,
      "on_policy_loss": -0.0425,
      "step": 260
    },
    {
      "epoch": 0.06986666666666666,
      "grad_norm": 0.10860875248908997,
      "learning_rate": 4.826e-06,
      "loss": -0.0437,
      "on_policy_loss": -0.0437,
      "step": 262
    },
    {
      "epoch": 0.0704,
      "grad_norm": 0.11566956341266632,
      "learning_rate": 4.824666666666667e-06,
      "loss": -0.0416,
      "on_policy_loss": -0.0416,
      "step": 264
    },
    {
      "epoch": 0.07093333333333333,
      "grad_norm": 0.18403483927249908,
      "learning_rate": 4.8233333333333335e-06,
      "loss": -0.0418,
      "on_policy_loss": -0.0418,
      "step": 266
    },
    {
      "epoch": 0.07146666666666666,
      "grad_norm": 0.1092403307557106,
      "learning_rate": 4.822000000000001e-06,
      "loss": -0.0436,
      "on_policy_loss": -0.0436,
      "step": 268
    },
    {
      "epoch": 0.072,
      "grad_norm": 0.11596700549125671,
      "learning_rate": 4.820666666666667e-06,
      "loss": -0.0452,
      "on_policy_loss": -0.0452,
      "step": 270
    },
    {
      "epoch": 0.07253333333333334,
      "grad_norm": 0.10760938376188278,
      "learning_rate": 4.819333333333334e-06,
      "loss": -0.044,
      "on_policy_loss": -0.044,
      "step": 272
    },
    {
      "epoch": 0.07306666666666667,
      "grad_norm": 0.10365047305822372,
      "learning_rate": 4.818e-06,
      "loss": -0.043,
      "on_policy_loss": -0.043,
      "step": 274
    },
    {
      "epoch": 0.0736,
      "grad_norm": 0.10661856830120087,
      "learning_rate": 4.816666666666667e-06,
      "loss": -0.0449,
      "on_policy_loss": -0.0449,
      "step": 276
    },
    {
      "epoch": 0.07413333333333333,
      "grad_norm": 0.10216324776411057,
      "learning_rate": 4.815333333333334e-06,
      "loss": -0.044,
      "on_policy_loss": -0.044,
      "step": 278
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 0.10956194996833801,
      "learning_rate": 4.814e-06,
      "loss": -0.0451,
      "on_policy_loss": -0.0451,
      "step": 280
    },
    {
      "epoch": 0.0752,
      "grad_norm": 0.11660268157720566,
      "learning_rate": 4.812666666666667e-06,
      "loss": -0.0437,
      "on_policy_loss": -0.0437,
      "step": 282
    },
    {
      "epoch": 0.07573333333333333,
      "grad_norm": 0.10569798946380615,
      "learning_rate": 4.811333333333334e-06,
      "loss": -0.048,
      "on_policy_loss": -0.048,
      "step": 284
    },
    {
      "epoch": 0.07626666666666666,
      "grad_norm": 0.0987103208899498,
      "learning_rate": 4.8100000000000005e-06,
      "loss": -0.0444,
      "on_policy_loss": -0.0444,
      "step": 286
    },
    {
      "epoch": 0.0768,
      "grad_norm": 0.10905244946479797,
      "learning_rate": 4.808666666666667e-06,
      "loss": -0.0454,
      "on_policy_loss": -0.0454,
      "step": 288
    },
    {
      "epoch": 0.07733333333333334,
      "grad_norm": 0.11322236806154251,
      "learning_rate": 4.807333333333334e-06,
      "loss": -0.0446,
      "on_policy_loss": -0.0446,
      "step": 290
    },
    {
      "epoch": 0.07786666666666667,
      "grad_norm": 0.10279287397861481,
      "learning_rate": 4.806000000000001e-06,
      "loss": -0.0441,
      "on_policy_loss": -0.0441,
      "step": 292
    },
    {
      "epoch": 0.0784,
      "grad_norm": 0.09265812486410141,
      "learning_rate": 4.8046666666666665e-06,
      "loss": -0.0456,
      "on_policy_loss": -0.0456,
      "step": 294
    },
    {
      "epoch": 0.07893333333333333,
      "grad_norm": 0.117373988032341,
      "learning_rate": 4.803333333333334e-06,
      "loss": -0.0471,
      "on_policy_loss": -0.0471,
      "step": 296
    },
    {
      "epoch": 0.07946666666666667,
      "grad_norm": 0.13632236421108246,
      "learning_rate": 4.802000000000001e-06,
      "loss": -0.0471,
      "on_policy_loss": -0.0471,
      "step": 298
    },
    {
      "epoch": 0.08,
      "grad_norm": 0.12986835837364197,
      "learning_rate": 4.800666666666667e-06,
      "loss": -0.0436,
      "on_policy_loss": -0.0436,
      "step": 300
    },
    {
      "epoch": 0.08053333333333333,
      "grad_norm": 0.13067583739757538,
      "learning_rate": 4.799333333333333e-06,
      "loss": -0.0475,
      "on_policy_loss": -0.0475,
      "step": 302
    },
    {
      "epoch": 0.08106666666666666,
      "grad_norm": 0.12808242440223694,
      "learning_rate": 4.7980000000000005e-06,
      "loss": -0.0455,
      "on_policy_loss": -0.0455,
      "step": 304
    },
    {
      "epoch": 0.0816,
      "grad_norm": 0.12887626886367798,
      "learning_rate": 4.796666666666668e-06,
      "loss": -0.043,
      "on_policy_loss": -0.043,
      "step": 306
    },
    {
      "epoch": 0.08213333333333334,
      "grad_norm": 0.102882519364357,
      "learning_rate": 4.795333333333334e-06,
      "loss": -0.0481,
      "on_policy_loss": -0.0481,
      "step": 308
    },
    {
      "epoch": 0.08266666666666667,
      "grad_norm": 0.09404242783784866,
      "learning_rate": 4.794e-06,
      "loss": -0.0474,
      "on_policy_loss": -0.0474,
      "step": 310
    },
    {
      "epoch": 0.0832,
      "grad_norm": 0.13238133490085602,
      "learning_rate": 4.792666666666667e-06,
      "loss": -0.049,
      "on_policy_loss": -0.049,
      "step": 312
    },
    {
      "epoch": 0.08373333333333334,
      "grad_norm": 0.09707687795162201,
      "learning_rate": 4.791333333333334e-06,
      "loss": -0.0467,
      "on_policy_loss": -0.0467,
      "step": 314
    },
    {
      "epoch": 0.08426666666666667,
      "grad_norm": 0.10810183733701706,
      "learning_rate": 4.79e-06,
      "loss": -0.0455,
      "on_policy_loss": -0.0455,
      "step": 316
    },
    {
      "epoch": 0.0848,
      "grad_norm": 0.10328403115272522,
      "learning_rate": 4.788666666666667e-06,
      "loss": -0.0498,
      "on_policy_loss": -0.0498,
      "step": 318
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 0.116684690117836,
      "learning_rate": 4.787333333333334e-06,
      "loss": -0.045,
      "on_policy_loss": -0.045,
      "step": 320
    },
    {
      "epoch": 0.08586666666666666,
      "grad_norm": 0.0926198661327362,
      "learning_rate": 4.7860000000000004e-06,
      "loss": -0.0504,
      "on_policy_loss": -0.0504,
      "step": 322
    },
    {
      "epoch": 0.0864,
      "grad_norm": 0.11498178541660309,
      "learning_rate": 4.784666666666667e-06,
      "loss": -0.0518,
      "on_policy_loss": -0.0518,
      "step": 324
    },
    {
      "epoch": 0.08693333333333333,
      "grad_norm": 0.14761370420455933,
      "learning_rate": 4.783333333333334e-06,
      "loss": -0.0465,
      "on_policy_loss": -0.0465,
      "step": 326
    },
    {
      "epoch": 0.08746666666666666,
      "grad_norm": 0.10262786597013474,
      "learning_rate": 4.782e-06,
      "loss": -0.0493,
      "on_policy_loss": -0.0493,
      "step": 328
    },
    {
      "epoch": 0.088,
      "grad_norm": 0.10271373391151428,
      "learning_rate": 4.780666666666666e-06,
      "loss": -0.0518,
      "on_policy_loss": -0.0518,
      "step": 330
    },
    {
      "epoch": 0.08853333333333334,
      "grad_norm": 0.1302531212568283,
      "learning_rate": 4.7793333333333335e-06,
      "loss": -0.0477,
      "on_policy_loss": -0.0477,
      "step": 332
    },
    {
      "epoch": 0.08906666666666667,
      "grad_norm": 0.10625477135181427,
      "learning_rate": 4.778000000000001e-06,
      "loss": -0.0525,
      "on_policy_loss": -0.0525,
      "step": 334
    },
    {
      "epoch": 0.0896,
      "grad_norm": 0.11004474759101868,
      "learning_rate": 4.776666666666667e-06,
      "loss": -0.0488,
      "on_policy_loss": -0.0488,
      "step": 336
    },
    {
      "epoch": 0.09013333333333333,
      "grad_norm": 0.1178249642252922,
      "learning_rate": 4.775333333333333e-06,
      "loss": -0.0494,
      "on_policy_loss": -0.0494,
      "step": 338
    },
    {
      "epoch": 0.09066666666666667,
      "grad_norm": 0.11753464490175247,
      "learning_rate": 4.774e-06,
      "loss": -0.0479,
      "on_policy_loss": -0.0479,
      "step": 340
    },
    {
      "epoch": 0.0912,
      "grad_norm": 0.10998959839344025,
      "learning_rate": 4.7726666666666675e-06,
      "loss": -0.0501,
      "on_policy_loss": -0.0501,
      "step": 342
    },
    {
      "epoch": 0.09173333333333333,
      "grad_norm": 0.11648789793252945,
      "learning_rate": 4.771333333333334e-06,
      "loss": -0.0507,
      "on_policy_loss": -0.0507,
      "step": 344
    },
    {
      "epoch": 0.09226666666666666,
      "grad_norm": 0.10902193933725357,
      "learning_rate": 4.77e-06,
      "loss": -0.0504,
      "on_policy_loss": -0.0504,
      "step": 346
    },
    {
      "epoch": 0.0928,
      "grad_norm": 0.11386242508888245,
      "learning_rate": 4.768666666666667e-06,
      "loss": -0.0485,
      "on_policy_loss": -0.0485,
      "step": 348
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 0.10700596123933792,
      "learning_rate": 4.7673333333333335e-06,
      "loss": -0.0514,
      "on_policy_loss": -0.0514,
      "step": 350
    },
    {
      "epoch": 0.09386666666666667,
      "grad_norm": 0.1426938772201538,
      "learning_rate": 4.766000000000001e-06,
      "loss": -0.0515,
      "on_policy_loss": -0.0515,
      "step": 352
    },
    {
      "epoch": 0.0944,
      "grad_norm": 0.12803669273853302,
      "learning_rate": 4.764666666666667e-06,
      "loss": -0.0495,
      "on_policy_loss": -0.0495,
      "step": 354
    },
    {
      "epoch": 0.09493333333333333,
      "grad_norm": 0.09698028862476349,
      "learning_rate": 4.763333333333334e-06,
      "loss": -0.0506,
      "on_policy_loss": -0.0506,
      "step": 356
    },
    {
      "epoch": 0.09546666666666667,
      "grad_norm": 0.11080027371644974,
      "learning_rate": 4.762e-06,
      "loss": -0.0481,
      "on_policy_loss": -0.0481,
      "step": 358
    },
    {
      "epoch": 0.096,
      "grad_norm": 0.14757400751113892,
      "learning_rate": 4.7606666666666674e-06,
      "loss": -0.0501,
      "on_policy_loss": -0.0501,
      "step": 360
    },
    {
      "epoch": 0.09653333333333333,
      "grad_norm": 0.10484863072633743,
      "learning_rate": 4.759333333333334e-06,
      "loss": -0.0495,
      "on_policy_loss": -0.0495,
      "step": 362
    },
    {
      "epoch": 0.09706666666666666,
      "grad_norm": 0.13638707995414734,
      "learning_rate": 4.758e-06,
      "loss": -0.0515,
      "on_policy_loss": -0.0515,
      "step": 364
    },
    {
      "epoch": 0.0976,
      "grad_norm": 0.11217216402292252,
      "learning_rate": 4.756666666666667e-06,
      "loss": -0.054,
      "on_policy_loss": -0.054,
      "step": 366
    },
    {
      "epoch": 0.09813333333333334,
      "grad_norm": 0.10220611840486526,
      "learning_rate": 4.7553333333333334e-06,
      "loss": -0.0508,
      "on_policy_loss": -0.0508,
      "step": 368
    },
    {
      "epoch": 0.09866666666666667,
      "grad_norm": 0.1281360536813736,
      "learning_rate": 4.7540000000000006e-06,
      "loss": -0.0522,
      "on_policy_loss": -0.0522,
      "step": 370
    },
    {
      "epoch": 0.0992,
      "grad_norm": 0.1319158524274826,
      "learning_rate": 4.752666666666667e-06,
      "loss": -0.0461,
      "on_policy_loss": -0.0461,
      "step": 372
    },
    {
      "epoch": 0.09973333333333333,
      "grad_norm": 0.12506166100502014,
      "learning_rate": 4.751333333333334e-06,
      "loss": -0.051,
      "on_policy_loss": -0.051,
      "step": 374
    },
    {
      "epoch": 0.10026666666666667,
      "grad_norm": 0.1692722886800766,
      "learning_rate": 4.75e-06,
      "loss": -0.05,
      "on_policy_loss": -0.05,
      "step": 376
    },
    {
      "epoch": 0.1008,
      "grad_norm": 0.11799590289592743,
      "learning_rate": 4.748666666666667e-06,
      "loss": -0.0523,
      "on_policy_loss": -0.0523,
      "step": 378
    },
    {
      "epoch": 0.10133333333333333,
      "grad_norm": 0.1020241230726242,
      "learning_rate": 4.747333333333334e-06,
      "loss": -0.0534,
      "on_policy_loss": -0.0534,
      "step": 380
    },
    {
      "epoch": 0.10186666666666666,
      "grad_norm": 0.11902816593647003,
      "learning_rate": 4.746000000000001e-06,
      "loss": -0.0498,
      "on_policy_loss": -0.0498,
      "step": 382
    },
    {
      "epoch": 0.1024,
      "grad_norm": 0.13173241913318634,
      "learning_rate": 4.744666666666667e-06,
      "loss": -0.0508,
      "on_policy_loss": -0.0508,
      "step": 384
    },
    {
      "epoch": 0.10293333333333334,
      "grad_norm": 0.11630186438560486,
      "learning_rate": 4.743333333333333e-06,
      "loss": -0.051,
      "on_policy_loss": -0.051,
      "step": 386
    },
    {
      "epoch": 0.10346666666666667,
      "grad_norm": 0.1375417858362198,
      "learning_rate": 4.7420000000000005e-06,
      "loss": -0.0499,
      "on_policy_loss": -0.0499,
      "step": 388
    },
    {
      "epoch": 0.104,
      "grad_norm": 0.1130601316690445,
      "learning_rate": 4.740666666666668e-06,
      "loss": -0.0506,
      "on_policy_loss": -0.0506,
      "step": 390
    },
    {
      "epoch": 0.10453333333333334,
      "grad_norm": 0.11815529316663742,
      "learning_rate": 4.739333333333334e-06,
      "loss": -0.0485,
      "on_policy_loss": -0.0485,
      "step": 392
    },
    {
      "epoch": 0.10506666666666667,
      "grad_norm": 0.1204545795917511,
      "learning_rate": 4.738e-06,
      "loss": -0.0542,
      "on_policy_loss": -0.0542,
      "step": 394
    },
    {
      "epoch": 0.1056,
      "grad_norm": 0.12643234431743622,
      "learning_rate": 4.736666666666667e-06,
      "loss": -0.0518,
      "on_policy_loss": -0.0518,
      "step": 396
    },
    {
      "epoch": 0.10613333333333333,
      "grad_norm": 0.1108427345752716,
      "learning_rate": 4.735333333333334e-06,
      "loss": -0.0505,
      "on_policy_loss": -0.0505,
      "step": 398
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 0.12780022621154785,
      "learning_rate": 4.734e-06,
      "loss": -0.052,
      "on_policy_loss": -0.052,
      "step": 400
    },
    {
      "epoch": 0.1072,
      "grad_norm": 0.11239729821681976,
      "learning_rate": 4.732666666666667e-06,
      "loss": -0.0501,
      "on_policy_loss": -0.0501,
      "step": 402
    },
    {
      "epoch": 0.10773333333333333,
      "grad_norm": 0.11446045339107513,
      "learning_rate": 4.731333333333334e-06,
      "loss": -0.0471,
      "on_policy_loss": -0.0471,
      "step": 404
    },
    {
      "epoch": 0.10826666666666666,
      "grad_norm": 0.11916950345039368,
      "learning_rate": 4.7300000000000005e-06,
      "loss": -0.0521,
      "on_policy_loss": -0.0521,
      "step": 406
    },
    {
      "epoch": 0.1088,
      "grad_norm": 0.12340491265058517,
      "learning_rate": 4.728666666666667e-06,
      "loss": -0.0527,
      "on_policy_loss": -0.0527,
      "step": 408
    },
    {
      "epoch": 0.10933333333333334,
      "grad_norm": 0.10933219641447067,
      "learning_rate": 4.727333333333334e-06,
      "loss": -0.0508,
      "on_policy_loss": -0.0508,
      "step": 410
    },
    {
      "epoch": 0.10986666666666667,
      "grad_norm": 0.11474405974149704,
      "learning_rate": 4.726000000000001e-06,
      "loss": -0.0514,
      "on_policy_loss": -0.0514,
      "step": 412
    },
    {
      "epoch": 0.1104,
      "grad_norm": 0.13482381403446198,
      "learning_rate": 4.7246666666666664e-06,
      "loss": -0.0523,
      "on_policy_loss": -0.0523,
      "step": 414
    },
    {
      "epoch": 0.11093333333333333,
      "grad_norm": 0.10455378144979477,
      "learning_rate": 4.7233333333333336e-06,
      "loss": -0.0554,
      "on_policy_loss": -0.0554,
      "step": 416
    },
    {
      "epoch": 0.11146666666666667,
      "grad_norm": 0.1303900182247162,
      "learning_rate": 4.722000000000001e-06,
      "loss": -0.0555,
      "on_policy_loss": -0.0555,
      "step": 418
    },
    {
      "epoch": 0.112,
      "grad_norm": 0.1161145269870758,
      "learning_rate": 4.720666666666667e-06,
      "loss": -0.0541,
      "on_policy_loss": -0.0541,
      "step": 420
    },
    {
      "epoch": 0.11253333333333333,
      "grad_norm": 0.14740926027297974,
      "learning_rate": 4.719333333333333e-06,
      "loss": -0.0589,
      "on_policy_loss": -0.0589,
      "step": 422
    },
    {
      "epoch": 0.11306666666666666,
      "grad_norm": 0.14135698974132538,
      "learning_rate": 4.718e-06,
      "loss": -0.0516,
      "on_policy_loss": -0.0516,
      "step": 424
    },
    {
      "epoch": 0.1136,
      "grad_norm": 0.10782734304666519,
      "learning_rate": 4.7166666666666675e-06,
      "loss": -0.0526,
      "on_policy_loss": -0.0526,
      "step": 426
    },
    {
      "epoch": 0.11413333333333334,
      "grad_norm": 0.1202995628118515,
      "learning_rate": 4.715333333333334e-06,
      "loss": -0.0545,
      "on_policy_loss": -0.0545,
      "step": 428
    },
    {
      "epoch": 0.11466666666666667,
      "grad_norm": 0.12508293986320496,
      "learning_rate": 4.714e-06,
      "loss": -0.0551,
      "on_policy_loss": -0.0551,
      "step": 430
    },
    {
      "epoch": 0.1152,
      "grad_norm": 0.1261678785085678,
      "learning_rate": 4.712666666666667e-06,
      "loss": -0.0547,
      "on_policy_loss": -0.0547,
      "step": 432
    },
    {
      "epoch": 0.11573333333333333,
      "grad_norm": 0.15110830962657928,
      "learning_rate": 4.7113333333333335e-06,
      "loss": -0.0543,
      "on_policy_loss": -0.0543,
      "step": 434
    },
    {
      "epoch": 0.11626666666666667,
      "grad_norm": 0.19199495017528534,
      "learning_rate": 4.71e-06,
      "loss": -0.05,
      "on_policy_loss": -0.05,
      "step": 436
    },
    {
      "epoch": 0.1168,
      "grad_norm": 0.11759862303733826,
      "learning_rate": 4.708666666666667e-06,
      "loss": -0.0527,
      "on_policy_loss": -0.0527,
      "step": 438
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 0.13736088573932648,
      "learning_rate": 4.707333333333334e-06,
      "loss": -0.0523,
      "on_policy_loss": -0.0523,
      "step": 440
    },
    {
      "epoch": 0.11786666666666666,
      "grad_norm": 0.12301374226808548,
      "learning_rate": 4.706e-06,
      "loss": -0.0537,
      "on_policy_loss": -0.0537,
      "step": 442
    },
    {
      "epoch": 0.1184,
      "grad_norm": 0.11435539275407791,
      "learning_rate": 4.704666666666667e-06,
      "loss": -0.0539,
      "on_policy_loss": -0.0539,
      "step": 444
    },
    {
      "epoch": 0.11893333333333334,
      "grad_norm": 0.1371648609638214,
      "learning_rate": 4.703333333333334e-06,
      "loss": -0.0547,
      "on_policy_loss": -0.0547,
      "step": 446
    },
    {
      "epoch": 0.11946666666666667,
      "grad_norm": 0.14269691705703735,
      "learning_rate": 4.702e-06,
      "loss": -0.052,
      "on_policy_loss": -0.052,
      "step": 448
    },
    {
      "epoch": 0.12,
      "grad_norm": 0.11595255136489868,
      "learning_rate": 4.700666666666667e-06,
      "loss": -0.0553,
      "on_policy_loss": -0.0553,
      "step": 450
    },
    {
      "epoch": 0.12053333333333334,
      "grad_norm": 0.14560653269290924,
      "learning_rate": 4.6993333333333335e-06,
      "loss": -0.0519,
      "on_policy_loss": -0.0519,
      "step": 452
    },
    {
      "epoch": 0.12106666666666667,
      "grad_norm": 0.12457849085330963,
      "learning_rate": 4.698000000000001e-06,
      "loss": -0.0552,
      "on_policy_loss": -0.0552,
      "step": 454
    },
    {
      "epoch": 0.1216,
      "grad_norm": 0.13288605213165283,
      "learning_rate": 4.696666666666667e-06,
      "loss": -0.0539,
      "on_policy_loss": -0.0539,
      "step": 456
    },
    {
      "epoch": 0.12213333333333333,
      "grad_norm": 0.14793771505355835,
      "learning_rate": 4.695333333333334e-06,
      "loss": -0.0544,
      "on_policy_loss": -0.0544,
      "step": 458
    },
    {
      "epoch": 0.12266666666666666,
      "grad_norm": 0.1328091323375702,
      "learning_rate": 4.694e-06,
      "loss": -0.0523,
      "on_policy_loss": -0.0523,
      "step": 460
    },
    {
      "epoch": 0.1232,
      "grad_norm": 0.11600176244974136,
      "learning_rate": 4.692666666666667e-06,
      "loss": -0.051,
      "on_policy_loss": -0.051,
      "step": 462
    },
    {
      "epoch": 0.12373333333333333,
      "grad_norm": 0.1194223091006279,
      "learning_rate": 4.691333333333334e-06,
      "loss": -0.0534,
      "on_policy_loss": -0.0534,
      "step": 464
    },
    {
      "epoch": 0.12426666666666666,
      "grad_norm": 0.11770204454660416,
      "learning_rate": 4.69e-06,
      "loss": -0.0567,
      "on_policy_loss": -0.0567,
      "step": 466
    },
    {
      "epoch": 0.1248,
      "grad_norm": 0.12914879620075226,
      "learning_rate": 4.688666666666667e-06,
      "loss": -0.0563,
      "on_policy_loss": -0.0563,
      "step": 468
    },
    {
      "epoch": 0.12533333333333332,
      "grad_norm": 0.1441529393196106,
      "learning_rate": 4.687333333333333e-06,
      "loss": -0.0555,
      "on_policy_loss": -0.0555,
      "step": 470
    },
    {
      "epoch": 0.12586666666666665,
      "grad_norm": 0.11860892176628113,
      "learning_rate": 4.6860000000000005e-06,
      "loss": -0.0536,
      "on_policy_loss": -0.0536,
      "step": 472
    },
    {
      "epoch": 0.1264,
      "grad_norm": 0.14884662628173828,
      "learning_rate": 4.684666666666667e-06,
      "loss": -0.0562,
      "on_policy_loss": -0.0562,
      "step": 474
    },
    {
      "epoch": 0.12693333333333334,
      "grad_norm": 0.12874799966812134,
      "learning_rate": 4.683333333333334e-06,
      "loss": -0.0615,
      "on_policy_loss": -0.0615,
      "step": 476
    },
    {
      "epoch": 0.12746666666666667,
      "grad_norm": 0.13928012549877167,
      "learning_rate": 4.682e-06,
      "loss": -0.0531,
      "on_policy_loss": -0.0531,
      "step": 478
    },
    {
      "epoch": 0.128,
      "grad_norm": 0.1497129499912262,
      "learning_rate": 4.680666666666667e-06,
      "loss": -0.0584,
      "on_policy_loss": -0.0584,
      "step": 480
    },
    {
      "epoch": 0.12853333333333333,
      "grad_norm": 0.12632755935192108,
      "learning_rate": 4.679333333333334e-06,
      "loss": -0.0535,
      "on_policy_loss": -0.0535,
      "step": 482
    },
    {
      "epoch": 0.12906666666666666,
      "grad_norm": 0.10994018614292145,
      "learning_rate": 4.678e-06,
      "loss": -0.0573,
      "on_policy_loss": -0.0573,
      "step": 484
    },
    {
      "epoch": 0.1296,
      "grad_norm": 0.12839025259017944,
      "learning_rate": 4.676666666666667e-06,
      "loss": -0.0504,
      "on_policy_loss": -0.0504,
      "step": 486
    },
    {
      "epoch": 0.13013333333333332,
      "grad_norm": 0.11364158987998962,
      "learning_rate": 4.675333333333334e-06,
      "loss": -0.0549,
      "on_policy_loss": -0.0549,
      "step": 488
    },
    {
      "epoch": 0.13066666666666665,
      "grad_norm": 0.1355850249528885,
      "learning_rate": 4.6740000000000005e-06,
      "loss": -0.0532,
      "on_policy_loss": -0.0532,
      "step": 490
    },
    {
      "epoch": 0.1312,
      "grad_norm": 0.14265771210193634,
      "learning_rate": 4.672666666666667e-06,
      "loss": -0.0567,
      "on_policy_loss": -0.0567,
      "step": 492
    },
    {
      "epoch": 0.13173333333333334,
      "grad_norm": 0.11588481068611145,
      "learning_rate": 4.671333333333334e-06,
      "loss": -0.0541,
      "on_policy_loss": -0.0541,
      "step": 494
    },
    {
      "epoch": 0.13226666666666667,
      "grad_norm": 0.17646940052509308,
      "learning_rate": 4.670000000000001e-06,
      "loss": -0.0525,
      "on_policy_loss": -0.0525,
      "step": 496
    },
    {
      "epoch": 0.1328,
      "grad_norm": 0.12629199028015137,
      "learning_rate": 4.668666666666667e-06,
      "loss": -0.059,
      "on_policy_loss": -0.059,
      "step": 498
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 0.14249664545059204,
      "learning_rate": 4.667333333333334e-06,
      "loss": -0.0565,
      "on_policy_loss": -0.0565,
      "step": 500
    },
    {
      "epoch": 0.13386666666666666,
      "grad_norm": 0.11750567704439163,
      "learning_rate": 4.666000000000001e-06,
      "loss": -0.0555,
      "on_policy_loss": -0.0555,
      "step": 502
    },
    {
      "epoch": 0.1344,
      "grad_norm": 0.12111339718103409,
      "learning_rate": 4.664666666666667e-06,
      "loss": -0.0545,
      "on_policy_loss": -0.0545,
      "step": 504
    },
    {
      "epoch": 0.13493333333333332,
      "grad_norm": 0.12186529487371445,
      "learning_rate": 4.663333333333333e-06,
      "loss": -0.0549,
      "on_policy_loss": -0.0549,
      "step": 506
    },
    {
      "epoch": 0.13546666666666668,
      "grad_norm": 0.17890197038650513,
      "learning_rate": 4.6620000000000004e-06,
      "loss": -0.0563,
      "on_policy_loss": -0.0563,
      "step": 508
    },
    {
      "epoch": 0.136,
      "grad_norm": 0.1152849867939949,
      "learning_rate": 4.6606666666666676e-06,
      "loss": -0.0583,
      "on_policy_loss": -0.0583,
      "step": 510
    },
    {
      "epoch": 0.13653333333333334,
      "grad_norm": 0.11730369180440903,
      "learning_rate": 4.659333333333334e-06,
      "loss": -0.0545,
      "on_policy_loss": -0.0545,
      "step": 512
    },
    {
      "epoch": 0.13706666666666667,
      "grad_norm": 0.13924957811832428,
      "learning_rate": 4.658e-06,
      "loss": -0.0552,
      "on_policy_loss": -0.0552,
      "step": 514
    },
    {
      "epoch": 0.1376,
      "grad_norm": 0.14892330765724182,
      "learning_rate": 4.656666666666667e-06,
      "loss": -0.056,
      "on_policy_loss": -0.056,
      "step": 516
    },
    {
      "epoch": 0.13813333333333333,
      "grad_norm": 0.1570611447095871,
      "learning_rate": 4.6553333333333335e-06,
      "loss": -0.0574,
      "on_policy_loss": -0.0574,
      "step": 518
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 0.12144535779953003,
      "learning_rate": 4.654e-06,
      "loss": -0.0583,
      "on_policy_loss": -0.0583,
      "step": 520
    },
    {
      "epoch": 0.1392,
      "grad_norm": 0.11550290882587433,
      "learning_rate": 4.652666666666667e-06,
      "loss": -0.0583,
      "on_policy_loss": -0.0583,
      "step": 522
    },
    {
      "epoch": 0.13973333333333332,
      "grad_norm": 0.12611795961856842,
      "learning_rate": 4.651333333333334e-06,
      "loss": -0.059,
      "on_policy_loss": -0.059,
      "step": 524
    },
    {
      "epoch": 0.14026666666666668,
      "grad_norm": 0.12405633181333542,
      "learning_rate": 4.65e-06,
      "loss": -0.0626,
      "on_policy_loss": -0.0626,
      "step": 526
    },
    {
      "epoch": 0.1408,
      "grad_norm": 0.1503339558839798,
      "learning_rate": 4.648666666666667e-06,
      "loss": -0.0598,
      "on_policy_loss": -0.0598,
      "step": 528
    },
    {
      "epoch": 0.14133333333333334,
      "grad_norm": 0.13010674715042114,
      "learning_rate": 4.647333333333334e-06,
      "loss": -0.0575,
      "on_policy_loss": -0.0575,
      "step": 530
    },
    {
      "epoch": 0.14186666666666667,
      "grad_norm": 0.10590368509292603,
      "learning_rate": 4.646000000000001e-06,
      "loss": -0.0594,
      "on_policy_loss": -0.0594,
      "step": 532
    },
    {
      "epoch": 0.1424,
      "grad_norm": 0.1264796406030655,
      "learning_rate": 4.644666666666667e-06,
      "loss": -0.0571,
      "on_policy_loss": -0.0571,
      "step": 534
    },
    {
      "epoch": 0.14293333333333333,
      "grad_norm": 0.12927456200122833,
      "learning_rate": 4.6433333333333335e-06,
      "loss": -0.0618,
      "on_policy_loss": -0.0618,
      "step": 536
    },
    {
      "epoch": 0.14346666666666666,
      "grad_norm": 0.15513481199741364,
      "learning_rate": 4.642000000000001e-06,
      "loss": -0.053,
      "on_policy_loss": -0.053,
      "step": 538
    },
    {
      "epoch": 0.144,
      "grad_norm": 0.13904251158237457,
      "learning_rate": 4.640666666666667e-06,
      "loss": -0.052,
      "on_policy_loss": -0.052,
      "step": 540
    },
    {
      "epoch": 0.14453333333333335,
      "grad_norm": 0.12043613940477371,
      "learning_rate": 4.639333333333333e-06,
      "loss": -0.0552,
      "on_policy_loss": -0.0552,
      "step": 542
    },
    {
      "epoch": 0.14506666666666668,
      "grad_norm": 0.1447465568780899,
      "learning_rate": 4.638e-06,
      "loss": -0.0534,
      "on_policy_loss": -0.0534,
      "step": 544
    },
    {
      "epoch": 0.1456,
      "grad_norm": 0.12639212608337402,
      "learning_rate": 4.6366666666666674e-06,
      "loss": -0.0574,
      "on_policy_loss": -0.0574,
      "step": 546
    },
    {
      "epoch": 0.14613333333333334,
      "grad_norm": 0.13913334906101227,
      "learning_rate": 4.635333333333334e-06,
      "loss": -0.055,
      "on_policy_loss": -0.055,
      "step": 548
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 0.1312403529882431,
      "learning_rate": 4.634e-06,
      "loss": -0.0572,
      "on_policy_loss": -0.0572,
      "step": 550
    },
    {
      "epoch": 0.1472,
      "grad_norm": 0.11678341776132584,
      "learning_rate": 4.632666666666667e-06,
      "loss": -0.0557,
      "on_policy_loss": -0.0557,
      "step": 552
    },
    {
      "epoch": 0.14773333333333333,
      "grad_norm": 0.14274318516254425,
      "learning_rate": 4.6313333333333334e-06,
      "loss": -0.0575,
      "on_policy_loss": -0.0575,
      "step": 554
    },
    {
      "epoch": 0.14826666666666666,
      "grad_norm": 0.13498029112815857,
      "learning_rate": 4.6300000000000006e-06,
      "loss": -0.052,
      "on_policy_loss": -0.052,
      "step": 556
    },
    {
      "epoch": 0.1488,
      "grad_norm": 0.16641901433467865,
      "learning_rate": 4.628666666666667e-06,
      "loss": -0.0548,
      "on_policy_loss": -0.0548,
      "step": 558
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 0.12771958112716675,
      "learning_rate": 4.627333333333334e-06,
      "loss": -0.0564,
      "on_policy_loss": -0.0564,
      "step": 560
    },
    {
      "epoch": 0.14986666666666668,
      "grad_norm": 0.12349451333284378,
      "learning_rate": 4.626e-06,
      "loss": -0.0589,
      "on_policy_loss": -0.0589,
      "step": 562
    },
    {
      "epoch": 0.1504,
      "grad_norm": 0.12319457530975342,
      "learning_rate": 4.624666666666667e-06,
      "loss": -0.0608,
      "on_policy_loss": -0.0608,
      "step": 564
    },
    {
      "epoch": 0.15093333333333334,
      "grad_norm": 0.11847665160894394,
      "learning_rate": 4.623333333333334e-06,
      "loss": -0.0599,
      "on_policy_loss": -0.0599,
      "step": 566
    },
    {
      "epoch": 0.15146666666666667,
      "grad_norm": 0.14411777257919312,
      "learning_rate": 4.622e-06,
      "loss": -0.0571,
      "on_policy_loss": -0.0571,
      "step": 568
    },
    {
      "epoch": 0.152,
      "grad_norm": 0.139313206076622,
      "learning_rate": 4.620666666666667e-06,
      "loss": -0.0625,
      "on_policy_loss": -0.0625,
      "step": 570
    },
    {
      "epoch": 0.15253333333333333,
      "grad_norm": 0.13812869787216187,
      "learning_rate": 4.619333333333333e-06,
      "loss": -0.0598,
      "on_policy_loss": -0.0598,
      "step": 572
    },
    {
      "epoch": 0.15306666666666666,
      "grad_norm": 0.11197172850370407,
      "learning_rate": 4.6180000000000005e-06,
      "loss": -0.0596,
      "on_policy_loss": -0.0596,
      "step": 574
    },
    {
      "epoch": 0.1536,
      "grad_norm": 0.14788447320461273,
      "learning_rate": 4.616666666666667e-06,
      "loss": -0.0566,
      "on_policy_loss": -0.0566,
      "step": 576
    },
    {
      "epoch": 0.15413333333333334,
      "grad_norm": 0.1425783932209015,
      "learning_rate": 4.615333333333334e-06,
      "loss": -0.06,
      "on_policy_loss": -0.06,
      "step": 578
    },
    {
      "epoch": 0.15466666666666667,
      "grad_norm": 0.13207973539829254,
      "learning_rate": 4.614e-06,
      "loss": -0.0561,
      "on_policy_loss": -0.0561,
      "step": 580
    },
    {
      "epoch": 0.1552,
      "grad_norm": 0.12370194494724274,
      "learning_rate": 4.612666666666667e-06,
      "loss": -0.0557,
      "on_policy_loss": -0.0557,
      "step": 582
    },
    {
      "epoch": 0.15573333333333333,
      "grad_norm": 0.14082087576389313,
      "learning_rate": 4.611333333333334e-06,
      "loss": -0.0564,
      "on_policy_loss": -0.0564,
      "step": 584
    },
    {
      "epoch": 0.15626666666666666,
      "grad_norm": 0.12461291998624802,
      "learning_rate": 4.610000000000001e-06,
      "loss": -0.0546,
      "on_policy_loss": -0.0546,
      "step": 586
    },
    {
      "epoch": 0.1568,
      "grad_norm": 0.12293294817209244,
      "learning_rate": 4.608666666666667e-06,
      "loss": -0.0583,
      "on_policy_loss": -0.0583,
      "step": 588
    },
    {
      "epoch": 0.15733333333333333,
      "grad_norm": 0.12521307170391083,
      "learning_rate": 4.607333333333333e-06,
      "loss": -0.0563,
      "on_policy_loss": -0.0563,
      "step": 590
    },
    {
      "epoch": 0.15786666666666666,
      "grad_norm": 0.15220847725868225,
      "learning_rate": 4.6060000000000005e-06,
      "loss": -0.0558,
      "on_policy_loss": -0.0558,
      "step": 592
    },
    {
      "epoch": 0.1584,
      "grad_norm": 0.16827993094921112,
      "learning_rate": 4.604666666666668e-06,
      "loss": -0.0582,
      "on_policy_loss": -0.0582,
      "step": 594
    },
    {
      "epoch": 0.15893333333333334,
      "grad_norm": 0.13747169077396393,
      "learning_rate": 4.603333333333334e-06,
      "loss": -0.0641,
      "on_policy_loss": -0.0641,
      "step": 596
    },
    {
      "epoch": 0.15946666666666667,
      "grad_norm": 0.1371113806962967,
      "learning_rate": 4.602e-06,
      "loss": -0.0595,
      "on_policy_loss": -0.0595,
      "step": 598
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.15898700058460236,
      "learning_rate": 4.600666666666667e-06,
      "loss": -0.0594,
      "on_policy_loss": -0.0594,
      "step": 600
    },
    {
      "epoch": 0.16053333333333333,
      "grad_norm": 0.1460421085357666,
      "learning_rate": 4.5993333333333336e-06,
      "loss": -0.0574,
      "on_policy_loss": -0.0574,
      "step": 602
    },
    {
      "epoch": 0.16106666666666666,
      "grad_norm": 0.14104430377483368,
      "learning_rate": 4.598e-06,
      "loss": -0.0534,
      "on_policy_loss": -0.0534,
      "step": 604
    },
    {
      "epoch": 0.1616,
      "grad_norm": 0.11417437344789505,
      "learning_rate": 4.596666666666667e-06,
      "loss": -0.0616,
      "on_policy_loss": -0.0616,
      "step": 606
    },
    {
      "epoch": 0.16213333333333332,
      "grad_norm": 0.13760769367218018,
      "learning_rate": 4.595333333333334e-06,
      "loss": -0.0583,
      "on_policy_loss": -0.0583,
      "step": 608
    },
    {
      "epoch": 0.16266666666666665,
      "grad_norm": 0.13849355280399323,
      "learning_rate": 4.594e-06,
      "loss": -0.0619,
      "on_policy_loss": -0.0619,
      "step": 610
    },
    {
      "epoch": 0.1632,
      "grad_norm": 0.15964865684509277,
      "learning_rate": 4.592666666666667e-06,
      "loss": -0.0597,
      "on_policy_loss": -0.0597,
      "step": 612
    },
    {
      "epoch": 0.16373333333333334,
      "grad_norm": 0.139577716588974,
      "learning_rate": 4.591333333333334e-06,
      "loss": -0.0603,
      "on_policy_loss": -0.0603,
      "step": 614
    },
    {
      "epoch": 0.16426666666666667,
      "grad_norm": 0.13202379643917084,
      "learning_rate": 4.590000000000001e-06,
      "loss": -0.0611,
      "on_policy_loss": -0.0611,
      "step": 616
    },
    {
      "epoch": 0.1648,
      "grad_norm": 0.13013438880443573,
      "learning_rate": 4.588666666666667e-06,
      "loss": -0.0568,
      "on_policy_loss": -0.0568,
      "step": 618
    },
    {
      "epoch": 0.16533333333333333,
      "grad_norm": 0.12925311923027039,
      "learning_rate": 4.5873333333333335e-06,
      "loss": -0.0545,
      "on_policy_loss": -0.0545,
      "step": 620
    },
    {
      "epoch": 0.16586666666666666,
      "grad_norm": 0.12021198123693466,
      "learning_rate": 4.586000000000001e-06,
      "loss": -0.0609,
      "on_policy_loss": -0.0609,
      "step": 622
    },
    {
      "epoch": 0.1664,
      "grad_norm": 0.14323106408119202,
      "learning_rate": 4.584666666666667e-06,
      "loss": -0.0613,
      "on_policy_loss": -0.0613,
      "step": 624
    },
    {
      "epoch": 0.16693333333333332,
      "grad_norm": 0.1324595808982849,
      "learning_rate": 4.583333333333333e-06,
      "loss": -0.0605,
      "on_policy_loss": -0.0605,
      "step": 626
    },
    {
      "epoch": 0.16746666666666668,
      "grad_norm": 0.17958909273147583,
      "learning_rate": 4.582e-06,
      "loss": -0.058,
      "on_policy_loss": -0.058,
      "step": 628
    },
    {
      "epoch": 0.168,
      "grad_norm": 0.15112543106079102,
      "learning_rate": 4.5806666666666675e-06,
      "loss": -0.0538,
      "on_policy_loss": -0.0538,
      "step": 630
    },
    {
      "epoch": 0.16853333333333334,
      "grad_norm": 0.11861895024776459,
      "learning_rate": 4.579333333333334e-06,
      "loss": -0.0628,
      "on_policy_loss": -0.0628,
      "step": 632
    },
    {
      "epoch": 0.16906666666666667,
      "grad_norm": 0.1554236263036728,
      "learning_rate": 4.578e-06,
      "loss": -0.0588,
      "on_policy_loss": -0.0588,
      "step": 634
    },
    {
      "epoch": 0.1696,
      "grad_norm": 0.12734544277191162,
      "learning_rate": 4.576666666666667e-06,
      "loss": -0.0605,
      "on_policy_loss": -0.0605,
      "step": 636
    },
    {
      "epoch": 0.17013333333333333,
      "grad_norm": 0.14302153885364532,
      "learning_rate": 4.5753333333333335e-06,
      "loss": -0.0624,
      "on_policy_loss": -0.0624,
      "step": 638
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 0.12133490294218063,
      "learning_rate": 4.574e-06,
      "loss": -0.0588,
      "on_policy_loss": -0.0588,
      "step": 640
    },
    {
      "epoch": 0.1712,
      "grad_norm": 0.1448170244693756,
      "learning_rate": 4.572666666666667e-06,
      "loss": -0.0611,
      "on_policy_loss": -0.0611,
      "step": 642
    },
    {
      "epoch": 0.17173333333333332,
      "grad_norm": 0.13650920987129211,
      "learning_rate": 4.571333333333334e-06,
      "loss": -0.0595,
      "on_policy_loss": -0.0595,
      "step": 644
    },
    {
      "epoch": 0.17226666666666668,
      "grad_norm": 0.13686560094356537,
      "learning_rate": 4.57e-06,
      "loss": -0.0639,
      "on_policy_loss": -0.0639,
      "step": 646
    },
    {
      "epoch": 0.1728,
      "grad_norm": 0.1484442800283432,
      "learning_rate": 4.5686666666666666e-06,
      "loss": -0.0588,
      "on_policy_loss": -0.0588,
      "step": 648
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 0.12929055094718933,
      "learning_rate": 4.567333333333334e-06,
      "loss": -0.0636,
      "on_policy_loss": -0.0636,
      "step": 650
    },
    {
      "epoch": 0.17386666666666667,
      "grad_norm": 0.15021368861198425,
      "learning_rate": 4.566000000000001e-06,
      "loss": -0.0614,
      "on_policy_loss": -0.0614,
      "step": 652
    },
    {
      "epoch": 0.1744,
      "grad_norm": 0.16695460677146912,
      "learning_rate": 4.564666666666667e-06,
      "loss": -0.0609,
      "on_policy_loss": -0.0609,
      "step": 654
    },
    {
      "epoch": 0.17493333333333333,
      "grad_norm": 0.1270103007555008,
      "learning_rate": 4.563333333333333e-06,
      "loss": -0.0592,
      "on_policy_loss": -0.0592,
      "step": 656
    },
    {
      "epoch": 0.17546666666666666,
      "grad_norm": 0.154470294713974,
      "learning_rate": 4.5620000000000005e-06,
      "loss": -0.0629,
      "on_policy_loss": -0.0629,
      "step": 658
    },
    {
      "epoch": 0.176,
      "grad_norm": 0.1479046642780304,
      "learning_rate": 4.560666666666667e-06,
      "loss": -0.0598,
      "on_policy_loss": -0.0598,
      "step": 660
    },
    {
      "epoch": 0.17653333333333332,
      "grad_norm": 0.13587583601474762,
      "learning_rate": 4.559333333333334e-06,
      "loss": -0.0613,
      "on_policy_loss": -0.0613,
      "step": 662
    },
    {
      "epoch": 0.17706666666666668,
      "grad_norm": 0.16271738708019257,
      "learning_rate": 4.558e-06,
      "loss": -0.0587,
      "on_policy_loss": -0.0587,
      "step": 664
    },
    {
      "epoch": 0.1776,
      "grad_norm": 0.145021453499794,
      "learning_rate": 4.556666666666667e-06,
      "loss": -0.0605,
      "on_policy_loss": -0.0605,
      "step": 666
    },
    {
      "epoch": 0.17813333333333334,
      "grad_norm": 0.1668495386838913,
      "learning_rate": 4.555333333333334e-06,
      "loss": -0.0587,
      "on_policy_loss": -0.0587,
      "step": 668
    },
    {
      "epoch": 0.17866666666666667,
      "grad_norm": 0.13806188106536865,
      "learning_rate": 4.554000000000001e-06,
      "loss": -0.0572,
      "on_policy_loss": -0.0572,
      "step": 670
    },
    {
      "epoch": 0.1792,
      "grad_norm": 0.1664549857378006,
      "learning_rate": 4.552666666666667e-06,
      "loss": -0.0548,
      "on_policy_loss": -0.0548,
      "step": 672
    },
    {
      "epoch": 0.17973333333333333,
      "grad_norm": 0.13110952079296112,
      "learning_rate": 4.551333333333333e-06,
      "loss": -0.0649,
      "on_policy_loss": -0.0649,
      "step": 674
    },
    {
      "epoch": 0.18026666666666666,
      "grad_norm": 0.14334531128406525,
      "learning_rate": 4.5500000000000005e-06,
      "loss": -0.0555,
      "on_policy_loss": -0.0555,
      "step": 676
    },
    {
      "epoch": 0.1808,
      "grad_norm": 0.1551225483417511,
      "learning_rate": 4.548666666666667e-06,
      "loss": -0.0592,
      "on_policy_loss": -0.0592,
      "step": 678
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 0.14507080614566803,
      "learning_rate": 4.547333333333334e-06,
      "loss": -0.0549,
      "on_policy_loss": -0.0549,
      "step": 680
    },
    {
      "epoch": 0.18186666666666668,
      "grad_norm": 0.14142681658267975,
      "learning_rate": 4.546e-06,
      "loss": -0.0624,
      "on_policy_loss": -0.0624,
      "step": 682
    },
    {
      "epoch": 0.1824,
      "grad_norm": 0.15300226211547852,
      "learning_rate": 4.544666666666667e-06,
      "loss": -0.0593,
      "on_policy_loss": -0.0593,
      "step": 684
    },
    {
      "epoch": 0.18293333333333334,
      "grad_norm": 0.12961095571517944,
      "learning_rate": 4.543333333333334e-06,
      "loss": -0.0617,
      "on_policy_loss": -0.0617,
      "step": 686
    },
    {
      "epoch": 0.18346666666666667,
      "grad_norm": 0.16405265033245087,
      "learning_rate": 4.542e-06,
      "loss": -0.0608,
      "on_policy_loss": -0.0608,
      "step": 688
    },
    {
      "epoch": 0.184,
      "grad_norm": 0.16409845650196075,
      "learning_rate": 4.540666666666667e-06,
      "loss": -0.0594,
      "on_policy_loss": -0.0594,
      "step": 690
    },
    {
      "epoch": 0.18453333333333333,
      "grad_norm": 0.1712089478969574,
      "learning_rate": 4.539333333333334e-06,
      "loss": -0.0561,
      "on_policy_loss": -0.0561,
      "step": 692
    },
    {
      "epoch": 0.18506666666666666,
      "grad_norm": 0.14046016335487366,
      "learning_rate": 4.5380000000000004e-06,
      "loss": -0.0609,
      "on_policy_loss": -0.0609,
      "step": 694
    },
    {
      "epoch": 0.1856,
      "grad_norm": 0.13315466046333313,
      "learning_rate": 4.536666666666667e-06,
      "loss": -0.0601,
      "on_policy_loss": -0.0601,
      "step": 696
    },
    {
      "epoch": 0.18613333333333335,
      "grad_norm": 0.13220807909965515,
      "learning_rate": 4.535333333333334e-06,
      "loss": -0.0599,
      "on_policy_loss": -0.0599,
      "step": 698
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 0.1273082196712494,
      "learning_rate": 4.534000000000001e-06,
      "loss": -0.0644,
      "on_policy_loss": -0.0644,
      "step": 700
    },
    {
      "epoch": 0.1872,
      "grad_norm": 0.15006907284259796,
      "learning_rate": 4.532666666666667e-06,
      "loss": -0.0562,
      "on_policy_loss": -0.0562,
      "step": 702
    },
    {
      "epoch": 0.18773333333333334,
      "grad_norm": 0.12464550882577896,
      "learning_rate": 4.5313333333333335e-06,
      "loss": -0.0622,
      "on_policy_loss": -0.0622,
      "step": 704
    },
    {
      "epoch": 0.18826666666666667,
      "grad_norm": 0.17627917230129242,
      "learning_rate": 4.530000000000001e-06,
      "loss": -0.0652,
      "on_policy_loss": -0.0652,
      "step": 706
    },
    {
      "epoch": 0.1888,
      "grad_norm": 0.1675606071949005,
      "learning_rate": 4.528666666666667e-06,
      "loss": -0.0611,
      "on_policy_loss": -0.0611,
      "step": 708
    },
    {
      "epoch": 0.18933333333333333,
      "grad_norm": 0.14440278708934784,
      "learning_rate": 4.527333333333333e-06,
      "loss": -0.0607,
      "on_policy_loss": -0.0607,
      "step": 710
    },
    {
      "epoch": 0.18986666666666666,
      "grad_norm": 0.12439478188753128,
      "learning_rate": 4.526e-06,
      "loss": -0.0634,
      "on_policy_loss": -0.0634,
      "step": 712
    },
    {
      "epoch": 0.1904,
      "grad_norm": 0.1379244476556778,
      "learning_rate": 4.5246666666666675e-06,
      "loss": -0.0629,
      "on_policy_loss": -0.0629,
      "step": 714
    },
    {
      "epoch": 0.19093333333333334,
      "grad_norm": 0.14221760630607605,
      "learning_rate": 4.523333333333334e-06,
      "loss": -0.0648,
      "on_policy_loss": -0.0648,
      "step": 716
    },
    {
      "epoch": 0.19146666666666667,
      "grad_norm": 0.11869172751903534,
      "learning_rate": 4.522e-06,
      "loss": -0.0598,
      "on_policy_loss": -0.0598,
      "step": 718
    },
    {
      "epoch": 0.192,
      "grad_norm": 0.12659578025341034,
      "learning_rate": 4.520666666666667e-06,
      "loss": -0.0611,
      "on_policy_loss": -0.0611,
      "step": 720
    },
    {
      "epoch": 0.19253333333333333,
      "grad_norm": 0.1494743674993515,
      "learning_rate": 4.5193333333333335e-06,
      "loss": -0.0644,
      "on_policy_loss": -0.0644,
      "step": 722
    },
    {
      "epoch": 0.19306666666666666,
      "grad_norm": 0.12678596377372742,
      "learning_rate": 4.518e-06,
      "loss": -0.066,
      "on_policy_loss": -0.066,
      "step": 724
    },
    {
      "epoch": 0.1936,
      "grad_norm": 0.1578180491924286,
      "learning_rate": 4.516666666666667e-06,
      "loss": -0.0602,
      "on_policy_loss": -0.0602,
      "step": 726
    },
    {
      "epoch": 0.19413333333333332,
      "grad_norm": 0.16773498058319092,
      "learning_rate": 4.515333333333334e-06,
      "loss": -0.0573,
      "on_policy_loss": -0.0573,
      "step": 728
    },
    {
      "epoch": 0.19466666666666665,
      "grad_norm": 0.14755414426326752,
      "learning_rate": 4.514e-06,
      "loss": -0.0622,
      "on_policy_loss": -0.0622,
      "step": 730
    },
    {
      "epoch": 0.1952,
      "grad_norm": 0.10881637781858444,
      "learning_rate": 4.512666666666667e-06,
      "loss": -0.0601,
      "on_policy_loss": -0.0601,
      "step": 732
    },
    {
      "epoch": 0.19573333333333334,
      "grad_norm": 0.18119849264621735,
      "learning_rate": 4.511333333333334e-06,
      "loss": -0.0603,
      "on_policy_loss": -0.0603,
      "step": 734
    },
    {
      "epoch": 0.19626666666666667,
      "grad_norm": 0.13067860901355743,
      "learning_rate": 4.510000000000001e-06,
      "loss": -0.0593,
      "on_policy_loss": -0.0593,
      "step": 736
    },
    {
      "epoch": 0.1968,
      "grad_norm": 0.1683715134859085,
      "learning_rate": 4.508666666666667e-06,
      "loss": -0.0641,
      "on_policy_loss": -0.0641,
      "step": 738
    },
    {
      "epoch": 0.19733333333333333,
      "grad_norm": 0.17085310816764832,
      "learning_rate": 4.5073333333333334e-06,
      "loss": -0.0613,
      "on_policy_loss": -0.0613,
      "step": 740
    },
    {
      "epoch": 0.19786666666666666,
      "grad_norm": 0.12495886534452438,
      "learning_rate": 4.5060000000000006e-06,
      "loss": -0.0638,
      "on_policy_loss": -0.0638,
      "step": 742
    },
    {
      "epoch": 0.1984,
      "grad_norm": 0.12335772812366486,
      "learning_rate": 4.504666666666667e-06,
      "loss": -0.0657,
      "on_policy_loss": -0.0657,
      "step": 744
    },
    {
      "epoch": 0.19893333333333332,
      "grad_norm": 0.15665149688720703,
      "learning_rate": 4.503333333333333e-06,
      "loss": -0.0629,
      "on_policy_loss": -0.0629,
      "step": 746
    },
    {
      "epoch": 0.19946666666666665,
      "grad_norm": 0.13961763679981232,
      "learning_rate": 4.502e-06,
      "loss": -0.0609,
      "on_policy_loss": -0.0609,
      "step": 748
    },
    {
      "epoch": 0.2,
      "grad_norm": 0.13976594805717468,
      "learning_rate": 4.500666666666667e-06,
      "loss": -0.0624,
      "on_policy_loss": -0.0624,
      "step": 750
    },
    {
      "epoch": 0.20053333333333334,
      "grad_norm": 0.19261209666728973,
      "learning_rate": 4.499333333333334e-06,
      "loss": -0.0653,
      "on_policy_loss": -0.0653,
      "step": 752
    },
    {
      "epoch": 0.20106666666666667,
      "grad_norm": 0.17293977737426758,
      "learning_rate": 4.498e-06,
      "loss": -0.0621,
      "on_policy_loss": -0.0621,
      "step": 754
    },
    {
      "epoch": 0.2016,
      "grad_norm": 0.1649552881717682,
      "learning_rate": 4.496666666666667e-06,
      "loss": -0.0632,
      "on_policy_loss": -0.0632,
      "step": 756
    },
    {
      "epoch": 0.20213333333333333,
      "grad_norm": 0.13549983501434326,
      "learning_rate": 4.495333333333333e-06,
      "loss": -0.0616,
      "on_policy_loss": -0.0616,
      "step": 758
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 0.13159175217151642,
      "learning_rate": 4.4940000000000005e-06,
      "loss": -0.0627,
      "on_policy_loss": -0.0627,
      "step": 760
    },
    {
      "epoch": 0.2032,
      "grad_norm": 0.14870381355285645,
      "learning_rate": 4.492666666666667e-06,
      "loss": -0.0655,
      "on_policy_loss": -0.0655,
      "step": 762
    },
    {
      "epoch": 0.20373333333333332,
      "grad_norm": 0.15355455875396729,
      "learning_rate": 4.491333333333334e-06,
      "loss": -0.0633,
      "on_policy_loss": -0.0633,
      "step": 764
    },
    {
      "epoch": 0.20426666666666668,
      "grad_norm": 0.1442318558692932,
      "learning_rate": 4.49e-06,
      "loss": -0.063,
      "on_policy_loss": -0.063,
      "step": 766
    },
    {
      "epoch": 0.2048,
      "grad_norm": 0.1176643818616867,
      "learning_rate": 4.488666666666667e-06,
      "loss": -0.0644,
      "on_policy_loss": -0.0644,
      "step": 768
    },
    {
      "epoch": 0.20533333333333334,
      "grad_norm": 0.13651421666145325,
      "learning_rate": 4.487333333333334e-06,
      "loss": -0.0619,
      "on_policy_loss": -0.0619,
      "step": 770
    },
    {
      "epoch": 0.20586666666666667,
      "grad_norm": 0.13744857907295227,
      "learning_rate": 4.486000000000001e-06,
      "loss": -0.0659,
      "on_policy_loss": -0.0659,
      "step": 772
    },
    {
      "epoch": 0.2064,
      "grad_norm": 0.13946622610092163,
      "learning_rate": 4.484666666666667e-06,
      "loss": -0.0625,
      "on_policy_loss": -0.0625,
      "step": 774
    },
    {
      "epoch": 0.20693333333333333,
      "grad_norm": 0.1595838963985443,
      "learning_rate": 4.483333333333333e-06,
      "loss": -0.0627,
      "on_policy_loss": -0.0627,
      "step": 776
    },
    {
      "epoch": 0.20746666666666666,
      "grad_norm": 0.16037729382514954,
      "learning_rate": 4.4820000000000005e-06,
      "loss": -0.0596,
      "on_policy_loss": -0.0596,
      "step": 778
    },
    {
      "epoch": 0.208,
      "grad_norm": 0.17114825546741486,
      "learning_rate": 4.480666666666667e-06,
      "loss": -0.0617,
      "on_policy_loss": -0.0617,
      "step": 780
    },
    {
      "epoch": 0.20853333333333332,
      "grad_norm": 0.12236342579126358,
      "learning_rate": 4.479333333333334e-06,
      "loss": -0.0636,
      "on_policy_loss": -0.0636,
      "step": 782
    },
    {
      "epoch": 0.20906666666666668,
      "grad_norm": 0.13487738370895386,
      "learning_rate": 4.478e-06,
      "loss": -0.0636,
      "on_policy_loss": -0.0636,
      "step": 784
    },
    {
      "epoch": 0.2096,
      "grad_norm": 0.18987613916397095,
      "learning_rate": 4.476666666666667e-06,
      "loss": -0.0631,
      "on_policy_loss": -0.0631,
      "step": 786
    },
    {
      "epoch": 0.21013333333333334,
      "grad_norm": 0.13995303213596344,
      "learning_rate": 4.4753333333333336e-06,
      "loss": -0.056,
      "on_policy_loss": -0.056,
      "step": 788
    },
    {
      "epoch": 0.21066666666666667,
      "grad_norm": 0.22664566338062286,
      "learning_rate": 4.474000000000001e-06,
      "loss": -0.0645,
      "on_policy_loss": -0.0645,
      "step": 790
    },
    {
      "epoch": 0.2112,
      "grad_norm": 0.1232830062508583,
      "learning_rate": 4.472666666666667e-06,
      "loss": -0.0643,
      "on_policy_loss": -0.0643,
      "step": 792
    },
    {
      "epoch": 0.21173333333333333,
      "grad_norm": 0.1560954749584198,
      "learning_rate": 4.471333333333333e-06,
      "loss": -0.0581,
      "on_policy_loss": -0.0581,
      "step": 794
    },
    {
      "epoch": 0.21226666666666666,
      "grad_norm": 0.1662415713071823,
      "learning_rate": 4.47e-06,
      "loss": -0.0639,
      "on_policy_loss": -0.0639,
      "step": 796
    },
    {
      "epoch": 0.2128,
      "grad_norm": 0.11083409190177917,
      "learning_rate": 4.4686666666666675e-06,
      "loss": -0.056,
      "on_policy_loss": -0.056,
      "step": 798
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 0.1379273682832718,
      "learning_rate": 4.467333333333334e-06,
      "loss": -0.0642,
      "on_policy_loss": -0.0642,
      "step": 800
    },
    {
      "epoch": 0.21386666666666668,
      "grad_norm": 0.15559780597686768,
      "learning_rate": 4.466e-06,
      "loss": -0.0652,
      "on_policy_loss": -0.0652,
      "step": 802
    },
    {
      "epoch": 0.2144,
      "grad_norm": 0.15336571633815765,
      "learning_rate": 4.464666666666667e-06,
      "loss": -0.063,
      "on_policy_loss": -0.063,
      "step": 804
    },
    {
      "epoch": 0.21493333333333334,
      "grad_norm": 0.17345327138900757,
      "learning_rate": 4.463333333333334e-06,
      "loss": -0.0607,
      "on_policy_loss": -0.0607,
      "step": 806
    },
    {
      "epoch": 0.21546666666666667,
      "grad_norm": 0.15977512300014496,
      "learning_rate": 4.462e-06,
      "loss": -0.0694,
      "on_policy_loss": -0.0694,
      "step": 808
    },
    {
      "epoch": 0.216,
      "grad_norm": 0.14255931973457336,
      "learning_rate": 4.460666666666667e-06,
      "loss": -0.0616,
      "on_policy_loss": -0.0616,
      "step": 810
    },
    {
      "epoch": 0.21653333333333333,
      "grad_norm": 0.1555728018283844,
      "learning_rate": 4.459333333333334e-06,
      "loss": -0.0614,
      "on_policy_loss": -0.0614,
      "step": 812
    },
    {
      "epoch": 0.21706666666666666,
      "grad_norm": 0.16426578164100647,
      "learning_rate": 4.458e-06,
      "loss": -0.0634,
      "on_policy_loss": -0.0634,
      "step": 814
    },
    {
      "epoch": 0.2176,
      "grad_norm": 0.13708457350730896,
      "learning_rate": 4.456666666666667e-06,
      "loss": -0.0659,
      "on_policy_loss": -0.0659,
      "step": 816
    },
    {
      "epoch": 0.21813333333333335,
      "grad_norm": 0.13257844746112823,
      "learning_rate": 4.455333333333334e-06,
      "loss": -0.0652,
      "on_policy_loss": -0.0652,
      "step": 818
    },
    {
      "epoch": 0.21866666666666668,
      "grad_norm": 0.1707138866186142,
      "learning_rate": 4.454000000000001e-06,
      "loss": -0.0632,
      "on_policy_loss": -0.0632,
      "step": 820
    },
    {
      "epoch": 0.2192,
      "grad_norm": 0.16204936802387238,
      "learning_rate": 4.452666666666667e-06,
      "loss": -0.06,
      "on_policy_loss": -0.06,
      "step": 822
    },
    {
      "epoch": 0.21973333333333334,
      "grad_norm": 0.16822199523448944,
      "learning_rate": 4.4513333333333335e-06,
      "loss": -0.0595,
      "on_policy_loss": -0.0595,
      "step": 824
    },
    {
      "epoch": 0.22026666666666667,
      "grad_norm": 0.15928302705287933,
      "learning_rate": 4.450000000000001e-06,
      "loss": -0.059,
      "on_policy_loss": -0.059,
      "step": 826
    },
    {
      "epoch": 0.2208,
      "grad_norm": 0.19579309225082397,
      "learning_rate": 4.448666666666667e-06,
      "loss": -0.059,
      "on_policy_loss": -0.059,
      "step": 828
    },
    {
      "epoch": 0.22133333333333333,
      "grad_norm": 0.21118684113025665,
      "learning_rate": 4.447333333333333e-06,
      "loss": -0.059,
      "on_policy_loss": -0.059,
      "step": 830
    },
    {
      "epoch": 0.22186666666666666,
      "grad_norm": 0.1510164588689804,
      "learning_rate": 4.446e-06,
      "loss": -0.0614,
      "on_policy_loss": -0.0614,
      "step": 832
    },
    {
      "epoch": 0.2224,
      "grad_norm": 0.1414569467306137,
      "learning_rate": 4.444666666666667e-06,
      "loss": -0.0613,
      "on_policy_loss": -0.0613,
      "step": 834
    },
    {
      "epoch": 0.22293333333333334,
      "grad_norm": 0.1784333735704422,
      "learning_rate": 4.443333333333334e-06,
      "loss": -0.0626,
      "on_policy_loss": -0.0626,
      "step": 836
    },
    {
      "epoch": 0.22346666666666667,
      "grad_norm": 0.15498650074005127,
      "learning_rate": 4.442e-06,
      "loss": -0.0656,
      "on_policy_loss": -0.0656,
      "step": 838
    },
    {
      "epoch": 0.224,
      "grad_norm": 0.15250980854034424,
      "learning_rate": 4.440666666666667e-06,
      "loss": -0.0658,
      "on_policy_loss": -0.0658,
      "step": 840
    },
    {
      "epoch": 0.22453333333333333,
      "grad_norm": 0.14737358689308167,
      "learning_rate": 4.439333333333333e-06,
      "loss": -0.0604,
      "on_policy_loss": -0.0604,
      "step": 842
    },
    {
      "epoch": 0.22506666666666666,
      "grad_norm": 0.16613489389419556,
      "learning_rate": 4.438e-06,
      "loss": -0.0659,
      "on_policy_loss": -0.0659,
      "step": 844
    },
    {
      "epoch": 0.2256,
      "grad_norm": 0.1727665364742279,
      "learning_rate": 4.436666666666667e-06,
      "loss": -0.0626,
      "on_policy_loss": -0.0626,
      "step": 846
    },
    {
      "epoch": 0.22613333333333333,
      "grad_norm": 0.16563841700553894,
      "learning_rate": 4.435333333333334e-06,
      "loss": -0.0691,
      "on_policy_loss": -0.0691,
      "step": 848
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 0.14877741038799286,
      "learning_rate": 4.434e-06,
      "loss": -0.0668,
      "on_policy_loss": -0.0668,
      "step": 850
    },
    {
      "epoch": 0.2272,
      "grad_norm": 0.15019474923610687,
      "learning_rate": 4.4326666666666665e-06,
      "loss": -0.0658,
      "on_policy_loss": -0.0658,
      "step": 852
    },
    {
      "epoch": 0.22773333333333334,
      "grad_norm": 0.17075413465499878,
      "learning_rate": 4.431333333333334e-06,
      "loss": -0.0643,
      "on_policy_loss": -0.0643,
      "step": 854
    },
    {
      "epoch": 0.22826666666666667,
      "grad_norm": 0.15837377309799194,
      "learning_rate": 4.430000000000001e-06,
      "loss": -0.0666,
      "on_policy_loss": -0.0666,
      "step": 856
    },
    {
      "epoch": 0.2288,
      "grad_norm": 0.12543104588985443,
      "learning_rate": 4.428666666666667e-06,
      "loss": -0.0585,
      "on_policy_loss": -0.0585,
      "step": 858
    },
    {
      "epoch": 0.22933333333333333,
      "grad_norm": 0.1589670330286026,
      "learning_rate": 4.427333333333333e-06,
      "loss": -0.0655,
      "on_policy_loss": -0.0655,
      "step": 860
    },
    {
      "epoch": 0.22986666666666666,
      "grad_norm": 0.1402548849582672,
      "learning_rate": 4.4260000000000005e-06,
      "loss": -0.0602,
      "on_policy_loss": -0.0602,
      "step": 862
    },
    {
      "epoch": 0.2304,
      "grad_norm": 0.1471181958913803,
      "learning_rate": 4.424666666666667e-06,
      "loss": -0.0643,
      "on_policy_loss": -0.0643,
      "step": 864
    },
    {
      "epoch": 0.23093333333333332,
      "grad_norm": 0.13279525935649872,
      "learning_rate": 4.423333333333334e-06,
      "loss": -0.0648,
      "on_policy_loss": -0.0648,
      "step": 866
    },
    {
      "epoch": 0.23146666666666665,
      "grad_norm": 0.15667584538459778,
      "learning_rate": 4.422e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 868
    },
    {
      "epoch": 0.232,
      "grad_norm": 0.14854919910430908,
      "learning_rate": 4.420666666666667e-06,
      "loss": -0.0637,
      "on_policy_loss": -0.0637,
      "step": 870
    },
    {
      "epoch": 0.23253333333333334,
      "grad_norm": 0.14577314257621765,
      "learning_rate": 4.419333333333334e-06,
      "loss": -0.0627,
      "on_policy_loss": -0.0627,
      "step": 872
    },
    {
      "epoch": 0.23306666666666667,
      "grad_norm": 0.13768082857131958,
      "learning_rate": 4.418000000000001e-06,
      "loss": -0.0635,
      "on_policy_loss": -0.0635,
      "step": 874
    },
    {
      "epoch": 0.2336,
      "grad_norm": 0.1797701120376587,
      "learning_rate": 4.416666666666667e-06,
      "loss": -0.0626,
      "on_policy_loss": -0.0626,
      "step": 876
    },
    {
      "epoch": 0.23413333333333333,
      "grad_norm": 0.16961807012557983,
      "learning_rate": 4.415333333333333e-06,
      "loss": -0.0616,
      "on_policy_loss": -0.0616,
      "step": 878
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 0.15670742094516754,
      "learning_rate": 4.4140000000000004e-06,
      "loss": -0.0672,
      "on_policy_loss": -0.0672,
      "step": 880
    },
    {
      "epoch": 0.2352,
      "grad_norm": 0.13267965614795685,
      "learning_rate": 4.412666666666667e-06,
      "loss": -0.0602,
      "on_policy_loss": -0.0602,
      "step": 882
    },
    {
      "epoch": 0.23573333333333332,
      "grad_norm": 0.16296841204166412,
      "learning_rate": 4.411333333333334e-06,
      "loss": -0.0666,
      "on_policy_loss": -0.0666,
      "step": 884
    },
    {
      "epoch": 0.23626666666666668,
      "grad_norm": 0.17054417729377747,
      "learning_rate": 4.41e-06,
      "loss": -0.0647,
      "on_policy_loss": -0.0647,
      "step": 886
    },
    {
      "epoch": 0.2368,
      "grad_norm": 0.14378495514392853,
      "learning_rate": 4.408666666666667e-06,
      "loss": -0.0645,
      "on_policy_loss": -0.0645,
      "step": 888
    },
    {
      "epoch": 0.23733333333333334,
      "grad_norm": 0.14491283893585205,
      "learning_rate": 4.4073333333333335e-06,
      "loss": -0.0634,
      "on_policy_loss": -0.0634,
      "step": 890
    },
    {
      "epoch": 0.23786666666666667,
      "grad_norm": 0.14163808524608612,
      "learning_rate": 4.406000000000001e-06,
      "loss": -0.0612,
      "on_policy_loss": -0.0612,
      "step": 892
    },
    {
      "epoch": 0.2384,
      "grad_norm": 0.14728589355945587,
      "learning_rate": 4.404666666666667e-06,
      "loss": -0.0636,
      "on_policy_loss": -0.0636,
      "step": 894
    },
    {
      "epoch": 0.23893333333333333,
      "grad_norm": 0.15131910145282745,
      "learning_rate": 4.403333333333334e-06,
      "loss": -0.0656,
      "on_policy_loss": -0.0656,
      "step": 896
    },
    {
      "epoch": 0.23946666666666666,
      "grad_norm": 0.18350303173065186,
      "learning_rate": 4.402e-06,
      "loss": -0.0614,
      "on_policy_loss": -0.0614,
      "step": 898
    },
    {
      "epoch": 0.24,
      "grad_norm": 0.12078884989023209,
      "learning_rate": 4.400666666666667e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 900
    },
    {
      "epoch": 0.24053333333333332,
      "grad_norm": 0.16106174886226654,
      "learning_rate": 4.399333333333334e-06,
      "loss": -0.0593,
      "on_policy_loss": -0.0593,
      "step": 902
    },
    {
      "epoch": 0.24106666666666668,
      "grad_norm": 0.13311725854873657,
      "learning_rate": 4.398000000000001e-06,
      "loss": -0.0633,
      "on_policy_loss": -0.0633,
      "step": 904
    },
    {
      "epoch": 0.2416,
      "grad_norm": 0.16131135821342468,
      "learning_rate": 4.396666666666667e-06,
      "loss": -0.0647,
      "on_policy_loss": -0.0647,
      "step": 906
    },
    {
      "epoch": 0.24213333333333334,
      "grad_norm": 0.12891735136508942,
      "learning_rate": 4.3953333333333335e-06,
      "loss": -0.0637,
      "on_policy_loss": -0.0637,
      "step": 908
    },
    {
      "epoch": 0.24266666666666667,
      "grad_norm": 0.1523430347442627,
      "learning_rate": 4.394000000000001e-06,
      "loss": -0.069,
      "on_policy_loss": -0.069,
      "step": 910
    },
    {
      "epoch": 0.2432,
      "grad_norm": 0.16720588505268097,
      "learning_rate": 4.392666666666667e-06,
      "loss": -0.0603,
      "on_policy_loss": -0.0603,
      "step": 912
    },
    {
      "epoch": 0.24373333333333333,
      "grad_norm": 0.20565292239189148,
      "learning_rate": 4.391333333333333e-06,
      "loss": -0.065,
      "on_policy_loss": -0.065,
      "step": 914
    },
    {
      "epoch": 0.24426666666666666,
      "grad_norm": 0.18595796823501587,
      "learning_rate": 4.39e-06,
      "loss": -0.0639,
      "on_policy_loss": -0.0639,
      "step": 916
    },
    {
      "epoch": 0.2448,
      "grad_norm": 0.14816462993621826,
      "learning_rate": 4.3886666666666675e-06,
      "loss": -0.0629,
      "on_policy_loss": -0.0629,
      "step": 918
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 0.1391673982143402,
      "learning_rate": 4.387333333333334e-06,
      "loss": -0.0663,
      "on_policy_loss": -0.0663,
      "step": 920
    },
    {
      "epoch": 0.24586666666666668,
      "grad_norm": 0.17916235327720642,
      "learning_rate": 4.386e-06,
      "loss": -0.0565,
      "on_policy_loss": -0.0565,
      "step": 922
    },
    {
      "epoch": 0.2464,
      "grad_norm": 0.15102748572826385,
      "learning_rate": 4.384666666666667e-06,
      "loss": -0.063,
      "on_policy_loss": -0.063,
      "step": 924
    },
    {
      "epoch": 0.24693333333333334,
      "grad_norm": 0.12314257025718689,
      "learning_rate": 4.383333333333334e-06,
      "loss": -0.0647,
      "on_policy_loss": -0.0647,
      "step": 926
    },
    {
      "epoch": 0.24746666666666667,
      "grad_norm": 0.1368841975927353,
      "learning_rate": 4.382e-06,
      "loss": -0.0616,
      "on_policy_loss": -0.0616,
      "step": 928
    },
    {
      "epoch": 0.248,
      "grad_norm": 0.15991553664207458,
      "learning_rate": 4.380666666666667e-06,
      "loss": -0.0667,
      "on_policy_loss": -0.0667,
      "step": 930
    },
    {
      "epoch": 0.24853333333333333,
      "grad_norm": 0.20289283990859985,
      "learning_rate": 4.379333333333334e-06,
      "loss": -0.0648,
      "on_policy_loss": -0.0648,
      "step": 932
    },
    {
      "epoch": 0.24906666666666666,
      "grad_norm": 0.15860813856124878,
      "learning_rate": 4.378e-06,
      "loss": -0.0679,
      "on_policy_loss": -0.0679,
      "step": 934
    },
    {
      "epoch": 0.2496,
      "grad_norm": 0.16806523501873016,
      "learning_rate": 4.3766666666666665e-06,
      "loss": -0.0682,
      "on_policy_loss": -0.0682,
      "step": 936
    },
    {
      "epoch": 0.2501333333333333,
      "grad_norm": 0.16215503215789795,
      "learning_rate": 4.375333333333334e-06,
      "loss": -0.0719,
      "on_policy_loss": -0.0719,
      "step": 938
    },
    {
      "epoch": 0.25066666666666665,
      "grad_norm": 0.15918557345867157,
      "learning_rate": 4.374000000000001e-06,
      "loss": -0.067,
      "on_policy_loss": -0.067,
      "step": 940
    },
    {
      "epoch": 0.2512,
      "grad_norm": 0.1906047761440277,
      "learning_rate": 4.372666666666667e-06,
      "loss": -0.0674,
      "on_policy_loss": -0.0674,
      "step": 942
    },
    {
      "epoch": 0.2517333333333333,
      "grad_norm": 0.1509232223033905,
      "learning_rate": 4.371333333333333e-06,
      "loss": -0.0666,
      "on_policy_loss": -0.0666,
      "step": 944
    },
    {
      "epoch": 0.25226666666666664,
      "grad_norm": 0.15605317056179047,
      "learning_rate": 4.3700000000000005e-06,
      "loss": -0.0668,
      "on_policy_loss": -0.0668,
      "step": 946
    },
    {
      "epoch": 0.2528,
      "grad_norm": 0.18636520206928253,
      "learning_rate": 4.368666666666667e-06,
      "loss": -0.0645,
      "on_policy_loss": -0.0645,
      "step": 948
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 0.15494468808174133,
      "learning_rate": 4.367333333333333e-06,
      "loss": -0.061,
      "on_policy_loss": -0.061,
      "step": 950
    },
    {
      "epoch": 0.2538666666666667,
      "grad_norm": 0.16075913608074188,
      "learning_rate": 4.366e-06,
      "loss": -0.0663,
      "on_policy_loss": -0.0663,
      "step": 952
    },
    {
      "epoch": 0.2544,
      "grad_norm": 0.19849716126918793,
      "learning_rate": 4.364666666666667e-06,
      "loss": -0.0613,
      "on_policy_loss": -0.0613,
      "step": 954
    },
    {
      "epoch": 0.25493333333333335,
      "grad_norm": 0.21625018119812012,
      "learning_rate": 4.363333333333334e-06,
      "loss": -0.0631,
      "on_policy_loss": -0.0631,
      "step": 956
    },
    {
      "epoch": 0.2554666666666667,
      "grad_norm": 0.1418595165014267,
      "learning_rate": 4.362e-06,
      "loss": -0.0685,
      "on_policy_loss": -0.0685,
      "step": 958
    },
    {
      "epoch": 0.256,
      "grad_norm": 0.13564328849315643,
      "learning_rate": 4.360666666666667e-06,
      "loss": -0.0658,
      "on_policy_loss": -0.0658,
      "step": 960
    },
    {
      "epoch": 0.25653333333333334,
      "grad_norm": 0.14322450757026672,
      "learning_rate": 4.359333333333334e-06,
      "loss": -0.0686,
      "on_policy_loss": -0.0686,
      "step": 962
    },
    {
      "epoch": 0.25706666666666667,
      "grad_norm": 0.1375654935836792,
      "learning_rate": 4.3580000000000005e-06,
      "loss": -0.0669,
      "on_policy_loss": -0.0669,
      "step": 964
    },
    {
      "epoch": 0.2576,
      "grad_norm": 0.22721682488918304,
      "learning_rate": 4.356666666666667e-06,
      "loss": -0.0596,
      "on_policy_loss": -0.0596,
      "step": 966
    },
    {
      "epoch": 0.2581333333333333,
      "grad_norm": 0.15368112921714783,
      "learning_rate": 4.355333333333334e-06,
      "loss": -0.067,
      "on_policy_loss": -0.067,
      "step": 968
    },
    {
      "epoch": 0.25866666666666666,
      "grad_norm": 0.1622459441423416,
      "learning_rate": 4.354e-06,
      "loss": -0.0618,
      "on_policy_loss": -0.0618,
      "step": 970
    },
    {
      "epoch": 0.2592,
      "grad_norm": 0.14791497588157654,
      "learning_rate": 4.352666666666667e-06,
      "loss": -0.0605,
      "on_policy_loss": -0.0605,
      "step": 972
    },
    {
      "epoch": 0.2597333333333333,
      "grad_norm": 0.17989510297775269,
      "learning_rate": 4.3513333333333336e-06,
      "loss": -0.0645,
      "on_policy_loss": -0.0645,
      "step": 974
    },
    {
      "epoch": 0.26026666666666665,
      "grad_norm": 0.14753074944019318,
      "learning_rate": 4.350000000000001e-06,
      "loss": -0.067,
      "on_policy_loss": -0.067,
      "step": 976
    },
    {
      "epoch": 0.2608,
      "grad_norm": 0.13966836035251617,
      "learning_rate": 4.348666666666667e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 978
    },
    {
      "epoch": 0.2613333333333333,
      "grad_norm": 0.16323691606521606,
      "learning_rate": 4.347333333333334e-06,
      "loss": -0.0592,
      "on_policy_loss": -0.0592,
      "step": 980
    },
    {
      "epoch": 0.2618666666666667,
      "grad_norm": 0.14941547811031342,
      "learning_rate": 4.346e-06,
      "loss": -0.0676,
      "on_policy_loss": -0.0676,
      "step": 982
    },
    {
      "epoch": 0.2624,
      "grad_norm": 0.1504412144422531,
      "learning_rate": 4.344666666666667e-06,
      "loss": -0.0674,
      "on_policy_loss": -0.0674,
      "step": 984
    },
    {
      "epoch": 0.26293333333333335,
      "grad_norm": 0.17093902826309204,
      "learning_rate": 4.343333333333334e-06,
      "loss": -0.0598,
      "on_policy_loss": -0.0598,
      "step": 986
    },
    {
      "epoch": 0.2634666666666667,
      "grad_norm": 0.18764206767082214,
      "learning_rate": 4.342e-06,
      "loss": -0.065,
      "on_policy_loss": -0.065,
      "step": 988
    },
    {
      "epoch": 0.264,
      "grad_norm": 0.1560676544904709,
      "learning_rate": 4.340666666666667e-06,
      "loss": -0.0652,
      "on_policy_loss": -0.0652,
      "step": 990
    },
    {
      "epoch": 0.26453333333333334,
      "grad_norm": 0.14327597618103027,
      "learning_rate": 4.3393333333333335e-06,
      "loss": -0.067,
      "on_policy_loss": -0.067,
      "step": 992
    },
    {
      "epoch": 0.2650666666666667,
      "grad_norm": 0.16534271836280823,
      "learning_rate": 4.338000000000001e-06,
      "loss": -0.0659,
      "on_policy_loss": -0.0659,
      "step": 994
    },
    {
      "epoch": 0.2656,
      "grad_norm": 0.18166819214820862,
      "learning_rate": 4.336666666666667e-06,
      "loss": -0.0641,
      "on_policy_loss": -0.0641,
      "step": 996
    },
    {
      "epoch": 0.26613333333333333,
      "grad_norm": 0.15497349202632904,
      "learning_rate": 4.335333333333333e-06,
      "loss": -0.066,
      "on_policy_loss": -0.066,
      "step": 998
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 0.15842536091804504,
      "learning_rate": 4.334e-06,
      "loss": -0.0677,
      "on_policy_loss": -0.0677,
      "step": 1000
    },
    {
      "epoch": 0.2672,
      "grad_norm": 0.18828873336315155,
      "learning_rate": 4.3326666666666675e-06,
      "loss": -0.0662,
      "on_policy_loss": -0.0662,
      "step": 1002
    },
    {
      "epoch": 0.2677333333333333,
      "grad_norm": 0.20258411765098572,
      "learning_rate": 4.331333333333334e-06,
      "loss": -0.0647,
      "on_policy_loss": -0.0647,
      "step": 1004
    },
    {
      "epoch": 0.26826666666666665,
      "grad_norm": 0.15563476085662842,
      "learning_rate": 4.33e-06,
      "loss": -0.0674,
      "on_policy_loss": -0.0674,
      "step": 1006
    },
    {
      "epoch": 0.2688,
      "grad_norm": 0.16365011036396027,
      "learning_rate": 4.328666666666667e-06,
      "loss": -0.058,
      "on_policy_loss": -0.058,
      "step": 1008
    },
    {
      "epoch": 0.2693333333333333,
      "grad_norm": 0.16054241359233856,
      "learning_rate": 4.327333333333334e-06,
      "loss": -0.0657,
      "on_policy_loss": -0.0657,
      "step": 1010
    },
    {
      "epoch": 0.26986666666666664,
      "grad_norm": 0.14754343032836914,
      "learning_rate": 4.326000000000001e-06,
      "loss": -0.0735,
      "on_policy_loss": -0.0735,
      "step": 1012
    },
    {
      "epoch": 0.2704,
      "grad_norm": 0.15448740124702454,
      "learning_rate": 4.324666666666667e-06,
      "loss": -0.0661,
      "on_policy_loss": -0.0661,
      "step": 1014
    },
    {
      "epoch": 0.27093333333333336,
      "grad_norm": 0.16431964933872223,
      "learning_rate": 4.323333333333334e-06,
      "loss": -0.0718,
      "on_policy_loss": -0.0718,
      "step": 1016
    },
    {
      "epoch": 0.2714666666666667,
      "grad_norm": 0.13523128628730774,
      "learning_rate": 4.322e-06,
      "loss": -0.0675,
      "on_policy_loss": -0.0675,
      "step": 1018
    },
    {
      "epoch": 0.272,
      "grad_norm": 0.13886497914791107,
      "learning_rate": 4.320666666666667e-06,
      "loss": -0.0629,
      "on_policy_loss": -0.0629,
      "step": 1020
    },
    {
      "epoch": 0.27253333333333335,
      "grad_norm": 0.1378549337387085,
      "learning_rate": 4.319333333333334e-06,
      "loss": -0.0643,
      "on_policy_loss": -0.0643,
      "step": 1022
    },
    {
      "epoch": 0.2730666666666667,
      "grad_norm": 0.1585150808095932,
      "learning_rate": 4.318000000000001e-06,
      "loss": -0.0655,
      "on_policy_loss": -0.0655,
      "step": 1024
    },
    {
      "epoch": 0.2736,
      "grad_norm": 0.21155810356140137,
      "learning_rate": 4.316666666666667e-06,
      "loss": -0.0683,
      "on_policy_loss": -0.0683,
      "step": 1026
    },
    {
      "epoch": 0.27413333333333334,
      "grad_norm": 0.16689153015613556,
      "learning_rate": 4.315333333333333e-06,
      "loss": -0.0649,
      "on_policy_loss": -0.0649,
      "step": 1028
    },
    {
      "epoch": 0.27466666666666667,
      "grad_norm": 0.16113059222698212,
      "learning_rate": 4.3140000000000005e-06,
      "loss": -0.0696,
      "on_policy_loss": -0.0696,
      "step": 1030
    },
    {
      "epoch": 0.2752,
      "grad_norm": 0.12080469727516174,
      "learning_rate": 4.312666666666667e-06,
      "loss": -0.0622,
      "on_policy_loss": -0.0622,
      "step": 1032
    },
    {
      "epoch": 0.27573333333333333,
      "grad_norm": 0.13609962165355682,
      "learning_rate": 4.311333333333333e-06,
      "loss": -0.0659,
      "on_policy_loss": -0.0659,
      "step": 1034
    },
    {
      "epoch": 0.27626666666666666,
      "grad_norm": 0.14349927008152008,
      "learning_rate": 4.31e-06,
      "loss": -0.0662,
      "on_policy_loss": -0.0662,
      "step": 1036
    },
    {
      "epoch": 0.2768,
      "grad_norm": 0.16388201713562012,
      "learning_rate": 4.308666666666667e-06,
      "loss": -0.0667,
      "on_policy_loss": -0.0667,
      "step": 1038
    },
    {
      "epoch": 0.2773333333333333,
      "grad_norm": 0.16551253199577332,
      "learning_rate": 4.307333333333334e-06,
      "loss": -0.0675,
      "on_policy_loss": -0.0675,
      "step": 1040
    },
    {
      "epoch": 0.27786666666666665,
      "grad_norm": 0.13223214447498322,
      "learning_rate": 4.306e-06,
      "loss": -0.0722,
      "on_policy_loss": -0.0722,
      "step": 1042
    },
    {
      "epoch": 0.2784,
      "grad_norm": 0.1614660769701004,
      "learning_rate": 4.304666666666667e-06,
      "loss": -0.0631,
      "on_policy_loss": -0.0631,
      "step": 1044
    },
    {
      "epoch": 0.2789333333333333,
      "grad_norm": 0.16358134150505066,
      "learning_rate": 4.303333333333334e-06,
      "loss": -0.068,
      "on_policy_loss": -0.068,
      "step": 1046
    },
    {
      "epoch": 0.27946666666666664,
      "grad_norm": 0.1690579354763031,
      "learning_rate": 4.3020000000000005e-06,
      "loss": -0.0648,
      "on_policy_loss": -0.0648,
      "step": 1048
    },
    {
      "epoch": 0.28,
      "grad_norm": 0.14581041038036346,
      "learning_rate": 4.300666666666667e-06,
      "loss": -0.0671,
      "on_policy_loss": -0.0671,
      "step": 1050
    },
    {
      "epoch": 0.28053333333333336,
      "grad_norm": 0.19628268480300903,
      "learning_rate": 4.299333333333334e-06,
      "loss": -0.0692,
      "on_policy_loss": -0.0692,
      "step": 1052
    },
    {
      "epoch": 0.2810666666666667,
      "grad_norm": 0.156337708234787,
      "learning_rate": 4.298e-06,
      "loss": -0.0653,
      "on_policy_loss": -0.0653,
      "step": 1054
    },
    {
      "epoch": 0.2816,
      "grad_norm": 0.1371462047100067,
      "learning_rate": 4.2966666666666665e-06,
      "loss": -0.0694,
      "on_policy_loss": -0.0694,
      "step": 1056
    },
    {
      "epoch": 0.28213333333333335,
      "grad_norm": 0.19105806946754456,
      "learning_rate": 4.295333333333334e-06,
      "loss": -0.0672,
      "on_policy_loss": -0.0672,
      "step": 1058
    },
    {
      "epoch": 0.2826666666666667,
      "grad_norm": 0.1670616716146469,
      "learning_rate": 4.294000000000001e-06,
      "loss": -0.0682,
      "on_policy_loss": -0.0682,
      "step": 1060
    },
    {
      "epoch": 0.2832,
      "grad_norm": 0.14319895207881927,
      "learning_rate": 4.292666666666667e-06,
      "loss": -0.0662,
      "on_policy_loss": -0.0662,
      "step": 1062
    },
    {
      "epoch": 0.28373333333333334,
      "grad_norm": 0.13614532351493835,
      "learning_rate": 4.291333333333333e-06,
      "loss": -0.0626,
      "on_policy_loss": -0.0626,
      "step": 1064
    },
    {
      "epoch": 0.28426666666666667,
      "grad_norm": 0.19367940723896027,
      "learning_rate": 4.2900000000000004e-06,
      "loss": -0.0661,
      "on_policy_loss": -0.0661,
      "step": 1066
    },
    {
      "epoch": 0.2848,
      "grad_norm": 0.15399529039859772,
      "learning_rate": 4.288666666666667e-06,
      "loss": -0.067,
      "on_policy_loss": -0.067,
      "step": 1068
    },
    {
      "epoch": 0.2853333333333333,
      "grad_norm": 0.17601248621940613,
      "learning_rate": 4.287333333333334e-06,
      "loss": -0.0669,
      "on_policy_loss": -0.0669,
      "step": 1070
    },
    {
      "epoch": 0.28586666666666666,
      "grad_norm": 0.17719990015029907,
      "learning_rate": 4.286e-06,
      "loss": -0.0644,
      "on_policy_loss": -0.0644,
      "step": 1072
    },
    {
      "epoch": 0.2864,
      "grad_norm": 0.19509974122047424,
      "learning_rate": 4.284666666666667e-06,
      "loss": -0.067,
      "on_policy_loss": -0.067,
      "step": 1074
    },
    {
      "epoch": 0.2869333333333333,
      "grad_norm": 0.16080577671527863,
      "learning_rate": 4.2833333333333335e-06,
      "loss": -0.0682,
      "on_policy_loss": -0.0682,
      "step": 1076
    },
    {
      "epoch": 0.28746666666666665,
      "grad_norm": 0.15742051601409912,
      "learning_rate": 4.282000000000001e-06,
      "loss": -0.066,
      "on_policy_loss": -0.066,
      "step": 1078
    },
    {
      "epoch": 0.288,
      "grad_norm": 0.15327024459838867,
      "learning_rate": 4.280666666666667e-06,
      "loss": -0.0653,
      "on_policy_loss": -0.0653,
      "step": 1080
    },
    {
      "epoch": 0.2885333333333333,
      "grad_norm": 0.2095724493265152,
      "learning_rate": 4.279333333333334e-06,
      "loss": -0.0626,
      "on_policy_loss": -0.0626,
      "step": 1082
    },
    {
      "epoch": 0.2890666666666667,
      "grad_norm": 0.1873006820678711,
      "learning_rate": 4.278e-06,
      "loss": -0.0691,
      "on_policy_loss": -0.0691,
      "step": 1084
    },
    {
      "epoch": 0.2896,
      "grad_norm": 0.1703309565782547,
      "learning_rate": 4.276666666666667e-06,
      "loss": -0.0695,
      "on_policy_loss": -0.0695,
      "step": 1086
    },
    {
      "epoch": 0.29013333333333335,
      "grad_norm": 0.13656574487686157,
      "learning_rate": 4.275333333333334e-06,
      "loss": -0.0717,
      "on_policy_loss": -0.0717,
      "step": 1088
    },
    {
      "epoch": 0.2906666666666667,
      "grad_norm": 0.18215112388134003,
      "learning_rate": 4.274e-06,
      "loss": -0.0634,
      "on_policy_loss": -0.0634,
      "step": 1090
    },
    {
      "epoch": 0.2912,
      "grad_norm": 0.1688133031129837,
      "learning_rate": 4.272666666666667e-06,
      "loss": -0.0667,
      "on_policy_loss": -0.0667,
      "step": 1092
    },
    {
      "epoch": 0.29173333333333334,
      "grad_norm": 0.19433559477329254,
      "learning_rate": 4.2713333333333335e-06,
      "loss": -0.0687,
      "on_policy_loss": -0.0687,
      "step": 1094
    },
    {
      "epoch": 0.2922666666666667,
      "grad_norm": 0.18671008944511414,
      "learning_rate": 4.270000000000001e-06,
      "loss": -0.0697,
      "on_policy_loss": -0.0697,
      "step": 1096
    },
    {
      "epoch": 0.2928,
      "grad_norm": 0.1496761441230774,
      "learning_rate": 4.268666666666667e-06,
      "loss": -0.0674,
      "on_policy_loss": -0.0674,
      "step": 1098
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 0.21789224445819855,
      "learning_rate": 4.267333333333334e-06,
      "loss": -0.0662,
      "on_policy_loss": -0.0662,
      "step": 1100
    },
    {
      "epoch": 0.29386666666666666,
      "grad_norm": 0.1554557830095291,
      "learning_rate": 4.266e-06,
      "loss": -0.0664,
      "on_policy_loss": -0.0664,
      "step": 1102
    },
    {
      "epoch": 0.2944,
      "grad_norm": 0.20251932740211487,
      "learning_rate": 4.264666666666667e-06,
      "loss": -0.0677,
      "on_policy_loss": -0.0677,
      "step": 1104
    },
    {
      "epoch": 0.2949333333333333,
      "grad_norm": 0.1782676875591278,
      "learning_rate": 4.263333333333334e-06,
      "loss": -0.069,
      "on_policy_loss": -0.069,
      "step": 1106
    },
    {
      "epoch": 0.29546666666666666,
      "grad_norm": 0.16067951917648315,
      "learning_rate": 4.262000000000001e-06,
      "loss": -0.0666,
      "on_policy_loss": -0.0666,
      "step": 1108
    },
    {
      "epoch": 0.296,
      "grad_norm": 0.1629834622144699,
      "learning_rate": 4.260666666666667e-06,
      "loss": -0.061,
      "on_policy_loss": -0.061,
      "step": 1110
    },
    {
      "epoch": 0.2965333333333333,
      "grad_norm": 0.1511271446943283,
      "learning_rate": 4.2593333333333334e-06,
      "loss": -0.0688,
      "on_policy_loss": -0.0688,
      "step": 1112
    },
    {
      "epoch": 0.29706666666666665,
      "grad_norm": 0.17173437774181366,
      "learning_rate": 4.2580000000000006e-06,
      "loss": -0.0715,
      "on_policy_loss": -0.0715,
      "step": 1114
    },
    {
      "epoch": 0.2976,
      "grad_norm": 0.15175071358680725,
      "learning_rate": 4.256666666666668e-06,
      "loss": -0.069,
      "on_policy_loss": -0.069,
      "step": 1116
    },
    {
      "epoch": 0.2981333333333333,
      "grad_norm": 0.14081943035125732,
      "learning_rate": 4.255333333333333e-06,
      "loss": -0.0627,
      "on_policy_loss": -0.0627,
      "step": 1118
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 0.14084067940711975,
      "learning_rate": 4.254e-06,
      "loss": -0.0651,
      "on_policy_loss": -0.0651,
      "step": 1120
    },
    {
      "epoch": 0.2992,
      "grad_norm": 0.16158726811408997,
      "learning_rate": 4.252666666666667e-06,
      "loss": -0.0723,
      "on_policy_loss": -0.0723,
      "step": 1122
    },
    {
      "epoch": 0.29973333333333335,
      "grad_norm": 0.12988242506980896,
      "learning_rate": 4.251333333333334e-06,
      "loss": -0.0653,
      "on_policy_loss": -0.0653,
      "step": 1124
    },
    {
      "epoch": 0.3002666666666667,
      "grad_norm": 0.12062329798936844,
      "learning_rate": 4.25e-06,
      "loss": -0.073,
      "on_policy_loss": -0.073,
      "step": 1126
    },
    {
      "epoch": 0.3008,
      "grad_norm": 0.14490222930908203,
      "learning_rate": 4.248666666666667e-06,
      "loss": -0.0722,
      "on_policy_loss": -0.0722,
      "step": 1128
    },
    {
      "epoch": 0.30133333333333334,
      "grad_norm": 0.17589017748832703,
      "learning_rate": 4.247333333333334e-06,
      "loss": -0.0625,
      "on_policy_loss": -0.0625,
      "step": 1130
    },
    {
      "epoch": 0.30186666666666667,
      "grad_norm": 0.17248325049877167,
      "learning_rate": 4.2460000000000005e-06,
      "loss": -0.0683,
      "on_policy_loss": -0.0683,
      "step": 1132
    },
    {
      "epoch": 0.3024,
      "grad_norm": 0.15315984189510345,
      "learning_rate": 4.244666666666667e-06,
      "loss": -0.068,
      "on_policy_loss": -0.068,
      "step": 1134
    },
    {
      "epoch": 0.30293333333333333,
      "grad_norm": 0.14592063426971436,
      "learning_rate": 4.243333333333334e-06,
      "loss": -0.0667,
      "on_policy_loss": -0.0667,
      "step": 1136
    },
    {
      "epoch": 0.30346666666666666,
      "grad_norm": 0.18410757184028625,
      "learning_rate": 4.242e-06,
      "loss": -0.0693,
      "on_policy_loss": -0.0693,
      "step": 1138
    },
    {
      "epoch": 0.304,
      "grad_norm": 0.15376731753349304,
      "learning_rate": 4.2406666666666665e-06,
      "loss": -0.0704,
      "on_policy_loss": -0.0704,
      "step": 1140
    },
    {
      "epoch": 0.3045333333333333,
      "grad_norm": 0.14362218976020813,
      "learning_rate": 4.239333333333334e-06,
      "loss": -0.0627,
      "on_policy_loss": -0.0627,
      "step": 1142
    },
    {
      "epoch": 0.30506666666666665,
      "grad_norm": 0.22785471379756927,
      "learning_rate": 4.238000000000001e-06,
      "loss": -0.0633,
      "on_policy_loss": -0.0633,
      "step": 1144
    },
    {
      "epoch": 0.3056,
      "grad_norm": 0.16732436418533325,
      "learning_rate": 4.236666666666667e-06,
      "loss": -0.0693,
      "on_policy_loss": -0.0693,
      "step": 1146
    },
    {
      "epoch": 0.3061333333333333,
      "grad_norm": 0.21528033912181854,
      "learning_rate": 4.235333333333333e-06,
      "loss": -0.0693,
      "on_policy_loss": -0.0693,
      "step": 1148
    },
    {
      "epoch": 0.30666666666666664,
      "grad_norm": 0.1684633046388626,
      "learning_rate": 4.2340000000000005e-06,
      "loss": -0.0664,
      "on_policy_loss": -0.0664,
      "step": 1150
    },
    {
      "epoch": 0.3072,
      "grad_norm": 0.17198015749454498,
      "learning_rate": 4.232666666666667e-06,
      "loss": -0.0627,
      "on_policy_loss": -0.0627,
      "step": 1152
    },
    {
      "epoch": 0.30773333333333336,
      "grad_norm": 0.1847112476825714,
      "learning_rate": 4.231333333333333e-06,
      "loss": -0.0638,
      "on_policy_loss": -0.0638,
      "step": 1154
    },
    {
      "epoch": 0.3082666666666667,
      "grad_norm": 0.16820229589939117,
      "learning_rate": 4.23e-06,
      "loss": -0.0663,
      "on_policy_loss": -0.0663,
      "step": 1156
    },
    {
      "epoch": 0.3088,
      "grad_norm": 0.1753847599029541,
      "learning_rate": 4.228666666666667e-06,
      "loss": -0.0698,
      "on_policy_loss": -0.0698,
      "step": 1158
    },
    {
      "epoch": 0.30933333333333335,
      "grad_norm": 0.21860724687576294,
      "learning_rate": 4.2273333333333336e-06,
      "loss": -0.0668,
      "on_policy_loss": -0.0668,
      "step": 1160
    },
    {
      "epoch": 0.3098666666666667,
      "grad_norm": 0.16189159452915192,
      "learning_rate": 4.226e-06,
      "loss": -0.0686,
      "on_policy_loss": -0.0686,
      "step": 1162
    },
    {
      "epoch": 0.3104,
      "grad_norm": 0.1481575220823288,
      "learning_rate": 4.224666666666667e-06,
      "loss": -0.0713,
      "on_policy_loss": -0.0713,
      "step": 1164
    },
    {
      "epoch": 0.31093333333333334,
      "grad_norm": 0.15859036147594452,
      "learning_rate": 4.223333333333334e-06,
      "loss": -0.0598,
      "on_policy_loss": -0.0598,
      "step": 1166
    },
    {
      "epoch": 0.31146666666666667,
      "grad_norm": 0.17672456800937653,
      "learning_rate": 4.222e-06,
      "loss": -0.0631,
      "on_policy_loss": -0.0631,
      "step": 1168
    },
    {
      "epoch": 0.312,
      "grad_norm": 0.1657293289899826,
      "learning_rate": 4.220666666666667e-06,
      "loss": -0.0646,
      "on_policy_loss": -0.0646,
      "step": 1170
    },
    {
      "epoch": 0.31253333333333333,
      "grad_norm": 0.1537165641784668,
      "learning_rate": 4.219333333333334e-06,
      "loss": -0.0669,
      "on_policy_loss": -0.0669,
      "step": 1172
    },
    {
      "epoch": 0.31306666666666666,
      "grad_norm": 0.14755019545555115,
      "learning_rate": 4.218e-06,
      "loss": -0.0681,
      "on_policy_loss": -0.0681,
      "step": 1174
    },
    {
      "epoch": 0.3136,
      "grad_norm": 0.1840866506099701,
      "learning_rate": 4.216666666666667e-06,
      "loss": -0.0686,
      "on_policy_loss": -0.0686,
      "step": 1176
    },
    {
      "epoch": 0.3141333333333333,
      "grad_norm": 0.17191007733345032,
      "learning_rate": 4.2153333333333335e-06,
      "loss": -0.0646,
      "on_policy_loss": -0.0646,
      "step": 1178
    },
    {
      "epoch": 0.31466666666666665,
      "grad_norm": 0.1488521844148636,
      "learning_rate": 4.214000000000001e-06,
      "loss": -0.0685,
      "on_policy_loss": -0.0685,
      "step": 1180
    },
    {
      "epoch": 0.3152,
      "grad_norm": 0.15171848237514496,
      "learning_rate": 4.212666666666667e-06,
      "loss": -0.0703,
      "on_policy_loss": -0.0703,
      "step": 1182
    },
    {
      "epoch": 0.3157333333333333,
      "grad_norm": 0.17267273366451263,
      "learning_rate": 4.211333333333334e-06,
      "loss": -0.0661,
      "on_policy_loss": -0.0661,
      "step": 1184
    },
    {
      "epoch": 0.31626666666666664,
      "grad_norm": 0.18170364201068878,
      "learning_rate": 4.21e-06,
      "loss": -0.0585,
      "on_policy_loss": -0.0585,
      "step": 1186
    },
    {
      "epoch": 0.3168,
      "grad_norm": 0.15652517974376678,
      "learning_rate": 4.208666666666667e-06,
      "loss": -0.0726,
      "on_policy_loss": -0.0726,
      "step": 1188
    },
    {
      "epoch": 0.31733333333333336,
      "grad_norm": 0.1627112478017807,
      "learning_rate": 4.207333333333334e-06,
      "loss": -0.0645,
      "on_policy_loss": -0.0645,
      "step": 1190
    },
    {
      "epoch": 0.3178666666666667,
      "grad_norm": 0.1439100205898285,
      "learning_rate": 4.206e-06,
      "loss": -0.0703,
      "on_policy_loss": -0.0703,
      "step": 1192
    },
    {
      "epoch": 0.3184,
      "grad_norm": 0.1443427950143814,
      "learning_rate": 4.204666666666667e-06,
      "loss": -0.0637,
      "on_policy_loss": -0.0637,
      "step": 1194
    },
    {
      "epoch": 0.31893333333333335,
      "grad_norm": 0.18235698342323303,
      "learning_rate": 4.2033333333333335e-06,
      "loss": -0.0704,
      "on_policy_loss": -0.0704,
      "step": 1196
    },
    {
      "epoch": 0.3194666666666667,
      "grad_norm": 0.1531570553779602,
      "learning_rate": 4.202000000000001e-06,
      "loss": -0.0678,
      "on_policy_loss": -0.0678,
      "step": 1198
    },
    {
      "epoch": 0.32,
      "grad_norm": 0.16830453276634216,
      "learning_rate": 4.200666666666667e-06,
      "loss": -0.0739,
      "on_policy_loss": -0.0739,
      "step": 1200
    },
    {
      "epoch": 0.32053333333333334,
      "grad_norm": 0.1802768111228943,
      "learning_rate": 4.199333333333334e-06,
      "loss": -0.0675,
      "on_policy_loss": -0.0675,
      "step": 1202
    },
    {
      "epoch": 0.32106666666666667,
      "grad_norm": 0.16859368979930878,
      "learning_rate": 4.198e-06,
      "loss": -0.0617,
      "on_policy_loss": -0.0617,
      "step": 1204
    },
    {
      "epoch": 0.3216,
      "grad_norm": 0.13899627327919006,
      "learning_rate": 4.1966666666666674e-06,
      "loss": -0.0705,
      "on_policy_loss": -0.0705,
      "step": 1206
    },
    {
      "epoch": 0.3221333333333333,
      "grad_norm": 0.16890110075473785,
      "learning_rate": 4.195333333333334e-06,
      "loss": -0.0704,
      "on_policy_loss": -0.0704,
      "step": 1208
    },
    {
      "epoch": 0.32266666666666666,
      "grad_norm": 0.17997615039348602,
      "learning_rate": 4.194e-06,
      "loss": -0.069,
      "on_policy_loss": -0.069,
      "step": 1210
    },
    {
      "epoch": 0.3232,
      "grad_norm": 0.17222149670124054,
      "learning_rate": 4.192666666666667e-06,
      "loss": -0.066,
      "on_policy_loss": -0.066,
      "step": 1212
    },
    {
      "epoch": 0.3237333333333333,
      "grad_norm": 0.1643551141023636,
      "learning_rate": 4.191333333333334e-06,
      "loss": -0.0686,
      "on_policy_loss": -0.0686,
      "step": 1214
    },
    {
      "epoch": 0.32426666666666665,
      "grad_norm": 0.1412099450826645,
      "learning_rate": 4.1900000000000005e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 1216
    },
    {
      "epoch": 0.3248,
      "grad_norm": 0.184122696518898,
      "learning_rate": 4.188666666666667e-06,
      "loss": -0.0679,
      "on_policy_loss": -0.0679,
      "step": 1218
    },
    {
      "epoch": 0.3253333333333333,
      "grad_norm": 0.1579427272081375,
      "learning_rate": 4.187333333333334e-06,
      "loss": -0.071,
      "on_policy_loss": -0.071,
      "step": 1220
    },
    {
      "epoch": 0.3258666666666667,
      "grad_norm": 0.18643136322498322,
      "learning_rate": 4.186e-06,
      "loss": -0.063,
      "on_policy_loss": -0.063,
      "step": 1222
    },
    {
      "epoch": 0.3264,
      "grad_norm": 0.15961481630802155,
      "learning_rate": 4.1846666666666665e-06,
      "loss": -0.0618,
      "on_policy_loss": -0.0618,
      "step": 1224
    },
    {
      "epoch": 0.32693333333333335,
      "grad_norm": 0.17967212200164795,
      "learning_rate": 4.183333333333334e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 1226
    },
    {
      "epoch": 0.3274666666666667,
      "grad_norm": 0.2027132213115692,
      "learning_rate": 4.182000000000001e-06,
      "loss": -0.0682,
      "on_policy_loss": -0.0682,
      "step": 1228
    },
    {
      "epoch": 0.328,
      "grad_norm": 0.17387036979198456,
      "learning_rate": 4.180666666666667e-06,
      "loss": -0.063,
      "on_policy_loss": -0.063,
      "step": 1230
    },
    {
      "epoch": 0.32853333333333334,
      "grad_norm": 0.1772756725549698,
      "learning_rate": 4.179333333333333e-06,
      "loss": -0.0697,
      "on_policy_loss": -0.0697,
      "step": 1232
    },
    {
      "epoch": 0.3290666666666667,
      "grad_norm": 0.13043658435344696,
      "learning_rate": 4.1780000000000005e-06,
      "loss": -0.0649,
      "on_policy_loss": -0.0649,
      "step": 1234
    },
    {
      "epoch": 0.3296,
      "grad_norm": 0.17784522473812103,
      "learning_rate": 4.176666666666668e-06,
      "loss": -0.067,
      "on_policy_loss": -0.067,
      "step": 1236
    },
    {
      "epoch": 0.33013333333333333,
      "grad_norm": 0.1830344945192337,
      "learning_rate": 4.175333333333333e-06,
      "loss": -0.0685,
      "on_policy_loss": -0.0685,
      "step": 1238
    },
    {
      "epoch": 0.33066666666666666,
      "grad_norm": 0.16660545766353607,
      "learning_rate": 4.174e-06,
      "loss": -0.069,
      "on_policy_loss": -0.069,
      "step": 1240
    },
    {
      "epoch": 0.3312,
      "grad_norm": 0.15490297973155975,
      "learning_rate": 4.172666666666667e-06,
      "loss": -0.0676,
      "on_policy_loss": -0.0676,
      "step": 1242
    },
    {
      "epoch": 0.3317333333333333,
      "grad_norm": 0.17046673595905304,
      "learning_rate": 4.171333333333334e-06,
      "loss": -0.0665,
      "on_policy_loss": -0.0665,
      "step": 1244
    },
    {
      "epoch": 0.33226666666666665,
      "grad_norm": 0.17439652979373932,
      "learning_rate": 4.17e-06,
      "loss": -0.0691,
      "on_policy_loss": -0.0691,
      "step": 1246
    },
    {
      "epoch": 0.3328,
      "grad_norm": 0.16301904618740082,
      "learning_rate": 4.168666666666667e-06,
      "loss": -0.0691,
      "on_policy_loss": -0.0691,
      "step": 1248
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 0.16525542736053467,
      "learning_rate": 4.167333333333334e-06,
      "loss": -0.068,
      "on_policy_loss": -0.068,
      "step": 1250
    },
    {
      "epoch": 0.33386666666666664,
      "grad_norm": 0.15593688189983368,
      "learning_rate": 4.1660000000000004e-06,
      "loss": -0.0679,
      "on_policy_loss": -0.0679,
      "step": 1252
    },
    {
      "epoch": 0.3344,
      "grad_norm": 0.17598342895507812,
      "learning_rate": 4.164666666666667e-06,
      "loss": -0.0676,
      "on_policy_loss": -0.0676,
      "step": 1254
    },
    {
      "epoch": 0.33493333333333336,
      "grad_norm": 0.2246922105550766,
      "learning_rate": 4.163333333333334e-06,
      "loss": -0.067,
      "on_policy_loss": -0.067,
      "step": 1256
    },
    {
      "epoch": 0.3354666666666667,
      "grad_norm": 0.17263402044773102,
      "learning_rate": 4.162e-06,
      "loss": -0.0638,
      "on_policy_loss": -0.0638,
      "step": 1258
    },
    {
      "epoch": 0.336,
      "grad_norm": 0.14213190972805023,
      "learning_rate": 4.160666666666666e-06,
      "loss": -0.0665,
      "on_policy_loss": -0.0665,
      "step": 1260
    },
    {
      "epoch": 0.33653333333333335,
      "grad_norm": 0.1863349974155426,
      "learning_rate": 4.1593333333333335e-06,
      "loss": -0.0726,
      "on_policy_loss": -0.0726,
      "step": 1262
    },
    {
      "epoch": 0.3370666666666667,
      "grad_norm": 0.16816914081573486,
      "learning_rate": 4.158000000000001e-06,
      "loss": -0.0682,
      "on_policy_loss": -0.0682,
      "step": 1264
    },
    {
      "epoch": 0.3376,
      "grad_norm": 0.21105997264385223,
      "learning_rate": 4.156666666666667e-06,
      "loss": -0.063,
      "on_policy_loss": -0.063,
      "step": 1266
    },
    {
      "epoch": 0.33813333333333334,
      "grad_norm": 0.1515699326992035,
      "learning_rate": 4.155333333333333e-06,
      "loss": -0.0706,
      "on_policy_loss": -0.0706,
      "step": 1268
    },
    {
      "epoch": 0.33866666666666667,
      "grad_norm": 0.1714317947626114,
      "learning_rate": 4.154e-06,
      "loss": -0.0697,
      "on_policy_loss": -0.0697,
      "step": 1270
    },
    {
      "epoch": 0.3392,
      "grad_norm": 0.17911462485790253,
      "learning_rate": 4.152666666666667e-06,
      "loss": -0.0671,
      "on_policy_loss": -0.0671,
      "step": 1272
    },
    {
      "epoch": 0.33973333333333333,
      "grad_norm": 0.1731082797050476,
      "learning_rate": 4.151333333333334e-06,
      "loss": -0.0668,
      "on_policy_loss": -0.0668,
      "step": 1274
    },
    {
      "epoch": 0.34026666666666666,
      "grad_norm": 0.136105015873909,
      "learning_rate": 4.15e-06,
      "loss": -0.0693,
      "on_policy_loss": -0.0693,
      "step": 1276
    },
    {
      "epoch": 0.3408,
      "grad_norm": 0.14396877586841583,
      "learning_rate": 4.148666666666667e-06,
      "loss": -0.0706,
      "on_policy_loss": -0.0706,
      "step": 1278
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 0.16768823564052582,
      "learning_rate": 4.1473333333333335e-06,
      "loss": -0.0705,
      "on_policy_loss": -0.0705,
      "step": 1280
    },
    {
      "epoch": 0.34186666666666665,
      "grad_norm": 0.17499952018260956,
      "learning_rate": 4.146000000000001e-06,
      "loss": -0.0714,
      "on_policy_loss": -0.0714,
      "step": 1282
    },
    {
      "epoch": 0.3424,
      "grad_norm": 0.1474258452653885,
      "learning_rate": 4.144666666666667e-06,
      "loss": -0.07,
      "on_policy_loss": -0.07,
      "step": 1284
    },
    {
      "epoch": 0.3429333333333333,
      "grad_norm": 0.1402003914117813,
      "learning_rate": 4.143333333333334e-06,
      "loss": -0.0659,
      "on_policy_loss": -0.0659,
      "step": 1286
    },
    {
      "epoch": 0.34346666666666664,
      "grad_norm": 0.16627782583236694,
      "learning_rate": 4.142e-06,
      "loss": -0.0698,
      "on_policy_loss": -0.0698,
      "step": 1288
    },
    {
      "epoch": 0.344,
      "grad_norm": 0.1701054722070694,
      "learning_rate": 4.1406666666666675e-06,
      "loss": -0.0655,
      "on_policy_loss": -0.0655,
      "step": 1290
    },
    {
      "epoch": 0.34453333333333336,
      "grad_norm": 0.13145823776721954,
      "learning_rate": 4.139333333333334e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 1292
    },
    {
      "epoch": 0.3450666666666667,
      "grad_norm": 0.16407893598079681,
      "learning_rate": 4.138e-06,
      "loss": -0.0642,
      "on_policy_loss": -0.0642,
      "step": 1294
    },
    {
      "epoch": 0.3456,
      "grad_norm": 0.1722760945558548,
      "learning_rate": 4.136666666666667e-06,
      "loss": -0.0701,
      "on_policy_loss": -0.0701,
      "step": 1296
    },
    {
      "epoch": 0.34613333333333335,
      "grad_norm": 0.1446654498577118,
      "learning_rate": 4.1353333333333334e-06,
      "loss": -0.0665,
      "on_policy_loss": -0.0665,
      "step": 1298
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 0.17111560702323914,
      "learning_rate": 4.1340000000000006e-06,
      "loss": -0.0634,
      "on_policy_loss": -0.0634,
      "step": 1300
    },
    {
      "epoch": 0.3472,
      "grad_norm": 0.15334804356098175,
      "learning_rate": 4.132666666666667e-06,
      "loss": -0.068,
      "on_policy_loss": -0.068,
      "step": 1302
    },
    {
      "epoch": 0.34773333333333334,
      "grad_norm": 0.17597179114818573,
      "learning_rate": 4.131333333333334e-06,
      "loss": -0.0643,
      "on_policy_loss": -0.0643,
      "step": 1304
    },
    {
      "epoch": 0.34826666666666667,
      "grad_norm": 0.1680632382631302,
      "learning_rate": 4.13e-06,
      "loss": -0.0668,
      "on_policy_loss": -0.0668,
      "step": 1306
    },
    {
      "epoch": 0.3488,
      "grad_norm": 0.20771998167037964,
      "learning_rate": 4.1286666666666666e-06,
      "loss": -0.0705,
      "on_policy_loss": -0.0705,
      "step": 1308
    },
    {
      "epoch": 0.34933333333333333,
      "grad_norm": 0.16556039452552795,
      "learning_rate": 4.127333333333334e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 1310
    },
    {
      "epoch": 0.34986666666666666,
      "grad_norm": 0.15002067387104034,
      "learning_rate": 4.126000000000001e-06,
      "loss": -0.0679,
      "on_policy_loss": -0.0679,
      "step": 1312
    },
    {
      "epoch": 0.3504,
      "grad_norm": 0.14512355625629425,
      "learning_rate": 4.124666666666667e-06,
      "loss": -0.0638,
      "on_policy_loss": -0.0638,
      "step": 1314
    },
    {
      "epoch": 0.3509333333333333,
      "grad_norm": 0.14111003279685974,
      "learning_rate": 4.123333333333333e-06,
      "loss": -0.0649,
      "on_policy_loss": -0.0649,
      "step": 1316
    },
    {
      "epoch": 0.35146666666666665,
      "grad_norm": 0.14103201031684875,
      "learning_rate": 4.1220000000000005e-06,
      "loss": -0.0665,
      "on_policy_loss": -0.0665,
      "step": 1318
    },
    {
      "epoch": 0.352,
      "grad_norm": 0.16421519219875336,
      "learning_rate": 4.120666666666668e-06,
      "loss": -0.0662,
      "on_policy_loss": -0.0662,
      "step": 1320
    },
    {
      "epoch": 0.3525333333333333,
      "grad_norm": 0.18759459257125854,
      "learning_rate": 4.119333333333334e-06,
      "loss": -0.0613,
      "on_policy_loss": -0.0613,
      "step": 1322
    },
    {
      "epoch": 0.35306666666666664,
      "grad_norm": 0.18011578917503357,
      "learning_rate": 4.118e-06,
      "loss": -0.0699,
      "on_policy_loss": -0.0699,
      "step": 1324
    },
    {
      "epoch": 0.3536,
      "grad_norm": 0.1806921809911728,
      "learning_rate": 4.116666666666667e-06,
      "loss": -0.07,
      "on_policy_loss": -0.07,
      "step": 1326
    },
    {
      "epoch": 0.35413333333333336,
      "grad_norm": 0.18504288792610168,
      "learning_rate": 4.115333333333334e-06,
      "loss": -0.067,
      "on_policy_loss": -0.067,
      "step": 1328
    },
    {
      "epoch": 0.3546666666666667,
      "grad_norm": 0.17392393946647644,
      "learning_rate": 4.114e-06,
      "loss": -0.0633,
      "on_policy_loss": -0.0633,
      "step": 1330
    },
    {
      "epoch": 0.3552,
      "grad_norm": 0.1290648728609085,
      "learning_rate": 4.112666666666667e-06,
      "loss": -0.061,
      "on_policy_loss": -0.061,
      "step": 1332
    },
    {
      "epoch": 0.35573333333333335,
      "grad_norm": 0.13937272131443024,
      "learning_rate": 4.111333333333334e-06,
      "loss": -0.0729,
      "on_policy_loss": -0.0729,
      "step": 1334
    },
    {
      "epoch": 0.3562666666666667,
      "grad_norm": 0.14962218701839447,
      "learning_rate": 4.1100000000000005e-06,
      "loss": -0.0701,
      "on_policy_loss": -0.0701,
      "step": 1336
    },
    {
      "epoch": 0.3568,
      "grad_norm": 0.18263636529445648,
      "learning_rate": 4.108666666666667e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 1338
    },
    {
      "epoch": 0.35733333333333334,
      "grad_norm": 0.23566541075706482,
      "learning_rate": 4.107333333333334e-06,
      "loss": -0.0665,
      "on_policy_loss": -0.0665,
      "step": 1340
    },
    {
      "epoch": 0.35786666666666667,
      "grad_norm": 0.17224934697151184,
      "learning_rate": 4.106e-06,
      "loss": -0.0666,
      "on_policy_loss": -0.0666,
      "step": 1342
    },
    {
      "epoch": 0.3584,
      "grad_norm": 0.1823892742395401,
      "learning_rate": 4.1046666666666664e-06,
      "loss": -0.0716,
      "on_policy_loss": -0.0716,
      "step": 1344
    },
    {
      "epoch": 0.3589333333333333,
      "grad_norm": 0.1741154044866562,
      "learning_rate": 4.1033333333333336e-06,
      "loss": -0.0661,
      "on_policy_loss": -0.0661,
      "step": 1346
    },
    {
      "epoch": 0.35946666666666666,
      "grad_norm": 0.2061435580253601,
      "learning_rate": 4.102000000000001e-06,
      "loss": -0.0696,
      "on_policy_loss": -0.0696,
      "step": 1348
    },
    {
      "epoch": 0.36,
      "grad_norm": 0.1337687373161316,
      "learning_rate": 4.100666666666667e-06,
      "loss": -0.0704,
      "on_policy_loss": -0.0704,
      "step": 1350
    },
    {
      "epoch": 0.3605333333333333,
      "grad_norm": 0.17052963376045227,
      "learning_rate": 4.099333333333333e-06,
      "loss": -0.0682,
      "on_policy_loss": -0.0682,
      "step": 1352
    },
    {
      "epoch": 0.36106666666666665,
      "grad_norm": 0.15726879239082336,
      "learning_rate": 4.098e-06,
      "loss": -0.0697,
      "on_policy_loss": -0.0697,
      "step": 1354
    },
    {
      "epoch": 0.3616,
      "grad_norm": 0.18796642124652863,
      "learning_rate": 4.0966666666666675e-06,
      "loss": -0.07,
      "on_policy_loss": -0.07,
      "step": 1356
    },
    {
      "epoch": 0.3621333333333333,
      "grad_norm": 0.1499345600605011,
      "learning_rate": 4.095333333333334e-06,
      "loss": -0.0733,
      "on_policy_loss": -0.0733,
      "step": 1358
    },
    {
      "epoch": 0.3626666666666667,
      "grad_norm": 0.16818782687187195,
      "learning_rate": 4.094e-06,
      "loss": -0.0663,
      "on_policy_loss": -0.0663,
      "step": 1360
    },
    {
      "epoch": 0.3632,
      "grad_norm": 0.14922131597995758,
      "learning_rate": 4.092666666666667e-06,
      "loss": -0.0717,
      "on_policy_loss": -0.0717,
      "step": 1362
    },
    {
      "epoch": 0.36373333333333335,
      "grad_norm": 0.16279534995555878,
      "learning_rate": 4.0913333333333335e-06,
      "loss": -0.071,
      "on_policy_loss": -0.071,
      "step": 1364
    },
    {
      "epoch": 0.3642666666666667,
      "grad_norm": 0.15259023010730743,
      "learning_rate": 4.09e-06,
      "loss": -0.0715,
      "on_policy_loss": -0.0715,
      "step": 1366
    },
    {
      "epoch": 0.3648,
      "grad_norm": 0.1560518443584442,
      "learning_rate": 4.088666666666667e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 1368
    },
    {
      "epoch": 0.36533333333333334,
      "grad_norm": 0.15750901401042938,
      "learning_rate": 4.087333333333334e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 1370
    },
    {
      "epoch": 0.3658666666666667,
      "grad_norm": 0.1585550606250763,
      "learning_rate": 4.086e-06,
      "loss": -0.0668,
      "on_policy_loss": -0.0668,
      "step": 1372
    },
    {
      "epoch": 0.3664,
      "grad_norm": 0.18817242980003357,
      "learning_rate": 4.084666666666667e-06,
      "loss": -0.0697,
      "on_policy_loss": -0.0697,
      "step": 1374
    },
    {
      "epoch": 0.36693333333333333,
      "grad_norm": 0.1557975858449936,
      "learning_rate": 4.083333333333334e-06,
      "loss": -0.064,
      "on_policy_loss": -0.064,
      "step": 1376
    },
    {
      "epoch": 0.36746666666666666,
      "grad_norm": 0.16338616609573364,
      "learning_rate": 4.082e-06,
      "loss": -0.0696,
      "on_policy_loss": -0.0696,
      "step": 1378
    },
    {
      "epoch": 0.368,
      "grad_norm": 0.1478113979101181,
      "learning_rate": 4.080666666666667e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 1380
    },
    {
      "epoch": 0.3685333333333333,
      "grad_norm": 0.1619327813386917,
      "learning_rate": 4.0793333333333335e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 1382
    },
    {
      "epoch": 0.36906666666666665,
      "grad_norm": 0.16336534917354584,
      "learning_rate": 4.078000000000001e-06,
      "loss": -0.0742,
      "on_policy_loss": -0.0742,
      "step": 1384
    },
    {
      "epoch": 0.3696,
      "grad_norm": 0.15699702501296997,
      "learning_rate": 4.076666666666667e-06,
      "loss": -0.0742,
      "on_policy_loss": -0.0742,
      "step": 1386
    },
    {
      "epoch": 0.3701333333333333,
      "grad_norm": 0.1829662322998047,
      "learning_rate": 4.075333333333334e-06,
      "loss": -0.0654,
      "on_policy_loss": -0.0654,
      "step": 1388
    },
    {
      "epoch": 0.37066666666666664,
      "grad_norm": 0.1509793996810913,
      "learning_rate": 4.074e-06,
      "loss": -0.0703,
      "on_policy_loss": -0.0703,
      "step": 1390
    },
    {
      "epoch": 0.3712,
      "grad_norm": 0.1947920322418213,
      "learning_rate": 4.072666666666667e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 1392
    },
    {
      "epoch": 0.37173333333333336,
      "grad_norm": 0.18066823482513428,
      "learning_rate": 4.071333333333334e-06,
      "loss": -0.0684,
      "on_policy_loss": -0.0684,
      "step": 1394
    },
    {
      "epoch": 0.3722666666666667,
      "grad_norm": 0.16044193506240845,
      "learning_rate": 4.07e-06,
      "loss": -0.0697,
      "on_policy_loss": -0.0697,
      "step": 1396
    },
    {
      "epoch": 0.3728,
      "grad_norm": 0.19981501996517181,
      "learning_rate": 4.068666666666667e-06,
      "loss": -0.0675,
      "on_policy_loss": -0.0675,
      "step": 1398
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 0.14275188744068146,
      "learning_rate": 4.067333333333333e-06,
      "loss": -0.0676,
      "on_policy_loss": -0.0676,
      "step": 1400
    },
    {
      "epoch": 0.3738666666666667,
      "grad_norm": 0.19687721133232117,
      "learning_rate": 4.0660000000000005e-06,
      "loss": -0.0679,
      "on_policy_loss": -0.0679,
      "step": 1402
    },
    {
      "epoch": 0.3744,
      "grad_norm": 0.16203530132770538,
      "learning_rate": 4.064666666666667e-06,
      "loss": -0.0688,
      "on_policy_loss": -0.0688,
      "step": 1404
    },
    {
      "epoch": 0.37493333333333334,
      "grad_norm": 0.17217512428760529,
      "learning_rate": 4.063333333333334e-06,
      "loss": -0.0679,
      "on_policy_loss": -0.0679,
      "step": 1406
    },
    {
      "epoch": 0.37546666666666667,
      "grad_norm": 0.18118003010749817,
      "learning_rate": 4.062e-06,
      "loss": -0.072,
      "on_policy_loss": -0.072,
      "step": 1408
    },
    {
      "epoch": 0.376,
      "grad_norm": 0.20627214014530182,
      "learning_rate": 4.060666666666667e-06,
      "loss": -0.0662,
      "on_policy_loss": -0.0662,
      "step": 1410
    },
    {
      "epoch": 0.37653333333333333,
      "grad_norm": 0.18332631886005402,
      "learning_rate": 4.059333333333334e-06,
      "loss": -0.0645,
      "on_policy_loss": -0.0645,
      "step": 1412
    },
    {
      "epoch": 0.37706666666666666,
      "grad_norm": 0.17982818186283112,
      "learning_rate": 4.058e-06,
      "loss": -0.0692,
      "on_policy_loss": -0.0692,
      "step": 1414
    },
    {
      "epoch": 0.3776,
      "grad_norm": 0.1689957231283188,
      "learning_rate": 4.056666666666667e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 1416
    },
    {
      "epoch": 0.3781333333333333,
      "grad_norm": 0.16806627810001373,
      "learning_rate": 4.055333333333334e-06,
      "loss": -0.0694,
      "on_policy_loss": -0.0694,
      "step": 1418
    },
    {
      "epoch": 0.37866666666666665,
      "grad_norm": 0.17427729070186615,
      "learning_rate": 4.0540000000000005e-06,
      "loss": -0.073,
      "on_policy_loss": -0.073,
      "step": 1420
    },
    {
      "epoch": 0.3792,
      "grad_norm": 0.14962543547153473,
      "learning_rate": 4.052666666666667e-06,
      "loss": -0.069,
      "on_policy_loss": -0.069,
      "step": 1422
    },
    {
      "epoch": 0.3797333333333333,
      "grad_norm": 0.1510329395532608,
      "learning_rate": 4.051333333333334e-06,
      "loss": -0.069,
      "on_policy_loss": -0.069,
      "step": 1424
    },
    {
      "epoch": 0.38026666666666664,
      "grad_norm": 0.15106938779354095,
      "learning_rate": 4.05e-06,
      "loss": -0.0701,
      "on_policy_loss": -0.0701,
      "step": 1426
    },
    {
      "epoch": 0.3808,
      "grad_norm": 0.14359912276268005,
      "learning_rate": 4.0486666666666665e-06,
      "loss": -0.0688,
      "on_policy_loss": -0.0688,
      "step": 1428
    },
    {
      "epoch": 0.38133333333333336,
      "grad_norm": 0.1934005469083786,
      "learning_rate": 4.047333333333334e-06,
      "loss": -0.0701,
      "on_policy_loss": -0.0701,
      "step": 1430
    },
    {
      "epoch": 0.3818666666666667,
      "grad_norm": 0.15980497002601624,
      "learning_rate": 4.046000000000001e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 1432
    },
    {
      "epoch": 0.3824,
      "grad_norm": 0.1949784904718399,
      "learning_rate": 4.044666666666667e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 1434
    },
    {
      "epoch": 0.38293333333333335,
      "grad_norm": 0.17833800613880157,
      "learning_rate": 4.043333333333333e-06,
      "loss": -0.0683,
      "on_policy_loss": -0.0683,
      "step": 1436
    },
    {
      "epoch": 0.3834666666666667,
      "grad_norm": 0.17316894233226776,
      "learning_rate": 4.0420000000000004e-06,
      "loss": -0.071,
      "on_policy_loss": -0.071,
      "step": 1438
    },
    {
      "epoch": 0.384,
      "grad_norm": 0.1804095059633255,
      "learning_rate": 4.0406666666666676e-06,
      "loss": -0.0686,
      "on_policy_loss": -0.0686,
      "step": 1440
    },
    {
      "epoch": 0.38453333333333334,
      "grad_norm": 0.17552199959754944,
      "learning_rate": 4.039333333333334e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 1442
    },
    {
      "epoch": 0.38506666666666667,
      "grad_norm": 0.1768510639667511,
      "learning_rate": 4.038e-06,
      "loss": -0.0694,
      "on_policy_loss": -0.0694,
      "step": 1444
    },
    {
      "epoch": 0.3856,
      "grad_norm": 0.13982711732387543,
      "learning_rate": 4.036666666666667e-06,
      "loss": -0.0673,
      "on_policy_loss": -0.0673,
      "step": 1446
    },
    {
      "epoch": 0.38613333333333333,
      "grad_norm": 0.158145010471344,
      "learning_rate": 4.0353333333333335e-06,
      "loss": -0.0715,
      "on_policy_loss": -0.0715,
      "step": 1448
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 0.19751395285129547,
      "learning_rate": 4.034e-06,
      "loss": -0.068,
      "on_policy_loss": -0.068,
      "step": 1450
    },
    {
      "epoch": 0.3872,
      "grad_norm": 0.16464266180992126,
      "learning_rate": 4.032666666666667e-06,
      "loss": -0.0681,
      "on_policy_loss": -0.0681,
      "step": 1452
    },
    {
      "epoch": 0.3877333333333333,
      "grad_norm": 0.15789055824279785,
      "learning_rate": 4.031333333333334e-06,
      "loss": -0.0731,
      "on_policy_loss": -0.0731,
      "step": 1454
    },
    {
      "epoch": 0.38826666666666665,
      "grad_norm": 0.14260149002075195,
      "learning_rate": 4.03e-06,
      "loss": -0.061,
      "on_policy_loss": -0.061,
      "step": 1456
    },
    {
      "epoch": 0.3888,
      "grad_norm": 0.17310529947280884,
      "learning_rate": 4.028666666666667e-06,
      "loss": -0.0702,
      "on_policy_loss": -0.0702,
      "step": 1458
    },
    {
      "epoch": 0.3893333333333333,
      "grad_norm": 0.1760367751121521,
      "learning_rate": 4.027333333333334e-06,
      "loss": -0.0695,
      "on_policy_loss": -0.0695,
      "step": 1460
    },
    {
      "epoch": 0.38986666666666664,
      "grad_norm": 0.1701284945011139,
      "learning_rate": 4.026e-06,
      "loss": -0.0722,
      "on_policy_loss": -0.0722,
      "step": 1462
    },
    {
      "epoch": 0.3904,
      "grad_norm": 0.17758409678936005,
      "learning_rate": 4.024666666666666e-06,
      "loss": -0.0628,
      "on_policy_loss": -0.0628,
      "step": 1464
    },
    {
      "epoch": 0.39093333333333335,
      "grad_norm": 0.17187432944774628,
      "learning_rate": 4.0233333333333335e-06,
      "loss": -0.0699,
      "on_policy_loss": -0.0699,
      "step": 1466
    },
    {
      "epoch": 0.3914666666666667,
      "grad_norm": 0.13241684436798096,
      "learning_rate": 4.022000000000001e-06,
      "loss": -0.0695,
      "on_policy_loss": -0.0695,
      "step": 1468
    },
    {
      "epoch": 0.392,
      "grad_norm": 0.15392692387104034,
      "learning_rate": 4.020666666666667e-06,
      "loss": -0.067,
      "on_policy_loss": -0.067,
      "step": 1470
    },
    {
      "epoch": 0.39253333333333335,
      "grad_norm": 0.16762575507164001,
      "learning_rate": 4.019333333333333e-06,
      "loss": -0.0713,
      "on_policy_loss": -0.0713,
      "step": 1472
    },
    {
      "epoch": 0.3930666666666667,
      "grad_norm": 0.17938783764839172,
      "learning_rate": 4.018e-06,
      "loss": -0.0702,
      "on_policy_loss": -0.0702,
      "step": 1474
    },
    {
      "epoch": 0.3936,
      "grad_norm": 0.1628134548664093,
      "learning_rate": 4.0166666666666675e-06,
      "loss": -0.0684,
      "on_policy_loss": -0.0684,
      "step": 1476
    },
    {
      "epoch": 0.39413333333333334,
      "grad_norm": 0.20298586785793304,
      "learning_rate": 4.015333333333334e-06,
      "loss": -0.0656,
      "on_policy_loss": -0.0656,
      "step": 1478
    },
    {
      "epoch": 0.39466666666666667,
      "grad_norm": 0.17692263424396515,
      "learning_rate": 4.014e-06,
      "loss": -0.0698,
      "on_policy_loss": -0.0698,
      "step": 1480
    },
    {
      "epoch": 0.3952,
      "grad_norm": 0.16898925602436066,
      "learning_rate": 4.012666666666667e-06,
      "loss": -0.0645,
      "on_policy_loss": -0.0645,
      "step": 1482
    },
    {
      "epoch": 0.3957333333333333,
      "grad_norm": 0.18715603649616241,
      "learning_rate": 4.0113333333333334e-06,
      "loss": -0.0692,
      "on_policy_loss": -0.0692,
      "step": 1484
    },
    {
      "epoch": 0.39626666666666666,
      "grad_norm": 0.17600880563259125,
      "learning_rate": 4.0100000000000006e-06,
      "loss": -0.0684,
      "on_policy_loss": -0.0684,
      "step": 1486
    },
    {
      "epoch": 0.3968,
      "grad_norm": 0.14944851398468018,
      "learning_rate": 4.008666666666667e-06,
      "loss": -0.0675,
      "on_policy_loss": -0.0675,
      "step": 1488
    },
    {
      "epoch": 0.3973333333333333,
      "grad_norm": 0.1788301020860672,
      "learning_rate": 4.007333333333334e-06,
      "loss": -0.0674,
      "on_policy_loss": -0.0674,
      "step": 1490
    },
    {
      "epoch": 0.39786666666666665,
      "grad_norm": 0.16390107572078705,
      "learning_rate": 4.006e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 1492
    },
    {
      "epoch": 0.3984,
      "grad_norm": 0.17507952451705933,
      "learning_rate": 4.004666666666667e-06,
      "loss": -0.069,
      "on_policy_loss": -0.069,
      "step": 1494
    },
    {
      "epoch": 0.3989333333333333,
      "grad_norm": 0.1736840158700943,
      "learning_rate": 4.003333333333334e-06,
      "loss": -0.0672,
      "on_policy_loss": -0.0672,
      "step": 1496
    },
    {
      "epoch": 0.3994666666666667,
      "grad_norm": 0.1606104075908661,
      "learning_rate": 4.002e-06,
      "loss": -0.0716,
      "on_policy_loss": -0.0716,
      "step": 1498
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.1869741827249527,
      "learning_rate": 4.000666666666667e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 1500
    },
    {
      "epoch": 0.40053333333333335,
      "grad_norm": 0.18635162711143494,
      "learning_rate": 3.999333333333333e-06,
      "loss": -0.0658,
      "on_policy_loss": -0.0658,
      "step": 1502
    },
    {
      "epoch": 0.4010666666666667,
      "grad_norm": 0.152888223528862,
      "learning_rate": 3.9980000000000005e-06,
      "loss": -0.0667,
      "on_policy_loss": -0.0667,
      "step": 1504
    },
    {
      "epoch": 0.4016,
      "grad_norm": 0.20805779099464417,
      "learning_rate": 3.996666666666667e-06,
      "loss": -0.065,
      "on_policy_loss": -0.065,
      "step": 1506
    },
    {
      "epoch": 0.40213333333333334,
      "grad_norm": 0.1601959764957428,
      "learning_rate": 3.995333333333334e-06,
      "loss": -0.0743,
      "on_policy_loss": -0.0743,
      "step": 1508
    },
    {
      "epoch": 0.4026666666666667,
      "grad_norm": 0.20096516609191895,
      "learning_rate": 3.994e-06,
      "loss": -0.0646,
      "on_policy_loss": -0.0646,
      "step": 1510
    },
    {
      "epoch": 0.4032,
      "grad_norm": 0.19520381093025208,
      "learning_rate": 3.9926666666666665e-06,
      "loss": -0.0646,
      "on_policy_loss": -0.0646,
      "step": 1512
    },
    {
      "epoch": 0.40373333333333333,
      "grad_norm": 0.20330584049224854,
      "learning_rate": 3.991333333333334e-06,
      "loss": -0.0726,
      "on_policy_loss": -0.0726,
      "step": 1514
    },
    {
      "epoch": 0.40426666666666666,
      "grad_norm": 0.16839244961738586,
      "learning_rate": 3.990000000000001e-06,
      "loss": -0.0721,
      "on_policy_loss": -0.0721,
      "step": 1516
    },
    {
      "epoch": 0.4048,
      "grad_norm": 0.16328640282154083,
      "learning_rate": 3.988666666666667e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 1518
    },
    {
      "epoch": 0.4053333333333333,
      "grad_norm": 0.15109986066818237,
      "learning_rate": 3.987333333333333e-06,
      "loss": -0.0684,
      "on_policy_loss": -0.0684,
      "step": 1520
    },
    {
      "epoch": 0.40586666666666665,
      "grad_norm": 0.1647835224866867,
      "learning_rate": 3.9860000000000005e-06,
      "loss": -0.0638,
      "on_policy_loss": -0.0638,
      "step": 1522
    },
    {
      "epoch": 0.4064,
      "grad_norm": 0.16559532284736633,
      "learning_rate": 3.984666666666668e-06,
      "loss": -0.0632,
      "on_policy_loss": -0.0632,
      "step": 1524
    },
    {
      "epoch": 0.4069333333333333,
      "grad_norm": 0.18487070500850677,
      "learning_rate": 3.983333333333334e-06,
      "loss": -0.0711,
      "on_policy_loss": -0.0711,
      "step": 1526
    },
    {
      "epoch": 0.40746666666666664,
      "grad_norm": 0.1542363315820694,
      "learning_rate": 3.982e-06,
      "loss": -0.072,
      "on_policy_loss": -0.072,
      "step": 1528
    },
    {
      "epoch": 0.408,
      "grad_norm": 0.1485125571489334,
      "learning_rate": 3.980666666666667e-06,
      "loss": -0.0687,
      "on_policy_loss": -0.0687,
      "step": 1530
    },
    {
      "epoch": 0.40853333333333336,
      "grad_norm": 0.17890335619449615,
      "learning_rate": 3.9793333333333336e-06,
      "loss": -0.0664,
      "on_policy_loss": -0.0664,
      "step": 1532
    },
    {
      "epoch": 0.4090666666666667,
      "grad_norm": 0.16036447882652283,
      "learning_rate": 3.978e-06,
      "loss": -0.0685,
      "on_policy_loss": -0.0685,
      "step": 1534
    },
    {
      "epoch": 0.4096,
      "grad_norm": 0.1956401914358139,
      "learning_rate": 3.976666666666667e-06,
      "loss": -0.0656,
      "on_policy_loss": -0.0656,
      "step": 1536
    },
    {
      "epoch": 0.41013333333333335,
      "grad_norm": 0.16450843214988708,
      "learning_rate": 3.975333333333334e-06,
      "loss": -0.0697,
      "on_policy_loss": -0.0697,
      "step": 1538
    },
    {
      "epoch": 0.4106666666666667,
      "grad_norm": 0.1398676037788391,
      "learning_rate": 3.974e-06,
      "loss": -0.0672,
      "on_policy_loss": -0.0672,
      "step": 1540
    },
    {
      "epoch": 0.4112,
      "grad_norm": 0.1803705096244812,
      "learning_rate": 3.972666666666667e-06,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 1542
    },
    {
      "epoch": 0.41173333333333334,
      "grad_norm": 0.1835809051990509,
      "learning_rate": 3.971333333333334e-06,
      "loss": -0.0743,
      "on_policy_loss": -0.0743,
      "step": 1544
    },
    {
      "epoch": 0.41226666666666667,
      "grad_norm": 0.16787654161453247,
      "learning_rate": 3.97e-06,
      "loss": -0.0683,
      "on_policy_loss": -0.0683,
      "step": 1546
    },
    {
      "epoch": 0.4128,
      "grad_norm": 0.21608176827430725,
      "learning_rate": 3.968666666666666e-06,
      "loss": -0.0687,
      "on_policy_loss": -0.0687,
      "step": 1548
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 0.18352754414081573,
      "learning_rate": 3.9673333333333335e-06,
      "loss": -0.0711,
      "on_policy_loss": -0.0711,
      "step": 1550
    },
    {
      "epoch": 0.41386666666666666,
      "grad_norm": 0.16902175545692444,
      "learning_rate": 3.966000000000001e-06,
      "loss": -0.0692,
      "on_policy_loss": -0.0692,
      "step": 1552
    },
    {
      "epoch": 0.4144,
      "grad_norm": 0.15547822415828705,
      "learning_rate": 3.964666666666667e-06,
      "loss": -0.0639,
      "on_policy_loss": -0.0639,
      "step": 1554
    },
    {
      "epoch": 0.4149333333333333,
      "grad_norm": 0.17565277218818665,
      "learning_rate": 3.963333333333333e-06,
      "loss": -0.069,
      "on_policy_loss": -0.069,
      "step": 1556
    },
    {
      "epoch": 0.41546666666666665,
      "grad_norm": 0.17742015421390533,
      "learning_rate": 3.962e-06,
      "loss": -0.0705,
      "on_policy_loss": -0.0705,
      "step": 1558
    },
    {
      "epoch": 0.416,
      "grad_norm": 0.16284731030464172,
      "learning_rate": 3.9606666666666675e-06,
      "loss": -0.0643,
      "on_policy_loss": -0.0643,
      "step": 1560
    },
    {
      "epoch": 0.4165333333333333,
      "grad_norm": 0.15454581379890442,
      "learning_rate": 3.959333333333334e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 1562
    },
    {
      "epoch": 0.41706666666666664,
      "grad_norm": 0.1370605230331421,
      "learning_rate": 3.958e-06,
      "loss": -0.0671,
      "on_policy_loss": -0.0671,
      "step": 1564
    },
    {
      "epoch": 0.4176,
      "grad_norm": 0.16231602430343628,
      "learning_rate": 3.956666666666667e-06,
      "loss": -0.0712,
      "on_policy_loss": -0.0712,
      "step": 1566
    },
    {
      "epoch": 0.41813333333333336,
      "grad_norm": 0.18296919763088226,
      "learning_rate": 3.9553333333333335e-06,
      "loss": -0.0713,
      "on_policy_loss": -0.0713,
      "step": 1568
    },
    {
      "epoch": 0.4186666666666667,
      "grad_norm": 0.1484815925359726,
      "learning_rate": 3.954e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 1570
    },
    {
      "epoch": 0.4192,
      "grad_norm": 0.1753259301185608,
      "learning_rate": 3.952666666666667e-06,
      "loss": -0.0661,
      "on_policy_loss": -0.0661,
      "step": 1572
    },
    {
      "epoch": 0.41973333333333335,
      "grad_norm": 0.1723751574754715,
      "learning_rate": 3.951333333333334e-06,
      "loss": -0.0714,
      "on_policy_loss": -0.0714,
      "step": 1574
    },
    {
      "epoch": 0.4202666666666667,
      "grad_norm": 0.14594058692455292,
      "learning_rate": 3.95e-06,
      "loss": -0.0689,
      "on_policy_loss": -0.0689,
      "step": 1576
    },
    {
      "epoch": 0.4208,
      "grad_norm": 0.16921642422676086,
      "learning_rate": 3.948666666666667e-06,
      "loss": -0.0714,
      "on_policy_loss": -0.0714,
      "step": 1578
    },
    {
      "epoch": 0.42133333333333334,
      "grad_norm": 0.16781723499298096,
      "learning_rate": 3.947333333333334e-06,
      "loss": -0.0712,
      "on_policy_loss": -0.0712,
      "step": 1580
    },
    {
      "epoch": 0.42186666666666667,
      "grad_norm": 0.20423226058483124,
      "learning_rate": 3.946e-06,
      "loss": -0.0717,
      "on_policy_loss": -0.0717,
      "step": 1582
    },
    {
      "epoch": 0.4224,
      "grad_norm": 0.17393244802951813,
      "learning_rate": 3.944666666666667e-06,
      "loss": -0.0686,
      "on_policy_loss": -0.0686,
      "step": 1584
    },
    {
      "epoch": 0.42293333333333333,
      "grad_norm": 0.18487684428691864,
      "learning_rate": 3.943333333333333e-06,
      "loss": -0.0665,
      "on_policy_loss": -0.0665,
      "step": 1586
    },
    {
      "epoch": 0.42346666666666666,
      "grad_norm": 0.19091735780239105,
      "learning_rate": 3.9420000000000005e-06,
      "loss": -0.071,
      "on_policy_loss": -0.071,
      "step": 1588
    },
    {
      "epoch": 0.424,
      "grad_norm": 0.1697055846452713,
      "learning_rate": 3.940666666666667e-06,
      "loss": -0.0739,
      "on_policy_loss": -0.0739,
      "step": 1590
    },
    {
      "epoch": 0.4245333333333333,
      "grad_norm": 0.23053084313869476,
      "learning_rate": 3.939333333333334e-06,
      "loss": -0.0736,
      "on_policy_loss": -0.0736,
      "step": 1592
    },
    {
      "epoch": 0.42506666666666665,
      "grad_norm": 0.1904326230287552,
      "learning_rate": 3.938e-06,
      "loss": -0.0686,
      "on_policy_loss": -0.0686,
      "step": 1594
    },
    {
      "epoch": 0.4256,
      "grad_norm": 0.17061097919940948,
      "learning_rate": 3.936666666666667e-06,
      "loss": -0.074,
      "on_policy_loss": -0.074,
      "step": 1596
    },
    {
      "epoch": 0.4261333333333333,
      "grad_norm": 0.13670551776885986,
      "learning_rate": 3.935333333333334e-06,
      "loss": -0.0674,
      "on_policy_loss": -0.0674,
      "step": 1598
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 0.18056555092334747,
      "learning_rate": 3.934000000000001e-06,
      "loss": -0.0714,
      "on_policy_loss": -0.0714,
      "step": 1600
    },
    {
      "epoch": 0.4272,
      "grad_norm": 0.15857148170471191,
      "learning_rate": 3.932666666666667e-06,
      "loss": -0.0702,
      "on_policy_loss": -0.0702,
      "step": 1602
    },
    {
      "epoch": 0.42773333333333335,
      "grad_norm": 0.1651507019996643,
      "learning_rate": 3.931333333333333e-06,
      "loss": -0.0679,
      "on_policy_loss": -0.0679,
      "step": 1604
    },
    {
      "epoch": 0.4282666666666667,
      "grad_norm": 0.15595556795597076,
      "learning_rate": 3.9300000000000005e-06,
      "loss": -0.073,
      "on_policy_loss": -0.073,
      "step": 1606
    },
    {
      "epoch": 0.4288,
      "grad_norm": 0.15477649867534637,
      "learning_rate": 3.928666666666667e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 1608
    },
    {
      "epoch": 0.42933333333333334,
      "grad_norm": 0.18630510568618774,
      "learning_rate": 3.927333333333334e-06,
      "loss": -0.0712,
      "on_policy_loss": -0.0712,
      "step": 1610
    },
    {
      "epoch": 0.4298666666666667,
      "grad_norm": 0.17371219396591187,
      "learning_rate": 3.926e-06,
      "loss": -0.0725,
      "on_policy_loss": -0.0725,
      "step": 1612
    },
    {
      "epoch": 0.4304,
      "grad_norm": 0.16770265996456146,
      "learning_rate": 3.924666666666667e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 1614
    },
    {
      "epoch": 0.43093333333333333,
      "grad_norm": 0.23686781525611877,
      "learning_rate": 3.923333333333334e-06,
      "loss": -0.0697,
      "on_policy_loss": -0.0697,
      "step": 1616
    },
    {
      "epoch": 0.43146666666666667,
      "grad_norm": 0.22777670621871948,
      "learning_rate": 3.922e-06,
      "loss": -0.0694,
      "on_policy_loss": -0.0694,
      "step": 1618
    },
    {
      "epoch": 0.432,
      "grad_norm": 0.17601756751537323,
      "learning_rate": 3.920666666666667e-06,
      "loss": -0.0677,
      "on_policy_loss": -0.0677,
      "step": 1620
    },
    {
      "epoch": 0.4325333333333333,
      "grad_norm": 0.178251713514328,
      "learning_rate": 3.919333333333334e-06,
      "loss": -0.0725,
      "on_policy_loss": -0.0725,
      "step": 1622
    },
    {
      "epoch": 0.43306666666666666,
      "grad_norm": 0.1651415377855301,
      "learning_rate": 3.9180000000000004e-06,
      "loss": -0.0736,
      "on_policy_loss": -0.0736,
      "step": 1624
    },
    {
      "epoch": 0.4336,
      "grad_norm": 0.1839269995689392,
      "learning_rate": 3.916666666666667e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 1626
    },
    {
      "epoch": 0.4341333333333333,
      "grad_norm": 0.20774699747562408,
      "learning_rate": 3.915333333333334e-06,
      "loss": -0.0734,
      "on_policy_loss": -0.0734,
      "step": 1628
    },
    {
      "epoch": 0.43466666666666665,
      "grad_norm": 0.19315588474273682,
      "learning_rate": 3.914000000000001e-06,
      "loss": -0.0636,
      "on_policy_loss": -0.0636,
      "step": 1630
    },
    {
      "epoch": 0.4352,
      "grad_norm": 0.14285798370838165,
      "learning_rate": 3.912666666666666e-06,
      "loss": -0.07,
      "on_policy_loss": -0.07,
      "step": 1632
    },
    {
      "epoch": 0.4357333333333333,
      "grad_norm": 0.1689811497926712,
      "learning_rate": 3.9113333333333335e-06,
      "loss": -0.0729,
      "on_policy_loss": -0.0729,
      "step": 1634
    },
    {
      "epoch": 0.4362666666666667,
      "grad_norm": 0.16722089052200317,
      "learning_rate": 3.910000000000001e-06,
      "loss": -0.0694,
      "on_policy_loss": -0.0694,
      "step": 1636
    },
    {
      "epoch": 0.4368,
      "grad_norm": 0.17331446707248688,
      "learning_rate": 3.908666666666667e-06,
      "loss": -0.0727,
      "on_policy_loss": -0.0727,
      "step": 1638
    },
    {
      "epoch": 0.43733333333333335,
      "grad_norm": 0.1706671416759491,
      "learning_rate": 3.907333333333333e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 1640
    },
    {
      "epoch": 0.4378666666666667,
      "grad_norm": 0.15582653880119324,
      "learning_rate": 3.906e-06,
      "loss": -0.068,
      "on_policy_loss": -0.068,
      "step": 1642
    },
    {
      "epoch": 0.4384,
      "grad_norm": 0.2286815494298935,
      "learning_rate": 3.9046666666666675e-06,
      "loss": -0.0697,
      "on_policy_loss": -0.0697,
      "step": 1644
    },
    {
      "epoch": 0.43893333333333334,
      "grad_norm": 0.19863426685333252,
      "learning_rate": 3.903333333333334e-06,
      "loss": -0.0696,
      "on_policy_loss": -0.0696,
      "step": 1646
    },
    {
      "epoch": 0.43946666666666667,
      "grad_norm": 0.1405663639307022,
      "learning_rate": 3.902e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 1648
    },
    {
      "epoch": 0.44,
      "grad_norm": 0.15432581305503845,
      "learning_rate": 3.900666666666667e-06,
      "loss": -0.0669,
      "on_policy_loss": -0.0669,
      "step": 1650
    },
    {
      "epoch": 0.44053333333333333,
      "grad_norm": 0.18307417631149292,
      "learning_rate": 3.8993333333333335e-06,
      "loss": -0.0717,
      "on_policy_loss": -0.0717,
      "step": 1652
    },
    {
      "epoch": 0.44106666666666666,
      "grad_norm": 0.1886156052350998,
      "learning_rate": 3.898e-06,
      "loss": -0.0737,
      "on_policy_loss": -0.0737,
      "step": 1654
    },
    {
      "epoch": 0.4416,
      "grad_norm": 0.18094268441200256,
      "learning_rate": 3.896666666666667e-06,
      "loss": -0.07,
      "on_policy_loss": -0.07,
      "step": 1656
    },
    {
      "epoch": 0.4421333333333333,
      "grad_norm": 0.21329130232334137,
      "learning_rate": 3.895333333333334e-06,
      "loss": -0.0713,
      "on_policy_loss": -0.0713,
      "step": 1658
    },
    {
      "epoch": 0.44266666666666665,
      "grad_norm": 0.18276816606521606,
      "learning_rate": 3.894e-06,
      "loss": -0.0719,
      "on_policy_loss": -0.0719,
      "step": 1660
    },
    {
      "epoch": 0.4432,
      "grad_norm": 0.17017750442028046,
      "learning_rate": 3.892666666666667e-06,
      "loss": -0.0677,
      "on_policy_loss": -0.0677,
      "step": 1662
    },
    {
      "epoch": 0.4437333333333333,
      "grad_norm": 0.2161274403333664,
      "learning_rate": 3.891333333333334e-06,
      "loss": -0.0704,
      "on_policy_loss": -0.0704,
      "step": 1664
    },
    {
      "epoch": 0.44426666666666664,
      "grad_norm": 0.1577795445919037,
      "learning_rate": 3.89e-06,
      "loss": -0.0718,
      "on_policy_loss": -0.0718,
      "step": 1666
    },
    {
      "epoch": 0.4448,
      "grad_norm": 0.18157097697257996,
      "learning_rate": 3.888666666666667e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 1668
    },
    {
      "epoch": 0.44533333333333336,
      "grad_norm": 0.1536589413881302,
      "learning_rate": 3.8873333333333334e-06,
      "loss": -0.0691,
      "on_policy_loss": -0.0691,
      "step": 1670
    },
    {
      "epoch": 0.4458666666666667,
      "grad_norm": 0.15809378027915955,
      "learning_rate": 3.8860000000000006e-06,
      "loss": -0.0693,
      "on_policy_loss": -0.0693,
      "step": 1672
    },
    {
      "epoch": 0.4464,
      "grad_norm": 0.1729820966720581,
      "learning_rate": 3.884666666666667e-06,
      "loss": -0.0667,
      "on_policy_loss": -0.0667,
      "step": 1674
    },
    {
      "epoch": 0.44693333333333335,
      "grad_norm": 0.1425037831068039,
      "learning_rate": 3.883333333333333e-06,
      "loss": -0.0727,
      "on_policy_loss": -0.0727,
      "step": 1676
    },
    {
      "epoch": 0.4474666666666667,
      "grad_norm": 0.14434169232845306,
      "learning_rate": 3.882e-06,
      "loss": -0.0657,
      "on_policy_loss": -0.0657,
      "step": 1678
    },
    {
      "epoch": 0.448,
      "grad_norm": 0.2127925008535385,
      "learning_rate": 3.880666666666667e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 1680
    },
    {
      "epoch": 0.44853333333333334,
      "grad_norm": 0.17604610323905945,
      "learning_rate": 3.879333333333334e-06,
      "loss": -0.0677,
      "on_policy_loss": -0.0677,
      "step": 1682
    },
    {
      "epoch": 0.44906666666666667,
      "grad_norm": 0.1632198691368103,
      "learning_rate": 3.878e-06,
      "loss": -0.0734,
      "on_policy_loss": -0.0734,
      "step": 1684
    },
    {
      "epoch": 0.4496,
      "grad_norm": 0.17639371752738953,
      "learning_rate": 3.876666666666667e-06,
      "loss": -0.0706,
      "on_policy_loss": -0.0706,
      "step": 1686
    },
    {
      "epoch": 0.45013333333333333,
      "grad_norm": 0.13804523646831512,
      "learning_rate": 3.875333333333333e-06,
      "loss": -0.0676,
      "on_policy_loss": -0.0676,
      "step": 1688
    },
    {
      "epoch": 0.45066666666666666,
      "grad_norm": 0.17757201194763184,
      "learning_rate": 3.8740000000000005e-06,
      "loss": -0.0672,
      "on_policy_loss": -0.0672,
      "step": 1690
    },
    {
      "epoch": 0.4512,
      "grad_norm": 0.21023793518543243,
      "learning_rate": 3.872666666666667e-06,
      "loss": -0.0685,
      "on_policy_loss": -0.0685,
      "step": 1692
    },
    {
      "epoch": 0.4517333333333333,
      "grad_norm": 0.19826184213161469,
      "learning_rate": 3.871333333333334e-06,
      "loss": -0.0667,
      "on_policy_loss": -0.0667,
      "step": 1694
    },
    {
      "epoch": 0.45226666666666665,
      "grad_norm": 0.1666279435157776,
      "learning_rate": 3.87e-06,
      "loss": -0.0685,
      "on_policy_loss": -0.0685,
      "step": 1696
    },
    {
      "epoch": 0.4528,
      "grad_norm": 0.21340230107307434,
      "learning_rate": 3.868666666666667e-06,
      "loss": -0.0733,
      "on_policy_loss": -0.0733,
      "step": 1698
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 0.2943767011165619,
      "learning_rate": 3.867333333333334e-06,
      "loss": -0.0673,
      "on_policy_loss": -0.0673,
      "step": 1700
    },
    {
      "epoch": 0.45386666666666664,
      "grad_norm": 0.16586798429489136,
      "learning_rate": 3.866e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 1702
    },
    {
      "epoch": 0.4544,
      "grad_norm": 0.19093047082424164,
      "learning_rate": 3.864666666666667e-06,
      "loss": -0.0666,
      "on_policy_loss": -0.0666,
      "step": 1704
    },
    {
      "epoch": 0.45493333333333336,
      "grad_norm": 0.17079758644104004,
      "learning_rate": 3.863333333333333e-06,
      "loss": -0.0721,
      "on_policy_loss": -0.0721,
      "step": 1706
    },
    {
      "epoch": 0.4554666666666667,
      "grad_norm": 0.17146216332912445,
      "learning_rate": 3.8620000000000005e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 1708
    },
    {
      "epoch": 0.456,
      "grad_norm": 0.18227265775203705,
      "learning_rate": 3.860666666666667e-06,
      "loss": -0.0717,
      "on_policy_loss": -0.0717,
      "step": 1710
    },
    {
      "epoch": 0.45653333333333335,
      "grad_norm": 0.16230180859565735,
      "learning_rate": 3.859333333333334e-06,
      "loss": -0.0719,
      "on_policy_loss": -0.0719,
      "step": 1712
    },
    {
      "epoch": 0.4570666666666667,
      "grad_norm": 0.25075188279151917,
      "learning_rate": 3.858e-06,
      "loss": -0.0695,
      "on_policy_loss": -0.0695,
      "step": 1714
    },
    {
      "epoch": 0.4576,
      "grad_norm": 0.18494531512260437,
      "learning_rate": 3.856666666666667e-06,
      "loss": -0.0691,
      "on_policy_loss": -0.0691,
      "step": 1716
    },
    {
      "epoch": 0.45813333333333334,
      "grad_norm": 0.17675729095935822,
      "learning_rate": 3.855333333333334e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 1718
    },
    {
      "epoch": 0.45866666666666667,
      "grad_norm": 0.1636912077665329,
      "learning_rate": 3.854000000000001e-06,
      "loss": -0.0687,
      "on_policy_loss": -0.0687,
      "step": 1720
    },
    {
      "epoch": 0.4592,
      "grad_norm": 0.22117167711257935,
      "learning_rate": 3.852666666666667e-06,
      "loss": -0.0699,
      "on_policy_loss": -0.0699,
      "step": 1722
    },
    {
      "epoch": 0.4597333333333333,
      "grad_norm": 0.23173800110816956,
      "learning_rate": 3.851333333333333e-06,
      "loss": -0.0716,
      "on_policy_loss": -0.0716,
      "step": 1724
    },
    {
      "epoch": 0.46026666666666666,
      "grad_norm": 0.20713794231414795,
      "learning_rate": 3.85e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 1726
    },
    {
      "epoch": 0.4608,
      "grad_norm": 0.1880342960357666,
      "learning_rate": 3.8486666666666675e-06,
      "loss": -0.0709,
      "on_policy_loss": -0.0709,
      "step": 1728
    },
    {
      "epoch": 0.4613333333333333,
      "grad_norm": 0.225118950009346,
      "learning_rate": 3.847333333333334e-06,
      "loss": -0.0731,
      "on_policy_loss": -0.0731,
      "step": 1730
    },
    {
      "epoch": 0.46186666666666665,
      "grad_norm": 0.16438063979148865,
      "learning_rate": 3.846e-06,
      "loss": -0.0672,
      "on_policy_loss": -0.0672,
      "step": 1732
    },
    {
      "epoch": 0.4624,
      "grad_norm": 0.15176251530647278,
      "learning_rate": 3.844666666666667e-06,
      "loss": -0.0722,
      "on_policy_loss": -0.0722,
      "step": 1734
    },
    {
      "epoch": 0.4629333333333333,
      "grad_norm": 0.1674041748046875,
      "learning_rate": 3.8433333333333335e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 1736
    },
    {
      "epoch": 0.4634666666666667,
      "grad_norm": 0.14054468274116516,
      "learning_rate": 3.842e-06,
      "loss": -0.0706,
      "on_policy_loss": -0.0706,
      "step": 1738
    },
    {
      "epoch": 0.464,
      "grad_norm": 0.1646537035703659,
      "learning_rate": 3.840666666666667e-06,
      "loss": -0.071,
      "on_policy_loss": -0.071,
      "step": 1740
    },
    {
      "epoch": 0.46453333333333335,
      "grad_norm": 0.19256539642810822,
      "learning_rate": 3.839333333333334e-06,
      "loss": -0.0702,
      "on_policy_loss": -0.0702,
      "step": 1742
    },
    {
      "epoch": 0.4650666666666667,
      "grad_norm": 0.16076689958572388,
      "learning_rate": 3.838e-06,
      "loss": -0.0699,
      "on_policy_loss": -0.0699,
      "step": 1744
    },
    {
      "epoch": 0.4656,
      "grad_norm": 0.13715963065624237,
      "learning_rate": 3.836666666666667e-06,
      "loss": -0.0657,
      "on_policy_loss": -0.0657,
      "step": 1746
    },
    {
      "epoch": 0.46613333333333334,
      "grad_norm": 0.18351157009601593,
      "learning_rate": 3.835333333333334e-06,
      "loss": -0.0723,
      "on_policy_loss": -0.0723,
      "step": 1748
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 0.16843602061271667,
      "learning_rate": 3.834000000000001e-06,
      "loss": -0.0718,
      "on_policy_loss": -0.0718,
      "step": 1750
    },
    {
      "epoch": 0.4672,
      "grad_norm": 0.1958809643983841,
      "learning_rate": 3.832666666666666e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 1752
    },
    {
      "epoch": 0.46773333333333333,
      "grad_norm": 0.1700109988451004,
      "learning_rate": 3.8313333333333335e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 1754
    },
    {
      "epoch": 0.46826666666666666,
      "grad_norm": 0.22205327451229095,
      "learning_rate": 3.830000000000001e-06,
      "loss": -0.0717,
      "on_policy_loss": -0.0717,
      "step": 1756
    },
    {
      "epoch": 0.4688,
      "grad_norm": 0.14907854795455933,
      "learning_rate": 3.828666666666667e-06,
      "loss": -0.0735,
      "on_policy_loss": -0.0735,
      "step": 1758
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 0.20433729887008667,
      "learning_rate": 3.827333333333333e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 1760
    },
    {
      "epoch": 0.46986666666666665,
      "grad_norm": 0.1802641749382019,
      "learning_rate": 3.826e-06,
      "loss": -0.0693,
      "on_policy_loss": -0.0693,
      "step": 1762
    },
    {
      "epoch": 0.4704,
      "grad_norm": 0.17309637367725372,
      "learning_rate": 3.8246666666666674e-06,
      "loss": -0.0681,
      "on_policy_loss": -0.0681,
      "step": 1764
    },
    {
      "epoch": 0.4709333333333333,
      "grad_norm": 0.1636359542608261,
      "learning_rate": 3.823333333333334e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 1766
    },
    {
      "epoch": 0.47146666666666665,
      "grad_norm": 0.15667253732681274,
      "learning_rate": 3.822e-06,
      "loss": -0.0694,
      "on_policy_loss": -0.0694,
      "step": 1768
    },
    {
      "epoch": 0.472,
      "grad_norm": 0.19377630949020386,
      "learning_rate": 3.820666666666667e-06,
      "loss": -0.0696,
      "on_policy_loss": -0.0696,
      "step": 1770
    },
    {
      "epoch": 0.47253333333333336,
      "grad_norm": 0.16000793874263763,
      "learning_rate": 3.819333333333333e-06,
      "loss": -0.0726,
      "on_policy_loss": -0.0726,
      "step": 1772
    },
    {
      "epoch": 0.4730666666666667,
      "grad_norm": 0.17312416434288025,
      "learning_rate": 3.818e-06,
      "loss": -0.0699,
      "on_policy_loss": -0.0699,
      "step": 1774
    },
    {
      "epoch": 0.4736,
      "grad_norm": 0.15788301825523376,
      "learning_rate": 3.816666666666667e-06,
      "loss": -0.0689,
      "on_policy_loss": -0.0689,
      "step": 1776
    },
    {
      "epoch": 0.47413333333333335,
      "grad_norm": 0.13732892274856567,
      "learning_rate": 3.815333333333334e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 1778
    },
    {
      "epoch": 0.4746666666666667,
      "grad_norm": 0.14551275968551636,
      "learning_rate": 3.8140000000000007e-06,
      "loss": -0.0687,
      "on_policy_loss": -0.0687,
      "step": 1780
    },
    {
      "epoch": 0.4752,
      "grad_norm": 0.17131522297859192,
      "learning_rate": 3.8126666666666665e-06,
      "loss": -0.0722,
      "on_policy_loss": -0.0722,
      "step": 1782
    },
    {
      "epoch": 0.47573333333333334,
      "grad_norm": 0.16088473796844482,
      "learning_rate": 3.8113333333333337e-06,
      "loss": -0.0722,
      "on_policy_loss": -0.0722,
      "step": 1784
    },
    {
      "epoch": 0.47626666666666667,
      "grad_norm": 0.17582708597183228,
      "learning_rate": 3.8100000000000004e-06,
      "loss": -0.068,
      "on_policy_loss": -0.068,
      "step": 1786
    },
    {
      "epoch": 0.4768,
      "grad_norm": 0.15419648587703705,
      "learning_rate": 3.808666666666667e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 1788
    },
    {
      "epoch": 0.47733333333333333,
      "grad_norm": 0.1340067833662033,
      "learning_rate": 3.8073333333333334e-06,
      "loss": -0.0743,
      "on_policy_loss": -0.0743,
      "step": 1790
    },
    {
      "epoch": 0.47786666666666666,
      "grad_norm": 0.18734146654605865,
      "learning_rate": 3.806e-06,
      "loss": -0.0737,
      "on_policy_loss": -0.0737,
      "step": 1792
    },
    {
      "epoch": 0.4784,
      "grad_norm": 0.1589585691690445,
      "learning_rate": 3.804666666666667e-06,
      "loss": -0.0743,
      "on_policy_loss": -0.0743,
      "step": 1794
    },
    {
      "epoch": 0.4789333333333333,
      "grad_norm": 0.17646515369415283,
      "learning_rate": 3.803333333333334e-06,
      "loss": -0.0653,
      "on_policy_loss": -0.0653,
      "step": 1796
    },
    {
      "epoch": 0.47946666666666665,
      "grad_norm": 0.21572080254554749,
      "learning_rate": 3.802e-06,
      "loss": -0.0659,
      "on_policy_loss": -0.0659,
      "step": 1798
    },
    {
      "epoch": 0.48,
      "grad_norm": 0.18139973282814026,
      "learning_rate": 3.800666666666667e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 1800
    },
    {
      "epoch": 0.4805333333333333,
      "grad_norm": 0.19848445057868958,
      "learning_rate": 3.7993333333333336e-06,
      "loss": -0.0692,
      "on_policy_loss": -0.0692,
      "step": 1802
    },
    {
      "epoch": 0.48106666666666664,
      "grad_norm": 0.160115048289299,
      "learning_rate": 3.7980000000000007e-06,
      "loss": -0.0704,
      "on_policy_loss": -0.0704,
      "step": 1804
    },
    {
      "epoch": 0.4816,
      "grad_norm": 0.1767568439245224,
      "learning_rate": 3.796666666666667e-06,
      "loss": -0.0712,
      "on_policy_loss": -0.0712,
      "step": 1806
    },
    {
      "epoch": 0.48213333333333336,
      "grad_norm": 0.219590425491333,
      "learning_rate": 3.7953333333333337e-06,
      "loss": -0.0699,
      "on_policy_loss": -0.0699,
      "step": 1808
    },
    {
      "epoch": 0.4826666666666667,
      "grad_norm": 0.1936846375465393,
      "learning_rate": 3.7940000000000004e-06,
      "loss": -0.0726,
      "on_policy_loss": -0.0726,
      "step": 1810
    },
    {
      "epoch": 0.4832,
      "grad_norm": 0.175461083650589,
      "learning_rate": 3.7926666666666667e-06,
      "loss": -0.0706,
      "on_policy_loss": -0.0706,
      "step": 1812
    },
    {
      "epoch": 0.48373333333333335,
      "grad_norm": 0.1828976571559906,
      "learning_rate": 3.7913333333333334e-06,
      "loss": -0.0717,
      "on_policy_loss": -0.0717,
      "step": 1814
    },
    {
      "epoch": 0.4842666666666667,
      "grad_norm": 0.191155344247818,
      "learning_rate": 3.79e-06,
      "loss": -0.067,
      "on_policy_loss": -0.067,
      "step": 1816
    },
    {
      "epoch": 0.4848,
      "grad_norm": 0.1773560494184494,
      "learning_rate": 3.7886666666666673e-06,
      "loss": -0.0683,
      "on_policy_loss": -0.0683,
      "step": 1818
    },
    {
      "epoch": 0.48533333333333334,
      "grad_norm": 0.17470189929008484,
      "learning_rate": 3.7873333333333336e-06,
      "loss": -0.07,
      "on_policy_loss": -0.07,
      "step": 1820
    },
    {
      "epoch": 0.48586666666666667,
      "grad_norm": 0.19164420664310455,
      "learning_rate": 3.7860000000000003e-06,
      "loss": -0.0713,
      "on_policy_loss": -0.0713,
      "step": 1822
    },
    {
      "epoch": 0.4864,
      "grad_norm": 0.24297891557216644,
      "learning_rate": 3.784666666666667e-06,
      "loss": -0.073,
      "on_policy_loss": -0.073,
      "step": 1824
    },
    {
      "epoch": 0.48693333333333333,
      "grad_norm": 0.23062096536159515,
      "learning_rate": 3.7833333333333337e-06,
      "loss": -0.0735,
      "on_policy_loss": -0.0735,
      "step": 1826
    },
    {
      "epoch": 0.48746666666666666,
      "grad_norm": 0.18105457723140717,
      "learning_rate": 3.782e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 1828
    },
    {
      "epoch": 0.488,
      "grad_norm": 0.16875654458999634,
      "learning_rate": 3.780666666666667e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 1830
    },
    {
      "epoch": 0.4885333333333333,
      "grad_norm": 0.1797632873058319,
      "learning_rate": 3.779333333333334e-06,
      "loss": -0.0695,
      "on_policy_loss": -0.0695,
      "step": 1832
    },
    {
      "epoch": 0.48906666666666665,
      "grad_norm": 0.17176681756973267,
      "learning_rate": 3.7780000000000005e-06,
      "loss": -0.0715,
      "on_policy_loss": -0.0715,
      "step": 1834
    },
    {
      "epoch": 0.4896,
      "grad_norm": 0.20777012407779694,
      "learning_rate": 3.776666666666667e-06,
      "loss": -0.0716,
      "on_policy_loss": -0.0716,
      "step": 1836
    },
    {
      "epoch": 0.4901333333333333,
      "grad_norm": 0.18471689522266388,
      "learning_rate": 3.7753333333333335e-06,
      "loss": -0.0694,
      "on_policy_loss": -0.0694,
      "step": 1838
    },
    {
      "epoch": 0.49066666666666664,
      "grad_norm": 0.17858143150806427,
      "learning_rate": 3.7740000000000006e-06,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 1840
    },
    {
      "epoch": 0.4912,
      "grad_norm": 0.1632779985666275,
      "learning_rate": 3.7726666666666665e-06,
      "loss": -0.0694,
      "on_policy_loss": -0.0694,
      "step": 1842
    },
    {
      "epoch": 0.49173333333333336,
      "grad_norm": 0.18664535880088806,
      "learning_rate": 3.7713333333333336e-06,
      "loss": -0.0679,
      "on_policy_loss": -0.0679,
      "step": 1844
    },
    {
      "epoch": 0.4922666666666667,
      "grad_norm": 0.1835968941450119,
      "learning_rate": 3.7700000000000003e-06,
      "loss": -0.0721,
      "on_policy_loss": -0.0721,
      "step": 1846
    },
    {
      "epoch": 0.4928,
      "grad_norm": 0.1986006647348404,
      "learning_rate": 3.768666666666667e-06,
      "loss": -0.0706,
      "on_policy_loss": -0.0706,
      "step": 1848
    },
    {
      "epoch": 0.49333333333333335,
      "grad_norm": 0.1980128139257431,
      "learning_rate": 3.7673333333333333e-06,
      "loss": -0.0725,
      "on_policy_loss": -0.0725,
      "step": 1850
    },
    {
      "epoch": 0.4938666666666667,
      "grad_norm": 0.1417713612318039,
      "learning_rate": 3.766e-06,
      "loss": -0.0654,
      "on_policy_loss": -0.0654,
      "step": 1852
    },
    {
      "epoch": 0.4944,
      "grad_norm": 0.16532722115516663,
      "learning_rate": 3.764666666666667e-06,
      "loss": -0.0711,
      "on_policy_loss": -0.0711,
      "step": 1854
    },
    {
      "epoch": 0.49493333333333334,
      "grad_norm": 0.17615896463394165,
      "learning_rate": 3.763333333333334e-06,
      "loss": -0.0673,
      "on_policy_loss": -0.0673,
      "step": 1856
    },
    {
      "epoch": 0.49546666666666667,
      "grad_norm": 0.17088745534420013,
      "learning_rate": 3.762e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 1858
    },
    {
      "epoch": 0.496,
      "grad_norm": 0.17097696661949158,
      "learning_rate": 3.760666666666667e-06,
      "loss": -0.0714,
      "on_policy_loss": -0.0714,
      "step": 1860
    },
    {
      "epoch": 0.4965333333333333,
      "grad_norm": 0.18337975442409515,
      "learning_rate": 3.7593333333333336e-06,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 1862
    },
    {
      "epoch": 0.49706666666666666,
      "grad_norm": 0.15589234232902527,
      "learning_rate": 3.7580000000000007e-06,
      "loss": -0.0731,
      "on_policy_loss": -0.0731,
      "step": 1864
    },
    {
      "epoch": 0.4976,
      "grad_norm": 0.18339113891124725,
      "learning_rate": 3.756666666666667e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 1866
    },
    {
      "epoch": 0.4981333333333333,
      "grad_norm": 0.19865785539150238,
      "learning_rate": 3.7553333333333337e-06,
      "loss": -0.074,
      "on_policy_loss": -0.074,
      "step": 1868
    },
    {
      "epoch": 0.49866666666666665,
      "grad_norm": 0.1519034206867218,
      "learning_rate": 3.7540000000000004e-06,
      "loss": -0.0742,
      "on_policy_loss": -0.0742,
      "step": 1870
    },
    {
      "epoch": 0.4992,
      "grad_norm": 0.15899033844470978,
      "learning_rate": 3.752666666666667e-06,
      "loss": -0.0716,
      "on_policy_loss": -0.0716,
      "step": 1872
    },
    {
      "epoch": 0.4997333333333333,
      "grad_norm": 0.15563657879829407,
      "learning_rate": 3.7513333333333334e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 1874
    },
    {
      "epoch": 0.5002666666666666,
      "grad_norm": 0.21714071929454803,
      "learning_rate": 3.7500000000000005e-06,
      "loss": -0.071,
      "on_policy_loss": -0.071,
      "step": 1876
    },
    {
      "epoch": 0.5008,
      "grad_norm": 0.15662583708763123,
      "learning_rate": 3.7486666666666672e-06,
      "loss": -0.0721,
      "on_policy_loss": -0.0721,
      "step": 1878
    },
    {
      "epoch": 0.5013333333333333,
      "grad_norm": 0.19493892788887024,
      "learning_rate": 3.7473333333333335e-06,
      "loss": -0.0737,
      "on_policy_loss": -0.0737,
      "step": 1880
    },
    {
      "epoch": 0.5018666666666667,
      "grad_norm": 0.17153199017047882,
      "learning_rate": 3.7460000000000002e-06,
      "loss": -0.0717,
      "on_policy_loss": -0.0717,
      "step": 1882
    },
    {
      "epoch": 0.5024,
      "grad_norm": 0.1954314410686493,
      "learning_rate": 3.744666666666667e-06,
      "loss": -0.0669,
      "on_policy_loss": -0.0669,
      "step": 1884
    },
    {
      "epoch": 0.5029333333333333,
      "grad_norm": 0.21356691420078278,
      "learning_rate": 3.7433333333333336e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 1886
    },
    {
      "epoch": 0.5034666666666666,
      "grad_norm": 0.19603899121284485,
      "learning_rate": 3.742e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 1888
    },
    {
      "epoch": 0.504,
      "grad_norm": 0.1381336897611618,
      "learning_rate": 3.740666666666667e-06,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 1890
    },
    {
      "epoch": 0.5045333333333333,
      "grad_norm": 0.16072386503219604,
      "learning_rate": 3.7393333333333338e-06,
      "loss": -0.0721,
      "on_policy_loss": -0.0721,
      "step": 1892
    },
    {
      "epoch": 0.5050666666666667,
      "grad_norm": 0.18285129964351654,
      "learning_rate": 3.7380000000000005e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 1894
    },
    {
      "epoch": 0.5056,
      "grad_norm": 0.1812593936920166,
      "learning_rate": 3.7366666666666667e-06,
      "loss": -0.0701,
      "on_policy_loss": -0.0701,
      "step": 1896
    },
    {
      "epoch": 0.5061333333333333,
      "grad_norm": 0.1950586885213852,
      "learning_rate": 3.7353333333333335e-06,
      "loss": -0.0733,
      "on_policy_loss": -0.0733,
      "step": 1898
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 0.15890443325042725,
      "learning_rate": 3.7340000000000006e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 1900
    },
    {
      "epoch": 0.5072,
      "grad_norm": 0.20462043583393097,
      "learning_rate": 3.7326666666666673e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 1902
    },
    {
      "epoch": 0.5077333333333334,
      "grad_norm": 0.15409508347511292,
      "learning_rate": 3.7313333333333336e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 1904
    },
    {
      "epoch": 0.5082666666666666,
      "grad_norm": 0.17040422558784485,
      "learning_rate": 3.7300000000000003e-06,
      "loss": -0.0677,
      "on_policy_loss": -0.0677,
      "step": 1906
    },
    {
      "epoch": 0.5088,
      "grad_norm": 0.22574961185455322,
      "learning_rate": 3.728666666666667e-06,
      "loss": -0.0678,
      "on_policy_loss": -0.0678,
      "step": 1908
    },
    {
      "epoch": 0.5093333333333333,
      "grad_norm": 0.18523095548152924,
      "learning_rate": 3.727333333333334e-06,
      "loss": -0.0729,
      "on_policy_loss": -0.0729,
      "step": 1910
    },
    {
      "epoch": 0.5098666666666667,
      "grad_norm": 0.16434600949287415,
      "learning_rate": 3.726e-06,
      "loss": -0.0638,
      "on_policy_loss": -0.0638,
      "step": 1912
    },
    {
      "epoch": 0.5104,
      "grad_norm": 0.1692187637090683,
      "learning_rate": 3.724666666666667e-06,
      "loss": -0.0627,
      "on_policy_loss": -0.0627,
      "step": 1914
    },
    {
      "epoch": 0.5109333333333334,
      "grad_norm": 0.1465270221233368,
      "learning_rate": 3.723333333333334e-06,
      "loss": -0.0718,
      "on_policy_loss": -0.0718,
      "step": 1916
    },
    {
      "epoch": 0.5114666666666666,
      "grad_norm": 0.17007991671562195,
      "learning_rate": 3.722e-06,
      "loss": -0.0683,
      "on_policy_loss": -0.0683,
      "step": 1918
    },
    {
      "epoch": 0.512,
      "grad_norm": 0.2234821915626526,
      "learning_rate": 3.720666666666667e-06,
      "loss": -0.0714,
      "on_policy_loss": -0.0714,
      "step": 1920
    },
    {
      "epoch": 0.5125333333333333,
      "grad_norm": 0.16677948832511902,
      "learning_rate": 3.7193333333333335e-06,
      "loss": -0.0737,
      "on_policy_loss": -0.0737,
      "step": 1922
    },
    {
      "epoch": 0.5130666666666667,
      "grad_norm": 0.1681392341852188,
      "learning_rate": 3.7180000000000007e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 1924
    },
    {
      "epoch": 0.5136,
      "grad_norm": 0.20865853130817413,
      "learning_rate": 3.716666666666667e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 1926
    },
    {
      "epoch": 0.5141333333333333,
      "grad_norm": 0.16706383228302002,
      "learning_rate": 3.7153333333333336e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 1928
    },
    {
      "epoch": 0.5146666666666667,
      "grad_norm": 0.19631613790988922,
      "learning_rate": 3.7140000000000004e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 1930
    },
    {
      "epoch": 0.5152,
      "grad_norm": 0.19699279963970184,
      "learning_rate": 3.712666666666667e-06,
      "loss": -0.0665,
      "on_policy_loss": -0.0665,
      "step": 1932
    },
    {
      "epoch": 0.5157333333333334,
      "grad_norm": 0.21531906723976135,
      "learning_rate": 3.7113333333333333e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 1934
    },
    {
      "epoch": 0.5162666666666667,
      "grad_norm": 0.21645496785640717,
      "learning_rate": 3.7100000000000005e-06,
      "loss": -0.073,
      "on_policy_loss": -0.073,
      "step": 1936
    },
    {
      "epoch": 0.5168,
      "grad_norm": 0.20744375884532928,
      "learning_rate": 3.708666666666667e-06,
      "loss": -0.0704,
      "on_policy_loss": -0.0704,
      "step": 1938
    },
    {
      "epoch": 0.5173333333333333,
      "grad_norm": 0.20320744812488556,
      "learning_rate": 3.707333333333334e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 1940
    },
    {
      "epoch": 0.5178666666666667,
      "grad_norm": 0.1708565205335617,
      "learning_rate": 3.706e-06,
      "loss": -0.0618,
      "on_policy_loss": -0.0618,
      "step": 1942
    },
    {
      "epoch": 0.5184,
      "grad_norm": 0.19834302365779877,
      "learning_rate": 3.704666666666667e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 1944
    },
    {
      "epoch": 0.5189333333333334,
      "grad_norm": 0.2274005264043808,
      "learning_rate": 3.7033333333333336e-06,
      "loss": -0.0694,
      "on_policy_loss": -0.0694,
      "step": 1946
    },
    {
      "epoch": 0.5194666666666666,
      "grad_norm": 0.17355921864509583,
      "learning_rate": 3.702e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 1948
    },
    {
      "epoch": 0.52,
      "grad_norm": 0.16861720383167267,
      "learning_rate": 3.700666666666667e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 1950
    },
    {
      "epoch": 0.5205333333333333,
      "grad_norm": 0.16484855115413666,
      "learning_rate": 3.6993333333333337e-06,
      "loss": -0.0726,
      "on_policy_loss": -0.0726,
      "step": 1952
    },
    {
      "epoch": 0.5210666666666667,
      "grad_norm": 0.17958787083625793,
      "learning_rate": 3.6980000000000004e-06,
      "loss": -0.0713,
      "on_policy_loss": -0.0713,
      "step": 1954
    },
    {
      "epoch": 0.5216,
      "grad_norm": 0.1823398470878601,
      "learning_rate": 3.6966666666666667e-06,
      "loss": -0.0742,
      "on_policy_loss": -0.0742,
      "step": 1956
    },
    {
      "epoch": 0.5221333333333333,
      "grad_norm": 0.21973145008087158,
      "learning_rate": 3.6953333333333334e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 1958
    },
    {
      "epoch": 0.5226666666666666,
      "grad_norm": 0.14764069020748138,
      "learning_rate": 3.6940000000000005e-06,
      "loss": -0.0721,
      "on_policy_loss": -0.0721,
      "step": 1960
    },
    {
      "epoch": 0.5232,
      "grad_norm": 0.1868775337934494,
      "learning_rate": 3.6926666666666673e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 1962
    },
    {
      "epoch": 0.5237333333333334,
      "grad_norm": 0.21566976606845856,
      "learning_rate": 3.6913333333333335e-06,
      "loss": -0.0671,
      "on_policy_loss": -0.0671,
      "step": 1964
    },
    {
      "epoch": 0.5242666666666667,
      "grad_norm": 0.20849841833114624,
      "learning_rate": 3.6900000000000002e-06,
      "loss": -0.0694,
      "on_policy_loss": -0.0694,
      "step": 1966
    },
    {
      "epoch": 0.5248,
      "grad_norm": 0.2149738222360611,
      "learning_rate": 3.688666666666667e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 1968
    },
    {
      "epoch": 0.5253333333333333,
      "grad_norm": 0.23153921961784363,
      "learning_rate": 3.687333333333334e-06,
      "loss": -0.0683,
      "on_policy_loss": -0.0683,
      "step": 1970
    },
    {
      "epoch": 0.5258666666666667,
      "grad_norm": 0.15230922400951385,
      "learning_rate": 3.686e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 1972
    },
    {
      "epoch": 0.5264,
      "grad_norm": 0.18595963716506958,
      "learning_rate": 3.684666666666667e-06,
      "loss": -0.0721,
      "on_policy_loss": -0.0721,
      "step": 1974
    },
    {
      "epoch": 0.5269333333333334,
      "grad_norm": 0.19948115944862366,
      "learning_rate": 3.6833333333333338e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 1976
    },
    {
      "epoch": 0.5274666666666666,
      "grad_norm": 0.1835745871067047,
      "learning_rate": 3.6820000000000005e-06,
      "loss": -0.0735,
      "on_policy_loss": -0.0735,
      "step": 1978
    },
    {
      "epoch": 0.528,
      "grad_norm": 0.19619888067245483,
      "learning_rate": 3.6806666666666668e-06,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 1980
    },
    {
      "epoch": 0.5285333333333333,
      "grad_norm": 0.17411762475967407,
      "learning_rate": 3.6793333333333335e-06,
      "loss": -0.0698,
      "on_policy_loss": -0.0698,
      "step": 1982
    },
    {
      "epoch": 0.5290666666666667,
      "grad_norm": 0.2252412736415863,
      "learning_rate": 3.6780000000000006e-06,
      "loss": -0.0726,
      "on_policy_loss": -0.0726,
      "step": 1984
    },
    {
      "epoch": 0.5296,
      "grad_norm": 0.16706028580665588,
      "learning_rate": 3.676666666666667e-06,
      "loss": -0.0719,
      "on_policy_loss": -0.0719,
      "step": 1986
    },
    {
      "epoch": 0.5301333333333333,
      "grad_norm": 0.1853313446044922,
      "learning_rate": 3.6753333333333336e-06,
      "loss": -0.069,
      "on_policy_loss": -0.069,
      "step": 1988
    },
    {
      "epoch": 0.5306666666666666,
      "grad_norm": 0.18129228055477142,
      "learning_rate": 3.6740000000000003e-06,
      "loss": -0.0701,
      "on_policy_loss": -0.0701,
      "step": 1990
    },
    {
      "epoch": 0.5312,
      "grad_norm": 0.22024941444396973,
      "learning_rate": 3.672666666666667e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 1992
    },
    {
      "epoch": 0.5317333333333333,
      "grad_norm": 0.19112664461135864,
      "learning_rate": 3.6713333333333333e-06,
      "loss": -0.0697,
      "on_policy_loss": -0.0697,
      "step": 1994
    },
    {
      "epoch": 0.5322666666666667,
      "grad_norm": 0.1968199610710144,
      "learning_rate": 3.6700000000000004e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 1996
    },
    {
      "epoch": 0.5328,
      "grad_norm": 0.1858130842447281,
      "learning_rate": 3.668666666666667e-06,
      "loss": -0.0694,
      "on_policy_loss": -0.0694,
      "step": 1998
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 0.2025444507598877,
      "learning_rate": 3.667333333333334e-06,
      "loss": -0.0726,
      "on_policy_loss": -0.0726,
      "step": 2000
    },
    {
      "epoch": 0.5338666666666667,
      "grad_norm": 0.1798790544271469,
      "learning_rate": 3.666e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 2002
    },
    {
      "epoch": 0.5344,
      "grad_norm": 0.20106691122055054,
      "learning_rate": 3.664666666666667e-06,
      "loss": -0.0669,
      "on_policy_loss": -0.0669,
      "step": 2004
    },
    {
      "epoch": 0.5349333333333334,
      "grad_norm": 0.1668173372745514,
      "learning_rate": 3.6633333333333336e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 2006
    },
    {
      "epoch": 0.5354666666666666,
      "grad_norm": 0.22324997186660767,
      "learning_rate": 3.6620000000000007e-06,
      "loss": -0.0688,
      "on_policy_loss": -0.0688,
      "step": 2008
    },
    {
      "epoch": 0.536,
      "grad_norm": 0.15287533402442932,
      "learning_rate": 3.660666666666667e-06,
      "loss": -0.075,
      "on_policy_loss": -0.075,
      "step": 2010
    },
    {
      "epoch": 0.5365333333333333,
      "grad_norm": 0.18675178289413452,
      "learning_rate": 3.6593333333333337e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 2012
    },
    {
      "epoch": 0.5370666666666667,
      "grad_norm": 0.16644203662872314,
      "learning_rate": 3.6580000000000004e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 2014
    },
    {
      "epoch": 0.5376,
      "grad_norm": 0.25235283374786377,
      "learning_rate": 3.6566666666666667e-06,
      "loss": -0.0734,
      "on_policy_loss": -0.0734,
      "step": 2016
    },
    {
      "epoch": 0.5381333333333334,
      "grad_norm": 0.19568102061748505,
      "learning_rate": 3.6553333333333334e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 2018
    },
    {
      "epoch": 0.5386666666666666,
      "grad_norm": 0.16011126339435577,
      "learning_rate": 3.6540000000000005e-06,
      "loss": -0.0694,
      "on_policy_loss": -0.0694,
      "step": 2020
    },
    {
      "epoch": 0.5392,
      "grad_norm": 0.2110920399427414,
      "learning_rate": 3.6526666666666672e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 2022
    },
    {
      "epoch": 0.5397333333333333,
      "grad_norm": 0.17504148185253143,
      "learning_rate": 3.6513333333333335e-06,
      "loss": -0.0714,
      "on_policy_loss": -0.0714,
      "step": 2024
    },
    {
      "epoch": 0.5402666666666667,
      "grad_norm": 0.18974773585796356,
      "learning_rate": 3.65e-06,
      "loss": -0.0731,
      "on_policy_loss": -0.0731,
      "step": 2026
    },
    {
      "epoch": 0.5408,
      "grad_norm": 0.18226955831050873,
      "learning_rate": 3.648666666666667e-06,
      "loss": -0.072,
      "on_policy_loss": -0.072,
      "step": 2028
    },
    {
      "epoch": 0.5413333333333333,
      "grad_norm": 0.23451267182826996,
      "learning_rate": 3.647333333333334e-06,
      "loss": -0.0713,
      "on_policy_loss": -0.0713,
      "step": 2030
    },
    {
      "epoch": 0.5418666666666667,
      "grad_norm": 0.15396080911159515,
      "learning_rate": 3.646e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 2032
    },
    {
      "epoch": 0.5424,
      "grad_norm": 0.22001880407333374,
      "learning_rate": 3.644666666666667e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 2034
    },
    {
      "epoch": 0.5429333333333334,
      "grad_norm": 0.15699456632137299,
      "learning_rate": 3.6433333333333337e-06,
      "loss": -0.0704,
      "on_policy_loss": -0.0704,
      "step": 2036
    },
    {
      "epoch": 0.5434666666666667,
      "grad_norm": 0.16733627021312714,
      "learning_rate": 3.6420000000000005e-06,
      "loss": -0.0699,
      "on_policy_loss": -0.0699,
      "step": 2038
    },
    {
      "epoch": 0.544,
      "grad_norm": 0.22402407228946686,
      "learning_rate": 3.6406666666666667e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 2040
    },
    {
      "epoch": 0.5445333333333333,
      "grad_norm": 0.18652644753456116,
      "learning_rate": 3.6393333333333334e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 2042
    },
    {
      "epoch": 0.5450666666666667,
      "grad_norm": 0.18122322857379913,
      "learning_rate": 3.6380000000000006e-06,
      "loss": -0.0719,
      "on_policy_loss": -0.0719,
      "step": 2044
    },
    {
      "epoch": 0.5456,
      "grad_norm": 0.1695621758699417,
      "learning_rate": 3.6366666666666673e-06,
      "loss": -0.0742,
      "on_policy_loss": -0.0742,
      "step": 2046
    },
    {
      "epoch": 0.5461333333333334,
      "grad_norm": 0.16922539472579956,
      "learning_rate": 3.6353333333333336e-06,
      "loss": -0.0696,
      "on_policy_loss": -0.0696,
      "step": 2048
    },
    {
      "epoch": 0.5466666666666666,
      "grad_norm": 0.2109002023935318,
      "learning_rate": 3.6340000000000003e-06,
      "loss": -0.0685,
      "on_policy_loss": -0.0685,
      "step": 2050
    },
    {
      "epoch": 0.5472,
      "grad_norm": 0.1688011735677719,
      "learning_rate": 3.632666666666667e-06,
      "loss": -0.0702,
      "on_policy_loss": -0.0702,
      "step": 2052
    },
    {
      "epoch": 0.5477333333333333,
      "grad_norm": 0.15129928290843964,
      "learning_rate": 3.6313333333333333e-06,
      "loss": -0.0714,
      "on_policy_loss": -0.0714,
      "step": 2054
    },
    {
      "epoch": 0.5482666666666667,
      "grad_norm": 0.1860271394252777,
      "learning_rate": 3.6300000000000004e-06,
      "loss": -0.0727,
      "on_policy_loss": -0.0727,
      "step": 2056
    },
    {
      "epoch": 0.5488,
      "grad_norm": 0.1559414565563202,
      "learning_rate": 3.628666666666667e-06,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 2058
    },
    {
      "epoch": 0.5493333333333333,
      "grad_norm": 0.15895448625087738,
      "learning_rate": 3.627333333333334e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 2060
    },
    {
      "epoch": 0.5498666666666666,
      "grad_norm": 0.1898922473192215,
      "learning_rate": 3.626e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 2062
    },
    {
      "epoch": 0.5504,
      "grad_norm": 0.16533485054969788,
      "learning_rate": 3.624666666666667e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 2064
    },
    {
      "epoch": 0.5509333333333334,
      "grad_norm": 0.17304080724716187,
      "learning_rate": 3.6233333333333335e-06,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 2066
    },
    {
      "epoch": 0.5514666666666667,
      "grad_norm": 0.16986334323883057,
      "learning_rate": 3.6220000000000006e-06,
      "loss": -0.0745,
      "on_policy_loss": -0.0745,
      "step": 2068
    },
    {
      "epoch": 0.552,
      "grad_norm": 0.23958417773246765,
      "learning_rate": 3.620666666666667e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 2070
    },
    {
      "epoch": 0.5525333333333333,
      "grad_norm": 0.21302001178264618,
      "learning_rate": 3.6193333333333336e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 2072
    },
    {
      "epoch": 0.5530666666666667,
      "grad_norm": 0.17135483026504517,
      "learning_rate": 3.6180000000000003e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 2074
    },
    {
      "epoch": 0.5536,
      "grad_norm": 0.17640471458435059,
      "learning_rate": 3.616666666666667e-06,
      "loss": -0.0726,
      "on_policy_loss": -0.0726,
      "step": 2076
    },
    {
      "epoch": 0.5541333333333334,
      "grad_norm": 0.2016381174325943,
      "learning_rate": 3.6153333333333333e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 2078
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 0.15941819548606873,
      "learning_rate": 3.6140000000000005e-06,
      "loss": -0.0769,
      "on_policy_loss": -0.0769,
      "step": 2080
    },
    {
      "epoch": 0.5552,
      "grad_norm": 0.17981193959712982,
      "learning_rate": 3.612666666666667e-06,
      "loss": -0.0701,
      "on_policy_loss": -0.0701,
      "step": 2082
    },
    {
      "epoch": 0.5557333333333333,
      "grad_norm": 0.16908656060695648,
      "learning_rate": 3.6113333333333335e-06,
      "loss": -0.0718,
      "on_policy_loss": -0.0718,
      "step": 2084
    },
    {
      "epoch": 0.5562666666666667,
      "grad_norm": 0.20240505039691925,
      "learning_rate": 3.61e-06,
      "loss": -0.0699,
      "on_policy_loss": -0.0699,
      "step": 2086
    },
    {
      "epoch": 0.5568,
      "grad_norm": 0.19329164922237396,
      "learning_rate": 3.608666666666667e-06,
      "loss": -0.0701,
      "on_policy_loss": -0.0701,
      "step": 2088
    },
    {
      "epoch": 0.5573333333333333,
      "grad_norm": 0.1624472439289093,
      "learning_rate": 3.607333333333334e-06,
      "loss": -0.0739,
      "on_policy_loss": -0.0739,
      "step": 2090
    },
    {
      "epoch": 0.5578666666666666,
      "grad_norm": 0.22287073731422424,
      "learning_rate": 3.606e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 2092
    },
    {
      "epoch": 0.5584,
      "grad_norm": 0.19185921549797058,
      "learning_rate": 3.604666666666667e-06,
      "loss": -0.0725,
      "on_policy_loss": -0.0725,
      "step": 2094
    },
    {
      "epoch": 0.5589333333333333,
      "grad_norm": 0.1381329447031021,
      "learning_rate": 3.6033333333333337e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 2096
    },
    {
      "epoch": 0.5594666666666667,
      "grad_norm": 0.17726333439350128,
      "learning_rate": 3.6020000000000004e-06,
      "loss": -0.0685,
      "on_policy_loss": -0.0685,
      "step": 2098
    },
    {
      "epoch": 0.56,
      "grad_norm": 0.17590969800949097,
      "learning_rate": 3.6006666666666667e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 2100
    },
    {
      "epoch": 0.5605333333333333,
      "grad_norm": 0.18420295417308807,
      "learning_rate": 3.5993333333333334e-06,
      "loss": -0.0649,
      "on_policy_loss": -0.0649,
      "step": 2102
    },
    {
      "epoch": 0.5610666666666667,
      "grad_norm": 0.2067665457725525,
      "learning_rate": 3.5980000000000005e-06,
      "loss": -0.0688,
      "on_policy_loss": -0.0688,
      "step": 2104
    },
    {
      "epoch": 0.5616,
      "grad_norm": 0.15294142067432404,
      "learning_rate": 3.5966666666666672e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 2106
    },
    {
      "epoch": 0.5621333333333334,
      "grad_norm": 0.19013816118240356,
      "learning_rate": 3.5953333333333335e-06,
      "loss": -0.0714,
      "on_policy_loss": -0.0714,
      "step": 2108
    },
    {
      "epoch": 0.5626666666666666,
      "grad_norm": 0.15720126032829285,
      "learning_rate": 3.5940000000000002e-06,
      "loss": -0.0703,
      "on_policy_loss": -0.0703,
      "step": 2110
    },
    {
      "epoch": 0.5632,
      "grad_norm": 0.1816473752260208,
      "learning_rate": 3.592666666666667e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 2112
    },
    {
      "epoch": 0.5637333333333333,
      "grad_norm": 0.16696250438690186,
      "learning_rate": 3.591333333333334e-06,
      "loss": -0.0686,
      "on_policy_loss": -0.0686,
      "step": 2114
    },
    {
      "epoch": 0.5642666666666667,
      "grad_norm": 0.16870523989200592,
      "learning_rate": 3.5900000000000004e-06,
      "loss": -0.0733,
      "on_policy_loss": -0.0733,
      "step": 2116
    },
    {
      "epoch": 0.5648,
      "grad_norm": 0.1873714029788971,
      "learning_rate": 3.588666666666667e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 2118
    },
    {
      "epoch": 0.5653333333333334,
      "grad_norm": 0.16665339469909668,
      "learning_rate": 3.5873333333333338e-06,
      "loss": -0.0663,
      "on_policy_loss": -0.0663,
      "step": 2120
    },
    {
      "epoch": 0.5658666666666666,
      "grad_norm": 0.1762920767068863,
      "learning_rate": 3.586e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 2122
    },
    {
      "epoch": 0.5664,
      "grad_norm": 0.1682651787996292,
      "learning_rate": 3.5846666666666668e-06,
      "loss": -0.0706,
      "on_policy_loss": -0.0706,
      "step": 2124
    },
    {
      "epoch": 0.5669333333333333,
      "grad_norm": 0.1799958050251007,
      "learning_rate": 3.5833333333333335e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 2126
    },
    {
      "epoch": 0.5674666666666667,
      "grad_norm": 0.17301106452941895,
      "learning_rate": 3.5820000000000006e-06,
      "loss": -0.0731,
      "on_policy_loss": -0.0731,
      "step": 2128
    },
    {
      "epoch": 0.568,
      "grad_norm": 0.19349445402622223,
      "learning_rate": 3.580666666666667e-06,
      "loss": -0.0702,
      "on_policy_loss": -0.0702,
      "step": 2130
    },
    {
      "epoch": 0.5685333333333333,
      "grad_norm": 0.20763032138347626,
      "learning_rate": 3.5793333333333336e-06,
      "loss": -0.0705,
      "on_policy_loss": -0.0705,
      "step": 2132
    },
    {
      "epoch": 0.5690666666666667,
      "grad_norm": 0.18876132369041443,
      "learning_rate": 3.5780000000000003e-06,
      "loss": -0.0729,
      "on_policy_loss": -0.0729,
      "step": 2134
    },
    {
      "epoch": 0.5696,
      "grad_norm": 0.1787310093641281,
      "learning_rate": 3.576666666666667e-06,
      "loss": -0.0749,
      "on_policy_loss": -0.0749,
      "step": 2136
    },
    {
      "epoch": 0.5701333333333334,
      "grad_norm": 0.15122126042842865,
      "learning_rate": 3.5753333333333333e-06,
      "loss": -0.0693,
      "on_policy_loss": -0.0693,
      "step": 2138
    },
    {
      "epoch": 0.5706666666666667,
      "grad_norm": 0.197998046875,
      "learning_rate": 3.5740000000000004e-06,
      "loss": -0.0736,
      "on_policy_loss": -0.0736,
      "step": 2140
    },
    {
      "epoch": 0.5712,
      "grad_norm": 0.2089933454990387,
      "learning_rate": 3.572666666666667e-06,
      "loss": -0.0686,
      "on_policy_loss": -0.0686,
      "step": 2142
    },
    {
      "epoch": 0.5717333333333333,
      "grad_norm": 0.19427138566970825,
      "learning_rate": 3.571333333333334e-06,
      "loss": -0.0725,
      "on_policy_loss": -0.0725,
      "step": 2144
    },
    {
      "epoch": 0.5722666666666667,
      "grad_norm": 0.1920882761478424,
      "learning_rate": 3.57e-06,
      "loss": -0.0692,
      "on_policy_loss": -0.0692,
      "step": 2146
    },
    {
      "epoch": 0.5728,
      "grad_norm": 0.1755281537771225,
      "learning_rate": 3.568666666666667e-06,
      "loss": -0.0685,
      "on_policy_loss": -0.0685,
      "step": 2148
    },
    {
      "epoch": 0.5733333333333334,
      "grad_norm": 0.16065554320812225,
      "learning_rate": 3.567333333333334e-06,
      "loss": -0.0702,
      "on_policy_loss": -0.0702,
      "step": 2150
    },
    {
      "epoch": 0.5738666666666666,
      "grad_norm": 0.19137512147426605,
      "learning_rate": 3.566e-06,
      "loss": -0.0731,
      "on_policy_loss": -0.0731,
      "step": 2152
    },
    {
      "epoch": 0.5744,
      "grad_norm": 0.14703917503356934,
      "learning_rate": 3.564666666666667e-06,
      "loss": -0.0716,
      "on_policy_loss": -0.0716,
      "step": 2154
    },
    {
      "epoch": 0.5749333333333333,
      "grad_norm": 0.18009409308433533,
      "learning_rate": 3.5633333333333337e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 2156
    },
    {
      "epoch": 0.5754666666666667,
      "grad_norm": 0.18654975295066833,
      "learning_rate": 3.5620000000000004e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 2158
    },
    {
      "epoch": 0.576,
      "grad_norm": 0.17275723814964294,
      "learning_rate": 3.5606666666666667e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 2160
    },
    {
      "epoch": 0.5765333333333333,
      "grad_norm": 0.18937093019485474,
      "learning_rate": 3.5593333333333334e-06,
      "loss": -0.0734,
      "on_policy_loss": -0.0734,
      "step": 2162
    },
    {
      "epoch": 0.5770666666666666,
      "grad_norm": 0.18581244349479675,
      "learning_rate": 3.5580000000000005e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 2164
    },
    {
      "epoch": 0.5776,
      "grad_norm": 0.15960843861103058,
      "learning_rate": 3.556666666666667e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 2166
    },
    {
      "epoch": 0.5781333333333334,
      "grad_norm": 0.2249876707792282,
      "learning_rate": 3.5553333333333335e-06,
      "loss": -0.0736,
      "on_policy_loss": -0.0736,
      "step": 2168
    },
    {
      "epoch": 0.5786666666666667,
      "grad_norm": 0.16164115071296692,
      "learning_rate": 3.554e-06,
      "loss": -0.0726,
      "on_policy_loss": -0.0726,
      "step": 2170
    },
    {
      "epoch": 0.5792,
      "grad_norm": 0.14947329461574554,
      "learning_rate": 3.552666666666667e-06,
      "loss": -0.0721,
      "on_policy_loss": -0.0721,
      "step": 2172
    },
    {
      "epoch": 0.5797333333333333,
      "grad_norm": 0.15794403851032257,
      "learning_rate": 3.551333333333334e-06,
      "loss": -0.0726,
      "on_policy_loss": -0.0726,
      "step": 2174
    },
    {
      "epoch": 0.5802666666666667,
      "grad_norm": 0.19645677506923676,
      "learning_rate": 3.5500000000000003e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 2176
    },
    {
      "epoch": 0.5808,
      "grad_norm": 0.18587180972099304,
      "learning_rate": 3.548666666666667e-06,
      "loss": -0.0698,
      "on_policy_loss": -0.0698,
      "step": 2178
    },
    {
      "epoch": 0.5813333333333334,
      "grad_norm": 0.1525213122367859,
      "learning_rate": 3.5473333333333337e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 2180
    },
    {
      "epoch": 0.5818666666666666,
      "grad_norm": 0.1574338674545288,
      "learning_rate": 3.5460000000000004e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 2182
    },
    {
      "epoch": 0.5824,
      "grad_norm": 0.18151883780956268,
      "learning_rate": 3.5446666666666667e-06,
      "loss": -0.0709,
      "on_policy_loss": -0.0709,
      "step": 2184
    },
    {
      "epoch": 0.5829333333333333,
      "grad_norm": 0.19862250983715057,
      "learning_rate": 3.5433333333333334e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 2186
    },
    {
      "epoch": 0.5834666666666667,
      "grad_norm": 0.16162118315696716,
      "learning_rate": 3.5420000000000006e-06,
      "loss": -0.0695,
      "on_policy_loss": -0.0695,
      "step": 2188
    },
    {
      "epoch": 0.584,
      "grad_norm": 0.18139168620109558,
      "learning_rate": 3.540666666666667e-06,
      "loss": -0.0706,
      "on_policy_loss": -0.0706,
      "step": 2190
    },
    {
      "epoch": 0.5845333333333333,
      "grad_norm": 0.15723071992397308,
      "learning_rate": 3.5393333333333336e-06,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 2192
    },
    {
      "epoch": 0.5850666666666666,
      "grad_norm": 0.15526063740253448,
      "learning_rate": 3.5380000000000003e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 2194
    },
    {
      "epoch": 0.5856,
      "grad_norm": 0.18064486980438232,
      "learning_rate": 3.536666666666667e-06,
      "loss": -0.0762,
      "on_policy_loss": -0.0762,
      "step": 2196
    },
    {
      "epoch": 0.5861333333333333,
      "grad_norm": 0.1914656162261963,
      "learning_rate": 3.5353333333333333e-06,
      "loss": -0.0723,
      "on_policy_loss": -0.0723,
      "step": 2198
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 0.15708042681217194,
      "learning_rate": 3.5340000000000004e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 2200
    },
    {
      "epoch": 0.5872,
      "grad_norm": 0.2067164033651352,
      "learning_rate": 3.532666666666667e-06,
      "loss": -0.0713,
      "on_policy_loss": -0.0713,
      "step": 2202
    },
    {
      "epoch": 0.5877333333333333,
      "grad_norm": 0.18713490664958954,
      "learning_rate": 3.531333333333334e-06,
      "loss": -0.075,
      "on_policy_loss": -0.075,
      "step": 2204
    },
    {
      "epoch": 0.5882666666666667,
      "grad_norm": 0.1679733395576477,
      "learning_rate": 3.53e-06,
      "loss": -0.0752,
      "on_policy_loss": -0.0752,
      "step": 2206
    },
    {
      "epoch": 0.5888,
      "grad_norm": 0.19738700985908508,
      "learning_rate": 3.528666666666667e-06,
      "loss": -0.073,
      "on_policy_loss": -0.073,
      "step": 2208
    },
    {
      "epoch": 0.5893333333333334,
      "grad_norm": 0.1837424486875534,
      "learning_rate": 3.527333333333334e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 2210
    },
    {
      "epoch": 0.5898666666666667,
      "grad_norm": 0.20297187566757202,
      "learning_rate": 3.5260000000000006e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 2212
    },
    {
      "epoch": 0.5904,
      "grad_norm": 0.15520885586738586,
      "learning_rate": 3.524666666666667e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 2214
    },
    {
      "epoch": 0.5909333333333333,
      "grad_norm": 0.17819225788116455,
      "learning_rate": 3.5233333333333336e-06,
      "loss": -0.0725,
      "on_policy_loss": -0.0725,
      "step": 2216
    },
    {
      "epoch": 0.5914666666666667,
      "grad_norm": 0.18907789885997772,
      "learning_rate": 3.5220000000000003e-06,
      "loss": -0.0682,
      "on_policy_loss": -0.0682,
      "step": 2218
    },
    {
      "epoch": 0.592,
      "grad_norm": 0.19653652608394623,
      "learning_rate": 3.520666666666667e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 2220
    },
    {
      "epoch": 0.5925333333333334,
      "grad_norm": 0.15320171415805817,
      "learning_rate": 3.5193333333333333e-06,
      "loss": -0.0694,
      "on_policy_loss": -0.0694,
      "step": 2222
    },
    {
      "epoch": 0.5930666666666666,
      "grad_norm": 0.17360898852348328,
      "learning_rate": 3.5180000000000005e-06,
      "loss": -0.0717,
      "on_policy_loss": -0.0717,
      "step": 2224
    },
    {
      "epoch": 0.5936,
      "grad_norm": 0.1935376524925232,
      "learning_rate": 3.516666666666667e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 2226
    },
    {
      "epoch": 0.5941333333333333,
      "grad_norm": 0.1598905771970749,
      "learning_rate": 3.5153333333333334e-06,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 2228
    },
    {
      "epoch": 0.5946666666666667,
      "grad_norm": 0.1886766254901886,
      "learning_rate": 3.514e-06,
      "loss": -0.0719,
      "on_policy_loss": -0.0719,
      "step": 2230
    },
    {
      "epoch": 0.5952,
      "grad_norm": 0.16905507445335388,
      "learning_rate": 3.512666666666667e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 2232
    },
    {
      "epoch": 0.5957333333333333,
      "grad_norm": 0.20768576860427856,
      "learning_rate": 3.511333333333334e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 2234
    },
    {
      "epoch": 0.5962666666666666,
      "grad_norm": 0.20713107287883759,
      "learning_rate": 3.5100000000000003e-06,
      "loss": -0.072,
      "on_policy_loss": -0.072,
      "step": 2236
    },
    {
      "epoch": 0.5968,
      "grad_norm": 0.18396838009357452,
      "learning_rate": 3.508666666666667e-06,
      "loss": -0.072,
      "on_policy_loss": -0.072,
      "step": 2238
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 0.19829975068569183,
      "learning_rate": 3.5073333333333337e-06,
      "loss": -0.0729,
      "on_policy_loss": -0.0729,
      "step": 2240
    },
    {
      "epoch": 0.5978666666666667,
      "grad_norm": 0.17548418045043945,
      "learning_rate": 3.5060000000000004e-06,
      "loss": -0.0719,
      "on_policy_loss": -0.0719,
      "step": 2242
    },
    {
      "epoch": 0.5984,
      "grad_norm": 0.17512519657611847,
      "learning_rate": 3.5046666666666667e-06,
      "loss": -0.0689,
      "on_policy_loss": -0.0689,
      "step": 2244
    },
    {
      "epoch": 0.5989333333333333,
      "grad_norm": 0.19721022248268127,
      "learning_rate": 3.5033333333333334e-06,
      "loss": -0.0735,
      "on_policy_loss": -0.0735,
      "step": 2246
    },
    {
      "epoch": 0.5994666666666667,
      "grad_norm": 0.1930919736623764,
      "learning_rate": 3.5020000000000005e-06,
      "loss": -0.0723,
      "on_policy_loss": -0.0723,
      "step": 2248
    },
    {
      "epoch": 0.6,
      "grad_norm": 0.20337922871112823,
      "learning_rate": 3.5006666666666672e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 2250
    },
    {
      "epoch": 0.6005333333333334,
      "grad_norm": 0.21928365528583527,
      "learning_rate": 3.4993333333333335e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 2252
    },
    {
      "epoch": 0.6010666666666666,
      "grad_norm": 0.2083401381969452,
      "learning_rate": 3.4980000000000002e-06,
      "loss": -0.0723,
      "on_policy_loss": -0.0723,
      "step": 2254
    },
    {
      "epoch": 0.6016,
      "grad_norm": 0.15188780426979065,
      "learning_rate": 3.496666666666667e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 2256
    },
    {
      "epoch": 0.6021333333333333,
      "grad_norm": 0.17728924751281738,
      "learning_rate": 3.4953333333333332e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 2258
    },
    {
      "epoch": 0.6026666666666667,
      "grad_norm": 0.15854518115520477,
      "learning_rate": 3.4940000000000003e-06,
      "loss": -0.0723,
      "on_policy_loss": -0.0723,
      "step": 2260
    },
    {
      "epoch": 0.6032,
      "grad_norm": 0.21602027118206024,
      "learning_rate": 3.492666666666667e-06,
      "loss": -0.0742,
      "on_policy_loss": -0.0742,
      "step": 2262
    },
    {
      "epoch": 0.6037333333333333,
      "grad_norm": 0.25719326734542847,
      "learning_rate": 3.4913333333333338e-06,
      "loss": -0.0752,
      "on_policy_loss": -0.0752,
      "step": 2264
    },
    {
      "epoch": 0.6042666666666666,
      "grad_norm": 0.19725072383880615,
      "learning_rate": 3.49e-06,
      "loss": -0.065,
      "on_policy_loss": -0.065,
      "step": 2266
    },
    {
      "epoch": 0.6048,
      "grad_norm": 0.20560520887374878,
      "learning_rate": 3.4886666666666668e-06,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 2268
    },
    {
      "epoch": 0.6053333333333333,
      "grad_norm": 0.21836276352405548,
      "learning_rate": 3.487333333333334e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 2270
    },
    {
      "epoch": 0.6058666666666667,
      "grad_norm": 0.182217076420784,
      "learning_rate": 3.4860000000000006e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 2272
    },
    {
      "epoch": 0.6064,
      "grad_norm": 0.16543956100940704,
      "learning_rate": 3.484666666666667e-06,
      "loss": -0.0737,
      "on_policy_loss": -0.0737,
      "step": 2274
    },
    {
      "epoch": 0.6069333333333333,
      "grad_norm": 0.1948879510164261,
      "learning_rate": 3.4833333333333336e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 2276
    },
    {
      "epoch": 0.6074666666666667,
      "grad_norm": 0.1630302220582962,
      "learning_rate": 3.4820000000000003e-06,
      "loss": -0.0699,
      "on_policy_loss": -0.0699,
      "step": 2278
    },
    {
      "epoch": 0.608,
      "grad_norm": 0.16466912627220154,
      "learning_rate": 3.480666666666667e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 2280
    },
    {
      "epoch": 0.6085333333333334,
      "grad_norm": 0.16120177507400513,
      "learning_rate": 3.4793333333333333e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 2282
    },
    {
      "epoch": 0.6090666666666666,
      "grad_norm": 0.2328471839427948,
      "learning_rate": 3.4780000000000004e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 2284
    },
    {
      "epoch": 0.6096,
      "grad_norm": 0.20789209008216858,
      "learning_rate": 3.476666666666667e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 2286
    },
    {
      "epoch": 0.6101333333333333,
      "grad_norm": 0.19060011208057404,
      "learning_rate": 3.475333333333334e-06,
      "loss": -0.0695,
      "on_policy_loss": -0.0695,
      "step": 2288
    },
    {
      "epoch": 0.6106666666666667,
      "grad_norm": 0.16151611506938934,
      "learning_rate": 3.474e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 2290
    },
    {
      "epoch": 0.6112,
      "grad_norm": 0.1737784594297409,
      "learning_rate": 3.472666666666667e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 2292
    },
    {
      "epoch": 0.6117333333333334,
      "grad_norm": 0.1710028052330017,
      "learning_rate": 3.471333333333334e-06,
      "loss": -0.0697,
      "on_policy_loss": -0.0697,
      "step": 2294
    },
    {
      "epoch": 0.6122666666666666,
      "grad_norm": 0.23078446090221405,
      "learning_rate": 3.4700000000000002e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 2296
    },
    {
      "epoch": 0.6128,
      "grad_norm": 0.2161426544189453,
      "learning_rate": 3.468666666666667e-06,
      "loss": -0.0688,
      "on_policy_loss": -0.0688,
      "step": 2298
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 0.1658225953578949,
      "learning_rate": 3.4673333333333337e-06,
      "loss": -0.0717,
      "on_policy_loss": -0.0717,
      "step": 2300
    },
    {
      "epoch": 0.6138666666666667,
      "grad_norm": 0.19015029072761536,
      "learning_rate": 3.4660000000000004e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 2302
    },
    {
      "epoch": 0.6144,
      "grad_norm": 0.17284494638442993,
      "learning_rate": 3.4646666666666666e-06,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 2304
    },
    {
      "epoch": 0.6149333333333333,
      "grad_norm": 0.1605074405670166,
      "learning_rate": 3.4633333333333333e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 2306
    },
    {
      "epoch": 0.6154666666666667,
      "grad_norm": 0.17483823001384735,
      "learning_rate": 3.4620000000000005e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 2308
    },
    {
      "epoch": 0.616,
      "grad_norm": 0.210618257522583,
      "learning_rate": 3.460666666666667e-06,
      "loss": -0.0684,
      "on_policy_loss": -0.0684,
      "step": 2310
    },
    {
      "epoch": 0.6165333333333334,
      "grad_norm": 0.17679376900196075,
      "learning_rate": 3.4593333333333335e-06,
      "loss": -0.0683,
      "on_policy_loss": -0.0683,
      "step": 2312
    },
    {
      "epoch": 0.6170666666666667,
      "grad_norm": 0.1833418309688568,
      "learning_rate": 3.458e-06,
      "loss": -0.073,
      "on_policy_loss": -0.073,
      "step": 2314
    },
    {
      "epoch": 0.6176,
      "grad_norm": 0.1987224519252777,
      "learning_rate": 3.456666666666667e-06,
      "loss": -0.0749,
      "on_policy_loss": -0.0749,
      "step": 2316
    },
    {
      "epoch": 0.6181333333333333,
      "grad_norm": 0.2104111760854721,
      "learning_rate": 3.455333333333334e-06,
      "loss": -0.075,
      "on_policy_loss": -0.075,
      "step": 2318
    },
    {
      "epoch": 0.6186666666666667,
      "grad_norm": 0.22001217305660248,
      "learning_rate": 3.4540000000000003e-06,
      "loss": -0.0736,
      "on_policy_loss": -0.0736,
      "step": 2320
    },
    {
      "epoch": 0.6192,
      "grad_norm": 0.17533881962299347,
      "learning_rate": 3.452666666666667e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 2322
    },
    {
      "epoch": 0.6197333333333334,
      "grad_norm": 0.1697084903717041,
      "learning_rate": 3.4513333333333337e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 2324
    },
    {
      "epoch": 0.6202666666666666,
      "grad_norm": 0.17220324277877808,
      "learning_rate": 3.45e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 2326
    },
    {
      "epoch": 0.6208,
      "grad_norm": 0.19697996973991394,
      "learning_rate": 3.4486666666666667e-06,
      "loss": -0.0749,
      "on_policy_loss": -0.0749,
      "step": 2328
    },
    {
      "epoch": 0.6213333333333333,
      "grad_norm": 0.1686526983976364,
      "learning_rate": 3.447333333333334e-06,
      "loss": -0.0735,
      "on_policy_loss": -0.0735,
      "step": 2330
    },
    {
      "epoch": 0.6218666666666667,
      "grad_norm": 0.1676264852285385,
      "learning_rate": 3.4460000000000005e-06,
      "loss": -0.0725,
      "on_policy_loss": -0.0725,
      "step": 2332
    },
    {
      "epoch": 0.6224,
      "grad_norm": 0.246242955327034,
      "learning_rate": 3.444666666666667e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 2334
    },
    {
      "epoch": 0.6229333333333333,
      "grad_norm": 0.17538286745548248,
      "learning_rate": 3.4433333333333335e-06,
      "loss": -0.0735,
      "on_policy_loss": -0.0735,
      "step": 2336
    },
    {
      "epoch": 0.6234666666666666,
      "grad_norm": 0.17298614978790283,
      "learning_rate": 3.4420000000000002e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 2338
    },
    {
      "epoch": 0.624,
      "grad_norm": 0.18486164510250092,
      "learning_rate": 3.440666666666667e-06,
      "loss": -0.0712,
      "on_policy_loss": -0.0712,
      "step": 2340
    },
    {
      "epoch": 0.6245333333333334,
      "grad_norm": 0.2088938057422638,
      "learning_rate": 3.4393333333333332e-06,
      "loss": -0.073,
      "on_policy_loss": -0.073,
      "step": 2342
    },
    {
      "epoch": 0.6250666666666667,
      "grad_norm": 0.16000786423683167,
      "learning_rate": 3.4380000000000004e-06,
      "loss": -0.0686,
      "on_policy_loss": -0.0686,
      "step": 2344
    },
    {
      "epoch": 0.6256,
      "grad_norm": 0.19963283836841583,
      "learning_rate": 3.436666666666667e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 2346
    },
    {
      "epoch": 0.6261333333333333,
      "grad_norm": 0.19939391314983368,
      "learning_rate": 3.4353333333333338e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 2348
    },
    {
      "epoch": 0.6266666666666667,
      "grad_norm": 0.20237071812152863,
      "learning_rate": 3.434e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 2350
    },
    {
      "epoch": 0.6272,
      "grad_norm": 0.16722817718982697,
      "learning_rate": 3.4326666666666668e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 2352
    },
    {
      "epoch": 0.6277333333333334,
      "grad_norm": 0.2512108087539673,
      "learning_rate": 3.431333333333334e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 2354
    },
    {
      "epoch": 0.6282666666666666,
      "grad_norm": 0.19177807867527008,
      "learning_rate": 3.4300000000000006e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 2356
    },
    {
      "epoch": 0.6288,
      "grad_norm": 0.16696517169475555,
      "learning_rate": 3.428666666666667e-06,
      "loss": -0.0731,
      "on_policy_loss": -0.0731,
      "step": 2358
    },
    {
      "epoch": 0.6293333333333333,
      "grad_norm": 0.1818615049123764,
      "learning_rate": 3.4273333333333336e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 2360
    },
    {
      "epoch": 0.6298666666666667,
      "grad_norm": 0.14864440262317657,
      "learning_rate": 3.4260000000000003e-06,
      "loss": -0.0685,
      "on_policy_loss": -0.0685,
      "step": 2362
    },
    {
      "epoch": 0.6304,
      "grad_norm": 0.2076728194952011,
      "learning_rate": 3.4246666666666666e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 2364
    },
    {
      "epoch": 0.6309333333333333,
      "grad_norm": 0.1562819480895996,
      "learning_rate": 3.4233333333333333e-06,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 2366
    },
    {
      "epoch": 0.6314666666666666,
      "grad_norm": 0.21857598423957825,
      "learning_rate": 3.4220000000000004e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 2368
    },
    {
      "epoch": 0.632,
      "grad_norm": 0.20090200006961823,
      "learning_rate": 3.420666666666667e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 2370
    },
    {
      "epoch": 0.6325333333333333,
      "grad_norm": 0.20398274064064026,
      "learning_rate": 3.4193333333333334e-06,
      "loss": -0.076,
      "on_policy_loss": -0.076,
      "step": 2372
    },
    {
      "epoch": 0.6330666666666667,
      "grad_norm": 0.1678989976644516,
      "learning_rate": 3.418e-06,
      "loss": -0.071,
      "on_policy_loss": -0.071,
      "step": 2374
    },
    {
      "epoch": 0.6336,
      "grad_norm": 0.1718376725912094,
      "learning_rate": 3.416666666666667e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 2376
    },
    {
      "epoch": 0.6341333333333333,
      "grad_norm": 0.16497474908828735,
      "learning_rate": 3.415333333333334e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 2378
    },
    {
      "epoch": 0.6346666666666667,
      "grad_norm": 0.16581086814403534,
      "learning_rate": 3.4140000000000003e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 2380
    },
    {
      "epoch": 0.6352,
      "grad_norm": 0.20166349411010742,
      "learning_rate": 3.412666666666667e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 2382
    },
    {
      "epoch": 0.6357333333333334,
      "grad_norm": 0.15956392884254456,
      "learning_rate": 3.4113333333333337e-06,
      "loss": -0.0702,
      "on_policy_loss": -0.0702,
      "step": 2384
    },
    {
      "epoch": 0.6362666666666666,
      "grad_norm": 0.1888173669576645,
      "learning_rate": 3.4100000000000004e-06,
      "loss": -0.0704,
      "on_policy_loss": -0.0704,
      "step": 2386
    },
    {
      "epoch": 0.6368,
      "grad_norm": 0.19344598054885864,
      "learning_rate": 3.4086666666666667e-06,
      "loss": -0.0745,
      "on_policy_loss": -0.0745,
      "step": 2388
    },
    {
      "epoch": 0.6373333333333333,
      "grad_norm": 0.22112910449504852,
      "learning_rate": 3.407333333333334e-06,
      "loss": -0.0697,
      "on_policy_loss": -0.0697,
      "step": 2390
    },
    {
      "epoch": 0.6378666666666667,
      "grad_norm": 0.171922504901886,
      "learning_rate": 3.4060000000000005e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 2392
    },
    {
      "epoch": 0.6384,
      "grad_norm": 0.15731166303157806,
      "learning_rate": 3.404666666666667e-06,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 2394
    },
    {
      "epoch": 0.6389333333333334,
      "grad_norm": 0.17591296136379242,
      "learning_rate": 3.4033333333333335e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 2396
    },
    {
      "epoch": 0.6394666666666666,
      "grad_norm": 0.19801044464111328,
      "learning_rate": 3.402e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 2398
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.1762043535709381,
      "learning_rate": 3.400666666666667e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 2400
    },
    {
      "epoch": 0.6405333333333333,
      "grad_norm": 0.18327604234218597,
      "learning_rate": 3.399333333333333e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 2402
    },
    {
      "epoch": 0.6410666666666667,
      "grad_norm": 0.2063472419977188,
      "learning_rate": 3.3980000000000003e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 2404
    },
    {
      "epoch": 0.6416,
      "grad_norm": 0.18273690342903137,
      "learning_rate": 3.396666666666667e-06,
      "loss": -0.0701,
      "on_policy_loss": -0.0701,
      "step": 2406
    },
    {
      "epoch": 0.6421333333333333,
      "grad_norm": 0.17954953014850616,
      "learning_rate": 3.3953333333333337e-06,
      "loss": -0.071,
      "on_policy_loss": -0.071,
      "step": 2408
    },
    {
      "epoch": 0.6426666666666667,
      "grad_norm": 0.20455250144004822,
      "learning_rate": 3.394e-06,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 2410
    },
    {
      "epoch": 0.6432,
      "grad_norm": 0.19897013902664185,
      "learning_rate": 3.3926666666666667e-06,
      "loss": -0.0743,
      "on_policy_loss": -0.0743,
      "step": 2412
    },
    {
      "epoch": 0.6437333333333334,
      "grad_norm": 0.20639915764331818,
      "learning_rate": 3.391333333333334e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 2414
    },
    {
      "epoch": 0.6442666666666667,
      "grad_norm": 0.22291769087314606,
      "learning_rate": 3.3900000000000006e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 2416
    },
    {
      "epoch": 0.6448,
      "grad_norm": 0.1661335527896881,
      "learning_rate": 3.388666666666667e-06,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 2418
    },
    {
      "epoch": 0.6453333333333333,
      "grad_norm": 0.1665630340576172,
      "learning_rate": 3.3873333333333336e-06,
      "loss": -0.0686,
      "on_policy_loss": -0.0686,
      "step": 2420
    },
    {
      "epoch": 0.6458666666666667,
      "grad_norm": 0.16788634657859802,
      "learning_rate": 3.3860000000000003e-06,
      "loss": -0.066,
      "on_policy_loss": -0.066,
      "step": 2422
    },
    {
      "epoch": 0.6464,
      "grad_norm": 0.23072701692581177,
      "learning_rate": 3.3846666666666674e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 2424
    },
    {
      "epoch": 0.6469333333333334,
      "grad_norm": 0.19073691964149475,
      "learning_rate": 3.3833333333333333e-06,
      "loss": -0.0734,
      "on_policy_loss": -0.0734,
      "step": 2426
    },
    {
      "epoch": 0.6474666666666666,
      "grad_norm": 0.19014869630336761,
      "learning_rate": 3.3820000000000004e-06,
      "loss": -0.0683,
      "on_policy_loss": -0.0683,
      "step": 2428
    },
    {
      "epoch": 0.648,
      "grad_norm": 0.1665164977312088,
      "learning_rate": 3.380666666666667e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 2430
    },
    {
      "epoch": 0.6485333333333333,
      "grad_norm": 0.17952018976211548,
      "learning_rate": 3.3793333333333334e-06,
      "loss": -0.0735,
      "on_policy_loss": -0.0735,
      "step": 2432
    },
    {
      "epoch": 0.6490666666666667,
      "grad_norm": 0.20991478860378265,
      "learning_rate": 3.378e-06,
      "loss": -0.0745,
      "on_policy_loss": -0.0745,
      "step": 2434
    },
    {
      "epoch": 0.6496,
      "grad_norm": 0.20876450836658478,
      "learning_rate": 3.376666666666667e-06,
      "loss": -0.0722,
      "on_policy_loss": -0.0722,
      "step": 2436
    },
    {
      "epoch": 0.6501333333333333,
      "grad_norm": 0.17099429666996002,
      "learning_rate": 3.375333333333334e-06,
      "loss": -0.0729,
      "on_policy_loss": -0.0729,
      "step": 2438
    },
    {
      "epoch": 0.6506666666666666,
      "grad_norm": 0.25807687640190125,
      "learning_rate": 3.3740000000000002e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 2440
    },
    {
      "epoch": 0.6512,
      "grad_norm": 0.16417840123176575,
      "learning_rate": 3.372666666666667e-06,
      "loss": -0.0702,
      "on_policy_loss": -0.0702,
      "step": 2442
    },
    {
      "epoch": 0.6517333333333334,
      "grad_norm": 0.2109258472919464,
      "learning_rate": 3.3713333333333336e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 2444
    },
    {
      "epoch": 0.6522666666666667,
      "grad_norm": 0.15726226568222046,
      "learning_rate": 3.3700000000000003e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 2446
    },
    {
      "epoch": 0.6528,
      "grad_norm": 0.1732064187526703,
      "learning_rate": 3.3686666666666666e-06,
      "loss": -0.0733,
      "on_policy_loss": -0.0733,
      "step": 2448
    },
    {
      "epoch": 0.6533333333333333,
      "grad_norm": 0.1838359236717224,
      "learning_rate": 3.3673333333333338e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 2450
    },
    {
      "epoch": 0.6538666666666667,
      "grad_norm": 0.1785673052072525,
      "learning_rate": 3.3660000000000005e-06,
      "loss": -0.0743,
      "on_policy_loss": -0.0743,
      "step": 2452
    },
    {
      "epoch": 0.6544,
      "grad_norm": 0.22428692877292633,
      "learning_rate": 3.364666666666667e-06,
      "loss": -0.0718,
      "on_policy_loss": -0.0718,
      "step": 2454
    },
    {
      "epoch": 0.6549333333333334,
      "grad_norm": 0.19868412613868713,
      "learning_rate": 3.3633333333333335e-06,
      "loss": -0.0689,
      "on_policy_loss": -0.0689,
      "step": 2456
    },
    {
      "epoch": 0.6554666666666666,
      "grad_norm": 0.21006789803504944,
      "learning_rate": 3.362e-06,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 2458
    },
    {
      "epoch": 0.656,
      "grad_norm": 0.18849092721939087,
      "learning_rate": 3.360666666666667e-06,
      "loss": -0.0688,
      "on_policy_loss": -0.0688,
      "step": 2460
    },
    {
      "epoch": 0.6565333333333333,
      "grad_norm": 0.1570988893508911,
      "learning_rate": 3.359333333333333e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 2462
    },
    {
      "epoch": 0.6570666666666667,
      "grad_norm": 0.16281209886074066,
      "learning_rate": 3.3580000000000003e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 2464
    },
    {
      "epoch": 0.6576,
      "grad_norm": 0.17855438590049744,
      "learning_rate": 3.356666666666667e-06,
      "loss": -0.0662,
      "on_policy_loss": -0.0662,
      "step": 2466
    },
    {
      "epoch": 0.6581333333333333,
      "grad_norm": 0.18185867369174957,
      "learning_rate": 3.3553333333333337e-06,
      "loss": -0.0735,
      "on_policy_loss": -0.0735,
      "step": 2468
    },
    {
      "epoch": 0.6586666666666666,
      "grad_norm": 0.16376475989818573,
      "learning_rate": 3.354e-06,
      "loss": -0.076,
      "on_policy_loss": -0.076,
      "step": 2470
    },
    {
      "epoch": 0.6592,
      "grad_norm": 0.19090302288532257,
      "learning_rate": 3.3526666666666667e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 2472
    },
    {
      "epoch": 0.6597333333333333,
      "grad_norm": 0.1604926884174347,
      "learning_rate": 3.351333333333334e-06,
      "loss": -0.0717,
      "on_policy_loss": -0.0717,
      "step": 2474
    },
    {
      "epoch": 0.6602666666666667,
      "grad_norm": 0.20232164859771729,
      "learning_rate": 3.3500000000000005e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 2476
    },
    {
      "epoch": 0.6608,
      "grad_norm": 0.1912655085325241,
      "learning_rate": 3.348666666666667e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 2478
    },
    {
      "epoch": 0.6613333333333333,
      "grad_norm": 0.20193500816822052,
      "learning_rate": 3.3473333333333335e-06,
      "loss": -0.0689,
      "on_policy_loss": -0.0689,
      "step": 2480
    },
    {
      "epoch": 0.6618666666666667,
      "grad_norm": 0.21063314378261566,
      "learning_rate": 3.3460000000000002e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 2482
    },
    {
      "epoch": 0.6624,
      "grad_norm": 0.1889360547065735,
      "learning_rate": 3.3446666666666674e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 2484
    },
    {
      "epoch": 0.6629333333333334,
      "grad_norm": 0.19619686901569366,
      "learning_rate": 3.3433333333333332e-06,
      "loss": -0.0745,
      "on_policy_loss": -0.0745,
      "step": 2486
    },
    {
      "epoch": 0.6634666666666666,
      "grad_norm": 0.17848514020442963,
      "learning_rate": 3.3420000000000004e-06,
      "loss": -0.069,
      "on_policy_loss": -0.069,
      "step": 2488
    },
    {
      "epoch": 0.664,
      "grad_norm": 0.20030878484249115,
      "learning_rate": 3.340666666666667e-06,
      "loss": -0.0716,
      "on_policy_loss": -0.0716,
      "step": 2490
    },
    {
      "epoch": 0.6645333333333333,
      "grad_norm": 0.1971370130777359,
      "learning_rate": 3.3393333333333338e-06,
      "loss": -0.0644,
      "on_policy_loss": -0.0644,
      "step": 2492
    },
    {
      "epoch": 0.6650666666666667,
      "grad_norm": 0.17689159512519836,
      "learning_rate": 3.338e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 2494
    },
    {
      "epoch": 0.6656,
      "grad_norm": 0.17499779164791107,
      "learning_rate": 3.3366666666666668e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 2496
    },
    {
      "epoch": 0.6661333333333334,
      "grad_norm": 0.18609504401683807,
      "learning_rate": 3.335333333333334e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 2498
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 0.19692467153072357,
      "learning_rate": 3.334e-06,
      "loss": -0.0743,
      "on_policy_loss": -0.0743,
      "step": 2500
    },
    {
      "epoch": 0.6672,
      "grad_norm": 0.2387213557958603,
      "learning_rate": 3.332666666666667e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 2502
    },
    {
      "epoch": 0.6677333333333333,
      "grad_norm": 0.20381604135036469,
      "learning_rate": 3.3313333333333336e-06,
      "loss": -0.0745,
      "on_policy_loss": -0.0745,
      "step": 2504
    },
    {
      "epoch": 0.6682666666666667,
      "grad_norm": 0.1799233853816986,
      "learning_rate": 3.3300000000000003e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 2506
    },
    {
      "epoch": 0.6688,
      "grad_norm": 0.2010403424501419,
      "learning_rate": 3.3286666666666666e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 2508
    },
    {
      "epoch": 0.6693333333333333,
      "grad_norm": 0.18300391733646393,
      "learning_rate": 3.3273333333333337e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 2510
    },
    {
      "epoch": 0.6698666666666667,
      "grad_norm": 0.1993892788887024,
      "learning_rate": 3.3260000000000004e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 2512
    },
    {
      "epoch": 0.6704,
      "grad_norm": 0.15920017659664154,
      "learning_rate": 3.324666666666667e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 2514
    },
    {
      "epoch": 0.6709333333333334,
      "grad_norm": 0.1607038825750351,
      "learning_rate": 3.3233333333333334e-06,
      "loss": -0.072,
      "on_policy_loss": -0.072,
      "step": 2516
    },
    {
      "epoch": 0.6714666666666667,
      "grad_norm": 0.1706763058900833,
      "learning_rate": 3.322e-06,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 2518
    },
    {
      "epoch": 0.672,
      "grad_norm": 0.23878851532936096,
      "learning_rate": 3.320666666666667e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 2520
    },
    {
      "epoch": 0.6725333333333333,
      "grad_norm": 0.21727517247200012,
      "learning_rate": 3.319333333333334e-06,
      "loss": -0.0674,
      "on_policy_loss": -0.0674,
      "step": 2522
    },
    {
      "epoch": 0.6730666666666667,
      "grad_norm": 0.20489820837974548,
      "learning_rate": 3.3180000000000003e-06,
      "loss": -0.07,
      "on_policy_loss": -0.07,
      "step": 2524
    },
    {
      "epoch": 0.6736,
      "grad_norm": 0.21141941845417023,
      "learning_rate": 3.316666666666667e-06,
      "loss": -0.075,
      "on_policy_loss": -0.075,
      "step": 2526
    },
    {
      "epoch": 0.6741333333333334,
      "grad_norm": 0.17790265381336212,
      "learning_rate": 3.3153333333333337e-06,
      "loss": -0.0752,
      "on_policy_loss": -0.0752,
      "step": 2528
    },
    {
      "epoch": 0.6746666666666666,
      "grad_norm": 0.2591105103492737,
      "learning_rate": 3.314e-06,
      "loss": -0.075,
      "on_policy_loss": -0.075,
      "step": 2530
    },
    {
      "epoch": 0.6752,
      "grad_norm": 0.16154810786247253,
      "learning_rate": 3.3126666666666667e-06,
      "loss": -0.0774,
      "on_policy_loss": -0.0774,
      "step": 2532
    },
    {
      "epoch": 0.6757333333333333,
      "grad_norm": 0.2249854952096939,
      "learning_rate": 3.311333333333334e-06,
      "loss": -0.0679,
      "on_policy_loss": -0.0679,
      "step": 2534
    },
    {
      "epoch": 0.6762666666666667,
      "grad_norm": 0.20355096459388733,
      "learning_rate": 3.3100000000000005e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 2536
    },
    {
      "epoch": 0.6768,
      "grad_norm": 0.18764227628707886,
      "learning_rate": 3.3086666666666668e-06,
      "loss": -0.076,
      "on_policy_loss": -0.076,
      "step": 2538
    },
    {
      "epoch": 0.6773333333333333,
      "grad_norm": 0.18903093039989471,
      "learning_rate": 3.3073333333333335e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 2540
    },
    {
      "epoch": 0.6778666666666666,
      "grad_norm": 0.18514111638069153,
      "learning_rate": 3.306e-06,
      "loss": -0.0702,
      "on_policy_loss": -0.0702,
      "step": 2542
    },
    {
      "epoch": 0.6784,
      "grad_norm": 0.2392686903476715,
      "learning_rate": 3.3046666666666673e-06,
      "loss": -0.072,
      "on_policy_loss": -0.072,
      "step": 2544
    },
    {
      "epoch": 0.6789333333333334,
      "grad_norm": 0.21328496932983398,
      "learning_rate": 3.303333333333333e-06,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 2546
    },
    {
      "epoch": 0.6794666666666667,
      "grad_norm": 0.17017698287963867,
      "learning_rate": 3.3020000000000003e-06,
      "loss": -0.0735,
      "on_policy_loss": -0.0735,
      "step": 2548
    },
    {
      "epoch": 0.68,
      "grad_norm": 0.16717272996902466,
      "learning_rate": 3.300666666666667e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 2550
    },
    {
      "epoch": 0.6805333333333333,
      "grad_norm": 0.16610848903656006,
      "learning_rate": 3.2993333333333337e-06,
      "loss": -0.0781,
      "on_policy_loss": -0.0781,
      "step": 2552
    },
    {
      "epoch": 0.6810666666666667,
      "grad_norm": 0.173590749502182,
      "learning_rate": 3.298e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 2554
    },
    {
      "epoch": 0.6816,
      "grad_norm": 0.16411495208740234,
      "learning_rate": 3.2966666666666667e-06,
      "loss": -0.073,
      "on_policy_loss": -0.073,
      "step": 2556
    },
    {
      "epoch": 0.6821333333333334,
      "grad_norm": 0.18499135971069336,
      "learning_rate": 3.295333333333334e-06,
      "loss": -0.0723,
      "on_policy_loss": -0.0723,
      "step": 2558
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 0.17189204692840576,
      "learning_rate": 3.2940000000000006e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 2560
    },
    {
      "epoch": 0.6832,
      "grad_norm": 0.18583497405052185,
      "learning_rate": 3.292666666666667e-06,
      "loss": -0.0762,
      "on_policy_loss": -0.0762,
      "step": 2562
    },
    {
      "epoch": 0.6837333333333333,
      "grad_norm": 0.18872790038585663,
      "learning_rate": 3.2913333333333336e-06,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 2564
    },
    {
      "epoch": 0.6842666666666667,
      "grad_norm": 0.19020110368728638,
      "learning_rate": 3.2900000000000003e-06,
      "loss": -0.0698,
      "on_policy_loss": -0.0698,
      "step": 2566
    },
    {
      "epoch": 0.6848,
      "grad_norm": 0.17100822925567627,
      "learning_rate": 3.2886666666666665e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 2568
    },
    {
      "epoch": 0.6853333333333333,
      "grad_norm": 0.1930093616247177,
      "learning_rate": 3.2873333333333337e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 2570
    },
    {
      "epoch": 0.6858666666666666,
      "grad_norm": 0.1810617446899414,
      "learning_rate": 3.2860000000000004e-06,
      "loss": -0.0702,
      "on_policy_loss": -0.0702,
      "step": 2572
    },
    {
      "epoch": 0.6864,
      "grad_norm": 0.21835435926914215,
      "learning_rate": 3.284666666666667e-06,
      "loss": -0.0687,
      "on_policy_loss": -0.0687,
      "step": 2574
    },
    {
      "epoch": 0.6869333333333333,
      "grad_norm": 0.1788869947195053,
      "learning_rate": 3.2833333333333334e-06,
      "loss": -0.0749,
      "on_policy_loss": -0.0749,
      "step": 2576
    },
    {
      "epoch": 0.6874666666666667,
      "grad_norm": 0.1856997013092041,
      "learning_rate": 3.282e-06,
      "loss": -0.0737,
      "on_policy_loss": -0.0737,
      "step": 2578
    },
    {
      "epoch": 0.688,
      "grad_norm": 0.17031067609786987,
      "learning_rate": 3.280666666666667e-06,
      "loss": -0.0715,
      "on_policy_loss": -0.0715,
      "step": 2580
    },
    {
      "epoch": 0.6885333333333333,
      "grad_norm": 0.20694948732852936,
      "learning_rate": 3.279333333333334e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 2582
    },
    {
      "epoch": 0.6890666666666667,
      "grad_norm": 0.1791418045759201,
      "learning_rate": 3.278e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 2584
    },
    {
      "epoch": 0.6896,
      "grad_norm": 0.16029423475265503,
      "learning_rate": 3.276666666666667e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 2586
    },
    {
      "epoch": 0.6901333333333334,
      "grad_norm": 0.18099898099899292,
      "learning_rate": 3.2753333333333336e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 2588
    },
    {
      "epoch": 0.6906666666666667,
      "grad_norm": 0.15405245125293732,
      "learning_rate": 3.2740000000000003e-06,
      "loss": -0.0739,
      "on_policy_loss": -0.0739,
      "step": 2590
    },
    {
      "epoch": 0.6912,
      "grad_norm": 0.1962893158197403,
      "learning_rate": 3.2726666666666666e-06,
      "loss": -0.0678,
      "on_policy_loss": -0.0678,
      "step": 2592
    },
    {
      "epoch": 0.6917333333333333,
      "grad_norm": 0.17491230368614197,
      "learning_rate": 3.2713333333333337e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 2594
    },
    {
      "epoch": 0.6922666666666667,
      "grad_norm": 0.15144050121307373,
      "learning_rate": 3.2700000000000005e-06,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 2596
    },
    {
      "epoch": 0.6928,
      "grad_norm": 0.21102942526340485,
      "learning_rate": 3.268666666666667e-06,
      "loss": -0.0716,
      "on_policy_loss": -0.0716,
      "step": 2598
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 0.17778469622135162,
      "learning_rate": 3.2673333333333334e-06,
      "loss": -0.0739,
      "on_policy_loss": -0.0739,
      "step": 2600
    },
    {
      "epoch": 0.6938666666666666,
      "grad_norm": 0.2039797157049179,
      "learning_rate": 3.266e-06,
      "loss": -0.071,
      "on_policy_loss": -0.071,
      "step": 2602
    },
    {
      "epoch": 0.6944,
      "grad_norm": 0.2000524252653122,
      "learning_rate": 3.2646666666666673e-06,
      "loss": -0.0736,
      "on_policy_loss": -0.0736,
      "step": 2604
    },
    {
      "epoch": 0.6949333333333333,
      "grad_norm": 0.16799739003181458,
      "learning_rate": 3.263333333333333e-06,
      "loss": -0.0692,
      "on_policy_loss": -0.0692,
      "step": 2606
    },
    {
      "epoch": 0.6954666666666667,
      "grad_norm": 0.21162769198417664,
      "learning_rate": 3.2620000000000003e-06,
      "loss": -0.0733,
      "on_policy_loss": -0.0733,
      "step": 2608
    },
    {
      "epoch": 0.696,
      "grad_norm": 0.17263063788414001,
      "learning_rate": 3.260666666666667e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 2610
    },
    {
      "epoch": 0.6965333333333333,
      "grad_norm": 0.20127664506435394,
      "learning_rate": 3.2593333333333337e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 2612
    },
    {
      "epoch": 0.6970666666666666,
      "grad_norm": 0.2403930425643921,
      "learning_rate": 3.258e-06,
      "loss": -0.0727,
      "on_policy_loss": -0.0727,
      "step": 2614
    },
    {
      "epoch": 0.6976,
      "grad_norm": 0.17213542759418488,
      "learning_rate": 3.2566666666666667e-06,
      "loss": -0.0712,
      "on_policy_loss": -0.0712,
      "step": 2616
    },
    {
      "epoch": 0.6981333333333334,
      "grad_norm": 0.19434313476085663,
      "learning_rate": 3.255333333333334e-06,
      "loss": -0.0698,
      "on_policy_loss": -0.0698,
      "step": 2618
    },
    {
      "epoch": 0.6986666666666667,
      "grad_norm": 0.18602722883224487,
      "learning_rate": 3.2540000000000005e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 2620
    },
    {
      "epoch": 0.6992,
      "grad_norm": 0.18011590838432312,
      "learning_rate": 3.252666666666667e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 2622
    },
    {
      "epoch": 0.6997333333333333,
      "grad_norm": 0.16522350907325745,
      "learning_rate": 3.2513333333333335e-06,
      "loss": -0.0742,
      "on_policy_loss": -0.0742,
      "step": 2624
    },
    {
      "epoch": 0.7002666666666667,
      "grad_norm": 0.17697405815124512,
      "learning_rate": 3.2500000000000002e-06,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 2626
    },
    {
      "epoch": 0.7008,
      "grad_norm": 0.16091065108776093,
      "learning_rate": 3.2486666666666674e-06,
      "loss": -0.0725,
      "on_policy_loss": -0.0725,
      "step": 2628
    },
    {
      "epoch": 0.7013333333333334,
      "grad_norm": 0.20337772369384766,
      "learning_rate": 3.2473333333333336e-06,
      "loss": -0.0737,
      "on_policy_loss": -0.0737,
      "step": 2630
    },
    {
      "epoch": 0.7018666666666666,
      "grad_norm": 0.16172361373901367,
      "learning_rate": 3.2460000000000003e-06,
      "loss": -0.0774,
      "on_policy_loss": -0.0774,
      "step": 2632
    },
    {
      "epoch": 0.7024,
      "grad_norm": 0.1963472068309784,
      "learning_rate": 3.244666666666667e-06,
      "loss": -0.0755,
      "on_policy_loss": -0.0755,
      "step": 2634
    },
    {
      "epoch": 0.7029333333333333,
      "grad_norm": 0.18864668905735016,
      "learning_rate": 3.2433333333333333e-06,
      "loss": -0.074,
      "on_policy_loss": -0.074,
      "step": 2636
    },
    {
      "epoch": 0.7034666666666667,
      "grad_norm": 0.17229411005973816,
      "learning_rate": 3.242e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 2638
    },
    {
      "epoch": 0.704,
      "grad_norm": 0.19708998501300812,
      "learning_rate": 3.2406666666666668e-06,
      "loss": -0.0734,
      "on_policy_loss": -0.0734,
      "step": 2640
    },
    {
      "epoch": 0.7045333333333333,
      "grad_norm": 0.1878378838300705,
      "learning_rate": 3.239333333333334e-06,
      "loss": -0.0743,
      "on_policy_loss": -0.0743,
      "step": 2642
    },
    {
      "epoch": 0.7050666666666666,
      "grad_norm": 0.16123200953006744,
      "learning_rate": 3.238e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 2644
    },
    {
      "epoch": 0.7056,
      "grad_norm": 0.20051877200603485,
      "learning_rate": 3.236666666666667e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 2646
    },
    {
      "epoch": 0.7061333333333333,
      "grad_norm": 0.15720216929912567,
      "learning_rate": 3.2353333333333336e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 2648
    },
    {
      "epoch": 0.7066666666666667,
      "grad_norm": 0.17203764617443085,
      "learning_rate": 3.2340000000000003e-06,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 2650
    },
    {
      "epoch": 0.7072,
      "grad_norm": 0.20090319216251373,
      "learning_rate": 3.2326666666666666e-06,
      "loss": -0.0704,
      "on_policy_loss": -0.0704,
      "step": 2652
    },
    {
      "epoch": 0.7077333333333333,
      "grad_norm": 0.1984969675540924,
      "learning_rate": 3.2313333333333337e-06,
      "loss": -0.0715,
      "on_policy_loss": -0.0715,
      "step": 2654
    },
    {
      "epoch": 0.7082666666666667,
      "grad_norm": 0.1684662401676178,
      "learning_rate": 3.2300000000000004e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 2656
    },
    {
      "epoch": 0.7088,
      "grad_norm": 0.17448583245277405,
      "learning_rate": 3.228666666666667e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 2658
    },
    {
      "epoch": 0.7093333333333334,
      "grad_norm": 0.16140194237232208,
      "learning_rate": 3.2273333333333334e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 2660
    },
    {
      "epoch": 0.7098666666666666,
      "grad_norm": 0.1660204827785492,
      "learning_rate": 3.226e-06,
      "loss": -0.0762,
      "on_policy_loss": -0.0762,
      "step": 2662
    },
    {
      "epoch": 0.7104,
      "grad_norm": 0.19817368686199188,
      "learning_rate": 3.2246666666666672e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 2664
    },
    {
      "epoch": 0.7109333333333333,
      "grad_norm": 0.2336241900920868,
      "learning_rate": 3.223333333333334e-06,
      "loss": -0.075,
      "on_policy_loss": -0.075,
      "step": 2666
    },
    {
      "epoch": 0.7114666666666667,
      "grad_norm": 0.19724614918231964,
      "learning_rate": 3.2220000000000002e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 2668
    },
    {
      "epoch": 0.712,
      "grad_norm": 0.1526973396539688,
      "learning_rate": 3.220666666666667e-06,
      "loss": -0.0718,
      "on_policy_loss": -0.0718,
      "step": 2670
    },
    {
      "epoch": 0.7125333333333334,
      "grad_norm": 0.18317320942878723,
      "learning_rate": 3.2193333333333337e-06,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 2672
    },
    {
      "epoch": 0.7130666666666666,
      "grad_norm": 0.1642538160085678,
      "learning_rate": 3.218e-06,
      "loss": -0.0742,
      "on_policy_loss": -0.0742,
      "step": 2674
    },
    {
      "epoch": 0.7136,
      "grad_norm": 0.2048412561416626,
      "learning_rate": 3.2166666666666666e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 2676
    },
    {
      "epoch": 0.7141333333333333,
      "grad_norm": 0.2210054248571396,
      "learning_rate": 3.2153333333333338e-06,
      "loss": -0.0714,
      "on_policy_loss": -0.0714,
      "step": 2678
    },
    {
      "epoch": 0.7146666666666667,
      "grad_norm": 0.17538471519947052,
      "learning_rate": 3.2140000000000005e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 2680
    },
    {
      "epoch": 0.7152,
      "grad_norm": 0.17782287299633026,
      "learning_rate": 3.2126666666666668e-06,
      "loss": -0.0693,
      "on_policy_loss": -0.0693,
      "step": 2682
    },
    {
      "epoch": 0.7157333333333333,
      "grad_norm": 0.194663405418396,
      "learning_rate": 3.2113333333333335e-06,
      "loss": -0.0749,
      "on_policy_loss": -0.0749,
      "step": 2684
    },
    {
      "epoch": 0.7162666666666667,
      "grad_norm": 0.16356199979782104,
      "learning_rate": 3.21e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 2686
    },
    {
      "epoch": 0.7168,
      "grad_norm": 0.16648943722248077,
      "learning_rate": 3.2086666666666673e-06,
      "loss": -0.0733,
      "on_policy_loss": -0.0733,
      "step": 2688
    },
    {
      "epoch": 0.7173333333333334,
      "grad_norm": 0.15892243385314941,
      "learning_rate": 3.2073333333333336e-06,
      "loss": -0.0734,
      "on_policy_loss": -0.0734,
      "step": 2690
    },
    {
      "epoch": 0.7178666666666667,
      "grad_norm": 0.15801462531089783,
      "learning_rate": 3.2060000000000003e-06,
      "loss": -0.0745,
      "on_policy_loss": -0.0745,
      "step": 2692
    },
    {
      "epoch": 0.7184,
      "grad_norm": 0.20446334779262543,
      "learning_rate": 3.204666666666667e-06,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 2694
    },
    {
      "epoch": 0.7189333333333333,
      "grad_norm": 0.19067838788032532,
      "learning_rate": 3.2033333333333337e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 2696
    },
    {
      "epoch": 0.7194666666666667,
      "grad_norm": 0.19060485064983368,
      "learning_rate": 3.202e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 2698
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.21124036610126495,
      "learning_rate": 3.2006666666666667e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 2700
    },
    {
      "epoch": 0.7205333333333334,
      "grad_norm": 0.17361071705818176,
      "learning_rate": 3.199333333333334e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 2702
    },
    {
      "epoch": 0.7210666666666666,
      "grad_norm": 0.20484469830989838,
      "learning_rate": 3.198e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 2704
    },
    {
      "epoch": 0.7216,
      "grad_norm": 0.20203839242458344,
      "learning_rate": 3.196666666666667e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 2706
    },
    {
      "epoch": 0.7221333333333333,
      "grad_norm": 0.2032604068517685,
      "learning_rate": 3.1953333333333335e-06,
      "loss": -0.0721,
      "on_policy_loss": -0.0721,
      "step": 2708
    },
    {
      "epoch": 0.7226666666666667,
      "grad_norm": 0.16759416460990906,
      "learning_rate": 3.1940000000000003e-06,
      "loss": -0.0769,
      "on_policy_loss": -0.0769,
      "step": 2710
    },
    {
      "epoch": 0.7232,
      "grad_norm": 0.20644550025463104,
      "learning_rate": 3.1926666666666665e-06,
      "loss": -0.0743,
      "on_policy_loss": -0.0743,
      "step": 2712
    },
    {
      "epoch": 0.7237333333333333,
      "grad_norm": 0.18995089828968048,
      "learning_rate": 3.1913333333333337e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 2714
    },
    {
      "epoch": 0.7242666666666666,
      "grad_norm": 0.1950465738773346,
      "learning_rate": 3.1900000000000004e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 2716
    },
    {
      "epoch": 0.7248,
      "grad_norm": 0.2467801570892334,
      "learning_rate": 3.188666666666667e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 2718
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 0.2008453756570816,
      "learning_rate": 3.1873333333333334e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 2720
    },
    {
      "epoch": 0.7258666666666667,
      "grad_norm": 0.15582498908042908,
      "learning_rate": 3.186e-06,
      "loss": -0.074,
      "on_policy_loss": -0.074,
      "step": 2722
    },
    {
      "epoch": 0.7264,
      "grad_norm": 0.16330893337726593,
      "learning_rate": 3.184666666666667e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 2724
    },
    {
      "epoch": 0.7269333333333333,
      "grad_norm": 0.19902463257312775,
      "learning_rate": 3.183333333333334e-06,
      "loss": -0.0755,
      "on_policy_loss": -0.0755,
      "step": 2726
    },
    {
      "epoch": 0.7274666666666667,
      "grad_norm": 0.18308433890342712,
      "learning_rate": 3.182e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 2728
    },
    {
      "epoch": 0.728,
      "grad_norm": 0.1523277759552002,
      "learning_rate": 3.180666666666667e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 2730
    },
    {
      "epoch": 0.7285333333333334,
      "grad_norm": 0.15435267984867096,
      "learning_rate": 3.1793333333333336e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 2732
    },
    {
      "epoch": 0.7290666666666666,
      "grad_norm": 0.1986551284790039,
      "learning_rate": 3.1780000000000003e-06,
      "loss": -0.0752,
      "on_policy_loss": -0.0752,
      "step": 2734
    },
    {
      "epoch": 0.7296,
      "grad_norm": 0.1657717078924179,
      "learning_rate": 3.1766666666666666e-06,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 2736
    },
    {
      "epoch": 0.7301333333333333,
      "grad_norm": 0.17640334367752075,
      "learning_rate": 3.1753333333333337e-06,
      "loss": -0.0769,
      "on_policy_loss": -0.0769,
      "step": 2738
    },
    {
      "epoch": 0.7306666666666667,
      "grad_norm": 0.18784569203853607,
      "learning_rate": 3.1740000000000004e-06,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 2740
    },
    {
      "epoch": 0.7312,
      "grad_norm": 0.1798807978630066,
      "learning_rate": 3.1726666666666667e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 2742
    },
    {
      "epoch": 0.7317333333333333,
      "grad_norm": 0.20627957582473755,
      "learning_rate": 3.1713333333333334e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 2744
    },
    {
      "epoch": 0.7322666666666666,
      "grad_norm": 0.16924214363098145,
      "learning_rate": 3.17e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 2746
    },
    {
      "epoch": 0.7328,
      "grad_norm": 0.16978472471237183,
      "learning_rate": 3.1686666666666673e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 2748
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 0.19721800088882446,
      "learning_rate": 3.1673333333333336e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 2750
    },
    {
      "epoch": 0.7338666666666667,
      "grad_norm": 0.17048636078834534,
      "learning_rate": 3.1660000000000003e-06,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 2752
    },
    {
      "epoch": 0.7344,
      "grad_norm": 0.17456527054309845,
      "learning_rate": 3.164666666666667e-06,
      "loss": -0.0719,
      "on_policy_loss": -0.0719,
      "step": 2754
    },
    {
      "epoch": 0.7349333333333333,
      "grad_norm": 0.19519177079200745,
      "learning_rate": 3.1633333333333337e-06,
      "loss": -0.0733,
      "on_policy_loss": -0.0733,
      "step": 2756
    },
    {
      "epoch": 0.7354666666666667,
      "grad_norm": 0.17963789403438568,
      "learning_rate": 3.162e-06,
      "loss": -0.0717,
      "on_policy_loss": -0.0717,
      "step": 2758
    },
    {
      "epoch": 0.736,
      "grad_norm": 0.22039201855659485,
      "learning_rate": 3.1606666666666667e-06,
      "loss": -0.0705,
      "on_policy_loss": -0.0705,
      "step": 2760
    },
    {
      "epoch": 0.7365333333333334,
      "grad_norm": 0.20076584815979004,
      "learning_rate": 3.159333333333334e-06,
      "loss": -0.0721,
      "on_policy_loss": -0.0721,
      "step": 2762
    },
    {
      "epoch": 0.7370666666666666,
      "grad_norm": 0.1684812754392624,
      "learning_rate": 3.1580000000000005e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 2764
    },
    {
      "epoch": 0.7376,
      "grad_norm": 0.22476641833782196,
      "learning_rate": 3.156666666666667e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 2766
    },
    {
      "epoch": 0.7381333333333333,
      "grad_norm": 0.18362131714820862,
      "learning_rate": 3.1553333333333335e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 2768
    },
    {
      "epoch": 0.7386666666666667,
      "grad_norm": 0.1653517484664917,
      "learning_rate": 3.154e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 2770
    },
    {
      "epoch": 0.7392,
      "grad_norm": 0.21498237550258636,
      "learning_rate": 3.1526666666666665e-06,
      "loss": -0.0727,
      "on_policy_loss": -0.0727,
      "step": 2772
    },
    {
      "epoch": 0.7397333333333334,
      "grad_norm": 0.16659320890903473,
      "learning_rate": 3.1513333333333336e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 2774
    },
    {
      "epoch": 0.7402666666666666,
      "grad_norm": 0.18962137401103973,
      "learning_rate": 3.1500000000000003e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 2776
    },
    {
      "epoch": 0.7408,
      "grad_norm": 0.18761414289474487,
      "learning_rate": 3.148666666666667e-06,
      "loss": -0.0742,
      "on_policy_loss": -0.0742,
      "step": 2778
    },
    {
      "epoch": 0.7413333333333333,
      "grad_norm": 0.19877947866916656,
      "learning_rate": 3.1473333333333333e-06,
      "loss": -0.0731,
      "on_policy_loss": -0.0731,
      "step": 2780
    },
    {
      "epoch": 0.7418666666666667,
      "grad_norm": 0.14952631294727325,
      "learning_rate": 3.146e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 2782
    },
    {
      "epoch": 0.7424,
      "grad_norm": 0.1648065745830536,
      "learning_rate": 3.144666666666667e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 2784
    },
    {
      "epoch": 0.7429333333333333,
      "grad_norm": 0.18911944329738617,
      "learning_rate": 3.143333333333334e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 2786
    },
    {
      "epoch": 0.7434666666666667,
      "grad_norm": 0.1667962223291397,
      "learning_rate": 3.142e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 2788
    },
    {
      "epoch": 0.744,
      "grad_norm": 0.1834239661693573,
      "learning_rate": 3.140666666666667e-06,
      "loss": -0.0709,
      "on_policy_loss": -0.0709,
      "step": 2790
    },
    {
      "epoch": 0.7445333333333334,
      "grad_norm": 0.24012120068073273,
      "learning_rate": 3.1393333333333336e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 2792
    },
    {
      "epoch": 0.7450666666666667,
      "grad_norm": 0.1795361340045929,
      "learning_rate": 3.1380000000000003e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 2794
    },
    {
      "epoch": 0.7456,
      "grad_norm": 0.20003415644168854,
      "learning_rate": 3.1366666666666666e-06,
      "loss": -0.0754,
      "on_policy_loss": -0.0754,
      "step": 2796
    },
    {
      "epoch": 0.7461333333333333,
      "grad_norm": 0.18570932745933533,
      "learning_rate": 3.1353333333333337e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 2798
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 0.19795119762420654,
      "learning_rate": 3.1340000000000004e-06,
      "loss": -0.0694,
      "on_policy_loss": -0.0694,
      "step": 2800
    },
    {
      "epoch": 0.7472,
      "grad_norm": 0.17202472686767578,
      "learning_rate": 3.132666666666667e-06,
      "loss": -0.0752,
      "on_policy_loss": -0.0752,
      "step": 2802
    },
    {
      "epoch": 0.7477333333333334,
      "grad_norm": 0.2571183145046234,
      "learning_rate": 3.1313333333333334e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 2804
    },
    {
      "epoch": 0.7482666666666666,
      "grad_norm": 0.17594490945339203,
      "learning_rate": 3.13e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 2806
    },
    {
      "epoch": 0.7488,
      "grad_norm": 0.1975279599428177,
      "learning_rate": 3.1286666666666672e-06,
      "loss": -0.0762,
      "on_policy_loss": -0.0762,
      "step": 2808
    },
    {
      "epoch": 0.7493333333333333,
      "grad_norm": 0.1655646413564682,
      "learning_rate": 3.1273333333333335e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 2810
    },
    {
      "epoch": 0.7498666666666667,
      "grad_norm": 0.1736222505569458,
      "learning_rate": 3.1260000000000002e-06,
      "loss": -0.073,
      "on_policy_loss": -0.073,
      "step": 2812
    },
    {
      "epoch": 0.7504,
      "grad_norm": 0.1686048060655594,
      "learning_rate": 3.124666666666667e-06,
      "loss": -0.0725,
      "on_policy_loss": -0.0725,
      "step": 2814
    },
    {
      "epoch": 0.7509333333333333,
      "grad_norm": 0.1738014817237854,
      "learning_rate": 3.1233333333333336e-06,
      "loss": -0.0749,
      "on_policy_loss": -0.0749,
      "step": 2816
    },
    {
      "epoch": 0.7514666666666666,
      "grad_norm": 0.19886437058448792,
      "learning_rate": 3.122e-06,
      "loss": -0.0714,
      "on_policy_loss": -0.0714,
      "step": 2818
    },
    {
      "epoch": 0.752,
      "grad_norm": 0.1970778852701187,
      "learning_rate": 3.120666666666667e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 2820
    },
    {
      "epoch": 0.7525333333333334,
      "grad_norm": 0.18522952497005463,
      "learning_rate": 3.1193333333333338e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 2822
    },
    {
      "epoch": 0.7530666666666667,
      "grad_norm": 0.1642598807811737,
      "learning_rate": 3.1180000000000005e-06,
      "loss": -0.0743,
      "on_policy_loss": -0.0743,
      "step": 2824
    },
    {
      "epoch": 0.7536,
      "grad_norm": 0.18180732429027557,
      "learning_rate": 3.1166666666666668e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 2826
    },
    {
      "epoch": 0.7541333333333333,
      "grad_norm": 0.1662452071905136,
      "learning_rate": 3.1153333333333335e-06,
      "loss": -0.075,
      "on_policy_loss": -0.075,
      "step": 2828
    },
    {
      "epoch": 0.7546666666666667,
      "grad_norm": 0.20416168868541718,
      "learning_rate": 3.114e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 2830
    },
    {
      "epoch": 0.7552,
      "grad_norm": 0.17712728679180145,
      "learning_rate": 3.1126666666666673e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 2832
    },
    {
      "epoch": 0.7557333333333334,
      "grad_norm": 0.20798982679843903,
      "learning_rate": 3.1113333333333336e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 2834
    },
    {
      "epoch": 0.7562666666666666,
      "grad_norm": 0.1881433129310608,
      "learning_rate": 3.1100000000000003e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 2836
    },
    {
      "epoch": 0.7568,
      "grad_norm": 0.1950533539056778,
      "learning_rate": 3.108666666666667e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 2838
    },
    {
      "epoch": 0.7573333333333333,
      "grad_norm": 0.1875874251127243,
      "learning_rate": 3.1073333333333333e-06,
      "loss": -0.0737,
      "on_policy_loss": -0.0737,
      "step": 2840
    },
    {
      "epoch": 0.7578666666666667,
      "grad_norm": 0.17353248596191406,
      "learning_rate": 3.106e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 2842
    },
    {
      "epoch": 0.7584,
      "grad_norm": 0.19296345114707947,
      "learning_rate": 3.104666666666667e-06,
      "loss": -0.0733,
      "on_policy_loss": -0.0733,
      "step": 2844
    },
    {
      "epoch": 0.7589333333333333,
      "grad_norm": 0.2236689031124115,
      "learning_rate": 3.103333333333334e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 2846
    },
    {
      "epoch": 0.7594666666666666,
      "grad_norm": 0.18420490622520447,
      "learning_rate": 3.102e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 2848
    },
    {
      "epoch": 0.76,
      "grad_norm": 0.18165123462677002,
      "learning_rate": 3.100666666666667e-06,
      "loss": -0.0774,
      "on_policy_loss": -0.0774,
      "step": 2850
    },
    {
      "epoch": 0.7605333333333333,
      "grad_norm": 0.19664449989795685,
      "learning_rate": 3.0993333333333335e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 2852
    },
    {
      "epoch": 0.7610666666666667,
      "grad_norm": 0.17908824980258942,
      "learning_rate": 3.0980000000000007e-06,
      "loss": -0.0721,
      "on_policy_loss": -0.0721,
      "step": 2854
    },
    {
      "epoch": 0.7616,
      "grad_norm": 0.21472114324569702,
      "learning_rate": 3.0966666666666665e-06,
      "loss": -0.0755,
      "on_policy_loss": -0.0755,
      "step": 2856
    },
    {
      "epoch": 0.7621333333333333,
      "grad_norm": 0.20374873280525208,
      "learning_rate": 3.0953333333333337e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 2858
    },
    {
      "epoch": 0.7626666666666667,
      "grad_norm": 0.1855441778898239,
      "learning_rate": 3.0940000000000004e-06,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 2860
    },
    {
      "epoch": 0.7632,
      "grad_norm": 0.22115427255630493,
      "learning_rate": 3.092666666666667e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 2862
    },
    {
      "epoch": 0.7637333333333334,
      "grad_norm": 0.1565903276205063,
      "learning_rate": 3.0913333333333334e-06,
      "loss": -0.074,
      "on_policy_loss": -0.074,
      "step": 2864
    },
    {
      "epoch": 0.7642666666666666,
      "grad_norm": 0.1805461198091507,
      "learning_rate": 3.09e-06,
      "loss": -0.0754,
      "on_policy_loss": -0.0754,
      "step": 2866
    },
    {
      "epoch": 0.7648,
      "grad_norm": 0.16723249852657318,
      "learning_rate": 3.088666666666667e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 2868
    },
    {
      "epoch": 0.7653333333333333,
      "grad_norm": 0.21286047995090485,
      "learning_rate": 3.087333333333334e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 2870
    },
    {
      "epoch": 0.7658666666666667,
      "grad_norm": 0.16307620704174042,
      "learning_rate": 3.086e-06,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 2872
    },
    {
      "epoch": 0.7664,
      "grad_norm": 0.1939430832862854,
      "learning_rate": 3.084666666666667e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 2874
    },
    {
      "epoch": 0.7669333333333334,
      "grad_norm": 0.17482489347457886,
      "learning_rate": 3.0833333333333336e-06,
      "loss": -0.0717,
      "on_policy_loss": -0.0717,
      "step": 2876
    },
    {
      "epoch": 0.7674666666666666,
      "grad_norm": 0.1839878112077713,
      "learning_rate": 3.082e-06,
      "loss": -0.0705,
      "on_policy_loss": -0.0705,
      "step": 2878
    },
    {
      "epoch": 0.768,
      "grad_norm": 0.17477522790431976,
      "learning_rate": 3.080666666666667e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 2880
    },
    {
      "epoch": 0.7685333333333333,
      "grad_norm": 0.21594691276550293,
      "learning_rate": 3.0793333333333337e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 2882
    },
    {
      "epoch": 0.7690666666666667,
      "grad_norm": 0.17362824082374573,
      "learning_rate": 3.0780000000000004e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 2884
    },
    {
      "epoch": 0.7696,
      "grad_norm": 0.1700771450996399,
      "learning_rate": 3.0766666666666667e-06,
      "loss": -0.0774,
      "on_policy_loss": -0.0774,
      "step": 2886
    },
    {
      "epoch": 0.7701333333333333,
      "grad_norm": 0.20405259728431702,
      "learning_rate": 3.0753333333333334e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 2888
    },
    {
      "epoch": 0.7706666666666667,
      "grad_norm": 0.19935385882854462,
      "learning_rate": 3.074e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 2890
    },
    {
      "epoch": 0.7712,
      "grad_norm": 0.20527131855487823,
      "learning_rate": 3.0726666666666673e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 2892
    },
    {
      "epoch": 0.7717333333333334,
      "grad_norm": 0.17239627242088318,
      "learning_rate": 3.0713333333333335e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 2894
    },
    {
      "epoch": 0.7722666666666667,
      "grad_norm": 0.24264444410800934,
      "learning_rate": 3.0700000000000003e-06,
      "loss": -0.073,
      "on_policy_loss": -0.073,
      "step": 2896
    },
    {
      "epoch": 0.7728,
      "grad_norm": 0.19262051582336426,
      "learning_rate": 3.068666666666667e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 2898
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 0.20702332258224487,
      "learning_rate": 3.0673333333333337e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 2900
    },
    {
      "epoch": 0.7738666666666667,
      "grad_norm": 0.1862373799085617,
      "learning_rate": 3.066e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 2902
    },
    {
      "epoch": 0.7744,
      "grad_norm": 0.19513830542564392,
      "learning_rate": 3.064666666666667e-06,
      "loss": -0.0762,
      "on_policy_loss": -0.0762,
      "step": 2904
    },
    {
      "epoch": 0.7749333333333334,
      "grad_norm": 0.16272525489330292,
      "learning_rate": 3.063333333333334e-06,
      "loss": -0.072,
      "on_policy_loss": -0.072,
      "step": 2906
    },
    {
      "epoch": 0.7754666666666666,
      "grad_norm": 0.15890158712863922,
      "learning_rate": 3.0620000000000005e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 2908
    },
    {
      "epoch": 0.776,
      "grad_norm": 0.15516619384288788,
      "learning_rate": 3.0606666666666668e-06,
      "loss": -0.0769,
      "on_policy_loss": -0.0769,
      "step": 2910
    },
    {
      "epoch": 0.7765333333333333,
      "grad_norm": 0.19255870580673218,
      "learning_rate": 3.0593333333333335e-06,
      "loss": -0.0719,
      "on_policy_loss": -0.0719,
      "step": 2912
    },
    {
      "epoch": 0.7770666666666667,
      "grad_norm": 0.21154695749282837,
      "learning_rate": 3.0580000000000006e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 2914
    },
    {
      "epoch": 0.7776,
      "grad_norm": 0.1776813417673111,
      "learning_rate": 3.0566666666666665e-06,
      "loss": -0.0803,
      "on_policy_loss": -0.0803,
      "step": 2916
    },
    {
      "epoch": 0.7781333333333333,
      "grad_norm": 0.1821899116039276,
      "learning_rate": 3.0553333333333336e-06,
      "loss": -0.074,
      "on_policy_loss": -0.074,
      "step": 2918
    },
    {
      "epoch": 0.7786666666666666,
      "grad_norm": 0.20077458024024963,
      "learning_rate": 3.0540000000000003e-06,
      "loss": -0.0681,
      "on_policy_loss": -0.0681,
      "step": 2920
    },
    {
      "epoch": 0.7792,
      "grad_norm": 0.1679592728614807,
      "learning_rate": 3.052666666666667e-06,
      "loss": -0.0669,
      "on_policy_loss": -0.0669,
      "step": 2922
    },
    {
      "epoch": 0.7797333333333333,
      "grad_norm": 0.20473183691501617,
      "learning_rate": 3.0513333333333333e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 2924
    },
    {
      "epoch": 0.7802666666666667,
      "grad_norm": 0.21143020689487457,
      "learning_rate": 3.05e-06,
      "loss": -0.072,
      "on_policy_loss": -0.072,
      "step": 2926
    },
    {
      "epoch": 0.7808,
      "grad_norm": 0.18039192259311676,
      "learning_rate": 3.048666666666667e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 2928
    },
    {
      "epoch": 0.7813333333333333,
      "grad_norm": 0.18929030001163483,
      "learning_rate": 3.047333333333334e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 2930
    },
    {
      "epoch": 0.7818666666666667,
      "grad_norm": 0.2331160455942154,
      "learning_rate": 3.046e-06,
      "loss": -0.0715,
      "on_policy_loss": -0.0715,
      "step": 2932
    },
    {
      "epoch": 0.7824,
      "grad_norm": 0.16831035912036896,
      "learning_rate": 3.044666666666667e-06,
      "loss": -0.0727,
      "on_policy_loss": -0.0727,
      "step": 2934
    },
    {
      "epoch": 0.7829333333333334,
      "grad_norm": 0.19142241775989532,
      "learning_rate": 3.0433333333333336e-06,
      "loss": -0.0721,
      "on_policy_loss": -0.0721,
      "step": 2936
    },
    {
      "epoch": 0.7834666666666666,
      "grad_norm": 0.20216558873653412,
      "learning_rate": 3.0420000000000007e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 2938
    },
    {
      "epoch": 0.784,
      "grad_norm": 0.16311649978160858,
      "learning_rate": 3.040666666666667e-06,
      "loss": -0.0801,
      "on_policy_loss": -0.0801,
      "step": 2940
    },
    {
      "epoch": 0.7845333333333333,
      "grad_norm": 0.18866020441055298,
      "learning_rate": 3.0393333333333337e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 2942
    },
    {
      "epoch": 0.7850666666666667,
      "grad_norm": 0.17227207124233246,
      "learning_rate": 3.0380000000000004e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 2944
    },
    {
      "epoch": 0.7856,
      "grad_norm": 0.16762614250183105,
      "learning_rate": 3.0366666666666667e-06,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 2946
    },
    {
      "epoch": 0.7861333333333334,
      "grad_norm": 0.24652975797653198,
      "learning_rate": 3.0353333333333334e-06,
      "loss": -0.0699,
      "on_policy_loss": -0.0699,
      "step": 2948
    },
    {
      "epoch": 0.7866666666666666,
      "grad_norm": 0.21984520554542542,
      "learning_rate": 3.034e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 2950
    },
    {
      "epoch": 0.7872,
      "grad_norm": 0.19907258450984955,
      "learning_rate": 3.0326666666666672e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 2952
    },
    {
      "epoch": 0.7877333333333333,
      "grad_norm": 0.1775703728199005,
      "learning_rate": 3.0313333333333335e-06,
      "loss": -0.0661,
      "on_policy_loss": -0.0661,
      "step": 2954
    },
    {
      "epoch": 0.7882666666666667,
      "grad_norm": 0.19053199887275696,
      "learning_rate": 3.0300000000000002e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 2956
    },
    {
      "epoch": 0.7888,
      "grad_norm": 0.20156575739383698,
      "learning_rate": 3.028666666666667e-06,
      "loss": -0.0731,
      "on_policy_loss": -0.0731,
      "step": 2958
    },
    {
      "epoch": 0.7893333333333333,
      "grad_norm": 0.1823386698961258,
      "learning_rate": 3.0273333333333336e-06,
      "loss": -0.074,
      "on_policy_loss": -0.074,
      "step": 2960
    },
    {
      "epoch": 0.7898666666666667,
      "grad_norm": 0.18587958812713623,
      "learning_rate": 3.026e-06,
      "loss": -0.0762,
      "on_policy_loss": -0.0762,
      "step": 2962
    },
    {
      "epoch": 0.7904,
      "grad_norm": 0.20773328840732574,
      "learning_rate": 3.024666666666667e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 2964
    },
    {
      "epoch": 0.7909333333333334,
      "grad_norm": 0.253442645072937,
      "learning_rate": 3.0233333333333338e-06,
      "loss": -0.0718,
      "on_policy_loss": -0.0718,
      "step": 2966
    },
    {
      "epoch": 0.7914666666666667,
      "grad_norm": 0.16764681041240692,
      "learning_rate": 3.0220000000000005e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 2968
    },
    {
      "epoch": 0.792,
      "grad_norm": 0.19667984545230865,
      "learning_rate": 3.0206666666666667e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 2970
    },
    {
      "epoch": 0.7925333333333333,
      "grad_norm": 0.17100080847740173,
      "learning_rate": 3.0193333333333335e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 2972
    },
    {
      "epoch": 0.7930666666666667,
      "grad_norm": 0.1545957773923874,
      "learning_rate": 3.0180000000000006e-06,
      "loss": -0.0781,
      "on_policy_loss": -0.0781,
      "step": 2974
    },
    {
      "epoch": 0.7936,
      "grad_norm": 0.18944749236106873,
      "learning_rate": 3.0166666666666673e-06,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 2976
    },
    {
      "epoch": 0.7941333333333334,
      "grad_norm": 0.19883579015731812,
      "learning_rate": 3.0153333333333336e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 2978
    },
    {
      "epoch": 0.7946666666666666,
      "grad_norm": 0.1597622185945511,
      "learning_rate": 3.0140000000000003e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 2980
    },
    {
      "epoch": 0.7952,
      "grad_norm": 0.19456987082958221,
      "learning_rate": 3.012666666666667e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 2982
    },
    {
      "epoch": 0.7957333333333333,
      "grad_norm": 0.19012098014354706,
      "learning_rate": 3.0113333333333333e-06,
      "loss": -0.0739,
      "on_policy_loss": -0.0739,
      "step": 2984
    },
    {
      "epoch": 0.7962666666666667,
      "grad_norm": 0.20176582038402557,
      "learning_rate": 3.01e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 2986
    },
    {
      "epoch": 0.7968,
      "grad_norm": 0.2387593537569046,
      "learning_rate": 3.008666666666667e-06,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 2988
    },
    {
      "epoch": 0.7973333333333333,
      "grad_norm": 0.1890237033367157,
      "learning_rate": 3.007333333333334e-06,
      "loss": -0.0752,
      "on_policy_loss": -0.0752,
      "step": 2990
    },
    {
      "epoch": 0.7978666666666666,
      "grad_norm": 0.28071606159210205,
      "learning_rate": 3.006e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 2992
    },
    {
      "epoch": 0.7984,
      "grad_norm": 0.21966169774532318,
      "learning_rate": 3.004666666666667e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 2994
    },
    {
      "epoch": 0.7989333333333334,
      "grad_norm": 0.16548308730125427,
      "learning_rate": 3.0033333333333335e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 2996
    },
    {
      "epoch": 0.7994666666666667,
      "grad_norm": 0.1682654470205307,
      "learning_rate": 3.0020000000000006e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 2998
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.17261981964111328,
      "learning_rate": 3.000666666666667e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 3000
    },
    {
      "epoch": 0.8005333333333333,
      "grad_norm": 0.18515083193778992,
      "learning_rate": 2.9993333333333336e-06,
      "loss": -0.0719,
      "on_policy_loss": -0.0719,
      "step": 3002
    },
    {
      "epoch": 0.8010666666666667,
      "grad_norm": 0.2170015275478363,
      "learning_rate": 2.9980000000000003e-06,
      "loss": -0.0705,
      "on_policy_loss": -0.0705,
      "step": 3004
    },
    {
      "epoch": 0.8016,
      "grad_norm": 0.21393975615501404,
      "learning_rate": 2.996666666666667e-06,
      "loss": -0.0736,
      "on_policy_loss": -0.0736,
      "step": 3006
    },
    {
      "epoch": 0.8021333333333334,
      "grad_norm": 0.172902449965477,
      "learning_rate": 2.9953333333333333e-06,
      "loss": -0.0774,
      "on_policy_loss": -0.0774,
      "step": 3008
    },
    {
      "epoch": 0.8026666666666666,
      "grad_norm": 0.2064685970544815,
      "learning_rate": 2.994e-06,
      "loss": -0.0755,
      "on_policy_loss": -0.0755,
      "step": 3010
    },
    {
      "epoch": 0.8032,
      "grad_norm": 0.1773194670677185,
      "learning_rate": 2.992666666666667e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 3012
    },
    {
      "epoch": 0.8037333333333333,
      "grad_norm": 0.18057672679424286,
      "learning_rate": 2.9913333333333335e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3014
    },
    {
      "epoch": 0.8042666666666667,
      "grad_norm": 0.20078572630882263,
      "learning_rate": 2.99e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3016
    },
    {
      "epoch": 0.8048,
      "grad_norm": 0.1621600091457367,
      "learning_rate": 2.988666666666667e-06,
      "loss": -0.075,
      "on_policy_loss": -0.075,
      "step": 3018
    },
    {
      "epoch": 0.8053333333333333,
      "grad_norm": 0.15964660048484802,
      "learning_rate": 2.9873333333333336e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 3020
    },
    {
      "epoch": 0.8058666666666666,
      "grad_norm": 0.21318252384662628,
      "learning_rate": 2.986e-06,
      "loss": -0.0781,
      "on_policy_loss": -0.0781,
      "step": 3022
    },
    {
      "epoch": 0.8064,
      "grad_norm": 0.17527270317077637,
      "learning_rate": 2.984666666666667e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 3024
    },
    {
      "epoch": 0.8069333333333333,
      "grad_norm": 0.15954111516475677,
      "learning_rate": 2.9833333333333337e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 3026
    },
    {
      "epoch": 0.8074666666666667,
      "grad_norm": 0.19962699711322784,
      "learning_rate": 2.9820000000000004e-06,
      "loss": -0.0704,
      "on_policy_loss": -0.0704,
      "step": 3028
    },
    {
      "epoch": 0.808,
      "grad_norm": 0.18871580064296722,
      "learning_rate": 2.9806666666666667e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 3030
    },
    {
      "epoch": 0.8085333333333333,
      "grad_norm": 0.23951326310634613,
      "learning_rate": 2.9793333333333334e-06,
      "loss": -0.0666,
      "on_policy_loss": -0.0666,
      "step": 3032
    },
    {
      "epoch": 0.8090666666666667,
      "grad_norm": 0.1788184493780136,
      "learning_rate": 2.9780000000000005e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 3034
    },
    {
      "epoch": 0.8096,
      "grad_norm": 0.147367462515831,
      "learning_rate": 2.9766666666666672e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 3036
    },
    {
      "epoch": 0.8101333333333334,
      "grad_norm": 0.21403473615646362,
      "learning_rate": 2.9753333333333335e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 3038
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 0.22300894558429718,
      "learning_rate": 2.9740000000000002e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 3040
    },
    {
      "epoch": 0.8112,
      "grad_norm": 0.20228086411952972,
      "learning_rate": 2.972666666666667e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3042
    },
    {
      "epoch": 0.8117333333333333,
      "grad_norm": 0.18862102925777435,
      "learning_rate": 2.9713333333333337e-06,
      "loss": -0.074,
      "on_policy_loss": -0.074,
      "step": 3044
    },
    {
      "epoch": 0.8122666666666667,
      "grad_norm": 0.16585075855255127,
      "learning_rate": 2.97e-06,
      "loss": -0.0688,
      "on_policy_loss": -0.0688,
      "step": 3046
    },
    {
      "epoch": 0.8128,
      "grad_norm": 0.1976080983877182,
      "learning_rate": 2.968666666666667e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 3048
    },
    {
      "epoch": 0.8133333333333334,
      "grad_norm": 0.15090402960777283,
      "learning_rate": 2.9673333333333338e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 3050
    },
    {
      "epoch": 0.8138666666666666,
      "grad_norm": 0.18519918620586395,
      "learning_rate": 2.966e-06,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 3052
    },
    {
      "epoch": 0.8144,
      "grad_norm": 0.21743158996105194,
      "learning_rate": 2.9646666666666668e-06,
      "loss": -0.0735,
      "on_policy_loss": -0.0735,
      "step": 3054
    },
    {
      "epoch": 0.8149333333333333,
      "grad_norm": 0.189212828874588,
      "learning_rate": 2.9633333333333335e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3056
    },
    {
      "epoch": 0.8154666666666667,
      "grad_norm": 0.23231272399425507,
      "learning_rate": 2.9620000000000006e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 3058
    },
    {
      "epoch": 0.816,
      "grad_norm": 0.23158937692642212,
      "learning_rate": 2.960666666666667e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 3060
    },
    {
      "epoch": 0.8165333333333333,
      "grad_norm": 0.19704493880271912,
      "learning_rate": 2.9593333333333336e-06,
      "loss": -0.072,
      "on_policy_loss": -0.072,
      "step": 3062
    },
    {
      "epoch": 0.8170666666666667,
      "grad_norm": 0.19192402064800262,
      "learning_rate": 2.9580000000000003e-06,
      "loss": -0.0705,
      "on_policy_loss": -0.0705,
      "step": 3064
    },
    {
      "epoch": 0.8176,
      "grad_norm": 0.1896388679742813,
      "learning_rate": 2.956666666666667e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 3066
    },
    {
      "epoch": 0.8181333333333334,
      "grad_norm": 0.16865958273410797,
      "learning_rate": 2.9553333333333333e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 3068
    },
    {
      "epoch": 0.8186666666666667,
      "grad_norm": 0.17988163232803345,
      "learning_rate": 2.954e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 3070
    },
    {
      "epoch": 0.8192,
      "grad_norm": 0.18912208080291748,
      "learning_rate": 2.952666666666667e-06,
      "loss": -0.0752,
      "on_policy_loss": -0.0752,
      "step": 3072
    },
    {
      "epoch": 0.8197333333333333,
      "grad_norm": 0.2129373550415039,
      "learning_rate": 2.951333333333334e-06,
      "loss": -0.0762,
      "on_policy_loss": -0.0762,
      "step": 3074
    },
    {
      "epoch": 0.8202666666666667,
      "grad_norm": 0.1764015257358551,
      "learning_rate": 2.95e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 3076
    },
    {
      "epoch": 0.8208,
      "grad_norm": 0.1875050663948059,
      "learning_rate": 2.948666666666667e-06,
      "loss": -0.0686,
      "on_policy_loss": -0.0686,
      "step": 3078
    },
    {
      "epoch": 0.8213333333333334,
      "grad_norm": 0.18713054060935974,
      "learning_rate": 2.9473333333333335e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 3080
    },
    {
      "epoch": 0.8218666666666666,
      "grad_norm": 0.22649553418159485,
      "learning_rate": 2.946e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 3082
    },
    {
      "epoch": 0.8224,
      "grad_norm": 0.16672325134277344,
      "learning_rate": 2.944666666666667e-06,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 3084
    },
    {
      "epoch": 0.8229333333333333,
      "grad_norm": 0.1693488508462906,
      "learning_rate": 2.9433333333333337e-06,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 3086
    },
    {
      "epoch": 0.8234666666666667,
      "grad_norm": 0.21982039511203766,
      "learning_rate": 2.9420000000000004e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 3088
    },
    {
      "epoch": 0.824,
      "grad_norm": 0.22911441326141357,
      "learning_rate": 2.9406666666666667e-06,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 3090
    },
    {
      "epoch": 0.8245333333333333,
      "grad_norm": 0.20888623595237732,
      "learning_rate": 2.9393333333333334e-06,
      "loss": -0.0704,
      "on_policy_loss": -0.0704,
      "step": 3092
    },
    {
      "epoch": 0.8250666666666666,
      "grad_norm": 0.23223158717155457,
      "learning_rate": 2.9380000000000005e-06,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 3094
    },
    {
      "epoch": 0.8256,
      "grad_norm": 0.21322126686573029,
      "learning_rate": 2.936666666666667e-06,
      "loss": -0.0762,
      "on_policy_loss": -0.0762,
      "step": 3096
    },
    {
      "epoch": 0.8261333333333334,
      "grad_norm": 0.20320814847946167,
      "learning_rate": 2.9353333333333335e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3098
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 0.17672905325889587,
      "learning_rate": 2.934e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 3100
    },
    {
      "epoch": 0.8272,
      "grad_norm": 0.21949206292629242,
      "learning_rate": 2.932666666666667e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 3102
    },
    {
      "epoch": 0.8277333333333333,
      "grad_norm": 0.1793592870235443,
      "learning_rate": 2.9313333333333336e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 3104
    },
    {
      "epoch": 0.8282666666666667,
      "grad_norm": 0.2132425308227539,
      "learning_rate": 2.93e-06,
      "loss": -0.0721,
      "on_policy_loss": -0.0721,
      "step": 3106
    },
    {
      "epoch": 0.8288,
      "grad_norm": 0.18759624660015106,
      "learning_rate": 2.928666666666667e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 3108
    },
    {
      "epoch": 0.8293333333333334,
      "grad_norm": 0.17166946828365326,
      "learning_rate": 2.9273333333333337e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 3110
    },
    {
      "epoch": 0.8298666666666666,
      "grad_norm": 0.2076304852962494,
      "learning_rate": 2.9260000000000004e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 3112
    },
    {
      "epoch": 0.8304,
      "grad_norm": 0.19688773155212402,
      "learning_rate": 2.9246666666666667e-06,
      "loss": -0.075,
      "on_policy_loss": -0.075,
      "step": 3114
    },
    {
      "epoch": 0.8309333333333333,
      "grad_norm": 0.17087124288082123,
      "learning_rate": 2.9233333333333334e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 3116
    },
    {
      "epoch": 0.8314666666666667,
      "grad_norm": 0.19397884607315063,
      "learning_rate": 2.9220000000000006e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 3118
    },
    {
      "epoch": 0.832,
      "grad_norm": 0.16472479701042175,
      "learning_rate": 2.920666666666667e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 3120
    },
    {
      "epoch": 0.8325333333333333,
      "grad_norm": 0.15765203535556793,
      "learning_rate": 2.9193333333333336e-06,
      "loss": -0.0769,
      "on_policy_loss": -0.0769,
      "step": 3122
    },
    {
      "epoch": 0.8330666666666666,
      "grad_norm": 0.18077503144741058,
      "learning_rate": 2.9180000000000003e-06,
      "loss": -0.0713,
      "on_policy_loss": -0.0713,
      "step": 3124
    },
    {
      "epoch": 0.8336,
      "grad_norm": 0.19161084294319153,
      "learning_rate": 2.916666666666667e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 3126
    },
    {
      "epoch": 0.8341333333333333,
      "grad_norm": 0.23146894574165344,
      "learning_rate": 2.9153333333333333e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 3128
    },
    {
      "epoch": 0.8346666666666667,
      "grad_norm": 0.2022087126970291,
      "learning_rate": 2.914e-06,
      "loss": -0.0743,
      "on_policy_loss": -0.0743,
      "step": 3130
    },
    {
      "epoch": 0.8352,
      "grad_norm": 0.2747904062271118,
      "learning_rate": 2.912666666666667e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 3132
    },
    {
      "epoch": 0.8357333333333333,
      "grad_norm": 0.21672558784484863,
      "learning_rate": 2.911333333333334e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 3134
    },
    {
      "epoch": 0.8362666666666667,
      "grad_norm": 0.2380472868680954,
      "learning_rate": 2.91e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 3136
    },
    {
      "epoch": 0.8368,
      "grad_norm": 0.23683319985866547,
      "learning_rate": 2.908666666666667e-06,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 3138
    },
    {
      "epoch": 0.8373333333333334,
      "grad_norm": 0.17964810132980347,
      "learning_rate": 2.9073333333333335e-06,
      "loss": -0.076,
      "on_policy_loss": -0.076,
      "step": 3140
    },
    {
      "epoch": 0.8378666666666666,
      "grad_norm": 0.16737322509288788,
      "learning_rate": 2.9060000000000006e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 3142
    },
    {
      "epoch": 0.8384,
      "grad_norm": 0.18822987377643585,
      "learning_rate": 2.904666666666667e-06,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 3144
    },
    {
      "epoch": 0.8389333333333333,
      "grad_norm": 0.1948779672384262,
      "learning_rate": 2.9033333333333336e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3146
    },
    {
      "epoch": 0.8394666666666667,
      "grad_norm": 0.18109478056430817,
      "learning_rate": 2.9020000000000003e-06,
      "loss": -0.0711,
      "on_policy_loss": -0.0711,
      "step": 3148
    },
    {
      "epoch": 0.84,
      "grad_norm": 0.17466232180595398,
      "learning_rate": 2.9006666666666666e-06,
      "loss": -0.072,
      "on_policy_loss": -0.072,
      "step": 3150
    },
    {
      "epoch": 0.8405333333333334,
      "grad_norm": 0.18153618276119232,
      "learning_rate": 2.8993333333333333e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 3152
    },
    {
      "epoch": 0.8410666666666666,
      "grad_norm": 0.16617977619171143,
      "learning_rate": 2.8980000000000005e-06,
      "loss": -0.0718,
      "on_policy_loss": -0.0718,
      "step": 3154
    },
    {
      "epoch": 0.8416,
      "grad_norm": 0.18206986784934998,
      "learning_rate": 2.896666666666667e-06,
      "loss": -0.0704,
      "on_policy_loss": -0.0704,
      "step": 3156
    },
    {
      "epoch": 0.8421333333333333,
      "grad_norm": 0.1851622462272644,
      "learning_rate": 2.8953333333333335e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 3158
    },
    {
      "epoch": 0.8426666666666667,
      "grad_norm": 0.21041171252727509,
      "learning_rate": 2.894e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 3160
    },
    {
      "epoch": 0.8432,
      "grad_norm": 0.18312792479991913,
      "learning_rate": 2.892666666666667e-06,
      "loss": -0.0754,
      "on_policy_loss": -0.0754,
      "step": 3162
    },
    {
      "epoch": 0.8437333333333333,
      "grad_norm": 0.1858983039855957,
      "learning_rate": 2.8913333333333336e-06,
      "loss": -0.0718,
      "on_policy_loss": -0.0718,
      "step": 3164
    },
    {
      "epoch": 0.8442666666666667,
      "grad_norm": 0.25794661045074463,
      "learning_rate": 2.89e-06,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 3166
    },
    {
      "epoch": 0.8448,
      "grad_norm": 0.24127638339996338,
      "learning_rate": 2.888666666666667e-06,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 3168
    },
    {
      "epoch": 0.8453333333333334,
      "grad_norm": 0.1783044934272766,
      "learning_rate": 2.8873333333333337e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 3170
    },
    {
      "epoch": 0.8458666666666667,
      "grad_norm": 0.19703559577465057,
      "learning_rate": 2.8860000000000004e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 3172
    },
    {
      "epoch": 0.8464,
      "grad_norm": 0.20193636417388916,
      "learning_rate": 2.8846666666666667e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 3174
    },
    {
      "epoch": 0.8469333333333333,
      "grad_norm": 0.1834895759820938,
      "learning_rate": 2.8833333333333334e-06,
      "loss": -0.0745,
      "on_policy_loss": -0.0745,
      "step": 3176
    },
    {
      "epoch": 0.8474666666666667,
      "grad_norm": 0.22814366221427917,
      "learning_rate": 2.8820000000000005e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 3178
    },
    {
      "epoch": 0.848,
      "grad_norm": 0.17850889265537262,
      "learning_rate": 2.8806666666666672e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 3180
    },
    {
      "epoch": 0.8485333333333334,
      "grad_norm": 0.1885814666748047,
      "learning_rate": 2.8793333333333335e-06,
      "loss": -0.0755,
      "on_policy_loss": -0.0755,
      "step": 3182
    },
    {
      "epoch": 0.8490666666666666,
      "grad_norm": 0.15484768152236938,
      "learning_rate": 2.8780000000000002e-06,
      "loss": -0.0723,
      "on_policy_loss": -0.0723,
      "step": 3184
    },
    {
      "epoch": 0.8496,
      "grad_norm": 0.24229252338409424,
      "learning_rate": 2.876666666666667e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 3186
    },
    {
      "epoch": 0.8501333333333333,
      "grad_norm": 0.24679037928581238,
      "learning_rate": 2.8753333333333332e-06,
      "loss": -0.0737,
      "on_policy_loss": -0.0737,
      "step": 3188
    },
    {
      "epoch": 0.8506666666666667,
      "grad_norm": 0.1867903769016266,
      "learning_rate": 2.874e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 3190
    },
    {
      "epoch": 0.8512,
      "grad_norm": 0.1830630600452423,
      "learning_rate": 2.872666666666667e-06,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 3192
    },
    {
      "epoch": 0.8517333333333333,
      "grad_norm": 0.2588535249233246,
      "learning_rate": 2.8713333333333338e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 3194
    },
    {
      "epoch": 0.8522666666666666,
      "grad_norm": 0.22640302777290344,
      "learning_rate": 2.87e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 3196
    },
    {
      "epoch": 0.8528,
      "grad_norm": 0.19253458082675934,
      "learning_rate": 2.8686666666666668e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 3198
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 0.19833411276340485,
      "learning_rate": 2.8673333333333335e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 3200
    },
    {
      "epoch": 0.8538666666666667,
      "grad_norm": 0.17549845576286316,
      "learning_rate": 2.8660000000000006e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 3202
    },
    {
      "epoch": 0.8544,
      "grad_norm": 0.2136707901954651,
      "learning_rate": 2.864666666666667e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 3204
    },
    {
      "epoch": 0.8549333333333333,
      "grad_norm": 0.16360783576965332,
      "learning_rate": 2.8633333333333336e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 3206
    },
    {
      "epoch": 0.8554666666666667,
      "grad_norm": 0.19764143228530884,
      "learning_rate": 2.8620000000000003e-06,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 3208
    },
    {
      "epoch": 0.856,
      "grad_norm": 0.20088134706020355,
      "learning_rate": 2.860666666666667e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 3210
    },
    {
      "epoch": 0.8565333333333334,
      "grad_norm": 0.1765373796224594,
      "learning_rate": 2.8593333333333333e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 3212
    },
    {
      "epoch": 0.8570666666666666,
      "grad_norm": 0.17371174693107605,
      "learning_rate": 2.8580000000000004e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 3214
    },
    {
      "epoch": 0.8576,
      "grad_norm": 0.1930413395166397,
      "learning_rate": 2.856666666666667e-06,
      "loss": -0.07,
      "on_policy_loss": -0.07,
      "step": 3216
    },
    {
      "epoch": 0.8581333333333333,
      "grad_norm": 0.188119038939476,
      "learning_rate": 2.8553333333333334e-06,
      "loss": -0.0755,
      "on_policy_loss": -0.0755,
      "step": 3218
    },
    {
      "epoch": 0.8586666666666667,
      "grad_norm": 0.2079133689403534,
      "learning_rate": 2.854e-06,
      "loss": -0.0749,
      "on_policy_loss": -0.0749,
      "step": 3220
    },
    {
      "epoch": 0.8592,
      "grad_norm": 0.1783081591129303,
      "learning_rate": 2.852666666666667e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 3222
    },
    {
      "epoch": 0.8597333333333333,
      "grad_norm": 0.169059619307518,
      "learning_rate": 2.8513333333333335e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 3224
    },
    {
      "epoch": 0.8602666666666666,
      "grad_norm": 0.17953382432460785,
      "learning_rate": 2.85e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 3226
    },
    {
      "epoch": 0.8608,
      "grad_norm": 0.18129651248455048,
      "learning_rate": 2.848666666666667e-06,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 3228
    },
    {
      "epoch": 0.8613333333333333,
      "grad_norm": 0.1728382706642151,
      "learning_rate": 2.8473333333333337e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 3230
    },
    {
      "epoch": 0.8618666666666667,
      "grad_norm": 0.20503200590610504,
      "learning_rate": 2.8460000000000004e-06,
      "loss": -0.0737,
      "on_policy_loss": -0.0737,
      "step": 3232
    },
    {
      "epoch": 0.8624,
      "grad_norm": 0.18684129416942596,
      "learning_rate": 2.8446666666666666e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 3234
    },
    {
      "epoch": 0.8629333333333333,
      "grad_norm": 0.22328506410121918,
      "learning_rate": 2.8433333333333334e-06,
      "loss": -0.0731,
      "on_policy_loss": -0.0731,
      "step": 3236
    },
    {
      "epoch": 0.8634666666666667,
      "grad_norm": 0.1754441112279892,
      "learning_rate": 2.8420000000000005e-06,
      "loss": -0.0755,
      "on_policy_loss": -0.0755,
      "step": 3238
    },
    {
      "epoch": 0.864,
      "grad_norm": 0.22237519919872284,
      "learning_rate": 2.840666666666667e-06,
      "loss": -0.0739,
      "on_policy_loss": -0.0739,
      "step": 3240
    },
    {
      "epoch": 0.8645333333333334,
      "grad_norm": 0.21058963239192963,
      "learning_rate": 2.8393333333333335e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 3242
    },
    {
      "epoch": 0.8650666666666667,
      "grad_norm": 0.1869482696056366,
      "learning_rate": 2.838e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 3244
    },
    {
      "epoch": 0.8656,
      "grad_norm": 0.20876668393611908,
      "learning_rate": 2.836666666666667e-06,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 3246
    },
    {
      "epoch": 0.8661333333333333,
      "grad_norm": 0.17517074942588806,
      "learning_rate": 2.835333333333334e-06,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 3248
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 0.19452929496765137,
      "learning_rate": 2.834e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 3250
    },
    {
      "epoch": 0.8672,
      "grad_norm": 0.18724575638771057,
      "learning_rate": 2.832666666666667e-06,
      "loss": -0.076,
      "on_policy_loss": -0.076,
      "step": 3252
    },
    {
      "epoch": 0.8677333333333334,
      "grad_norm": 0.17283296585083008,
      "learning_rate": 2.8313333333333337e-06,
      "loss": -0.0742,
      "on_policy_loss": -0.0742,
      "step": 3254
    },
    {
      "epoch": 0.8682666666666666,
      "grad_norm": 0.21033121645450592,
      "learning_rate": 2.83e-06,
      "loss": -0.0718,
      "on_policy_loss": -0.0718,
      "step": 3256
    },
    {
      "epoch": 0.8688,
      "grad_norm": 0.22677968442440033,
      "learning_rate": 2.8286666666666667e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 3258
    },
    {
      "epoch": 0.8693333333333333,
      "grad_norm": 0.16188332438468933,
      "learning_rate": 2.8273333333333334e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 3260
    },
    {
      "epoch": 0.8698666666666667,
      "grad_norm": 0.21957939863204956,
      "learning_rate": 2.8260000000000006e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 3262
    },
    {
      "epoch": 0.8704,
      "grad_norm": 0.25040221214294434,
      "learning_rate": 2.824666666666667e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 3264
    },
    {
      "epoch": 0.8709333333333333,
      "grad_norm": 0.20805439352989197,
      "learning_rate": 2.8233333333333335e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 3266
    },
    {
      "epoch": 0.8714666666666666,
      "grad_norm": 0.18470554053783417,
      "learning_rate": 2.8220000000000003e-06,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 3268
    },
    {
      "epoch": 0.872,
      "grad_norm": 0.2207307368516922,
      "learning_rate": 2.820666666666667e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 3270
    },
    {
      "epoch": 0.8725333333333334,
      "grad_norm": 0.23527583479881287,
      "learning_rate": 2.8193333333333332e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 3272
    },
    {
      "epoch": 0.8730666666666667,
      "grad_norm": 0.1866765171289444,
      "learning_rate": 2.8180000000000004e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 3274
    },
    {
      "epoch": 0.8736,
      "grad_norm": 0.2294057011604309,
      "learning_rate": 2.816666666666667e-06,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 3276
    },
    {
      "epoch": 0.8741333333333333,
      "grad_norm": 0.20908702909946442,
      "learning_rate": 2.815333333333334e-06,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 3278
    },
    {
      "epoch": 0.8746666666666667,
      "grad_norm": 0.21892918646335602,
      "learning_rate": 2.814e-06,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 3280
    },
    {
      "epoch": 0.8752,
      "grad_norm": 0.20307093858718872,
      "learning_rate": 2.8126666666666668e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 3282
    },
    {
      "epoch": 0.8757333333333334,
      "grad_norm": 0.1777336597442627,
      "learning_rate": 2.8113333333333335e-06,
      "loss": -0.0749,
      "on_policy_loss": -0.0749,
      "step": 3284
    },
    {
      "epoch": 0.8762666666666666,
      "grad_norm": 0.19629082083702087,
      "learning_rate": 2.8100000000000006e-06,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 3286
    },
    {
      "epoch": 0.8768,
      "grad_norm": 0.1897651106119156,
      "learning_rate": 2.808666666666667e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 3288
    },
    {
      "epoch": 0.8773333333333333,
      "grad_norm": 0.23632624745368958,
      "learning_rate": 2.8073333333333336e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 3290
    },
    {
      "epoch": 0.8778666666666667,
      "grad_norm": 0.2058156281709671,
      "learning_rate": 2.8060000000000003e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 3292
    },
    {
      "epoch": 0.8784,
      "grad_norm": 0.21232083439826965,
      "learning_rate": 2.8046666666666666e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 3294
    },
    {
      "epoch": 0.8789333333333333,
      "grad_norm": 0.20040540397167206,
      "learning_rate": 2.8033333333333333e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 3296
    },
    {
      "epoch": 0.8794666666666666,
      "grad_norm": 0.19898389279842377,
      "learning_rate": 2.8020000000000004e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 3298
    },
    {
      "epoch": 0.88,
      "grad_norm": 0.2275780886411667,
      "learning_rate": 2.800666666666667e-06,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 3300
    },
    {
      "epoch": 0.8805333333333333,
      "grad_norm": 0.1778569221496582,
      "learning_rate": 2.7993333333333334e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 3302
    },
    {
      "epoch": 0.8810666666666667,
      "grad_norm": 0.17303195595741272,
      "learning_rate": 2.798e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 3304
    },
    {
      "epoch": 0.8816,
      "grad_norm": 0.21377620100975037,
      "learning_rate": 2.796666666666667e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 3306
    },
    {
      "epoch": 0.8821333333333333,
      "grad_norm": 0.19995944201946259,
      "learning_rate": 2.795333333333334e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 3308
    },
    {
      "epoch": 0.8826666666666667,
      "grad_norm": 0.180853471159935,
      "learning_rate": 2.794e-06,
      "loss": -0.0846,
      "on_policy_loss": -0.0846,
      "step": 3310
    },
    {
      "epoch": 0.8832,
      "grad_norm": 0.1729961633682251,
      "learning_rate": 2.792666666666667e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 3312
    },
    {
      "epoch": 0.8837333333333334,
      "grad_norm": 0.21003080904483795,
      "learning_rate": 2.7913333333333337e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 3314
    },
    {
      "epoch": 0.8842666666666666,
      "grad_norm": 0.21946056187152863,
      "learning_rate": 2.7900000000000004e-06,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 3316
    },
    {
      "epoch": 0.8848,
      "grad_norm": 0.19479435682296753,
      "learning_rate": 2.7886666666666667e-06,
      "loss": -0.0739,
      "on_policy_loss": -0.0739,
      "step": 3318
    },
    {
      "epoch": 0.8853333333333333,
      "grad_norm": 0.19265024363994598,
      "learning_rate": 2.7873333333333334e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 3320
    },
    {
      "epoch": 0.8858666666666667,
      "grad_norm": 0.1628415733575821,
      "learning_rate": 2.7860000000000005e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 3322
    },
    {
      "epoch": 0.8864,
      "grad_norm": 0.19000311195850372,
      "learning_rate": 2.784666666666667e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 3324
    },
    {
      "epoch": 0.8869333333333334,
      "grad_norm": 0.18009737133979797,
      "learning_rate": 2.7833333333333335e-06,
      "loss": -0.0745,
      "on_policy_loss": -0.0745,
      "step": 3326
    },
    {
      "epoch": 0.8874666666666666,
      "grad_norm": 0.18033665418624878,
      "learning_rate": 2.7820000000000002e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3328
    },
    {
      "epoch": 0.888,
      "grad_norm": 0.25257033109664917,
      "learning_rate": 2.780666666666667e-06,
      "loss": -0.075,
      "on_policy_loss": -0.075,
      "step": 3330
    },
    {
      "epoch": 0.8885333333333333,
      "grad_norm": 0.22525654733181,
      "learning_rate": 2.779333333333333e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 3332
    },
    {
      "epoch": 0.8890666666666667,
      "grad_norm": 0.18452095985412598,
      "learning_rate": 2.7780000000000003e-06,
      "loss": -0.0755,
      "on_policy_loss": -0.0755,
      "step": 3334
    },
    {
      "epoch": 0.8896,
      "grad_norm": 0.20945031940937042,
      "learning_rate": 2.776666666666667e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 3336
    },
    {
      "epoch": 0.8901333333333333,
      "grad_norm": 0.16511254012584686,
      "learning_rate": 2.7753333333333338e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 3338
    },
    {
      "epoch": 0.8906666666666667,
      "grad_norm": 0.18403038382530212,
      "learning_rate": 2.774e-06,
      "loss": -0.0745,
      "on_policy_loss": -0.0745,
      "step": 3340
    },
    {
      "epoch": 0.8912,
      "grad_norm": 0.24448876082897186,
      "learning_rate": 2.7726666666666667e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 3342
    },
    {
      "epoch": 0.8917333333333334,
      "grad_norm": 0.18540818989276886,
      "learning_rate": 2.7713333333333335e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 3344
    },
    {
      "epoch": 0.8922666666666667,
      "grad_norm": 0.20839852094650269,
      "learning_rate": 2.7700000000000006e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 3346
    },
    {
      "epoch": 0.8928,
      "grad_norm": 0.18273891508579254,
      "learning_rate": 2.768666666666667e-06,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 3348
    },
    {
      "epoch": 0.8933333333333333,
      "grad_norm": 0.20315824449062347,
      "learning_rate": 2.7673333333333336e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 3350
    },
    {
      "epoch": 0.8938666666666667,
      "grad_norm": 0.14912717044353485,
      "learning_rate": 2.7660000000000003e-06,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 3352
    },
    {
      "epoch": 0.8944,
      "grad_norm": 0.17739269137382507,
      "learning_rate": 2.764666666666667e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 3354
    },
    {
      "epoch": 0.8949333333333334,
      "grad_norm": 0.15631350874900818,
      "learning_rate": 2.7633333333333333e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 3356
    },
    {
      "epoch": 0.8954666666666666,
      "grad_norm": 0.1671544760465622,
      "learning_rate": 2.7620000000000004e-06,
      "loss": -0.0752,
      "on_policy_loss": -0.0752,
      "step": 3358
    },
    {
      "epoch": 0.896,
      "grad_norm": 0.15615618228912354,
      "learning_rate": 2.760666666666667e-06,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 3360
    },
    {
      "epoch": 0.8965333333333333,
      "grad_norm": 0.1590634286403656,
      "learning_rate": 2.7593333333333334e-06,
      "loss": -0.0719,
      "on_policy_loss": -0.0719,
      "step": 3362
    },
    {
      "epoch": 0.8970666666666667,
      "grad_norm": 0.18685045838356018,
      "learning_rate": 2.758e-06,
      "loss": -0.0755,
      "on_policy_loss": -0.0755,
      "step": 3364
    },
    {
      "epoch": 0.8976,
      "grad_norm": 0.2261573076248169,
      "learning_rate": 2.756666666666667e-06,
      "loss": -0.0705,
      "on_policy_loss": -0.0705,
      "step": 3366
    },
    {
      "epoch": 0.8981333333333333,
      "grad_norm": 0.20234455168247223,
      "learning_rate": 2.755333333333334e-06,
      "loss": -0.0715,
      "on_policy_loss": -0.0715,
      "step": 3368
    },
    {
      "epoch": 0.8986666666666666,
      "grad_norm": 0.22345301508903503,
      "learning_rate": 2.754e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 3370
    },
    {
      "epoch": 0.8992,
      "grad_norm": 0.1831946223974228,
      "learning_rate": 2.752666666666667e-06,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 3372
    },
    {
      "epoch": 0.8997333333333334,
      "grad_norm": 0.21774303913116455,
      "learning_rate": 2.7513333333333336e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 3374
    },
    {
      "epoch": 0.9002666666666667,
      "grad_norm": 0.19650442898273468,
      "learning_rate": 2.7500000000000004e-06,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 3376
    },
    {
      "epoch": 0.9008,
      "grad_norm": 0.19622871279716492,
      "learning_rate": 2.7486666666666666e-06,
      "loss": -0.0733,
      "on_policy_loss": -0.0733,
      "step": 3378
    },
    {
      "epoch": 0.9013333333333333,
      "grad_norm": 0.1769431233406067,
      "learning_rate": 2.7473333333333333e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 3380
    },
    {
      "epoch": 0.9018666666666667,
      "grad_norm": 0.1542089432477951,
      "learning_rate": 2.7460000000000005e-06,
      "loss": -0.0724,
      "on_policy_loss": -0.0724,
      "step": 3382
    },
    {
      "epoch": 0.9024,
      "grad_norm": 0.1648738980293274,
      "learning_rate": 2.744666666666667e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3384
    },
    {
      "epoch": 0.9029333333333334,
      "grad_norm": 0.1954784393310547,
      "learning_rate": 2.7433333333333335e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 3386
    },
    {
      "epoch": 0.9034666666666666,
      "grad_norm": 0.1610584259033203,
      "learning_rate": 2.742e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 3388
    },
    {
      "epoch": 0.904,
      "grad_norm": 0.16895943880081177,
      "learning_rate": 2.740666666666667e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 3390
    },
    {
      "epoch": 0.9045333333333333,
      "grad_norm": 0.20852433145046234,
      "learning_rate": 2.739333333333333e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3392
    },
    {
      "epoch": 0.9050666666666667,
      "grad_norm": 0.2052282989025116,
      "learning_rate": 2.7380000000000003e-06,
      "loss": -0.0722,
      "on_policy_loss": -0.0722,
      "step": 3394
    },
    {
      "epoch": 0.9056,
      "grad_norm": 0.2052009552717209,
      "learning_rate": 2.736666666666667e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 3396
    },
    {
      "epoch": 0.9061333333333333,
      "grad_norm": 0.17155484855175018,
      "learning_rate": 2.7353333333333337e-06,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 3398
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 0.1599045842885971,
      "learning_rate": 2.734e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 3400
    },
    {
      "epoch": 0.9072,
      "grad_norm": 0.18590249121189117,
      "learning_rate": 2.7326666666666667e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 3402
    },
    {
      "epoch": 0.9077333333333333,
      "grad_norm": 0.1930314302444458,
      "learning_rate": 2.7313333333333334e-06,
      "loss": -0.0743,
      "on_policy_loss": -0.0743,
      "step": 3404
    },
    {
      "epoch": 0.9082666666666667,
      "grad_norm": 0.23237881064414978,
      "learning_rate": 2.7300000000000005e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 3406
    },
    {
      "epoch": 0.9088,
      "grad_norm": 0.20078855752944946,
      "learning_rate": 2.728666666666667e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 3408
    },
    {
      "epoch": 0.9093333333333333,
      "grad_norm": 0.1721276044845581,
      "learning_rate": 2.7273333333333335e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 3410
    },
    {
      "epoch": 0.9098666666666667,
      "grad_norm": 0.1532769650220871,
      "learning_rate": 2.7260000000000002e-06,
      "loss": -0.0755,
      "on_policy_loss": -0.0755,
      "step": 3412
    },
    {
      "epoch": 0.9104,
      "grad_norm": 0.1850619614124298,
      "learning_rate": 2.724666666666667e-06,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 3414
    },
    {
      "epoch": 0.9109333333333334,
      "grad_norm": 0.20897027850151062,
      "learning_rate": 2.7233333333333332e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 3416
    },
    {
      "epoch": 0.9114666666666666,
      "grad_norm": 0.1609342247247696,
      "learning_rate": 2.7220000000000004e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 3418
    },
    {
      "epoch": 0.912,
      "grad_norm": 0.18666499853134155,
      "learning_rate": 2.720666666666667e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 3420
    },
    {
      "epoch": 0.9125333333333333,
      "grad_norm": 0.16787497699260712,
      "learning_rate": 2.7193333333333338e-06,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 3422
    },
    {
      "epoch": 0.9130666666666667,
      "grad_norm": 0.1873895823955536,
      "learning_rate": 2.718e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 3424
    },
    {
      "epoch": 0.9136,
      "grad_norm": 0.22343234717845917,
      "learning_rate": 2.7166666666666668e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 3426
    },
    {
      "epoch": 0.9141333333333334,
      "grad_norm": 0.1993454247713089,
      "learning_rate": 2.715333333333334e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 3428
    },
    {
      "epoch": 0.9146666666666666,
      "grad_norm": 0.19384697079658508,
      "learning_rate": 2.7139999999999998e-06,
      "loss": -0.0742,
      "on_policy_loss": -0.0742,
      "step": 3430
    },
    {
      "epoch": 0.9152,
      "grad_norm": 0.21234434843063354,
      "learning_rate": 2.712666666666667e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 3432
    },
    {
      "epoch": 0.9157333333333333,
      "grad_norm": 0.1737409234046936,
      "learning_rate": 2.7113333333333336e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 3434
    },
    {
      "epoch": 0.9162666666666667,
      "grad_norm": 0.20384985208511353,
      "learning_rate": 2.7100000000000003e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 3436
    },
    {
      "epoch": 0.9168,
      "grad_norm": 0.1820586919784546,
      "learning_rate": 2.7086666666666666e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 3438
    },
    {
      "epoch": 0.9173333333333333,
      "grad_norm": 0.18139827251434326,
      "learning_rate": 2.7073333333333333e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 3440
    },
    {
      "epoch": 0.9178666666666667,
      "grad_norm": 0.19432708621025085,
      "learning_rate": 2.7060000000000004e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 3442
    },
    {
      "epoch": 0.9184,
      "grad_norm": 0.21516038477420807,
      "learning_rate": 2.704666666666667e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 3444
    },
    {
      "epoch": 0.9189333333333334,
      "grad_norm": 0.168400838971138,
      "learning_rate": 2.7033333333333334e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 3446
    },
    {
      "epoch": 0.9194666666666667,
      "grad_norm": 0.1908891499042511,
      "learning_rate": 2.702e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 3448
    },
    {
      "epoch": 0.92,
      "grad_norm": 0.18448518216609955,
      "learning_rate": 2.700666666666667e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 3450
    },
    {
      "epoch": 0.9205333333333333,
      "grad_norm": 0.16406482458114624,
      "learning_rate": 2.699333333333334e-06,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 3452
    },
    {
      "epoch": 0.9210666666666667,
      "grad_norm": 0.18705448508262634,
      "learning_rate": 2.6980000000000003e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 3454
    },
    {
      "epoch": 0.9216,
      "grad_norm": 0.20367397367954254,
      "learning_rate": 2.696666666666667e-06,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 3456
    },
    {
      "epoch": 0.9221333333333334,
      "grad_norm": 0.1766907125711441,
      "learning_rate": 2.6953333333333337e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 3458
    },
    {
      "epoch": 0.9226666666666666,
      "grad_norm": 0.17563624680042267,
      "learning_rate": 2.694e-06,
      "loss": -0.0722,
      "on_policy_loss": -0.0722,
      "step": 3460
    },
    {
      "epoch": 0.9232,
      "grad_norm": 0.20334959030151367,
      "learning_rate": 2.6926666666666667e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 3462
    },
    {
      "epoch": 0.9237333333333333,
      "grad_norm": 0.16992031037807465,
      "learning_rate": 2.6913333333333334e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 3464
    },
    {
      "epoch": 0.9242666666666667,
      "grad_norm": 0.19662395119667053,
      "learning_rate": 2.6900000000000005e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 3466
    },
    {
      "epoch": 0.9248,
      "grad_norm": 0.2398824542760849,
      "learning_rate": 2.6886666666666668e-06,
      "loss": -0.0722,
      "on_policy_loss": -0.0722,
      "step": 3468
    },
    {
      "epoch": 0.9253333333333333,
      "grad_norm": 0.22113564610481262,
      "learning_rate": 2.6873333333333335e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 3470
    },
    {
      "epoch": 0.9258666666666666,
      "grad_norm": 0.1688409298658371,
      "learning_rate": 2.686e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 3472
    },
    {
      "epoch": 0.9264,
      "grad_norm": 0.18535476922988892,
      "learning_rate": 2.684666666666667e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 3474
    },
    {
      "epoch": 0.9269333333333334,
      "grad_norm": 0.2214871644973755,
      "learning_rate": 2.683333333333333e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 3476
    },
    {
      "epoch": 0.9274666666666667,
      "grad_norm": 0.14985717833042145,
      "learning_rate": 2.6820000000000003e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 3478
    },
    {
      "epoch": 0.928,
      "grad_norm": 0.1715800017118454,
      "learning_rate": 2.680666666666667e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 3480
    },
    {
      "epoch": 0.9285333333333333,
      "grad_norm": 0.1841234266757965,
      "learning_rate": 2.6793333333333337e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 3482
    },
    {
      "epoch": 0.9290666666666667,
      "grad_norm": 0.16795356571674347,
      "learning_rate": 2.678e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 3484
    },
    {
      "epoch": 0.9296,
      "grad_norm": 0.17534765601158142,
      "learning_rate": 2.6766666666666667e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 3486
    },
    {
      "epoch": 0.9301333333333334,
      "grad_norm": 0.24656833708286285,
      "learning_rate": 2.675333333333334e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 3488
    },
    {
      "epoch": 0.9306666666666666,
      "grad_norm": 0.1757490038871765,
      "learning_rate": 2.6740000000000006e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 3490
    },
    {
      "epoch": 0.9312,
      "grad_norm": 0.2167411893606186,
      "learning_rate": 2.672666666666667e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 3492
    },
    {
      "epoch": 0.9317333333333333,
      "grad_norm": 0.20179054141044617,
      "learning_rate": 2.6713333333333336e-06,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 3494
    },
    {
      "epoch": 0.9322666666666667,
      "grad_norm": 0.18479904532432556,
      "learning_rate": 2.6700000000000003e-06,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 3496
    },
    {
      "epoch": 0.9328,
      "grad_norm": 0.1708535999059677,
      "learning_rate": 2.6686666666666666e-06,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 3498
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 0.17884692549705505,
      "learning_rate": 2.6673333333333333e-06,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 3500
    },
    {
      "epoch": 0.9338666666666666,
      "grad_norm": 0.159610778093338,
      "learning_rate": 2.6660000000000004e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 3502
    },
    {
      "epoch": 0.9344,
      "grad_norm": 0.1923908144235611,
      "learning_rate": 2.664666666666667e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 3504
    },
    {
      "epoch": 0.9349333333333333,
      "grad_norm": 0.19161568582057953,
      "learning_rate": 2.6633333333333334e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 3506
    },
    {
      "epoch": 0.9354666666666667,
      "grad_norm": 0.16507309675216675,
      "learning_rate": 2.662e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 3508
    },
    {
      "epoch": 0.936,
      "grad_norm": 0.21410296857357025,
      "learning_rate": 2.660666666666667e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 3510
    },
    {
      "epoch": 0.9365333333333333,
      "grad_norm": 0.17423538863658905,
      "learning_rate": 2.659333333333334e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 3512
    },
    {
      "epoch": 0.9370666666666667,
      "grad_norm": 0.1800910234451294,
      "learning_rate": 2.6580000000000002e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3514
    },
    {
      "epoch": 0.9376,
      "grad_norm": 0.20235790312290192,
      "learning_rate": 2.656666666666667e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 3516
    },
    {
      "epoch": 0.9381333333333334,
      "grad_norm": 0.16058959066867828,
      "learning_rate": 2.6553333333333336e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 3518
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 0.20913474261760712,
      "learning_rate": 2.6540000000000003e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 3520
    },
    {
      "epoch": 0.9392,
      "grad_norm": 0.16612881422042847,
      "learning_rate": 2.6526666666666666e-06,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 3522
    },
    {
      "epoch": 0.9397333333333333,
      "grad_norm": 0.16803129017353058,
      "learning_rate": 2.6513333333333333e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 3524
    },
    {
      "epoch": 0.9402666666666667,
      "grad_norm": 0.1813642382621765,
      "learning_rate": 2.6500000000000005e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 3526
    },
    {
      "epoch": 0.9408,
      "grad_norm": 0.22335314750671387,
      "learning_rate": 2.6486666666666667e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 3528
    },
    {
      "epoch": 0.9413333333333334,
      "grad_norm": 0.186552956700325,
      "learning_rate": 2.6473333333333335e-06,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 3530
    },
    {
      "epoch": 0.9418666666666666,
      "grad_norm": 0.1685028374195099,
      "learning_rate": 2.646e-06,
      "loss": -0.0755,
      "on_policy_loss": -0.0755,
      "step": 3532
    },
    {
      "epoch": 0.9424,
      "grad_norm": 0.21062147617340088,
      "learning_rate": 2.644666666666667e-06,
      "loss": -0.0752,
      "on_policy_loss": -0.0752,
      "step": 3534
    },
    {
      "epoch": 0.9429333333333333,
      "grad_norm": 0.19237513840198517,
      "learning_rate": 2.643333333333333e-06,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 3536
    },
    {
      "epoch": 0.9434666666666667,
      "grad_norm": 0.20567002892494202,
      "learning_rate": 2.6420000000000003e-06,
      "loss": -0.0781,
      "on_policy_loss": -0.0781,
      "step": 3538
    },
    {
      "epoch": 0.944,
      "grad_norm": 0.21195629239082336,
      "learning_rate": 2.640666666666667e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 3540
    },
    {
      "epoch": 0.9445333333333333,
      "grad_norm": 0.20277036726474762,
      "learning_rate": 2.6393333333333337e-06,
      "loss": -0.0737,
      "on_policy_loss": -0.0737,
      "step": 3542
    },
    {
      "epoch": 0.9450666666666667,
      "grad_norm": 0.19739234447479248,
      "learning_rate": 2.638e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 3544
    },
    {
      "epoch": 0.9456,
      "grad_norm": 0.2258678376674652,
      "learning_rate": 2.6366666666666667e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3546
    },
    {
      "epoch": 0.9461333333333334,
      "grad_norm": 0.18572191894054413,
      "learning_rate": 2.635333333333334e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 3548
    },
    {
      "epoch": 0.9466666666666667,
      "grad_norm": 0.17452718317508698,
      "learning_rate": 2.6340000000000005e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 3550
    },
    {
      "epoch": 0.9472,
      "grad_norm": 0.1479199081659317,
      "learning_rate": 2.632666666666667e-06,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 3552
    },
    {
      "epoch": 0.9477333333333333,
      "grad_norm": 0.2443225234746933,
      "learning_rate": 2.6313333333333335e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 3554
    },
    {
      "epoch": 0.9482666666666667,
      "grad_norm": 0.18885518610477448,
      "learning_rate": 2.6300000000000002e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 3556
    },
    {
      "epoch": 0.9488,
      "grad_norm": 0.15792135894298553,
      "learning_rate": 2.628666666666667e-06,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 3558
    },
    {
      "epoch": 0.9493333333333334,
      "grad_norm": 0.16436702013015747,
      "learning_rate": 2.6273333333333332e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 3560
    },
    {
      "epoch": 0.9498666666666666,
      "grad_norm": 0.1664246767759323,
      "learning_rate": 2.6260000000000004e-06,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 3562
    },
    {
      "epoch": 0.9504,
      "grad_norm": 0.16817866265773773,
      "learning_rate": 2.624666666666667e-06,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 3564
    },
    {
      "epoch": 0.9509333333333333,
      "grad_norm": 0.2037164568901062,
      "learning_rate": 2.6233333333333333e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 3566
    },
    {
      "epoch": 0.9514666666666667,
      "grad_norm": 0.2873837947845459,
      "learning_rate": 2.622e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 3568
    },
    {
      "epoch": 0.952,
      "grad_norm": 0.16565653681755066,
      "learning_rate": 2.6206666666666668e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 3570
    },
    {
      "epoch": 0.9525333333333333,
      "grad_norm": 0.2485823631286621,
      "learning_rate": 2.619333333333334e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 3572
    },
    {
      "epoch": 0.9530666666666666,
      "grad_norm": 0.3348242938518524,
      "learning_rate": 2.618e-06,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 3574
    },
    {
      "epoch": 0.9536,
      "grad_norm": 0.20318908989429474,
      "learning_rate": 2.616666666666667e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 3576
    },
    {
      "epoch": 0.9541333333333334,
      "grad_norm": 0.2860663831233978,
      "learning_rate": 2.6153333333333336e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 3578
    },
    {
      "epoch": 0.9546666666666667,
      "grad_norm": 0.2064604014158249,
      "learning_rate": 2.6140000000000003e-06,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 3580
    },
    {
      "epoch": 0.9552,
      "grad_norm": 0.18682441115379333,
      "learning_rate": 2.6126666666666666e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 3582
    },
    {
      "epoch": 0.9557333333333333,
      "grad_norm": 0.21857784688472748,
      "learning_rate": 2.6113333333333333e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 3584
    },
    {
      "epoch": 0.9562666666666667,
      "grad_norm": 0.16521644592285156,
      "learning_rate": 2.6100000000000004e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 3586
    },
    {
      "epoch": 0.9568,
      "grad_norm": 0.18695463240146637,
      "learning_rate": 2.608666666666667e-06,
      "loss": -0.084,
      "on_policy_loss": -0.084,
      "step": 3588
    },
    {
      "epoch": 0.9573333333333334,
      "grad_norm": 0.19963312149047852,
      "learning_rate": 2.6073333333333334e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3590
    },
    {
      "epoch": 0.9578666666666666,
      "grad_norm": 0.18962322175502777,
      "learning_rate": 2.606e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 3592
    },
    {
      "epoch": 0.9584,
      "grad_norm": 0.17161621153354645,
      "learning_rate": 2.604666666666667e-06,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 3594
    },
    {
      "epoch": 0.9589333333333333,
      "grad_norm": 0.20985856652259827,
      "learning_rate": 2.603333333333334e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 3596
    },
    {
      "epoch": 0.9594666666666667,
      "grad_norm": 0.2204674482345581,
      "learning_rate": 2.6020000000000002e-06,
      "loss": -0.0737,
      "on_policy_loss": -0.0737,
      "step": 3598
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.16964280605316162,
      "learning_rate": 2.600666666666667e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 3600
    },
    {
      "epoch": 0.9605333333333334,
      "grad_norm": 0.17876273393630981,
      "learning_rate": 2.5993333333333337e-06,
      "loss": -0.0723,
      "on_policy_loss": -0.0723,
      "step": 3602
    },
    {
      "epoch": 0.9610666666666666,
      "grad_norm": 0.18692243099212646,
      "learning_rate": 2.598e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 3604
    },
    {
      "epoch": 0.9616,
      "grad_norm": 0.19668085873126984,
      "learning_rate": 2.5966666666666667e-06,
      "loss": -0.0735,
      "on_policy_loss": -0.0735,
      "step": 3606
    },
    {
      "epoch": 0.9621333333333333,
      "grad_norm": 0.17627908289432526,
      "learning_rate": 2.5953333333333338e-06,
      "loss": -0.0749,
      "on_policy_loss": -0.0749,
      "step": 3608
    },
    {
      "epoch": 0.9626666666666667,
      "grad_norm": 0.17009902000427246,
      "learning_rate": 2.5940000000000005e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3610
    },
    {
      "epoch": 0.9632,
      "grad_norm": 0.203640416264534,
      "learning_rate": 2.5926666666666668e-06,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 3612
    },
    {
      "epoch": 0.9637333333333333,
      "grad_norm": 0.2139558494091034,
      "learning_rate": 2.5913333333333335e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 3614
    },
    {
      "epoch": 0.9642666666666667,
      "grad_norm": 0.2112717479467392,
      "learning_rate": 2.59e-06,
      "loss": -0.0737,
      "on_policy_loss": -0.0737,
      "step": 3616
    },
    {
      "epoch": 0.9648,
      "grad_norm": 0.21345113217830658,
      "learning_rate": 2.588666666666667e-06,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 3618
    },
    {
      "epoch": 0.9653333333333334,
      "grad_norm": 0.22211390733718872,
      "learning_rate": 2.587333333333333e-06,
      "loss": -0.0734,
      "on_policy_loss": -0.0734,
      "step": 3620
    },
    {
      "epoch": 0.9658666666666667,
      "grad_norm": 0.197977676987648,
      "learning_rate": 2.5860000000000003e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 3622
    },
    {
      "epoch": 0.9664,
      "grad_norm": 0.2006409466266632,
      "learning_rate": 2.584666666666667e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 3624
    },
    {
      "epoch": 0.9669333333333333,
      "grad_norm": 0.19305844604969025,
      "learning_rate": 2.5833333333333337e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 3626
    },
    {
      "epoch": 0.9674666666666667,
      "grad_norm": 0.21105876564979553,
      "learning_rate": 2.582e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 3628
    },
    {
      "epoch": 0.968,
      "grad_norm": 0.20296236872673035,
      "learning_rate": 2.5806666666666667e-06,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 3630
    },
    {
      "epoch": 0.9685333333333334,
      "grad_norm": 0.2595614194869995,
      "learning_rate": 2.579333333333334e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 3632
    },
    {
      "epoch": 0.9690666666666666,
      "grad_norm": 0.20068316161632538,
      "learning_rate": 2.578e-06,
      "loss": -0.0749,
      "on_policy_loss": -0.0749,
      "step": 3634
    },
    {
      "epoch": 0.9696,
      "grad_norm": 0.19869662821292877,
      "learning_rate": 2.576666666666667e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 3636
    },
    {
      "epoch": 0.9701333333333333,
      "grad_norm": 0.19722963869571686,
      "learning_rate": 2.5753333333333336e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 3638
    },
    {
      "epoch": 0.9706666666666667,
      "grad_norm": 0.20953650772571564,
      "learning_rate": 2.5740000000000003e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 3640
    },
    {
      "epoch": 0.9712,
      "grad_norm": 0.18796831369400024,
      "learning_rate": 2.5726666666666665e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 3642
    },
    {
      "epoch": 0.9717333333333333,
      "grad_norm": 0.2341209501028061,
      "learning_rate": 2.5713333333333333e-06,
      "loss": -0.0723,
      "on_policy_loss": -0.0723,
      "step": 3644
    },
    {
      "epoch": 0.9722666666666666,
      "grad_norm": 0.20711658895015717,
      "learning_rate": 2.5700000000000004e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 3646
    },
    {
      "epoch": 0.9728,
      "grad_norm": 0.18804913759231567,
      "learning_rate": 2.568666666666667e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 3648
    },
    {
      "epoch": 0.9733333333333334,
      "grad_norm": 0.16787321865558624,
      "learning_rate": 2.5673333333333334e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 3650
    },
    {
      "epoch": 0.9738666666666667,
      "grad_norm": 0.18801407516002655,
      "learning_rate": 2.566e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3652
    },
    {
      "epoch": 0.9744,
      "grad_norm": 0.17689591646194458,
      "learning_rate": 2.564666666666667e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 3654
    },
    {
      "epoch": 0.9749333333333333,
      "grad_norm": 0.19012966752052307,
      "learning_rate": 2.563333333333334e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 3656
    },
    {
      "epoch": 0.9754666666666667,
      "grad_norm": 0.1878124624490738,
      "learning_rate": 2.562e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 3658
    },
    {
      "epoch": 0.976,
      "grad_norm": 0.20517809689044952,
      "learning_rate": 2.560666666666667e-06,
      "loss": -0.0781,
      "on_policy_loss": -0.0781,
      "step": 3660
    },
    {
      "epoch": 0.9765333333333334,
      "grad_norm": 0.1673993617296219,
      "learning_rate": 2.5593333333333336e-06,
      "loss": -0.0859,
      "on_policy_loss": -0.0859,
      "step": 3662
    },
    {
      "epoch": 0.9770666666666666,
      "grad_norm": 0.17270736396312714,
      "learning_rate": 2.5580000000000003e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3664
    },
    {
      "epoch": 0.9776,
      "grad_norm": 0.19657374918460846,
      "learning_rate": 2.5566666666666666e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 3666
    },
    {
      "epoch": 0.9781333333333333,
      "grad_norm": 0.18957114219665527,
      "learning_rate": 2.5553333333333337e-06,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 3668
    },
    {
      "epoch": 0.9786666666666667,
      "grad_norm": 0.19165468215942383,
      "learning_rate": 2.5540000000000004e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 3670
    },
    {
      "epoch": 0.9792,
      "grad_norm": 0.18904855847358704,
      "learning_rate": 2.5526666666666667e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 3672
    },
    {
      "epoch": 0.9797333333333333,
      "grad_norm": 0.17184995114803314,
      "learning_rate": 2.5513333333333334e-06,
      "loss": -0.0774,
      "on_policy_loss": -0.0774,
      "step": 3674
    },
    {
      "epoch": 0.9802666666666666,
      "grad_norm": 0.19715739786624908,
      "learning_rate": 2.55e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 3676
    },
    {
      "epoch": 0.9808,
      "grad_norm": 0.1959519386291504,
      "learning_rate": 2.548666666666667e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 3678
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 0.20546944439411163,
      "learning_rate": 2.547333333333333e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 3680
    },
    {
      "epoch": 0.9818666666666667,
      "grad_norm": 0.20080341398715973,
      "learning_rate": 2.5460000000000003e-06,
      "loss": -0.0726,
      "on_policy_loss": -0.0726,
      "step": 3682
    },
    {
      "epoch": 0.9824,
      "grad_norm": 0.21966078877449036,
      "learning_rate": 2.544666666666667e-06,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 3684
    },
    {
      "epoch": 0.9829333333333333,
      "grad_norm": 0.16905978322029114,
      "learning_rate": 2.5433333333333337e-06,
      "loss": -0.0731,
      "on_policy_loss": -0.0731,
      "step": 3686
    },
    {
      "epoch": 0.9834666666666667,
      "grad_norm": 0.1738821566104889,
      "learning_rate": 2.542e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 3688
    },
    {
      "epoch": 0.984,
      "grad_norm": 0.2150842696428299,
      "learning_rate": 2.5406666666666667e-06,
      "loss": -0.074,
      "on_policy_loss": -0.074,
      "step": 3690
    },
    {
      "epoch": 0.9845333333333334,
      "grad_norm": 0.2536175549030304,
      "learning_rate": 2.539333333333334e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 3692
    },
    {
      "epoch": 0.9850666666666666,
      "grad_norm": 0.19717061519622803,
      "learning_rate": 2.5380000000000005e-06,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 3694
    },
    {
      "epoch": 0.9856,
      "grad_norm": 0.17376676201820374,
      "learning_rate": 2.536666666666667e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 3696
    },
    {
      "epoch": 0.9861333333333333,
      "grad_norm": 0.17826372385025024,
      "learning_rate": 2.5353333333333335e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 3698
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 0.19877749681472778,
      "learning_rate": 2.5340000000000002e-06,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 3700
    },
    {
      "epoch": 0.9872,
      "grad_norm": 0.2017912119626999,
      "learning_rate": 2.5326666666666665e-06,
      "loss": -0.0749,
      "on_policy_loss": -0.0749,
      "step": 3702
    },
    {
      "epoch": 0.9877333333333334,
      "grad_norm": 0.2472587525844574,
      "learning_rate": 2.531333333333333e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 3704
    },
    {
      "epoch": 0.9882666666666666,
      "grad_norm": 0.1745748221874237,
      "learning_rate": 2.5300000000000003e-06,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 3706
    },
    {
      "epoch": 0.9888,
      "grad_norm": 0.20203492045402527,
      "learning_rate": 2.528666666666667e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 3708
    },
    {
      "epoch": 0.9893333333333333,
      "grad_norm": 0.21935436129570007,
      "learning_rate": 2.5273333333333333e-06,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 3710
    },
    {
      "epoch": 0.9898666666666667,
      "grad_norm": 0.1776946485042572,
      "learning_rate": 2.526e-06,
      "loss": -0.0729,
      "on_policy_loss": -0.0729,
      "step": 3712
    },
    {
      "epoch": 0.9904,
      "grad_norm": 0.20375391840934753,
      "learning_rate": 2.5246666666666667e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 3714
    },
    {
      "epoch": 0.9909333333333333,
      "grad_norm": 0.19470615684986115,
      "learning_rate": 2.523333333333334e-06,
      "loss": -0.0739,
      "on_policy_loss": -0.0739,
      "step": 3716
    },
    {
      "epoch": 0.9914666666666667,
      "grad_norm": 0.19018936157226562,
      "learning_rate": 2.522e-06,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 3718
    },
    {
      "epoch": 0.992,
      "grad_norm": 0.2129862755537033,
      "learning_rate": 2.520666666666667e-06,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 3720
    },
    {
      "epoch": 0.9925333333333334,
      "grad_norm": 0.1985834389925003,
      "learning_rate": 2.5193333333333336e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 3722
    },
    {
      "epoch": 0.9930666666666667,
      "grad_norm": 0.1826004832983017,
      "learning_rate": 2.5180000000000003e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 3724
    },
    {
      "epoch": 0.9936,
      "grad_norm": 0.2383522391319275,
      "learning_rate": 2.5166666666666666e-06,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 3726
    },
    {
      "epoch": 0.9941333333333333,
      "grad_norm": 0.1772494614124298,
      "learning_rate": 2.5153333333333337e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 3728
    },
    {
      "epoch": 0.9946666666666667,
      "grad_norm": 0.2262364774942398,
      "learning_rate": 2.5140000000000004e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 3730
    },
    {
      "epoch": 0.9952,
      "grad_norm": 0.2164466679096222,
      "learning_rate": 2.512666666666667e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 3732
    },
    {
      "epoch": 0.9957333333333334,
      "grad_norm": 0.23159734904766083,
      "learning_rate": 2.5113333333333334e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 3734
    },
    {
      "epoch": 0.9962666666666666,
      "grad_norm": 0.29614949226379395,
      "learning_rate": 2.51e-06,
      "loss": -0.075,
      "on_policy_loss": -0.075,
      "step": 3736
    },
    {
      "epoch": 0.9968,
      "grad_norm": 0.20175252854824066,
      "learning_rate": 2.508666666666667e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 3738
    },
    {
      "epoch": 0.9973333333333333,
      "grad_norm": 0.20160456001758575,
      "learning_rate": 2.507333333333333e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 3740
    },
    {
      "epoch": 0.9978666666666667,
      "grad_norm": 0.2180640548467636,
      "learning_rate": 2.5060000000000002e-06,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 3742
    },
    {
      "epoch": 0.9984,
      "grad_norm": 0.1887545883655548,
      "learning_rate": 2.504666666666667e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 3744
    },
    {
      "epoch": 0.9989333333333333,
      "grad_norm": 0.16435150802135468,
      "learning_rate": 2.5033333333333336e-06,
      "loss": -0.0719,
      "on_policy_loss": -0.0719,
      "step": 3746
    },
    {
      "epoch": 0.9994666666666666,
      "grad_norm": 0.21141913533210754,
      "learning_rate": 2.502e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 3748
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.18099333345890045,
      "learning_rate": 2.5006666666666666e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 3750
    },
    {
      "epoch": 1.0005333333333333,
      "grad_norm": 0.22322677075862885,
      "learning_rate": 2.4993333333333338e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3752
    },
    {
      "epoch": 1.0010666666666668,
      "grad_norm": 0.23564189672470093,
      "learning_rate": 2.498e-06,
      "loss": -0.075,
      "on_policy_loss": -0.075,
      "step": 3754
    },
    {
      "epoch": 1.0016,
      "grad_norm": 0.17552657425403595,
      "learning_rate": 2.4966666666666668e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 3756
    },
    {
      "epoch": 1.0021333333333333,
      "grad_norm": 0.17294491827487946,
      "learning_rate": 2.4953333333333335e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 3758
    },
    {
      "epoch": 1.0026666666666666,
      "grad_norm": 0.17022040486335754,
      "learning_rate": 2.494e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 3760
    },
    {
      "epoch": 1.0032,
      "grad_norm": 0.171029195189476,
      "learning_rate": 2.492666666666667e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 3762
    },
    {
      "epoch": 1.0037333333333334,
      "grad_norm": 0.22960476577281952,
      "learning_rate": 2.4913333333333336e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 3764
    },
    {
      "epoch": 1.0042666666666666,
      "grad_norm": 0.18243956565856934,
      "learning_rate": 2.4900000000000003e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 3766
    },
    {
      "epoch": 1.0048,
      "grad_norm": 0.1767665445804596,
      "learning_rate": 2.488666666666667e-06,
      "loss": -0.0755,
      "on_policy_loss": -0.0755,
      "step": 3768
    },
    {
      "epoch": 1.0053333333333334,
      "grad_norm": 0.22089746594429016,
      "learning_rate": 2.4873333333333337e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 3770
    },
    {
      "epoch": 1.0058666666666667,
      "grad_norm": 0.18221916258335114,
      "learning_rate": 2.486e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 3772
    },
    {
      "epoch": 1.0064,
      "grad_norm": 0.1893835961818695,
      "learning_rate": 2.4846666666666667e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 3774
    },
    {
      "epoch": 1.0069333333333332,
      "grad_norm": 0.20717795193195343,
      "learning_rate": 2.4833333333333334e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 3776
    },
    {
      "epoch": 1.0074666666666667,
      "grad_norm": 0.24779362976551056,
      "learning_rate": 2.482e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 3778
    },
    {
      "epoch": 1.008,
      "grad_norm": 0.23776328563690186,
      "learning_rate": 2.480666666666667e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 3780
    },
    {
      "epoch": 1.0085333333333333,
      "grad_norm": 0.19406168162822723,
      "learning_rate": 2.4793333333333335e-06,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 3782
    },
    {
      "epoch": 1.0090666666666666,
      "grad_norm": 0.15551039576530457,
      "learning_rate": 2.4780000000000002e-06,
      "loss": -0.0719,
      "on_policy_loss": -0.0719,
      "step": 3784
    },
    {
      "epoch": 1.0096,
      "grad_norm": 0.17198559641838074,
      "learning_rate": 2.476666666666667e-06,
      "loss": -0.0725,
      "on_policy_loss": -0.0725,
      "step": 3786
    },
    {
      "epoch": 1.0101333333333333,
      "grad_norm": 0.16708795726299286,
      "learning_rate": 2.4753333333333337e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 3788
    },
    {
      "epoch": 1.0106666666666666,
      "grad_norm": 0.19110752642154694,
      "learning_rate": 2.4740000000000004e-06,
      "loss": -0.0843,
      "on_policy_loss": -0.0843,
      "step": 3790
    },
    {
      "epoch": 1.0112,
      "grad_norm": 0.2009619176387787,
      "learning_rate": 2.4726666666666667e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 3792
    },
    {
      "epoch": 1.0117333333333334,
      "grad_norm": 0.18571174144744873,
      "learning_rate": 2.4713333333333338e-06,
      "loss": -0.0846,
      "on_policy_loss": -0.0846,
      "step": 3794
    },
    {
      "epoch": 1.0122666666666666,
      "grad_norm": 0.17585089802742004,
      "learning_rate": 2.47e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 3796
    },
    {
      "epoch": 1.0128,
      "grad_norm": 0.19006778299808502,
      "learning_rate": 2.468666666666667e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 3798
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 0.148215189576149,
      "learning_rate": 2.4673333333333335e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 3800
    },
    {
      "epoch": 1.0138666666666667,
      "grad_norm": 0.19243799149990082,
      "learning_rate": 2.466e-06,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 3802
    },
    {
      "epoch": 1.0144,
      "grad_norm": 0.19133242964744568,
      "learning_rate": 2.464666666666667e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 3804
    },
    {
      "epoch": 1.0149333333333332,
      "grad_norm": 0.2131252884864807,
      "learning_rate": 2.4633333333333336e-06,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 3806
    },
    {
      "epoch": 1.0154666666666667,
      "grad_norm": 0.1805511713027954,
      "learning_rate": 2.4620000000000003e-06,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 3808
    },
    {
      "epoch": 1.016,
      "grad_norm": 0.14461156725883484,
      "learning_rate": 2.4606666666666666e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 3810
    },
    {
      "epoch": 1.0165333333333333,
      "grad_norm": 0.1855558156967163,
      "learning_rate": 2.4593333333333337e-06,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 3812
    },
    {
      "epoch": 1.0170666666666666,
      "grad_norm": 0.19255079329013824,
      "learning_rate": 2.458e-06,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 3814
    },
    {
      "epoch": 1.0176,
      "grad_norm": 0.2728753387928009,
      "learning_rate": 2.4566666666666667e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 3816
    },
    {
      "epoch": 1.0181333333333333,
      "grad_norm": 0.1869155913591385,
      "learning_rate": 2.4553333333333334e-06,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 3818
    },
    {
      "epoch": 1.0186666666666666,
      "grad_norm": 0.1835753619670868,
      "learning_rate": 2.454e-06,
      "loss": -0.0769,
      "on_policy_loss": -0.0769,
      "step": 3820
    },
    {
      "epoch": 1.0192,
      "grad_norm": 0.23474712669849396,
      "learning_rate": 2.452666666666667e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 3822
    },
    {
      "epoch": 1.0197333333333334,
      "grad_norm": 0.19425706565380096,
      "learning_rate": 2.4513333333333336e-06,
      "loss": -0.0769,
      "on_policy_loss": -0.0769,
      "step": 3824
    },
    {
      "epoch": 1.0202666666666667,
      "grad_norm": 0.20120732486248016,
      "learning_rate": 2.4500000000000003e-06,
      "loss": -0.068,
      "on_policy_loss": -0.068,
      "step": 3826
    },
    {
      "epoch": 1.0208,
      "grad_norm": 0.1912892758846283,
      "learning_rate": 2.448666666666667e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 3828
    },
    {
      "epoch": 1.0213333333333334,
      "grad_norm": 0.23278899490833282,
      "learning_rate": 2.4473333333333337e-06,
      "loss": -0.0781,
      "on_policy_loss": -0.0781,
      "step": 3830
    },
    {
      "epoch": 1.0218666666666667,
      "grad_norm": 0.17450283467769623,
      "learning_rate": 2.4460000000000004e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 3832
    },
    {
      "epoch": 1.0224,
      "grad_norm": 0.2042459100484848,
      "learning_rate": 2.4446666666666667e-06,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 3834
    },
    {
      "epoch": 1.0229333333333333,
      "grad_norm": 0.1913030743598938,
      "learning_rate": 2.443333333333334e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 3836
    },
    {
      "epoch": 1.0234666666666667,
      "grad_norm": 0.2002973109483719,
      "learning_rate": 2.442e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 3838
    },
    {
      "epoch": 1.024,
      "grad_norm": 0.24153083562850952,
      "learning_rate": 2.440666666666667e-06,
      "loss": -0.0718,
      "on_policy_loss": -0.0718,
      "step": 3840
    },
    {
      "epoch": 1.0245333333333333,
      "grad_norm": 0.1938903033733368,
      "learning_rate": 2.4393333333333335e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 3842
    },
    {
      "epoch": 1.0250666666666666,
      "grad_norm": 0.2026859074831009,
      "learning_rate": 2.438e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 3844
    },
    {
      "epoch": 1.0256,
      "grad_norm": 0.2066369205713272,
      "learning_rate": 2.436666666666667e-06,
      "loss": -0.0734,
      "on_policy_loss": -0.0734,
      "step": 3846
    },
    {
      "epoch": 1.0261333333333333,
      "grad_norm": 0.1687045842409134,
      "learning_rate": 2.4353333333333336e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 3848
    },
    {
      "epoch": 1.0266666666666666,
      "grad_norm": 0.1762758493423462,
      "learning_rate": 2.4340000000000003e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 3850
    },
    {
      "epoch": 1.0272,
      "grad_norm": 0.16534680128097534,
      "learning_rate": 2.4326666666666666e-06,
      "loss": -0.0846,
      "on_policy_loss": -0.0846,
      "step": 3852
    },
    {
      "epoch": 1.0277333333333334,
      "grad_norm": 0.1832047700881958,
      "learning_rate": 2.4313333333333337e-06,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 3854
    },
    {
      "epoch": 1.0282666666666667,
      "grad_norm": 0.17975132167339325,
      "learning_rate": 2.43e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 3856
    },
    {
      "epoch": 1.0288,
      "grad_norm": 0.21859082579612732,
      "learning_rate": 2.428666666666667e-06,
      "loss": -0.0781,
      "on_policy_loss": -0.0781,
      "step": 3858
    },
    {
      "epoch": 1.0293333333333334,
      "grad_norm": 0.16962745785713196,
      "learning_rate": 2.4273333333333334e-06,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 3860
    },
    {
      "epoch": 1.0298666666666667,
      "grad_norm": 0.2351270169019699,
      "learning_rate": 2.426e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 3862
    },
    {
      "epoch": 1.0304,
      "grad_norm": 0.19317056238651276,
      "learning_rate": 2.424666666666667e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 3864
    },
    {
      "epoch": 1.0309333333333333,
      "grad_norm": 0.16655169427394867,
      "learning_rate": 2.4233333333333336e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 3866
    },
    {
      "epoch": 1.0314666666666668,
      "grad_norm": 0.19035746157169342,
      "learning_rate": 2.4220000000000003e-06,
      "loss": -0.0739,
      "on_policy_loss": -0.0739,
      "step": 3868
    },
    {
      "epoch": 1.032,
      "grad_norm": 0.20038051903247833,
      "learning_rate": 2.420666666666667e-06,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 3870
    },
    {
      "epoch": 1.0325333333333333,
      "grad_norm": 0.17373032867908478,
      "learning_rate": 2.4193333333333337e-06,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 3872
    },
    {
      "epoch": 1.0330666666666666,
      "grad_norm": 0.1611047089099884,
      "learning_rate": 2.418e-06,
      "loss": -0.0843,
      "on_policy_loss": -0.0843,
      "step": 3874
    },
    {
      "epoch": 1.0336,
      "grad_norm": 0.17042222619056702,
      "learning_rate": 2.4166666666666667e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 3876
    },
    {
      "epoch": 1.0341333333333333,
      "grad_norm": 0.21063725650310516,
      "learning_rate": 2.4153333333333334e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 3878
    },
    {
      "epoch": 1.0346666666666666,
      "grad_norm": 0.2012454867362976,
      "learning_rate": 2.414e-06,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 3880
    },
    {
      "epoch": 1.0352,
      "grad_norm": 0.19633692502975464,
      "learning_rate": 2.412666666666667e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 3882
    },
    {
      "epoch": 1.0357333333333334,
      "grad_norm": 0.20145449042320251,
      "learning_rate": 2.4113333333333335e-06,
      "loss": -0.084,
      "on_policy_loss": -0.084,
      "step": 3884
    },
    {
      "epoch": 1.0362666666666667,
      "grad_norm": 0.17703953385353088,
      "learning_rate": 2.4100000000000002e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 3886
    },
    {
      "epoch": 1.0368,
      "grad_norm": 0.1585254967212677,
      "learning_rate": 2.408666666666667e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 3888
    },
    {
      "epoch": 1.0373333333333334,
      "grad_norm": 0.1799047291278839,
      "learning_rate": 2.4073333333333336e-06,
      "loss": -0.0848,
      "on_policy_loss": -0.0848,
      "step": 3890
    },
    {
      "epoch": 1.0378666666666667,
      "grad_norm": 0.18127208948135376,
      "learning_rate": 2.4060000000000003e-06,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 3892
    },
    {
      "epoch": 1.0384,
      "grad_norm": 0.17700421810150146,
      "learning_rate": 2.4046666666666666e-06,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 3894
    },
    {
      "epoch": 1.0389333333333333,
      "grad_norm": 0.188895121216774,
      "learning_rate": 2.4033333333333338e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 3896
    },
    {
      "epoch": 1.0394666666666668,
      "grad_norm": 0.18876147270202637,
      "learning_rate": 2.402e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 3898
    },
    {
      "epoch": 1.04,
      "grad_norm": 0.158232182264328,
      "learning_rate": 2.400666666666667e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 3900
    },
    {
      "epoch": 1.0405333333333333,
      "grad_norm": 0.2245110273361206,
      "learning_rate": 2.3993333333333335e-06,
      "loss": -0.0705,
      "on_policy_loss": -0.0705,
      "step": 3902
    },
    {
      "epoch": 1.0410666666666666,
      "grad_norm": 0.15243811905384064,
      "learning_rate": 2.398e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 3904
    },
    {
      "epoch": 1.0416,
      "grad_norm": 0.21115939319133759,
      "learning_rate": 2.396666666666667e-06,
      "loss": -0.0877,
      "on_policy_loss": -0.0877,
      "step": 3906
    },
    {
      "epoch": 1.0421333333333334,
      "grad_norm": 0.17827008664608002,
      "learning_rate": 2.3953333333333336e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 3908
    },
    {
      "epoch": 1.0426666666666666,
      "grad_norm": 0.20972709357738495,
      "learning_rate": 2.3940000000000003e-06,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 3910
    },
    {
      "epoch": 1.0432,
      "grad_norm": 0.2090003341436386,
      "learning_rate": 2.3926666666666666e-06,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 3912
    },
    {
      "epoch": 1.0437333333333334,
      "grad_norm": 0.2088167518377304,
      "learning_rate": 2.3913333333333337e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 3914
    },
    {
      "epoch": 1.0442666666666667,
      "grad_norm": 0.18026670813560486,
      "learning_rate": 2.39e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 3916
    },
    {
      "epoch": 1.0448,
      "grad_norm": 0.20614157617092133,
      "learning_rate": 2.388666666666667e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 3918
    },
    {
      "epoch": 1.0453333333333332,
      "grad_norm": 0.1910765916109085,
      "learning_rate": 2.3873333333333334e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 3920
    },
    {
      "epoch": 1.0458666666666667,
      "grad_norm": 0.17314201593399048,
      "learning_rate": 2.386e-06,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 3922
    },
    {
      "epoch": 1.0464,
      "grad_norm": 0.17725899815559387,
      "learning_rate": 2.384666666666667e-06,
      "loss": -0.0803,
      "on_policy_loss": -0.0803,
      "step": 3924
    },
    {
      "epoch": 1.0469333333333333,
      "grad_norm": 0.19044862687587738,
      "learning_rate": 2.3833333333333335e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 3926
    },
    {
      "epoch": 1.0474666666666668,
      "grad_norm": 0.20650021731853485,
      "learning_rate": 2.3820000000000002e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 3928
    },
    {
      "epoch": 1.048,
      "grad_norm": 0.1836000233888626,
      "learning_rate": 2.380666666666667e-06,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 3930
    },
    {
      "epoch": 1.0485333333333333,
      "grad_norm": 0.2297174483537674,
      "learning_rate": 2.3793333333333336e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 3932
    },
    {
      "epoch": 1.0490666666666666,
      "grad_norm": 0.18098607659339905,
      "learning_rate": 2.3780000000000004e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 3934
    },
    {
      "epoch": 1.0496,
      "grad_norm": 0.18801167607307434,
      "learning_rate": 2.3766666666666666e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 3936
    },
    {
      "epoch": 1.0501333333333334,
      "grad_norm": 0.24109125137329102,
      "learning_rate": 2.3753333333333338e-06,
      "loss": -0.0709,
      "on_policy_loss": -0.0709,
      "step": 3938
    },
    {
      "epoch": 1.0506666666666666,
      "grad_norm": 0.1873808652162552,
      "learning_rate": 2.374e-06,
      "loss": -0.087,
      "on_policy_loss": -0.087,
      "step": 3940
    },
    {
      "epoch": 1.0512,
      "grad_norm": 0.22690416872501373,
      "learning_rate": 2.3726666666666668e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 3942
    },
    {
      "epoch": 1.0517333333333334,
      "grad_norm": 0.20592960715293884,
      "learning_rate": 2.3713333333333335e-06,
      "loss": -0.0843,
      "on_policy_loss": -0.0843,
      "step": 3944
    },
    {
      "epoch": 1.0522666666666667,
      "grad_norm": 0.18839596211910248,
      "learning_rate": 2.37e-06,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 3946
    },
    {
      "epoch": 1.0528,
      "grad_norm": 0.16148094832897186,
      "learning_rate": 2.368666666666667e-06,
      "loss": -0.0709,
      "on_policy_loss": -0.0709,
      "step": 3948
    },
    {
      "epoch": 1.0533333333333332,
      "grad_norm": 0.18336306512355804,
      "learning_rate": 2.3673333333333336e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 3950
    },
    {
      "epoch": 1.0538666666666667,
      "grad_norm": 0.21152976155281067,
      "learning_rate": 2.3660000000000003e-06,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 3952
    },
    {
      "epoch": 1.0544,
      "grad_norm": 0.19699859619140625,
      "learning_rate": 2.3646666666666666e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 3954
    },
    {
      "epoch": 1.0549333333333333,
      "grad_norm": 0.17096251249313354,
      "learning_rate": 2.3633333333333337e-06,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 3956
    },
    {
      "epoch": 1.0554666666666668,
      "grad_norm": 0.19643183052539825,
      "learning_rate": 2.362e-06,
      "loss": -0.0722,
      "on_policy_loss": -0.0722,
      "step": 3958
    },
    {
      "epoch": 1.056,
      "grad_norm": 0.18259930610656738,
      "learning_rate": 2.360666666666667e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 3960
    },
    {
      "epoch": 1.0565333333333333,
      "grad_norm": 0.16659663617610931,
      "learning_rate": 2.3593333333333334e-06,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 3962
    },
    {
      "epoch": 1.0570666666666666,
      "grad_norm": 0.16322384774684906,
      "learning_rate": 2.358e-06,
      "loss": -0.0832,
      "on_policy_loss": -0.0832,
      "step": 3964
    },
    {
      "epoch": 1.0576,
      "grad_norm": 0.1758164018392563,
      "learning_rate": 2.356666666666667e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 3966
    },
    {
      "epoch": 1.0581333333333334,
      "grad_norm": 0.16546250879764557,
      "learning_rate": 2.3553333333333335e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 3968
    },
    {
      "epoch": 1.0586666666666666,
      "grad_norm": 0.1829574853181839,
      "learning_rate": 2.3540000000000002e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 3970
    },
    {
      "epoch": 1.0592,
      "grad_norm": 0.24894942343235016,
      "learning_rate": 2.352666666666667e-06,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 3972
    },
    {
      "epoch": 1.0597333333333334,
      "grad_norm": 0.18898802995681763,
      "learning_rate": 2.3513333333333337e-06,
      "loss": -0.0734,
      "on_policy_loss": -0.0734,
      "step": 3974
    },
    {
      "epoch": 1.0602666666666667,
      "grad_norm": 0.16230468451976776,
      "learning_rate": 2.35e-06,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 3976
    },
    {
      "epoch": 1.0608,
      "grad_norm": 0.2008831650018692,
      "learning_rate": 2.348666666666667e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 3978
    },
    {
      "epoch": 1.0613333333333332,
      "grad_norm": 0.17646779119968414,
      "learning_rate": 2.3473333333333334e-06,
      "loss": -0.0742,
      "on_policy_loss": -0.0742,
      "step": 3980
    },
    {
      "epoch": 1.0618666666666667,
      "grad_norm": 0.18041445314884186,
      "learning_rate": 2.346e-06,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 3982
    },
    {
      "epoch": 1.0624,
      "grad_norm": 0.24469660222530365,
      "learning_rate": 2.3446666666666668e-06,
      "loss": -0.0801,
      "on_policy_loss": -0.0801,
      "step": 3984
    },
    {
      "epoch": 1.0629333333333333,
      "grad_norm": 0.19404299557209015,
      "learning_rate": 2.3433333333333335e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 3986
    },
    {
      "epoch": 1.0634666666666668,
      "grad_norm": 0.1981666088104248,
      "learning_rate": 2.342e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 3988
    },
    {
      "epoch": 1.064,
      "grad_norm": 0.17456038296222687,
      "learning_rate": 2.340666666666667e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 3990
    },
    {
      "epoch": 1.0645333333333333,
      "grad_norm": 0.15216951072216034,
      "learning_rate": 2.3393333333333336e-06,
      "loss": -0.0774,
      "on_policy_loss": -0.0774,
      "step": 3992
    },
    {
      "epoch": 1.0650666666666666,
      "grad_norm": 0.18330636620521545,
      "learning_rate": 2.3380000000000003e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 3994
    },
    {
      "epoch": 1.0656,
      "grad_norm": 0.16368627548217773,
      "learning_rate": 2.3366666666666666e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 3996
    },
    {
      "epoch": 1.0661333333333334,
      "grad_norm": 0.17742037773132324,
      "learning_rate": 2.3353333333333337e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 3998
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 0.1883004605770111,
      "learning_rate": 2.334e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 4000
    },
    {
      "epoch": 1.0672,
      "grad_norm": 0.1758362352848053,
      "learning_rate": 2.332666666666667e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 4002
    },
    {
      "epoch": 1.0677333333333334,
      "grad_norm": 0.21533292531967163,
      "learning_rate": 2.3313333333333334e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 4004
    },
    {
      "epoch": 1.0682666666666667,
      "grad_norm": 0.18773239850997925,
      "learning_rate": 2.33e-06,
      "loss": -0.076,
      "on_policy_loss": -0.076,
      "step": 4006
    },
    {
      "epoch": 1.0688,
      "grad_norm": 0.2538178861141205,
      "learning_rate": 2.328666666666667e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 4008
    },
    {
      "epoch": 1.0693333333333332,
      "grad_norm": 0.17876963317394257,
      "learning_rate": 2.3273333333333336e-06,
      "loss": -0.0752,
      "on_policy_loss": -0.0752,
      "step": 4010
    },
    {
      "epoch": 1.0698666666666667,
      "grad_norm": 0.22983351349830627,
      "learning_rate": 2.3260000000000003e-06,
      "loss": -0.0769,
      "on_policy_loss": -0.0769,
      "step": 4012
    },
    {
      "epoch": 1.0704,
      "grad_norm": 0.180672749876976,
      "learning_rate": 2.3246666666666665e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 4014
    },
    {
      "epoch": 1.0709333333333333,
      "grad_norm": 0.213822141289711,
      "learning_rate": 2.3233333333333337e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 4016
    },
    {
      "epoch": 1.0714666666666666,
      "grad_norm": 0.17570482194423676,
      "learning_rate": 2.322e-06,
      "loss": -0.0755,
      "on_policy_loss": -0.0755,
      "step": 4018
    },
    {
      "epoch": 1.072,
      "grad_norm": 0.22861485183238983,
      "learning_rate": 2.320666666666667e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 4020
    },
    {
      "epoch": 1.0725333333333333,
      "grad_norm": 0.2052876204252243,
      "learning_rate": 2.3193333333333334e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 4022
    },
    {
      "epoch": 1.0730666666666666,
      "grad_norm": 0.17952093482017517,
      "learning_rate": 2.318e-06,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 4024
    },
    {
      "epoch": 1.0735999999999999,
      "grad_norm": 0.18609067797660828,
      "learning_rate": 2.316666666666667e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 4026
    },
    {
      "epoch": 1.0741333333333334,
      "grad_norm": 0.23112334311008453,
      "learning_rate": 2.3153333333333335e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 4028
    },
    {
      "epoch": 1.0746666666666667,
      "grad_norm": 0.19372758269309998,
      "learning_rate": 2.314e-06,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 4030
    },
    {
      "epoch": 1.0752,
      "grad_norm": 0.19551587104797363,
      "learning_rate": 2.312666666666667e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 4032
    },
    {
      "epoch": 1.0757333333333334,
      "grad_norm": 0.17417384684085846,
      "learning_rate": 2.3113333333333336e-06,
      "loss": -0.0853,
      "on_policy_loss": -0.0853,
      "step": 4034
    },
    {
      "epoch": 1.0762666666666667,
      "grad_norm": 0.18865065276622772,
      "learning_rate": 2.3100000000000003e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 4036
    },
    {
      "epoch": 1.0768,
      "grad_norm": 0.18353216350078583,
      "learning_rate": 2.308666666666667e-06,
      "loss": -0.0734,
      "on_policy_loss": -0.0734,
      "step": 4038
    },
    {
      "epoch": 1.0773333333333333,
      "grad_norm": 0.17676472663879395,
      "learning_rate": 2.3073333333333337e-06,
      "loss": -0.0745,
      "on_policy_loss": -0.0745,
      "step": 4040
    },
    {
      "epoch": 1.0778666666666668,
      "grad_norm": 0.1829243153333664,
      "learning_rate": 2.306e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 4042
    },
    {
      "epoch": 1.0784,
      "grad_norm": 0.19071058928966522,
      "learning_rate": 2.3046666666666667e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 4044
    },
    {
      "epoch": 1.0789333333333333,
      "grad_norm": 0.24055619537830353,
      "learning_rate": 2.3033333333333334e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 4046
    },
    {
      "epoch": 1.0794666666666666,
      "grad_norm": 0.20377092063426971,
      "learning_rate": 2.302e-06,
      "loss": -0.0706,
      "on_policy_loss": -0.0706,
      "step": 4048
    },
    {
      "epoch": 1.08,
      "grad_norm": 0.1811913102865219,
      "learning_rate": 2.300666666666667e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 4050
    },
    {
      "epoch": 1.0805333333333333,
      "grad_norm": 0.17445562779903412,
      "learning_rate": 2.2993333333333336e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 4052
    },
    {
      "epoch": 1.0810666666666666,
      "grad_norm": 0.2182387411594391,
      "learning_rate": 2.2980000000000003e-06,
      "loss": -0.0803,
      "on_policy_loss": -0.0803,
      "step": 4054
    },
    {
      "epoch": 1.0816,
      "grad_norm": 0.1876925379037857,
      "learning_rate": 2.2966666666666666e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 4056
    },
    {
      "epoch": 1.0821333333333334,
      "grad_norm": 0.24022138118743896,
      "learning_rate": 2.2953333333333337e-06,
      "loss": -0.0736,
      "on_policy_loss": -0.0736,
      "step": 4058
    },
    {
      "epoch": 1.0826666666666667,
      "grad_norm": 0.18154974281787872,
      "learning_rate": 2.294e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 4060
    },
    {
      "epoch": 1.0832,
      "grad_norm": 0.20494045317173004,
      "learning_rate": 2.292666666666667e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 4062
    },
    {
      "epoch": 1.0837333333333334,
      "grad_norm": 0.19949068129062653,
      "learning_rate": 2.2913333333333334e-06,
      "loss": -0.0803,
      "on_policy_loss": -0.0803,
      "step": 4064
    },
    {
      "epoch": 1.0842666666666667,
      "grad_norm": 0.21052783727645874,
      "learning_rate": 2.29e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 4066
    },
    {
      "epoch": 1.0848,
      "grad_norm": 0.1750384271144867,
      "learning_rate": 2.288666666666667e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 4068
    },
    {
      "epoch": 1.0853333333333333,
      "grad_norm": 0.19088657200336456,
      "learning_rate": 2.2873333333333335e-06,
      "loss": -0.0774,
      "on_policy_loss": -0.0774,
      "step": 4070
    },
    {
      "epoch": 1.0858666666666668,
      "grad_norm": 0.19534648954868317,
      "learning_rate": 2.2860000000000002e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 4072
    },
    {
      "epoch": 1.0864,
      "grad_norm": 0.2095259726047516,
      "learning_rate": 2.284666666666667e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 4074
    },
    {
      "epoch": 1.0869333333333333,
      "grad_norm": 0.17474105954170227,
      "learning_rate": 2.2833333333333336e-06,
      "loss": -0.0718,
      "on_policy_loss": -0.0718,
      "step": 4076
    },
    {
      "epoch": 1.0874666666666666,
      "grad_norm": 0.2398594468832016,
      "learning_rate": 2.282e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 4078
    },
    {
      "epoch": 1.088,
      "grad_norm": 0.1861797720193863,
      "learning_rate": 2.280666666666667e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 4080
    },
    {
      "epoch": 1.0885333333333334,
      "grad_norm": 0.1994684487581253,
      "learning_rate": 2.2793333333333333e-06,
      "loss": -0.076,
      "on_policy_loss": -0.076,
      "step": 4082
    },
    {
      "epoch": 1.0890666666666666,
      "grad_norm": 0.18244357407093048,
      "learning_rate": 2.278e-06,
      "loss": -0.0752,
      "on_policy_loss": -0.0752,
      "step": 4084
    },
    {
      "epoch": 1.0896,
      "grad_norm": 0.17435269057750702,
      "learning_rate": 2.2766666666666668e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 4086
    },
    {
      "epoch": 1.0901333333333334,
      "grad_norm": 0.21198463439941406,
      "learning_rate": 2.2753333333333335e-06,
      "loss": -0.0872,
      "on_policy_loss": -0.0872,
      "step": 4088
    },
    {
      "epoch": 1.0906666666666667,
      "grad_norm": 0.1994558721780777,
      "learning_rate": 2.274e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 4090
    },
    {
      "epoch": 1.0912,
      "grad_norm": 0.22883597016334534,
      "learning_rate": 2.272666666666667e-06,
      "loss": -0.0743,
      "on_policy_loss": -0.0743,
      "step": 4092
    },
    {
      "epoch": 1.0917333333333334,
      "grad_norm": 0.23332777619361877,
      "learning_rate": 2.2713333333333336e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 4094
    },
    {
      "epoch": 1.0922666666666667,
      "grad_norm": 0.19855627417564392,
      "learning_rate": 2.2700000000000003e-06,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 4096
    },
    {
      "epoch": 1.0928,
      "grad_norm": 0.22805501520633698,
      "learning_rate": 2.268666666666667e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 4098
    },
    {
      "epoch": 1.0933333333333333,
      "grad_norm": 0.19587457180023193,
      "learning_rate": 2.2673333333333337e-06,
      "loss": -0.0801,
      "on_policy_loss": -0.0801,
      "step": 4100
    },
    {
      "epoch": 1.0938666666666668,
      "grad_norm": 0.19169725477695465,
      "learning_rate": 2.266e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 4102
    },
    {
      "epoch": 1.0944,
      "grad_norm": 0.1723909080028534,
      "learning_rate": 2.264666666666667e-06,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 4104
    },
    {
      "epoch": 1.0949333333333333,
      "grad_norm": 0.19629327952861786,
      "learning_rate": 2.2633333333333334e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 4106
    },
    {
      "epoch": 1.0954666666666666,
      "grad_norm": 0.21249395608901978,
      "learning_rate": 2.262e-06,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 4108
    },
    {
      "epoch": 1.096,
      "grad_norm": 0.1555584967136383,
      "learning_rate": 2.260666666666667e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 4110
    },
    {
      "epoch": 1.0965333333333334,
      "grad_norm": 0.2117568701505661,
      "learning_rate": 2.2593333333333335e-06,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 4112
    },
    {
      "epoch": 1.0970666666666666,
      "grad_norm": 0.18106283247470856,
      "learning_rate": 2.2580000000000002e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 4114
    },
    {
      "epoch": 1.0976,
      "grad_norm": 0.2018451690673828,
      "learning_rate": 2.2566666666666665e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 4116
    },
    {
      "epoch": 1.0981333333333334,
      "grad_norm": 0.22320841252803802,
      "learning_rate": 2.2553333333333336e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 4118
    },
    {
      "epoch": 1.0986666666666667,
      "grad_norm": 0.21031217277050018,
      "learning_rate": 2.254e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 4120
    },
    {
      "epoch": 1.0992,
      "grad_norm": 0.28264349699020386,
      "learning_rate": 2.252666666666667e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 4122
    },
    {
      "epoch": 1.0997333333333332,
      "grad_norm": 0.18295228481292725,
      "learning_rate": 2.2513333333333333e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 4124
    },
    {
      "epoch": 1.1002666666666667,
      "grad_norm": 0.1796923130750656,
      "learning_rate": 2.25e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 4126
    },
    {
      "epoch": 1.1008,
      "grad_norm": 0.16924002766609192,
      "learning_rate": 2.2486666666666668e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 4128
    },
    {
      "epoch": 1.1013333333333333,
      "grad_norm": 0.1634606271982193,
      "learning_rate": 2.2473333333333335e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 4130
    },
    {
      "epoch": 1.1018666666666665,
      "grad_norm": 0.1738699972629547,
      "learning_rate": 2.246e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 4132
    },
    {
      "epoch": 1.1024,
      "grad_norm": 0.15733063220977783,
      "learning_rate": 2.244666666666667e-06,
      "loss": -0.0866,
      "on_policy_loss": -0.0866,
      "step": 4134
    },
    {
      "epoch": 1.1029333333333333,
      "grad_norm": 0.17595648765563965,
      "learning_rate": 2.2433333333333336e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 4136
    },
    {
      "epoch": 1.1034666666666666,
      "grad_norm": 0.2118859738111496,
      "learning_rate": 2.2420000000000003e-06,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 4138
    },
    {
      "epoch": 1.104,
      "grad_norm": 0.18633724749088287,
      "learning_rate": 2.240666666666667e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 4140
    },
    {
      "epoch": 1.1045333333333334,
      "grad_norm": 0.17571471631526947,
      "learning_rate": 2.2393333333333337e-06,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 4142
    },
    {
      "epoch": 1.1050666666666666,
      "grad_norm": 0.18430843949317932,
      "learning_rate": 2.238e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 4144
    },
    {
      "epoch": 1.1056,
      "grad_norm": 0.18222855031490326,
      "learning_rate": 2.236666666666667e-06,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 4146
    },
    {
      "epoch": 1.1061333333333334,
      "grad_norm": 0.2042824625968933,
      "learning_rate": 2.2353333333333334e-06,
      "loss": -0.0769,
      "on_policy_loss": -0.0769,
      "step": 4148
    },
    {
      "epoch": 1.1066666666666667,
      "grad_norm": 0.1749274879693985,
      "learning_rate": 2.234e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 4150
    },
    {
      "epoch": 1.1072,
      "grad_norm": 0.15820933878421783,
      "learning_rate": 2.232666666666667e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 4152
    },
    {
      "epoch": 1.1077333333333332,
      "grad_norm": 0.18445584177970886,
      "learning_rate": 2.2313333333333335e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 4154
    },
    {
      "epoch": 1.1082666666666667,
      "grad_norm": 0.19772152602672577,
      "learning_rate": 2.2300000000000002e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 4156
    },
    {
      "epoch": 1.1088,
      "grad_norm": 0.18346402049064636,
      "learning_rate": 2.228666666666667e-06,
      "loss": -0.0769,
      "on_policy_loss": -0.0769,
      "step": 4158
    },
    {
      "epoch": 1.1093333333333333,
      "grad_norm": 0.175981804728508,
      "learning_rate": 2.2273333333333337e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 4160
    },
    {
      "epoch": 1.1098666666666666,
      "grad_norm": 0.1875636726617813,
      "learning_rate": 2.226e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 4162
    },
    {
      "epoch": 1.1104,
      "grad_norm": 0.230622336268425,
      "learning_rate": 2.224666666666667e-06,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 4164
    },
    {
      "epoch": 1.1109333333333333,
      "grad_norm": 0.19296295940876007,
      "learning_rate": 2.2233333333333334e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 4166
    },
    {
      "epoch": 1.1114666666666666,
      "grad_norm": 0.1737850308418274,
      "learning_rate": 2.222e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 4168
    },
    {
      "epoch": 1.112,
      "grad_norm": 0.20756253600120544,
      "learning_rate": 2.2206666666666668e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 4170
    },
    {
      "epoch": 1.1125333333333334,
      "grad_norm": 0.17325840890407562,
      "learning_rate": 2.2193333333333335e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 4172
    },
    {
      "epoch": 1.1130666666666666,
      "grad_norm": 0.19649815559387207,
      "learning_rate": 2.218e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 4174
    },
    {
      "epoch": 1.1136,
      "grad_norm": 0.2809569835662842,
      "learning_rate": 2.216666666666667e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 4176
    },
    {
      "epoch": 1.1141333333333334,
      "grad_norm": 0.1850183606147766,
      "learning_rate": 2.2153333333333336e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 4178
    },
    {
      "epoch": 1.1146666666666667,
      "grad_norm": 0.1968037337064743,
      "learning_rate": 2.2140000000000003e-06,
      "loss": -0.0754,
      "on_policy_loss": -0.0754,
      "step": 4180
    },
    {
      "epoch": 1.1152,
      "grad_norm": 0.19494839012622833,
      "learning_rate": 2.212666666666667e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 4182
    },
    {
      "epoch": 1.1157333333333332,
      "grad_norm": 0.22074304521083832,
      "learning_rate": 2.2113333333333333e-06,
      "loss": -0.0762,
      "on_policy_loss": -0.0762,
      "step": 4184
    },
    {
      "epoch": 1.1162666666666667,
      "grad_norm": 0.17941199243068695,
      "learning_rate": 2.21e-06,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 4186
    },
    {
      "epoch": 1.1168,
      "grad_norm": 0.24567125737667084,
      "learning_rate": 2.2086666666666667e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 4188
    },
    {
      "epoch": 1.1173333333333333,
      "grad_norm": 0.25098904967308044,
      "learning_rate": 2.2073333333333334e-06,
      "loss": -0.0714,
      "on_policy_loss": -0.0714,
      "step": 4190
    },
    {
      "epoch": 1.1178666666666666,
      "grad_norm": 0.16626955568790436,
      "learning_rate": 2.206e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 4192
    },
    {
      "epoch": 1.1184,
      "grad_norm": 0.18447507917881012,
      "learning_rate": 2.204666666666667e-06,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 4194
    },
    {
      "epoch": 1.1189333333333333,
      "grad_norm": 0.19130006432533264,
      "learning_rate": 2.2033333333333336e-06,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 4196
    },
    {
      "epoch": 1.1194666666666666,
      "grad_norm": 0.17779876291751862,
      "learning_rate": 2.2020000000000003e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 4198
    },
    {
      "epoch": 1.12,
      "grad_norm": 0.19334301352500916,
      "learning_rate": 2.200666666666667e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 4200
    },
    {
      "epoch": 1.1205333333333334,
      "grad_norm": 0.18460406363010406,
      "learning_rate": 2.1993333333333337e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 4202
    },
    {
      "epoch": 1.1210666666666667,
      "grad_norm": 0.2161932736635208,
      "learning_rate": 2.198e-06,
      "loss": -0.0801,
      "on_policy_loss": -0.0801,
      "step": 4204
    },
    {
      "epoch": 1.1216,
      "grad_norm": 0.1748107373714447,
      "learning_rate": 2.196666666666667e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 4206
    },
    {
      "epoch": 1.1221333333333334,
      "grad_norm": 0.1947837471961975,
      "learning_rate": 2.1953333333333334e-06,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 4208
    },
    {
      "epoch": 1.1226666666666667,
      "grad_norm": 0.19538554549217224,
      "learning_rate": 2.194e-06,
      "loss": -0.0743,
      "on_policy_loss": -0.0743,
      "step": 4210
    },
    {
      "epoch": 1.1232,
      "grad_norm": 0.21390359103679657,
      "learning_rate": 2.192666666666667e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 4212
    },
    {
      "epoch": 1.1237333333333333,
      "grad_norm": 0.16593220829963684,
      "learning_rate": 2.1913333333333335e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 4214
    },
    {
      "epoch": 1.1242666666666667,
      "grad_norm": 0.19808441400527954,
      "learning_rate": 2.19e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 4216
    },
    {
      "epoch": 1.1248,
      "grad_norm": 0.1776013821363449,
      "learning_rate": 2.188666666666667e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 4218
    },
    {
      "epoch": 1.1253333333333333,
      "grad_norm": 0.1920836716890335,
      "learning_rate": 2.1873333333333336e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 4220
    },
    {
      "epoch": 1.1258666666666666,
      "grad_norm": 0.21639491617679596,
      "learning_rate": 2.186e-06,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 4222
    },
    {
      "epoch": 1.1264,
      "grad_norm": 0.18253830075263977,
      "learning_rate": 2.184666666666667e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 4224
    },
    {
      "epoch": 1.1269333333333333,
      "grad_norm": 0.2261471301317215,
      "learning_rate": 2.1833333333333333e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 4226
    },
    {
      "epoch": 1.1274666666666666,
      "grad_norm": 0.25881683826446533,
      "learning_rate": 2.182e-06,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 4228
    },
    {
      "epoch": 1.1280000000000001,
      "grad_norm": 0.17251962423324585,
      "learning_rate": 2.1806666666666667e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 4230
    },
    {
      "epoch": 1.1285333333333334,
      "grad_norm": 0.20766735076904297,
      "learning_rate": 2.1793333333333334e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 4232
    },
    {
      "epoch": 1.1290666666666667,
      "grad_norm": 0.24838082492351532,
      "learning_rate": 2.178e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 4234
    },
    {
      "epoch": 1.1296,
      "grad_norm": 0.22871366143226624,
      "learning_rate": 2.176666666666667e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 4236
    },
    {
      "epoch": 1.1301333333333332,
      "grad_norm": 0.21327915787696838,
      "learning_rate": 2.1753333333333336e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 4238
    },
    {
      "epoch": 1.1306666666666667,
      "grad_norm": 0.20258693397045135,
      "learning_rate": 2.1740000000000003e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 4240
    },
    {
      "epoch": 1.1312,
      "grad_norm": 0.2362058013677597,
      "learning_rate": 2.172666666666667e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 4242
    },
    {
      "epoch": 1.1317333333333333,
      "grad_norm": 0.18740302324295044,
      "learning_rate": 2.1713333333333337e-06,
      "loss": -0.0856,
      "on_policy_loss": -0.0856,
      "step": 4244
    },
    {
      "epoch": 1.1322666666666668,
      "grad_norm": 0.2032310664653778,
      "learning_rate": 2.17e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 4246
    },
    {
      "epoch": 1.1328,
      "grad_norm": 0.19059523940086365,
      "learning_rate": 2.168666666666667e-06,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 4248
    },
    {
      "epoch": 1.1333333333333333,
      "grad_norm": 0.18226754665374756,
      "learning_rate": 2.1673333333333334e-06,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 4250
    },
    {
      "epoch": 1.1338666666666666,
      "grad_norm": 0.1708311289548874,
      "learning_rate": 2.166e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 4252
    },
    {
      "epoch": 1.1344,
      "grad_norm": 0.20946964621543884,
      "learning_rate": 2.164666666666667e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 4254
    },
    {
      "epoch": 1.1349333333333333,
      "grad_norm": 0.18534085154533386,
      "learning_rate": 2.1633333333333335e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 4256
    },
    {
      "epoch": 1.1354666666666666,
      "grad_norm": 0.16693150997161865,
      "learning_rate": 2.1620000000000002e-06,
      "loss": -0.0708,
      "on_policy_loss": -0.0708,
      "step": 4258
    },
    {
      "epoch": 1.1360000000000001,
      "grad_norm": 0.19542574882507324,
      "learning_rate": 2.160666666666667e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 4260
    },
    {
      "epoch": 1.1365333333333334,
      "grad_norm": 0.19359354674816132,
      "learning_rate": 2.1593333333333336e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 4262
    },
    {
      "epoch": 1.1370666666666667,
      "grad_norm": 0.2194291651248932,
      "learning_rate": 2.158e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 4264
    },
    {
      "epoch": 1.1376,
      "grad_norm": 0.18859891593456268,
      "learning_rate": 2.156666666666667e-06,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 4266
    },
    {
      "epoch": 1.1381333333333332,
      "grad_norm": 0.20626643300056458,
      "learning_rate": 2.1553333333333333e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 4268
    },
    {
      "epoch": 1.1386666666666667,
      "grad_norm": 0.23204489052295685,
      "learning_rate": 2.1540000000000005e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 4270
    },
    {
      "epoch": 1.1392,
      "grad_norm": 0.18734900653362274,
      "learning_rate": 2.1526666666666668e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 4272
    },
    {
      "epoch": 1.1397333333333333,
      "grad_norm": 0.2037072479724884,
      "learning_rate": 2.1513333333333335e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 4274
    },
    {
      "epoch": 1.1402666666666668,
      "grad_norm": 0.25472545623779297,
      "learning_rate": 2.15e-06,
      "loss": -0.0734,
      "on_policy_loss": -0.0734,
      "step": 4276
    },
    {
      "epoch": 1.1408,
      "grad_norm": 0.19866974651813507,
      "learning_rate": 2.148666666666667e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 4278
    },
    {
      "epoch": 1.1413333333333333,
      "grad_norm": 0.16681459546089172,
      "learning_rate": 2.1473333333333336e-06,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 4280
    },
    {
      "epoch": 1.1418666666666666,
      "grad_norm": 0.1902691274881363,
      "learning_rate": 2.1460000000000003e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 4282
    },
    {
      "epoch": 1.1424,
      "grad_norm": 0.22669197618961334,
      "learning_rate": 2.144666666666667e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 4284
    },
    {
      "epoch": 1.1429333333333334,
      "grad_norm": 0.20874351263046265,
      "learning_rate": 2.1433333333333333e-06,
      "loss": -0.0754,
      "on_policy_loss": -0.0754,
      "step": 4286
    },
    {
      "epoch": 1.1434666666666666,
      "grad_norm": 0.2445029765367508,
      "learning_rate": 2.142e-06,
      "loss": -0.0803,
      "on_policy_loss": -0.0803,
      "step": 4288
    },
    {
      "epoch": 1.144,
      "grad_norm": 0.24153563380241394,
      "learning_rate": 2.1406666666666667e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 4290
    },
    {
      "epoch": 1.1445333333333334,
      "grad_norm": 0.1837177574634552,
      "learning_rate": 2.1393333333333334e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 4292
    },
    {
      "epoch": 1.1450666666666667,
      "grad_norm": 0.20350399613380432,
      "learning_rate": 2.138e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 4294
    },
    {
      "epoch": 1.1456,
      "grad_norm": 0.18746747076511383,
      "learning_rate": 2.136666666666667e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 4296
    },
    {
      "epoch": 1.1461333333333332,
      "grad_norm": 0.1946832686662674,
      "learning_rate": 2.1353333333333335e-06,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 4298
    },
    {
      "epoch": 1.1466666666666667,
      "grad_norm": 0.18465277552604675,
      "learning_rate": 2.1340000000000002e-06,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 4300
    },
    {
      "epoch": 1.1472,
      "grad_norm": 0.19473034143447876,
      "learning_rate": 2.132666666666667e-06,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 4302
    },
    {
      "epoch": 1.1477333333333333,
      "grad_norm": 0.19943372905254364,
      "learning_rate": 2.1313333333333337e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 4304
    },
    {
      "epoch": 1.1482666666666668,
      "grad_norm": 0.18977324664592743,
      "learning_rate": 2.13e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 4306
    },
    {
      "epoch": 1.1488,
      "grad_norm": 0.17649516463279724,
      "learning_rate": 2.128666666666667e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 4308
    },
    {
      "epoch": 1.1493333333333333,
      "grad_norm": 0.22229807078838348,
      "learning_rate": 2.1273333333333334e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 4310
    },
    {
      "epoch": 1.1498666666666666,
      "grad_norm": 0.20149005949497223,
      "learning_rate": 2.1260000000000005e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 4312
    },
    {
      "epoch": 1.1504,
      "grad_norm": 0.21044233441352844,
      "learning_rate": 2.1246666666666668e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 4314
    },
    {
      "epoch": 1.1509333333333334,
      "grad_norm": 0.20401449501514435,
      "learning_rate": 2.1233333333333335e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 4316
    },
    {
      "epoch": 1.1514666666666666,
      "grad_norm": 0.20076723396778107,
      "learning_rate": 2.122e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 4318
    },
    {
      "epoch": 1.152,
      "grad_norm": 0.2067452371120453,
      "learning_rate": 2.120666666666667e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 4320
    },
    {
      "epoch": 1.1525333333333334,
      "grad_norm": 0.18205629289150238,
      "learning_rate": 2.1193333333333336e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 4322
    },
    {
      "epoch": 1.1530666666666667,
      "grad_norm": 0.18933434784412384,
      "learning_rate": 2.118e-06,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 4324
    },
    {
      "epoch": 1.1536,
      "grad_norm": 0.20684456825256348,
      "learning_rate": 2.116666666666667e-06,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 4326
    },
    {
      "epoch": 1.1541333333333332,
      "grad_norm": 0.1890416443347931,
      "learning_rate": 2.1153333333333333e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 4328
    },
    {
      "epoch": 1.1546666666666667,
      "grad_norm": 0.16230766475200653,
      "learning_rate": 2.1140000000000004e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 4330
    },
    {
      "epoch": 1.1552,
      "grad_norm": 0.23110653460025787,
      "learning_rate": 2.1126666666666667e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 4332
    },
    {
      "epoch": 1.1557333333333333,
      "grad_norm": 0.20549295842647552,
      "learning_rate": 2.1113333333333334e-06,
      "loss": -0.0781,
      "on_policy_loss": -0.0781,
      "step": 4334
    },
    {
      "epoch": 1.1562666666666668,
      "grad_norm": 0.20989198982715607,
      "learning_rate": 2.11e-06,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 4336
    },
    {
      "epoch": 1.1568,
      "grad_norm": 0.2594660520553589,
      "learning_rate": 2.108666666666667e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 4338
    },
    {
      "epoch": 1.1573333333333333,
      "grad_norm": 0.22330619394779205,
      "learning_rate": 2.1073333333333335e-06,
      "loss": -0.0774,
      "on_policy_loss": -0.0774,
      "step": 4340
    },
    {
      "epoch": 1.1578666666666666,
      "grad_norm": 0.23530545830726624,
      "learning_rate": 2.1060000000000002e-06,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 4342
    },
    {
      "epoch": 1.1584,
      "grad_norm": 0.22701263427734375,
      "learning_rate": 2.104666666666667e-06,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 4344
    },
    {
      "epoch": 1.1589333333333334,
      "grad_norm": 0.16294482350349426,
      "learning_rate": 2.1033333333333337e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 4346
    },
    {
      "epoch": 1.1594666666666666,
      "grad_norm": 0.20541030168533325,
      "learning_rate": 2.102e-06,
      "loss": -0.0729,
      "on_policy_loss": -0.0729,
      "step": 4348
    },
    {
      "epoch": 1.16,
      "grad_norm": 0.17835690081119537,
      "learning_rate": 2.100666666666667e-06,
      "loss": -0.0781,
      "on_policy_loss": -0.0781,
      "step": 4350
    },
    {
      "epoch": 1.1605333333333334,
      "grad_norm": 0.20638413727283478,
      "learning_rate": 2.0993333333333334e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 4352
    },
    {
      "epoch": 1.1610666666666667,
      "grad_norm": 0.20527008175849915,
      "learning_rate": 2.098e-06,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 4354
    },
    {
      "epoch": 1.1616,
      "grad_norm": 0.18377341330051422,
      "learning_rate": 2.0966666666666668e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 4356
    },
    {
      "epoch": 1.1621333333333332,
      "grad_norm": 0.2068929821252823,
      "learning_rate": 2.0953333333333335e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 4358
    },
    {
      "epoch": 1.1626666666666667,
      "grad_norm": 0.2472200095653534,
      "learning_rate": 2.094e-06,
      "loss": -0.0731,
      "on_policy_loss": -0.0731,
      "step": 4360
    },
    {
      "epoch": 1.1632,
      "grad_norm": 0.21555563807487488,
      "learning_rate": 2.092666666666667e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 4362
    },
    {
      "epoch": 1.1637333333333333,
      "grad_norm": 0.17516234517097473,
      "learning_rate": 2.0913333333333336e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 4364
    },
    {
      "epoch": 1.1642666666666668,
      "grad_norm": 0.2344503104686737,
      "learning_rate": 2.09e-06,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 4366
    },
    {
      "epoch": 1.1648,
      "grad_norm": 0.19805213809013367,
      "learning_rate": 2.088666666666667e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 4368
    },
    {
      "epoch": 1.1653333333333333,
      "grad_norm": 0.16790378093719482,
      "learning_rate": 2.0873333333333333e-06,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 4370
    },
    {
      "epoch": 1.1658666666666666,
      "grad_norm": 0.1889982968568802,
      "learning_rate": 2.0860000000000004e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 4372
    },
    {
      "epoch": 1.1663999999999999,
      "grad_norm": 0.21060875058174133,
      "learning_rate": 2.0846666666666667e-06,
      "loss": -0.0852,
      "on_policy_loss": -0.0852,
      "step": 4374
    },
    {
      "epoch": 1.1669333333333334,
      "grad_norm": 0.21897585690021515,
      "learning_rate": 2.0833333333333334e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 4376
    },
    {
      "epoch": 1.1674666666666667,
      "grad_norm": 0.162229523062706,
      "learning_rate": 2.082e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 4378
    },
    {
      "epoch": 1.168,
      "grad_norm": 0.17553800344467163,
      "learning_rate": 2.080666666666667e-06,
      "loss": -0.076,
      "on_policy_loss": -0.076,
      "step": 4380
    },
    {
      "epoch": 1.1685333333333334,
      "grad_norm": 0.17672379314899445,
      "learning_rate": 2.0793333333333336e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 4382
    },
    {
      "epoch": 1.1690666666666667,
      "grad_norm": 0.16915181279182434,
      "learning_rate": 2.0780000000000003e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 4384
    },
    {
      "epoch": 1.1696,
      "grad_norm": 0.17334789037704468,
      "learning_rate": 2.076666666666667e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 4386
    },
    {
      "epoch": 1.1701333333333332,
      "grad_norm": 0.1737767904996872,
      "learning_rate": 2.0753333333333333e-06,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 4388
    },
    {
      "epoch": 1.1706666666666667,
      "grad_norm": 0.21596375107765198,
      "learning_rate": 2.0740000000000004e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 4390
    },
    {
      "epoch": 1.1712,
      "grad_norm": 0.21342244744300842,
      "learning_rate": 2.0726666666666667e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 4392
    },
    {
      "epoch": 1.1717333333333333,
      "grad_norm": 0.1845964640378952,
      "learning_rate": 2.0713333333333334e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 4394
    },
    {
      "epoch": 1.1722666666666668,
      "grad_norm": 0.17079363763332367,
      "learning_rate": 2.07e-06,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 4396
    },
    {
      "epoch": 1.1728,
      "grad_norm": 0.17927661538124084,
      "learning_rate": 2.068666666666667e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 4398
    },
    {
      "epoch": 1.1733333333333333,
      "grad_norm": 0.19355638325214386,
      "learning_rate": 2.0673333333333335e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 4400
    },
    {
      "epoch": 1.1738666666666666,
      "grad_norm": 0.20056982338428497,
      "learning_rate": 2.066e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 4402
    },
    {
      "epoch": 1.1743999999999999,
      "grad_norm": 0.20507699251174927,
      "learning_rate": 2.064666666666667e-06,
      "loss": -0.0725,
      "on_policy_loss": -0.0725,
      "step": 4404
    },
    {
      "epoch": 1.1749333333333334,
      "grad_norm": 0.21665330231189728,
      "learning_rate": 2.0633333333333336e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 4406
    },
    {
      "epoch": 1.1754666666666667,
      "grad_norm": 0.2112576812505722,
      "learning_rate": 2.062e-06,
      "loss": -0.0727,
      "on_policy_loss": -0.0727,
      "step": 4408
    },
    {
      "epoch": 1.176,
      "grad_norm": 0.1830388307571411,
      "learning_rate": 2.060666666666667e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 4410
    },
    {
      "epoch": 1.1765333333333334,
      "grad_norm": 0.19533394277095795,
      "learning_rate": 2.0593333333333333e-06,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 4412
    },
    {
      "epoch": 1.1770666666666667,
      "grad_norm": 0.20711295306682587,
      "learning_rate": 2.0580000000000005e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 4414
    },
    {
      "epoch": 1.1776,
      "grad_norm": 0.19088691473007202,
      "learning_rate": 2.0566666666666667e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 4416
    },
    {
      "epoch": 1.1781333333333333,
      "grad_norm": 0.18384768068790436,
      "learning_rate": 2.0553333333333334e-06,
      "loss": -0.0837,
      "on_policy_loss": -0.0837,
      "step": 4418
    },
    {
      "epoch": 1.1786666666666668,
      "grad_norm": 0.1772056668996811,
      "learning_rate": 2.054e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 4420
    },
    {
      "epoch": 1.1792,
      "grad_norm": 0.2185688465833664,
      "learning_rate": 2.052666666666667e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 4422
    },
    {
      "epoch": 1.1797333333333333,
      "grad_norm": 0.20822735130786896,
      "learning_rate": 2.0513333333333336e-06,
      "loss": -0.0727,
      "on_policy_loss": -0.0727,
      "step": 4424
    },
    {
      "epoch": 1.1802666666666666,
      "grad_norm": 0.18280240893363953,
      "learning_rate": 2.05e-06,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 4426
    },
    {
      "epoch": 1.1808,
      "grad_norm": 0.17224657535552979,
      "learning_rate": 2.048666666666667e-06,
      "loss": -0.0865,
      "on_policy_loss": -0.0865,
      "step": 4428
    },
    {
      "epoch": 1.1813333333333333,
      "grad_norm": 0.18841171264648438,
      "learning_rate": 2.0473333333333333e-06,
      "loss": -0.0774,
      "on_policy_loss": -0.0774,
      "step": 4430
    },
    {
      "epoch": 1.1818666666666666,
      "grad_norm": 0.18071317672729492,
      "learning_rate": 2.0460000000000004e-06,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 4432
    },
    {
      "epoch": 1.1824,
      "grad_norm": 0.22225560247898102,
      "learning_rate": 2.0446666666666667e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 4434
    },
    {
      "epoch": 1.1829333333333334,
      "grad_norm": 0.22857852280139923,
      "learning_rate": 2.0433333333333334e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 4436
    },
    {
      "epoch": 1.1834666666666667,
      "grad_norm": 0.20379793643951416,
      "learning_rate": 2.042e-06,
      "loss": -0.0736,
      "on_policy_loss": -0.0736,
      "step": 4438
    },
    {
      "epoch": 1.184,
      "grad_norm": 0.17782257497310638,
      "learning_rate": 2.040666666666667e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 4440
    },
    {
      "epoch": 1.1845333333333334,
      "grad_norm": 0.1894596666097641,
      "learning_rate": 2.0393333333333335e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 4442
    },
    {
      "epoch": 1.1850666666666667,
      "grad_norm": 0.1763841211795807,
      "learning_rate": 2.0380000000000002e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 4444
    },
    {
      "epoch": 1.1856,
      "grad_norm": 0.1823788583278656,
      "learning_rate": 2.036666666666667e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 4446
    },
    {
      "epoch": 1.1861333333333333,
      "grad_norm": 0.1716778725385666,
      "learning_rate": 2.0353333333333336e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 4448
    },
    {
      "epoch": 1.1866666666666668,
      "grad_norm": 0.16767112910747528,
      "learning_rate": 2.0340000000000003e-06,
      "loss": -0.0903,
      "on_policy_loss": -0.0903,
      "step": 4450
    },
    {
      "epoch": 1.1872,
      "grad_norm": 0.19937486946582794,
      "learning_rate": 2.032666666666667e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 4452
    },
    {
      "epoch": 1.1877333333333333,
      "grad_norm": 0.20925544202327728,
      "learning_rate": 2.0313333333333333e-06,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 4454
    },
    {
      "epoch": 1.1882666666666666,
      "grad_norm": 0.1919812262058258,
      "learning_rate": 2.0300000000000005e-06,
      "loss": -0.084,
      "on_policy_loss": -0.084,
      "step": 4456
    },
    {
      "epoch": 1.1888,
      "grad_norm": 0.20521168410778046,
      "learning_rate": 2.0286666666666668e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 4458
    },
    {
      "epoch": 1.1893333333333334,
      "grad_norm": 0.20578797161579132,
      "learning_rate": 2.0273333333333335e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 4460
    },
    {
      "epoch": 1.1898666666666666,
      "grad_norm": 0.22484561800956726,
      "learning_rate": 2.026e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 4462
    },
    {
      "epoch": 1.1904,
      "grad_norm": 0.18281996250152588,
      "learning_rate": 2.024666666666667e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 4464
    },
    {
      "epoch": 1.1909333333333334,
      "grad_norm": 0.16884401440620422,
      "learning_rate": 2.0233333333333336e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 4466
    },
    {
      "epoch": 1.1914666666666667,
      "grad_norm": 0.1495172083377838,
      "learning_rate": 2.022e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 4468
    },
    {
      "epoch": 1.192,
      "grad_norm": 0.1815262883901596,
      "learning_rate": 2.020666666666667e-06,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 4470
    },
    {
      "epoch": 1.1925333333333334,
      "grad_norm": 0.18997815251350403,
      "learning_rate": 2.0193333333333333e-06,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 4472
    },
    {
      "epoch": 1.1930666666666667,
      "grad_norm": 0.1930222362279892,
      "learning_rate": 2.0180000000000004e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 4474
    },
    {
      "epoch": 1.1936,
      "grad_norm": 0.1972409188747406,
      "learning_rate": 2.0166666666666667e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 4476
    },
    {
      "epoch": 1.1941333333333333,
      "grad_norm": 0.18082161247730255,
      "learning_rate": 2.0153333333333334e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 4478
    },
    {
      "epoch": 1.1946666666666665,
      "grad_norm": 0.15908969938755035,
      "learning_rate": 2.014e-06,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 4480
    },
    {
      "epoch": 1.1952,
      "grad_norm": 0.22211122512817383,
      "learning_rate": 2.012666666666667e-06,
      "loss": -0.0849,
      "on_policy_loss": -0.0849,
      "step": 4482
    },
    {
      "epoch": 1.1957333333333333,
      "grad_norm": 0.1730068176984787,
      "learning_rate": 2.0113333333333335e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 4484
    },
    {
      "epoch": 1.1962666666666666,
      "grad_norm": 0.20198316872119904,
      "learning_rate": 2.0100000000000002e-06,
      "loss": -0.0762,
      "on_policy_loss": -0.0762,
      "step": 4486
    },
    {
      "epoch": 1.1968,
      "grad_norm": 0.23536798357963562,
      "learning_rate": 2.008666666666667e-06,
      "loss": -0.0845,
      "on_policy_loss": -0.0845,
      "step": 4488
    },
    {
      "epoch": 1.1973333333333334,
      "grad_norm": 0.23211754858493805,
      "learning_rate": 2.0073333333333337e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 4490
    },
    {
      "epoch": 1.1978666666666666,
      "grad_norm": 0.17696353793144226,
      "learning_rate": 2.0060000000000004e-06,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 4492
    },
    {
      "epoch": 1.1984,
      "grad_norm": 0.1721448302268982,
      "learning_rate": 2.0046666666666666e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 4494
    },
    {
      "epoch": 1.1989333333333334,
      "grad_norm": 0.1538650095462799,
      "learning_rate": 2.0033333333333334e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 4496
    },
    {
      "epoch": 1.1994666666666667,
      "grad_norm": 0.19885094463825226,
      "learning_rate": 2.002e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 4498
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.18282057344913483,
      "learning_rate": 2.0006666666666668e-06,
      "loss": -0.0892,
      "on_policy_loss": -0.0892,
      "step": 4500
    },
    {
      "epoch": 1.2005333333333335,
      "grad_norm": 0.1699368804693222,
      "learning_rate": 1.9993333333333335e-06,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 4502
    },
    {
      "epoch": 1.2010666666666667,
      "grad_norm": 0.1838824301958084,
      "learning_rate": 1.998e-06,
      "loss": -0.0841,
      "on_policy_loss": -0.0841,
      "step": 4504
    },
    {
      "epoch": 1.2016,
      "grad_norm": 0.17131870985031128,
      "learning_rate": 1.996666666666667e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 4506
    },
    {
      "epoch": 1.2021333333333333,
      "grad_norm": 0.16811440885066986,
      "learning_rate": 1.9953333333333336e-06,
      "loss": -0.0774,
      "on_policy_loss": -0.0774,
      "step": 4508
    },
    {
      "epoch": 1.2026666666666666,
      "grad_norm": 0.2037045955657959,
      "learning_rate": 1.9940000000000003e-06,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 4510
    },
    {
      "epoch": 1.2032,
      "grad_norm": 0.19271010160446167,
      "learning_rate": 1.992666666666667e-06,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 4512
    },
    {
      "epoch": 1.2037333333333333,
      "grad_norm": 0.18748967349529266,
      "learning_rate": 1.9913333333333333e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 4514
    },
    {
      "epoch": 1.2042666666666666,
      "grad_norm": 0.18329600989818573,
      "learning_rate": 1.9900000000000004e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 4516
    },
    {
      "epoch": 1.2048,
      "grad_norm": 0.18422922492027283,
      "learning_rate": 1.9886666666666667e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 4518
    },
    {
      "epoch": 1.2053333333333334,
      "grad_norm": 0.20130574703216553,
      "learning_rate": 1.9873333333333334e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 4520
    },
    {
      "epoch": 1.2058666666666666,
      "grad_norm": 0.21119165420532227,
      "learning_rate": 1.986e-06,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 4522
    },
    {
      "epoch": 1.2064,
      "grad_norm": 0.19117386639118195,
      "learning_rate": 1.984666666666667e-06,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 4524
    },
    {
      "epoch": 1.2069333333333334,
      "grad_norm": 0.1690755933523178,
      "learning_rate": 1.9833333333333335e-06,
      "loss": -0.0832,
      "on_policy_loss": -0.0832,
      "step": 4526
    },
    {
      "epoch": 1.2074666666666667,
      "grad_norm": 0.16605272889137268,
      "learning_rate": 1.982e-06,
      "loss": -0.0803,
      "on_policy_loss": -0.0803,
      "step": 4528
    },
    {
      "epoch": 1.208,
      "grad_norm": 0.16317257285118103,
      "learning_rate": 1.980666666666667e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 4530
    },
    {
      "epoch": 1.2085333333333332,
      "grad_norm": 0.1874253749847412,
      "learning_rate": 1.9793333333333332e-06,
      "loss": -0.0755,
      "on_policy_loss": -0.0755,
      "step": 4532
    },
    {
      "epoch": 1.2090666666666667,
      "grad_norm": 0.19595888257026672,
      "learning_rate": 1.9780000000000004e-06,
      "loss": -0.0862,
      "on_policy_loss": -0.0862,
      "step": 4534
    },
    {
      "epoch": 1.2096,
      "grad_norm": 0.22837530076503754,
      "learning_rate": 1.9766666666666667e-06,
      "loss": -0.072,
      "on_policy_loss": -0.072,
      "step": 4536
    },
    {
      "epoch": 1.2101333333333333,
      "grad_norm": 0.20177887380123138,
      "learning_rate": 1.9753333333333334e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 4538
    },
    {
      "epoch": 1.2106666666666666,
      "grad_norm": 0.1861102133989334,
      "learning_rate": 1.974e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 4540
    },
    {
      "epoch": 1.2112,
      "grad_norm": 0.191716268658638,
      "learning_rate": 1.9726666666666668e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 4542
    },
    {
      "epoch": 1.2117333333333333,
      "grad_norm": 0.21667690575122833,
      "learning_rate": 1.9713333333333335e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 4544
    },
    {
      "epoch": 1.2122666666666666,
      "grad_norm": 0.17324931919574738,
      "learning_rate": 1.97e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 4546
    },
    {
      "epoch": 1.2128,
      "grad_norm": 0.22703814506530762,
      "learning_rate": 1.968666666666667e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 4548
    },
    {
      "epoch": 1.2133333333333334,
      "grad_norm": 0.18088692426681519,
      "learning_rate": 1.9673333333333336e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 4550
    },
    {
      "epoch": 1.2138666666666666,
      "grad_norm": 0.16791978478431702,
      "learning_rate": 1.9660000000000003e-06,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 4552
    },
    {
      "epoch": 1.2144,
      "grad_norm": 0.17809908092021942,
      "learning_rate": 1.964666666666667e-06,
      "loss": -0.0755,
      "on_policy_loss": -0.0755,
      "step": 4554
    },
    {
      "epoch": 1.2149333333333334,
      "grad_norm": 0.20021791756153107,
      "learning_rate": 1.9633333333333333e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 4556
    },
    {
      "epoch": 1.2154666666666667,
      "grad_norm": 0.16485019028186798,
      "learning_rate": 1.9620000000000004e-06,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 4558
    },
    {
      "epoch": 1.216,
      "grad_norm": 0.184361532330513,
      "learning_rate": 1.9606666666666667e-06,
      "loss": -0.076,
      "on_policy_loss": -0.076,
      "step": 4560
    },
    {
      "epoch": 1.2165333333333332,
      "grad_norm": 0.19164814054965973,
      "learning_rate": 1.9593333333333334e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 4562
    },
    {
      "epoch": 1.2170666666666667,
      "grad_norm": 0.19082613289356232,
      "learning_rate": 1.958e-06,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 4564
    },
    {
      "epoch": 1.2176,
      "grad_norm": 0.19387133419513702,
      "learning_rate": 1.956666666666667e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 4566
    },
    {
      "epoch": 1.2181333333333333,
      "grad_norm": 0.18282008171081543,
      "learning_rate": 1.9553333333333336e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 4568
    },
    {
      "epoch": 1.2186666666666666,
      "grad_norm": 0.18451139330863953,
      "learning_rate": 1.9540000000000003e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 4570
    },
    {
      "epoch": 1.2192,
      "grad_norm": 0.22703434526920319,
      "learning_rate": 1.952666666666667e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 4572
    },
    {
      "epoch": 1.2197333333333333,
      "grad_norm": 0.22914111614227295,
      "learning_rate": 1.9513333333333333e-06,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 4574
    },
    {
      "epoch": 1.2202666666666666,
      "grad_norm": 0.2015646994113922,
      "learning_rate": 1.9500000000000004e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 4576
    },
    {
      "epoch": 1.2208,
      "grad_norm": 0.17854632437229156,
      "learning_rate": 1.9486666666666667e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 4578
    },
    {
      "epoch": 1.2213333333333334,
      "grad_norm": 0.26058483123779297,
      "learning_rate": 1.9473333333333334e-06,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 4580
    },
    {
      "epoch": 1.2218666666666667,
      "grad_norm": 0.20536233484745026,
      "learning_rate": 1.946e-06,
      "loss": -0.0752,
      "on_policy_loss": -0.0752,
      "step": 4582
    },
    {
      "epoch": 1.2224,
      "grad_norm": 0.17538294196128845,
      "learning_rate": 1.944666666666667e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 4584
    },
    {
      "epoch": 1.2229333333333334,
      "grad_norm": 0.18387353420257568,
      "learning_rate": 1.9433333333333335e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 4586
    },
    {
      "epoch": 1.2234666666666667,
      "grad_norm": 0.1650683730840683,
      "learning_rate": 1.942e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 4588
    },
    {
      "epoch": 1.224,
      "grad_norm": 0.16704769432544708,
      "learning_rate": 1.940666666666667e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 4590
    },
    {
      "epoch": 1.2245333333333333,
      "grad_norm": 0.2162509709596634,
      "learning_rate": 1.9393333333333336e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 4592
    },
    {
      "epoch": 1.2250666666666667,
      "grad_norm": 0.21387799084186554,
      "learning_rate": 1.9380000000000003e-06,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 4594
    },
    {
      "epoch": 1.2256,
      "grad_norm": 0.1846482902765274,
      "learning_rate": 1.9366666666666666e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 4596
    },
    {
      "epoch": 1.2261333333333333,
      "grad_norm": 0.1893024891614914,
      "learning_rate": 1.9353333333333333e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 4598
    },
    {
      "epoch": 1.2266666666666666,
      "grad_norm": 0.16995874047279358,
      "learning_rate": 1.934e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 4600
    },
    {
      "epoch": 1.2272,
      "grad_norm": 0.2317018061876297,
      "learning_rate": 1.9326666666666667e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 4602
    },
    {
      "epoch": 1.2277333333333333,
      "grad_norm": 0.16621080040931702,
      "learning_rate": 1.9313333333333334e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 4604
    },
    {
      "epoch": 1.2282666666666666,
      "grad_norm": 0.16602295637130737,
      "learning_rate": 1.93e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 4606
    },
    {
      "epoch": 1.2288000000000001,
      "grad_norm": 0.19424864649772644,
      "learning_rate": 1.928666666666667e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 4608
    },
    {
      "epoch": 1.2293333333333334,
      "grad_norm": 0.20193490386009216,
      "learning_rate": 1.9273333333333336e-06,
      "loss": -0.0801,
      "on_policy_loss": -0.0801,
      "step": 4610
    },
    {
      "epoch": 1.2298666666666667,
      "grad_norm": 0.1781507283449173,
      "learning_rate": 1.9260000000000003e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 4612
    },
    {
      "epoch": 1.2304,
      "grad_norm": 0.1869993656873703,
      "learning_rate": 1.924666666666667e-06,
      "loss": -0.085,
      "on_policy_loss": -0.085,
      "step": 4614
    },
    {
      "epoch": 1.2309333333333332,
      "grad_norm": 0.20534473657608032,
      "learning_rate": 1.9233333333333333e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 4616
    },
    {
      "epoch": 1.2314666666666667,
      "grad_norm": 0.17848405241966248,
      "learning_rate": 1.9220000000000004e-06,
      "loss": -0.0745,
      "on_policy_loss": -0.0745,
      "step": 4618
    },
    {
      "epoch": 1.232,
      "grad_norm": 0.23136524856090546,
      "learning_rate": 1.9206666666666667e-06,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 4620
    },
    {
      "epoch": 1.2325333333333333,
      "grad_norm": 0.20687264204025269,
      "learning_rate": 1.9193333333333334e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 4622
    },
    {
      "epoch": 1.2330666666666668,
      "grad_norm": 0.15693055093288422,
      "learning_rate": 1.918e-06,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 4624
    },
    {
      "epoch": 1.2336,
      "grad_norm": 0.18474289774894714,
      "learning_rate": 1.916666666666667e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 4626
    },
    {
      "epoch": 1.2341333333333333,
      "grad_norm": 0.17290183901786804,
      "learning_rate": 1.9153333333333335e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 4628
    },
    {
      "epoch": 1.2346666666666666,
      "grad_norm": 0.1864520013332367,
      "learning_rate": 1.9140000000000002e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 4630
    },
    {
      "epoch": 1.2352,
      "grad_norm": 0.15973211824893951,
      "learning_rate": 1.912666666666667e-06,
      "loss": -0.0801,
      "on_policy_loss": -0.0801,
      "step": 4632
    },
    {
      "epoch": 1.2357333333333334,
      "grad_norm": 0.2432573437690735,
      "learning_rate": 1.9113333333333332e-06,
      "loss": -0.0781,
      "on_policy_loss": -0.0781,
      "step": 4634
    },
    {
      "epoch": 1.2362666666666666,
      "grad_norm": 0.2086532562971115,
      "learning_rate": 1.9100000000000003e-06,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 4636
    },
    {
      "epoch": 1.2368000000000001,
      "grad_norm": 0.24963915348052979,
      "learning_rate": 1.9086666666666666e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 4638
    },
    {
      "epoch": 1.2373333333333334,
      "grad_norm": 0.2211543172597885,
      "learning_rate": 1.9073333333333336e-06,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 4640
    },
    {
      "epoch": 1.2378666666666667,
      "grad_norm": 0.1948588341474533,
      "learning_rate": 1.906e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 4642
    },
    {
      "epoch": 1.2384,
      "grad_norm": 0.18741554021835327,
      "learning_rate": 1.904666666666667e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 4644
    },
    {
      "epoch": 1.2389333333333332,
      "grad_norm": 0.1857031136751175,
      "learning_rate": 1.9033333333333335e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 4646
    },
    {
      "epoch": 1.2394666666666667,
      "grad_norm": 0.17648041248321533,
      "learning_rate": 1.9020000000000002e-06,
      "loss": -0.0846,
      "on_policy_loss": -0.0846,
      "step": 4648
    },
    {
      "epoch": 1.24,
      "grad_norm": 0.1757136583328247,
      "learning_rate": 1.9006666666666667e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 4650
    },
    {
      "epoch": 1.2405333333333333,
      "grad_norm": 0.21166536211967468,
      "learning_rate": 1.8993333333333336e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 4652
    },
    {
      "epoch": 1.2410666666666668,
      "grad_norm": 0.18840041756629944,
      "learning_rate": 1.898e-06,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 4654
    },
    {
      "epoch": 1.2416,
      "grad_norm": 0.18879546225070953,
      "learning_rate": 1.896666666666667e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 4656
    },
    {
      "epoch": 1.2421333333333333,
      "grad_norm": 0.22815218567848206,
      "learning_rate": 1.8953333333333335e-06,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 4658
    },
    {
      "epoch": 1.2426666666666666,
      "grad_norm": 0.17282511293888092,
      "learning_rate": 1.8940000000000002e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 4660
    },
    {
      "epoch": 1.2432,
      "grad_norm": 0.22129297256469727,
      "learning_rate": 1.892666666666667e-06,
      "loss": -0.0736,
      "on_policy_loss": -0.0736,
      "step": 4662
    },
    {
      "epoch": 1.2437333333333334,
      "grad_norm": 0.2153298407793045,
      "learning_rate": 1.8913333333333334e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 4664
    },
    {
      "epoch": 1.2442666666666666,
      "grad_norm": 0.22360002994537354,
      "learning_rate": 1.8900000000000001e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 4666
    },
    {
      "epoch": 1.2448,
      "grad_norm": 0.221831277012825,
      "learning_rate": 1.8886666666666666e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 4668
    },
    {
      "epoch": 1.2453333333333334,
      "grad_norm": 0.18660956621170044,
      "learning_rate": 1.8873333333333335e-06,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 4670
    },
    {
      "epoch": 1.2458666666666667,
      "grad_norm": 0.19141963124275208,
      "learning_rate": 1.886e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 4672
    },
    {
      "epoch": 1.2464,
      "grad_norm": 0.16268347203731537,
      "learning_rate": 1.884666666666667e-06,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 4674
    },
    {
      "epoch": 1.2469333333333332,
      "grad_norm": 0.17254211008548737,
      "learning_rate": 1.8833333333333334e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 4676
    },
    {
      "epoch": 1.2474666666666667,
      "grad_norm": 0.1817779392004013,
      "learning_rate": 1.8820000000000001e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 4678
    },
    {
      "epoch": 1.248,
      "grad_norm": 0.21246905624866486,
      "learning_rate": 1.8806666666666666e-06,
      "loss": -0.0769,
      "on_policy_loss": -0.0769,
      "step": 4680
    },
    {
      "epoch": 1.2485333333333333,
      "grad_norm": 0.24691876769065857,
      "learning_rate": 1.8793333333333336e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 4682
    },
    {
      "epoch": 1.2490666666666668,
      "grad_norm": 0.19456028938293457,
      "learning_rate": 1.878e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 4684
    },
    {
      "epoch": 1.2496,
      "grad_norm": 0.19956795871257782,
      "learning_rate": 1.876666666666667e-06,
      "loss": -0.0749,
      "on_policy_loss": -0.0749,
      "step": 4686
    },
    {
      "epoch": 1.2501333333333333,
      "grad_norm": 0.23582036793231964,
      "learning_rate": 1.8753333333333335e-06,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 4688
    },
    {
      "epoch": 1.2506666666666666,
      "grad_norm": 0.20178008079528809,
      "learning_rate": 1.8740000000000002e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 4690
    },
    {
      "epoch": 1.2511999999999999,
      "grad_norm": 0.23650527000427246,
      "learning_rate": 1.8726666666666669e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 4692
    },
    {
      "epoch": 1.2517333333333334,
      "grad_norm": 0.186376690864563,
      "learning_rate": 1.8713333333333336e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 4694
    },
    {
      "epoch": 1.2522666666666666,
      "grad_norm": 0.20284034311771393,
      "learning_rate": 1.87e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 4696
    },
    {
      "epoch": 1.2528000000000001,
      "grad_norm": 0.24083632230758667,
      "learning_rate": 1.8686666666666666e-06,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 4698
    },
    {
      "epoch": 1.2533333333333334,
      "grad_norm": 0.232293039560318,
      "learning_rate": 1.8673333333333335e-06,
      "loss": -0.084,
      "on_policy_loss": -0.084,
      "step": 4700
    },
    {
      "epoch": 1.2538666666666667,
      "grad_norm": 0.20778141915798187,
      "learning_rate": 1.866e-06,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 4702
    },
    {
      "epoch": 1.2544,
      "grad_norm": 0.17813394963741302,
      "learning_rate": 1.864666666666667e-06,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 4704
    },
    {
      "epoch": 1.2549333333333332,
      "grad_norm": 0.18049700558185577,
      "learning_rate": 1.8633333333333334e-06,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 4706
    },
    {
      "epoch": 1.2554666666666667,
      "grad_norm": 0.17579294741153717,
      "learning_rate": 1.8620000000000001e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 4708
    },
    {
      "epoch": 1.256,
      "grad_norm": 0.15491117537021637,
      "learning_rate": 1.8606666666666668e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 4710
    },
    {
      "epoch": 1.2565333333333333,
      "grad_norm": 0.1660715490579605,
      "learning_rate": 1.8593333333333335e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 4712
    },
    {
      "epoch": 1.2570666666666668,
      "grad_norm": 0.19606716930866241,
      "learning_rate": 1.858e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 4714
    },
    {
      "epoch": 1.2576,
      "grad_norm": 0.1647801250219345,
      "learning_rate": 1.856666666666667e-06,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 4716
    },
    {
      "epoch": 1.2581333333333333,
      "grad_norm": 0.19625160098075867,
      "learning_rate": 1.8553333333333335e-06,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 4718
    },
    {
      "epoch": 1.2586666666666666,
      "grad_norm": 0.1970672905445099,
      "learning_rate": 1.8540000000000002e-06,
      "loss": -0.0736,
      "on_policy_loss": -0.0736,
      "step": 4720
    },
    {
      "epoch": 1.2591999999999999,
      "grad_norm": 0.182430237531662,
      "learning_rate": 1.8526666666666669e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 4722
    },
    {
      "epoch": 1.2597333333333334,
      "grad_norm": 0.2427881360054016,
      "learning_rate": 1.8513333333333336e-06,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 4724
    },
    {
      "epoch": 1.2602666666666666,
      "grad_norm": 0.20411328971385956,
      "learning_rate": 1.85e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 4726
    },
    {
      "epoch": 1.2608,
      "grad_norm": 0.1556684821844101,
      "learning_rate": 1.848666666666667e-06,
      "loss": -0.0774,
      "on_policy_loss": -0.0774,
      "step": 4728
    },
    {
      "epoch": 1.2613333333333334,
      "grad_norm": 0.17710235714912415,
      "learning_rate": 1.8473333333333335e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 4730
    },
    {
      "epoch": 1.2618666666666667,
      "grad_norm": 0.1648549884557724,
      "learning_rate": 1.846e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 4732
    },
    {
      "epoch": 1.2624,
      "grad_norm": 0.20436783134937286,
      "learning_rate": 1.844666666666667e-06,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 4734
    },
    {
      "epoch": 1.2629333333333332,
      "grad_norm": 0.22030387818813324,
      "learning_rate": 1.8433333333333334e-06,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 4736
    },
    {
      "epoch": 1.2634666666666667,
      "grad_norm": 0.21290233731269836,
      "learning_rate": 1.8420000000000001e-06,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 4738
    },
    {
      "epoch": 1.264,
      "grad_norm": 0.1851775199174881,
      "learning_rate": 1.8406666666666668e-06,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 4740
    },
    {
      "epoch": 1.2645333333333333,
      "grad_norm": 0.1419028639793396,
      "learning_rate": 1.8393333333333335e-06,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 4742
    },
    {
      "epoch": 1.2650666666666668,
      "grad_norm": 0.1708667278289795,
      "learning_rate": 1.838e-06,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 4744
    },
    {
      "epoch": 1.2656,
      "grad_norm": 0.17891813814640045,
      "learning_rate": 1.836666666666667e-06,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 4746
    },
    {
      "epoch": 1.2661333333333333,
      "grad_norm": 0.20256654918193817,
      "learning_rate": 1.8353333333333334e-06,
      "loss": -0.0725,
      "on_policy_loss": -0.0725,
      "step": 4748
    },
    {
      "epoch": 1.2666666666666666,
      "grad_norm": 0.16571463644504547,
      "learning_rate": 1.8340000000000001e-06,
      "loss": -0.0734,
      "on_policy_loss": -0.0734,
      "step": 4750
    },
    {
      "epoch": 1.2671999999999999,
      "grad_norm": 0.19152073562145233,
      "learning_rate": 1.8326666666666669e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 4752
    },
    {
      "epoch": 1.2677333333333334,
      "grad_norm": 0.20265638828277588,
      "learning_rate": 1.8313333333333336e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 4754
    },
    {
      "epoch": 1.2682666666666667,
      "grad_norm": 0.19655634462833405,
      "learning_rate": 1.83e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 4756
    },
    {
      "epoch": 1.2688,
      "grad_norm": 0.21617090702056885,
      "learning_rate": 1.828666666666667e-06,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 4758
    },
    {
      "epoch": 1.2693333333333334,
      "grad_norm": 0.1910942792892456,
      "learning_rate": 1.8273333333333335e-06,
      "loss": -0.0862,
      "on_policy_loss": -0.0862,
      "step": 4760
    },
    {
      "epoch": 1.2698666666666667,
      "grad_norm": 0.16413675248622894,
      "learning_rate": 1.8260000000000002e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 4762
    },
    {
      "epoch": 1.2704,
      "grad_norm": 0.20457327365875244,
      "learning_rate": 1.8246666666666669e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 4764
    },
    {
      "epoch": 1.2709333333333332,
      "grad_norm": 0.2363077849149704,
      "learning_rate": 1.8233333333333334e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 4766
    },
    {
      "epoch": 1.2714666666666667,
      "grad_norm": 0.1653166562318802,
      "learning_rate": 1.822e-06,
      "loss": -0.0727,
      "on_policy_loss": -0.0727,
      "step": 4768
    },
    {
      "epoch": 1.272,
      "grad_norm": 0.31576770544052124,
      "learning_rate": 1.8206666666666668e-06,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 4770
    },
    {
      "epoch": 1.2725333333333333,
      "grad_norm": 0.1965877264738083,
      "learning_rate": 1.8193333333333335e-06,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 4772
    },
    {
      "epoch": 1.2730666666666668,
      "grad_norm": 0.1792794018983841,
      "learning_rate": 1.818e-06,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 4774
    },
    {
      "epoch": 1.2736,
      "grad_norm": 0.2300940304994583,
      "learning_rate": 1.816666666666667e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 4776
    },
    {
      "epoch": 1.2741333333333333,
      "grad_norm": 0.1992989033460617,
      "learning_rate": 1.8153333333333334e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 4778
    },
    {
      "epoch": 1.2746666666666666,
      "grad_norm": 0.17509913444519043,
      "learning_rate": 1.8140000000000001e-06,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 4780
    },
    {
      "epoch": 1.2752,
      "grad_norm": 0.20653566718101501,
      "learning_rate": 1.8126666666666668e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 4782
    },
    {
      "epoch": 1.2757333333333334,
      "grad_norm": 0.19527319073677063,
      "learning_rate": 1.8113333333333335e-06,
      "loss": -0.0843,
      "on_policy_loss": -0.0843,
      "step": 4784
    },
    {
      "epoch": 1.2762666666666667,
      "grad_norm": 0.22399753332138062,
      "learning_rate": 1.81e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 4786
    },
    {
      "epoch": 1.2768,
      "grad_norm": 0.23705895245075226,
      "learning_rate": 1.808666666666667e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 4788
    },
    {
      "epoch": 1.2773333333333334,
      "grad_norm": 0.23104164004325867,
      "learning_rate": 1.8073333333333334e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 4790
    },
    {
      "epoch": 1.2778666666666667,
      "grad_norm": 0.19621096551418304,
      "learning_rate": 1.8060000000000002e-06,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 4792
    },
    {
      "epoch": 1.2784,
      "grad_norm": 0.22450986504554749,
      "learning_rate": 1.8046666666666669e-06,
      "loss": -0.0837,
      "on_policy_loss": -0.0837,
      "step": 4794
    },
    {
      "epoch": 1.2789333333333333,
      "grad_norm": 0.18508845567703247,
      "learning_rate": 1.8033333333333336e-06,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 4796
    },
    {
      "epoch": 1.2794666666666665,
      "grad_norm": 0.20167598128318787,
      "learning_rate": 1.802e-06,
      "loss": -0.0861,
      "on_policy_loss": -0.0861,
      "step": 4798
    },
    {
      "epoch": 1.28,
      "grad_norm": 0.2329103946685791,
      "learning_rate": 1.800666666666667e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 4800
    },
    {
      "epoch": 1.2805333333333333,
      "grad_norm": 0.19182752072811127,
      "learning_rate": 1.7993333333333335e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 4802
    },
    {
      "epoch": 1.2810666666666668,
      "grad_norm": 0.19318656623363495,
      "learning_rate": 1.798e-06,
      "loss": -0.0852,
      "on_policy_loss": -0.0852,
      "step": 4804
    },
    {
      "epoch": 1.2816,
      "grad_norm": 0.1904449760913849,
      "learning_rate": 1.796666666666667e-06,
      "loss": -0.0803,
      "on_policy_loss": -0.0803,
      "step": 4806
    },
    {
      "epoch": 1.2821333333333333,
      "grad_norm": 0.20204412937164307,
      "learning_rate": 1.7953333333333334e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 4808
    },
    {
      "epoch": 1.2826666666666666,
      "grad_norm": 0.18496407568454742,
      "learning_rate": 1.794e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 4810
    },
    {
      "epoch": 1.2832,
      "grad_norm": 0.1999874860048294,
      "learning_rate": 1.7926666666666668e-06,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 4812
    },
    {
      "epoch": 1.2837333333333334,
      "grad_norm": 0.21806557476520538,
      "learning_rate": 1.7913333333333335e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 4814
    },
    {
      "epoch": 1.2842666666666667,
      "grad_norm": 0.18416307866573334,
      "learning_rate": 1.79e-06,
      "loss": -0.0762,
      "on_policy_loss": -0.0762,
      "step": 4816
    },
    {
      "epoch": 1.2848,
      "grad_norm": 0.2127038836479187,
      "learning_rate": 1.788666666666667e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 4818
    },
    {
      "epoch": 1.2853333333333334,
      "grad_norm": 0.21458862721920013,
      "learning_rate": 1.7873333333333334e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 4820
    },
    {
      "epoch": 1.2858666666666667,
      "grad_norm": 0.1880618780851364,
      "learning_rate": 1.7860000000000001e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 4822
    },
    {
      "epoch": 1.2864,
      "grad_norm": 0.2143903374671936,
      "learning_rate": 1.7846666666666668e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 4824
    },
    {
      "epoch": 1.2869333333333333,
      "grad_norm": 0.16996099054813385,
      "learning_rate": 1.7833333333333336e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 4826
    },
    {
      "epoch": 1.2874666666666665,
      "grad_norm": 0.2150871753692627,
      "learning_rate": 1.782e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 4828
    },
    {
      "epoch": 1.288,
      "grad_norm": 0.18214276432991028,
      "learning_rate": 1.780666666666667e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 4830
    },
    {
      "epoch": 1.2885333333333333,
      "grad_norm": 0.22670747339725494,
      "learning_rate": 1.7793333333333335e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 4832
    },
    {
      "epoch": 1.2890666666666668,
      "grad_norm": 0.1972304731607437,
      "learning_rate": 1.7780000000000004e-06,
      "loss": -0.0857,
      "on_policy_loss": -0.0857,
      "step": 4834
    },
    {
      "epoch": 1.2896,
      "grad_norm": 0.20500102639198303,
      "learning_rate": 1.7766666666666669e-06,
      "loss": -0.0848,
      "on_policy_loss": -0.0848,
      "step": 4836
    },
    {
      "epoch": 1.2901333333333334,
      "grad_norm": 0.19171348214149475,
      "learning_rate": 1.7753333333333334e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 4838
    },
    {
      "epoch": 1.2906666666666666,
      "grad_norm": 0.2152831107378006,
      "learning_rate": 1.774e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 4840
    },
    {
      "epoch": 1.2912,
      "grad_norm": 0.21319492161273956,
      "learning_rate": 1.7726666666666668e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 4842
    },
    {
      "epoch": 1.2917333333333334,
      "grad_norm": 0.20488284528255463,
      "learning_rate": 1.7713333333333335e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 4844
    },
    {
      "epoch": 1.2922666666666667,
      "grad_norm": 0.1950724869966507,
      "learning_rate": 1.77e-06,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 4846
    },
    {
      "epoch": 1.2928,
      "grad_norm": 0.1784379929304123,
      "learning_rate": 1.768666666666667e-06,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 4848
    },
    {
      "epoch": 1.2933333333333334,
      "grad_norm": 0.2513003647327423,
      "learning_rate": 1.7673333333333334e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 4850
    },
    {
      "epoch": 1.2938666666666667,
      "grad_norm": 0.1987845003604889,
      "learning_rate": 1.7660000000000001e-06,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 4852
    },
    {
      "epoch": 1.2944,
      "grad_norm": 0.17486120760440826,
      "learning_rate": 1.7646666666666668e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 4854
    },
    {
      "epoch": 1.2949333333333333,
      "grad_norm": 0.20411111414432526,
      "learning_rate": 1.7633333333333335e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 4856
    },
    {
      "epoch": 1.2954666666666665,
      "grad_norm": 0.16712377965450287,
      "learning_rate": 1.762e-06,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 4858
    },
    {
      "epoch": 1.296,
      "grad_norm": 0.16610705852508545,
      "learning_rate": 1.760666666666667e-06,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 4860
    },
    {
      "epoch": 1.2965333333333333,
      "grad_norm": 0.14427749812602997,
      "learning_rate": 1.7593333333333334e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 4862
    },
    {
      "epoch": 1.2970666666666666,
      "grad_norm": 0.21086782217025757,
      "learning_rate": 1.7580000000000004e-06,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 4864
    },
    {
      "epoch": 1.2976,
      "grad_norm": 0.14423416554927826,
      "learning_rate": 1.7566666666666669e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 4866
    },
    {
      "epoch": 1.2981333333333334,
      "grad_norm": 0.24036377668380737,
      "learning_rate": 1.7553333333333336e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 4868
    },
    {
      "epoch": 1.2986666666666666,
      "grad_norm": 0.2191796749830246,
      "learning_rate": 1.754e-06,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 4870
    },
    {
      "epoch": 1.2992,
      "grad_norm": 0.2186887562274933,
      "learning_rate": 1.7526666666666668e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 4872
    },
    {
      "epoch": 1.2997333333333334,
      "grad_norm": 0.2278396338224411,
      "learning_rate": 1.7513333333333335e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 4874
    },
    {
      "epoch": 1.3002666666666667,
      "grad_norm": 0.2366735339164734,
      "learning_rate": 1.75e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 4876
    },
    {
      "epoch": 1.3008,
      "grad_norm": 0.18502198159694672,
      "learning_rate": 1.7486666666666669e-06,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 4878
    },
    {
      "epoch": 1.3013333333333335,
      "grad_norm": 0.23012259602546692,
      "learning_rate": 1.7473333333333334e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 4880
    },
    {
      "epoch": 1.3018666666666667,
      "grad_norm": 0.18383300304412842,
      "learning_rate": 1.746e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 4882
    },
    {
      "epoch": 1.3024,
      "grad_norm": 0.18957677483558655,
      "learning_rate": 1.7446666666666668e-06,
      "loss": -0.0845,
      "on_policy_loss": -0.0845,
      "step": 4884
    },
    {
      "epoch": 1.3029333333333333,
      "grad_norm": 0.18183505535125732,
      "learning_rate": 1.7433333333333335e-06,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 4886
    },
    {
      "epoch": 1.3034666666666666,
      "grad_norm": 0.2085830420255661,
      "learning_rate": 1.742e-06,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 4888
    },
    {
      "epoch": 1.304,
      "grad_norm": 0.2012093961238861,
      "learning_rate": 1.740666666666667e-06,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 4890
    },
    {
      "epoch": 1.3045333333333333,
      "grad_norm": 0.20880061388015747,
      "learning_rate": 1.7393333333333334e-06,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 4892
    },
    {
      "epoch": 1.3050666666666666,
      "grad_norm": 0.19551971554756165,
      "learning_rate": 1.7380000000000003e-06,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 4894
    },
    {
      "epoch": 1.3056,
      "grad_norm": 0.16726426780223846,
      "learning_rate": 1.7366666666666668e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 4896
    },
    {
      "epoch": 1.3061333333333334,
      "grad_norm": 0.22679069638252258,
      "learning_rate": 1.7353333333333335e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 4898
    },
    {
      "epoch": 1.3066666666666666,
      "grad_norm": 0.2415556013584137,
      "learning_rate": 1.734e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 4900
    },
    {
      "epoch": 1.3072,
      "grad_norm": 0.18359330296516418,
      "learning_rate": 1.732666666666667e-06,
      "loss": -0.0837,
      "on_policy_loss": -0.0837,
      "step": 4902
    },
    {
      "epoch": 1.3077333333333334,
      "grad_norm": 0.17197583615779877,
      "learning_rate": 1.7313333333333335e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 4904
    },
    {
      "epoch": 1.3082666666666667,
      "grad_norm": 0.20008885860443115,
      "learning_rate": 1.73e-06,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 4906
    },
    {
      "epoch": 1.3088,
      "grad_norm": 0.17963539063930511,
      "learning_rate": 1.7286666666666669e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 4908
    },
    {
      "epoch": 1.3093333333333335,
      "grad_norm": 0.1951824128627777,
      "learning_rate": 1.7273333333333334e-06,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 4910
    },
    {
      "epoch": 1.3098666666666667,
      "grad_norm": 0.23313455283641815,
      "learning_rate": 1.726e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 4912
    },
    {
      "epoch": 1.3104,
      "grad_norm": 0.18534046411514282,
      "learning_rate": 1.7246666666666668e-06,
      "loss": -0.0781,
      "on_policy_loss": -0.0781,
      "step": 4914
    },
    {
      "epoch": 1.3109333333333333,
      "grad_norm": 0.1750560700893402,
      "learning_rate": 1.7233333333333335e-06,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 4916
    },
    {
      "epoch": 1.3114666666666666,
      "grad_norm": 0.16676072776317596,
      "learning_rate": 1.722e-06,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 4918
    },
    {
      "epoch": 1.312,
      "grad_norm": 0.21385861933231354,
      "learning_rate": 1.720666666666667e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 4920
    },
    {
      "epoch": 1.3125333333333333,
      "grad_norm": 0.18648241460323334,
      "learning_rate": 1.7193333333333334e-06,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 4922
    },
    {
      "epoch": 1.3130666666666666,
      "grad_norm": 0.21257179975509644,
      "learning_rate": 1.7180000000000003e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 4924
    },
    {
      "epoch": 1.3136,
      "grad_norm": 0.19132333993911743,
      "learning_rate": 1.7166666666666668e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 4926
    },
    {
      "epoch": 1.3141333333333334,
      "grad_norm": 0.16572897136211395,
      "learning_rate": 1.7153333333333335e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 4928
    },
    {
      "epoch": 1.3146666666666667,
      "grad_norm": 0.19292719662189484,
      "learning_rate": 1.714e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 4930
    },
    {
      "epoch": 1.3152,
      "grad_norm": 0.1927270144224167,
      "learning_rate": 1.712666666666667e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 4932
    },
    {
      "epoch": 1.3157333333333332,
      "grad_norm": 0.22411631047725677,
      "learning_rate": 1.7113333333333334e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 4934
    },
    {
      "epoch": 1.3162666666666667,
      "grad_norm": 0.21226981282234192,
      "learning_rate": 1.7100000000000004e-06,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 4936
    },
    {
      "epoch": 1.3168,
      "grad_norm": 0.19703936576843262,
      "learning_rate": 1.7086666666666669e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 4938
    },
    {
      "epoch": 1.3173333333333335,
      "grad_norm": 0.18454648554325104,
      "learning_rate": 1.7073333333333333e-06,
      "loss": -0.0849,
      "on_policy_loss": -0.0849,
      "step": 4940
    },
    {
      "epoch": 1.3178666666666667,
      "grad_norm": 0.18417897820472717,
      "learning_rate": 1.706e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 4942
    },
    {
      "epoch": 1.3184,
      "grad_norm": 0.1965351402759552,
      "learning_rate": 1.7046666666666668e-06,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 4944
    },
    {
      "epoch": 1.3189333333333333,
      "grad_norm": 0.19633588194847107,
      "learning_rate": 1.7033333333333335e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 4946
    },
    {
      "epoch": 1.3194666666666666,
      "grad_norm": 0.20502521097660065,
      "learning_rate": 1.702e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 4948
    },
    {
      "epoch": 1.32,
      "grad_norm": 0.1818513721227646,
      "learning_rate": 1.7006666666666669e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 4950
    },
    {
      "epoch": 1.3205333333333333,
      "grad_norm": 0.19010156393051147,
      "learning_rate": 1.6993333333333334e-06,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 4952
    },
    {
      "epoch": 1.3210666666666666,
      "grad_norm": 0.18011519312858582,
      "learning_rate": 1.6980000000000003e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 4954
    },
    {
      "epoch": 1.3216,
      "grad_norm": 0.17999166250228882,
      "learning_rate": 1.6966666666666668e-06,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 4956
    },
    {
      "epoch": 1.3221333333333334,
      "grad_norm": 0.21033653616905212,
      "learning_rate": 1.6953333333333335e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 4958
    },
    {
      "epoch": 1.3226666666666667,
      "grad_norm": 0.20032134652137756,
      "learning_rate": 1.694e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 4960
    },
    {
      "epoch": 1.3232,
      "grad_norm": 0.20957356691360474,
      "learning_rate": 1.692666666666667e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 4962
    },
    {
      "epoch": 1.3237333333333332,
      "grad_norm": 0.19683492183685303,
      "learning_rate": 1.6913333333333334e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 4964
    },
    {
      "epoch": 1.3242666666666667,
      "grad_norm": 0.188527449965477,
      "learning_rate": 1.6900000000000003e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 4966
    },
    {
      "epoch": 1.3248,
      "grad_norm": 0.22098463773727417,
      "learning_rate": 1.6886666666666668e-06,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 4968
    },
    {
      "epoch": 1.3253333333333333,
      "grad_norm": 0.14994727075099945,
      "learning_rate": 1.6873333333333335e-06,
      "loss": -0.0845,
      "on_policy_loss": -0.0845,
      "step": 4970
    },
    {
      "epoch": 1.3258666666666667,
      "grad_norm": 0.2385307252407074,
      "learning_rate": 1.686e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 4972
    },
    {
      "epoch": 1.3264,
      "grad_norm": 0.1681479960680008,
      "learning_rate": 1.6846666666666667e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 4974
    },
    {
      "epoch": 1.3269333333333333,
      "grad_norm": 0.2404286116361618,
      "learning_rate": 1.6833333333333335e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 4976
    },
    {
      "epoch": 1.3274666666666666,
      "grad_norm": 0.1923644244670868,
      "learning_rate": 1.682e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 4978
    },
    {
      "epoch": 1.328,
      "grad_norm": 0.22717204689979553,
      "learning_rate": 1.6806666666666669e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 4980
    },
    {
      "epoch": 1.3285333333333333,
      "grad_norm": 0.21830004453659058,
      "learning_rate": 1.6793333333333334e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 4982
    },
    {
      "epoch": 1.3290666666666666,
      "grad_norm": 0.18871533870697021,
      "learning_rate": 1.6780000000000003e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 4984
    },
    {
      "epoch": 1.3296000000000001,
      "grad_norm": 0.1714656949043274,
      "learning_rate": 1.6766666666666668e-06,
      "loss": -0.0774,
      "on_policy_loss": -0.0774,
      "step": 4986
    },
    {
      "epoch": 1.3301333333333334,
      "grad_norm": 0.1924159675836563,
      "learning_rate": 1.6753333333333335e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 4988
    },
    {
      "epoch": 1.3306666666666667,
      "grad_norm": 0.167192742228508,
      "learning_rate": 1.674e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 4990
    },
    {
      "epoch": 1.3312,
      "grad_norm": 0.17465752363204956,
      "learning_rate": 1.672666666666667e-06,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 4992
    },
    {
      "epoch": 1.3317333333333332,
      "grad_norm": 0.18714606761932373,
      "learning_rate": 1.6713333333333334e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 4994
    },
    {
      "epoch": 1.3322666666666667,
      "grad_norm": 0.21374300122261047,
      "learning_rate": 1.6700000000000003e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 4996
    },
    {
      "epoch": 1.3328,
      "grad_norm": 0.17331793904304504,
      "learning_rate": 1.6686666666666668e-06,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 4998
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 0.29995572566986084,
      "learning_rate": 1.6673333333333335e-06,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 5000
    },
    {
      "epoch": 1.3338666666666668,
      "grad_norm": 0.19640517234802246,
      "learning_rate": 1.666e-06,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 5002
    },
    {
      "epoch": 1.3344,
      "grad_norm": 0.22227409482002258,
      "learning_rate": 1.664666666666667e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 5004
    },
    {
      "epoch": 1.3349333333333333,
      "grad_norm": 0.21178629994392395,
      "learning_rate": 1.6633333333333334e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 5006
    },
    {
      "epoch": 1.3354666666666666,
      "grad_norm": 0.2052227109670639,
      "learning_rate": 1.662e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 5008
    },
    {
      "epoch": 1.336,
      "grad_norm": 0.16928476095199585,
      "learning_rate": 1.6606666666666668e-06,
      "loss": -0.0774,
      "on_policy_loss": -0.0774,
      "step": 5010
    },
    {
      "epoch": 1.3365333333333334,
      "grad_norm": 0.176100954413414,
      "learning_rate": 1.6593333333333333e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 5012
    },
    {
      "epoch": 1.3370666666666666,
      "grad_norm": 0.18397703766822815,
      "learning_rate": 1.6580000000000003e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 5014
    },
    {
      "epoch": 1.3376000000000001,
      "grad_norm": 0.18311753869056702,
      "learning_rate": 1.6566666666666668e-06,
      "loss": -0.0846,
      "on_policy_loss": -0.0846,
      "step": 5016
    },
    {
      "epoch": 1.3381333333333334,
      "grad_norm": 0.20015612244606018,
      "learning_rate": 1.6553333333333335e-06,
      "loss": -0.0801,
      "on_policy_loss": -0.0801,
      "step": 5018
    },
    {
      "epoch": 1.3386666666666667,
      "grad_norm": 0.18649940192699432,
      "learning_rate": 1.654e-06,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 5020
    },
    {
      "epoch": 1.3392,
      "grad_norm": 0.1885802000761032,
      "learning_rate": 1.6526666666666669e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 5022
    },
    {
      "epoch": 1.3397333333333332,
      "grad_norm": 0.23987513780593872,
      "learning_rate": 1.6513333333333334e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 5024
    },
    {
      "epoch": 1.3402666666666667,
      "grad_norm": 0.17615948617458344,
      "learning_rate": 1.6500000000000003e-06,
      "loss": -0.076,
      "on_policy_loss": -0.076,
      "step": 5026
    },
    {
      "epoch": 1.3408,
      "grad_norm": 0.1597440391778946,
      "learning_rate": 1.6486666666666668e-06,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 5028
    },
    {
      "epoch": 1.3413333333333333,
      "grad_norm": 0.21930506825447083,
      "learning_rate": 1.6473333333333335e-06,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 5030
    },
    {
      "epoch": 1.3418666666666668,
      "grad_norm": 0.18163810670375824,
      "learning_rate": 1.646e-06,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 5032
    },
    {
      "epoch": 1.3424,
      "grad_norm": 0.20749904215335846,
      "learning_rate": 1.644666666666667e-06,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 5034
    },
    {
      "epoch": 1.3429333333333333,
      "grad_norm": 0.23952136933803558,
      "learning_rate": 1.6433333333333334e-06,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 5036
    },
    {
      "epoch": 1.3434666666666666,
      "grad_norm": 0.19933536648750305,
      "learning_rate": 1.6420000000000003e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 5038
    },
    {
      "epoch": 1.3439999999999999,
      "grad_norm": 0.1676388531923294,
      "learning_rate": 1.6406666666666668e-06,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 5040
    },
    {
      "epoch": 1.3445333333333334,
      "grad_norm": 0.19096165895462036,
      "learning_rate": 1.6393333333333333e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 5042
    },
    {
      "epoch": 1.3450666666666666,
      "grad_norm": 0.2268281728029251,
      "learning_rate": 1.6380000000000002e-06,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 5044
    },
    {
      "epoch": 1.3456000000000001,
      "grad_norm": 0.1963074952363968,
      "learning_rate": 1.6366666666666667e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 5046
    },
    {
      "epoch": 1.3461333333333334,
      "grad_norm": 0.2206147015094757,
      "learning_rate": 1.6353333333333334e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 5048
    },
    {
      "epoch": 1.3466666666666667,
      "grad_norm": 0.17409786581993103,
      "learning_rate": 1.634e-06,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 5050
    },
    {
      "epoch": 1.3472,
      "grad_norm": 0.17082872986793518,
      "learning_rate": 1.6326666666666669e-06,
      "loss": -0.0864,
      "on_policy_loss": -0.0864,
      "step": 5052
    },
    {
      "epoch": 1.3477333333333332,
      "grad_norm": 0.16332174837589264,
      "learning_rate": 1.6313333333333334e-06,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 5054
    },
    {
      "epoch": 1.3482666666666667,
      "grad_norm": 0.167144313454628,
      "learning_rate": 1.6300000000000003e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 5056
    },
    {
      "epoch": 1.3488,
      "grad_norm": 0.21494947373867035,
      "learning_rate": 1.6286666666666668e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 5058
    },
    {
      "epoch": 1.3493333333333333,
      "grad_norm": 0.22630953788757324,
      "learning_rate": 1.6273333333333335e-06,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 5060
    },
    {
      "epoch": 1.3498666666666668,
      "grad_norm": 0.19409164786338806,
      "learning_rate": 1.626e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 5062
    },
    {
      "epoch": 1.3504,
      "grad_norm": 0.21812312304973602,
      "learning_rate": 1.624666666666667e-06,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 5064
    },
    {
      "epoch": 1.3509333333333333,
      "grad_norm": 0.25005659461021423,
      "learning_rate": 1.6233333333333334e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 5066
    },
    {
      "epoch": 1.3514666666666666,
      "grad_norm": 0.20067058503627777,
      "learning_rate": 1.6220000000000003e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 5068
    },
    {
      "epoch": 1.3519999999999999,
      "grad_norm": 0.2004697024822235,
      "learning_rate": 1.6206666666666668e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 5070
    },
    {
      "epoch": 1.3525333333333334,
      "grad_norm": 0.18222664296627045,
      "learning_rate": 1.6193333333333335e-06,
      "loss": -0.0857,
      "on_policy_loss": -0.0857,
      "step": 5072
    },
    {
      "epoch": 1.3530666666666666,
      "grad_norm": 0.21863581240177155,
      "learning_rate": 1.6180000000000002e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 5074
    },
    {
      "epoch": 1.3536000000000001,
      "grad_norm": 0.20575302839279175,
      "learning_rate": 1.6166666666666667e-06,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 5076
    },
    {
      "epoch": 1.3541333333333334,
      "grad_norm": 0.17971479892730713,
      "learning_rate": 1.6153333333333334e-06,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 5078
    },
    {
      "epoch": 1.3546666666666667,
      "grad_norm": 0.2192360758781433,
      "learning_rate": 1.614e-06,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 5080
    },
    {
      "epoch": 1.3552,
      "grad_norm": 0.18800759315490723,
      "learning_rate": 1.6126666666666668e-06,
      "loss": -0.0855,
      "on_policy_loss": -0.0855,
      "step": 5082
    },
    {
      "epoch": 1.3557333333333332,
      "grad_norm": 0.20703932642936707,
      "learning_rate": 1.6113333333333333e-06,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 5084
    },
    {
      "epoch": 1.3562666666666667,
      "grad_norm": 0.18073907494544983,
      "learning_rate": 1.6100000000000003e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 5086
    },
    {
      "epoch": 1.3568,
      "grad_norm": 0.1828889548778534,
      "learning_rate": 1.6086666666666668e-06,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 5088
    },
    {
      "epoch": 1.3573333333333333,
      "grad_norm": 0.1900317370891571,
      "learning_rate": 1.6073333333333335e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 5090
    },
    {
      "epoch": 1.3578666666666668,
      "grad_norm": 0.1852630376815796,
      "learning_rate": 1.606e-06,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 5092
    },
    {
      "epoch": 1.3584,
      "grad_norm": 0.1939723640680313,
      "learning_rate": 1.6046666666666669e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 5094
    },
    {
      "epoch": 1.3589333333333333,
      "grad_norm": 0.19225499033927917,
      "learning_rate": 1.6033333333333334e-06,
      "loss": -0.0741,
      "on_policy_loss": -0.0741,
      "step": 5096
    },
    {
      "epoch": 1.3594666666666666,
      "grad_norm": 0.20189133286476135,
      "learning_rate": 1.6020000000000003e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 5098
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 0.23212049901485443,
      "learning_rate": 1.6006666666666668e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 5100
    },
    {
      "epoch": 1.3605333333333334,
      "grad_norm": 0.1859074831008911,
      "learning_rate": 1.5993333333333335e-06,
      "loss": -0.0849,
      "on_policy_loss": -0.0849,
      "step": 5102
    },
    {
      "epoch": 1.3610666666666666,
      "grad_norm": 0.19016535580158234,
      "learning_rate": 1.5980000000000002e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 5104
    },
    {
      "epoch": 1.3616,
      "grad_norm": 0.2052396535873413,
      "learning_rate": 1.596666666666667e-06,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 5106
    },
    {
      "epoch": 1.3621333333333334,
      "grad_norm": 0.1788782775402069,
      "learning_rate": 1.5953333333333334e-06,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 5108
    },
    {
      "epoch": 1.3626666666666667,
      "grad_norm": 0.2072066217660904,
      "learning_rate": 1.594e-06,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 5110
    },
    {
      "epoch": 1.3632,
      "grad_norm": 0.17592307925224304,
      "learning_rate": 1.5926666666666668e-06,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 5112
    },
    {
      "epoch": 1.3637333333333332,
      "grad_norm": 0.18344378471374512,
      "learning_rate": 1.5913333333333333e-06,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 5114
    },
    {
      "epoch": 1.3642666666666667,
      "grad_norm": 0.17864948511123657,
      "learning_rate": 1.5900000000000002e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 5116
    },
    {
      "epoch": 1.3648,
      "grad_norm": 0.21528103947639465,
      "learning_rate": 1.5886666666666667e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 5118
    },
    {
      "epoch": 1.3653333333333333,
      "grad_norm": 0.1837269365787506,
      "learning_rate": 1.5873333333333334e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 5120
    },
    {
      "epoch": 1.3658666666666668,
      "grad_norm": 0.24109284579753876,
      "learning_rate": 1.586e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 5122
    },
    {
      "epoch": 1.3664,
      "grad_norm": 0.16194120049476624,
      "learning_rate": 1.5846666666666669e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 5124
    },
    {
      "epoch": 1.3669333333333333,
      "grad_norm": 0.23073235154151917,
      "learning_rate": 1.5833333333333333e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 5126
    },
    {
      "epoch": 1.3674666666666666,
      "grad_norm": 0.17090293765068054,
      "learning_rate": 1.5820000000000003e-06,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 5128
    },
    {
      "epoch": 1.3679999999999999,
      "grad_norm": 0.18523256480693817,
      "learning_rate": 1.5806666666666668e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 5130
    },
    {
      "epoch": 1.3685333333333334,
      "grad_norm": 0.17385299503803253,
      "learning_rate": 1.5793333333333335e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 5132
    },
    {
      "epoch": 1.3690666666666667,
      "grad_norm": 0.16529250144958496,
      "learning_rate": 1.5780000000000002e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 5134
    },
    {
      "epoch": 1.3696,
      "grad_norm": 0.1925826072692871,
      "learning_rate": 1.5766666666666669e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 5136
    },
    {
      "epoch": 1.3701333333333334,
      "grad_norm": 0.21215465664863586,
      "learning_rate": 1.5753333333333334e-06,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 5138
    },
    {
      "epoch": 1.3706666666666667,
      "grad_norm": 0.2094315141439438,
      "learning_rate": 1.5740000000000003e-06,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 5140
    },
    {
      "epoch": 1.3712,
      "grad_norm": 0.17596158385276794,
      "learning_rate": 1.5726666666666668e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 5142
    },
    {
      "epoch": 1.3717333333333332,
      "grad_norm": 0.22301062941551208,
      "learning_rate": 1.5713333333333335e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 5144
    },
    {
      "epoch": 1.3722666666666667,
      "grad_norm": 0.19469329714775085,
      "learning_rate": 1.5700000000000002e-06,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 5146
    },
    {
      "epoch": 1.3728,
      "grad_norm": 0.16632436215877533,
      "learning_rate": 1.5686666666666667e-06,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 5148
    },
    {
      "epoch": 1.3733333333333333,
      "grad_norm": 0.22175699472427368,
      "learning_rate": 1.5673333333333334e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 5150
    },
    {
      "epoch": 1.3738666666666668,
      "grad_norm": 0.19699028134346008,
      "learning_rate": 1.566e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 5152
    },
    {
      "epoch": 1.3744,
      "grad_norm": 0.1852530986070633,
      "learning_rate": 1.5646666666666668e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 5154
    },
    {
      "epoch": 1.3749333333333333,
      "grad_norm": 0.3410879969596863,
      "learning_rate": 1.5633333333333333e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 5156
    },
    {
      "epoch": 1.3754666666666666,
      "grad_norm": 0.2006508857011795,
      "learning_rate": 1.5620000000000002e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 5158
    },
    {
      "epoch": 1.376,
      "grad_norm": 0.19737574458122253,
      "learning_rate": 1.5606666666666667e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 5160
    },
    {
      "epoch": 1.3765333333333334,
      "grad_norm": 0.20456095039844513,
      "learning_rate": 1.5593333333333335e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 5162
    },
    {
      "epoch": 1.3770666666666667,
      "grad_norm": 0.18332429230213165,
      "learning_rate": 1.5580000000000002e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 5164
    },
    {
      "epoch": 1.3776,
      "grad_norm": 0.2263360172510147,
      "learning_rate": 1.5566666666666669e-06,
      "loss": -0.0846,
      "on_policy_loss": -0.0846,
      "step": 5166
    },
    {
      "epoch": 1.3781333333333334,
      "grad_norm": 0.19361001253128052,
      "learning_rate": 1.5553333333333334e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 5168
    },
    {
      "epoch": 1.3786666666666667,
      "grad_norm": 0.21345937252044678,
      "learning_rate": 1.5540000000000003e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 5170
    },
    {
      "epoch": 1.3792,
      "grad_norm": 0.21279314160346985,
      "learning_rate": 1.5526666666666668e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 5172
    },
    {
      "epoch": 1.3797333333333333,
      "grad_norm": 0.2213173806667328,
      "learning_rate": 1.5513333333333335e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 5174
    },
    {
      "epoch": 1.3802666666666665,
      "grad_norm": 0.19084416329860687,
      "learning_rate": 1.5500000000000002e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 5176
    },
    {
      "epoch": 1.3808,
      "grad_norm": 0.20657125115394592,
      "learning_rate": 1.548666666666667e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 5178
    },
    {
      "epoch": 1.3813333333333333,
      "grad_norm": 0.18856792151927948,
      "learning_rate": 1.5473333333333334e-06,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 5180
    },
    {
      "epoch": 1.3818666666666668,
      "grad_norm": 0.1613135039806366,
      "learning_rate": 1.546e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 5182
    },
    {
      "epoch": 1.3824,
      "grad_norm": 0.17233741283416748,
      "learning_rate": 1.5446666666666668e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 5184
    },
    {
      "epoch": 1.3829333333333333,
      "grad_norm": 0.2131810486316681,
      "learning_rate": 1.5433333333333333e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 5186
    },
    {
      "epoch": 1.3834666666666666,
      "grad_norm": 0.23894262313842773,
      "learning_rate": 1.5420000000000002e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 5188
    },
    {
      "epoch": 1.384,
      "grad_norm": 0.19705934822559357,
      "learning_rate": 1.5406666666666667e-06,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 5190
    },
    {
      "epoch": 1.3845333333333334,
      "grad_norm": 0.22486712038516998,
      "learning_rate": 1.5393333333333334e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 5192
    },
    {
      "epoch": 1.3850666666666667,
      "grad_norm": 0.18493413925170898,
      "learning_rate": 1.5380000000000001e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 5194
    },
    {
      "epoch": 1.3856,
      "grad_norm": 0.19932368397712708,
      "learning_rate": 1.5366666666666668e-06,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 5196
    },
    {
      "epoch": 1.3861333333333334,
      "grad_norm": 0.1851392388343811,
      "learning_rate": 1.5353333333333333e-06,
      "loss": -0.0857,
      "on_policy_loss": -0.0857,
      "step": 5198
    },
    {
      "epoch": 1.3866666666666667,
      "grad_norm": 0.18654097616672516,
      "learning_rate": 1.5340000000000003e-06,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 5200
    },
    {
      "epoch": 1.3872,
      "grad_norm": 0.19394110143184662,
      "learning_rate": 1.5326666666666668e-06,
      "loss": -0.0754,
      "on_policy_loss": -0.0754,
      "step": 5202
    },
    {
      "epoch": 1.3877333333333333,
      "grad_norm": 0.18111811578273773,
      "learning_rate": 1.5313333333333335e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 5204
    },
    {
      "epoch": 1.3882666666666665,
      "grad_norm": 0.20722417533397675,
      "learning_rate": 1.5300000000000002e-06,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 5206
    },
    {
      "epoch": 1.3888,
      "grad_norm": 0.22411313652992249,
      "learning_rate": 1.5286666666666669e-06,
      "loss": -0.0845,
      "on_policy_loss": -0.0845,
      "step": 5208
    },
    {
      "epoch": 1.3893333333333333,
      "grad_norm": 0.21998517215251923,
      "learning_rate": 1.5273333333333334e-06,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 5210
    },
    {
      "epoch": 1.3898666666666666,
      "grad_norm": 0.18744279444217682,
      "learning_rate": 1.5260000000000003e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 5212
    },
    {
      "epoch": 1.3904,
      "grad_norm": 0.2019156515598297,
      "learning_rate": 1.5246666666666668e-06,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 5214
    },
    {
      "epoch": 1.3909333333333334,
      "grad_norm": 0.19521525502204895,
      "learning_rate": 1.5233333333333333e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 5216
    },
    {
      "epoch": 1.3914666666666666,
      "grad_norm": 0.20057454705238342,
      "learning_rate": 1.5220000000000002e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 5218
    },
    {
      "epoch": 1.392,
      "grad_norm": 0.26659730076789856,
      "learning_rate": 1.5206666666666667e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 5220
    },
    {
      "epoch": 1.3925333333333334,
      "grad_norm": 0.18519125878810883,
      "learning_rate": 1.5193333333333334e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 5222
    },
    {
      "epoch": 1.3930666666666667,
      "grad_norm": 0.21781137585639954,
      "learning_rate": 1.5180000000000001e-06,
      "loss": -0.0864,
      "on_policy_loss": -0.0864,
      "step": 5224
    },
    {
      "epoch": 1.3936,
      "grad_norm": 0.19538742303848267,
      "learning_rate": 1.5166666666666668e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 5226
    },
    {
      "epoch": 1.3941333333333334,
      "grad_norm": 0.18095152080059052,
      "learning_rate": 1.5153333333333333e-06,
      "loss": -0.0736,
      "on_policy_loss": -0.0736,
      "step": 5228
    },
    {
      "epoch": 1.3946666666666667,
      "grad_norm": 0.22590596973896027,
      "learning_rate": 1.5140000000000002e-06,
      "loss": -0.085,
      "on_policy_loss": -0.085,
      "step": 5230
    },
    {
      "epoch": 1.3952,
      "grad_norm": 0.1821335107088089,
      "learning_rate": 1.5126666666666667e-06,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 5232
    },
    {
      "epoch": 1.3957333333333333,
      "grad_norm": 0.204899862408638,
      "learning_rate": 1.5113333333333334e-06,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 5234
    },
    {
      "epoch": 1.3962666666666665,
      "grad_norm": 0.16967128217220306,
      "learning_rate": 1.5100000000000002e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 5236
    },
    {
      "epoch": 1.3968,
      "grad_norm": 0.2112325131893158,
      "learning_rate": 1.5086666666666669e-06,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 5238
    },
    {
      "epoch": 1.3973333333333333,
      "grad_norm": 0.16305766999721527,
      "learning_rate": 1.5073333333333334e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 5240
    },
    {
      "epoch": 1.3978666666666666,
      "grad_norm": 0.2289460152387619,
      "learning_rate": 1.5060000000000003e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 5242
    },
    {
      "epoch": 1.3984,
      "grad_norm": 0.19926610589027405,
      "learning_rate": 1.5046666666666668e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 5244
    },
    {
      "epoch": 1.3989333333333334,
      "grad_norm": 0.20995739102363586,
      "learning_rate": 1.5033333333333337e-06,
      "loss": -0.0735,
      "on_policy_loss": -0.0735,
      "step": 5246
    },
    {
      "epoch": 1.3994666666666666,
      "grad_norm": 0.23022110760211945,
      "learning_rate": 1.5020000000000002e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 5248
    },
    {
      "epoch": 1.4,
      "grad_norm": 0.21666264533996582,
      "learning_rate": 1.5006666666666667e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 5250
    },
    {
      "epoch": 1.4005333333333334,
      "grad_norm": 0.20339198410511017,
      "learning_rate": 1.4993333333333334e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 5252
    },
    {
      "epoch": 1.4010666666666667,
      "grad_norm": 0.20131458342075348,
      "learning_rate": 1.498e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 5254
    },
    {
      "epoch": 1.4016,
      "grad_norm": 0.17939749360084534,
      "learning_rate": 1.4966666666666668e-06,
      "loss": -0.0856,
      "on_policy_loss": -0.0856,
      "step": 5256
    },
    {
      "epoch": 1.4021333333333335,
      "grad_norm": 0.2343577742576599,
      "learning_rate": 1.4953333333333333e-06,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 5258
    },
    {
      "epoch": 1.4026666666666667,
      "grad_norm": 0.2313232123851776,
      "learning_rate": 1.4940000000000002e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 5260
    },
    {
      "epoch": 1.4032,
      "grad_norm": 0.17452922463417053,
      "learning_rate": 1.4926666666666667e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 5262
    },
    {
      "epoch": 1.4037333333333333,
      "grad_norm": 0.1743127405643463,
      "learning_rate": 1.4913333333333334e-06,
      "loss": -0.0832,
      "on_policy_loss": -0.0832,
      "step": 5264
    },
    {
      "epoch": 1.4042666666666666,
      "grad_norm": 0.21147511899471283,
      "learning_rate": 1.4900000000000001e-06,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 5266
    },
    {
      "epoch": 1.4048,
      "grad_norm": 0.2042854279279709,
      "learning_rate": 1.4886666666666668e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 5268
    },
    {
      "epoch": 1.4053333333333333,
      "grad_norm": 0.20909471809864044,
      "learning_rate": 1.4873333333333333e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 5270
    },
    {
      "epoch": 1.4058666666666666,
      "grad_norm": 0.19042983651161194,
      "learning_rate": 1.4860000000000003e-06,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 5272
    },
    {
      "epoch": 1.4064,
      "grad_norm": 0.17366506159305573,
      "learning_rate": 1.4846666666666668e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 5274
    },
    {
      "epoch": 1.4069333333333334,
      "grad_norm": 0.18543215095996857,
      "learning_rate": 1.4833333333333337e-06,
      "loss": -0.0801,
      "on_policy_loss": -0.0801,
      "step": 5276
    },
    {
      "epoch": 1.4074666666666666,
      "grad_norm": 0.21018072962760925,
      "learning_rate": 1.4820000000000002e-06,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 5278
    },
    {
      "epoch": 1.408,
      "grad_norm": 0.19803988933563232,
      "learning_rate": 1.4806666666666669e-06,
      "loss": -0.0843,
      "on_policy_loss": -0.0843,
      "step": 5280
    },
    {
      "epoch": 1.4085333333333334,
      "grad_norm": 0.2179213911294937,
      "learning_rate": 1.4793333333333334e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 5282
    },
    {
      "epoch": 1.4090666666666667,
      "grad_norm": 0.1714574545621872,
      "learning_rate": 1.478e-06,
      "loss": -0.0762,
      "on_policy_loss": -0.0762,
      "step": 5284
    },
    {
      "epoch": 1.4096,
      "grad_norm": 0.21310465037822723,
      "learning_rate": 1.4766666666666668e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 5286
    },
    {
      "epoch": 1.4101333333333335,
      "grad_norm": 0.18705719709396362,
      "learning_rate": 1.4753333333333333e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 5288
    },
    {
      "epoch": 1.4106666666666667,
      "grad_norm": 0.23746009171009064,
      "learning_rate": 1.4740000000000002e-06,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 5290
    },
    {
      "epoch": 1.4112,
      "grad_norm": 0.19510653614997864,
      "learning_rate": 1.4726666666666667e-06,
      "loss": -0.0845,
      "on_policy_loss": -0.0845,
      "step": 5292
    },
    {
      "epoch": 1.4117333333333333,
      "grad_norm": 0.192199245095253,
      "learning_rate": 1.4713333333333334e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 5294
    },
    {
      "epoch": 1.4122666666666666,
      "grad_norm": 0.17946627736091614,
      "learning_rate": 1.4700000000000001e-06,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 5296
    },
    {
      "epoch": 1.4128,
      "grad_norm": 0.19784148037433624,
      "learning_rate": 1.4686666666666668e-06,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 5298
    },
    {
      "epoch": 1.4133333333333333,
      "grad_norm": 0.17621763050556183,
      "learning_rate": 1.4673333333333333e-06,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 5300
    },
    {
      "epoch": 1.4138666666666666,
      "grad_norm": 0.21392598748207092,
      "learning_rate": 1.4660000000000002e-06,
      "loss": -0.0848,
      "on_policy_loss": -0.0848,
      "step": 5302
    },
    {
      "epoch": 1.4144,
      "grad_norm": 0.20257337391376495,
      "learning_rate": 1.4646666666666667e-06,
      "loss": -0.0728,
      "on_policy_loss": -0.0728,
      "step": 5304
    },
    {
      "epoch": 1.4149333333333334,
      "grad_norm": 0.1944453865289688,
      "learning_rate": 1.4633333333333337e-06,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 5306
    },
    {
      "epoch": 1.4154666666666667,
      "grad_norm": 0.17150996625423431,
      "learning_rate": 1.4620000000000001e-06,
      "loss": -0.071,
      "on_policy_loss": -0.071,
      "step": 5308
    },
    {
      "epoch": 1.416,
      "grad_norm": 0.1883585900068283,
      "learning_rate": 1.4606666666666669e-06,
      "loss": -0.0846,
      "on_policy_loss": -0.0846,
      "step": 5310
    },
    {
      "epoch": 1.4165333333333332,
      "grad_norm": 0.17537714540958405,
      "learning_rate": 1.4593333333333334e-06,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 5312
    },
    {
      "epoch": 1.4170666666666667,
      "grad_norm": 0.1760357916355133,
      "learning_rate": 1.4580000000000003e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 5314
    },
    {
      "epoch": 1.4176,
      "grad_norm": 0.2559078633785248,
      "learning_rate": 1.4566666666666668e-06,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 5316
    },
    {
      "epoch": 1.4181333333333335,
      "grad_norm": 0.1948152482509613,
      "learning_rate": 1.4553333333333333e-06,
      "loss": -0.0801,
      "on_policy_loss": -0.0801,
      "step": 5318
    },
    {
      "epoch": 1.4186666666666667,
      "grad_norm": 0.19912663102149963,
      "learning_rate": 1.4540000000000002e-06,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 5320
    },
    {
      "epoch": 1.4192,
      "grad_norm": 0.1512361615896225,
      "learning_rate": 1.4526666666666667e-06,
      "loss": -0.0843,
      "on_policy_loss": -0.0843,
      "step": 5322
    },
    {
      "epoch": 1.4197333333333333,
      "grad_norm": 0.20592372119426727,
      "learning_rate": 1.4513333333333334e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 5324
    },
    {
      "epoch": 1.4202666666666666,
      "grad_norm": 0.23588091135025024,
      "learning_rate": 1.45e-06,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 5326
    },
    {
      "epoch": 1.4208,
      "grad_norm": 0.2302975058555603,
      "learning_rate": 1.4486666666666668e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 5328
    },
    {
      "epoch": 1.4213333333333333,
      "grad_norm": 0.18443743884563446,
      "learning_rate": 1.4473333333333333e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 5330
    },
    {
      "epoch": 1.4218666666666666,
      "grad_norm": 0.22510625422000885,
      "learning_rate": 1.4460000000000002e-06,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 5332
    },
    {
      "epoch": 1.4224,
      "grad_norm": 0.2027721107006073,
      "learning_rate": 1.4446666666666667e-06,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 5334
    },
    {
      "epoch": 1.4229333333333334,
      "grad_norm": 0.16465617716312408,
      "learning_rate": 1.4433333333333336e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 5336
    },
    {
      "epoch": 1.4234666666666667,
      "grad_norm": 0.15264081954956055,
      "learning_rate": 1.4420000000000001e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 5338
    },
    {
      "epoch": 1.424,
      "grad_norm": 0.19271372258663177,
      "learning_rate": 1.4406666666666668e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 5340
    },
    {
      "epoch": 1.4245333333333332,
      "grad_norm": 0.21529893577098846,
      "learning_rate": 1.4393333333333333e-06,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 5342
    },
    {
      "epoch": 1.4250666666666667,
      "grad_norm": 0.1908845156431198,
      "learning_rate": 1.4380000000000003e-06,
      "loss": -0.0843,
      "on_policy_loss": -0.0843,
      "step": 5344
    },
    {
      "epoch": 1.4256,
      "grad_norm": 0.19192829728126526,
      "learning_rate": 1.4366666666666667e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 5346
    },
    {
      "epoch": 1.4261333333333333,
      "grad_norm": 0.18028011918067932,
      "learning_rate": 1.4353333333333337e-06,
      "loss": -0.0803,
      "on_policy_loss": -0.0803,
      "step": 5348
    },
    {
      "epoch": 1.4266666666666667,
      "grad_norm": 0.1919342428445816,
      "learning_rate": 1.4340000000000002e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 5350
    },
    {
      "epoch": 1.4272,
      "grad_norm": 0.17952224612236023,
      "learning_rate": 1.4326666666666667e-06,
      "loss": -0.076,
      "on_policy_loss": -0.076,
      "step": 5352
    },
    {
      "epoch": 1.4277333333333333,
      "grad_norm": 0.20909231901168823,
      "learning_rate": 1.4313333333333334e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 5354
    },
    {
      "epoch": 1.4282666666666666,
      "grad_norm": 0.1718003898859024,
      "learning_rate": 1.43e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 5356
    },
    {
      "epoch": 1.4288,
      "grad_norm": 0.20694661140441895,
      "learning_rate": 1.4286666666666668e-06,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 5358
    },
    {
      "epoch": 1.4293333333333333,
      "grad_norm": 0.18439938127994537,
      "learning_rate": 1.4273333333333333e-06,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 5360
    },
    {
      "epoch": 1.4298666666666666,
      "grad_norm": 0.1697499305009842,
      "learning_rate": 1.4260000000000002e-06,
      "loss": -0.0748,
      "on_policy_loss": -0.0748,
      "step": 5362
    },
    {
      "epoch": 1.4304000000000001,
      "grad_norm": 0.20654074847698212,
      "learning_rate": 1.4246666666666667e-06,
      "loss": -0.0859,
      "on_policy_loss": -0.0859,
      "step": 5364
    },
    {
      "epoch": 1.4309333333333334,
      "grad_norm": 0.2084597498178482,
      "learning_rate": 1.4233333333333336e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 5366
    },
    {
      "epoch": 1.4314666666666667,
      "grad_norm": 0.15457820892333984,
      "learning_rate": 1.4220000000000001e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 5368
    },
    {
      "epoch": 1.432,
      "grad_norm": 0.202427476644516,
      "learning_rate": 1.4206666666666668e-06,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 5370
    },
    {
      "epoch": 1.4325333333333332,
      "grad_norm": 0.19841760396957397,
      "learning_rate": 1.4193333333333333e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 5372
    },
    {
      "epoch": 1.4330666666666667,
      "grad_norm": 0.17395523190498352,
      "learning_rate": 1.4180000000000002e-06,
      "loss": -0.0886,
      "on_policy_loss": -0.0886,
      "step": 5374
    },
    {
      "epoch": 1.4336,
      "grad_norm": 0.1879962831735611,
      "learning_rate": 1.4166666666666667e-06,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 5376
    },
    {
      "epoch": 1.4341333333333333,
      "grad_norm": 0.18459661304950714,
      "learning_rate": 1.4153333333333336e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 5378
    },
    {
      "epoch": 1.4346666666666668,
      "grad_norm": 0.26339468359947205,
      "learning_rate": 1.4140000000000001e-06,
      "loss": -0.0885,
      "on_policy_loss": -0.0885,
      "step": 5380
    },
    {
      "epoch": 1.4352,
      "grad_norm": 0.23402436077594757,
      "learning_rate": 1.4126666666666668e-06,
      "loss": -0.0852,
      "on_policy_loss": -0.0852,
      "step": 5382
    },
    {
      "epoch": 1.4357333333333333,
      "grad_norm": 0.174592062830925,
      "learning_rate": 1.4113333333333333e-06,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 5384
    },
    {
      "epoch": 1.4362666666666666,
      "grad_norm": 0.17723263800144196,
      "learning_rate": 1.41e-06,
      "loss": -0.0865,
      "on_policy_loss": -0.0865,
      "step": 5386
    },
    {
      "epoch": 1.4368,
      "grad_norm": 0.17738336324691772,
      "learning_rate": 1.4086666666666668e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 5388
    },
    {
      "epoch": 1.4373333333333334,
      "grad_norm": 0.2014521360397339,
      "learning_rate": 1.4073333333333333e-06,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 5390
    },
    {
      "epoch": 1.4378666666666666,
      "grad_norm": 0.16533134877681732,
      "learning_rate": 1.4060000000000002e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 5392
    },
    {
      "epoch": 1.4384000000000001,
      "grad_norm": 0.2046801596879959,
      "learning_rate": 1.4046666666666667e-06,
      "loss": -0.0861,
      "on_policy_loss": -0.0861,
      "step": 5394
    },
    {
      "epoch": 1.4389333333333334,
      "grad_norm": 0.2138059437274933,
      "learning_rate": 1.4033333333333336e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 5396
    },
    {
      "epoch": 1.4394666666666667,
      "grad_norm": 0.18293610215187073,
      "learning_rate": 1.402e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 5398
    },
    {
      "epoch": 1.44,
      "grad_norm": 0.15067411959171295,
      "learning_rate": 1.4006666666666668e-06,
      "loss": -0.0769,
      "on_policy_loss": -0.0769,
      "step": 5400
    },
    {
      "epoch": 1.4405333333333332,
      "grad_norm": 0.19975285232067108,
      "learning_rate": 1.3993333333333333e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 5402
    },
    {
      "epoch": 1.4410666666666667,
      "grad_norm": 0.21056267619132996,
      "learning_rate": 1.3980000000000002e-06,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 5404
    },
    {
      "epoch": 1.4416,
      "grad_norm": 0.1997852474451065,
      "learning_rate": 1.3966666666666667e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 5406
    },
    {
      "epoch": 1.4421333333333333,
      "grad_norm": 0.22231324017047882,
      "learning_rate": 1.3953333333333336e-06,
      "loss": -0.0832,
      "on_policy_loss": -0.0832,
      "step": 5408
    },
    {
      "epoch": 1.4426666666666668,
      "grad_norm": 0.17571668326854706,
      "learning_rate": 1.3940000000000001e-06,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 5410
    },
    {
      "epoch": 1.4432,
      "grad_norm": 0.159531369805336,
      "learning_rate": 1.3926666666666668e-06,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 5412
    },
    {
      "epoch": 1.4437333333333333,
      "grad_norm": 0.1895502209663391,
      "learning_rate": 1.3913333333333333e-06,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 5414
    },
    {
      "epoch": 1.4442666666666666,
      "grad_norm": 0.17796412110328674,
      "learning_rate": 1.3900000000000002e-06,
      "loss": -0.0843,
      "on_policy_loss": -0.0843,
      "step": 5416
    },
    {
      "epoch": 1.4447999999999999,
      "grad_norm": 0.17803770303726196,
      "learning_rate": 1.3886666666666667e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 5418
    },
    {
      "epoch": 1.4453333333333334,
      "grad_norm": 0.18243607878684998,
      "learning_rate": 1.3873333333333332e-06,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 5420
    },
    {
      "epoch": 1.4458666666666666,
      "grad_norm": 0.2242909073829651,
      "learning_rate": 1.3860000000000002e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 5422
    },
    {
      "epoch": 1.4464000000000001,
      "grad_norm": 0.1872403472661972,
      "learning_rate": 1.3846666666666667e-06,
      "loss": -0.0837,
      "on_policy_loss": -0.0837,
      "step": 5424
    },
    {
      "epoch": 1.4469333333333334,
      "grad_norm": 0.1890353262424469,
      "learning_rate": 1.3833333333333336e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 5426
    },
    {
      "epoch": 1.4474666666666667,
      "grad_norm": 0.19148290157318115,
      "learning_rate": 1.382e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 5428
    },
    {
      "epoch": 1.448,
      "grad_norm": 0.1763623058795929,
      "learning_rate": 1.3806666666666668e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 5430
    },
    {
      "epoch": 1.4485333333333332,
      "grad_norm": 0.1619013398885727,
      "learning_rate": 1.3793333333333333e-06,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 5432
    },
    {
      "epoch": 1.4490666666666667,
      "grad_norm": 0.19920125603675842,
      "learning_rate": 1.3780000000000002e-06,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 5434
    },
    {
      "epoch": 1.4496,
      "grad_norm": 0.20053379237651825,
      "learning_rate": 1.3766666666666667e-06,
      "loss": -0.0845,
      "on_policy_loss": -0.0845,
      "step": 5436
    },
    {
      "epoch": 1.4501333333333333,
      "grad_norm": 0.19342432916164398,
      "learning_rate": 1.3753333333333336e-06,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 5438
    },
    {
      "epoch": 1.4506666666666668,
      "grad_norm": 0.20374321937561035,
      "learning_rate": 1.374e-06,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 5440
    },
    {
      "epoch": 1.4512,
      "grad_norm": 0.1973855197429657,
      "learning_rate": 1.3726666666666668e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 5442
    },
    {
      "epoch": 1.4517333333333333,
      "grad_norm": 0.17706236243247986,
      "learning_rate": 1.3713333333333333e-06,
      "loss": -0.0843,
      "on_policy_loss": -0.0843,
      "step": 5444
    },
    {
      "epoch": 1.4522666666666666,
      "grad_norm": 0.16849595308303833,
      "learning_rate": 1.3700000000000002e-06,
      "loss": -0.0871,
      "on_policy_loss": -0.0871,
      "step": 5446
    },
    {
      "epoch": 1.4527999999999999,
      "grad_norm": 0.2039402276277542,
      "learning_rate": 1.3686666666666667e-06,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 5448
    },
    {
      "epoch": 1.4533333333333334,
      "grad_norm": 0.1851099282503128,
      "learning_rate": 1.3673333333333336e-06,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 5450
    },
    {
      "epoch": 1.4538666666666666,
      "grad_norm": 0.16518083214759827,
      "learning_rate": 1.3660000000000001e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 5452
    },
    {
      "epoch": 1.4544000000000001,
      "grad_norm": 0.18280990421772003,
      "learning_rate": 1.3646666666666666e-06,
      "loss": -0.0854,
      "on_policy_loss": -0.0854,
      "step": 5454
    },
    {
      "epoch": 1.4549333333333334,
      "grad_norm": 0.17310339212417603,
      "learning_rate": 1.3633333333333336e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 5456
    },
    {
      "epoch": 1.4554666666666667,
      "grad_norm": 0.2060898095369339,
      "learning_rate": 1.362e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 5458
    },
    {
      "epoch": 1.456,
      "grad_norm": 0.21384195983409882,
      "learning_rate": 1.3606666666666668e-06,
      "loss": -0.0781,
      "on_policy_loss": -0.0781,
      "step": 5460
    },
    {
      "epoch": 1.4565333333333332,
      "grad_norm": 0.30756938457489014,
      "learning_rate": 1.3593333333333332e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 5462
    },
    {
      "epoch": 1.4570666666666667,
      "grad_norm": 0.18229715526103973,
      "learning_rate": 1.3580000000000002e-06,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 5464
    },
    {
      "epoch": 1.4576,
      "grad_norm": 0.1904381811618805,
      "learning_rate": 1.3566666666666667e-06,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 5466
    },
    {
      "epoch": 1.4581333333333333,
      "grad_norm": 0.21478410065174103,
      "learning_rate": 1.3553333333333336e-06,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 5468
    },
    {
      "epoch": 1.4586666666666668,
      "grad_norm": 0.1786319464445114,
      "learning_rate": 1.354e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 5470
    },
    {
      "epoch": 1.4592,
      "grad_norm": 0.19982019066810608,
      "learning_rate": 1.3526666666666668e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 5472
    },
    {
      "epoch": 1.4597333333333333,
      "grad_norm": 0.21845506131649017,
      "learning_rate": 1.3513333333333333e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 5474
    },
    {
      "epoch": 1.4602666666666666,
      "grad_norm": 0.18150141835212708,
      "learning_rate": 1.3500000000000002e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 5476
    },
    {
      "epoch": 1.4607999999999999,
      "grad_norm": 0.1616392731666565,
      "learning_rate": 1.3486666666666667e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 5478
    },
    {
      "epoch": 1.4613333333333334,
      "grad_norm": 0.2072608470916748,
      "learning_rate": 1.3473333333333336e-06,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 5480
    },
    {
      "epoch": 1.4618666666666666,
      "grad_norm": 0.2155943214893341,
      "learning_rate": 1.3460000000000001e-06,
      "loss": -0.0756,
      "on_policy_loss": -0.0756,
      "step": 5482
    },
    {
      "epoch": 1.4624,
      "grad_norm": 0.2056262195110321,
      "learning_rate": 1.3446666666666668e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 5484
    },
    {
      "epoch": 1.4629333333333334,
      "grad_norm": 0.19487105309963226,
      "learning_rate": 1.3433333333333335e-06,
      "loss": -0.0781,
      "on_policy_loss": -0.0781,
      "step": 5486
    },
    {
      "epoch": 1.4634666666666667,
      "grad_norm": 0.21701635420322418,
      "learning_rate": 1.3420000000000002e-06,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 5488
    },
    {
      "epoch": 1.464,
      "grad_norm": 0.22470694780349731,
      "learning_rate": 1.3406666666666667e-06,
      "loss": -0.0885,
      "on_policy_loss": -0.0885,
      "step": 5490
    },
    {
      "epoch": 1.4645333333333332,
      "grad_norm": 0.20295046269893646,
      "learning_rate": 1.3393333333333332e-06,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 5492
    },
    {
      "epoch": 1.4650666666666667,
      "grad_norm": 0.19197723269462585,
      "learning_rate": 1.3380000000000001e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 5494
    },
    {
      "epoch": 1.4656,
      "grad_norm": 0.22627972066402435,
      "learning_rate": 1.3366666666666666e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 5496
    },
    {
      "epoch": 1.4661333333333333,
      "grad_norm": 0.2031480073928833,
      "learning_rate": 1.3353333333333336e-06,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 5498
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 0.18834222853183746,
      "learning_rate": 1.334e-06,
      "loss": -0.0752,
      "on_policy_loss": -0.0752,
      "step": 5500
    },
    {
      "epoch": 1.4672,
      "grad_norm": 0.20113450288772583,
      "learning_rate": 1.3326666666666668e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 5502
    },
    {
      "epoch": 1.4677333333333333,
      "grad_norm": 0.21229121088981628,
      "learning_rate": 1.3313333333333333e-06,
      "loss": -0.0871,
      "on_policy_loss": -0.0871,
      "step": 5504
    },
    {
      "epoch": 1.4682666666666666,
      "grad_norm": 0.17011836171150208,
      "learning_rate": 1.3300000000000002e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 5506
    },
    {
      "epoch": 1.4687999999999999,
      "grad_norm": 0.17320993542671204,
      "learning_rate": 1.3286666666666667e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 5508
    },
    {
      "epoch": 1.4693333333333334,
      "grad_norm": 0.2185092270374298,
      "learning_rate": 1.3273333333333336e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 5510
    },
    {
      "epoch": 1.4698666666666667,
      "grad_norm": 0.19080720841884613,
      "learning_rate": 1.326e-06,
      "loss": -0.0852,
      "on_policy_loss": -0.0852,
      "step": 5512
    },
    {
      "epoch": 1.4704,
      "grad_norm": 0.2195822149515152,
      "learning_rate": 1.3246666666666668e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 5514
    },
    {
      "epoch": 1.4709333333333334,
      "grad_norm": 0.1962478756904602,
      "learning_rate": 1.3233333333333335e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 5516
    },
    {
      "epoch": 1.4714666666666667,
      "grad_norm": 0.1693650186061859,
      "learning_rate": 1.3220000000000002e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 5518
    },
    {
      "epoch": 1.472,
      "grad_norm": 0.1875040978193283,
      "learning_rate": 1.3206666666666667e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 5520
    },
    {
      "epoch": 1.4725333333333332,
      "grad_norm": 0.17971915006637573,
      "learning_rate": 1.3193333333333336e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 5522
    },
    {
      "epoch": 1.4730666666666667,
      "grad_norm": 0.19865338504314423,
      "learning_rate": 1.3180000000000001e-06,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 5524
    },
    {
      "epoch": 1.4736,
      "grad_norm": 0.20703810453414917,
      "learning_rate": 1.3166666666666666e-06,
      "loss": -0.0774,
      "on_policy_loss": -0.0774,
      "step": 5526
    },
    {
      "epoch": 1.4741333333333333,
      "grad_norm": 0.18043093383312225,
      "learning_rate": 1.3153333333333335e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 5528
    },
    {
      "epoch": 1.4746666666666668,
      "grad_norm": 0.2165575623512268,
      "learning_rate": 1.314e-06,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 5530
    },
    {
      "epoch": 1.4752,
      "grad_norm": 0.16989800333976746,
      "learning_rate": 1.3126666666666667e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 5532
    },
    {
      "epoch": 1.4757333333333333,
      "grad_norm": 0.24640829861164093,
      "learning_rate": 1.3113333333333332e-06,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 5534
    },
    {
      "epoch": 1.4762666666666666,
      "grad_norm": 0.249683678150177,
      "learning_rate": 1.3100000000000002e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 5536
    },
    {
      "epoch": 1.4768,
      "grad_norm": 0.22698906064033508,
      "learning_rate": 1.3086666666666667e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 5538
    },
    {
      "epoch": 1.4773333333333334,
      "grad_norm": 0.19353140890598297,
      "learning_rate": 1.3073333333333336e-06,
      "loss": -0.0869,
      "on_policy_loss": -0.0869,
      "step": 5540
    },
    {
      "epoch": 1.4778666666666667,
      "grad_norm": 0.20219045877456665,
      "learning_rate": 1.306e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 5542
    },
    {
      "epoch": 1.4784,
      "grad_norm": 0.19007179141044617,
      "learning_rate": 1.3046666666666668e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 5544
    },
    {
      "epoch": 1.4789333333333334,
      "grad_norm": 0.18103714287281036,
      "learning_rate": 1.3033333333333335e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 5546
    },
    {
      "epoch": 1.4794666666666667,
      "grad_norm": 0.1735929697751999,
      "learning_rate": 1.3020000000000002e-06,
      "loss": -0.0846,
      "on_policy_loss": -0.0846,
      "step": 5548
    },
    {
      "epoch": 1.48,
      "grad_norm": 0.26837852597236633,
      "learning_rate": 1.3006666666666667e-06,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 5550
    },
    {
      "epoch": 1.4805333333333333,
      "grad_norm": 0.2044026106595993,
      "learning_rate": 1.2993333333333336e-06,
      "loss": -0.0854,
      "on_policy_loss": -0.0854,
      "step": 5552
    },
    {
      "epoch": 1.4810666666666665,
      "grad_norm": 0.16380922496318817,
      "learning_rate": 1.2980000000000001e-06,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 5554
    },
    {
      "epoch": 1.4816,
      "grad_norm": 0.17669543623924255,
      "learning_rate": 1.2966666666666668e-06,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 5556
    },
    {
      "epoch": 1.4821333333333333,
      "grad_norm": 0.17386673390865326,
      "learning_rate": 1.2953333333333335e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 5558
    },
    {
      "epoch": 1.4826666666666668,
      "grad_norm": 0.21026773750782013,
      "learning_rate": 1.294e-06,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 5560
    },
    {
      "epoch": 1.4832,
      "grad_norm": 0.19278307259082794,
      "learning_rate": 1.2926666666666667e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 5562
    },
    {
      "epoch": 1.4837333333333333,
      "grad_norm": 0.21012179553508759,
      "learning_rate": 1.2913333333333332e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 5564
    },
    {
      "epoch": 1.4842666666666666,
      "grad_norm": 0.19716645777225494,
      "learning_rate": 1.2900000000000001e-06,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 5566
    },
    {
      "epoch": 1.4848,
      "grad_norm": 0.1898765116930008,
      "learning_rate": 1.2886666666666666e-06,
      "loss": -0.0752,
      "on_policy_loss": -0.0752,
      "step": 5568
    },
    {
      "epoch": 1.4853333333333334,
      "grad_norm": 0.19988925755023956,
      "learning_rate": 1.2873333333333336e-06,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 5570
    },
    {
      "epoch": 1.4858666666666667,
      "grad_norm": 0.1941160410642624,
      "learning_rate": 1.286e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 5572
    },
    {
      "epoch": 1.4864,
      "grad_norm": 0.16525515913963318,
      "learning_rate": 1.2846666666666668e-06,
      "loss": -0.0869,
      "on_policy_loss": -0.0869,
      "step": 5574
    },
    {
      "epoch": 1.4869333333333334,
      "grad_norm": 0.184222012758255,
      "learning_rate": 1.2833333333333335e-06,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 5576
    },
    {
      "epoch": 1.4874666666666667,
      "grad_norm": 0.24539299309253693,
      "learning_rate": 1.2820000000000002e-06,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 5578
    },
    {
      "epoch": 1.488,
      "grad_norm": 0.17639495432376862,
      "learning_rate": 1.2806666666666667e-06,
      "loss": -0.0843,
      "on_policy_loss": -0.0843,
      "step": 5580
    },
    {
      "epoch": 1.4885333333333333,
      "grad_norm": 0.17298710346221924,
      "learning_rate": 1.2793333333333336e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 5582
    },
    {
      "epoch": 1.4890666666666665,
      "grad_norm": 0.2448745220899582,
      "learning_rate": 1.278e-06,
      "loss": -0.0707,
      "on_policy_loss": -0.0707,
      "step": 5584
    },
    {
      "epoch": 1.4896,
      "grad_norm": 0.18369272351264954,
      "learning_rate": 1.2766666666666668e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 5586
    },
    {
      "epoch": 1.4901333333333333,
      "grad_norm": 0.20005916059017181,
      "learning_rate": 1.2753333333333335e-06,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 5588
    },
    {
      "epoch": 1.4906666666666666,
      "grad_norm": 0.21382641792297363,
      "learning_rate": 1.2740000000000002e-06,
      "loss": -0.0886,
      "on_policy_loss": -0.0886,
      "step": 5590
    },
    {
      "epoch": 1.4912,
      "grad_norm": 0.18547554314136505,
      "learning_rate": 1.2726666666666667e-06,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 5592
    },
    {
      "epoch": 1.4917333333333334,
      "grad_norm": 0.1944265365600586,
      "learning_rate": 1.2713333333333332e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 5594
    },
    {
      "epoch": 1.4922666666666666,
      "grad_norm": 0.14607371389865875,
      "learning_rate": 1.2700000000000001e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 5596
    },
    {
      "epoch": 1.4928,
      "grad_norm": 0.20289826393127441,
      "learning_rate": 1.2686666666666666e-06,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 5598
    },
    {
      "epoch": 1.4933333333333334,
      "grad_norm": 0.15059632062911987,
      "learning_rate": 1.2673333333333335e-06,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 5600
    },
    {
      "epoch": 1.4938666666666667,
      "grad_norm": 0.17326684296131134,
      "learning_rate": 1.266e-06,
      "loss": -0.0769,
      "on_policy_loss": -0.0769,
      "step": 5602
    },
    {
      "epoch": 1.4944,
      "grad_norm": 0.25618767738342285,
      "learning_rate": 1.2646666666666667e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 5604
    },
    {
      "epoch": 1.4949333333333334,
      "grad_norm": 0.19869396090507507,
      "learning_rate": 1.2633333333333334e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 5606
    },
    {
      "epoch": 1.4954666666666667,
      "grad_norm": 0.17555731534957886,
      "learning_rate": 1.2620000000000002e-06,
      "loss": -0.0745,
      "on_policy_loss": -0.0745,
      "step": 5608
    },
    {
      "epoch": 1.496,
      "grad_norm": 0.24088676273822784,
      "learning_rate": 1.2606666666666667e-06,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 5610
    },
    {
      "epoch": 1.4965333333333333,
      "grad_norm": 0.19209778308868408,
      "learning_rate": 1.2593333333333336e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 5612
    },
    {
      "epoch": 1.4970666666666665,
      "grad_norm": 0.20445218682289124,
      "learning_rate": 1.258e-06,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 5614
    },
    {
      "epoch": 1.4976,
      "grad_norm": 0.2539374828338623,
      "learning_rate": 1.2566666666666668e-06,
      "loss": -0.0861,
      "on_policy_loss": -0.0861,
      "step": 5616
    },
    {
      "epoch": 1.4981333333333333,
      "grad_norm": 0.23917950689792633,
      "learning_rate": 1.2553333333333335e-06,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 5618
    },
    {
      "epoch": 1.4986666666666666,
      "grad_norm": 0.1831347495317459,
      "learning_rate": 1.2540000000000002e-06,
      "loss": -0.0734,
      "on_policy_loss": -0.0734,
      "step": 5620
    },
    {
      "epoch": 1.4992,
      "grad_norm": 0.22032992541790009,
      "learning_rate": 1.2526666666666667e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 5622
    },
    {
      "epoch": 1.4997333333333334,
      "grad_norm": 0.24288959801197052,
      "learning_rate": 1.2513333333333336e-06,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 5624
    },
    {
      "epoch": 1.5002666666666666,
      "grad_norm": 0.20516082644462585,
      "learning_rate": 1.25e-06,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 5626
    },
    {
      "epoch": 1.5008,
      "grad_norm": 0.23068122565746307,
      "learning_rate": 1.2486666666666668e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 5628
    },
    {
      "epoch": 1.5013333333333332,
      "grad_norm": 0.23856307566165924,
      "learning_rate": 1.2473333333333335e-06,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 5630
    },
    {
      "epoch": 1.5018666666666667,
      "grad_norm": 0.20116539299488068,
      "learning_rate": 1.2460000000000002e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 5632
    },
    {
      "epoch": 1.5024,
      "grad_norm": 0.20356149971485138,
      "learning_rate": 1.2446666666666667e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 5634
    },
    {
      "epoch": 1.5029333333333335,
      "grad_norm": 0.20716948807239532,
      "learning_rate": 1.2433333333333334e-06,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 5636
    },
    {
      "epoch": 1.5034666666666667,
      "grad_norm": 0.16017203032970428,
      "learning_rate": 1.2420000000000001e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 5638
    },
    {
      "epoch": 1.504,
      "grad_norm": 0.19508077204227448,
      "learning_rate": 1.2406666666666668e-06,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 5640
    },
    {
      "epoch": 1.5045333333333333,
      "grad_norm": 0.24651175737380981,
      "learning_rate": 1.2393333333333336e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 5642
    },
    {
      "epoch": 1.5050666666666666,
      "grad_norm": 0.19956955313682556,
      "learning_rate": 1.238e-06,
      "loss": -0.0855,
      "on_policy_loss": -0.0855,
      "step": 5644
    },
    {
      "epoch": 1.5056,
      "grad_norm": 0.18818269670009613,
      "learning_rate": 1.2366666666666668e-06,
      "loss": -0.0803,
      "on_policy_loss": -0.0803,
      "step": 5646
    },
    {
      "epoch": 1.5061333333333333,
      "grad_norm": 0.22059139609336853,
      "learning_rate": 1.2353333333333335e-06,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 5648
    },
    {
      "epoch": 1.5066666666666668,
      "grad_norm": 0.18092858791351318,
      "learning_rate": 1.234e-06,
      "loss": -0.0853,
      "on_policy_loss": -0.0853,
      "step": 5650
    },
    {
      "epoch": 1.5072,
      "grad_norm": 0.1871485710144043,
      "learning_rate": 1.2326666666666667e-06,
      "loss": -0.085,
      "on_policy_loss": -0.085,
      "step": 5652
    },
    {
      "epoch": 1.5077333333333334,
      "grad_norm": 0.18653589487075806,
      "learning_rate": 1.2313333333333334e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 5654
    },
    {
      "epoch": 1.5082666666666666,
      "grad_norm": 0.18312333524227142,
      "learning_rate": 1.23e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 5656
    },
    {
      "epoch": 1.5088,
      "grad_norm": 0.16760306060314178,
      "learning_rate": 1.2286666666666668e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 5658
    },
    {
      "epoch": 1.5093333333333332,
      "grad_norm": 0.20336920022964478,
      "learning_rate": 1.2273333333333335e-06,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 5660
    },
    {
      "epoch": 1.5098666666666667,
      "grad_norm": 0.23261554539203644,
      "learning_rate": 1.2260000000000002e-06,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 5662
    },
    {
      "epoch": 1.5104,
      "grad_norm": 0.21449671685695648,
      "learning_rate": 1.2246666666666667e-06,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 5664
    },
    {
      "epoch": 1.5109333333333335,
      "grad_norm": 0.2294977754354477,
      "learning_rate": 1.2233333333333334e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 5666
    },
    {
      "epoch": 1.5114666666666667,
      "grad_norm": 0.18608422577381134,
      "learning_rate": 1.2220000000000001e-06,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 5668
    },
    {
      "epoch": 1.512,
      "grad_norm": 0.17821431159973145,
      "learning_rate": 1.2206666666666668e-06,
      "loss": -0.0884,
      "on_policy_loss": -0.0884,
      "step": 5670
    },
    {
      "epoch": 1.5125333333333333,
      "grad_norm": 0.1739731878042221,
      "learning_rate": 1.2193333333333335e-06,
      "loss": -0.0856,
      "on_policy_loss": -0.0856,
      "step": 5672
    },
    {
      "epoch": 1.5130666666666666,
      "grad_norm": 0.19877034425735474,
      "learning_rate": 1.2180000000000002e-06,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 5674
    },
    {
      "epoch": 1.5135999999999998,
      "grad_norm": 0.1714268922805786,
      "learning_rate": 1.2166666666666667e-06,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 5676
    },
    {
      "epoch": 1.5141333333333333,
      "grad_norm": 0.2098560631275177,
      "learning_rate": 1.2153333333333334e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 5678
    },
    {
      "epoch": 1.5146666666666668,
      "grad_norm": 0.15522423386573792,
      "learning_rate": 1.214e-06,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 5680
    },
    {
      "epoch": 1.5152,
      "grad_norm": 0.17225585877895355,
      "learning_rate": 1.2126666666666666e-06,
      "loss": -0.0854,
      "on_policy_loss": -0.0854,
      "step": 5682
    },
    {
      "epoch": 1.5157333333333334,
      "grad_norm": 0.19449086487293243,
      "learning_rate": 1.2113333333333334e-06,
      "loss": -0.0843,
      "on_policy_loss": -0.0843,
      "step": 5684
    },
    {
      "epoch": 1.5162666666666667,
      "grad_norm": 0.23215317726135254,
      "learning_rate": 1.21e-06,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 5686
    },
    {
      "epoch": 1.5168,
      "grad_norm": 0.21093803644180298,
      "learning_rate": 1.2086666666666668e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 5688
    },
    {
      "epoch": 1.5173333333333332,
      "grad_norm": 0.21801480650901794,
      "learning_rate": 1.2073333333333335e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 5690
    },
    {
      "epoch": 1.5178666666666667,
      "grad_norm": 0.21217653155326843,
      "learning_rate": 1.2060000000000002e-06,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 5692
    },
    {
      "epoch": 1.5184,
      "grad_norm": 0.17966759204864502,
      "learning_rate": 1.2046666666666667e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 5694
    },
    {
      "epoch": 1.5189333333333335,
      "grad_norm": 0.19159995019435883,
      "learning_rate": 1.2033333333333334e-06,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 5696
    },
    {
      "epoch": 1.5194666666666667,
      "grad_norm": 0.2138514518737793,
      "learning_rate": 1.202e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 5698
    },
    {
      "epoch": 1.52,
      "grad_norm": 0.17872105538845062,
      "learning_rate": 1.2006666666666668e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 5700
    },
    {
      "epoch": 1.5205333333333333,
      "grad_norm": 0.20690256357192993,
      "learning_rate": 1.1993333333333335e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 5702
    },
    {
      "epoch": 1.5210666666666666,
      "grad_norm": 0.2511211931705475,
      "learning_rate": 1.1980000000000002e-06,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 5704
    },
    {
      "epoch": 1.5215999999999998,
      "grad_norm": 0.2231571227312088,
      "learning_rate": 1.1966666666666667e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 5706
    },
    {
      "epoch": 1.5221333333333333,
      "grad_norm": 0.18924985826015472,
      "learning_rate": 1.1953333333333334e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 5708
    },
    {
      "epoch": 1.5226666666666666,
      "grad_norm": 0.18992716073989868,
      "learning_rate": 1.1940000000000001e-06,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 5710
    },
    {
      "epoch": 1.5232,
      "grad_norm": 0.2231619954109192,
      "learning_rate": 1.1926666666666668e-06,
      "loss": -0.0754,
      "on_policy_loss": -0.0754,
      "step": 5712
    },
    {
      "epoch": 1.5237333333333334,
      "grad_norm": 0.17728392779827118,
      "learning_rate": 1.1913333333333333e-06,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 5714
    },
    {
      "epoch": 1.5242666666666667,
      "grad_norm": 0.16656534373760223,
      "learning_rate": 1.19e-06,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 5716
    },
    {
      "epoch": 1.5248,
      "grad_norm": 0.18264399468898773,
      "learning_rate": 1.1886666666666667e-06,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 5718
    },
    {
      "epoch": 1.5253333333333332,
      "grad_norm": 0.1941138356924057,
      "learning_rate": 1.1873333333333335e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 5720
    },
    {
      "epoch": 1.5258666666666667,
      "grad_norm": 0.17748840153217316,
      "learning_rate": 1.1860000000000002e-06,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 5722
    },
    {
      "epoch": 1.5264,
      "grad_norm": 0.18436475098133087,
      "learning_rate": 1.1846666666666667e-06,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 5724
    },
    {
      "epoch": 1.5269333333333335,
      "grad_norm": 0.1705792099237442,
      "learning_rate": 1.1833333333333334e-06,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 5726
    },
    {
      "epoch": 1.5274666666666668,
      "grad_norm": 0.19165076315402985,
      "learning_rate": 1.182e-06,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 5728
    },
    {
      "epoch": 1.528,
      "grad_norm": 0.23879818618297577,
      "learning_rate": 1.1806666666666668e-06,
      "loss": -0.0832,
      "on_policy_loss": -0.0832,
      "step": 5730
    },
    {
      "epoch": 1.5285333333333333,
      "grad_norm": 0.18093690276145935,
      "learning_rate": 1.1793333333333335e-06,
      "loss": -0.0864,
      "on_policy_loss": -0.0864,
      "step": 5732
    },
    {
      "epoch": 1.5290666666666666,
      "grad_norm": 0.17850090563297272,
      "learning_rate": 1.1780000000000002e-06,
      "loss": -0.0845,
      "on_policy_loss": -0.0845,
      "step": 5734
    },
    {
      "epoch": 1.5295999999999998,
      "grad_norm": 0.16781304776668549,
      "learning_rate": 1.1766666666666667e-06,
      "loss": -0.0731,
      "on_policy_loss": -0.0731,
      "step": 5736
    },
    {
      "epoch": 1.5301333333333333,
      "grad_norm": 0.19748665392398834,
      "learning_rate": 1.1753333333333334e-06,
      "loss": -0.0754,
      "on_policy_loss": -0.0754,
      "step": 5738
    },
    {
      "epoch": 1.5306666666666666,
      "grad_norm": 0.2107967883348465,
      "learning_rate": 1.1740000000000001e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 5740
    },
    {
      "epoch": 1.5312000000000001,
      "grad_norm": 0.18351972103118896,
      "learning_rate": 1.1726666666666668e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 5742
    },
    {
      "epoch": 1.5317333333333334,
      "grad_norm": 0.1681206226348877,
      "learning_rate": 1.1713333333333335e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 5744
    },
    {
      "epoch": 1.5322666666666667,
      "grad_norm": 0.15883579850196838,
      "learning_rate": 1.1700000000000002e-06,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 5746
    },
    {
      "epoch": 1.5328,
      "grad_norm": 0.22727520763874054,
      "learning_rate": 1.1686666666666667e-06,
      "loss": -0.0801,
      "on_policy_loss": -0.0801,
      "step": 5748
    },
    {
      "epoch": 1.5333333333333332,
      "grad_norm": 0.1835213005542755,
      "learning_rate": 1.1673333333333334e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 5750
    },
    {
      "epoch": 1.5338666666666667,
      "grad_norm": 0.19603879749774933,
      "learning_rate": 1.1660000000000001e-06,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 5752
    },
    {
      "epoch": 1.5344,
      "grad_norm": 0.2466781735420227,
      "learning_rate": 1.1646666666666666e-06,
      "loss": -0.0853,
      "on_policy_loss": -0.0853,
      "step": 5754
    },
    {
      "epoch": 1.5349333333333335,
      "grad_norm": 0.18355868756771088,
      "learning_rate": 1.1633333333333333e-06,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 5756
    },
    {
      "epoch": 1.5354666666666668,
      "grad_norm": 0.2846095561981201,
      "learning_rate": 1.162e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 5758
    },
    {
      "epoch": 1.536,
      "grad_norm": 0.2381332814693451,
      "learning_rate": 1.1606666666666668e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 5760
    },
    {
      "epoch": 1.5365333333333333,
      "grad_norm": 0.22464771568775177,
      "learning_rate": 1.1593333333333335e-06,
      "loss": -0.0858,
      "on_policy_loss": -0.0858,
      "step": 5762
    },
    {
      "epoch": 1.5370666666666666,
      "grad_norm": 0.20436766743659973,
      "learning_rate": 1.1580000000000002e-06,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 5764
    },
    {
      "epoch": 1.5375999999999999,
      "grad_norm": 0.18853749334812164,
      "learning_rate": 1.1566666666666667e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 5766
    },
    {
      "epoch": 1.5381333333333334,
      "grad_norm": 0.20362159609794617,
      "learning_rate": 1.1553333333333334e-06,
      "loss": -0.087,
      "on_policy_loss": -0.087,
      "step": 5768
    },
    {
      "epoch": 1.5386666666666666,
      "grad_norm": 0.20758944749832153,
      "learning_rate": 1.154e-06,
      "loss": -0.0726,
      "on_policy_loss": -0.0726,
      "step": 5770
    },
    {
      "epoch": 1.5392000000000001,
      "grad_norm": 0.1790325790643692,
      "learning_rate": 1.1526666666666668e-06,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 5772
    },
    {
      "epoch": 1.5397333333333334,
      "grad_norm": 0.1904708594083786,
      "learning_rate": 1.1513333333333335e-06,
      "loss": -0.086,
      "on_policy_loss": -0.086,
      "step": 5774
    },
    {
      "epoch": 1.5402666666666667,
      "grad_norm": 0.20021852850914001,
      "learning_rate": 1.1500000000000002e-06,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 5776
    },
    {
      "epoch": 1.5408,
      "grad_norm": 0.16297921538352966,
      "learning_rate": 1.148666666666667e-06,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 5778
    },
    {
      "epoch": 1.5413333333333332,
      "grad_norm": 0.2305578738451004,
      "learning_rate": 1.1473333333333334e-06,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 5780
    },
    {
      "epoch": 1.5418666666666667,
      "grad_norm": 0.20759178698062897,
      "learning_rate": 1.1460000000000001e-06,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 5782
    },
    {
      "epoch": 1.5424,
      "grad_norm": 0.17552928626537323,
      "learning_rate": 1.1446666666666666e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 5784
    },
    {
      "epoch": 1.5429333333333335,
      "grad_norm": 0.18387818336486816,
      "learning_rate": 1.1433333333333333e-06,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 5786
    },
    {
      "epoch": 1.5434666666666668,
      "grad_norm": 0.18128174543380737,
      "learning_rate": 1.142e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 5788
    },
    {
      "epoch": 1.544,
      "grad_norm": 0.15986216068267822,
      "learning_rate": 1.1406666666666667e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 5790
    },
    {
      "epoch": 1.5445333333333333,
      "grad_norm": 0.19263601303100586,
      "learning_rate": 1.1393333333333335e-06,
      "loss": -0.0704,
      "on_policy_loss": -0.0704,
      "step": 5792
    },
    {
      "epoch": 1.5450666666666666,
      "grad_norm": 0.17787650227546692,
      "learning_rate": 1.1380000000000002e-06,
      "loss": -0.0745,
      "on_policy_loss": -0.0745,
      "step": 5794
    },
    {
      "epoch": 1.5455999999999999,
      "grad_norm": 0.2702726125717163,
      "learning_rate": 1.1366666666666667e-06,
      "loss": -0.0744,
      "on_policy_loss": -0.0744,
      "step": 5796
    },
    {
      "epoch": 1.5461333333333334,
      "grad_norm": 0.19839289784431458,
      "learning_rate": 1.1353333333333334e-06,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 5798
    },
    {
      "epoch": 1.5466666666666666,
      "grad_norm": 0.1927945762872696,
      "learning_rate": 1.134e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 5800
    },
    {
      "epoch": 1.5472000000000001,
      "grad_norm": 0.21088892221450806,
      "learning_rate": 1.1326666666666668e-06,
      "loss": -0.0841,
      "on_policy_loss": -0.0841,
      "step": 5802
    },
    {
      "epoch": 1.5477333333333334,
      "grad_norm": 0.1945601999759674,
      "learning_rate": 1.1313333333333335e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 5804
    },
    {
      "epoch": 1.5482666666666667,
      "grad_norm": 0.18951356410980225,
      "learning_rate": 1.1300000000000002e-06,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 5806
    },
    {
      "epoch": 1.5488,
      "grad_norm": 0.16968996822834015,
      "learning_rate": 1.128666666666667e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 5808
    },
    {
      "epoch": 1.5493333333333332,
      "grad_norm": 0.1749904304742813,
      "learning_rate": 1.1273333333333334e-06,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 5810
    },
    {
      "epoch": 1.5498666666666665,
      "grad_norm": 0.36357930302619934,
      "learning_rate": 1.126e-06,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 5812
    },
    {
      "epoch": 1.5504,
      "grad_norm": 0.1917288601398468,
      "learning_rate": 1.1246666666666668e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 5814
    },
    {
      "epoch": 1.5509333333333335,
      "grad_norm": 0.1820652037858963,
      "learning_rate": 1.1233333333333333e-06,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 5816
    },
    {
      "epoch": 1.5514666666666668,
      "grad_norm": 0.1860056221485138,
      "learning_rate": 1.122e-06,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 5818
    },
    {
      "epoch": 1.552,
      "grad_norm": 0.1921873390674591,
      "learning_rate": 1.1206666666666667e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 5820
    },
    {
      "epoch": 1.5525333333333333,
      "grad_norm": 0.2566621005535126,
      "learning_rate": 1.1193333333333334e-06,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 5822
    },
    {
      "epoch": 1.5530666666666666,
      "grad_norm": 0.22629137337207794,
      "learning_rate": 1.1180000000000001e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 5824
    },
    {
      "epoch": 1.5535999999999999,
      "grad_norm": 0.1902884691953659,
      "learning_rate": 1.1166666666666666e-06,
      "loss": -0.0801,
      "on_policy_loss": -0.0801,
      "step": 5826
    },
    {
      "epoch": 1.5541333333333334,
      "grad_norm": 0.18520145118236542,
      "learning_rate": 1.1153333333333333e-06,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 5828
    },
    {
      "epoch": 1.5546666666666666,
      "grad_norm": 0.19111689925193787,
      "learning_rate": 1.114e-06,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 5830
    },
    {
      "epoch": 1.5552000000000001,
      "grad_norm": 0.20705446600914001,
      "learning_rate": 1.1126666666666668e-06,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 5832
    },
    {
      "epoch": 1.5557333333333334,
      "grad_norm": 0.2259431928396225,
      "learning_rate": 1.1113333333333335e-06,
      "loss": -0.0845,
      "on_policy_loss": -0.0845,
      "step": 5834
    },
    {
      "epoch": 1.5562666666666667,
      "grad_norm": 0.18141211569309235,
      "learning_rate": 1.1100000000000002e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 5836
    },
    {
      "epoch": 1.5568,
      "grad_norm": 0.23651567101478577,
      "learning_rate": 1.1086666666666669e-06,
      "loss": -0.0863,
      "on_policy_loss": -0.0863,
      "step": 5838
    },
    {
      "epoch": 1.5573333333333332,
      "grad_norm": 0.25665178894996643,
      "learning_rate": 1.1073333333333334e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 5840
    },
    {
      "epoch": 1.5578666666666665,
      "grad_norm": 0.20584067702293396,
      "learning_rate": 1.106e-06,
      "loss": -0.0857,
      "on_policy_loss": -0.0857,
      "step": 5842
    },
    {
      "epoch": 1.5584,
      "grad_norm": 0.19878153502941132,
      "learning_rate": 1.1046666666666668e-06,
      "loss": -0.0867,
      "on_policy_loss": -0.0867,
      "step": 5844
    },
    {
      "epoch": 1.5589333333333333,
      "grad_norm": 0.24701367318630219,
      "learning_rate": 1.1033333333333335e-06,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 5846
    },
    {
      "epoch": 1.5594666666666668,
      "grad_norm": 0.18175387382507324,
      "learning_rate": 1.1020000000000002e-06,
      "loss": -0.0754,
      "on_policy_loss": -0.0754,
      "step": 5848
    },
    {
      "epoch": 1.56,
      "grad_norm": 0.2005603164434433,
      "learning_rate": 1.1006666666666667e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 5850
    },
    {
      "epoch": 1.5605333333333333,
      "grad_norm": 0.21910099685192108,
      "learning_rate": 1.0993333333333334e-06,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 5852
    },
    {
      "epoch": 1.5610666666666666,
      "grad_norm": 0.2080032229423523,
      "learning_rate": 1.0980000000000001e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 5854
    },
    {
      "epoch": 1.5615999999999999,
      "grad_norm": 0.18306775391101837,
      "learning_rate": 1.0966666666666666e-06,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 5856
    },
    {
      "epoch": 1.5621333333333334,
      "grad_norm": 0.2185700684785843,
      "learning_rate": 1.0953333333333333e-06,
      "loss": -0.0874,
      "on_policy_loss": -0.0874,
      "step": 5858
    },
    {
      "epoch": 1.5626666666666666,
      "grad_norm": 0.23567181825637817,
      "learning_rate": 1.094e-06,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 5860
    },
    {
      "epoch": 1.5632000000000001,
      "grad_norm": 0.2010495513677597,
      "learning_rate": 1.0926666666666667e-06,
      "loss": -0.0853,
      "on_policy_loss": -0.0853,
      "step": 5862
    },
    {
      "epoch": 1.5637333333333334,
      "grad_norm": 0.19045567512512207,
      "learning_rate": 1.0913333333333334e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 5864
    },
    {
      "epoch": 1.5642666666666667,
      "grad_norm": 0.1817203313112259,
      "learning_rate": 1.0900000000000002e-06,
      "loss": -0.0861,
      "on_policy_loss": -0.0861,
      "step": 5866
    },
    {
      "epoch": 1.5648,
      "grad_norm": 0.19597262144088745,
      "learning_rate": 1.0886666666666669e-06,
      "loss": -0.0845,
      "on_policy_loss": -0.0845,
      "step": 5868
    },
    {
      "epoch": 1.5653333333333332,
      "grad_norm": 0.2003338634967804,
      "learning_rate": 1.0873333333333334e-06,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 5870
    },
    {
      "epoch": 1.5658666666666665,
      "grad_norm": 0.25990426540374756,
      "learning_rate": 1.086e-06,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 5872
    },
    {
      "epoch": 1.5664,
      "grad_norm": 0.17669172585010529,
      "learning_rate": 1.0846666666666668e-06,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 5874
    },
    {
      "epoch": 1.5669333333333333,
      "grad_norm": 0.19529739022254944,
      "learning_rate": 1.0833333333333335e-06,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 5876
    },
    {
      "epoch": 1.5674666666666668,
      "grad_norm": 0.20200006663799286,
      "learning_rate": 1.0820000000000002e-06,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 5878
    },
    {
      "epoch": 1.568,
      "grad_norm": 0.25167030096054077,
      "learning_rate": 1.0806666666666669e-06,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 5880
    },
    {
      "epoch": 1.5685333333333333,
      "grad_norm": 0.19613344967365265,
      "learning_rate": 1.0793333333333334e-06,
      "loss": -0.0843,
      "on_policy_loss": -0.0843,
      "step": 5882
    },
    {
      "epoch": 1.5690666666666666,
      "grad_norm": 0.1923191398382187,
      "learning_rate": 1.078e-06,
      "loss": -0.0874,
      "on_policy_loss": -0.0874,
      "step": 5884
    },
    {
      "epoch": 1.5695999999999999,
      "grad_norm": 0.1680183708667755,
      "learning_rate": 1.0766666666666666e-06,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 5886
    },
    {
      "epoch": 1.5701333333333334,
      "grad_norm": 0.15191173553466797,
      "learning_rate": 1.0753333333333333e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 5888
    },
    {
      "epoch": 1.5706666666666667,
      "grad_norm": 0.20796218514442444,
      "learning_rate": 1.074e-06,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 5890
    },
    {
      "epoch": 1.5712000000000002,
      "grad_norm": 0.2246684581041336,
      "learning_rate": 1.0726666666666667e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 5892
    },
    {
      "epoch": 1.5717333333333334,
      "grad_norm": 0.19972273707389832,
      "learning_rate": 1.0713333333333334e-06,
      "loss": -0.0885,
      "on_policy_loss": -0.0885,
      "step": 5894
    },
    {
      "epoch": 1.5722666666666667,
      "grad_norm": 0.18877609074115753,
      "learning_rate": 1.0700000000000001e-06,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 5896
    },
    {
      "epoch": 1.5728,
      "grad_norm": 0.21385611593723297,
      "learning_rate": 1.0686666666666668e-06,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 5898
    },
    {
      "epoch": 1.5733333333333333,
      "grad_norm": 0.27086350321769714,
      "learning_rate": 1.0673333333333333e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 5900
    },
    {
      "epoch": 1.5738666666666665,
      "grad_norm": 0.2131446748971939,
      "learning_rate": 1.066e-06,
      "loss": -0.0883,
      "on_policy_loss": -0.0883,
      "step": 5902
    },
    {
      "epoch": 1.5744,
      "grad_norm": 0.24191460013389587,
      "learning_rate": 1.0646666666666668e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 5904
    },
    {
      "epoch": 1.5749333333333333,
      "grad_norm": 0.19265498220920563,
      "learning_rate": 1.0633333333333335e-06,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 5906
    },
    {
      "epoch": 1.5754666666666668,
      "grad_norm": 0.1854173094034195,
      "learning_rate": 1.0620000000000002e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 5908
    },
    {
      "epoch": 1.576,
      "grad_norm": 0.17797322571277618,
      "learning_rate": 1.0606666666666669e-06,
      "loss": -0.0862,
      "on_policy_loss": -0.0862,
      "step": 5910
    },
    {
      "epoch": 1.5765333333333333,
      "grad_norm": 0.17267704010009766,
      "learning_rate": 1.0593333333333334e-06,
      "loss": -0.0718,
      "on_policy_loss": -0.0718,
      "step": 5912
    },
    {
      "epoch": 1.5770666666666666,
      "grad_norm": 0.26736563444137573,
      "learning_rate": 1.058e-06,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 5914
    },
    {
      "epoch": 1.5776,
      "grad_norm": 0.22722099721431732,
      "learning_rate": 1.0566666666666668e-06,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 5916
    },
    {
      "epoch": 1.5781333333333334,
      "grad_norm": 0.18621806800365448,
      "learning_rate": 1.0553333333333335e-06,
      "loss": -0.0899,
      "on_policy_loss": -0.0899,
      "step": 5918
    },
    {
      "epoch": 1.5786666666666667,
      "grad_norm": 0.2142130732536316,
      "learning_rate": 1.054e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 5920
    },
    {
      "epoch": 1.5792000000000002,
      "grad_norm": 0.2033272385597229,
      "learning_rate": 1.0526666666666667e-06,
      "loss": -0.0837,
      "on_policy_loss": -0.0837,
      "step": 5922
    },
    {
      "epoch": 1.5797333333333334,
      "grad_norm": 0.27695417404174805,
      "learning_rate": 1.0513333333333334e-06,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 5924
    },
    {
      "epoch": 1.5802666666666667,
      "grad_norm": 0.19288590550422668,
      "learning_rate": 1.0500000000000001e-06,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 5926
    },
    {
      "epoch": 1.5808,
      "grad_norm": 0.20442862808704376,
      "learning_rate": 1.0486666666666668e-06,
      "loss": -0.0862,
      "on_policy_loss": -0.0862,
      "step": 5928
    },
    {
      "epoch": 1.5813333333333333,
      "grad_norm": 0.1824503391981125,
      "learning_rate": 1.0473333333333333e-06,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 5930
    },
    {
      "epoch": 1.5818666666666665,
      "grad_norm": 0.22633680701255798,
      "learning_rate": 1.046e-06,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 5932
    },
    {
      "epoch": 1.5824,
      "grad_norm": 0.19465500116348267,
      "learning_rate": 1.0446666666666667e-06,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 5934
    },
    {
      "epoch": 1.5829333333333333,
      "grad_norm": 0.1881852000951767,
      "learning_rate": 1.0433333333333334e-06,
      "loss": -0.087,
      "on_policy_loss": -0.087,
      "step": 5936
    },
    {
      "epoch": 1.5834666666666668,
      "grad_norm": 0.19397658109664917,
      "learning_rate": 1.0420000000000001e-06,
      "loss": -0.0865,
      "on_policy_loss": -0.0865,
      "step": 5938
    },
    {
      "epoch": 1.584,
      "grad_norm": 0.24641099572181702,
      "learning_rate": 1.0406666666666669e-06,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 5940
    },
    {
      "epoch": 1.5845333333333333,
      "grad_norm": 0.1945044845342636,
      "learning_rate": 1.0393333333333333e-06,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 5942
    },
    {
      "epoch": 1.5850666666666666,
      "grad_norm": 0.20518608391284943,
      "learning_rate": 1.038e-06,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 5944
    },
    {
      "epoch": 1.5856,
      "grad_norm": 0.17278315126895905,
      "learning_rate": 1.0366666666666668e-06,
      "loss": -0.0803,
      "on_policy_loss": -0.0803,
      "step": 5946
    },
    {
      "epoch": 1.5861333333333332,
      "grad_norm": 0.20594342052936554,
      "learning_rate": 1.0353333333333335e-06,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 5948
    },
    {
      "epoch": 1.5866666666666667,
      "grad_norm": 0.196510449051857,
      "learning_rate": 1.0340000000000002e-06,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 5950
    },
    {
      "epoch": 1.5872000000000002,
      "grad_norm": 0.18980078399181366,
      "learning_rate": 1.0326666666666669e-06,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 5952
    },
    {
      "epoch": 1.5877333333333334,
      "grad_norm": 0.21510274708271027,
      "learning_rate": 1.0313333333333334e-06,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 5954
    },
    {
      "epoch": 1.5882666666666667,
      "grad_norm": 0.2052711695432663,
      "learning_rate": 1.03e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 5956
    },
    {
      "epoch": 1.5888,
      "grad_norm": 0.1668452024459839,
      "learning_rate": 1.0286666666666668e-06,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 5958
    },
    {
      "epoch": 1.5893333333333333,
      "grad_norm": 0.206036776304245,
      "learning_rate": 1.0273333333333333e-06,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 5960
    },
    {
      "epoch": 1.5898666666666665,
      "grad_norm": 0.2243611365556717,
      "learning_rate": 1.026e-06,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 5962
    },
    {
      "epoch": 1.5904,
      "grad_norm": 0.17238207161426544,
      "learning_rate": 1.0246666666666667e-06,
      "loss": -0.084,
      "on_policy_loss": -0.084,
      "step": 5964
    },
    {
      "epoch": 1.5909333333333333,
      "grad_norm": 0.19722901284694672,
      "learning_rate": 1.0233333333333334e-06,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 5966
    },
    {
      "epoch": 1.5914666666666668,
      "grad_norm": 0.18092870712280273,
      "learning_rate": 1.0220000000000001e-06,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 5968
    },
    {
      "epoch": 1.592,
      "grad_norm": 0.20649082958698273,
      "learning_rate": 1.0206666666666668e-06,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 5970
    },
    {
      "epoch": 1.5925333333333334,
      "grad_norm": 0.16914215683937073,
      "learning_rate": 1.0193333333333333e-06,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 5972
    },
    {
      "epoch": 1.5930666666666666,
      "grad_norm": 0.23274819552898407,
      "learning_rate": 1.018e-06,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 5974
    },
    {
      "epoch": 1.5936,
      "grad_norm": 0.1854955554008484,
      "learning_rate": 1.0166666666666667e-06,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 5976
    },
    {
      "epoch": 1.5941333333333332,
      "grad_norm": 0.1881554126739502,
      "learning_rate": 1.0153333333333335e-06,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 5978
    },
    {
      "epoch": 1.5946666666666667,
      "grad_norm": 0.1876513808965683,
      "learning_rate": 1.0140000000000002e-06,
      "loss": -0.0857,
      "on_policy_loss": -0.0857,
      "step": 5980
    },
    {
      "epoch": 1.5952,
      "grad_norm": 0.27252888679504395,
      "learning_rate": 1.0126666666666669e-06,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 5982
    },
    {
      "epoch": 1.5957333333333334,
      "grad_norm": 0.19398009777069092,
      "learning_rate": 1.0113333333333336e-06,
      "loss": -0.0858,
      "on_policy_loss": -0.0858,
      "step": 5984
    },
    {
      "epoch": 1.5962666666666667,
      "grad_norm": 0.16707423329353333,
      "learning_rate": 1.01e-06,
      "loss": -0.0891,
      "on_policy_loss": -0.0891,
      "step": 5986
    },
    {
      "epoch": 1.5968,
      "grad_norm": 0.2118203341960907,
      "learning_rate": 1.0086666666666668e-06,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 5988
    },
    {
      "epoch": 1.5973333333333333,
      "grad_norm": 0.2179075926542282,
      "learning_rate": 1.0073333333333333e-06,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 5990
    },
    {
      "epoch": 1.5978666666666665,
      "grad_norm": 0.1996275633573532,
      "learning_rate": 1.006e-06,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 5992
    },
    {
      "epoch": 1.5984,
      "grad_norm": 0.1952570378780365,
      "learning_rate": 1.0046666666666667e-06,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 5994
    },
    {
      "epoch": 1.5989333333333333,
      "grad_norm": 0.17573286592960358,
      "learning_rate": 1.0033333333333334e-06,
      "loss": -0.0858,
      "on_policy_loss": -0.0858,
      "step": 5996
    },
    {
      "epoch": 1.5994666666666668,
      "grad_norm": 0.19736658036708832,
      "learning_rate": 1.002e-06,
      "loss": -0.0863,
      "on_policy_loss": -0.0863,
      "step": 5998
    },
    {
      "epoch": 1.6,
      "grad_norm": 0.16739219427108765,
      "learning_rate": 1.0006666666666668e-06,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 6000
    },
    {
      "epoch": 1.6005333333333334,
      "grad_norm": 0.18272168934345245,
      "learning_rate": 9.993333333333333e-07,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 6002
    },
    {
      "epoch": 1.6010666666666666,
      "grad_norm": 0.18712270259857178,
      "learning_rate": 9.98e-07,
      "loss": -0.0857,
      "on_policy_loss": -0.0857,
      "step": 6004
    },
    {
      "epoch": 1.6016,
      "grad_norm": 0.1715545356273651,
      "learning_rate": 9.966666666666667e-07,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 6006
    },
    {
      "epoch": 1.6021333333333332,
      "grad_norm": 0.18083304166793823,
      "learning_rate": 9.953333333333334e-07,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 6008
    },
    {
      "epoch": 1.6026666666666667,
      "grad_norm": 0.1988791823387146,
      "learning_rate": 9.940000000000001e-07,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 6010
    },
    {
      "epoch": 1.6032,
      "grad_norm": 0.20973438024520874,
      "learning_rate": 9.926666666666668e-07,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 6012
    },
    {
      "epoch": 1.6037333333333335,
      "grad_norm": 0.21230249106884003,
      "learning_rate": 9.913333333333336e-07,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 6014
    },
    {
      "epoch": 1.6042666666666667,
      "grad_norm": 0.20528587698936462,
      "learning_rate": 9.9e-07,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 6016
    },
    {
      "epoch": 1.6048,
      "grad_norm": 0.18896324932575226,
      "learning_rate": 9.886666666666668e-07,
      "loss": -0.0803,
      "on_policy_loss": -0.0803,
      "step": 6018
    },
    {
      "epoch": 1.6053333333333333,
      "grad_norm": 0.14865311980247498,
      "learning_rate": 9.873333333333335e-07,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 6020
    },
    {
      "epoch": 1.6058666666666666,
      "grad_norm": 0.21637319028377533,
      "learning_rate": 9.86e-07,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 6022
    },
    {
      "epoch": 1.6064,
      "grad_norm": 0.16850639879703522,
      "learning_rate": 9.846666666666667e-07,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 6024
    },
    {
      "epoch": 1.6069333333333333,
      "grad_norm": 0.22588184475898743,
      "learning_rate": 9.833333333333334e-07,
      "loss": -0.0863,
      "on_policy_loss": -0.0863,
      "step": 6026
    },
    {
      "epoch": 1.6074666666666668,
      "grad_norm": 0.14214159548282623,
      "learning_rate": 9.82e-07,
      "loss": -0.0859,
      "on_policy_loss": -0.0859,
      "step": 6028
    },
    {
      "epoch": 1.608,
      "grad_norm": 0.27870768308639526,
      "learning_rate": 9.806666666666668e-07,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 6030
    },
    {
      "epoch": 1.6085333333333334,
      "grad_norm": 0.2440653145313263,
      "learning_rate": 9.793333333333333e-07,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 6032
    },
    {
      "epoch": 1.6090666666666666,
      "grad_norm": 0.1610085666179657,
      "learning_rate": 9.78e-07,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 6034
    },
    {
      "epoch": 1.6096,
      "grad_norm": 0.20683667063713074,
      "learning_rate": 9.766666666666667e-07,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 6036
    },
    {
      "epoch": 1.6101333333333332,
      "grad_norm": 0.19079697132110596,
      "learning_rate": 9.753333333333334e-07,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 6038
    },
    {
      "epoch": 1.6106666666666667,
      "grad_norm": 0.15007075667381287,
      "learning_rate": 9.740000000000001e-07,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 6040
    },
    {
      "epoch": 1.6112,
      "grad_norm": 0.18931642174720764,
      "learning_rate": 9.726666666666668e-07,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 6042
    },
    {
      "epoch": 1.6117333333333335,
      "grad_norm": 0.17753639817237854,
      "learning_rate": 9.713333333333335e-07,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 6044
    },
    {
      "epoch": 1.6122666666666667,
      "grad_norm": 0.16804049909114838,
      "learning_rate": 9.7e-07,
      "loss": -0.0868,
      "on_policy_loss": -0.0868,
      "step": 6046
    },
    {
      "epoch": 1.6128,
      "grad_norm": 0.1848619282245636,
      "learning_rate": 9.686666666666667e-07,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 6048
    },
    {
      "epoch": 1.6133333333333333,
      "grad_norm": 0.18026109039783478,
      "learning_rate": 9.673333333333334e-07,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 6050
    },
    {
      "epoch": 1.6138666666666666,
      "grad_norm": 0.16244898736476898,
      "learning_rate": 9.660000000000002e-07,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 6052
    },
    {
      "epoch": 1.6143999999999998,
      "grad_norm": 0.19462643563747406,
      "learning_rate": 9.646666666666669e-07,
      "loss": -0.0871,
      "on_policy_loss": -0.0871,
      "step": 6054
    },
    {
      "epoch": 1.6149333333333333,
      "grad_norm": 0.19872939586639404,
      "learning_rate": 9.633333333333336e-07,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 6056
    },
    {
      "epoch": 1.6154666666666668,
      "grad_norm": 0.21473096311092377,
      "learning_rate": 9.62e-07,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 6058
    },
    {
      "epoch": 1.616,
      "grad_norm": 0.24238499999046326,
      "learning_rate": 9.606666666666668e-07,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 6060
    },
    {
      "epoch": 1.6165333333333334,
      "grad_norm": 0.17926615476608276,
      "learning_rate": 9.593333333333333e-07,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 6062
    },
    {
      "epoch": 1.6170666666666667,
      "grad_norm": 0.17862629890441895,
      "learning_rate": 9.58e-07,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 6064
    },
    {
      "epoch": 1.6176,
      "grad_norm": 0.1864268034696579,
      "learning_rate": 9.566666666666667e-07,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 6066
    },
    {
      "epoch": 1.6181333333333332,
      "grad_norm": 0.21373115479946136,
      "learning_rate": 9.553333333333334e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 6068
    },
    {
      "epoch": 1.6186666666666667,
      "grad_norm": 0.1985868662595749,
      "learning_rate": 9.54e-07,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 6070
    },
    {
      "epoch": 1.6192,
      "grad_norm": 0.22720162570476532,
      "learning_rate": 9.526666666666667e-07,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 6072
    },
    {
      "epoch": 1.6197333333333335,
      "grad_norm": 0.17646196484565735,
      "learning_rate": 9.513333333333334e-07,
      "loss": -0.0747,
      "on_policy_loss": -0.0747,
      "step": 6074
    },
    {
      "epoch": 1.6202666666666667,
      "grad_norm": 0.17695564031600952,
      "learning_rate": 9.500000000000001e-07,
      "loss": -0.0845,
      "on_policy_loss": -0.0845,
      "step": 6076
    },
    {
      "epoch": 1.6208,
      "grad_norm": 0.1887570172548294,
      "learning_rate": 9.486666666666667e-07,
      "loss": -0.0865,
      "on_policy_loss": -0.0865,
      "step": 6078
    },
    {
      "epoch": 1.6213333333333333,
      "grad_norm": 0.16850905120372772,
      "learning_rate": 9.473333333333334e-07,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 6080
    },
    {
      "epoch": 1.6218666666666666,
      "grad_norm": 0.20754775404930115,
      "learning_rate": 9.460000000000001e-07,
      "loss": -0.0742,
      "on_policy_loss": -0.0742,
      "step": 6082
    },
    {
      "epoch": 1.6223999999999998,
      "grad_norm": 0.18890242278575897,
      "learning_rate": 9.446666666666667e-07,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 6084
    },
    {
      "epoch": 1.6229333333333333,
      "grad_norm": 0.21116171777248383,
      "learning_rate": 9.433333333333334e-07,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 6086
    },
    {
      "epoch": 1.6234666666666666,
      "grad_norm": 0.16506221890449524,
      "learning_rate": 9.420000000000002e-07,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 6088
    },
    {
      "epoch": 1.624,
      "grad_norm": 0.17965538799762726,
      "learning_rate": 9.406666666666669e-07,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 6090
    },
    {
      "epoch": 1.6245333333333334,
      "grad_norm": 0.26636314392089844,
      "learning_rate": 9.393333333333334e-07,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 6092
    },
    {
      "epoch": 1.6250666666666667,
      "grad_norm": 0.2396608591079712,
      "learning_rate": 9.380000000000001e-07,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 6094
    },
    {
      "epoch": 1.6256,
      "grad_norm": 0.19656865298748016,
      "learning_rate": 9.366666666666667e-07,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 6096
    },
    {
      "epoch": 1.6261333333333332,
      "grad_norm": 0.17282995581626892,
      "learning_rate": 9.353333333333334e-07,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 6098
    },
    {
      "epoch": 1.6266666666666667,
      "grad_norm": 0.18903550505638123,
      "learning_rate": 9.340000000000001e-07,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 6100
    },
    {
      "epoch": 1.6272,
      "grad_norm": 0.16417820751667023,
      "learning_rate": 9.326666666666667e-07,
      "loss": -0.0751,
      "on_policy_loss": -0.0751,
      "step": 6102
    },
    {
      "epoch": 1.6277333333333335,
      "grad_norm": 0.18770933151245117,
      "learning_rate": 9.313333333333334e-07,
      "loss": -0.0871,
      "on_policy_loss": -0.0871,
      "step": 6104
    },
    {
      "epoch": 1.6282666666666668,
      "grad_norm": 0.2256389558315277,
      "learning_rate": 9.300000000000001e-07,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 6106
    },
    {
      "epoch": 1.6288,
      "grad_norm": 0.16982616484165192,
      "learning_rate": 9.286666666666667e-07,
      "loss": -0.0845,
      "on_policy_loss": -0.0845,
      "step": 6108
    },
    {
      "epoch": 1.6293333333333333,
      "grad_norm": 0.18743930757045746,
      "learning_rate": 9.273333333333334e-07,
      "loss": -0.0885,
      "on_policy_loss": -0.0885,
      "step": 6110
    },
    {
      "epoch": 1.6298666666666666,
      "grad_norm": 0.19202037155628204,
      "learning_rate": 9.260000000000001e-07,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 6112
    },
    {
      "epoch": 1.6303999999999998,
      "grad_norm": 0.2132011502981186,
      "learning_rate": 9.246666666666668e-07,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 6114
    },
    {
      "epoch": 1.6309333333333333,
      "grad_norm": 0.19046248495578766,
      "learning_rate": 9.233333333333334e-07,
      "loss": -0.0883,
      "on_policy_loss": -0.0883,
      "step": 6116
    },
    {
      "epoch": 1.6314666666666666,
      "grad_norm": 0.22194018959999084,
      "learning_rate": 9.220000000000001e-07,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 6118
    },
    {
      "epoch": 1.6320000000000001,
      "grad_norm": 0.17211684584617615,
      "learning_rate": 9.206666666666668e-07,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 6120
    },
    {
      "epoch": 1.6325333333333334,
      "grad_norm": 0.20736756920814514,
      "learning_rate": 9.193333333333334e-07,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 6122
    },
    {
      "epoch": 1.6330666666666667,
      "grad_norm": 0.17305174469947815,
      "learning_rate": 9.180000000000001e-07,
      "loss": -0.0866,
      "on_policy_loss": -0.0866,
      "step": 6124
    },
    {
      "epoch": 1.6336,
      "grad_norm": 0.2349970042705536,
      "learning_rate": 9.166666666666666e-07,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 6126
    },
    {
      "epoch": 1.6341333333333332,
      "grad_norm": 0.18973734974861145,
      "learning_rate": 9.153333333333334e-07,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 6128
    },
    {
      "epoch": 1.6346666666666667,
      "grad_norm": 0.1851954460144043,
      "learning_rate": 9.140000000000001e-07,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 6130
    },
    {
      "epoch": 1.6352,
      "grad_norm": 0.17633898556232452,
      "learning_rate": 9.126666666666667e-07,
      "loss": -0.0905,
      "on_policy_loss": -0.0905,
      "step": 6132
    },
    {
      "epoch": 1.6357333333333335,
      "grad_norm": 0.17327173054218292,
      "learning_rate": 9.113333333333334e-07,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 6134
    },
    {
      "epoch": 1.6362666666666668,
      "grad_norm": 0.18812884390354156,
      "learning_rate": 9.100000000000001e-07,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 6136
    },
    {
      "epoch": 1.6368,
      "grad_norm": 0.20026472210884094,
      "learning_rate": 9.086666666666667e-07,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 6138
    },
    {
      "epoch": 1.6373333333333333,
      "grad_norm": 0.19375741481781006,
      "learning_rate": 9.073333333333334e-07,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 6140
    },
    {
      "epoch": 1.6378666666666666,
      "grad_norm": 0.18441864848136902,
      "learning_rate": 9.060000000000001e-07,
      "loss": -0.0862,
      "on_policy_loss": -0.0862,
      "step": 6142
    },
    {
      "epoch": 1.6383999999999999,
      "grad_norm": 0.21918247640132904,
      "learning_rate": 9.046666666666668e-07,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 6144
    },
    {
      "epoch": 1.6389333333333334,
      "grad_norm": 0.19552750885486603,
      "learning_rate": 9.033333333333334e-07,
      "loss": -0.0832,
      "on_policy_loss": -0.0832,
      "step": 6146
    },
    {
      "epoch": 1.6394666666666666,
      "grad_norm": 0.19703032076358795,
      "learning_rate": 9.020000000000001e-07,
      "loss": -0.0873,
      "on_policy_loss": -0.0873,
      "step": 6148
    },
    {
      "epoch": 1.6400000000000001,
      "grad_norm": 0.23217853903770447,
      "learning_rate": 9.006666666666668e-07,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 6150
    },
    {
      "epoch": 1.6405333333333334,
      "grad_norm": 0.1981101781129837,
      "learning_rate": 8.993333333333334e-07,
      "loss": -0.0858,
      "on_policy_loss": -0.0858,
      "step": 6152
    },
    {
      "epoch": 1.6410666666666667,
      "grad_norm": 0.2021692544221878,
      "learning_rate": 8.980000000000001e-07,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 6154
    },
    {
      "epoch": 1.6416,
      "grad_norm": 0.17513799667358398,
      "learning_rate": 8.966666666666668e-07,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 6156
    },
    {
      "epoch": 1.6421333333333332,
      "grad_norm": 0.1954004019498825,
      "learning_rate": 8.953333333333334e-07,
      "loss": -0.0858,
      "on_policy_loss": -0.0858,
      "step": 6158
    },
    {
      "epoch": 1.6426666666666667,
      "grad_norm": 0.19785548746585846,
      "learning_rate": 8.94e-07,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 6160
    },
    {
      "epoch": 1.6432,
      "grad_norm": 0.2041100561618805,
      "learning_rate": 8.926666666666666e-07,
      "loss": -0.084,
      "on_policy_loss": -0.084,
      "step": 6162
    },
    {
      "epoch": 1.6437333333333335,
      "grad_norm": 0.21976232528686523,
      "learning_rate": 8.913333333333333e-07,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 6164
    },
    {
      "epoch": 1.6442666666666668,
      "grad_norm": 0.16969619691371918,
      "learning_rate": 8.900000000000001e-07,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 6166
    },
    {
      "epoch": 1.6448,
      "grad_norm": 0.18082523345947266,
      "learning_rate": 8.886666666666667e-07,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 6168
    },
    {
      "epoch": 1.6453333333333333,
      "grad_norm": 0.19991296529769897,
      "learning_rate": 8.873333333333334e-07,
      "loss": -0.0737,
      "on_policy_loss": -0.0737,
      "step": 6170
    },
    {
      "epoch": 1.6458666666666666,
      "grad_norm": 0.1843947023153305,
      "learning_rate": 8.860000000000001e-07,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 6172
    },
    {
      "epoch": 1.6463999999999999,
      "grad_norm": 0.16761918365955353,
      "learning_rate": 8.846666666666668e-07,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 6174
    },
    {
      "epoch": 1.6469333333333334,
      "grad_norm": 0.2014225721359253,
      "learning_rate": 8.833333333333334e-07,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 6176
    },
    {
      "epoch": 1.6474666666666666,
      "grad_norm": 0.18082492053508759,
      "learning_rate": 8.820000000000001e-07,
      "loss": -0.0853,
      "on_policy_loss": -0.0853,
      "step": 6178
    },
    {
      "epoch": 1.6480000000000001,
      "grad_norm": 0.19367825984954834,
      "learning_rate": 8.806666666666668e-07,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 6180
    },
    {
      "epoch": 1.6485333333333334,
      "grad_norm": 0.20175358653068542,
      "learning_rate": 8.793333333333334e-07,
      "loss": -0.0867,
      "on_policy_loss": -0.0867,
      "step": 6182
    },
    {
      "epoch": 1.6490666666666667,
      "grad_norm": 0.18508107960224152,
      "learning_rate": 8.780000000000001e-07,
      "loss": -0.0882,
      "on_policy_loss": -0.0882,
      "step": 6184
    },
    {
      "epoch": 1.6496,
      "grad_norm": 0.2844233810901642,
      "learning_rate": 8.766666666666668e-07,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 6186
    },
    {
      "epoch": 1.6501333333333332,
      "grad_norm": 0.18522955477237701,
      "learning_rate": 8.753333333333334e-07,
      "loss": -0.0874,
      "on_policy_loss": -0.0874,
      "step": 6188
    },
    {
      "epoch": 1.6506666666666665,
      "grad_norm": 0.24055466055870056,
      "learning_rate": 8.740000000000001e-07,
      "loss": -0.0863,
      "on_policy_loss": -0.0863,
      "step": 6190
    },
    {
      "epoch": 1.6512,
      "grad_norm": 0.1606525480747223,
      "learning_rate": 8.726666666666668e-07,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 6192
    },
    {
      "epoch": 1.6517333333333335,
      "grad_norm": 0.1580912172794342,
      "learning_rate": 8.713333333333333e-07,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 6194
    },
    {
      "epoch": 1.6522666666666668,
      "grad_norm": 0.1820422261953354,
      "learning_rate": 8.7e-07,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 6196
    },
    {
      "epoch": 1.6528,
      "grad_norm": 0.18677009642124176,
      "learning_rate": 8.686666666666666e-07,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 6198
    },
    {
      "epoch": 1.6533333333333333,
      "grad_norm": 0.18225273489952087,
      "learning_rate": 8.673333333333333e-07,
      "loss": -0.0759,
      "on_policy_loss": -0.0759,
      "step": 6200
    },
    {
      "epoch": 1.6538666666666666,
      "grad_norm": 0.20165309309959412,
      "learning_rate": 8.66e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 6202
    },
    {
      "epoch": 1.6543999999999999,
      "grad_norm": 0.1759100705385208,
      "learning_rate": 8.646666666666668e-07,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 6204
    },
    {
      "epoch": 1.6549333333333334,
      "grad_norm": 0.17928114533424377,
      "learning_rate": 8.633333333333334e-07,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 6206
    },
    {
      "epoch": 1.6554666666666666,
      "grad_norm": 0.17854294180870056,
      "learning_rate": 8.620000000000001e-07,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 6208
    },
    {
      "epoch": 1.6560000000000001,
      "grad_norm": 0.21903680264949799,
      "learning_rate": 8.606666666666668e-07,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 6210
    },
    {
      "epoch": 1.6565333333333334,
      "grad_norm": 0.16590353846549988,
      "learning_rate": 8.593333333333334e-07,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 6212
    },
    {
      "epoch": 1.6570666666666667,
      "grad_norm": 0.22757978737354279,
      "learning_rate": 8.580000000000001e-07,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 6214
    },
    {
      "epoch": 1.6576,
      "grad_norm": 0.16047479212284088,
      "learning_rate": 8.566666666666668e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 6216
    },
    {
      "epoch": 1.6581333333333332,
      "grad_norm": 0.16325250267982483,
      "learning_rate": 8.553333333333334e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 6218
    },
    {
      "epoch": 1.6586666666666665,
      "grad_norm": 0.21392425894737244,
      "learning_rate": 8.540000000000001e-07,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 6220
    },
    {
      "epoch": 1.6592,
      "grad_norm": 0.2100515216588974,
      "learning_rate": 8.526666666666668e-07,
      "loss": -0.0837,
      "on_policy_loss": -0.0837,
      "step": 6222
    },
    {
      "epoch": 1.6597333333333333,
      "grad_norm": 0.18270455300807953,
      "learning_rate": 8.513333333333334e-07,
      "loss": -0.0862,
      "on_policy_loss": -0.0862,
      "step": 6224
    },
    {
      "epoch": 1.6602666666666668,
      "grad_norm": 0.19473391771316528,
      "learning_rate": 8.500000000000001e-07,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 6226
    },
    {
      "epoch": 1.6608,
      "grad_norm": 0.22653554379940033,
      "learning_rate": 8.486666666666668e-07,
      "loss": -0.0868,
      "on_policy_loss": -0.0868,
      "step": 6228
    },
    {
      "epoch": 1.6613333333333333,
      "grad_norm": 0.17970022559165955,
      "learning_rate": 8.473333333333333e-07,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 6230
    },
    {
      "epoch": 1.6618666666666666,
      "grad_norm": 0.18748636543750763,
      "learning_rate": 8.46e-07,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 6232
    },
    {
      "epoch": 1.6623999999999999,
      "grad_norm": 0.21327684819698334,
      "learning_rate": 8.446666666666667e-07,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 6234
    },
    {
      "epoch": 1.6629333333333334,
      "grad_norm": 0.2100376933813095,
      "learning_rate": 8.433333333333333e-07,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 6236
    },
    {
      "epoch": 1.6634666666666666,
      "grad_norm": 0.1547151654958725,
      "learning_rate": 8.42e-07,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 6238
    },
    {
      "epoch": 1.6640000000000001,
      "grad_norm": 0.20352259278297424,
      "learning_rate": 8.406666666666668e-07,
      "loss": -0.084,
      "on_policy_loss": -0.084,
      "step": 6240
    },
    {
      "epoch": 1.6645333333333334,
      "grad_norm": 0.1857885718345642,
      "learning_rate": 8.393333333333334e-07,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 6242
    },
    {
      "epoch": 1.6650666666666667,
      "grad_norm": 0.21545042097568512,
      "learning_rate": 8.380000000000001e-07,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 6244
    },
    {
      "epoch": 1.6656,
      "grad_norm": 0.17839010059833527,
      "learning_rate": 8.366666666666668e-07,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 6246
    },
    {
      "epoch": 1.6661333333333332,
      "grad_norm": 0.18176858127117157,
      "learning_rate": 8.353333333333334e-07,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 6248
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 0.19617146253585815,
      "learning_rate": 8.340000000000001e-07,
      "loss": -0.074,
      "on_policy_loss": -0.074,
      "step": 6250
    },
    {
      "epoch": 1.6672,
      "grad_norm": 0.1700514405965805,
      "learning_rate": 8.326666666666668e-07,
      "loss": -0.0864,
      "on_policy_loss": -0.0864,
      "step": 6252
    },
    {
      "epoch": 1.6677333333333333,
      "grad_norm": 0.2189960479736328,
      "learning_rate": 8.313333333333334e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 6254
    },
    {
      "epoch": 1.6682666666666668,
      "grad_norm": 0.21715927124023438,
      "learning_rate": 8.300000000000001e-07,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 6256
    },
    {
      "epoch": 1.6688,
      "grad_norm": 0.16830101609230042,
      "learning_rate": 8.286666666666668e-07,
      "loss": -0.084,
      "on_policy_loss": -0.084,
      "step": 6258
    },
    {
      "epoch": 1.6693333333333333,
      "grad_norm": 0.17649497091770172,
      "learning_rate": 8.273333333333334e-07,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 6260
    },
    {
      "epoch": 1.6698666666666666,
      "grad_norm": 0.18116095662117004,
      "learning_rate": 8.260000000000001e-07,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 6262
    },
    {
      "epoch": 1.6703999999999999,
      "grad_norm": 0.1881965547800064,
      "learning_rate": 8.246666666666667e-07,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 6264
    },
    {
      "epoch": 1.6709333333333334,
      "grad_norm": 0.19268770515918732,
      "learning_rate": 8.233333333333333e-07,
      "loss": -0.0869,
      "on_policy_loss": -0.0869,
      "step": 6266
    },
    {
      "epoch": 1.6714666666666667,
      "grad_norm": 0.17358486354351044,
      "learning_rate": 8.22e-07,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 6268
    },
    {
      "epoch": 1.6720000000000002,
      "grad_norm": 0.19411858916282654,
      "learning_rate": 8.206666666666667e-07,
      "loss": -0.0832,
      "on_policy_loss": -0.0832,
      "step": 6270
    },
    {
      "epoch": 1.6725333333333334,
      "grad_norm": 0.20185376703739166,
      "learning_rate": 8.193333333333333e-07,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 6272
    },
    {
      "epoch": 1.6730666666666667,
      "grad_norm": 0.17945438623428345,
      "learning_rate": 8.18e-07,
      "loss": -0.0861,
      "on_policy_loss": -0.0861,
      "step": 6274
    },
    {
      "epoch": 1.6736,
      "grad_norm": 0.20180103182792664,
      "learning_rate": 8.166666666666668e-07,
      "loss": -0.0769,
      "on_policy_loss": -0.0769,
      "step": 6276
    },
    {
      "epoch": 1.6741333333333333,
      "grad_norm": 0.20366539061069489,
      "learning_rate": 8.153333333333334e-07,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 6278
    },
    {
      "epoch": 1.6746666666666665,
      "grad_norm": 0.18834388256072998,
      "learning_rate": 8.140000000000001e-07,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 6280
    },
    {
      "epoch": 1.6752,
      "grad_norm": 0.17928822338581085,
      "learning_rate": 8.126666666666668e-07,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 6282
    },
    {
      "epoch": 1.6757333333333333,
      "grad_norm": 0.2669130265712738,
      "learning_rate": 8.113333333333334e-07,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 6284
    },
    {
      "epoch": 1.6762666666666668,
      "grad_norm": 0.20623572170734406,
      "learning_rate": 8.100000000000001e-07,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 6286
    },
    {
      "epoch": 1.6768,
      "grad_norm": 0.2181529551744461,
      "learning_rate": 8.086666666666668e-07,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 6288
    },
    {
      "epoch": 1.6773333333333333,
      "grad_norm": 0.2058049887418747,
      "learning_rate": 8.073333333333334e-07,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 6290
    },
    {
      "epoch": 1.6778666666666666,
      "grad_norm": 0.17535488307476044,
      "learning_rate": 8.060000000000001e-07,
      "loss": -0.0877,
      "on_policy_loss": -0.0877,
      "step": 6292
    },
    {
      "epoch": 1.6784,
      "grad_norm": 0.19847629964351654,
      "learning_rate": 8.046666666666668e-07,
      "loss": -0.0863,
      "on_policy_loss": -0.0863,
      "step": 6294
    },
    {
      "epoch": 1.6789333333333334,
      "grad_norm": 0.17902140319347382,
      "learning_rate": 8.033333333333335e-07,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 6296
    },
    {
      "epoch": 1.6794666666666667,
      "grad_norm": 0.21803542971611023,
      "learning_rate": 8.02e-07,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 6298
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 0.23487243056297302,
      "learning_rate": 8.006666666666667e-07,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 6300
    },
    {
      "epoch": 1.6805333333333334,
      "grad_norm": 0.2323112040758133,
      "learning_rate": 7.993333333333333e-07,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 6302
    },
    {
      "epoch": 1.6810666666666667,
      "grad_norm": 0.1861553192138672,
      "learning_rate": 7.98e-07,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 6304
    },
    {
      "epoch": 1.6816,
      "grad_norm": 0.22189675271511078,
      "learning_rate": 7.966666666666667e-07,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 6306
    },
    {
      "epoch": 1.6821333333333333,
      "grad_norm": 0.18734323978424072,
      "learning_rate": 7.953333333333333e-07,
      "loss": -0.0837,
      "on_policy_loss": -0.0837,
      "step": 6308
    },
    {
      "epoch": 1.6826666666666665,
      "grad_norm": 0.17647044360637665,
      "learning_rate": 7.94e-07,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 6310
    },
    {
      "epoch": 1.6832,
      "grad_norm": 0.1752767264842987,
      "learning_rate": 7.926666666666668e-07,
      "loss": -0.089,
      "on_policy_loss": -0.089,
      "step": 6312
    },
    {
      "epoch": 1.6837333333333333,
      "grad_norm": 0.18154367804527283,
      "learning_rate": 7.913333333333334e-07,
      "loss": -0.0859,
      "on_policy_loss": -0.0859,
      "step": 6314
    },
    {
      "epoch": 1.6842666666666668,
      "grad_norm": 0.19766265153884888,
      "learning_rate": 7.900000000000001e-07,
      "loss": -0.0832,
      "on_policy_loss": -0.0832,
      "step": 6316
    },
    {
      "epoch": 1.6848,
      "grad_norm": 0.18108846247196198,
      "learning_rate": 7.886666666666668e-07,
      "loss": -0.0854,
      "on_policy_loss": -0.0854,
      "step": 6318
    },
    {
      "epoch": 1.6853333333333333,
      "grad_norm": 0.1635674387216568,
      "learning_rate": 7.873333333333334e-07,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 6320
    },
    {
      "epoch": 1.6858666666666666,
      "grad_norm": 0.20577871799468994,
      "learning_rate": 7.860000000000001e-07,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 6322
    },
    {
      "epoch": 1.6864,
      "grad_norm": 0.19272096455097198,
      "learning_rate": 7.846666666666668e-07,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 6324
    },
    {
      "epoch": 1.6869333333333332,
      "grad_norm": 0.1752895563840866,
      "learning_rate": 7.833333333333335e-07,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 6326
    },
    {
      "epoch": 1.6874666666666667,
      "grad_norm": 0.1655219942331314,
      "learning_rate": 7.820000000000001e-07,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 6328
    },
    {
      "epoch": 1.688,
      "grad_norm": 0.20669177174568176,
      "learning_rate": 7.806666666666668e-07,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 6330
    },
    {
      "epoch": 1.6885333333333334,
      "grad_norm": 0.15609398484230042,
      "learning_rate": 7.793333333333333e-07,
      "loss": -0.0865,
      "on_policy_loss": -0.0865,
      "step": 6332
    },
    {
      "epoch": 1.6890666666666667,
      "grad_norm": 0.18297800421714783,
      "learning_rate": 7.78e-07,
      "loss": -0.0861,
      "on_policy_loss": -0.0861,
      "step": 6334
    },
    {
      "epoch": 1.6896,
      "grad_norm": 0.19255580008029938,
      "learning_rate": 7.766666666666667e-07,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 6336
    },
    {
      "epoch": 1.6901333333333333,
      "grad_norm": 0.209367573261261,
      "learning_rate": 7.753333333333333e-07,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 6338
    },
    {
      "epoch": 1.6906666666666665,
      "grad_norm": 0.1682070791721344,
      "learning_rate": 7.74e-07,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 6340
    },
    {
      "epoch": 1.6912,
      "grad_norm": 0.1963469237089157,
      "learning_rate": 7.726666666666667e-07,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 6342
    },
    {
      "epoch": 1.6917333333333333,
      "grad_norm": 0.2757839858531952,
      "learning_rate": 7.713333333333333e-07,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 6344
    },
    {
      "epoch": 1.6922666666666668,
      "grad_norm": 0.19827090203762054,
      "learning_rate": 7.7e-07,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 6346
    },
    {
      "epoch": 1.6928,
      "grad_norm": 0.20036166906356812,
      "learning_rate": 7.686666666666667e-07,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 6348
    },
    {
      "epoch": 1.6933333333333334,
      "grad_norm": 0.1751222461462021,
      "learning_rate": 7.673333333333335e-07,
      "loss": -0.0852,
      "on_policy_loss": -0.0852,
      "step": 6350
    },
    {
      "epoch": 1.6938666666666666,
      "grad_norm": 0.22581729292869568,
      "learning_rate": 7.660000000000001e-07,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 6352
    },
    {
      "epoch": 1.6944,
      "grad_norm": 0.19503279030323029,
      "learning_rate": 7.646666666666668e-07,
      "loss": -0.0846,
      "on_policy_loss": -0.0846,
      "step": 6354
    },
    {
      "epoch": 1.6949333333333332,
      "grad_norm": 0.2134898155927658,
      "learning_rate": 7.633333333333335e-07,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 6356
    },
    {
      "epoch": 1.6954666666666667,
      "grad_norm": 0.17293193936347961,
      "learning_rate": 7.620000000000001e-07,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 6358
    },
    {
      "epoch": 1.696,
      "grad_norm": 0.2447175681591034,
      "learning_rate": 7.606666666666668e-07,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 6360
    },
    {
      "epoch": 1.6965333333333334,
      "grad_norm": 0.20893454551696777,
      "learning_rate": 7.593333333333335e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 6362
    },
    {
      "epoch": 1.6970666666666667,
      "grad_norm": 0.18410132825374603,
      "learning_rate": 7.580000000000001e-07,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 6364
    },
    {
      "epoch": 1.6976,
      "grad_norm": 0.17098793387413025,
      "learning_rate": 7.566666666666667e-07,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 6366
    },
    {
      "epoch": 1.6981333333333333,
      "grad_norm": 0.24504049122333527,
      "learning_rate": 7.553333333333333e-07,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 6368
    },
    {
      "epoch": 1.6986666666666665,
      "grad_norm": 0.21562209725379944,
      "learning_rate": 7.54e-07,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 6370
    },
    {
      "epoch": 1.6992,
      "grad_norm": 0.18967239558696747,
      "learning_rate": 7.526666666666667e-07,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 6372
    },
    {
      "epoch": 1.6997333333333333,
      "grad_norm": 0.2011573612689972,
      "learning_rate": 7.513333333333333e-07,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 6374
    },
    {
      "epoch": 1.7002666666666668,
      "grad_norm": 0.16681647300720215,
      "learning_rate": 7.5e-07,
      "loss": -0.0883,
      "on_policy_loss": -0.0883,
      "step": 6376
    },
    {
      "epoch": 1.7008,
      "grad_norm": 0.1739012598991394,
      "learning_rate": 7.486666666666667e-07,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 6378
    },
    {
      "epoch": 1.7013333333333334,
      "grad_norm": 0.19230900704860687,
      "learning_rate": 7.473333333333334e-07,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 6380
    },
    {
      "epoch": 1.7018666666666666,
      "grad_norm": 0.18902501463890076,
      "learning_rate": 7.46e-07,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 6382
    },
    {
      "epoch": 1.7024,
      "grad_norm": 0.19551077485084534,
      "learning_rate": 7.446666666666667e-07,
      "loss": -0.0845,
      "on_policy_loss": -0.0845,
      "step": 6384
    },
    {
      "epoch": 1.7029333333333332,
      "grad_norm": 0.2176293581724167,
      "learning_rate": 7.433333333333335e-07,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 6386
    },
    {
      "epoch": 1.7034666666666667,
      "grad_norm": 0.1441722959280014,
      "learning_rate": 7.420000000000001e-07,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 6388
    },
    {
      "epoch": 1.704,
      "grad_norm": 0.20382855832576752,
      "learning_rate": 7.406666666666668e-07,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 6390
    },
    {
      "epoch": 1.7045333333333335,
      "grad_norm": 0.23572804033756256,
      "learning_rate": 7.393333333333335e-07,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 6392
    },
    {
      "epoch": 1.7050666666666667,
      "grad_norm": 0.18038009107112885,
      "learning_rate": 7.380000000000001e-07,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 6394
    },
    {
      "epoch": 1.7056,
      "grad_norm": 0.17889001965522766,
      "learning_rate": 7.366666666666668e-07,
      "loss": -0.0732,
      "on_policy_loss": -0.0732,
      "step": 6396
    },
    {
      "epoch": 1.7061333333333333,
      "grad_norm": 0.18947535753250122,
      "learning_rate": 7.353333333333335e-07,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 6398
    },
    {
      "epoch": 1.7066666666666666,
      "grad_norm": 0.1619444340467453,
      "learning_rate": 7.340000000000001e-07,
      "loss": -0.0852,
      "on_policy_loss": -0.0852,
      "step": 6400
    },
    {
      "epoch": 1.7072,
      "grad_norm": 0.1961493045091629,
      "learning_rate": 7.326666666666667e-07,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 6402
    },
    {
      "epoch": 1.7077333333333333,
      "grad_norm": 0.17376428842544556,
      "learning_rate": 7.313333333333333e-07,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 6404
    },
    {
      "epoch": 1.7082666666666668,
      "grad_norm": 0.19368895888328552,
      "learning_rate": 7.3e-07,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 6406
    },
    {
      "epoch": 1.7088,
      "grad_norm": 0.23360484838485718,
      "learning_rate": 7.286666666666667e-07,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 6408
    },
    {
      "epoch": 1.7093333333333334,
      "grad_norm": 0.199474036693573,
      "learning_rate": 7.273333333333334e-07,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 6410
    },
    {
      "epoch": 1.7098666666666666,
      "grad_norm": 0.1734507977962494,
      "learning_rate": 7.26e-07,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 6412
    },
    {
      "epoch": 1.7104,
      "grad_norm": 0.17380258440971375,
      "learning_rate": 7.246666666666667e-07,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 6414
    },
    {
      "epoch": 1.7109333333333332,
      "grad_norm": 0.17821194231510162,
      "learning_rate": 7.233333333333334e-07,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 6416
    },
    {
      "epoch": 1.7114666666666667,
      "grad_norm": 0.20188243687152863,
      "learning_rate": 7.22e-07,
      "loss": -0.0845,
      "on_policy_loss": -0.0845,
      "step": 6418
    },
    {
      "epoch": 1.712,
      "grad_norm": 0.18760114908218384,
      "learning_rate": 7.206666666666667e-07,
      "loss": -0.0853,
      "on_policy_loss": -0.0853,
      "step": 6420
    },
    {
      "epoch": 1.7125333333333335,
      "grad_norm": 0.213121697306633,
      "learning_rate": 7.193333333333334e-07,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 6422
    },
    {
      "epoch": 1.7130666666666667,
      "grad_norm": 0.19626377522945404,
      "learning_rate": 7.18e-07,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 6424
    },
    {
      "epoch": 1.7136,
      "grad_norm": 0.16529883444309235,
      "learning_rate": 7.166666666666668e-07,
      "loss": -0.0869,
      "on_policy_loss": -0.0869,
      "step": 6426
    },
    {
      "epoch": 1.7141333333333333,
      "grad_norm": 0.1993204653263092,
      "learning_rate": 7.153333333333335e-07,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 6428
    },
    {
      "epoch": 1.7146666666666666,
      "grad_norm": 0.1776283234357834,
      "learning_rate": 7.140000000000001e-07,
      "loss": -0.085,
      "on_policy_loss": -0.085,
      "step": 6430
    },
    {
      "epoch": 1.7151999999999998,
      "grad_norm": 0.19820885360240936,
      "learning_rate": 7.126666666666668e-07,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 6432
    },
    {
      "epoch": 1.7157333333333333,
      "grad_norm": 0.17015217244625092,
      "learning_rate": 7.113333333333335e-07,
      "loss": -0.085,
      "on_policy_loss": -0.085,
      "step": 6434
    },
    {
      "epoch": 1.7162666666666668,
      "grad_norm": 0.20269520580768585,
      "learning_rate": 7.1e-07,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 6436
    },
    {
      "epoch": 1.7168,
      "grad_norm": 0.20417645573616028,
      "learning_rate": 7.086666666666667e-07,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 6438
    },
    {
      "epoch": 1.7173333333333334,
      "grad_norm": 0.18159504234790802,
      "learning_rate": 7.073333333333334e-07,
      "loss": -0.0901,
      "on_policy_loss": -0.0901,
      "step": 6440
    },
    {
      "epoch": 1.7178666666666667,
      "grad_norm": 0.17601943016052246,
      "learning_rate": 7.06e-07,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 6442
    },
    {
      "epoch": 1.7184,
      "grad_norm": 0.1876111477613449,
      "learning_rate": 7.046666666666667e-07,
      "loss": -0.0801,
      "on_policy_loss": -0.0801,
      "step": 6444
    },
    {
      "epoch": 1.7189333333333332,
      "grad_norm": 0.23753175139427185,
      "learning_rate": 7.033333333333334e-07,
      "loss": -0.0717,
      "on_policy_loss": -0.0717,
      "step": 6446
    },
    {
      "epoch": 1.7194666666666667,
      "grad_norm": 0.15481036901474,
      "learning_rate": 7.02e-07,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 6448
    },
    {
      "epoch": 1.72,
      "grad_norm": 0.19467566907405853,
      "learning_rate": 7.006666666666667e-07,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 6450
    },
    {
      "epoch": 1.7205333333333335,
      "grad_norm": 0.19986793398857117,
      "learning_rate": 6.993333333333334e-07,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 6452
    },
    {
      "epoch": 1.7210666666666667,
      "grad_norm": 0.16132603585720062,
      "learning_rate": 6.98e-07,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 6454
    },
    {
      "epoch": 1.7216,
      "grad_norm": 0.20520947873592377,
      "learning_rate": 6.966666666666667e-07,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 6456
    },
    {
      "epoch": 1.7221333333333333,
      "grad_norm": 0.183790922164917,
      "learning_rate": 6.953333333333334e-07,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 6458
    },
    {
      "epoch": 1.7226666666666666,
      "grad_norm": 0.1806536316871643,
      "learning_rate": 6.94e-07,
      "loss": -0.0752,
      "on_policy_loss": -0.0752,
      "step": 6460
    },
    {
      "epoch": 1.7231999999999998,
      "grad_norm": 0.19418182969093323,
      "learning_rate": 6.926666666666668e-07,
      "loss": -0.0762,
      "on_policy_loss": -0.0762,
      "step": 6462
    },
    {
      "epoch": 1.7237333333333333,
      "grad_norm": 0.16238145530223846,
      "learning_rate": 6.913333333333335e-07,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 6464
    },
    {
      "epoch": 1.7242666666666666,
      "grad_norm": 0.18889202177524567,
      "learning_rate": 6.900000000000001e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 6466
    },
    {
      "epoch": 1.7248,
      "grad_norm": 0.19329895079135895,
      "learning_rate": 6.886666666666668e-07,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 6468
    },
    {
      "epoch": 1.7253333333333334,
      "grad_norm": 0.19793368875980377,
      "learning_rate": 6.873333333333334e-07,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 6470
    },
    {
      "epoch": 1.7258666666666667,
      "grad_norm": 0.19923986494541168,
      "learning_rate": 6.86e-07,
      "loss": -0.0857,
      "on_policy_loss": -0.0857,
      "step": 6472
    },
    {
      "epoch": 1.7264,
      "grad_norm": 0.2059929221868515,
      "learning_rate": 6.846666666666667e-07,
      "loss": -0.088,
      "on_policy_loss": -0.088,
      "step": 6474
    },
    {
      "epoch": 1.7269333333333332,
      "grad_norm": 0.20773115754127502,
      "learning_rate": 6.833333333333334e-07,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 6476
    },
    {
      "epoch": 1.7274666666666667,
      "grad_norm": 0.22315336763858795,
      "learning_rate": 6.82e-07,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 6478
    },
    {
      "epoch": 1.728,
      "grad_norm": 0.1894402801990509,
      "learning_rate": 6.806666666666667e-07,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 6480
    },
    {
      "epoch": 1.7285333333333335,
      "grad_norm": 0.21413269639015198,
      "learning_rate": 6.793333333333334e-07,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 6482
    },
    {
      "epoch": 1.7290666666666668,
      "grad_norm": 0.19172102212905884,
      "learning_rate": 6.78e-07,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 6484
    },
    {
      "epoch": 1.7296,
      "grad_norm": 0.1840915083885193,
      "learning_rate": 6.766666666666667e-07,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 6486
    },
    {
      "epoch": 1.7301333333333333,
      "grad_norm": 0.2146063894033432,
      "learning_rate": 6.753333333333334e-07,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 6488
    },
    {
      "epoch": 1.7306666666666666,
      "grad_norm": 0.19639727473258972,
      "learning_rate": 6.74e-07,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 6490
    },
    {
      "epoch": 1.7311999999999999,
      "grad_norm": 0.2016795575618744,
      "learning_rate": 6.726666666666667e-07,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 6492
    },
    {
      "epoch": 1.7317333333333333,
      "grad_norm": 0.1899625062942505,
      "learning_rate": 6.713333333333334e-07,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 6494
    },
    {
      "epoch": 1.7322666666666666,
      "grad_norm": 0.22869440913200378,
      "learning_rate": 6.7e-07,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 6496
    },
    {
      "epoch": 1.7328000000000001,
      "grad_norm": 0.2243858277797699,
      "learning_rate": 6.686666666666668e-07,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 6498
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 0.18837136030197144,
      "learning_rate": 6.673333333333335e-07,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 6500
    },
    {
      "epoch": 1.7338666666666667,
      "grad_norm": 0.21960397064685822,
      "learning_rate": 6.660000000000002e-07,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 6502
    },
    {
      "epoch": 1.7344,
      "grad_norm": 0.2018953561782837,
      "learning_rate": 6.646666666666667e-07,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 6504
    },
    {
      "epoch": 1.7349333333333332,
      "grad_norm": 0.20862098038196564,
      "learning_rate": 6.633333333333334e-07,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 6506
    },
    {
      "epoch": 1.7354666666666667,
      "grad_norm": 0.19822679460048676,
      "learning_rate": 6.62e-07,
      "loss": -0.0888,
      "on_policy_loss": -0.0888,
      "step": 6508
    },
    {
      "epoch": 1.736,
      "grad_norm": 0.2526077926158905,
      "learning_rate": 6.606666666666667e-07,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 6510
    },
    {
      "epoch": 1.7365333333333335,
      "grad_norm": 0.16772082448005676,
      "learning_rate": 6.593333333333334e-07,
      "loss": -0.0878,
      "on_policy_loss": -0.0878,
      "step": 6512
    },
    {
      "epoch": 1.7370666666666668,
      "grad_norm": 0.16206052899360657,
      "learning_rate": 6.58e-07,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 6514
    },
    {
      "epoch": 1.7376,
      "grad_norm": 0.21693147718906403,
      "learning_rate": 6.566666666666667e-07,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 6516
    },
    {
      "epoch": 1.7381333333333333,
      "grad_norm": 0.24283146858215332,
      "learning_rate": 6.553333333333334e-07,
      "loss": -0.086,
      "on_policy_loss": -0.086,
      "step": 6518
    },
    {
      "epoch": 1.7386666666666666,
      "grad_norm": 0.19476263225078583,
      "learning_rate": 6.54e-07,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 6520
    },
    {
      "epoch": 1.7391999999999999,
      "grad_norm": 0.17869767546653748,
      "learning_rate": 6.526666666666667e-07,
      "loss": -0.0887,
      "on_policy_loss": -0.0887,
      "step": 6522
    },
    {
      "epoch": 1.7397333333333334,
      "grad_norm": 0.21896786987781525,
      "learning_rate": 6.513333333333334e-07,
      "loss": -0.0754,
      "on_policy_loss": -0.0754,
      "step": 6524
    },
    {
      "epoch": 1.7402666666666666,
      "grad_norm": 0.17208009958267212,
      "learning_rate": 6.5e-07,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 6526
    },
    {
      "epoch": 1.7408000000000001,
      "grad_norm": 0.20360229909420013,
      "learning_rate": 6.486666666666667e-07,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 6528
    },
    {
      "epoch": 1.7413333333333334,
      "grad_norm": 0.19386877119541168,
      "learning_rate": 6.473333333333334e-07,
      "loss": -0.088,
      "on_policy_loss": -0.088,
      "step": 6530
    },
    {
      "epoch": 1.7418666666666667,
      "grad_norm": 0.1642281413078308,
      "learning_rate": 6.460000000000001e-07,
      "loss": -0.0746,
      "on_policy_loss": -0.0746,
      "step": 6532
    },
    {
      "epoch": 1.7424,
      "grad_norm": 0.20923683047294617,
      "learning_rate": 6.446666666666667e-07,
      "loss": -0.084,
      "on_policy_loss": -0.084,
      "step": 6534
    },
    {
      "epoch": 1.7429333333333332,
      "grad_norm": 0.20041987299919128,
      "learning_rate": 6.433333333333335e-07,
      "loss": -0.0869,
      "on_policy_loss": -0.0869,
      "step": 6536
    },
    {
      "epoch": 1.7434666666666667,
      "grad_norm": 0.18231000006198883,
      "learning_rate": 6.42e-07,
      "loss": -0.0837,
      "on_policy_loss": -0.0837,
      "step": 6538
    },
    {
      "epoch": 1.744,
      "grad_norm": 0.20664073526859283,
      "learning_rate": 6.406666666666667e-07,
      "loss": -0.0854,
      "on_policy_loss": -0.0854,
      "step": 6540
    },
    {
      "epoch": 1.7445333333333335,
      "grad_norm": 0.20713473856449127,
      "learning_rate": 6.393333333333334e-07,
      "loss": -0.0865,
      "on_policy_loss": -0.0865,
      "step": 6542
    },
    {
      "epoch": 1.7450666666666668,
      "grad_norm": 0.18676063418388367,
      "learning_rate": 6.38e-07,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 6544
    },
    {
      "epoch": 1.7456,
      "grad_norm": 0.19719113409519196,
      "learning_rate": 6.366666666666667e-07,
      "loss": -0.0862,
      "on_policy_loss": -0.0862,
      "step": 6546
    },
    {
      "epoch": 1.7461333333333333,
      "grad_norm": 0.1963721215724945,
      "learning_rate": 6.353333333333334e-07,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 6548
    },
    {
      "epoch": 1.7466666666666666,
      "grad_norm": 0.161228209733963,
      "learning_rate": 6.34e-07,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 6550
    },
    {
      "epoch": 1.7471999999999999,
      "grad_norm": 0.16750100255012512,
      "learning_rate": 6.326666666666667e-07,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 6552
    },
    {
      "epoch": 1.7477333333333334,
      "grad_norm": 0.17996777594089508,
      "learning_rate": 6.313333333333334e-07,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 6554
    },
    {
      "epoch": 1.7482666666666666,
      "grad_norm": 0.1983490139245987,
      "learning_rate": 6.3e-07,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 6556
    },
    {
      "epoch": 1.7488000000000001,
      "grad_norm": 0.17397794127464294,
      "learning_rate": 6.286666666666667e-07,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 6558
    },
    {
      "epoch": 1.7493333333333334,
      "grad_norm": 0.2393045723438263,
      "learning_rate": 6.273333333333334e-07,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 6560
    },
    {
      "epoch": 1.7498666666666667,
      "grad_norm": 0.21527604758739471,
      "learning_rate": 6.260000000000001e-07,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 6562
    },
    {
      "epoch": 1.7504,
      "grad_norm": 0.1797526478767395,
      "learning_rate": 6.246666666666667e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 6564
    },
    {
      "epoch": 1.7509333333333332,
      "grad_norm": 0.20563413202762604,
      "learning_rate": 6.233333333333333e-07,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 6566
    },
    {
      "epoch": 1.7514666666666665,
      "grad_norm": 0.22290103137493134,
      "learning_rate": 6.22e-07,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 6568
    },
    {
      "epoch": 1.752,
      "grad_norm": 0.21941372752189636,
      "learning_rate": 6.206666666666667e-07,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 6570
    },
    {
      "epoch": 1.7525333333333335,
      "grad_norm": 0.20842024683952332,
      "learning_rate": 6.193333333333333e-07,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 6572
    },
    {
      "epoch": 1.7530666666666668,
      "grad_norm": 0.1468854695558548,
      "learning_rate": 6.180000000000001e-07,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 6574
    },
    {
      "epoch": 1.7536,
      "grad_norm": 0.16354180872440338,
      "learning_rate": 6.166666666666668e-07,
      "loss": -0.085,
      "on_policy_loss": -0.085,
      "step": 6576
    },
    {
      "epoch": 1.7541333333333333,
      "grad_norm": 0.16582947969436646,
      "learning_rate": 6.153333333333334e-07,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 6578
    },
    {
      "epoch": 1.7546666666666666,
      "grad_norm": 0.15631239116191864,
      "learning_rate": 6.140000000000001e-07,
      "loss": -0.086,
      "on_policy_loss": -0.086,
      "step": 6580
    },
    {
      "epoch": 1.7551999999999999,
      "grad_norm": 0.1835085153579712,
      "learning_rate": 6.126666666666667e-07,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 6582
    },
    {
      "epoch": 1.7557333333333334,
      "grad_norm": 0.15603284537792206,
      "learning_rate": 6.113333333333334e-07,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 6584
    },
    {
      "epoch": 1.7562666666666666,
      "grad_norm": 0.16410987079143524,
      "learning_rate": 6.100000000000001e-07,
      "loss": -0.0875,
      "on_policy_loss": -0.0875,
      "step": 6586
    },
    {
      "epoch": 1.7568000000000001,
      "grad_norm": 0.1661430299282074,
      "learning_rate": 6.086666666666667e-07,
      "loss": -0.0843,
      "on_policy_loss": -0.0843,
      "step": 6588
    },
    {
      "epoch": 1.7573333333333334,
      "grad_norm": 0.1899176985025406,
      "learning_rate": 6.073333333333334e-07,
      "loss": -0.086,
      "on_policy_loss": -0.086,
      "step": 6590
    },
    {
      "epoch": 1.7578666666666667,
      "grad_norm": 0.161095529794693,
      "learning_rate": 6.060000000000001e-07,
      "loss": -0.0769,
      "on_policy_loss": -0.0769,
      "step": 6592
    },
    {
      "epoch": 1.7584,
      "grad_norm": 0.1846141815185547,
      "learning_rate": 6.046666666666667e-07,
      "loss": -0.0856,
      "on_policy_loss": -0.0856,
      "step": 6594
    },
    {
      "epoch": 1.7589333333333332,
      "grad_norm": 0.16776390373706818,
      "learning_rate": 6.033333333333334e-07,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 6596
    },
    {
      "epoch": 1.7594666666666665,
      "grad_norm": 0.1856699436903,
      "learning_rate": 6.02e-07,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 6598
    },
    {
      "epoch": 1.76,
      "grad_norm": 0.17527936398983002,
      "learning_rate": 6.006666666666667e-07,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 6600
    },
    {
      "epoch": 1.7605333333333333,
      "grad_norm": 0.15453316271305084,
      "learning_rate": 5.993333333333333e-07,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 6602
    },
    {
      "epoch": 1.7610666666666668,
      "grad_norm": 0.20125791430473328,
      "learning_rate": 5.98e-07,
      "loss": -0.088,
      "on_policy_loss": -0.088,
      "step": 6604
    },
    {
      "epoch": 1.7616,
      "grad_norm": 0.1710951179265976,
      "learning_rate": 5.966666666666667e-07,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 6606
    },
    {
      "epoch": 1.7621333333333333,
      "grad_norm": 0.22104701399803162,
      "learning_rate": 5.953333333333333e-07,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 6608
    },
    {
      "epoch": 1.7626666666666666,
      "grad_norm": 0.3178379535675049,
      "learning_rate": 5.94e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 6610
    },
    {
      "epoch": 1.7631999999999999,
      "grad_norm": 0.17652641236782074,
      "learning_rate": 5.926666666666668e-07,
      "loss": -0.0865,
      "on_policy_loss": -0.0865,
      "step": 6612
    },
    {
      "epoch": 1.7637333333333334,
      "grad_norm": 0.19277945160865784,
      "learning_rate": 5.913333333333334e-07,
      "loss": -0.0781,
      "on_policy_loss": -0.0781,
      "step": 6614
    },
    {
      "epoch": 1.7642666666666666,
      "grad_norm": 0.1626054048538208,
      "learning_rate": 5.900000000000001e-07,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 6616
    },
    {
      "epoch": 1.7648000000000001,
      "grad_norm": 0.17229992151260376,
      "learning_rate": 5.886666666666667e-07,
      "loss": -0.0841,
      "on_policy_loss": -0.0841,
      "step": 6618
    },
    {
      "epoch": 1.7653333333333334,
      "grad_norm": 0.20232327282428741,
      "learning_rate": 5.873333333333334e-07,
      "loss": -0.0858,
      "on_policy_loss": -0.0858,
      "step": 6620
    },
    {
      "epoch": 1.7658666666666667,
      "grad_norm": 0.1928822249174118,
      "learning_rate": 5.860000000000001e-07,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 6622
    },
    {
      "epoch": 1.7664,
      "grad_norm": 0.1843995749950409,
      "learning_rate": 5.846666666666667e-07,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 6624
    },
    {
      "epoch": 1.7669333333333332,
      "grad_norm": 0.18536023795604706,
      "learning_rate": 5.833333333333334e-07,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 6626
    },
    {
      "epoch": 1.7674666666666665,
      "grad_norm": 0.1632140576839447,
      "learning_rate": 5.820000000000001e-07,
      "loss": -0.0849,
      "on_policy_loss": -0.0849,
      "step": 6628
    },
    {
      "epoch": 1.768,
      "grad_norm": 0.17635661363601685,
      "learning_rate": 5.806666666666667e-07,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 6630
    },
    {
      "epoch": 1.7685333333333333,
      "grad_norm": 0.1785130351781845,
      "learning_rate": 5.793333333333334e-07,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 6632
    },
    {
      "epoch": 1.7690666666666668,
      "grad_norm": 0.24314673244953156,
      "learning_rate": 5.78e-07,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 6634
    },
    {
      "epoch": 1.7696,
      "grad_norm": 0.18219728767871857,
      "learning_rate": 5.766666666666667e-07,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 6636
    },
    {
      "epoch": 1.7701333333333333,
      "grad_norm": 0.1818845123052597,
      "learning_rate": 5.753333333333333e-07,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 6638
    },
    {
      "epoch": 1.7706666666666666,
      "grad_norm": 0.2026820182800293,
      "learning_rate": 5.74e-07,
      "loss": -0.0848,
      "on_policy_loss": -0.0848,
      "step": 6640
    },
    {
      "epoch": 1.7711999999999999,
      "grad_norm": 0.2176850140094757,
      "learning_rate": 5.726666666666667e-07,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 6642
    },
    {
      "epoch": 1.7717333333333334,
      "grad_norm": 0.2750056982040405,
      "learning_rate": 5.713333333333333e-07,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 6644
    },
    {
      "epoch": 1.7722666666666667,
      "grad_norm": 0.18406246602535248,
      "learning_rate": 5.7e-07,
      "loss": -0.0787,
      "on_policy_loss": -0.0787,
      "step": 6646
    },
    {
      "epoch": 1.7728000000000002,
      "grad_norm": 0.15787465870380402,
      "learning_rate": 5.686666666666668e-07,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 6648
    },
    {
      "epoch": 1.7733333333333334,
      "grad_norm": 0.19922325015068054,
      "learning_rate": 5.673333333333334e-07,
      "loss": -0.0891,
      "on_policy_loss": -0.0891,
      "step": 6650
    },
    {
      "epoch": 1.7738666666666667,
      "grad_norm": 0.23563767969608307,
      "learning_rate": 5.660000000000001e-07,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 6652
    },
    {
      "epoch": 1.7744,
      "grad_norm": 0.16427886486053467,
      "learning_rate": 5.646666666666667e-07,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 6654
    },
    {
      "epoch": 1.7749333333333333,
      "grad_norm": 0.22284305095672607,
      "learning_rate": 5.633333333333334e-07,
      "loss": -0.0837,
      "on_policy_loss": -0.0837,
      "step": 6656
    },
    {
      "epoch": 1.7754666666666665,
      "grad_norm": 0.17206116020679474,
      "learning_rate": 5.620000000000001e-07,
      "loss": -0.0767,
      "on_policy_loss": -0.0767,
      "step": 6658
    },
    {
      "epoch": 1.776,
      "grad_norm": 0.18401847779750824,
      "learning_rate": 5.606666666666667e-07,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 6660
    },
    {
      "epoch": 1.7765333333333333,
      "grad_norm": 0.22337862849235535,
      "learning_rate": 5.593333333333334e-07,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 6662
    },
    {
      "epoch": 1.7770666666666668,
      "grad_norm": 0.2258262038230896,
      "learning_rate": 5.580000000000001e-07,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 6664
    },
    {
      "epoch": 1.7776,
      "grad_norm": 0.19710510969161987,
      "learning_rate": 5.566666666666667e-07,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 6666
    },
    {
      "epoch": 1.7781333333333333,
      "grad_norm": 0.18451420962810516,
      "learning_rate": 5.553333333333333e-07,
      "loss": -0.0876,
      "on_policy_loss": -0.0876,
      "step": 6668
    },
    {
      "epoch": 1.7786666666666666,
      "grad_norm": 0.1965906322002411,
      "learning_rate": 5.54e-07,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 6670
    },
    {
      "epoch": 1.7792,
      "grad_norm": 0.1897425502538681,
      "learning_rate": 5.526666666666667e-07,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 6672
    },
    {
      "epoch": 1.7797333333333332,
      "grad_norm": 0.15300866961479187,
      "learning_rate": 5.513333333333333e-07,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 6674
    },
    {
      "epoch": 1.7802666666666667,
      "grad_norm": 0.19789189100265503,
      "learning_rate": 5.5e-07,
      "loss": -0.0803,
      "on_policy_loss": -0.0803,
      "step": 6676
    },
    {
      "epoch": 1.7808000000000002,
      "grad_norm": 0.19406506419181824,
      "learning_rate": 5.486666666666667e-07,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 6678
    },
    {
      "epoch": 1.7813333333333334,
      "grad_norm": 0.16965517401695251,
      "learning_rate": 5.473333333333334e-07,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 6680
    },
    {
      "epoch": 1.7818666666666667,
      "grad_norm": 0.19144299626350403,
      "learning_rate": 5.46e-07,
      "loss": -0.0869,
      "on_policy_loss": -0.0869,
      "step": 6682
    },
    {
      "epoch": 1.7824,
      "grad_norm": 0.16140532493591309,
      "learning_rate": 5.446666666666666e-07,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 6684
    },
    {
      "epoch": 1.7829333333333333,
      "grad_norm": 0.21272648870944977,
      "learning_rate": 5.433333333333334e-07,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 6686
    },
    {
      "epoch": 1.7834666666666665,
      "grad_norm": 0.18951207399368286,
      "learning_rate": 5.420000000000001e-07,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 6688
    },
    {
      "epoch": 1.784,
      "grad_norm": 0.2151283472776413,
      "learning_rate": 5.406666666666667e-07,
      "loss": -0.0852,
      "on_policy_loss": -0.0852,
      "step": 6690
    },
    {
      "epoch": 1.7845333333333333,
      "grad_norm": 0.1864856481552124,
      "learning_rate": 5.393333333333334e-07,
      "loss": -0.0789,
      "on_policy_loss": -0.0789,
      "step": 6692
    },
    {
      "epoch": 1.7850666666666668,
      "grad_norm": 0.2039107233285904,
      "learning_rate": 5.380000000000001e-07,
      "loss": -0.0859,
      "on_policy_loss": -0.0859,
      "step": 6694
    },
    {
      "epoch": 1.7856,
      "grad_norm": 0.1878734827041626,
      "learning_rate": 5.366666666666667e-07,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 6696
    },
    {
      "epoch": 1.7861333333333334,
      "grad_norm": 0.22176998853683472,
      "learning_rate": 5.353333333333334e-07,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 6698
    },
    {
      "epoch": 1.7866666666666666,
      "grad_norm": 0.18840184807777405,
      "learning_rate": 5.340000000000001e-07,
      "loss": -0.0867,
      "on_policy_loss": -0.0867,
      "step": 6700
    },
    {
      "epoch": 1.7872,
      "grad_norm": 0.22611290216445923,
      "learning_rate": 5.326666666666667e-07,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 6702
    },
    {
      "epoch": 1.7877333333333332,
      "grad_norm": 0.1900206357240677,
      "learning_rate": 5.313333333333334e-07,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 6704
    },
    {
      "epoch": 1.7882666666666667,
      "grad_norm": 0.2005590796470642,
      "learning_rate": 5.3e-07,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 6706
    },
    {
      "epoch": 1.7888,
      "grad_norm": 0.17327085137367249,
      "learning_rate": 5.286666666666667e-07,
      "loss": -0.0803,
      "on_policy_loss": -0.0803,
      "step": 6708
    },
    {
      "epoch": 1.7893333333333334,
      "grad_norm": 0.17724904417991638,
      "learning_rate": 5.273333333333334e-07,
      "loss": -0.0859,
      "on_policy_loss": -0.0859,
      "step": 6710
    },
    {
      "epoch": 1.7898666666666667,
      "grad_norm": 0.15895670652389526,
      "learning_rate": 5.26e-07,
      "loss": -0.086,
      "on_policy_loss": -0.086,
      "step": 6712
    },
    {
      "epoch": 1.7904,
      "grad_norm": 0.23392502963542938,
      "learning_rate": 5.246666666666667e-07,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 6714
    },
    {
      "epoch": 1.7909333333333333,
      "grad_norm": 0.20236913859844208,
      "learning_rate": 5.233333333333334e-07,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 6716
    },
    {
      "epoch": 1.7914666666666665,
      "grad_norm": 0.17211294174194336,
      "learning_rate": 5.22e-07,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 6718
    },
    {
      "epoch": 1.792,
      "grad_norm": 0.19679997861385345,
      "learning_rate": 5.206666666666666e-07,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 6720
    },
    {
      "epoch": 1.7925333333333333,
      "grad_norm": 0.19942593574523926,
      "learning_rate": 5.193333333333334e-07,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 6722
    },
    {
      "epoch": 1.7930666666666668,
      "grad_norm": 0.19340386986732483,
      "learning_rate": 5.180000000000001e-07,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 6724
    },
    {
      "epoch": 1.7936,
      "grad_norm": 0.1790929138660431,
      "learning_rate": 5.166666666666667e-07,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 6726
    },
    {
      "epoch": 1.7941333333333334,
      "grad_norm": 0.17847226560115814,
      "learning_rate": 5.153333333333334e-07,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 6728
    },
    {
      "epoch": 1.7946666666666666,
      "grad_norm": 0.20629173517227173,
      "learning_rate": 5.140000000000001e-07,
      "loss": -0.0845,
      "on_policy_loss": -0.0845,
      "step": 6730
    },
    {
      "epoch": 1.7952,
      "grad_norm": 0.1926950216293335,
      "learning_rate": 5.126666666666667e-07,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 6732
    },
    {
      "epoch": 1.7957333333333332,
      "grad_norm": 0.18224933743476868,
      "learning_rate": 5.113333333333334e-07,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 6734
    },
    {
      "epoch": 1.7962666666666667,
      "grad_norm": 0.22218258678913116,
      "learning_rate": 5.1e-07,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 6736
    },
    {
      "epoch": 1.7968,
      "grad_norm": 0.18905958533287048,
      "learning_rate": 5.086666666666667e-07,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 6738
    },
    {
      "epoch": 1.7973333333333334,
      "grad_norm": 0.18690276145935059,
      "learning_rate": 5.073333333333334e-07,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 6740
    },
    {
      "epoch": 1.7978666666666667,
      "grad_norm": 0.22497999668121338,
      "learning_rate": 5.06e-07,
      "loss": -0.0897,
      "on_policy_loss": -0.0897,
      "step": 6742
    },
    {
      "epoch": 1.7984,
      "grad_norm": 0.19944243133068085,
      "learning_rate": 5.046666666666667e-07,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 6744
    },
    {
      "epoch": 1.7989333333333333,
      "grad_norm": 0.18271169066429138,
      "learning_rate": 5.033333333333334e-07,
      "loss": -0.0871,
      "on_policy_loss": -0.0871,
      "step": 6746
    },
    {
      "epoch": 1.7994666666666665,
      "grad_norm": 0.18572640419006348,
      "learning_rate": 5.02e-07,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 6748
    },
    {
      "epoch": 1.8,
      "grad_norm": 0.2349206954240799,
      "learning_rate": 5.006666666666667e-07,
      "loss": -0.078,
      "on_policy_loss": -0.078,
      "step": 6750
    },
    {
      "epoch": 1.8005333333333333,
      "grad_norm": 0.18932242691516876,
      "learning_rate": 4.993333333333334e-07,
      "loss": -0.0852,
      "on_policy_loss": -0.0852,
      "step": 6752
    },
    {
      "epoch": 1.8010666666666668,
      "grad_norm": 0.18968816101551056,
      "learning_rate": 4.98e-07,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 6754
    },
    {
      "epoch": 1.8016,
      "grad_norm": 0.17587719857692719,
      "learning_rate": 4.966666666666666e-07,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 6756
    },
    {
      "epoch": 1.8021333333333334,
      "grad_norm": 0.19293375313282013,
      "learning_rate": 4.953333333333333e-07,
      "loss": -0.0758,
      "on_policy_loss": -0.0758,
      "step": 6758
    },
    {
      "epoch": 1.8026666666666666,
      "grad_norm": 0.19845420122146606,
      "learning_rate": 4.940000000000001e-07,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 6760
    },
    {
      "epoch": 1.8032,
      "grad_norm": 0.20948736369609833,
      "learning_rate": 4.926666666666667e-07,
      "loss": -0.0778,
      "on_policy_loss": -0.0778,
      "step": 6762
    },
    {
      "epoch": 1.8037333333333332,
      "grad_norm": 0.1845293939113617,
      "learning_rate": 4.913333333333334e-07,
      "loss": -0.0861,
      "on_policy_loss": -0.0861,
      "step": 6764
    },
    {
      "epoch": 1.8042666666666667,
      "grad_norm": 0.20588408410549164,
      "learning_rate": 4.900000000000001e-07,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 6766
    },
    {
      "epoch": 1.8048,
      "grad_norm": 0.17061367630958557,
      "learning_rate": 4.886666666666668e-07,
      "loss": -0.0849,
      "on_policy_loss": -0.0849,
      "step": 6768
    },
    {
      "epoch": 1.8053333333333335,
      "grad_norm": 0.20094627141952515,
      "learning_rate": 4.873333333333334e-07,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 6770
    },
    {
      "epoch": 1.8058666666666667,
      "grad_norm": 0.2343629151582718,
      "learning_rate": 4.86e-07,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 6772
    },
    {
      "epoch": 1.8064,
      "grad_norm": 0.18485625088214874,
      "learning_rate": 4.846666666666667e-07,
      "loss": -0.087,
      "on_policy_loss": -0.087,
      "step": 6774
    },
    {
      "epoch": 1.8069333333333333,
      "grad_norm": 0.18201595544815063,
      "learning_rate": 4.833333333333334e-07,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 6776
    },
    {
      "epoch": 1.8074666666666666,
      "grad_norm": 0.2027784138917923,
      "learning_rate": 4.82e-07,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 6778
    },
    {
      "epoch": 1.808,
      "grad_norm": 0.18535245954990387,
      "learning_rate": 4.806666666666667e-07,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 6780
    },
    {
      "epoch": 1.8085333333333333,
      "grad_norm": 0.1972784698009491,
      "learning_rate": 4.793333333333334e-07,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 6782
    },
    {
      "epoch": 1.8090666666666668,
      "grad_norm": 0.1963161677122116,
      "learning_rate": 4.78e-07,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 6784
    },
    {
      "epoch": 1.8096,
      "grad_norm": 0.20942996442317963,
      "learning_rate": 4.766666666666667e-07,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 6786
    },
    {
      "epoch": 1.8101333333333334,
      "grad_norm": 0.19413885474205017,
      "learning_rate": 4.7533333333333333e-07,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 6788
    },
    {
      "epoch": 1.8106666666666666,
      "grad_norm": 0.1987275332212448,
      "learning_rate": 4.7400000000000004e-07,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 6790
    },
    {
      "epoch": 1.8112,
      "grad_norm": 0.1929333359003067,
      "learning_rate": 4.726666666666667e-07,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 6792
    },
    {
      "epoch": 1.8117333333333332,
      "grad_norm": 0.17735964059829712,
      "learning_rate": 4.7133333333333335e-07,
      "loss": -0.0846,
      "on_policy_loss": -0.0846,
      "step": 6794
    },
    {
      "epoch": 1.8122666666666667,
      "grad_norm": 0.1923547089099884,
      "learning_rate": 4.7000000000000005e-07,
      "loss": -0.0854,
      "on_policy_loss": -0.0854,
      "step": 6796
    },
    {
      "epoch": 1.8128,
      "grad_norm": 0.166251540184021,
      "learning_rate": 4.686666666666667e-07,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 6798
    },
    {
      "epoch": 1.8133333333333335,
      "grad_norm": 0.1957203894853592,
      "learning_rate": 4.673333333333334e-07,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 6800
    },
    {
      "epoch": 1.8138666666666667,
      "grad_norm": 0.18898411095142365,
      "learning_rate": 4.6600000000000007e-07,
      "loss": -0.0853,
      "on_policy_loss": -0.0853,
      "step": 6802
    },
    {
      "epoch": 1.8144,
      "grad_norm": 0.21242760121822357,
      "learning_rate": 4.646666666666667e-07,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 6804
    },
    {
      "epoch": 1.8149333333333333,
      "grad_norm": 0.18352417647838593,
      "learning_rate": 4.6333333333333333e-07,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 6806
    },
    {
      "epoch": 1.8154666666666666,
      "grad_norm": 0.16413120925426483,
      "learning_rate": 4.6200000000000003e-07,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 6808
    },
    {
      "epoch": 1.8159999999999998,
      "grad_norm": 0.20049415528774261,
      "learning_rate": 4.606666666666667e-07,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 6810
    },
    {
      "epoch": 1.8165333333333333,
      "grad_norm": 0.1785481572151184,
      "learning_rate": 4.5933333333333334e-07,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 6812
    },
    {
      "epoch": 1.8170666666666668,
      "grad_norm": 0.17312929034233093,
      "learning_rate": 4.5800000000000005e-07,
      "loss": -0.0773,
      "on_policy_loss": -0.0773,
      "step": 6814
    },
    {
      "epoch": 1.8176,
      "grad_norm": 0.18717333674430847,
      "learning_rate": 4.566666666666667e-07,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 6816
    },
    {
      "epoch": 1.8181333333333334,
      "grad_norm": 0.18464133143424988,
      "learning_rate": 4.553333333333334e-07,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 6818
    },
    {
      "epoch": 1.8186666666666667,
      "grad_norm": 0.182254821062088,
      "learning_rate": 4.5400000000000007e-07,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 6820
    },
    {
      "epoch": 1.8192,
      "grad_norm": 0.17567035555839539,
      "learning_rate": 4.5266666666666667e-07,
      "loss": -0.0869,
      "on_policy_loss": -0.0869,
      "step": 6822
    },
    {
      "epoch": 1.8197333333333332,
      "grad_norm": 0.2340421825647354,
      "learning_rate": 4.513333333333333e-07,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 6824
    },
    {
      "epoch": 1.8202666666666667,
      "grad_norm": 0.18811453878879547,
      "learning_rate": 4.5000000000000003e-07,
      "loss": -0.0846,
      "on_policy_loss": -0.0846,
      "step": 6826
    },
    {
      "epoch": 1.8208,
      "grad_norm": 0.1727691888809204,
      "learning_rate": 4.486666666666667e-07,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 6828
    },
    {
      "epoch": 1.8213333333333335,
      "grad_norm": 0.22085081040859222,
      "learning_rate": 4.473333333333334e-07,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 6830
    },
    {
      "epoch": 1.8218666666666667,
      "grad_norm": 0.1793530434370041,
      "learning_rate": 4.4600000000000005e-07,
      "loss": -0.0768,
      "on_policy_loss": -0.0768,
      "step": 6832
    },
    {
      "epoch": 1.8224,
      "grad_norm": 0.19770559668540955,
      "learning_rate": 4.446666666666667e-07,
      "loss": -0.0858,
      "on_policy_loss": -0.0858,
      "step": 6834
    },
    {
      "epoch": 1.8229333333333333,
      "grad_norm": 0.1959642618894577,
      "learning_rate": 4.433333333333334e-07,
      "loss": -0.0841,
      "on_policy_loss": -0.0841,
      "step": 6836
    },
    {
      "epoch": 1.8234666666666666,
      "grad_norm": 0.21309159696102142,
      "learning_rate": 4.4200000000000007e-07,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 6838
    },
    {
      "epoch": 1.8239999999999998,
      "grad_norm": 0.1750311702489853,
      "learning_rate": 4.4066666666666667e-07,
      "loss": -0.0713,
      "on_policy_loss": -0.0713,
      "step": 6840
    },
    {
      "epoch": 1.8245333333333333,
      "grad_norm": 0.1936577558517456,
      "learning_rate": 4.393333333333333e-07,
      "loss": -0.0764,
      "on_policy_loss": -0.0764,
      "step": 6842
    },
    {
      "epoch": 1.8250666666666666,
      "grad_norm": 0.25650739669799805,
      "learning_rate": 4.3800000000000003e-07,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 6844
    },
    {
      "epoch": 1.8256000000000001,
      "grad_norm": 0.17124877870082855,
      "learning_rate": 4.366666666666667e-07,
      "loss": -0.0873,
      "on_policy_loss": -0.0873,
      "step": 6846
    },
    {
      "epoch": 1.8261333333333334,
      "grad_norm": 0.19743043184280396,
      "learning_rate": 4.353333333333334e-07,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 6848
    },
    {
      "epoch": 1.8266666666666667,
      "grad_norm": 0.17047984898090363,
      "learning_rate": 4.3400000000000005e-07,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 6850
    },
    {
      "epoch": 1.8272,
      "grad_norm": 0.20165826380252838,
      "learning_rate": 4.326666666666667e-07,
      "loss": -0.0757,
      "on_policy_loss": -0.0757,
      "step": 6852
    },
    {
      "epoch": 1.8277333333333332,
      "grad_norm": 0.22477348148822784,
      "learning_rate": 4.313333333333334e-07,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 6854
    },
    {
      "epoch": 1.8282666666666667,
      "grad_norm": 0.15275245904922485,
      "learning_rate": 4.3e-07,
      "loss": -0.0871,
      "on_policy_loss": -0.0871,
      "step": 6856
    },
    {
      "epoch": 1.8288,
      "grad_norm": 0.18930578231811523,
      "learning_rate": 4.2866666666666667e-07,
      "loss": -0.085,
      "on_policy_loss": -0.085,
      "step": 6858
    },
    {
      "epoch": 1.8293333333333335,
      "grad_norm": 0.15863798558712006,
      "learning_rate": 4.273333333333334e-07,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 6860
    },
    {
      "epoch": 1.8298666666666668,
      "grad_norm": 0.18951350450515747,
      "learning_rate": 4.2600000000000003e-07,
      "loss": -0.0786,
      "on_policy_loss": -0.0786,
      "step": 6862
    },
    {
      "epoch": 1.8304,
      "grad_norm": 0.19504602253437042,
      "learning_rate": 4.246666666666667e-07,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 6864
    },
    {
      "epoch": 1.8309333333333333,
      "grad_norm": 0.22091826796531677,
      "learning_rate": 4.233333333333334e-07,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 6866
    },
    {
      "epoch": 1.8314666666666666,
      "grad_norm": 0.1769534796476364,
      "learning_rate": 4.2200000000000005e-07,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 6868
    },
    {
      "epoch": 1.8319999999999999,
      "grad_norm": 0.1739836037158966,
      "learning_rate": 4.206666666666667e-07,
      "loss": -0.0859,
      "on_policy_loss": -0.0859,
      "step": 6870
    },
    {
      "epoch": 1.8325333333333333,
      "grad_norm": 0.1731356829404831,
      "learning_rate": 4.193333333333334e-07,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 6872
    },
    {
      "epoch": 1.8330666666666666,
      "grad_norm": 0.2070324569940567,
      "learning_rate": 4.18e-07,
      "loss": -0.0872,
      "on_policy_loss": -0.0872,
      "step": 6874
    },
    {
      "epoch": 1.8336000000000001,
      "grad_norm": 0.18650001287460327,
      "learning_rate": 4.1666666666666667e-07,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 6876
    },
    {
      "epoch": 1.8341333333333334,
      "grad_norm": 0.16100795567035675,
      "learning_rate": 4.1533333333333337e-07,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 6878
    },
    {
      "epoch": 1.8346666666666667,
      "grad_norm": 0.2008827179670334,
      "learning_rate": 4.1400000000000003e-07,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 6880
    },
    {
      "epoch": 1.8352,
      "grad_norm": 0.18022751808166504,
      "learning_rate": 4.126666666666667e-07,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 6882
    },
    {
      "epoch": 1.8357333333333332,
      "grad_norm": 0.19883178174495697,
      "learning_rate": 4.113333333333334e-07,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 6884
    },
    {
      "epoch": 1.8362666666666667,
      "grad_norm": 0.191322460770607,
      "learning_rate": 4.1000000000000004e-07,
      "loss": -0.0928,
      "on_policy_loss": -0.0928,
      "step": 6886
    },
    {
      "epoch": 1.8368,
      "grad_norm": 0.2024279534816742,
      "learning_rate": 4.086666666666667e-07,
      "loss": -0.0772,
      "on_policy_loss": -0.0772,
      "step": 6888
    },
    {
      "epoch": 1.8373333333333335,
      "grad_norm": 0.19297757744789124,
      "learning_rate": 4.073333333333334e-07,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 6890
    },
    {
      "epoch": 1.8378666666666668,
      "grad_norm": 0.23142071068286896,
      "learning_rate": 4.06e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 6892
    },
    {
      "epoch": 1.8384,
      "grad_norm": 0.18174603581428528,
      "learning_rate": 4.0466666666666666e-07,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 6894
    },
    {
      "epoch": 1.8389333333333333,
      "grad_norm": 0.1726834625005722,
      "learning_rate": 4.0333333333333337e-07,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 6896
    },
    {
      "epoch": 1.8394666666666666,
      "grad_norm": 0.18147622048854828,
      "learning_rate": 4.02e-07,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 6898
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 0.20827820897102356,
      "learning_rate": 4.006666666666667e-07,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 6900
    },
    {
      "epoch": 1.8405333333333334,
      "grad_norm": 0.1800384670495987,
      "learning_rate": 3.993333333333334e-07,
      "loss": -0.084,
      "on_policy_loss": -0.084,
      "step": 6902
    },
    {
      "epoch": 1.8410666666666666,
      "grad_norm": 0.1870938241481781,
      "learning_rate": 3.9800000000000004e-07,
      "loss": -0.0864,
      "on_policy_loss": -0.0864,
      "step": 6904
    },
    {
      "epoch": 1.8416000000000001,
      "grad_norm": 0.16390490531921387,
      "learning_rate": 3.9666666666666675e-07,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 6906
    },
    {
      "epoch": 1.8421333333333334,
      "grad_norm": 0.16797864437103271,
      "learning_rate": 3.9533333333333335e-07,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 6908
    },
    {
      "epoch": 1.8426666666666667,
      "grad_norm": 0.15960657596588135,
      "learning_rate": 3.94e-07,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 6910
    },
    {
      "epoch": 1.8432,
      "grad_norm": 0.19944067299365997,
      "learning_rate": 3.9266666666666666e-07,
      "loss": -0.0876,
      "on_policy_loss": -0.0876,
      "step": 6912
    },
    {
      "epoch": 1.8437333333333332,
      "grad_norm": 0.20355398952960968,
      "learning_rate": 3.9133333333333337e-07,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 6914
    },
    {
      "epoch": 1.8442666666666667,
      "grad_norm": 0.2155511975288391,
      "learning_rate": 3.9e-07,
      "loss": -0.077,
      "on_policy_loss": -0.077,
      "step": 6916
    },
    {
      "epoch": 1.8448,
      "grad_norm": 0.2037941962480545,
      "learning_rate": 3.8866666666666673e-07,
      "loss": -0.0857,
      "on_policy_loss": -0.0857,
      "step": 6918
    },
    {
      "epoch": 1.8453333333333335,
      "grad_norm": 0.23441626131534576,
      "learning_rate": 3.873333333333334e-07,
      "loss": -0.0739,
      "on_policy_loss": -0.0739,
      "step": 6920
    },
    {
      "epoch": 1.8458666666666668,
      "grad_norm": 0.1925814151763916,
      "learning_rate": 3.8600000000000004e-07,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 6922
    },
    {
      "epoch": 1.8464,
      "grad_norm": 0.1978013962507248,
      "learning_rate": 3.8466666666666675e-07,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 6924
    },
    {
      "epoch": 1.8469333333333333,
      "grad_norm": 0.18238985538482666,
      "learning_rate": 3.8333333333333335e-07,
      "loss": -0.0739,
      "on_policy_loss": -0.0739,
      "step": 6926
    },
    {
      "epoch": 1.8474666666666666,
      "grad_norm": 0.22178781032562256,
      "learning_rate": 3.82e-07,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 6928
    },
    {
      "epoch": 1.8479999999999999,
      "grad_norm": 0.20608319342136383,
      "learning_rate": 3.8066666666666666e-07,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 6930
    },
    {
      "epoch": 1.8485333333333334,
      "grad_norm": 0.15873932838439941,
      "learning_rate": 3.7933333333333337e-07,
      "loss": -0.0848,
      "on_policy_loss": -0.0848,
      "step": 6932
    },
    {
      "epoch": 1.8490666666666666,
      "grad_norm": 0.2016831338405609,
      "learning_rate": 3.78e-07,
      "loss": -0.0765,
      "on_policy_loss": -0.0765,
      "step": 6934
    },
    {
      "epoch": 1.8496000000000001,
      "grad_norm": 0.17460079491138458,
      "learning_rate": 3.7666666666666673e-07,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 6936
    },
    {
      "epoch": 1.8501333333333334,
      "grad_norm": 0.19276537001132965,
      "learning_rate": 3.753333333333334e-07,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 6938
    },
    {
      "epoch": 1.8506666666666667,
      "grad_norm": 0.2138659656047821,
      "learning_rate": 3.7400000000000004e-07,
      "loss": -0.0859,
      "on_policy_loss": -0.0859,
      "step": 6940
    },
    {
      "epoch": 1.8512,
      "grad_norm": 0.19746999442577362,
      "learning_rate": 3.7266666666666664e-07,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 6942
    },
    {
      "epoch": 1.8517333333333332,
      "grad_norm": 0.20168371498584747,
      "learning_rate": 3.7133333333333335e-07,
      "loss": -0.0868,
      "on_policy_loss": -0.0868,
      "step": 6944
    },
    {
      "epoch": 1.8522666666666665,
      "grad_norm": 0.1976621001958847,
      "learning_rate": 3.7e-07,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 6946
    },
    {
      "epoch": 1.8528,
      "grad_norm": 0.19520658254623413,
      "learning_rate": 3.686666666666667e-07,
      "loss": -0.0854,
      "on_policy_loss": -0.0854,
      "step": 6948
    },
    {
      "epoch": 1.8533333333333335,
      "grad_norm": 0.18113158643245697,
      "learning_rate": 3.6733333333333337e-07,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 6950
    },
    {
      "epoch": 1.8538666666666668,
      "grad_norm": 0.1764240264892578,
      "learning_rate": 3.66e-07,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 6952
    },
    {
      "epoch": 1.8544,
      "grad_norm": 0.24151386320590973,
      "learning_rate": 3.6466666666666673e-07,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 6954
    },
    {
      "epoch": 1.8549333333333333,
      "grad_norm": 0.18045733869075775,
      "learning_rate": 3.633333333333334e-07,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 6956
    },
    {
      "epoch": 1.8554666666666666,
      "grad_norm": 0.18857739865779877,
      "learning_rate": 3.6200000000000004e-07,
      "loss": -0.0855,
      "on_policy_loss": -0.0855,
      "step": 6958
    },
    {
      "epoch": 1.8559999999999999,
      "grad_norm": 0.16136108338832855,
      "learning_rate": 3.6066666666666664e-07,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 6960
    },
    {
      "epoch": 1.8565333333333334,
      "grad_norm": 0.17591285705566406,
      "learning_rate": 3.5933333333333335e-07,
      "loss": -0.0832,
      "on_policy_loss": -0.0832,
      "step": 6962
    },
    {
      "epoch": 1.8570666666666666,
      "grad_norm": 0.20910845696926117,
      "learning_rate": 3.58e-07,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 6964
    },
    {
      "epoch": 1.8576000000000001,
      "grad_norm": 0.21282251179218292,
      "learning_rate": 3.566666666666667e-07,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 6966
    },
    {
      "epoch": 1.8581333333333334,
      "grad_norm": 0.1770491898059845,
      "learning_rate": 3.5533333333333337e-07,
      "loss": -0.0801,
      "on_policy_loss": -0.0801,
      "step": 6968
    },
    {
      "epoch": 1.8586666666666667,
      "grad_norm": 0.183259055018425,
      "learning_rate": 3.54e-07,
      "loss": -0.0863,
      "on_policy_loss": -0.0863,
      "step": 6970
    },
    {
      "epoch": 1.8592,
      "grad_norm": 0.18458561599254608,
      "learning_rate": 3.5266666666666673e-07,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 6972
    },
    {
      "epoch": 1.8597333333333332,
      "grad_norm": 0.16999922692775726,
      "learning_rate": 3.513333333333334e-07,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 6974
    },
    {
      "epoch": 1.8602666666666665,
      "grad_norm": 0.2008955180644989,
      "learning_rate": 3.5000000000000004e-07,
      "loss": -0.0845,
      "on_policy_loss": -0.0845,
      "step": 6976
    },
    {
      "epoch": 1.8608,
      "grad_norm": 0.17551614344120026,
      "learning_rate": 3.486666666666667e-07,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 6978
    },
    {
      "epoch": 1.8613333333333333,
      "grad_norm": 0.18467716872692108,
      "learning_rate": 3.4733333333333335e-07,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 6980
    },
    {
      "epoch": 1.8618666666666668,
      "grad_norm": 0.1605958193540573,
      "learning_rate": 3.46e-07,
      "loss": -0.0865,
      "on_policy_loss": -0.0865,
      "step": 6982
    },
    {
      "epoch": 1.8624,
      "grad_norm": 0.2005014270544052,
      "learning_rate": 3.446666666666667e-07,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 6984
    },
    {
      "epoch": 1.8629333333333333,
      "grad_norm": 0.20966149866580963,
      "learning_rate": 3.4333333333333336e-07,
      "loss": -0.0733,
      "on_policy_loss": -0.0733,
      "step": 6986
    },
    {
      "epoch": 1.8634666666666666,
      "grad_norm": 0.20131397247314453,
      "learning_rate": 3.42e-07,
      "loss": -0.0867,
      "on_policy_loss": -0.0867,
      "step": 6988
    },
    {
      "epoch": 1.8639999999999999,
      "grad_norm": 0.19304880499839783,
      "learning_rate": 3.406666666666667e-07,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 6990
    },
    {
      "epoch": 1.8645333333333334,
      "grad_norm": 0.2053825706243515,
      "learning_rate": 3.393333333333334e-07,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 6992
    },
    {
      "epoch": 1.8650666666666667,
      "grad_norm": 0.23669911921024323,
      "learning_rate": 3.38e-07,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 6994
    },
    {
      "epoch": 1.8656000000000001,
      "grad_norm": 0.23175226151943207,
      "learning_rate": 3.366666666666667e-07,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 6996
    },
    {
      "epoch": 1.8661333333333334,
      "grad_norm": 0.21182005107402802,
      "learning_rate": 3.3533333333333334e-07,
      "loss": -0.0855,
      "on_policy_loss": -0.0855,
      "step": 6998
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 0.20663508772850037,
      "learning_rate": 3.34e-07,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 7000
    },
    {
      "epoch": 1.8672,
      "grad_norm": 0.1813659369945526,
      "learning_rate": 3.326666666666667e-07,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 7002
    },
    {
      "epoch": 1.8677333333333332,
      "grad_norm": 0.17713791131973267,
      "learning_rate": 3.3133333333333336e-07,
      "loss": -0.087,
      "on_policy_loss": -0.087,
      "step": 7004
    },
    {
      "epoch": 1.8682666666666665,
      "grad_norm": 0.2152421623468399,
      "learning_rate": 3.3e-07,
      "loss": -0.0861,
      "on_policy_loss": -0.0861,
      "step": 7006
    },
    {
      "epoch": 1.8688,
      "grad_norm": 0.19316856563091278,
      "learning_rate": 3.286666666666667e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 7008
    },
    {
      "epoch": 1.8693333333333333,
      "grad_norm": 0.22300656139850616,
      "learning_rate": 3.273333333333334e-07,
      "loss": -0.0738,
      "on_policy_loss": -0.0738,
      "step": 7010
    },
    {
      "epoch": 1.8698666666666668,
      "grad_norm": 0.20850245654582977,
      "learning_rate": 3.26e-07,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 7012
    },
    {
      "epoch": 1.8704,
      "grad_norm": 0.20563505589962006,
      "learning_rate": 3.246666666666667e-07,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 7014
    },
    {
      "epoch": 1.8709333333333333,
      "grad_norm": 0.16058233380317688,
      "learning_rate": 3.2333333333333334e-07,
      "loss": -0.09,
      "on_policy_loss": -0.09,
      "step": 7016
    },
    {
      "epoch": 1.8714666666666666,
      "grad_norm": 0.17337550222873688,
      "learning_rate": 3.22e-07,
      "loss": -0.0805,
      "on_policy_loss": -0.0805,
      "step": 7018
    },
    {
      "epoch": 1.8719999999999999,
      "grad_norm": 0.1858171671628952,
      "learning_rate": 3.206666666666667e-07,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 7020
    },
    {
      "epoch": 1.8725333333333334,
      "grad_norm": 0.19100366532802582,
      "learning_rate": 3.1933333333333336e-07,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 7022
    },
    {
      "epoch": 1.8730666666666667,
      "grad_norm": 0.16692392528057098,
      "learning_rate": 3.1800000000000007e-07,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 7024
    },
    {
      "epoch": 1.8736000000000002,
      "grad_norm": 0.20717546343803406,
      "learning_rate": 3.166666666666667e-07,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 7026
    },
    {
      "epoch": 1.8741333333333334,
      "grad_norm": 0.173566535115242,
      "learning_rate": 3.153333333333333e-07,
      "loss": -0.0841,
      "on_policy_loss": -0.0841,
      "step": 7028
    },
    {
      "epoch": 1.8746666666666667,
      "grad_norm": 0.18214930593967438,
      "learning_rate": 3.14e-07,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 7030
    },
    {
      "epoch": 1.8752,
      "grad_norm": 0.21134887635707855,
      "learning_rate": 3.126666666666667e-07,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 7032
    },
    {
      "epoch": 1.8757333333333333,
      "grad_norm": 0.18008144199848175,
      "learning_rate": 3.1133333333333334e-07,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 7034
    },
    {
      "epoch": 1.8762666666666665,
      "grad_norm": 0.2106582522392273,
      "learning_rate": 3.1000000000000005e-07,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 7036
    },
    {
      "epoch": 1.8768,
      "grad_norm": 0.18267713487148285,
      "learning_rate": 3.086666666666667e-07,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 7038
    },
    {
      "epoch": 1.8773333333333333,
      "grad_norm": 0.19736063480377197,
      "learning_rate": 3.0733333333333336e-07,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 7040
    },
    {
      "epoch": 1.8778666666666668,
      "grad_norm": 0.1700243353843689,
      "learning_rate": 3.06e-07,
      "loss": -0.085,
      "on_policy_loss": -0.085,
      "step": 7042
    },
    {
      "epoch": 1.8784,
      "grad_norm": 0.16807904839515686,
      "learning_rate": 3.0466666666666667e-07,
      "loss": -0.0876,
      "on_policy_loss": -0.0876,
      "step": 7044
    },
    {
      "epoch": 1.8789333333333333,
      "grad_norm": 0.18139414489269257,
      "learning_rate": 3.033333333333334e-07,
      "loss": -0.0849,
      "on_policy_loss": -0.0849,
      "step": 7046
    },
    {
      "epoch": 1.8794666666666666,
      "grad_norm": 0.2062898725271225,
      "learning_rate": 3.0200000000000003e-07,
      "loss": -0.086,
      "on_policy_loss": -0.086,
      "step": 7048
    },
    {
      "epoch": 1.88,
      "grad_norm": 0.18495546281337738,
      "learning_rate": 3.006666666666667e-07,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 7050
    },
    {
      "epoch": 1.8805333333333332,
      "grad_norm": 0.18541337549686432,
      "learning_rate": 2.9933333333333334e-07,
      "loss": -0.084,
      "on_policy_loss": -0.084,
      "step": 7052
    },
    {
      "epoch": 1.8810666666666667,
      "grad_norm": 0.17403721809387207,
      "learning_rate": 2.9800000000000005e-07,
      "loss": -0.0897,
      "on_policy_loss": -0.0897,
      "step": 7054
    },
    {
      "epoch": 1.8816000000000002,
      "grad_norm": 0.19269335269927979,
      "learning_rate": 2.966666666666667e-07,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 7056
    },
    {
      "epoch": 1.8821333333333334,
      "grad_norm": 0.2067665159702301,
      "learning_rate": 2.9533333333333336e-07,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 7058
    },
    {
      "epoch": 1.8826666666666667,
      "grad_norm": 0.20517320930957794,
      "learning_rate": 2.94e-07,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 7060
    },
    {
      "epoch": 1.8832,
      "grad_norm": 0.19630524516105652,
      "learning_rate": 2.9266666666666667e-07,
      "loss": -0.0846,
      "on_policy_loss": -0.0846,
      "step": 7062
    },
    {
      "epoch": 1.8837333333333333,
      "grad_norm": 0.23839950561523438,
      "learning_rate": 2.913333333333334e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 7064
    },
    {
      "epoch": 1.8842666666666665,
      "grad_norm": 0.19294466078281403,
      "learning_rate": 2.9000000000000003e-07,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 7066
    },
    {
      "epoch": 1.8848,
      "grad_norm": 0.16568724811077118,
      "learning_rate": 2.886666666666667e-07,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 7068
    },
    {
      "epoch": 1.8853333333333333,
      "grad_norm": 0.16192059218883514,
      "learning_rate": 2.8733333333333334e-07,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 7070
    },
    {
      "epoch": 1.8858666666666668,
      "grad_norm": 0.1822022944688797,
      "learning_rate": 2.8600000000000005e-07,
      "loss": -0.0861,
      "on_policy_loss": -0.0861,
      "step": 7072
    },
    {
      "epoch": 1.8864,
      "grad_norm": 0.1957545429468155,
      "learning_rate": 2.846666666666667e-07,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 7074
    },
    {
      "epoch": 1.8869333333333334,
      "grad_norm": 0.23097625374794006,
      "learning_rate": 2.8333333333333336e-07,
      "loss": -0.0887,
      "on_policy_loss": -0.0887,
      "step": 7076
    },
    {
      "epoch": 1.8874666666666666,
      "grad_norm": 0.24199828505516052,
      "learning_rate": 2.82e-07,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 7078
    },
    {
      "epoch": 1.888,
      "grad_norm": 0.21699747443199158,
      "learning_rate": 2.8066666666666667e-07,
      "loss": -0.0871,
      "on_policy_loss": -0.0871,
      "step": 7080
    },
    {
      "epoch": 1.8885333333333332,
      "grad_norm": 0.15982601046562195,
      "learning_rate": 2.7933333333333337e-07,
      "loss": -0.0862,
      "on_policy_loss": -0.0862,
      "step": 7082
    },
    {
      "epoch": 1.8890666666666667,
      "grad_norm": 0.20232512056827545,
      "learning_rate": 2.7800000000000003e-07,
      "loss": -0.0825,
      "on_policy_loss": -0.0825,
      "step": 7084
    },
    {
      "epoch": 1.8896,
      "grad_norm": 0.19170817732810974,
      "learning_rate": 2.766666666666667e-07,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 7086
    },
    {
      "epoch": 1.8901333333333334,
      "grad_norm": 0.17030192911624908,
      "learning_rate": 2.7533333333333334e-07,
      "loss": -0.0846,
      "on_policy_loss": -0.0846,
      "step": 7088
    },
    {
      "epoch": 1.8906666666666667,
      "grad_norm": 0.1584853082895279,
      "learning_rate": 2.7400000000000004e-07,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 7090
    },
    {
      "epoch": 1.8912,
      "grad_norm": 0.19762279093265533,
      "learning_rate": 2.726666666666667e-07,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 7092
    },
    {
      "epoch": 1.8917333333333333,
      "grad_norm": 0.2032313346862793,
      "learning_rate": 2.7133333333333335e-07,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 7094
    },
    {
      "epoch": 1.8922666666666665,
      "grad_norm": 0.18331822752952576,
      "learning_rate": 2.7e-07,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 7096
    },
    {
      "epoch": 1.8928,
      "grad_norm": 0.17602083086967468,
      "learning_rate": 2.686666666666667e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 7098
    },
    {
      "epoch": 1.8933333333333333,
      "grad_norm": 0.1697901338338852,
      "learning_rate": 2.6733333333333337e-07,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 7100
    },
    {
      "epoch": 1.8938666666666668,
      "grad_norm": 0.17937172949314117,
      "learning_rate": 2.66e-07,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 7102
    },
    {
      "epoch": 1.8944,
      "grad_norm": 0.16755671799182892,
      "learning_rate": 2.646666666666667e-07,
      "loss": -0.0858,
      "on_policy_loss": -0.0858,
      "step": 7104
    },
    {
      "epoch": 1.8949333333333334,
      "grad_norm": 0.21384194493293762,
      "learning_rate": 2.6333333333333334e-07,
      "loss": -0.0891,
      "on_policy_loss": -0.0891,
      "step": 7106
    },
    {
      "epoch": 1.8954666666666666,
      "grad_norm": 0.18362590670585632,
      "learning_rate": 2.6200000000000004e-07,
      "loss": -0.0865,
      "on_policy_loss": -0.0865,
      "step": 7108
    },
    {
      "epoch": 1.896,
      "grad_norm": 0.17708458006381989,
      "learning_rate": 2.606666666666667e-07,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 7110
    },
    {
      "epoch": 1.8965333333333332,
      "grad_norm": 0.1924462914466858,
      "learning_rate": 2.5933333333333335e-07,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 7112
    },
    {
      "epoch": 1.8970666666666667,
      "grad_norm": 0.18854206800460815,
      "learning_rate": 2.58e-07,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 7114
    },
    {
      "epoch": 1.8976,
      "grad_norm": 0.18803051114082336,
      "learning_rate": 2.566666666666667e-07,
      "loss": -0.0865,
      "on_policy_loss": -0.0865,
      "step": 7116
    },
    {
      "epoch": 1.8981333333333335,
      "grad_norm": 0.18104402720928192,
      "learning_rate": 2.5533333333333337e-07,
      "loss": -0.0853,
      "on_policy_loss": -0.0853,
      "step": 7118
    },
    {
      "epoch": 1.8986666666666667,
      "grad_norm": 0.17705592513084412,
      "learning_rate": 2.54e-07,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 7120
    },
    {
      "epoch": 1.8992,
      "grad_norm": 0.21823589503765106,
      "learning_rate": 2.526666666666667e-07,
      "loss": -0.0776,
      "on_policy_loss": -0.0776,
      "step": 7122
    },
    {
      "epoch": 1.8997333333333333,
      "grad_norm": 0.2134329378604889,
      "learning_rate": 2.5133333333333333e-07,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 7124
    },
    {
      "epoch": 1.9002666666666665,
      "grad_norm": 0.20109014213085175,
      "learning_rate": 2.5000000000000004e-07,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 7126
    },
    {
      "epoch": 1.9008,
      "grad_norm": 0.21173058450222015,
      "learning_rate": 2.486666666666667e-07,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 7128
    },
    {
      "epoch": 1.9013333333333333,
      "grad_norm": 0.20981453359127045,
      "learning_rate": 2.4733333333333335e-07,
      "loss": -0.0852,
      "on_policy_loss": -0.0852,
      "step": 7130
    },
    {
      "epoch": 1.9018666666666668,
      "grad_norm": 0.17957216501235962,
      "learning_rate": 2.46e-07,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 7132
    },
    {
      "epoch": 1.9024,
      "grad_norm": 0.1739564687013626,
      "learning_rate": 2.446666666666667e-07,
      "loss": -0.0828,
      "on_policy_loss": -0.0828,
      "step": 7134
    },
    {
      "epoch": 1.9029333333333334,
      "grad_norm": 0.2507195472717285,
      "learning_rate": 2.433333333333333e-07,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 7136
    },
    {
      "epoch": 1.9034666666666666,
      "grad_norm": 0.23163339495658875,
      "learning_rate": 2.42e-07,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 7138
    },
    {
      "epoch": 1.904,
      "grad_norm": 0.19196681678295135,
      "learning_rate": 2.406666666666667e-07,
      "loss": -0.081,
      "on_policy_loss": -0.081,
      "step": 7140
    },
    {
      "epoch": 1.9045333333333332,
      "grad_norm": 0.1874723583459854,
      "learning_rate": 2.393333333333334e-07,
      "loss": -0.0806,
      "on_policy_loss": -0.0806,
      "step": 7142
    },
    {
      "epoch": 1.9050666666666667,
      "grad_norm": 0.15632791817188263,
      "learning_rate": 2.3800000000000004e-07,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 7144
    },
    {
      "epoch": 1.9056,
      "grad_norm": 0.2189020961523056,
      "learning_rate": 2.3666666666666667e-07,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 7146
    },
    {
      "epoch": 1.9061333333333335,
      "grad_norm": 0.2245175838470459,
      "learning_rate": 2.3533333333333335e-07,
      "loss": -0.087,
      "on_policy_loss": -0.087,
      "step": 7148
    },
    {
      "epoch": 1.9066666666666667,
      "grad_norm": 0.16093622148036957,
      "learning_rate": 2.3400000000000003e-07,
      "loss": -0.0874,
      "on_policy_loss": -0.0874,
      "step": 7150
    },
    {
      "epoch": 1.9072,
      "grad_norm": 0.16500318050384521,
      "learning_rate": 2.326666666666667e-07,
      "loss": -0.0832,
      "on_policy_loss": -0.0832,
      "step": 7152
    },
    {
      "epoch": 1.9077333333333333,
      "grad_norm": 0.2514888048171997,
      "learning_rate": 2.3133333333333334e-07,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 7154
    },
    {
      "epoch": 1.9082666666666666,
      "grad_norm": 0.20156966149806976,
      "learning_rate": 2.3000000000000002e-07,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 7156
    },
    {
      "epoch": 1.9088,
      "grad_norm": 0.19371402263641357,
      "learning_rate": 2.286666666666667e-07,
      "loss": -0.0853,
      "on_policy_loss": -0.0853,
      "step": 7158
    },
    {
      "epoch": 1.9093333333333333,
      "grad_norm": 0.20512129366397858,
      "learning_rate": 2.2733333333333336e-07,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 7160
    },
    {
      "epoch": 1.9098666666666668,
      "grad_norm": 0.16618047654628754,
      "learning_rate": 2.26e-07,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 7162
    },
    {
      "epoch": 1.9104,
      "grad_norm": 0.17076396942138672,
      "learning_rate": 2.2466666666666667e-07,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 7164
    },
    {
      "epoch": 1.9109333333333334,
      "grad_norm": 0.18111857771873474,
      "learning_rate": 2.2333333333333335e-07,
      "loss": -0.0793,
      "on_policy_loss": -0.0793,
      "step": 7166
    },
    {
      "epoch": 1.9114666666666666,
      "grad_norm": 0.17730136215686798,
      "learning_rate": 2.2200000000000003e-07,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 7168
    },
    {
      "epoch": 1.912,
      "grad_norm": 0.165228933095932,
      "learning_rate": 2.2066666666666666e-07,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 7170
    },
    {
      "epoch": 1.9125333333333332,
      "grad_norm": 0.18618272244930267,
      "learning_rate": 2.1933333333333334e-07,
      "loss": -0.0784,
      "on_policy_loss": -0.0784,
      "step": 7172
    },
    {
      "epoch": 1.9130666666666667,
      "grad_norm": 0.24794383347034454,
      "learning_rate": 2.1800000000000002e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 7174
    },
    {
      "epoch": 1.9136,
      "grad_norm": 0.17896942794322968,
      "learning_rate": 2.166666666666667e-07,
      "loss": -0.0878,
      "on_policy_loss": -0.0878,
      "step": 7176
    },
    {
      "epoch": 1.9141333333333335,
      "grad_norm": 0.19583019614219666,
      "learning_rate": 2.1533333333333336e-07,
      "loss": -0.0821,
      "on_policy_loss": -0.0821,
      "step": 7178
    },
    {
      "epoch": 1.9146666666666667,
      "grad_norm": 0.18324890732765198,
      "learning_rate": 2.14e-07,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 7180
    },
    {
      "epoch": 1.9152,
      "grad_norm": 0.17353013157844543,
      "learning_rate": 2.126666666666667e-07,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 7182
    },
    {
      "epoch": 1.9157333333333333,
      "grad_norm": 0.16628508269786835,
      "learning_rate": 2.1133333333333335e-07,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 7184
    },
    {
      "epoch": 1.9162666666666666,
      "grad_norm": 0.19453509151935577,
      "learning_rate": 2.1000000000000003e-07,
      "loss": -0.0802,
      "on_policy_loss": -0.0802,
      "step": 7186
    },
    {
      "epoch": 1.9167999999999998,
      "grad_norm": 0.16477960348129272,
      "learning_rate": 2.0866666666666668e-07,
      "loss": -0.0779,
      "on_policy_loss": -0.0779,
      "step": 7188
    },
    {
      "epoch": 1.9173333333333333,
      "grad_norm": 0.20990914106369019,
      "learning_rate": 2.0733333333333334e-07,
      "loss": -0.0809,
      "on_policy_loss": -0.0809,
      "step": 7190
    },
    {
      "epoch": 1.9178666666666668,
      "grad_norm": 0.1923491656780243,
      "learning_rate": 2.0600000000000002e-07,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 7192
    },
    {
      "epoch": 1.9184,
      "grad_norm": 0.1620519459247589,
      "learning_rate": 2.046666666666667e-07,
      "loss": -0.0832,
      "on_policy_loss": -0.0832,
      "step": 7194
    },
    {
      "epoch": 1.9189333333333334,
      "grad_norm": 0.18557651340961456,
      "learning_rate": 2.0333333333333333e-07,
      "loss": -0.0803,
      "on_policy_loss": -0.0803,
      "step": 7196
    },
    {
      "epoch": 1.9194666666666667,
      "grad_norm": 0.21991868317127228,
      "learning_rate": 2.02e-07,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 7198
    },
    {
      "epoch": 1.92,
      "grad_norm": 0.19623631238937378,
      "learning_rate": 2.006666666666667e-07,
      "loss": -0.0848,
      "on_policy_loss": -0.0848,
      "step": 7200
    },
    {
      "epoch": 1.9205333333333332,
      "grad_norm": 0.18244187533855438,
      "learning_rate": 1.9933333333333334e-07,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 7202
    },
    {
      "epoch": 1.9210666666666667,
      "grad_norm": 0.1766366809606552,
      "learning_rate": 1.9800000000000003e-07,
      "loss": -0.0792,
      "on_policy_loss": -0.0792,
      "step": 7204
    },
    {
      "epoch": 1.9216,
      "grad_norm": 0.19107544422149658,
      "learning_rate": 1.9666666666666668e-07,
      "loss": -0.0798,
      "on_policy_loss": -0.0798,
      "step": 7206
    },
    {
      "epoch": 1.9221333333333335,
      "grad_norm": 0.20260901749134064,
      "learning_rate": 1.9533333333333334e-07,
      "loss": -0.0837,
      "on_policy_loss": -0.0837,
      "step": 7208
    },
    {
      "epoch": 1.9226666666666667,
      "grad_norm": 0.18221943080425262,
      "learning_rate": 1.9400000000000002e-07,
      "loss": -0.0888,
      "on_policy_loss": -0.0888,
      "step": 7210
    },
    {
      "epoch": 1.9232,
      "grad_norm": 0.20843477547168732,
      "learning_rate": 1.926666666666667e-07,
      "loss": -0.0837,
      "on_policy_loss": -0.0837,
      "step": 7212
    },
    {
      "epoch": 1.9237333333333333,
      "grad_norm": 0.2087017297744751,
      "learning_rate": 1.9133333333333333e-07,
      "loss": -0.0869,
      "on_policy_loss": -0.0869,
      "step": 7214
    },
    {
      "epoch": 1.9242666666666666,
      "grad_norm": 0.18010790646076202,
      "learning_rate": 1.9e-07,
      "loss": -0.0847,
      "on_policy_loss": -0.0847,
      "step": 7216
    },
    {
      "epoch": 1.9247999999999998,
      "grad_norm": 0.20239436626434326,
      "learning_rate": 1.886666666666667e-07,
      "loss": -0.084,
      "on_policy_loss": -0.084,
      "step": 7218
    },
    {
      "epoch": 1.9253333333333333,
      "grad_norm": 0.1806008666753769,
      "learning_rate": 1.8733333333333337e-07,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 7220
    },
    {
      "epoch": 1.9258666666666666,
      "grad_norm": 0.18396057188510895,
      "learning_rate": 1.86e-07,
      "loss": -0.0871,
      "on_policy_loss": -0.0871,
      "step": 7222
    },
    {
      "epoch": 1.9264000000000001,
      "grad_norm": 0.19352449476718903,
      "learning_rate": 1.8466666666666668e-07,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 7224
    },
    {
      "epoch": 1.9269333333333334,
      "grad_norm": 0.17042036354541779,
      "learning_rate": 1.8333333333333336e-07,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 7226
    },
    {
      "epoch": 1.9274666666666667,
      "grad_norm": 0.19920584559440613,
      "learning_rate": 1.8200000000000002e-07,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 7228
    },
    {
      "epoch": 1.928,
      "grad_norm": 0.20283031463623047,
      "learning_rate": 1.806666666666667e-07,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 7230
    },
    {
      "epoch": 1.9285333333333332,
      "grad_norm": 0.18057583272457123,
      "learning_rate": 1.7933333333333335e-07,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 7232
    },
    {
      "epoch": 1.9290666666666667,
      "grad_norm": 0.2227490097284317,
      "learning_rate": 1.78e-07,
      "loss": -0.0814,
      "on_policy_loss": -0.0814,
      "step": 7234
    },
    {
      "epoch": 1.9296,
      "grad_norm": 0.2180623710155487,
      "learning_rate": 1.766666666666667e-07,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 7236
    },
    {
      "epoch": 1.9301333333333335,
      "grad_norm": 0.21505139768123627,
      "learning_rate": 1.7533333333333337e-07,
      "loss": -0.0853,
      "on_policy_loss": -0.0853,
      "step": 7238
    },
    {
      "epoch": 1.9306666666666668,
      "grad_norm": 0.17512820661067963,
      "learning_rate": 1.74e-07,
      "loss": -0.0775,
      "on_policy_loss": -0.0775,
      "step": 7240
    },
    {
      "epoch": 1.9312,
      "grad_norm": 0.15848514437675476,
      "learning_rate": 1.7266666666666668e-07,
      "loss": -0.0794,
      "on_policy_loss": -0.0794,
      "step": 7242
    },
    {
      "epoch": 1.9317333333333333,
      "grad_norm": 0.21801641583442688,
      "learning_rate": 1.7133333333333336e-07,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 7244
    },
    {
      "epoch": 1.9322666666666666,
      "grad_norm": 0.1603965014219284,
      "learning_rate": 1.7000000000000001e-07,
      "loss": -0.0785,
      "on_policy_loss": -0.0785,
      "step": 7246
    },
    {
      "epoch": 1.9327999999999999,
      "grad_norm": 0.21553559601306915,
      "learning_rate": 1.6866666666666667e-07,
      "loss": -0.0753,
      "on_policy_loss": -0.0753,
      "step": 7248
    },
    {
      "epoch": 1.9333333333333333,
      "grad_norm": 0.17892926931381226,
      "learning_rate": 1.6733333333333335e-07,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 7250
    },
    {
      "epoch": 1.9338666666666666,
      "grad_norm": 0.16046811640262604,
      "learning_rate": 1.66e-07,
      "loss": -0.0891,
      "on_policy_loss": -0.0891,
      "step": 7252
    },
    {
      "epoch": 1.9344000000000001,
      "grad_norm": 0.18228520452976227,
      "learning_rate": 1.6466666666666669e-07,
      "loss": -0.088,
      "on_policy_loss": -0.088,
      "step": 7254
    },
    {
      "epoch": 1.9349333333333334,
      "grad_norm": 0.17227864265441895,
      "learning_rate": 1.6333333333333334e-07,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 7256
    },
    {
      "epoch": 1.9354666666666667,
      "grad_norm": 0.17627441883087158,
      "learning_rate": 1.62e-07,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 7258
    },
    {
      "epoch": 1.936,
      "grad_norm": 0.16924984753131866,
      "learning_rate": 1.6066666666666668e-07,
      "loss": -0.0788,
      "on_policy_loss": -0.0788,
      "step": 7260
    },
    {
      "epoch": 1.9365333333333332,
      "grad_norm": 0.15496224164962769,
      "learning_rate": 1.5933333333333336e-07,
      "loss": -0.0879,
      "on_policy_loss": -0.0879,
      "step": 7262
    },
    {
      "epoch": 1.9370666666666667,
      "grad_norm": 0.17931495606899261,
      "learning_rate": 1.5800000000000004e-07,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 7264
    },
    {
      "epoch": 1.9376,
      "grad_norm": 0.17496924102306366,
      "learning_rate": 1.5666666666666667e-07,
      "loss": -0.0859,
      "on_policy_loss": -0.0859,
      "step": 7266
    },
    {
      "epoch": 1.9381333333333335,
      "grad_norm": 0.17163583636283875,
      "learning_rate": 1.5533333333333335e-07,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 7268
    },
    {
      "epoch": 1.9386666666666668,
      "grad_norm": 0.1971026510000229,
      "learning_rate": 1.5400000000000003e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 7270
    },
    {
      "epoch": 1.9392,
      "grad_norm": 0.2153477966785431,
      "learning_rate": 1.5266666666666668e-07,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 7272
    },
    {
      "epoch": 1.9397333333333333,
      "grad_norm": 0.17784307897090912,
      "learning_rate": 1.5133333333333334e-07,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 7274
    },
    {
      "epoch": 1.9402666666666666,
      "grad_norm": 0.20041441917419434,
      "learning_rate": 1.5000000000000002e-07,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 7276
    },
    {
      "epoch": 1.9407999999999999,
      "grad_norm": 0.21753212809562683,
      "learning_rate": 1.4866666666666667e-07,
      "loss": -0.0834,
      "on_policy_loss": -0.0834,
      "step": 7278
    },
    {
      "epoch": 1.9413333333333334,
      "grad_norm": 0.17076511681079865,
      "learning_rate": 1.4733333333333333e-07,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 7280
    },
    {
      "epoch": 1.9418666666666666,
      "grad_norm": 0.18404169380664825,
      "learning_rate": 1.46e-07,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 7282
    },
    {
      "epoch": 1.9424000000000001,
      "grad_norm": 0.2145530730485916,
      "learning_rate": 1.4466666666666667e-07,
      "loss": -0.0881,
      "on_policy_loss": -0.0881,
      "step": 7284
    },
    {
      "epoch": 1.9429333333333334,
      "grad_norm": 0.18296371400356293,
      "learning_rate": 1.4333333333333335e-07,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 7286
    },
    {
      "epoch": 1.9434666666666667,
      "grad_norm": 0.17523248493671417,
      "learning_rate": 1.4200000000000003e-07,
      "loss": -0.0782,
      "on_policy_loss": -0.0782,
      "step": 7288
    },
    {
      "epoch": 1.944,
      "grad_norm": 0.19697624444961548,
      "learning_rate": 1.4066666666666668e-07,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 7290
    },
    {
      "epoch": 1.9445333333333332,
      "grad_norm": 0.19465509057044983,
      "learning_rate": 1.3933333333333336e-07,
      "loss": -0.0843,
      "on_policy_loss": -0.0843,
      "step": 7292
    },
    {
      "epoch": 1.9450666666666667,
      "grad_norm": 0.18423251807689667,
      "learning_rate": 1.3800000000000002e-07,
      "loss": -0.0791,
      "on_policy_loss": -0.0791,
      "step": 7294
    },
    {
      "epoch": 1.9456,
      "grad_norm": 0.16545450687408447,
      "learning_rate": 1.3666666666666667e-07,
      "loss": -0.0873,
      "on_policy_loss": -0.0873,
      "step": 7296
    },
    {
      "epoch": 1.9461333333333335,
      "grad_norm": 0.1953030675649643,
      "learning_rate": 1.3533333333333335e-07,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 7298
    },
    {
      "epoch": 1.9466666666666668,
      "grad_norm": 0.18907347321510315,
      "learning_rate": 1.34e-07,
      "loss": -0.0881,
      "on_policy_loss": -0.0881,
      "step": 7300
    },
    {
      "epoch": 1.9472,
      "grad_norm": 0.19766652584075928,
      "learning_rate": 1.3266666666666666e-07,
      "loss": -0.0875,
      "on_policy_loss": -0.0875,
      "step": 7302
    },
    {
      "epoch": 1.9477333333333333,
      "grad_norm": 0.20087693631649017,
      "learning_rate": 1.3133333333333334e-07,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 7304
    },
    {
      "epoch": 1.9482666666666666,
      "grad_norm": 0.22639521956443787,
      "learning_rate": 1.3e-07,
      "loss": -0.0761,
      "on_policy_loss": -0.0761,
      "step": 7306
    },
    {
      "epoch": 1.9487999999999999,
      "grad_norm": 0.17766457796096802,
      "learning_rate": 1.2866666666666668e-07,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 7308
    },
    {
      "epoch": 1.9493333333333334,
      "grad_norm": 0.18768593668937683,
      "learning_rate": 1.2733333333333334e-07,
      "loss": -0.0837,
      "on_policy_loss": -0.0837,
      "step": 7310
    },
    {
      "epoch": 1.9498666666666666,
      "grad_norm": 0.23961926996707916,
      "learning_rate": 1.2600000000000002e-07,
      "loss": -0.0841,
      "on_policy_loss": -0.0841,
      "step": 7312
    },
    {
      "epoch": 1.9504000000000001,
      "grad_norm": 0.18885751068592072,
      "learning_rate": 1.2466666666666667e-07,
      "loss": -0.0849,
      "on_policy_loss": -0.0849,
      "step": 7314
    },
    {
      "epoch": 1.9509333333333334,
      "grad_norm": 0.21022284030914307,
      "learning_rate": 1.2333333333333335e-07,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 7316
    },
    {
      "epoch": 1.9514666666666667,
      "grad_norm": 0.16194047033786774,
      "learning_rate": 1.22e-07,
      "loss": -0.09,
      "on_policy_loss": -0.09,
      "step": 7318
    },
    {
      "epoch": 1.952,
      "grad_norm": 0.16274070739746094,
      "learning_rate": 1.2066666666666666e-07,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 7320
    },
    {
      "epoch": 1.9525333333333332,
      "grad_norm": 0.1800200492143631,
      "learning_rate": 1.1933333333333334e-07,
      "loss": -0.0799,
      "on_policy_loss": -0.0799,
      "step": 7322
    },
    {
      "epoch": 1.9530666666666665,
      "grad_norm": 0.19182367622852325,
      "learning_rate": 1.1800000000000001e-07,
      "loss": -0.0861,
      "on_policy_loss": -0.0861,
      "step": 7324
    },
    {
      "epoch": 1.9536,
      "grad_norm": 0.1827649474143982,
      "learning_rate": 1.1666666666666668e-07,
      "loss": -0.0818,
      "on_policy_loss": -0.0818,
      "step": 7326
    },
    {
      "epoch": 1.9541333333333335,
      "grad_norm": 0.1709262877702713,
      "learning_rate": 1.1533333333333333e-07,
      "loss": -0.0833,
      "on_policy_loss": -0.0833,
      "step": 7328
    },
    {
      "epoch": 1.9546666666666668,
      "grad_norm": 0.16346751153469086,
      "learning_rate": 1.1400000000000001e-07,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 7330
    },
    {
      "epoch": 1.9552,
      "grad_norm": 0.19098807871341705,
      "learning_rate": 1.1266666666666667e-07,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 7332
    },
    {
      "epoch": 1.9557333333333333,
      "grad_norm": 0.1828165501356125,
      "learning_rate": 1.1133333333333335e-07,
      "loss": -0.0877,
      "on_policy_loss": -0.0877,
      "step": 7334
    },
    {
      "epoch": 1.9562666666666666,
      "grad_norm": 0.17358599603176117,
      "learning_rate": 1.1e-07,
      "loss": -0.0797,
      "on_policy_loss": -0.0797,
      "step": 7336
    },
    {
      "epoch": 1.9567999999999999,
      "grad_norm": 0.17998585104942322,
      "learning_rate": 1.0866666666666667e-07,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 7338
    },
    {
      "epoch": 1.9573333333333334,
      "grad_norm": 0.1940976083278656,
      "learning_rate": 1.0733333333333333e-07,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 7340
    },
    {
      "epoch": 1.9578666666666666,
      "grad_norm": 0.1633330136537552,
      "learning_rate": 1.0600000000000001e-07,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 7342
    },
    {
      "epoch": 1.9584000000000001,
      "grad_norm": 0.17619769275188446,
      "learning_rate": 1.0466666666666668e-07,
      "loss": -0.0869,
      "on_policy_loss": -0.0869,
      "step": 7344
    },
    {
      "epoch": 1.9589333333333334,
      "grad_norm": 0.16641031205654144,
      "learning_rate": 1.0333333333333335e-07,
      "loss": -0.0804,
      "on_policy_loss": -0.0804,
      "step": 7346
    },
    {
      "epoch": 1.9594666666666667,
      "grad_norm": 0.17787134647369385,
      "learning_rate": 1.0200000000000001e-07,
      "loss": -0.0827,
      "on_policy_loss": -0.0827,
      "step": 7348
    },
    {
      "epoch": 1.96,
      "grad_norm": 0.17962752282619476,
      "learning_rate": 1.0066666666666667e-07,
      "loss": -0.0849,
      "on_policy_loss": -0.0849,
      "step": 7350
    },
    {
      "epoch": 1.9605333333333332,
      "grad_norm": 0.18048670887947083,
      "learning_rate": 9.933333333333335e-08,
      "loss": -0.0856,
      "on_policy_loss": -0.0856,
      "step": 7352
    },
    {
      "epoch": 1.9610666666666665,
      "grad_norm": 0.1701478213071823,
      "learning_rate": 9.8e-08,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 7354
    },
    {
      "epoch": 1.9616,
      "grad_norm": 0.1588318943977356,
      "learning_rate": 9.666666666666669e-08,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 7356
    },
    {
      "epoch": 1.9621333333333333,
      "grad_norm": 0.1628866344690323,
      "learning_rate": 9.533333333333334e-08,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 7358
    },
    {
      "epoch": 1.9626666666666668,
      "grad_norm": 0.21876610815525055,
      "learning_rate": 9.400000000000001e-08,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 7360
    },
    {
      "epoch": 1.9632,
      "grad_norm": 0.1956951916217804,
      "learning_rate": 9.266666666666666e-08,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 7362
    },
    {
      "epoch": 1.9637333333333333,
      "grad_norm": 0.19108939170837402,
      "learning_rate": 9.133333333333334e-08,
      "loss": -0.079,
      "on_policy_loss": -0.079,
      "step": 7364
    },
    {
      "epoch": 1.9642666666666666,
      "grad_norm": 0.17349690198898315,
      "learning_rate": 9e-08,
      "loss": -0.0883,
      "on_policy_loss": -0.0883,
      "step": 7366
    },
    {
      "epoch": 1.9647999999999999,
      "grad_norm": 0.20575575530529022,
      "learning_rate": 8.866666666666668e-08,
      "loss": -0.0796,
      "on_policy_loss": -0.0796,
      "step": 7368
    },
    {
      "epoch": 1.9653333333333334,
      "grad_norm": 0.20275326073169708,
      "learning_rate": 8.733333333333333e-08,
      "loss": -0.0862,
      "on_policy_loss": -0.0862,
      "step": 7370
    },
    {
      "epoch": 1.9658666666666667,
      "grad_norm": 0.16264943778514862,
      "learning_rate": 8.6e-08,
      "loss": -0.0837,
      "on_policy_loss": -0.0837,
      "step": 7372
    },
    {
      "epoch": 1.9664000000000001,
      "grad_norm": 0.19375890493392944,
      "learning_rate": 8.466666666666668e-08,
      "loss": -0.0878,
      "on_policy_loss": -0.0878,
      "step": 7374
    },
    {
      "epoch": 1.9669333333333334,
      "grad_norm": 0.17624329030513763,
      "learning_rate": 8.333333333333334e-08,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 7376
    },
    {
      "epoch": 1.9674666666666667,
      "grad_norm": 0.221980020403862,
      "learning_rate": 8.200000000000002e-08,
      "loss": -0.0823,
      "on_policy_loss": -0.0823,
      "step": 7378
    },
    {
      "epoch": 1.968,
      "grad_norm": 0.19605259597301483,
      "learning_rate": 8.066666666666667e-08,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 7380
    },
    {
      "epoch": 1.9685333333333332,
      "grad_norm": 0.19073310494422913,
      "learning_rate": 7.933333333333334e-08,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 7382
    },
    {
      "epoch": 1.9690666666666665,
      "grad_norm": 0.19305431842803955,
      "learning_rate": 7.8e-08,
      "loss": -0.0831,
      "on_policy_loss": -0.0831,
      "step": 7384
    },
    {
      "epoch": 1.9696,
      "grad_norm": 0.17815789580345154,
      "learning_rate": 7.666666666666666e-08,
      "loss": -0.0771,
      "on_policy_loss": -0.0771,
      "step": 7386
    },
    {
      "epoch": 1.9701333333333333,
      "grad_norm": 0.18587063252925873,
      "learning_rate": 7.533333333333335e-08,
      "loss": -0.0826,
      "on_policy_loss": -0.0826,
      "step": 7388
    },
    {
      "epoch": 1.9706666666666668,
      "grad_norm": 0.16231335699558258,
      "learning_rate": 7.400000000000001e-08,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 7390
    },
    {
      "epoch": 1.9712,
      "grad_norm": 0.1695101410150528,
      "learning_rate": 7.266666666666667e-08,
      "loss": -0.08,
      "on_policy_loss": -0.08,
      "step": 7392
    },
    {
      "epoch": 1.9717333333333333,
      "grad_norm": 0.16865427792072296,
      "learning_rate": 7.133333333333334e-08,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 7394
    },
    {
      "epoch": 1.9722666666666666,
      "grad_norm": 0.20018437504768372,
      "learning_rate": 7e-08,
      "loss": -0.0891,
      "on_policy_loss": -0.0891,
      "step": 7396
    },
    {
      "epoch": 1.9727999999999999,
      "grad_norm": 0.1935058832168579,
      "learning_rate": 6.866666666666667e-08,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 7398
    },
    {
      "epoch": 1.9733333333333334,
      "grad_norm": 0.1833246797323227,
      "learning_rate": 6.733333333333334e-08,
      "loss": -0.0854,
      "on_policy_loss": -0.0854,
      "step": 7400
    },
    {
      "epoch": 1.9738666666666667,
      "grad_norm": 0.2172829508781433,
      "learning_rate": 6.600000000000001e-08,
      "loss": -0.0808,
      "on_policy_loss": -0.0808,
      "step": 7402
    },
    {
      "epoch": 1.9744000000000002,
      "grad_norm": 0.16498389840126038,
      "learning_rate": 6.466666666666668e-08,
      "loss": -0.0854,
      "on_policy_loss": -0.0854,
      "step": 7404
    },
    {
      "epoch": 1.9749333333333334,
      "grad_norm": 0.19731415808200836,
      "learning_rate": 6.333333333333333e-08,
      "loss": -0.086,
      "on_policy_loss": -0.086,
      "step": 7406
    },
    {
      "epoch": 1.9754666666666667,
      "grad_norm": 0.1596238762140274,
      "learning_rate": 6.2e-08,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 7408
    },
    {
      "epoch": 1.976,
      "grad_norm": 0.24433885514736176,
      "learning_rate": 6.066666666666667e-08,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 7410
    },
    {
      "epoch": 1.9765333333333333,
      "grad_norm": 0.20780207216739655,
      "learning_rate": 5.9333333333333335e-08,
      "loss": -0.0839,
      "on_policy_loss": -0.0839,
      "step": 7412
    },
    {
      "epoch": 1.9770666666666665,
      "grad_norm": 0.2111232727766037,
      "learning_rate": 5.8e-08,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 7414
    },
    {
      "epoch": 1.9776,
      "grad_norm": 0.2309487760066986,
      "learning_rate": 5.666666666666668e-08,
      "loss": -0.0813,
      "on_policy_loss": -0.0813,
      "step": 7416
    },
    {
      "epoch": 1.9781333333333333,
      "grad_norm": 0.21111156046390533,
      "learning_rate": 5.533333333333334e-08,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 7418
    },
    {
      "epoch": 1.9786666666666668,
      "grad_norm": 0.1585453897714615,
      "learning_rate": 5.400000000000001e-08,
      "loss": -0.0783,
      "on_policy_loss": -0.0783,
      "step": 7420
    },
    {
      "epoch": 1.9792,
      "grad_norm": 0.16496728360652924,
      "learning_rate": 5.2666666666666675e-08,
      "loss": -0.084,
      "on_policy_loss": -0.084,
      "step": 7422
    },
    {
      "epoch": 1.9797333333333333,
      "grad_norm": 0.21610130369663239,
      "learning_rate": 5.1333333333333336e-08,
      "loss": -0.0819,
      "on_policy_loss": -0.0819,
      "step": 7424
    },
    {
      "epoch": 1.9802666666666666,
      "grad_norm": 0.1875019669532776,
      "learning_rate": 5.0000000000000004e-08,
      "loss": -0.0781,
      "on_policy_loss": -0.0781,
      "step": 7426
    },
    {
      "epoch": 1.9808,
      "grad_norm": 0.1899401694536209,
      "learning_rate": 4.866666666666667e-08,
      "loss": -0.0853,
      "on_policy_loss": -0.0853,
      "step": 7428
    },
    {
      "epoch": 1.9813333333333332,
      "grad_norm": 0.15544664859771729,
      "learning_rate": 4.733333333333334e-08,
      "loss": -0.0837,
      "on_policy_loss": -0.0837,
      "step": 7430
    },
    {
      "epoch": 1.9818666666666667,
      "grad_norm": 0.1794450581073761,
      "learning_rate": 4.6e-08,
      "loss": -0.0763,
      "on_policy_loss": -0.0763,
      "step": 7432
    },
    {
      "epoch": 1.9824000000000002,
      "grad_norm": 0.20959466695785522,
      "learning_rate": 4.466666666666667e-08,
      "loss": -0.0812,
      "on_policy_loss": -0.0812,
      "step": 7434
    },
    {
      "epoch": 1.9829333333333334,
      "grad_norm": 0.1870066076517105,
      "learning_rate": 4.333333333333334e-08,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 7436
    },
    {
      "epoch": 1.9834666666666667,
      "grad_norm": 0.1674109399318695,
      "learning_rate": 4.2e-08,
      "loss": -0.084,
      "on_policy_loss": -0.084,
      "step": 7438
    },
    {
      "epoch": 1.984,
      "grad_norm": 0.2099790722131729,
      "learning_rate": 4.066666666666667e-08,
      "loss": -0.0824,
      "on_policy_loss": -0.0824,
      "step": 7440
    },
    {
      "epoch": 1.9845333333333333,
      "grad_norm": 0.17715443670749664,
      "learning_rate": 3.9333333333333335e-08,
      "loss": -0.083,
      "on_policy_loss": -0.083,
      "step": 7442
    },
    {
      "epoch": 1.9850666666666665,
      "grad_norm": 0.20988969504833221,
      "learning_rate": 3.8e-08,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 7444
    },
    {
      "epoch": 1.9856,
      "grad_norm": 0.1697559356689453,
      "learning_rate": 3.666666666666667e-08,
      "loss": -0.0846,
      "on_policy_loss": -0.0846,
      "step": 7446
    },
    {
      "epoch": 1.9861333333333333,
      "grad_norm": 0.17636863887310028,
      "learning_rate": 3.533333333333333e-08,
      "loss": -0.0822,
      "on_policy_loss": -0.0822,
      "step": 7448
    },
    {
      "epoch": 1.9866666666666668,
      "grad_norm": 0.1856122612953186,
      "learning_rate": 3.4e-08,
      "loss": -0.0865,
      "on_policy_loss": -0.0865,
      "step": 7450
    },
    {
      "epoch": 1.9872,
      "grad_norm": 0.22364558279514313,
      "learning_rate": 3.266666666666667e-08,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 7452
    },
    {
      "epoch": 1.9877333333333334,
      "grad_norm": 0.23007211089134216,
      "learning_rate": 3.1333333333333336e-08,
      "loss": -0.084,
      "on_policy_loss": -0.084,
      "step": 7454
    },
    {
      "epoch": 1.9882666666666666,
      "grad_norm": 0.1732109934091568,
      "learning_rate": 3.0000000000000004e-08,
      "loss": -0.0851,
      "on_policy_loss": -0.0851,
      "step": 7456
    },
    {
      "epoch": 1.9888,
      "grad_norm": 0.16016677021980286,
      "learning_rate": 2.866666666666667e-08,
      "loss": -0.0766,
      "on_policy_loss": -0.0766,
      "step": 7458
    },
    {
      "epoch": 1.9893333333333332,
      "grad_norm": 0.19377978146076202,
      "learning_rate": 2.7333333333333337e-08,
      "loss": -0.0835,
      "on_policy_loss": -0.0835,
      "step": 7460
    },
    {
      "epoch": 1.9898666666666667,
      "grad_norm": 0.16671158373355865,
      "learning_rate": 2.6e-08,
      "loss": -0.0815,
      "on_policy_loss": -0.0815,
      "step": 7462
    },
    {
      "epoch": 1.9904,
      "grad_norm": 0.18206268548965454,
      "learning_rate": 2.4666666666666666e-08,
      "loss": -0.0811,
      "on_policy_loss": -0.0811,
      "step": 7464
    },
    {
      "epoch": 1.9909333333333334,
      "grad_norm": 0.1849646419286728,
      "learning_rate": 2.3333333333333337e-08,
      "loss": -0.082,
      "on_policy_loss": -0.082,
      "step": 7466
    },
    {
      "epoch": 1.9914666666666667,
      "grad_norm": 0.21247491240501404,
      "learning_rate": 2.2000000000000002e-08,
      "loss": -0.0829,
      "on_policy_loss": -0.0829,
      "step": 7468
    },
    {
      "epoch": 1.992,
      "grad_norm": 0.17636914551258087,
      "learning_rate": 2.066666666666667e-08,
      "loss": -0.092,
      "on_policy_loss": -0.092,
      "step": 7470
    },
    {
      "epoch": 1.9925333333333333,
      "grad_norm": 0.1827961802482605,
      "learning_rate": 1.9333333333333334e-08,
      "loss": -0.0807,
      "on_policy_loss": -0.0807,
      "step": 7472
    },
    {
      "epoch": 1.9930666666666665,
      "grad_norm": 0.24493779242038727,
      "learning_rate": 1.8000000000000002e-08,
      "loss": -0.0858,
      "on_policy_loss": -0.0858,
      "step": 7474
    },
    {
      "epoch": 1.9936,
      "grad_norm": 0.22528764605522156,
      "learning_rate": 1.666666666666667e-08,
      "loss": -0.0838,
      "on_policy_loss": -0.0838,
      "step": 7476
    },
    {
      "epoch": 1.9941333333333333,
      "grad_norm": 0.20023275911808014,
      "learning_rate": 1.5333333333333335e-08,
      "loss": -0.0843,
      "on_policy_loss": -0.0843,
      "step": 7478
    },
    {
      "epoch": 1.9946666666666668,
      "grad_norm": 0.17687207460403442,
      "learning_rate": 1.4000000000000001e-08,
      "loss": -0.0844,
      "on_policy_loss": -0.0844,
      "step": 7480
    },
    {
      "epoch": 1.9952,
      "grad_norm": 0.2038964182138443,
      "learning_rate": 1.2666666666666668e-08,
      "loss": -0.0857,
      "on_policy_loss": -0.0857,
      "step": 7482
    },
    {
      "epoch": 1.9957333333333334,
      "grad_norm": 0.19011680781841278,
      "learning_rate": 1.1333333333333336e-08,
      "loss": -0.0857,
      "on_policy_loss": -0.0857,
      "step": 7484
    },
    {
      "epoch": 1.9962666666666666,
      "grad_norm": 0.21546845138072968,
      "learning_rate": 1e-08,
      "loss": -0.0817,
      "on_policy_loss": -0.0817,
      "step": 7486
    },
    {
      "epoch": 1.9968,
      "grad_norm": 0.1820450723171234,
      "learning_rate": 8.666666666666667e-09,
      "loss": -0.0842,
      "on_policy_loss": -0.0842,
      "step": 7488
    },
    {
      "epoch": 1.9973333333333332,
      "grad_norm": 0.20977860689163208,
      "learning_rate": 7.333333333333334e-09,
      "loss": -0.0803,
      "on_policy_loss": -0.0803,
      "step": 7490
    },
    {
      "epoch": 1.9978666666666667,
      "grad_norm": 0.20054097473621368,
      "learning_rate": 6e-09,
      "loss": -0.0795,
      "on_policy_loss": -0.0795,
      "step": 7492
    },
    {
      "epoch": 1.9984,
      "grad_norm": 0.18265953660011292,
      "learning_rate": 4.666666666666667e-09,
      "loss": -0.0849,
      "on_policy_loss": -0.0849,
      "step": 7494
    },
    {
      "epoch": 1.9989333333333335,
      "grad_norm": 0.1823139488697052,
      "learning_rate": 3.3333333333333334e-09,
      "loss": -0.0777,
      "on_policy_loss": -0.0777,
      "step": 7496
    },
    {
      "epoch": 1.9994666666666667,
      "grad_norm": 0.19862405955791473,
      "learning_rate": 2e-09,
      "loss": -0.0816,
      "on_policy_loss": -0.0816,
      "step": 7498
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.15750440955162048,
      "learning_rate": 6.666666666666667e-10,
      "loss": -0.0836,
      "on_policy_loss": -0.0836,
      "step": 7500
    }
  ],
  "logging_steps": 2,
  "max_steps": 7500,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 2,
  "save_steps": 125,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 0.0,
  "train_batch_size": 2,
  "trial_name": null,
  "trial_params": null
}