{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 2.0,
  "eval_steps": 500,
  "global_step": 3000,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0013333333333333333,
      "grad_norm": 2.609375,
      "learning_rate": 5.555555555555556e-08,
      "loss": 1.426961898803711,
      "step": 2
    },
    {
      "epoch": 0.0026666666666666666,
      "grad_norm": 4.03125,
      "learning_rate": 1.6666666666666668e-07,
      "loss": 1.0918725728988647,
      "step": 4
    },
    {
      "epoch": 0.004,
      "grad_norm": 12.5,
      "learning_rate": 2.7777777777777776e-07,
      "loss": 2.423412799835205,
      "step": 6
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 7.78125,
      "learning_rate": 3.8888888888888895e-07,
      "loss": 2.086796760559082,
      "step": 8
    },
    {
      "epoch": 0.006666666666666667,
      "grad_norm": 18.0,
      "learning_rate": 5.000000000000001e-07,
      "loss": 2.240536689758301,
      "step": 10
    },
    {
      "epoch": 0.008,
      "grad_norm": 7.625,
      "learning_rate": 6.111111111111112e-07,
      "loss": 1.9187642335891724,
      "step": 12
    },
    {
      "epoch": 0.009333333333333334,
      "grad_norm": 11.375,
      "learning_rate": 7.222222222222222e-07,
      "loss": 1.9097466468811035,
      "step": 14
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 10.25,
      "learning_rate": 8.333333333333333e-07,
      "loss": 2.225918769836426,
      "step": 16
    },
    {
      "epoch": 0.012,
      "grad_norm": 14.5,
      "learning_rate": 9.444444444444445e-07,
      "loss": 2.5282227993011475,
      "step": 18
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 10.75,
      "learning_rate": 1.0555555555555557e-06,
      "loss": 1.9008896350860596,
      "step": 20
    },
    {
      "epoch": 0.014666666666666666,
      "grad_norm": 4.71875,
      "learning_rate": 1.1666666666666668e-06,
      "loss": 1.7159152030944824,
      "step": 22
    },
    {
      "epoch": 0.016,
      "grad_norm": 5.21875,
      "learning_rate": 1.2777777777777779e-06,
      "loss": 1.7458038330078125,
      "step": 24
    },
    {
      "epoch": 0.017333333333333333,
      "grad_norm": 2.359375,
      "learning_rate": 1.3888888888888892e-06,
      "loss": 1.1576664447784424,
      "step": 26
    },
    {
      "epoch": 0.018666666666666668,
      "grad_norm": 7.125,
      "learning_rate": 1.5e-06,
      "loss": 1.8780293464660645,
      "step": 28
    },
    {
      "epoch": 0.02,
      "grad_norm": 6.28125,
      "learning_rate": 1.6111111111111113e-06,
      "loss": 1.9322218894958496,
      "step": 30
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 7.5,
      "learning_rate": 1.7222222222222224e-06,
      "loss": 1.9480838775634766,
      "step": 32
    },
    {
      "epoch": 0.02266666666666667,
      "grad_norm": 12.8125,
      "learning_rate": 1.8333333333333333e-06,
      "loss": 1.7671797275543213,
      "step": 34
    },
    {
      "epoch": 0.024,
      "grad_norm": 6.5625,
      "learning_rate": 1.944444444444445e-06,
      "loss": 2.0959420204162598,
      "step": 36
    },
    {
      "epoch": 0.025333333333333333,
      "grad_norm": 2.4375,
      "learning_rate": 2.0555555555555555e-06,
      "loss": 1.345461130142212,
      "step": 38
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 8.4375,
      "learning_rate": 2.166666666666667e-06,
      "loss": 1.9457855224609375,
      "step": 40
    },
    {
      "epoch": 0.028,
      "grad_norm": 10.4375,
      "learning_rate": 2.277777777777778e-06,
      "loss": 2.2649214267730713,
      "step": 42
    },
    {
      "epoch": 0.029333333333333333,
      "grad_norm": 8.875,
      "learning_rate": 2.388888888888889e-06,
      "loss": 2.0627341270446777,
      "step": 44
    },
    {
      "epoch": 0.030666666666666665,
      "grad_norm": 12.0,
      "learning_rate": 2.5e-06,
      "loss": 2.0446112155914307,
      "step": 46
    },
    {
      "epoch": 0.032,
      "grad_norm": 8.5,
      "learning_rate": 2.6111111111111113e-06,
      "loss": 2.0606207847595215,
      "step": 48
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 9.125,
      "learning_rate": 2.7222222222222224e-06,
      "loss": 1.1834385395050049,
      "step": 50
    },
    {
      "epoch": 0.034666666666666665,
      "grad_norm": 14.5625,
      "learning_rate": 2.8333333333333335e-06,
      "loss": 2.575603485107422,
      "step": 52
    },
    {
      "epoch": 0.036,
      "grad_norm": 13.125,
      "learning_rate": 2.944444444444445e-06,
      "loss": 2.113842248916626,
      "step": 54
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 14.1875,
      "learning_rate": 3.055555555555556e-06,
      "loss": 2.4097142219543457,
      "step": 56
    },
    {
      "epoch": 0.03866666666666667,
      "grad_norm": 11.4375,
      "learning_rate": 3.1666666666666667e-06,
      "loss": 2.4086174964904785,
      "step": 58
    },
    {
      "epoch": 0.04,
      "grad_norm": 4.09375,
      "learning_rate": 3.277777777777778e-06,
      "loss": 1.1603543758392334,
      "step": 60
    },
    {
      "epoch": 0.04133333333333333,
      "grad_norm": 31.75,
      "learning_rate": 3.3888888888888893e-06,
      "loss": 2.3727102279663086,
      "step": 62
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 12.875,
      "learning_rate": 3.5e-06,
      "loss": 2.0453083515167236,
      "step": 64
    },
    {
      "epoch": 0.044,
      "grad_norm": 3.890625,
      "learning_rate": 3.6111111111111115e-06,
      "loss": 1.0684235095977783,
      "step": 66
    },
    {
      "epoch": 0.04533333333333334,
      "grad_norm": 2.046875,
      "learning_rate": 3.7222222222222225e-06,
      "loss": 1.058991551399231,
      "step": 68
    },
    {
      "epoch": 0.04666666666666667,
      "grad_norm": 9.3125,
      "learning_rate": 3.833333333333334e-06,
      "loss": 1.9442476034164429,
      "step": 70
    },
    {
      "epoch": 0.048,
      "grad_norm": 22.125,
      "learning_rate": 3.944444444444445e-06,
      "loss": 1.7541954517364502,
      "step": 72
    },
    {
      "epoch": 0.04933333333333333,
      "grad_norm": 2.953125,
      "learning_rate": 4.055555555555556e-06,
      "loss": 1.195051908493042,
      "step": 74
    },
    {
      "epoch": 0.050666666666666665,
      "grad_norm": 14.25,
      "learning_rate": 4.166666666666667e-06,
      "loss": 2.3182945251464844,
      "step": 76
    },
    {
      "epoch": 0.052,
      "grad_norm": 5.59375,
      "learning_rate": 4.277777777777778e-06,
      "loss": 1.9007854461669922,
      "step": 78
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 2.734375,
      "learning_rate": 4.388888888888889e-06,
      "loss": 1.282339096069336,
      "step": 80
    },
    {
      "epoch": 0.05466666666666667,
      "grad_norm": 12.375,
      "learning_rate": 4.5e-06,
      "loss": 2.4606080055236816,
      "step": 82
    },
    {
      "epoch": 0.056,
      "grad_norm": 6.375,
      "learning_rate": 4.611111111111112e-06,
      "loss": 1.7879230976104736,
      "step": 84
    },
    {
      "epoch": 0.05733333333333333,
      "grad_norm": 6.375,
      "learning_rate": 4.722222222222222e-06,
      "loss": 1.8923945426940918,
      "step": 86
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 4.9375,
      "learning_rate": 4.833333333333333e-06,
      "loss": 1.7414391040802002,
      "step": 88
    },
    {
      "epoch": 0.06,
      "grad_norm": 2.5,
      "learning_rate": 4.944444444444445e-06,
      "loss": 1.2417337894439697,
      "step": 90
    },
    {
      "epoch": 0.06133333333333333,
      "grad_norm": 2.15625,
      "learning_rate": 4.999998834496116e-06,
      "loss": 1.0121757984161377,
      "step": 92
    },
    {
      "epoch": 0.06266666666666666,
      "grad_norm": 7.53125,
      "learning_rate": 4.999989510473192e-06,
      "loss": 1.7546613216400146,
      "step": 94
    },
    {
      "epoch": 0.064,
      "grad_norm": 9.4375,
      "learning_rate": 4.999970862470813e-06,
      "loss": 2.0210976600646973,
      "step": 96
    },
    {
      "epoch": 0.06533333333333333,
      "grad_norm": 15.6875,
      "learning_rate": 4.999942890575916e-06,
      "loss": 1.8761789798736572,
      "step": 98
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 5.4375,
      "learning_rate": 4.999905594918907e-06,
      "loss": 1.822148084640503,
      "step": 100
    },
    {
      "epoch": 0.068,
      "grad_norm": 7.03125,
      "learning_rate": 4.999858975673658e-06,
      "loss": 1.699061393737793,
      "step": 102
    },
    {
      "epoch": 0.06933333333333333,
      "grad_norm": 7.0625,
      "learning_rate": 4.999803033057509e-06,
      "loss": 1.9554791450500488,
      "step": 104
    },
    {
      "epoch": 0.07066666666666667,
      "grad_norm": 4.96875,
      "learning_rate": 4.999737767331265e-06,
      "loss": 1.9270014762878418,
      "step": 106
    },
    {
      "epoch": 0.072,
      "grad_norm": 8.0625,
      "learning_rate": 4.999663178799196e-06,
      "loss": 1.8165018558502197,
      "step": 108
    },
    {
      "epoch": 0.07333333333333333,
      "grad_norm": 10.3125,
      "learning_rate": 4.999579267809035e-06,
      "loss": 2.142543315887451,
      "step": 110
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 11.1875,
      "learning_rate": 4.999486034751976e-06,
      "loss": 2.3485541343688965,
      "step": 112
    },
    {
      "epoch": 0.076,
      "grad_norm": 7.78125,
      "learning_rate": 4.999383480062672e-06,
      "loss": 1.2716255187988281,
      "step": 114
    },
    {
      "epoch": 0.07733333333333334,
      "grad_norm": 4.53125,
      "learning_rate": 4.9992716042192355e-06,
      "loss": 1.8018227815628052,
      "step": 116
    },
    {
      "epoch": 0.07866666666666666,
      "grad_norm": 2.1875,
      "learning_rate": 4.999150407743234e-06,
      "loss": 1.3383140563964844,
      "step": 118
    },
    {
      "epoch": 0.08,
      "grad_norm": 8.625,
      "learning_rate": 4.999019891199685e-06,
      "loss": 1.7377729415893555,
      "step": 120
    },
    {
      "epoch": 0.08133333333333333,
      "grad_norm": 7.28125,
      "learning_rate": 4.9988800551970595e-06,
      "loss": 1.9425296783447266,
      "step": 122
    },
    {
      "epoch": 0.08266666666666667,
      "grad_norm": 3.328125,
      "learning_rate": 4.998730900387276e-06,
      "loss": 1.3355326652526855,
      "step": 124
    },
    {
      "epoch": 0.084,
      "grad_norm": 3.84375,
      "learning_rate": 4.998572427465695e-06,
      "loss": 1.3544648885726929,
      "step": 126
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 2.4375,
      "learning_rate": 4.99840463717112e-06,
      "loss": 1.1902351379394531,
      "step": 128
    },
    {
      "epoch": 0.08666666666666667,
      "grad_norm": 3.4375,
      "learning_rate": 4.998227530285792e-06,
      "loss": 1.426368236541748,
      "step": 130
    },
    {
      "epoch": 0.088,
      "grad_norm": 7.90625,
      "learning_rate": 4.998041107635385e-06,
      "loss": 2.050642490386963,
      "step": 132
    },
    {
      "epoch": 0.08933333333333333,
      "grad_norm": 15.3125,
      "learning_rate": 4.9978453700890035e-06,
      "loss": 2.2510485649108887,
      "step": 134
    },
    {
      "epoch": 0.09066666666666667,
      "grad_norm": 5.65625,
      "learning_rate": 4.997640318559182e-06,
      "loss": 1.8200645446777344,
      "step": 136
    },
    {
      "epoch": 0.092,
      "grad_norm": 12.4375,
      "learning_rate": 4.99742595400187e-06,
      "loss": 2.2968640327453613,
      "step": 138
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 3.125,
      "learning_rate": 4.997202277416439e-06,
      "loss": 1.460419774055481,
      "step": 140
    },
    {
      "epoch": 0.09466666666666666,
      "grad_norm": 6.0625,
      "learning_rate": 4.996969289845675e-06,
      "loss": 1.9615103006362915,
      "step": 142
    },
    {
      "epoch": 0.096,
      "grad_norm": 5.875,
      "learning_rate": 4.9967269923757654e-06,
      "loss": 1.1230132579803467,
      "step": 144
    },
    {
      "epoch": 0.09733333333333333,
      "grad_norm": 25.5,
      "learning_rate": 4.996475386136307e-06,
      "loss": 2.2492356300354004,
      "step": 146
    },
    {
      "epoch": 0.09866666666666667,
      "grad_norm": 6.59375,
      "learning_rate": 4.996214472300291e-06,
      "loss": 1.7113642692565918,
      "step": 148
    },
    {
      "epoch": 0.1,
      "grad_norm": 4.75,
      "learning_rate": 4.995944252084101e-06,
      "loss": 1.7024157047271729,
      "step": 150
    },
    {
      "epoch": 0.10133333333333333,
      "grad_norm": 6.1875,
      "learning_rate": 4.995664726747508e-06,
      "loss": 2.0609498023986816,
      "step": 152
    },
    {
      "epoch": 0.10266666666666667,
      "grad_norm": 8.25,
      "learning_rate": 4.9953758975936614e-06,
      "loss": 1.9138317108154297,
      "step": 154
    },
    {
      "epoch": 0.104,
      "grad_norm": 10.9375,
      "learning_rate": 4.99507776596909e-06,
      "loss": 1.7415437698364258,
      "step": 156
    },
    {
      "epoch": 0.10533333333333333,
      "grad_norm": 1.53125,
      "learning_rate": 4.9947703332636855e-06,
      "loss": 1.1183407306671143,
      "step": 158
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 6.1875,
      "learning_rate": 4.994453600910705e-06,
      "loss": 1.7093825340270996,
      "step": 160
    },
    {
      "epoch": 0.108,
      "grad_norm": 4.5625,
      "learning_rate": 4.994127570386756e-06,
      "loss": 1.763106107711792,
      "step": 162
    },
    {
      "epoch": 0.10933333333333334,
      "grad_norm": 4.4375,
      "learning_rate": 4.993792243211802e-06,
      "loss": 1.8390214443206787,
      "step": 164
    },
    {
      "epoch": 0.11066666666666666,
      "grad_norm": 1.890625,
      "learning_rate": 4.99344762094914e-06,
      "loss": 1.1439769268035889,
      "step": 166
    },
    {
      "epoch": 0.112,
      "grad_norm": 4.71875,
      "learning_rate": 4.993093705205404e-06,
      "loss": 1.956803560256958,
      "step": 168
    },
    {
      "epoch": 0.11333333333333333,
      "grad_norm": 4.8125,
      "learning_rate": 4.992730497630555e-06,
      "loss": 1.7778558731079102,
      "step": 170
    },
    {
      "epoch": 0.11466666666666667,
      "grad_norm": 10.6875,
      "learning_rate": 4.992357999917872e-06,
      "loss": 1.721332311630249,
      "step": 172
    },
    {
      "epoch": 0.116,
      "grad_norm": 4.15625,
      "learning_rate": 4.991976213803943e-06,
      "loss": 1.1456602811813354,
      "step": 174
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 3.671875,
      "learning_rate": 4.991585141068663e-06,
      "loss": 1.2858262062072754,
      "step": 176
    },
    {
      "epoch": 0.11866666666666667,
      "grad_norm": 8.3125,
      "learning_rate": 4.9911847835352165e-06,
      "loss": 1.947248935699463,
      "step": 178
    },
    {
      "epoch": 0.12,
      "grad_norm": 7.09375,
      "learning_rate": 4.990775143070077e-06,
      "loss": 1.9594460725784302,
      "step": 180
    },
    {
      "epoch": 0.12133333333333333,
      "grad_norm": 5.21875,
      "learning_rate": 4.990356221582993e-06,
      "loss": 1.7351645231246948,
      "step": 182
    },
    {
      "epoch": 0.12266666666666666,
      "grad_norm": 4.75,
      "learning_rate": 4.989928021026984e-06,
      "loss": 1.7385591268539429,
      "step": 184
    },
    {
      "epoch": 0.124,
      "grad_norm": 4.8125,
      "learning_rate": 4.989490543398327e-06,
      "loss": 1.6152522563934326,
      "step": 186
    },
    {
      "epoch": 0.12533333333333332,
      "grad_norm": 9.1875,
      "learning_rate": 4.9890437907365475e-06,
      "loss": 1.811694860458374,
      "step": 188
    },
    {
      "epoch": 0.12666666666666668,
      "grad_norm": 5.4375,
      "learning_rate": 4.9885877651244134e-06,
      "loss": 1.835113525390625,
      "step": 190
    },
    {
      "epoch": 0.128,
      "grad_norm": 4.75,
      "learning_rate": 4.988122468687922e-06,
      "loss": 1.6793406009674072,
      "step": 192
    },
    {
      "epoch": 0.12933333333333333,
      "grad_norm": 15.625,
      "learning_rate": 4.9876479035962935e-06,
      "loss": 1.0911662578582764,
      "step": 194
    },
    {
      "epoch": 0.13066666666666665,
      "grad_norm": 18.25,
      "learning_rate": 4.987164072061957e-06,
      "loss": 2.131570816040039,
      "step": 196
    },
    {
      "epoch": 0.132,
      "grad_norm": 4.5,
      "learning_rate": 4.986670976340538e-06,
      "loss": 1.7224147319793701,
      "step": 198
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 2.03125,
      "learning_rate": 4.986168618730861e-06,
      "loss": 1.1881237030029297,
      "step": 200
    },
    {
      "epoch": 0.13466666666666666,
      "grad_norm": 9.1875,
      "learning_rate": 4.9856570015749225e-06,
      "loss": 1.8460280895233154,
      "step": 202
    },
    {
      "epoch": 0.136,
      "grad_norm": 9.3125,
      "learning_rate": 4.985136127257888e-06,
      "loss": 2.2090723514556885,
      "step": 204
    },
    {
      "epoch": 0.13733333333333334,
      "grad_norm": 4.4375,
      "learning_rate": 4.984605998208081e-06,
      "loss": 1.6706668138504028,
      "step": 206
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 4.875,
      "learning_rate": 4.984066616896972e-06,
      "loss": 1.7842729091644287,
      "step": 208
    },
    {
      "epoch": 0.14,
      "grad_norm": 2.734375,
      "learning_rate": 4.9835179858391625e-06,
      "loss": 1.0649902820587158,
      "step": 210
    },
    {
      "epoch": 0.14133333333333334,
      "grad_norm": 5.28125,
      "learning_rate": 4.982960107592379e-06,
      "loss": 1.7180755138397217,
      "step": 212
    },
    {
      "epoch": 0.14266666666666666,
      "grad_norm": 8.5,
      "learning_rate": 4.982392984757459e-06,
      "loss": 2.1030969619750977,
      "step": 214
    },
    {
      "epoch": 0.144,
      "grad_norm": 3.359375,
      "learning_rate": 4.981816619978337e-06,
      "loss": 1.277032494544983,
      "step": 216
    },
    {
      "epoch": 0.14533333333333334,
      "grad_norm": 6.78125,
      "learning_rate": 4.981231015942032e-06,
      "loss": 2.0104990005493164,
      "step": 218
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 5.5,
      "learning_rate": 4.980636175378639e-06,
      "loss": 1.7849645614624023,
      "step": 220
    },
    {
      "epoch": 0.148,
      "grad_norm": 9.8125,
      "learning_rate": 4.980032101061314e-06,
      "loss": 2.0194921493530273,
      "step": 222
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 6.6875,
      "learning_rate": 4.979418795806259e-06,
      "loss": 1.7740180492401123,
      "step": 224
    },
    {
      "epoch": 0.15066666666666667,
      "grad_norm": 6.65625,
      "learning_rate": 4.978796262472713e-06,
      "loss": 2.1783909797668457,
      "step": 226
    },
    {
      "epoch": 0.152,
      "grad_norm": 21.125,
      "learning_rate": 4.978164503962933e-06,
      "loss": 1.5254769325256348,
      "step": 228
    },
    {
      "epoch": 0.15333333333333332,
      "grad_norm": 5.375,
      "learning_rate": 4.9775235232221895e-06,
      "loss": 1.6781322956085205,
      "step": 230
    },
    {
      "epoch": 0.15466666666666667,
      "grad_norm": 7.09375,
      "learning_rate": 4.976873323238741e-06,
      "loss": 1.8562153577804565,
      "step": 232
    },
    {
      "epoch": 0.156,
      "grad_norm": 14.6875,
      "learning_rate": 4.976213907043831e-06,
      "loss": 1.696861743927002,
      "step": 234
    },
    {
      "epoch": 0.15733333333333333,
      "grad_norm": 12.5,
      "learning_rate": 4.975545277711665e-06,
      "loss": 1.8190127611160278,
      "step": 236
    },
    {
      "epoch": 0.15866666666666668,
      "grad_norm": 16.75,
      "learning_rate": 4.974867438359404e-06,
      "loss": 2.1855759620666504,
      "step": 238
    },
    {
      "epoch": 0.16,
      "grad_norm": 6.6875,
      "learning_rate": 4.974180392147145e-06,
      "loss": 1.3512318134307861,
      "step": 240
    },
    {
      "epoch": 0.16133333333333333,
      "grad_norm": 6.0,
      "learning_rate": 4.973484142277905e-06,
      "loss": 1.6209347248077393,
      "step": 242
    },
    {
      "epoch": 0.16266666666666665,
      "grad_norm": 7.59375,
      "learning_rate": 4.9727786919976125e-06,
      "loss": 2.101145029067993,
      "step": 244
    },
    {
      "epoch": 0.164,
      "grad_norm": 5.0625,
      "learning_rate": 4.972064044595087e-06,
      "loss": 1.5044230222702026,
      "step": 246
    },
    {
      "epoch": 0.16533333333333333,
      "grad_norm": 3.8125,
      "learning_rate": 4.971340203402024e-06,
      "loss": 1.6177122592926025,
      "step": 248
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 5.0,
      "learning_rate": 4.970607171792981e-06,
      "loss": 1.740015983581543,
      "step": 250
    },
    {
      "epoch": 0.168,
      "grad_norm": 4.46875,
      "learning_rate": 4.969864953185364e-06,
      "loss": 1.7631562948226929,
      "step": 252
    },
    {
      "epoch": 0.16933333333333334,
      "grad_norm": 2.625,
      "learning_rate": 4.969113551039403e-06,
      "loss": 1.0950901508331299,
      "step": 254
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 4.1875,
      "learning_rate": 4.968352968858149e-06,
      "loss": 1.806433916091919,
      "step": 256
    },
    {
      "epoch": 0.172,
      "grad_norm": 4.84375,
      "learning_rate": 4.967583210187445e-06,
      "loss": 1.367830753326416,
      "step": 258
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 5.875,
      "learning_rate": 4.9668042786159176e-06,
      "loss": 2.118488073348999,
      "step": 260
    },
    {
      "epoch": 0.17466666666666666,
      "grad_norm": 6.0625,
      "learning_rate": 4.966016177774956e-06,
      "loss": 1.6788520812988281,
      "step": 262
    },
    {
      "epoch": 0.176,
      "grad_norm": 2.6875,
      "learning_rate": 4.965218911338698e-06,
      "loss": 1.3210437297821045,
      "step": 264
    },
    {
      "epoch": 0.17733333333333334,
      "grad_norm": 6.875,
      "learning_rate": 4.964412483024012e-06,
      "loss": 1.92716646194458,
      "step": 266
    },
    {
      "epoch": 0.17866666666666667,
      "grad_norm": 7.03125,
      "learning_rate": 4.963596896590476e-06,
      "loss": 1.7592105865478516,
      "step": 268
    },
    {
      "epoch": 0.18,
      "grad_norm": 2.5625,
      "learning_rate": 4.962772155840368e-06,
      "loss": 1.0765562057495117,
      "step": 270
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 4.78125,
      "learning_rate": 4.961938264618638e-06,
      "loss": 1.4803953170776367,
      "step": 272
    },
    {
      "epoch": 0.18266666666666667,
      "grad_norm": 3.3125,
      "learning_rate": 4.961095226812902e-06,
      "loss": 1.6097404956817627,
      "step": 274
    },
    {
      "epoch": 0.184,
      "grad_norm": 5.4375,
      "learning_rate": 4.960243046353411e-06,
      "loss": 1.7037537097930908,
      "step": 276
    },
    {
      "epoch": 0.18533333333333332,
      "grad_norm": 14.75,
      "learning_rate": 4.959381727213046e-06,
      "loss": 2.05832576751709,
      "step": 278
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 1.953125,
      "learning_rate": 4.958511273407287e-06,
      "loss": 1.2026753425598145,
      "step": 280
    },
    {
      "epoch": 0.188,
      "grad_norm": 2.484375,
      "learning_rate": 4.957631688994202e-06,
      "loss": 1.1111297607421875,
      "step": 282
    },
    {
      "epoch": 0.18933333333333333,
      "grad_norm": 5.1875,
      "learning_rate": 4.9567429780744256e-06,
      "loss": 1.7283909320831299,
      "step": 284
    },
    {
      "epoch": 0.19066666666666668,
      "grad_norm": 5.125,
      "learning_rate": 4.955845144791142e-06,
      "loss": 1.2416884899139404,
      "step": 286
    },
    {
      "epoch": 0.192,
      "grad_norm": 1.796875,
      "learning_rate": 4.954938193330061e-06,
      "loss": 1.023611068725586,
      "step": 288
    },
    {
      "epoch": 0.19333333333333333,
      "grad_norm": 2.5,
      "learning_rate": 4.954022127919406e-06,
      "loss": 1.2488538026809692,
      "step": 290
    },
    {
      "epoch": 0.19466666666666665,
      "grad_norm": 4.3125,
      "learning_rate": 4.953096952829883e-06,
      "loss": 1.7825567722320557,
      "step": 292
    },
    {
      "epoch": 0.196,
      "grad_norm": 6.96875,
      "learning_rate": 4.952162672374674e-06,
      "loss": 1.6962242126464844,
      "step": 294
    },
    {
      "epoch": 0.19733333333333333,
      "grad_norm": 8.8125,
      "learning_rate": 4.951219290909408e-06,
      "loss": 1.8218390941619873,
      "step": 296
    },
    {
      "epoch": 0.19866666666666666,
      "grad_norm": 4.375,
      "learning_rate": 4.9502668128321414e-06,
      "loss": 1.539631724357605,
      "step": 298
    },
    {
      "epoch": 0.2,
      "grad_norm": 4.6875,
      "learning_rate": 4.949305242583341e-06,
      "loss": 1.7179573774337769,
      "step": 300
    },
    {
      "epoch": 0.20133333333333334,
      "grad_norm": 15.0625,
      "learning_rate": 4.948334584645861e-06,
      "loss": 2.0600290298461914,
      "step": 302
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 31.875,
      "learning_rate": 4.9473548435449234e-06,
      "loss": 1.7066545486450195,
      "step": 304
    },
    {
      "epoch": 0.204,
      "grad_norm": 2.4375,
      "learning_rate": 4.946366023848093e-06,
      "loss": 1.2282570600509644,
      "step": 306
    },
    {
      "epoch": 0.20533333333333334,
      "grad_norm": 21.5,
      "learning_rate": 4.945368130165262e-06,
      "loss": 2.1756513118743896,
      "step": 308
    },
    {
      "epoch": 0.20666666666666667,
      "grad_norm": 4.6875,
      "learning_rate": 4.944361167148627e-06,
      "loss": 1.6938464641571045,
      "step": 310
    },
    {
      "epoch": 0.208,
      "grad_norm": 3.59375,
      "learning_rate": 4.943345139492662e-06,
      "loss": 1.200679063796997,
      "step": 312
    },
    {
      "epoch": 0.20933333333333334,
      "grad_norm": 1.875,
      "learning_rate": 4.9423200519341e-06,
      "loss": 1.150309681892395,
      "step": 314
    },
    {
      "epoch": 0.21066666666666667,
      "grad_norm": 4.90625,
      "learning_rate": 4.9412859092519195e-06,
      "loss": 1.66481614112854,
      "step": 316
    },
    {
      "epoch": 0.212,
      "grad_norm": 6.03125,
      "learning_rate": 4.9402427162673025e-06,
      "loss": 1.6321322917938232,
      "step": 318
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 24.875,
      "learning_rate": 4.939190477843634e-06,
      "loss": 1.3526780605316162,
      "step": 320
    },
    {
      "epoch": 0.21466666666666667,
      "grad_norm": 5.9375,
      "learning_rate": 4.938129198886462e-06,
      "loss": 1.9712560176849365,
      "step": 322
    },
    {
      "epoch": 0.216,
      "grad_norm": 4.6875,
      "learning_rate": 4.937058884343484e-06,
      "loss": 1.2531328201293945,
      "step": 324
    },
    {
      "epoch": 0.21733333333333332,
      "grad_norm": 8.375,
      "learning_rate": 4.9359795392045214e-06,
      "loss": 1.63519287109375,
      "step": 326
    },
    {
      "epoch": 0.21866666666666668,
      "grad_norm": 3.203125,
      "learning_rate": 4.934891168501499e-06,
      "loss": 1.183279275894165,
      "step": 328
    },
    {
      "epoch": 0.22,
      "grad_norm": 5.6875,
      "learning_rate": 4.933793777308415e-06,
      "loss": 1.3079423904418945,
      "step": 330
    },
    {
      "epoch": 0.22133333333333333,
      "grad_norm": 2.703125,
      "learning_rate": 4.932687370741321e-06,
      "loss": 1.2213515043258667,
      "step": 332
    },
    {
      "epoch": 0.22266666666666668,
      "grad_norm": 4.4375,
      "learning_rate": 4.9315719539583015e-06,
      "loss": 1.6351184844970703,
      "step": 334
    },
    {
      "epoch": 0.224,
      "grad_norm": 2.140625,
      "learning_rate": 4.930447532159446e-06,
      "loss": 1.0444347858428955,
      "step": 336
    },
    {
      "epoch": 0.22533333333333333,
      "grad_norm": 2.25,
      "learning_rate": 4.9293141105868245e-06,
      "loss": 1.169987678527832,
      "step": 338
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 7.875,
      "learning_rate": 4.928171694524464e-06,
      "loss": 2.0248818397521973,
      "step": 340
    },
    {
      "epoch": 0.228,
      "grad_norm": 5.21875,
      "learning_rate": 4.927020289298324e-06,
      "loss": 1.7401028871536255,
      "step": 342
    },
    {
      "epoch": 0.22933333333333333,
      "grad_norm": 4.0,
      "learning_rate": 4.925859900276273e-06,
      "loss": 1.1736500263214111,
      "step": 344
    },
    {
      "epoch": 0.23066666666666666,
      "grad_norm": 4.78125,
      "learning_rate": 4.924690532868062e-06,
      "loss": 1.6478643417358398,
      "step": 346
    },
    {
      "epoch": 0.232,
      "grad_norm": 10.75,
      "learning_rate": 4.923512192525295e-06,
      "loss": 2.1115689277648926,
      "step": 348
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 6.25,
      "learning_rate": 4.922324884741414e-06,
      "loss": 1.1784987449645996,
      "step": 350
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 8.875,
      "learning_rate": 4.921128615051664e-06,
      "loss": 1.7437598705291748,
      "step": 352
    },
    {
      "epoch": 0.236,
      "grad_norm": 2.0,
      "learning_rate": 4.919923389033073e-06,
      "loss": 1.086277961730957,
      "step": 354
    },
    {
      "epoch": 0.23733333333333334,
      "grad_norm": 9.0625,
      "learning_rate": 4.9187092123044185e-06,
      "loss": 1.7361807823181152,
      "step": 356
    },
    {
      "epoch": 0.23866666666666667,
      "grad_norm": 10.375,
      "learning_rate": 4.9174860905262125e-06,
      "loss": 2.1892127990722656,
      "step": 358
    },
    {
      "epoch": 0.24,
      "grad_norm": 10.5,
      "learning_rate": 4.916254029400664e-06,
      "loss": 1.6337263584136963,
      "step": 360
    },
    {
      "epoch": 0.24133333333333334,
      "grad_norm": 5.53125,
      "learning_rate": 4.9150130346716616e-06,
      "loss": 1.626597285270691,
      "step": 362
    },
    {
      "epoch": 0.24266666666666667,
      "grad_norm": 4.625,
      "learning_rate": 4.913763112124739e-06,
      "loss": 1.7248157262802124,
      "step": 364
    },
    {
      "epoch": 0.244,
      "grad_norm": 8.6875,
      "learning_rate": 4.912504267587052e-06,
      "loss": 2.0670700073242188,
      "step": 366
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 4.5625,
      "learning_rate": 4.911236506927353e-06,
      "loss": 1.2027419805526733,
      "step": 368
    },
    {
      "epoch": 0.24666666666666667,
      "grad_norm": 4.46875,
      "learning_rate": 4.909959836055958e-06,
      "loss": 1.6558904647827148,
      "step": 370
    },
    {
      "epoch": 0.248,
      "grad_norm": 3.734375,
      "learning_rate": 4.90867426092473e-06,
      "loss": 1.0571866035461426,
      "step": 372
    },
    {
      "epoch": 0.24933333333333332,
      "grad_norm": 4.40625,
      "learning_rate": 4.907379787527033e-06,
      "loss": 1.663063883781433,
      "step": 374
    },
    {
      "epoch": 0.25066666666666665,
      "grad_norm": 7.34375,
      "learning_rate": 4.906076421897722e-06,
      "loss": 1.614751935005188,
      "step": 376
    },
    {
      "epoch": 0.252,
      "grad_norm": 10.375,
      "learning_rate": 4.904764170113108e-06,
      "loss": 1.6645468473434448,
      "step": 378
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 2.9375,
      "learning_rate": 4.903443038290924e-06,
      "loss": 1.2448854446411133,
      "step": 380
    },
    {
      "epoch": 0.25466666666666665,
      "grad_norm": 4.8125,
      "learning_rate": 4.902113032590307e-06,
      "loss": 1.1429449319839478,
      "step": 382
    },
    {
      "epoch": 0.256,
      "grad_norm": 1.9453125,
      "learning_rate": 4.900774159211764e-06,
      "loss": 1.2650675773620605,
      "step": 384
    },
    {
      "epoch": 0.25733333333333336,
      "grad_norm": 4.34375,
      "learning_rate": 4.899426424397139e-06,
      "loss": 1.1405256986618042,
      "step": 386
    },
    {
      "epoch": 0.25866666666666666,
      "grad_norm": 12.0,
      "learning_rate": 4.898069834429593e-06,
      "loss": 2.080951690673828,
      "step": 388
    },
    {
      "epoch": 0.26,
      "grad_norm": 6.5,
      "learning_rate": 4.896704395633565e-06,
      "loss": 1.5934624671936035,
      "step": 390
    },
    {
      "epoch": 0.2613333333333333,
      "grad_norm": 12.25,
      "learning_rate": 4.895330114374754e-06,
      "loss": 2.1303348541259766,
      "step": 392
    },
    {
      "epoch": 0.26266666666666666,
      "grad_norm": 3.953125,
      "learning_rate": 4.893946997060075e-06,
      "loss": 1.6423416137695312,
      "step": 394
    },
    {
      "epoch": 0.264,
      "grad_norm": 5.59375,
      "learning_rate": 4.892555050137642e-06,
      "loss": 1.6157931089401245,
      "step": 396
    },
    {
      "epoch": 0.2653333333333333,
      "grad_norm": 21.375,
      "learning_rate": 4.891154280096731e-06,
      "loss": 2.2374486923217773,
      "step": 398
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 6.34375,
      "learning_rate": 4.889744693467753e-06,
      "loss": 0.9960446953773499,
      "step": 400
    },
    {
      "epoch": 0.268,
      "grad_norm": 14.25,
      "learning_rate": 4.888326296822219e-06,
      "loss": 1.7377135753631592,
      "step": 402
    },
    {
      "epoch": 0.2693333333333333,
      "grad_norm": 2.671875,
      "learning_rate": 4.886899096772716e-06,
      "loss": 1.4004313945770264,
      "step": 404
    },
    {
      "epoch": 0.27066666666666667,
      "grad_norm": 9.625,
      "learning_rate": 4.885463099972869e-06,
      "loss": 2.226583480834961,
      "step": 406
    },
    {
      "epoch": 0.272,
      "grad_norm": 4.25,
      "learning_rate": 4.884018313117317e-06,
      "loss": 1.6933379173278809,
      "step": 408
    },
    {
      "epoch": 0.2733333333333333,
      "grad_norm": 21.0,
      "learning_rate": 4.882564742941677e-06,
      "loss": 1.2351548671722412,
      "step": 410
    },
    {
      "epoch": 0.27466666666666667,
      "grad_norm": 2.28125,
      "learning_rate": 4.881102396222511e-06,
      "loss": 1.0993002653121948,
      "step": 412
    },
    {
      "epoch": 0.276,
      "grad_norm": 2.265625,
      "learning_rate": 4.879631279777303e-06,
      "loss": 1.1669058799743652,
      "step": 414
    },
    {
      "epoch": 0.2773333333333333,
      "grad_norm": 6.25,
      "learning_rate": 4.878151400464418e-06,
      "loss": 1.7067842483520508,
      "step": 416
    },
    {
      "epoch": 0.2786666666666667,
      "grad_norm": 2.890625,
      "learning_rate": 4.876662765183074e-06,
      "loss": 1.1911600828170776,
      "step": 418
    },
    {
      "epoch": 0.28,
      "grad_norm": 1.78125,
      "learning_rate": 4.875165380873311e-06,
      "loss": 1.3747963905334473,
      "step": 420
    },
    {
      "epoch": 0.2813333333333333,
      "grad_norm": 10.6875,
      "learning_rate": 4.873659254515954e-06,
      "loss": 1.6159579753875732,
      "step": 422
    },
    {
      "epoch": 0.2826666666666667,
      "grad_norm": 2.265625,
      "learning_rate": 4.872144393132588e-06,
      "loss": 1.1511104106903076,
      "step": 424
    },
    {
      "epoch": 0.284,
      "grad_norm": 4.25,
      "learning_rate": 4.870620803785514e-06,
      "loss": 1.5702983140945435,
      "step": 426
    },
    {
      "epoch": 0.2853333333333333,
      "grad_norm": 7.25,
      "learning_rate": 4.869088493577731e-06,
      "loss": 1.2697384357452393,
      "step": 428
    },
    {
      "epoch": 0.2866666666666667,
      "grad_norm": 12.75,
      "learning_rate": 4.86754746965289e-06,
      "loss": 2.1861681938171387,
      "step": 430
    },
    {
      "epoch": 0.288,
      "grad_norm": 7.0,
      "learning_rate": 4.865997739195265e-06,
      "loss": 1.9876891374588013,
      "step": 432
    },
    {
      "epoch": 0.28933333333333333,
      "grad_norm": 11.0,
      "learning_rate": 4.864439309429724e-06,
      "loss": 1.7558832168579102,
      "step": 434
    },
    {
      "epoch": 0.2906666666666667,
      "grad_norm": 5.4375,
      "learning_rate": 4.862872187621685e-06,
      "loss": 1.9074214696884155,
      "step": 436
    },
    {
      "epoch": 0.292,
      "grad_norm": 5.28125,
      "learning_rate": 4.861296381077095e-06,
      "loss": 1.6114107370376587,
      "step": 438
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 16.125,
      "learning_rate": 4.859711897142386e-06,
      "loss": 1.9621031284332275,
      "step": 440
    },
    {
      "epoch": 0.2946666666666667,
      "grad_norm": 7.03125,
      "learning_rate": 4.858118743204444e-06,
      "loss": 1.6151349544525146,
      "step": 442
    },
    {
      "epoch": 0.296,
      "grad_norm": 6.21875,
      "learning_rate": 4.856516926690576e-06,
      "loss": 1.7121708393096924,
      "step": 444
    },
    {
      "epoch": 0.29733333333333334,
      "grad_norm": 6.71875,
      "learning_rate": 4.854906455068471e-06,
      "loss": 1.1954957246780396,
      "step": 446
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 9.0,
      "learning_rate": 4.853287335846174e-06,
      "loss": 2.0688719749450684,
      "step": 448
    },
    {
      "epoch": 0.3,
      "grad_norm": 5.40625,
      "learning_rate": 4.851659576572039e-06,
      "loss": 1.677027702331543,
      "step": 450
    },
    {
      "epoch": 0.30133333333333334,
      "grad_norm": 6.03125,
      "learning_rate": 4.850023184834703e-06,
      "loss": 1.6223268508911133,
      "step": 452
    },
    {
      "epoch": 0.30266666666666664,
      "grad_norm": 9.6875,
      "learning_rate": 4.848378168263051e-06,
      "loss": 1.6345758438110352,
      "step": 454
    },
    {
      "epoch": 0.304,
      "grad_norm": 4.21875,
      "learning_rate": 4.846724534526168e-06,
      "loss": 1.7275407314300537,
      "step": 456
    },
    {
      "epoch": 0.30533333333333335,
      "grad_norm": 6.90625,
      "learning_rate": 4.845062291333322e-06,
      "loss": 1.756260871887207,
      "step": 458
    },
    {
      "epoch": 0.30666666666666664,
      "grad_norm": 14.75,
      "learning_rate": 4.8433914464339136e-06,
      "loss": 2.080754280090332,
      "step": 460
    },
    {
      "epoch": 0.308,
      "grad_norm": 20.375,
      "learning_rate": 4.841712007617445e-06,
      "loss": 1.7779812812805176,
      "step": 462
    },
    {
      "epoch": 0.30933333333333335,
      "grad_norm": 4.40625,
      "learning_rate": 4.840023982713483e-06,
      "loss": 1.0725421905517578,
      "step": 464
    },
    {
      "epoch": 0.31066666666666665,
      "grad_norm": 15.1875,
      "learning_rate": 4.838327379591626e-06,
      "loss": 1.982491135597229,
      "step": 466
    },
    {
      "epoch": 0.312,
      "grad_norm": 2.109375,
      "learning_rate": 4.836622206161458e-06,
      "loss": 1.088759183883667,
      "step": 468
    },
    {
      "epoch": 0.31333333333333335,
      "grad_norm": 7.0625,
      "learning_rate": 4.834908470372525e-06,
      "loss": 1.4255026578903198,
      "step": 470
    },
    {
      "epoch": 0.31466666666666665,
      "grad_norm": 11.9375,
      "learning_rate": 4.833186180214287e-06,
      "loss": 1.907231330871582,
      "step": 472
    },
    {
      "epoch": 0.316,
      "grad_norm": 11.9375,
      "learning_rate": 4.831455343716083e-06,
      "loss": 2.125192642211914,
      "step": 474
    },
    {
      "epoch": 0.31733333333333336,
      "grad_norm": 6.09375,
      "learning_rate": 4.8297159689471e-06,
      "loss": 1.6836061477661133,
      "step": 476
    },
    {
      "epoch": 0.31866666666666665,
      "grad_norm": 4.34375,
      "learning_rate": 4.827968064016326e-06,
      "loss": 1.5955266952514648,
      "step": 478
    },
    {
      "epoch": 0.32,
      "grad_norm": 7.53125,
      "learning_rate": 4.82621163707252e-06,
      "loss": 1.5531877279281616,
      "step": 480
    },
    {
      "epoch": 0.32133333333333336,
      "grad_norm": 4.9375,
      "learning_rate": 4.824446696304168e-06,
      "loss": 1.5762629508972168,
      "step": 482
    },
    {
      "epoch": 0.32266666666666666,
      "grad_norm": 20.875,
      "learning_rate": 4.8226732499394504e-06,
      "loss": 2.128744125366211,
      "step": 484
    },
    {
      "epoch": 0.324,
      "grad_norm": 15.875,
      "learning_rate": 4.820891306246197e-06,
      "loss": 1.3488337993621826,
      "step": 486
    },
    {
      "epoch": 0.3253333333333333,
      "grad_norm": 5.0,
      "learning_rate": 4.8191008735318565e-06,
      "loss": 1.7257015705108643,
      "step": 488
    },
    {
      "epoch": 0.32666666666666666,
      "grad_norm": 5.96875,
      "learning_rate": 4.817301960143453e-06,
      "loss": 1.6011383533477783,
      "step": 490
    },
    {
      "epoch": 0.328,
      "grad_norm": 4.28125,
      "learning_rate": 4.815494574467542e-06,
      "loss": 1.690148115158081,
      "step": 492
    },
    {
      "epoch": 0.3293333333333333,
      "grad_norm": 9.0625,
      "learning_rate": 4.813678724930183e-06,
      "loss": 1.9120967388153076,
      "step": 494
    },
    {
      "epoch": 0.33066666666666666,
      "grad_norm": 7.9375,
      "learning_rate": 4.811854419996894e-06,
      "loss": 2.227816104888916,
      "step": 496
    },
    {
      "epoch": 0.332,
      "grad_norm": 6.625,
      "learning_rate": 4.81002166817261e-06,
      "loss": 1.061286449432373,
      "step": 498
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 8.9375,
      "learning_rate": 4.808180478001644e-06,
      "loss": 1.9699760675430298,
      "step": 500
    },
    {
      "epoch": 0.33466666666666667,
      "grad_norm": 5.21875,
      "learning_rate": 4.806330858067652e-06,
      "loss": 1.7396867275238037,
      "step": 502
    },
    {
      "epoch": 0.336,
      "grad_norm": 2.9375,
      "learning_rate": 4.804472816993587e-06,
      "loss": 1.083378791809082,
      "step": 504
    },
    {
      "epoch": 0.3373333333333333,
      "grad_norm": 4.75,
      "learning_rate": 4.802606363441666e-06,
      "loss": 1.575303554534912,
      "step": 506
    },
    {
      "epoch": 0.33866666666666667,
      "grad_norm": 10.25,
      "learning_rate": 4.800731506113319e-06,
      "loss": 1.6470720767974854,
      "step": 508
    },
    {
      "epoch": 0.34,
      "grad_norm": 8.125,
      "learning_rate": 4.798848253749158e-06,
      "loss": 1.6459286212921143,
      "step": 510
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 1.8671875,
      "learning_rate": 4.796956615128933e-06,
      "loss": 1.2288987636566162,
      "step": 512
    },
    {
      "epoch": 0.3426666666666667,
      "grad_norm": 7.09375,
      "learning_rate": 4.7950565990714894e-06,
      "loss": 1.6872162818908691,
      "step": 514
    },
    {
      "epoch": 0.344,
      "grad_norm": 3.765625,
      "learning_rate": 4.79314821443473e-06,
      "loss": 1.7207008600234985,
      "step": 516
    },
    {
      "epoch": 0.3453333333333333,
      "grad_norm": 11.5625,
      "learning_rate": 4.791231470115571e-06,
      "loss": 2.0396337509155273,
      "step": 518
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 2.40625,
      "learning_rate": 4.7893063750498995e-06,
      "loss": 1.1848084926605225,
      "step": 520
    },
    {
      "epoch": 0.348,
      "grad_norm": 5.28125,
      "learning_rate": 4.787372938212537e-06,
      "loss": 1.6492676734924316,
      "step": 522
    },
    {
      "epoch": 0.34933333333333333,
      "grad_norm": 3.640625,
      "learning_rate": 4.785431168617195e-06,
      "loss": 1.5428884029388428,
      "step": 524
    },
    {
      "epoch": 0.3506666666666667,
      "grad_norm": 3.703125,
      "learning_rate": 4.78348107531643e-06,
      "loss": 1.6366922855377197,
      "step": 526
    },
    {
      "epoch": 0.352,
      "grad_norm": 5.40625,
      "learning_rate": 4.781522667401604e-06,
      "loss": 1.7472410202026367,
      "step": 528
    },
    {
      "epoch": 0.35333333333333333,
      "grad_norm": 2.15625,
      "learning_rate": 4.779555954002843e-06,
      "loss": 1.2404601573944092,
      "step": 530
    },
    {
      "epoch": 0.3546666666666667,
      "grad_norm": 15.625,
      "learning_rate": 4.777580944288991e-06,
      "loss": 1.88511323928833,
      "step": 532
    },
    {
      "epoch": 0.356,
      "grad_norm": 2.4375,
      "learning_rate": 4.775597647467575e-06,
      "loss": 1.0901260375976562,
      "step": 534
    },
    {
      "epoch": 0.35733333333333334,
      "grad_norm": 5.25,
      "learning_rate": 4.77360607278475e-06,
      "loss": 1.555063009262085,
      "step": 536
    },
    {
      "epoch": 0.3586666666666667,
      "grad_norm": 8.8125,
      "learning_rate": 4.771606229525265e-06,
      "loss": 1.9415209293365479,
      "step": 538
    },
    {
      "epoch": 0.36,
      "grad_norm": 8.125,
      "learning_rate": 4.769598127012421e-06,
      "loss": 1.9015228748321533,
      "step": 540
    },
    {
      "epoch": 0.36133333333333334,
      "grad_norm": 4.15625,
      "learning_rate": 4.767581774608016e-06,
      "loss": 1.6610472202301025,
      "step": 542
    },
    {
      "epoch": 0.3626666666666667,
      "grad_norm": 2.984375,
      "learning_rate": 4.765557181712317e-06,
      "loss": 1.0736007690429688,
      "step": 544
    },
    {
      "epoch": 0.364,
      "grad_norm": 3.75,
      "learning_rate": 4.763524357764004e-06,
      "loss": 1.6187169551849365,
      "step": 546
    },
    {
      "epoch": 0.36533333333333334,
      "grad_norm": 6.09375,
      "learning_rate": 4.761483312240129e-06,
      "loss": 1.6005005836486816,
      "step": 548
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 15.125,
      "learning_rate": 4.759434054656078e-06,
      "loss": 2.02974796295166,
      "step": 550
    },
    {
      "epoch": 0.368,
      "grad_norm": 6.8125,
      "learning_rate": 4.757376594565518e-06,
      "loss": 1.6362042427062988,
      "step": 552
    },
    {
      "epoch": 0.36933333333333335,
      "grad_norm": 12.5625,
      "learning_rate": 4.755310941560356e-06,
      "loss": 1.5618031024932861,
      "step": 554
    },
    {
      "epoch": 0.37066666666666664,
      "grad_norm": 2.078125,
      "learning_rate": 4.753237105270696e-06,
      "loss": 1.2482681274414062,
      "step": 556
    },
    {
      "epoch": 0.372,
      "grad_norm": 4.09375,
      "learning_rate": 4.751155095364793e-06,
      "loss": 1.620242953300476,
      "step": 558
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 8.3125,
      "learning_rate": 4.749064921549006e-06,
      "loss": 2.135446071624756,
      "step": 560
    },
    {
      "epoch": 0.37466666666666665,
      "grad_norm": 5.40625,
      "learning_rate": 4.746966593567756e-06,
      "loss": 1.3215208053588867,
      "step": 562
    },
    {
      "epoch": 0.376,
      "grad_norm": 8.375,
      "learning_rate": 4.7448601212034765e-06,
      "loss": 1.4838060140609741,
      "step": 564
    },
    {
      "epoch": 0.37733333333333335,
      "grad_norm": 12.4375,
      "learning_rate": 4.742745514276571e-06,
      "loss": 1.6796302795410156,
      "step": 566
    },
    {
      "epoch": 0.37866666666666665,
      "grad_norm": 12.8125,
      "learning_rate": 4.74062278264537e-06,
      "loss": 2.027433395385742,
      "step": 568
    },
    {
      "epoch": 0.38,
      "grad_norm": 12.4375,
      "learning_rate": 4.738491936206075e-06,
      "loss": 1.9793848991394043,
      "step": 570
    },
    {
      "epoch": 0.38133333333333336,
      "grad_norm": 3.046875,
      "learning_rate": 4.736352984892723e-06,
      "loss": 0.9984286427497864,
      "step": 572
    },
    {
      "epoch": 0.38266666666666665,
      "grad_norm": 5.78125,
      "learning_rate": 4.734205938677139e-06,
      "loss": 1.686956524848938,
      "step": 574
    },
    {
      "epoch": 0.384,
      "grad_norm": 4.5,
      "learning_rate": 4.732050807568878e-06,
      "loss": 1.7226555347442627,
      "step": 576
    },
    {
      "epoch": 0.38533333333333336,
      "grad_norm": 12.625,
      "learning_rate": 4.729887601615194e-06,
      "loss": 2.1920371055603027,
      "step": 578
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 21.0,
      "learning_rate": 4.727716330900984e-06,
      "loss": 1.6783638000488281,
      "step": 580
    },
    {
      "epoch": 0.388,
      "grad_norm": 6.15625,
      "learning_rate": 4.725537005548743e-06,
      "loss": 1.344970703125,
      "step": 582
    },
    {
      "epoch": 0.3893333333333333,
      "grad_norm": 3.046875,
      "learning_rate": 4.723349635718515e-06,
      "loss": 1.1667028665542603,
      "step": 584
    },
    {
      "epoch": 0.39066666666666666,
      "grad_norm": 6.875,
      "learning_rate": 4.721154231607851e-06,
      "loss": 1.7253570556640625,
      "step": 586
    },
    {
      "epoch": 0.392,
      "grad_norm": 6.875,
      "learning_rate": 4.718950803451755e-06,
      "loss": 1.813482403755188,
      "step": 588
    },
    {
      "epoch": 0.3933333333333333,
      "grad_norm": 6.59375,
      "learning_rate": 4.716739361522642e-06,
      "loss": 1.6438264846801758,
      "step": 590
    },
    {
      "epoch": 0.39466666666666667,
      "grad_norm": 4.8125,
      "learning_rate": 4.714519916130283e-06,
      "loss": 1.6976796388626099,
      "step": 592
    },
    {
      "epoch": 0.396,
      "grad_norm": 3.671875,
      "learning_rate": 4.712292477621766e-06,
      "loss": 1.6207929849624634,
      "step": 594
    },
    {
      "epoch": 0.3973333333333333,
      "grad_norm": 6.6875,
      "learning_rate": 4.710057056381439e-06,
      "loss": 1.5759934186935425,
      "step": 596
    },
    {
      "epoch": 0.39866666666666667,
      "grad_norm": 28.375,
      "learning_rate": 4.707813662830871e-06,
      "loss": 1.3628721237182617,
      "step": 598
    },
    {
      "epoch": 0.4,
      "grad_norm": 3.46875,
      "learning_rate": 4.705562307428792e-06,
      "loss": 1.591555118560791,
      "step": 600
    },
    {
      "epoch": 0.4013333333333333,
      "grad_norm": 6.125,
      "learning_rate": 4.703303000671051e-06,
      "loss": 1.7297916412353516,
      "step": 602
    },
    {
      "epoch": 0.4026666666666667,
      "grad_norm": 2.375,
      "learning_rate": 4.7010357530905715e-06,
      "loss": 1.0203232765197754,
      "step": 604
    },
    {
      "epoch": 0.404,
      "grad_norm": 7.6875,
      "learning_rate": 4.698760575257292e-06,
      "loss": 1.0827909708023071,
      "step": 606
    },
    {
      "epoch": 0.4053333333333333,
      "grad_norm": 15.625,
      "learning_rate": 4.6964774777781245e-06,
      "loss": 1.1942954063415527,
      "step": 608
    },
    {
      "epoch": 0.4066666666666667,
      "grad_norm": 8.6875,
      "learning_rate": 4.6941864712969025e-06,
      "loss": 1.9994385242462158,
      "step": 610
    },
    {
      "epoch": 0.408,
      "grad_norm": 5.0625,
      "learning_rate": 4.691887566494328e-06,
      "loss": 0.9512624740600586,
      "step": 612
    },
    {
      "epoch": 0.4093333333333333,
      "grad_norm": 5.6875,
      "learning_rate": 4.689580774087932e-06,
      "loss": 1.6768784523010254,
      "step": 614
    },
    {
      "epoch": 0.4106666666666667,
      "grad_norm": 4.875,
      "learning_rate": 4.68726610483201e-06,
      "loss": 1.5625501871109009,
      "step": 616
    },
    {
      "epoch": 0.412,
      "grad_norm": 32.0,
      "learning_rate": 4.6849435695175835e-06,
      "loss": 2.0652124881744385,
      "step": 618
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 5.1875,
      "learning_rate": 4.682613178972346e-06,
      "loss": 1.673771619796753,
      "step": 620
    },
    {
      "epoch": 0.4146666666666667,
      "grad_norm": 22.875,
      "learning_rate": 4.680274944060611e-06,
      "loss": 1.8690307140350342,
      "step": 622
    },
    {
      "epoch": 0.416,
      "grad_norm": 3.5625,
      "learning_rate": 4.677928875683263e-06,
      "loss": 1.4643995761871338,
      "step": 624
    },
    {
      "epoch": 0.41733333333333333,
      "grad_norm": 10.4375,
      "learning_rate": 4.675574984777705e-06,
      "loss": 1.976689338684082,
      "step": 626
    },
    {
      "epoch": 0.4186666666666667,
      "grad_norm": 4.96875,
      "learning_rate": 4.67321328231781e-06,
      "loss": 1.1396830081939697,
      "step": 628
    },
    {
      "epoch": 0.42,
      "grad_norm": 5.40625,
      "learning_rate": 4.67084377931387e-06,
      "loss": 1.2085014581680298,
      "step": 630
    },
    {
      "epoch": 0.42133333333333334,
      "grad_norm": 3.390625,
      "learning_rate": 4.668466486812539e-06,
      "loss": 1.0501954555511475,
      "step": 632
    },
    {
      "epoch": 0.4226666666666667,
      "grad_norm": 8.8125,
      "learning_rate": 4.66608141589679e-06,
      "loss": 1.7985272407531738,
      "step": 634
    },
    {
      "epoch": 0.424,
      "grad_norm": 8.0625,
      "learning_rate": 4.663688577685859e-06,
      "loss": 1.6298389434814453,
      "step": 636
    },
    {
      "epoch": 0.42533333333333334,
      "grad_norm": 30.875,
      "learning_rate": 4.661287983335188e-06,
      "loss": 1.0675194263458252,
      "step": 638
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 9.1875,
      "learning_rate": 4.658879644036383e-06,
      "loss": 1.6258975267410278,
      "step": 640
    },
    {
      "epoch": 0.428,
      "grad_norm": 4.8125,
      "learning_rate": 4.656463571017159e-06,
      "loss": 1.4670131206512451,
      "step": 642
    },
    {
      "epoch": 0.42933333333333334,
      "grad_norm": 12.875,
      "learning_rate": 4.654039775541279e-06,
      "loss": 1.5779855251312256,
      "step": 644
    },
    {
      "epoch": 0.43066666666666664,
      "grad_norm": 5.09375,
      "learning_rate": 4.651608268908513e-06,
      "loss": 1.165670394897461,
      "step": 646
    },
    {
      "epoch": 0.432,
      "grad_norm": 4.03125,
      "learning_rate": 4.649169062454581e-06,
      "loss": 1.5870051383972168,
      "step": 648
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 14.5,
      "learning_rate": 4.646722167551095e-06,
      "loss": 2.0407092571258545,
      "step": 650
    },
    {
      "epoch": 0.43466666666666665,
      "grad_norm": 6.875,
      "learning_rate": 4.644267595605518e-06,
      "loss": 1.6178638935089111,
      "step": 652
    },
    {
      "epoch": 0.436,
      "grad_norm": 6.0625,
      "learning_rate": 4.6418053580610934e-06,
      "loss": 1.6280204057693481,
      "step": 654
    },
    {
      "epoch": 0.43733333333333335,
      "grad_norm": 101.5,
      "learning_rate": 4.639335466396812e-06,
      "loss": 1.7070868015289307,
      "step": 656
    },
    {
      "epoch": 0.43866666666666665,
      "grad_norm": 8.75,
      "learning_rate": 4.636857932127344e-06,
      "loss": 1.6747055053710938,
      "step": 658
    },
    {
      "epoch": 0.44,
      "grad_norm": 9.0,
      "learning_rate": 4.634372766802986e-06,
      "loss": 1.4893217086791992,
      "step": 660
    },
    {
      "epoch": 0.44133333333333336,
      "grad_norm": 12.0,
      "learning_rate": 4.631879982009617e-06,
      "loss": 1.6209745407104492,
      "step": 662
    },
    {
      "epoch": 0.44266666666666665,
      "grad_norm": 2.1875,
      "learning_rate": 4.6293795893686335e-06,
      "loss": 1.1486353874206543,
      "step": 664
    },
    {
      "epoch": 0.444,
      "grad_norm": 5.625,
      "learning_rate": 4.626871600536901e-06,
      "loss": 1.9780635833740234,
      "step": 666
    },
    {
      "epoch": 0.44533333333333336,
      "grad_norm": 4.4375,
      "learning_rate": 4.6243560272067014e-06,
      "loss": 1.5998198986053467,
      "step": 668
    },
    {
      "epoch": 0.44666666666666666,
      "grad_norm": 1.21875,
      "learning_rate": 4.6218328811056704e-06,
      "loss": 1.1909828186035156,
      "step": 670
    },
    {
      "epoch": 0.448,
      "grad_norm": 4.75,
      "learning_rate": 4.619302173996753e-06,
      "loss": 1.4504064321517944,
      "step": 672
    },
    {
      "epoch": 0.4493333333333333,
      "grad_norm": 5.4375,
      "learning_rate": 4.6167639176781395e-06,
      "loss": 1.688302993774414,
      "step": 674
    },
    {
      "epoch": 0.45066666666666666,
      "grad_norm": 6.875,
      "learning_rate": 4.614218123983219e-06,
      "loss": 1.7892383337020874,
      "step": 676
    },
    {
      "epoch": 0.452,
      "grad_norm": 2.0625,
      "learning_rate": 4.611664804780517e-06,
      "loss": 1.0726022720336914,
      "step": 678
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 7.96875,
      "learning_rate": 4.609103971973644e-06,
      "loss": 1.877305030822754,
      "step": 680
    },
    {
      "epoch": 0.45466666666666666,
      "grad_norm": 5.78125,
      "learning_rate": 4.606535637501238e-06,
      "loss": 1.6311051845550537,
      "step": 682
    },
    {
      "epoch": 0.456,
      "grad_norm": 5.125,
      "learning_rate": 4.603959813336911e-06,
      "loss": 1.6753770112991333,
      "step": 684
    },
    {
      "epoch": 0.4573333333333333,
      "grad_norm": 5.09375,
      "learning_rate": 4.601376511489193e-06,
      "loss": 1.477659821510315,
      "step": 686
    },
    {
      "epoch": 0.45866666666666667,
      "grad_norm": 5.125,
      "learning_rate": 4.598785744001473e-06,
      "loss": 1.5649811029434204,
      "step": 688
    },
    {
      "epoch": 0.46,
      "grad_norm": 4.03125,
      "learning_rate": 4.596187522951945e-06,
      "loss": 1.5314197540283203,
      "step": 690
    },
    {
      "epoch": 0.4613333333333333,
      "grad_norm": 29.0,
      "learning_rate": 4.593581860453553e-06,
      "loss": 1.951949119567871,
      "step": 692
    },
    {
      "epoch": 0.46266666666666667,
      "grad_norm": 7.34375,
      "learning_rate": 4.590968768653933e-06,
      "loss": 1.8065054416656494,
      "step": 694
    },
    {
      "epoch": 0.464,
      "grad_norm": 86.5,
      "learning_rate": 4.5883482597353555e-06,
      "loss": 1.4217579364776611,
      "step": 696
    },
    {
      "epoch": 0.4653333333333333,
      "grad_norm": 48.25,
      "learning_rate": 4.585720345914671e-06,
      "loss": 1.402038335800171,
      "step": 698
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 3.515625,
      "learning_rate": 4.583085039443249e-06,
      "loss": 1.546642780303955,
      "step": 700
    },
    {
      "epoch": 0.468,
      "grad_norm": 6.96875,
      "learning_rate": 4.580442352606928e-06,
      "loss": 1.8113808631896973,
      "step": 702
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 3.234375,
      "learning_rate": 4.57779229772595e-06,
      "loss": 1.235628366470337,
      "step": 704
    },
    {
      "epoch": 0.4706666666666667,
      "grad_norm": 4.65625,
      "learning_rate": 4.575134887154909e-06,
      "loss": 1.591590166091919,
      "step": 706
    },
    {
      "epoch": 0.472,
      "grad_norm": 6.125,
      "learning_rate": 4.572470133282691e-06,
      "loss": 1.5594894886016846,
      "step": 708
    },
    {
      "epoch": 0.47333333333333333,
      "grad_norm": 5.4375,
      "learning_rate": 4.569798048532416e-06,
      "loss": 1.6119413375854492,
      "step": 710
    },
    {
      "epoch": 0.4746666666666667,
      "grad_norm": 16.75,
      "learning_rate": 4.56711864536138e-06,
      "loss": 2.1140735149383545,
      "step": 712
    },
    {
      "epoch": 0.476,
      "grad_norm": 3.328125,
      "learning_rate": 4.564431936261001e-06,
      "loss": 1.0822668075561523,
      "step": 714
    },
    {
      "epoch": 0.47733333333333333,
      "grad_norm": 9.6875,
      "learning_rate": 4.561737933756752e-06,
      "loss": 1.572784185409546,
      "step": 716
    },
    {
      "epoch": 0.4786666666666667,
      "grad_norm": 4.0625,
      "learning_rate": 4.559036650408114e-06,
      "loss": 1.5953166484832764,
      "step": 718
    },
    {
      "epoch": 0.48,
      "grad_norm": 4.4375,
      "learning_rate": 4.556328098808506e-06,
      "loss": 1.5809223651885986,
      "step": 720
    },
    {
      "epoch": 0.48133333333333334,
      "grad_norm": 4.9375,
      "learning_rate": 4.553612291585234e-06,
      "loss": 1.7776161432266235,
      "step": 722
    },
    {
      "epoch": 0.4826666666666667,
      "grad_norm": 2.71875,
      "learning_rate": 4.550889241399431e-06,
      "loss": 1.1778576374053955,
      "step": 724
    },
    {
      "epoch": 0.484,
      "grad_norm": 16.375,
      "learning_rate": 4.5481589609459945e-06,
      "loss": 1.919342041015625,
      "step": 726
    },
    {
      "epoch": 0.48533333333333334,
      "grad_norm": 4.03125,
      "learning_rate": 4.545421462953531e-06,
      "loss": 1.5503928661346436,
      "step": 728
    },
    {
      "epoch": 0.4866666666666667,
      "grad_norm": 6.96875,
      "learning_rate": 4.542676760184296e-06,
      "loss": 2.023519992828369,
      "step": 730
    },
    {
      "epoch": 0.488,
      "grad_norm": 4.40625,
      "learning_rate": 4.539924865434131e-06,
      "loss": 1.6147465705871582,
      "step": 732
    },
    {
      "epoch": 0.48933333333333334,
      "grad_norm": 5.4375,
      "learning_rate": 4.53716579153241e-06,
      "loss": 1.701406717300415,
      "step": 734
    },
    {
      "epoch": 0.49066666666666664,
      "grad_norm": 6.03125,
      "learning_rate": 4.5343995513419725e-06,
      "loss": 1.9945590496063232,
      "step": 736
    },
    {
      "epoch": 0.492,
      "grad_norm": 3.046875,
      "learning_rate": 4.531626157759072e-06,
      "loss": 1.1337153911590576,
      "step": 738
    },
    {
      "epoch": 0.49333333333333335,
      "grad_norm": 1.734375,
      "learning_rate": 4.528845623713307e-06,
      "loss": 1.0001354217529297,
      "step": 740
    },
    {
      "epoch": 0.49466666666666664,
      "grad_norm": 7.46875,
      "learning_rate": 4.526057962167567e-06,
      "loss": 1.6229677200317383,
      "step": 742
    },
    {
      "epoch": 0.496,
      "grad_norm": 45.75,
      "learning_rate": 4.52326318611797e-06,
      "loss": 1.9723401069641113,
      "step": 744
    },
    {
      "epoch": 0.49733333333333335,
      "grad_norm": 2.453125,
      "learning_rate": 4.520461308593801e-06,
      "loss": 1.0949461460113525,
      "step": 746
    },
    {
      "epoch": 0.49866666666666665,
      "grad_norm": 1.765625,
      "learning_rate": 4.5176523426574535e-06,
      "loss": 1.124253273010254,
      "step": 748
    },
    {
      "epoch": 0.5,
      "grad_norm": 5.03125,
      "learning_rate": 4.514836301404367e-06,
      "loss": 1.6151834726333618,
      "step": 750
    },
    {
      "epoch": 0.5013333333333333,
      "grad_norm": 11.75,
      "learning_rate": 4.5120131979629635e-06,
      "loss": 1.9495484828948975,
      "step": 752
    },
    {
      "epoch": 0.5026666666666667,
      "grad_norm": 3.515625,
      "learning_rate": 4.509183045494593e-06,
      "loss": 1.092561960220337,
      "step": 754
    },
    {
      "epoch": 0.504,
      "grad_norm": 10.875,
      "learning_rate": 4.506345857193467e-06,
      "loss": 2.0824429988861084,
      "step": 756
    },
    {
      "epoch": 0.5053333333333333,
      "grad_norm": 12.3125,
      "learning_rate": 4.503501646286596e-06,
      "loss": 1.9892358779907227,
      "step": 758
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 2.890625,
      "learning_rate": 4.500650426033732e-06,
      "loss": 1.1249581575393677,
      "step": 760
    },
    {
      "epoch": 0.508,
      "grad_norm": 8.3125,
      "learning_rate": 4.497792209727304e-06,
      "loss": 2.0044803619384766,
      "step": 762
    },
    {
      "epoch": 0.5093333333333333,
      "grad_norm": 3.234375,
      "learning_rate": 4.494927010692358e-06,
      "loss": 1.162718415260315,
      "step": 764
    },
    {
      "epoch": 0.5106666666666667,
      "grad_norm": 10.0625,
      "learning_rate": 4.492054842286493e-06,
      "loss": 1.6656391620635986,
      "step": 766
    },
    {
      "epoch": 0.512,
      "grad_norm": 3.765625,
      "learning_rate": 4.489175717899796e-06,
      "loss": 1.6391451358795166,
      "step": 768
    },
    {
      "epoch": 0.5133333333333333,
      "grad_norm": 5.28125,
      "learning_rate": 4.486289650954789e-06,
      "loss": 1.5884838104248047,
      "step": 770
    },
    {
      "epoch": 0.5146666666666667,
      "grad_norm": 1.2890625,
      "learning_rate": 4.483396654906356e-06,
      "loss": 0.9799174070358276,
      "step": 772
    },
    {
      "epoch": 0.516,
      "grad_norm": 1.703125,
      "learning_rate": 4.480496743241683e-06,
      "loss": 1.0725151300430298,
      "step": 774
    },
    {
      "epoch": 0.5173333333333333,
      "grad_norm": 17.375,
      "learning_rate": 4.477589929480203e-06,
      "loss": 2.1492419242858887,
      "step": 776
    },
    {
      "epoch": 0.5186666666666667,
      "grad_norm": 5.8125,
      "learning_rate": 4.4746762271735214e-06,
      "loss": 1.7624104022979736,
      "step": 778
    },
    {
      "epoch": 0.52,
      "grad_norm": 16.625,
      "learning_rate": 4.4717556499053584e-06,
      "loss": 2.1565475463867188,
      "step": 780
    },
    {
      "epoch": 0.5213333333333333,
      "grad_norm": 3.234375,
      "learning_rate": 4.46882821129149e-06,
      "loss": 1.2971224784851074,
      "step": 782
    },
    {
      "epoch": 0.5226666666666666,
      "grad_norm": 4.90625,
      "learning_rate": 4.465893924979673e-06,
      "loss": 1.0319178104400635,
      "step": 784
    },
    {
      "epoch": 0.524,
      "grad_norm": 8.125,
      "learning_rate": 4.462952804649593e-06,
      "loss": 1.9379088878631592,
      "step": 786
    },
    {
      "epoch": 0.5253333333333333,
      "grad_norm": 5.6875,
      "learning_rate": 4.460004864012796e-06,
      "loss": 1.6146807670593262,
      "step": 788
    },
    {
      "epoch": 0.5266666666666666,
      "grad_norm": 2.296875,
      "learning_rate": 4.4570501168126205e-06,
      "loss": 0.9778133630752563,
      "step": 790
    },
    {
      "epoch": 0.528,
      "grad_norm": 1.640625,
      "learning_rate": 4.454088576824143e-06,
      "loss": 1.121327519416809,
      "step": 792
    },
    {
      "epoch": 0.5293333333333333,
      "grad_norm": 5.90625,
      "learning_rate": 4.451120257854101e-06,
      "loss": 1.7932809591293335,
      "step": 794
    },
    {
      "epoch": 0.5306666666666666,
      "grad_norm": 11.0625,
      "learning_rate": 4.448145173740844e-06,
      "loss": 1.5648019313812256,
      "step": 796
    },
    {
      "epoch": 0.532,
      "grad_norm": 1.5234375,
      "learning_rate": 4.445163338354253e-06,
      "loss": 1.1240180730819702,
      "step": 798
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 1.875,
      "learning_rate": 4.442174765595688e-06,
      "loss": 1.1813502311706543,
      "step": 800
    },
    {
      "epoch": 0.5346666666666666,
      "grad_norm": 13.4375,
      "learning_rate": 4.439179469397918e-06,
      "loss": 1.7995562553405762,
      "step": 802
    },
    {
      "epoch": 0.536,
      "grad_norm": 3.328125,
      "learning_rate": 4.436177463725057e-06,
      "loss": 1.1335866451263428,
      "step": 804
    },
    {
      "epoch": 0.5373333333333333,
      "grad_norm": 11.3125,
      "learning_rate": 4.433168762572495e-06,
      "loss": 2.0559403896331787,
      "step": 806
    },
    {
      "epoch": 0.5386666666666666,
      "grad_norm": 1.8046875,
      "learning_rate": 4.4301533799668414e-06,
      "loss": 1.1813790798187256,
      "step": 808
    },
    {
      "epoch": 0.54,
      "grad_norm": 6.21875,
      "learning_rate": 4.427131329965854e-06,
      "loss": 1.7660613059997559,
      "step": 810
    },
    {
      "epoch": 0.5413333333333333,
      "grad_norm": 10.6875,
      "learning_rate": 4.4241026266583705e-06,
      "loss": 1.9616385698318481,
      "step": 812
    },
    {
      "epoch": 0.5426666666666666,
      "grad_norm": 6.25,
      "learning_rate": 4.42106728416425e-06,
      "loss": 1.9410457611083984,
      "step": 814
    },
    {
      "epoch": 0.544,
      "grad_norm": 6.03125,
      "learning_rate": 4.418025316634301e-06,
      "loss": 1.6492912769317627,
      "step": 816
    },
    {
      "epoch": 0.5453333333333333,
      "grad_norm": 6.1875,
      "learning_rate": 4.4149767382502205e-06,
      "loss": 1.769735336303711,
      "step": 818
    },
    {
      "epoch": 0.5466666666666666,
      "grad_norm": 33.5,
      "learning_rate": 4.4119215632245235e-06,
      "loss": 1.4241745471954346,
      "step": 820
    },
    {
      "epoch": 0.548,
      "grad_norm": 6.3125,
      "learning_rate": 4.408859805800481e-06,
      "loss": 1.6003971099853516,
      "step": 822
    },
    {
      "epoch": 0.5493333333333333,
      "grad_norm": 8.5625,
      "learning_rate": 4.405791480252046e-06,
      "loss": 1.998405933380127,
      "step": 824
    },
    {
      "epoch": 0.5506666666666666,
      "grad_norm": 21.25,
      "learning_rate": 4.4027166008837996e-06,
      "loss": 2.0935518741607666,
      "step": 826
    },
    {
      "epoch": 0.552,
      "grad_norm": 5.71875,
      "learning_rate": 4.399635182030869e-06,
      "loss": 1.7479844093322754,
      "step": 828
    },
    {
      "epoch": 0.5533333333333333,
      "grad_norm": 5.09375,
      "learning_rate": 4.396547238058876e-06,
      "loss": 1.6909379959106445,
      "step": 830
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 7.5,
      "learning_rate": 4.393452783363857e-06,
      "loss": 1.9220030307769775,
      "step": 832
    },
    {
      "epoch": 0.556,
      "grad_norm": 13.375,
      "learning_rate": 4.390351832372206e-06,
      "loss": 1.959233045578003,
      "step": 834
    },
    {
      "epoch": 0.5573333333333333,
      "grad_norm": 6.78125,
      "learning_rate": 4.387244399540599e-06,
      "loss": 1.5985342264175415,
      "step": 836
    },
    {
      "epoch": 0.5586666666666666,
      "grad_norm": 3.359375,
      "learning_rate": 4.384130499355931e-06,
      "loss": 1.2405080795288086,
      "step": 838
    },
    {
      "epoch": 0.56,
      "grad_norm": 33.5,
      "learning_rate": 4.381010146335249e-06,
      "loss": 1.2756681442260742,
      "step": 840
    },
    {
      "epoch": 0.5613333333333334,
      "grad_norm": 72.5,
      "learning_rate": 4.377883355025686e-06,
      "loss": 1.2579646110534668,
      "step": 842
    },
    {
      "epoch": 0.5626666666666666,
      "grad_norm": 16.625,
      "learning_rate": 4.374750140004383e-06,
      "loss": 1.0350561141967773,
      "step": 844
    },
    {
      "epoch": 0.564,
      "grad_norm": 4.78125,
      "learning_rate": 4.371610515878436e-06,
      "loss": 1.5376999378204346,
      "step": 846
    },
    {
      "epoch": 0.5653333333333334,
      "grad_norm": 4.71875,
      "learning_rate": 4.3684644972848166e-06,
      "loss": 1.540494680404663,
      "step": 848
    },
    {
      "epoch": 0.5666666666666667,
      "grad_norm": 3.84375,
      "learning_rate": 4.365312098890308e-06,
      "loss": 1.5681653022766113,
      "step": 850
    },
    {
      "epoch": 0.568,
      "grad_norm": 7.71875,
      "learning_rate": 4.362153335391436e-06,
      "loss": 2.0566165447235107,
      "step": 852
    },
    {
      "epoch": 0.5693333333333334,
      "grad_norm": 1.421875,
      "learning_rate": 4.358988221514399e-06,
      "loss": 1.065299391746521,
      "step": 854
    },
    {
      "epoch": 0.5706666666666667,
      "grad_norm": 8.0625,
      "learning_rate": 4.355816772015007e-06,
      "loss": 1.5944557189941406,
      "step": 856
    },
    {
      "epoch": 0.572,
      "grad_norm": 9.5,
      "learning_rate": 4.352639001678599e-06,
      "loss": 1.5592529773712158,
      "step": 858
    },
    {
      "epoch": 0.5733333333333334,
      "grad_norm": 4.25,
      "learning_rate": 4.349454925319986e-06,
      "loss": 1.6201512813568115,
      "step": 860
    },
    {
      "epoch": 0.5746666666666667,
      "grad_norm": 6.9375,
      "learning_rate": 4.346264557783379e-06,
      "loss": 1.5860223770141602,
      "step": 862
    },
    {
      "epoch": 0.576,
      "grad_norm": 5.34375,
      "learning_rate": 4.343067913942314e-06,
      "loss": 1.6586430072784424,
      "step": 864
    },
    {
      "epoch": 0.5773333333333334,
      "grad_norm": 7.71875,
      "learning_rate": 4.339865008699592e-06,
      "loss": 1.4852830171585083,
      "step": 866
    },
    {
      "epoch": 0.5786666666666667,
      "grad_norm": 3.90625,
      "learning_rate": 4.336655856987201e-06,
      "loss": 1.5025522708892822,
      "step": 868
    },
    {
      "epoch": 0.58,
      "grad_norm": 8.875,
      "learning_rate": 4.333440473766253e-06,
      "loss": 1.8594863414764404,
      "step": 870
    },
    {
      "epoch": 0.5813333333333334,
      "grad_norm": 3.828125,
      "learning_rate": 4.33021887402691e-06,
      "loss": 1.5938358306884766,
      "step": 872
    },
    {
      "epoch": 0.5826666666666667,
      "grad_norm": 7.4375,
      "learning_rate": 4.326991072788315e-06,
      "loss": 1.713855266571045,
      "step": 874
    },
    {
      "epoch": 0.584,
      "grad_norm": 2.890625,
      "learning_rate": 4.323757085098524e-06,
      "loss": 0.9895963668823242,
      "step": 876
    },
    {
      "epoch": 0.5853333333333334,
      "grad_norm": 6.09375,
      "learning_rate": 4.320516926034434e-06,
      "loss": 1.524658203125,
      "step": 878
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 10.0625,
      "learning_rate": 4.31727061070171e-06,
      "loss": 1.939576268196106,
      "step": 880
    },
    {
      "epoch": 0.588,
      "grad_norm": 8.125,
      "learning_rate": 4.314018154234722e-06,
      "loss": 1.504568338394165,
      "step": 882
    },
    {
      "epoch": 0.5893333333333334,
      "grad_norm": 13.25,
      "learning_rate": 4.310759571796469e-06,
      "loss": 1.8733505010604858,
      "step": 884
    },
    {
      "epoch": 0.5906666666666667,
      "grad_norm": 8.9375,
      "learning_rate": 4.307494878578505e-06,
      "loss": 2.1683549880981445,
      "step": 886
    },
    {
      "epoch": 0.592,
      "grad_norm": 3.34375,
      "learning_rate": 4.3042240898008805e-06,
      "loss": 1.0660171508789062,
      "step": 888
    },
    {
      "epoch": 0.5933333333333334,
      "grad_norm": 4.875,
      "learning_rate": 4.300947220712056e-06,
      "loss": 1.6291861534118652,
      "step": 890
    },
    {
      "epoch": 0.5946666666666667,
      "grad_norm": 6.8125,
      "learning_rate": 4.297664286588844e-06,
      "loss": 1.6542470455169678,
      "step": 892
    },
    {
      "epoch": 0.596,
      "grad_norm": 5.53125,
      "learning_rate": 4.294375302736328e-06,
      "loss": 1.5474224090576172,
      "step": 894
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 8.25,
      "learning_rate": 4.291080284487797e-06,
      "loss": 1.8157379627227783,
      "step": 896
    },
    {
      "epoch": 0.5986666666666667,
      "grad_norm": 4.28125,
      "learning_rate": 4.287779247204675e-06,
      "loss": 1.239814281463623,
      "step": 898
    },
    {
      "epoch": 0.6,
      "grad_norm": 6.21875,
      "learning_rate": 4.284472206276443e-06,
      "loss": 1.558706283569336,
      "step": 900
    },
    {
      "epoch": 0.6013333333333334,
      "grad_norm": 8.625,
      "learning_rate": 4.281159177120574e-06,
      "loss": 2.167874336242676,
      "step": 902
    },
    {
      "epoch": 0.6026666666666667,
      "grad_norm": 3.171875,
      "learning_rate": 4.2778401751824565e-06,
      "loss": 1.0401667356491089,
      "step": 904
    },
    {
      "epoch": 0.604,
      "grad_norm": 32.25,
      "learning_rate": 4.274515215935322e-06,
      "loss": 1.2682547569274902,
      "step": 906
    },
    {
      "epoch": 0.6053333333333333,
      "grad_norm": 3.578125,
      "learning_rate": 4.271184314880181e-06,
      "loss": 1.533789873123169,
      "step": 908
    },
    {
      "epoch": 0.6066666666666667,
      "grad_norm": 3.9375,
      "learning_rate": 4.267847487545741e-06,
      "loss": 1.5725165605545044,
      "step": 910
    },
    {
      "epoch": 0.608,
      "grad_norm": 4.875,
      "learning_rate": 4.264504749488336e-06,
      "loss": 1.630423665046692,
      "step": 912
    },
    {
      "epoch": 0.6093333333333333,
      "grad_norm": 4.28125,
      "learning_rate": 4.261156116291862e-06,
      "loss": 1.0812149047851562,
      "step": 914
    },
    {
      "epoch": 0.6106666666666667,
      "grad_norm": 4.3125,
      "learning_rate": 4.257801603567689e-06,
      "loss": 1.5762662887573242,
      "step": 916
    },
    {
      "epoch": 0.612,
      "grad_norm": 7.25,
      "learning_rate": 4.254441226954608e-06,
      "loss": 1.642853021621704,
      "step": 918
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 8.4375,
      "learning_rate": 4.251075002118741e-06,
      "loss": 1.8817405700683594,
      "step": 920
    },
    {
      "epoch": 0.6146666666666667,
      "grad_norm": 8.625,
      "learning_rate": 4.2477029447534744e-06,
      "loss": 1.8150745630264282,
      "step": 922
    },
    {
      "epoch": 0.616,
      "grad_norm": 4.46875,
      "learning_rate": 4.244325070579391e-06,
      "loss": 1.6018476486206055,
      "step": 924
    },
    {
      "epoch": 0.6173333333333333,
      "grad_norm": 11.75,
      "learning_rate": 4.240941395344182e-06,
      "loss": 1.8347196578979492,
      "step": 926
    },
    {
      "epoch": 0.6186666666666667,
      "grad_norm": 9.6875,
      "learning_rate": 4.2375519348225946e-06,
      "loss": 1.8900158405303955,
      "step": 928
    },
    {
      "epoch": 0.62,
      "grad_norm": 4.75,
      "learning_rate": 4.23415670481634e-06,
      "loss": 1.5854055881500244,
      "step": 930
    },
    {
      "epoch": 0.6213333333333333,
      "grad_norm": 15.75,
      "learning_rate": 4.2307557211540296e-06,
      "loss": 2.090912342071533,
      "step": 932
    },
    {
      "epoch": 0.6226666666666667,
      "grad_norm": 5.125,
      "learning_rate": 4.227348999691096e-06,
      "loss": 1.1517055034637451,
      "step": 934
    },
    {
      "epoch": 0.624,
      "grad_norm": 22.5,
      "learning_rate": 4.223936556309723e-06,
      "loss": 1.033469796180725,
      "step": 936
    },
    {
      "epoch": 0.6253333333333333,
      "grad_norm": 5.125,
      "learning_rate": 4.220518406918771e-06,
      "loss": 1.536806344985962,
      "step": 938
    },
    {
      "epoch": 0.6266666666666667,
      "grad_norm": 9.1875,
      "learning_rate": 4.2170945674537015e-06,
      "loss": 2.028916835784912,
      "step": 940
    },
    {
      "epoch": 0.628,
      "grad_norm": 7.0,
      "learning_rate": 4.2136650538765e-06,
      "loss": 1.6300554275512695,
      "step": 942
    },
    {
      "epoch": 0.6293333333333333,
      "grad_norm": 6.71875,
      "learning_rate": 4.210229882175611e-06,
      "loss": 1.740851640701294,
      "step": 944
    },
    {
      "epoch": 0.6306666666666667,
      "grad_norm": 4.90625,
      "learning_rate": 4.2067890683658495e-06,
      "loss": 1.5381369590759277,
      "step": 946
    },
    {
      "epoch": 0.632,
      "grad_norm": 4.84375,
      "learning_rate": 4.203342628488342e-06,
      "loss": 1.6090049743652344,
      "step": 948
    },
    {
      "epoch": 0.6333333333333333,
      "grad_norm": 2.703125,
      "learning_rate": 4.1998905786104386e-06,
      "loss": 1.1410777568817139,
      "step": 950
    },
    {
      "epoch": 0.6346666666666667,
      "grad_norm": 1.90625,
      "learning_rate": 4.196432934825644e-06,
      "loss": 1.1576334238052368,
      "step": 952
    },
    {
      "epoch": 0.636,
      "grad_norm": 8.8125,
      "learning_rate": 4.192969713253544e-06,
      "loss": 1.8281700611114502,
      "step": 954
    },
    {
      "epoch": 0.6373333333333333,
      "grad_norm": 1.8203125,
      "learning_rate": 4.189500930039726e-06,
      "loss": 1.1463249921798706,
      "step": 956
    },
    {
      "epoch": 0.6386666666666667,
      "grad_norm": 11.375,
      "learning_rate": 4.186026601355706e-06,
      "loss": 1.3184925317764282,
      "step": 958
    },
    {
      "epoch": 0.64,
      "grad_norm": 2.375,
      "learning_rate": 4.182546743398855e-06,
      "loss": 1.1309475898742676,
      "step": 960
    },
    {
      "epoch": 0.6413333333333333,
      "grad_norm": 6.28125,
      "learning_rate": 4.179061372392319e-06,
      "loss": 2.0938892364501953,
      "step": 962
    },
    {
      "epoch": 0.6426666666666667,
      "grad_norm": 5.125,
      "learning_rate": 4.1755705045849474e-06,
      "loss": 1.8526628017425537,
      "step": 964
    },
    {
      "epoch": 0.644,
      "grad_norm": 11.5625,
      "learning_rate": 4.172074156251215e-06,
      "loss": 1.9665130376815796,
      "step": 966
    },
    {
      "epoch": 0.6453333333333333,
      "grad_norm": 7.65625,
      "learning_rate": 4.168572343691147e-06,
      "loss": 1.5805991888046265,
      "step": 968
    },
    {
      "epoch": 0.6466666666666666,
      "grad_norm": 103.5,
      "learning_rate": 4.165065083230245e-06,
      "loss": 1.496896505355835,
      "step": 970
    },
    {
      "epoch": 0.648,
      "grad_norm": 19.375,
      "learning_rate": 4.161552391219406e-06,
      "loss": 1.1086199283599854,
      "step": 972
    },
    {
      "epoch": 0.6493333333333333,
      "grad_norm": 26.5,
      "learning_rate": 4.158034284034849e-06,
      "loss": 1.9410427808761597,
      "step": 974
    },
    {
      "epoch": 0.6506666666666666,
      "grad_norm": 11.8125,
      "learning_rate": 4.154510778078039e-06,
      "loss": 1.9177557229995728,
      "step": 976
    },
    {
      "epoch": 0.652,
      "grad_norm": 10.4375,
      "learning_rate": 4.150981889775614e-06,
      "loss": 1.9715896844863892,
      "step": 978
    },
    {
      "epoch": 0.6533333333333333,
      "grad_norm": 18.25,
      "learning_rate": 4.147447635579299e-06,
      "loss": 1.1010019779205322,
      "step": 980
    },
    {
      "epoch": 0.6546666666666666,
      "grad_norm": 4.34375,
      "learning_rate": 4.143908031965837e-06,
      "loss": 1.5735809803009033,
      "step": 982
    },
    {
      "epoch": 0.656,
      "grad_norm": 2.140625,
      "learning_rate": 4.140363095436912e-06,
      "loss": 1.1293983459472656,
      "step": 984
    },
    {
      "epoch": 0.6573333333333333,
      "grad_norm": 5.46875,
      "learning_rate": 4.136812842519067e-06,
      "loss": 1.9613256454467773,
      "step": 986
    },
    {
      "epoch": 0.6586666666666666,
      "grad_norm": 2.421875,
      "learning_rate": 4.13325728976363e-06,
      "loss": 0.9995434880256653,
      "step": 988
    },
    {
      "epoch": 0.66,
      "grad_norm": 4.65625,
      "learning_rate": 4.129696453746642e-06,
      "loss": 1.6232421398162842,
      "step": 990
    },
    {
      "epoch": 0.6613333333333333,
      "grad_norm": 5.09375,
      "learning_rate": 4.126130351068768e-06,
      "loss": 1.6333463191986084,
      "step": 992
    },
    {
      "epoch": 0.6626666666666666,
      "grad_norm": 9.0625,
      "learning_rate": 4.122558998355229e-06,
      "loss": 1.931457757949829,
      "step": 994
    },
    {
      "epoch": 0.664,
      "grad_norm": 2.90625,
      "learning_rate": 4.118982412255725e-06,
      "loss": 1.1441792249679565,
      "step": 996
    },
    {
      "epoch": 0.6653333333333333,
      "grad_norm": 6.375,
      "learning_rate": 4.115400609444349e-06,
      "loss": 1.8410940170288086,
      "step": 998
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 13.25,
      "learning_rate": 4.111813606619517e-06,
      "loss": 1.7064735889434814,
      "step": 1000
    },
    {
      "epoch": 0.668,
      "grad_norm": 21.5,
      "learning_rate": 4.1082214205038864e-06,
      "loss": 2.002370834350586,
      "step": 1002
    },
    {
      "epoch": 0.6693333333333333,
      "grad_norm": 8.0625,
      "learning_rate": 4.104624067844281e-06,
      "loss": 1.1194469928741455,
      "step": 1004
    },
    {
      "epoch": 0.6706666666666666,
      "grad_norm": 5.21875,
      "learning_rate": 4.1010215654116084e-06,
      "loss": 1.5584155321121216,
      "step": 1006
    },
    {
      "epoch": 0.672,
      "grad_norm": 7.375,
      "learning_rate": 4.0974139300007855e-06,
      "loss": 1.5594654083251953,
      "step": 1008
    },
    {
      "epoch": 0.6733333333333333,
      "grad_norm": 17.75,
      "learning_rate": 4.093801178430663e-06,
      "loss": 1.9932979345321655,
      "step": 1010
    },
    {
      "epoch": 0.6746666666666666,
      "grad_norm": 7.75,
      "learning_rate": 4.090183327543937e-06,
      "loss": 1.4730606079101562,
      "step": 1012
    },
    {
      "epoch": 0.676,
      "grad_norm": 24.375,
      "learning_rate": 4.086560394207081e-06,
      "loss": 2.038485050201416,
      "step": 1014
    },
    {
      "epoch": 0.6773333333333333,
      "grad_norm": 9.0625,
      "learning_rate": 4.082932395310261e-06,
      "loss": 1.8734180927276611,
      "step": 1016
    },
    {
      "epoch": 0.6786666666666666,
      "grad_norm": 9.0625,
      "learning_rate": 4.07929934776726e-06,
      "loss": 2.1227965354919434,
      "step": 1018
    },
    {
      "epoch": 0.68,
      "grad_norm": 2.578125,
      "learning_rate": 4.075661268515395e-06,
      "loss": 1.21480393409729,
      "step": 1020
    },
    {
      "epoch": 0.6813333333333333,
      "grad_norm": 9.625,
      "learning_rate": 4.072018174515446e-06,
      "loss": 1.6561039686203003,
      "step": 1022
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 4.09375,
      "learning_rate": 4.068370082751567e-06,
      "loss": 1.6361010074615479,
      "step": 1024
    },
    {
      "epoch": 0.684,
      "grad_norm": 1.8046875,
      "learning_rate": 4.064717010231214e-06,
      "loss": 1.1598769426345825,
      "step": 1026
    },
    {
      "epoch": 0.6853333333333333,
      "grad_norm": 2.90625,
      "learning_rate": 4.061058973985064e-06,
      "loss": 1.2839393615722656,
      "step": 1028
    },
    {
      "epoch": 0.6866666666666666,
      "grad_norm": 10.6875,
      "learning_rate": 4.0573959910669316e-06,
      "loss": 1.272928237915039,
      "step": 1030
    },
    {
      "epoch": 0.688,
      "grad_norm": 3.96875,
      "learning_rate": 4.0537280785536955e-06,
      "loss": 1.5582289695739746,
      "step": 1032
    },
    {
      "epoch": 0.6893333333333334,
      "grad_norm": 8.1875,
      "learning_rate": 4.050055253545219e-06,
      "loss": 1.6847953796386719,
      "step": 1034
    },
    {
      "epoch": 0.6906666666666667,
      "grad_norm": 10.0625,
      "learning_rate": 4.0463775331642605e-06,
      "loss": 2.000561237335205,
      "step": 1036
    },
    {
      "epoch": 0.692,
      "grad_norm": 4.34375,
      "learning_rate": 4.042694934556407e-06,
      "loss": 1.596095085144043,
      "step": 1038
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 8.1875,
      "learning_rate": 4.039007474889983e-06,
      "loss": 1.8276232481002808,
      "step": 1040
    },
    {
      "epoch": 0.6946666666666667,
      "grad_norm": 14.5625,
      "learning_rate": 4.035315171355981e-06,
      "loss": 1.7133440971374512,
      "step": 1042
    },
    {
      "epoch": 0.696,
      "grad_norm": 4.5625,
      "learning_rate": 4.031618041167969e-06,
      "loss": 1.6173053979873657,
      "step": 1044
    },
    {
      "epoch": 0.6973333333333334,
      "grad_norm": 29.625,
      "learning_rate": 4.027916101562024e-06,
      "loss": 0.8435451984405518,
      "step": 1046
    },
    {
      "epoch": 0.6986666666666667,
      "grad_norm": 7.1875,
      "learning_rate": 4.024209369796638e-06,
      "loss": 1.728581428527832,
      "step": 1048
    },
    {
      "epoch": 0.7,
      "grad_norm": 2.453125,
      "learning_rate": 4.020497863152647e-06,
      "loss": 1.4456583261489868,
      "step": 1050
    },
    {
      "epoch": 0.7013333333333334,
      "grad_norm": 20.625,
      "learning_rate": 4.0167815989331505e-06,
      "loss": 1.5146148204803467,
      "step": 1052
    },
    {
      "epoch": 0.7026666666666667,
      "grad_norm": 5.1875,
      "learning_rate": 4.013060594463422e-06,
      "loss": 1.0910983085632324,
      "step": 1054
    },
    {
      "epoch": 0.704,
      "grad_norm": 4.53125,
      "learning_rate": 4.009334867090839e-06,
      "loss": 1.5269734859466553,
      "step": 1056
    },
    {
      "epoch": 0.7053333333333334,
      "grad_norm": 8.375,
      "learning_rate": 4.005604434184793e-06,
      "loss": 2.0650410652160645,
      "step": 1058
    },
    {
      "epoch": 0.7066666666666667,
      "grad_norm": 3.765625,
      "learning_rate": 4.0018693131366185e-06,
      "loss": 1.6046576499938965,
      "step": 1060
    },
    {
      "epoch": 0.708,
      "grad_norm": 3.9375,
      "learning_rate": 3.998129521359499e-06,
      "loss": 1.0697150230407715,
      "step": 1062
    },
    {
      "epoch": 0.7093333333333334,
      "grad_norm": 2.09375,
      "learning_rate": 3.994385076288399e-06,
      "loss": 1.048234224319458,
      "step": 1064
    },
    {
      "epoch": 0.7106666666666667,
      "grad_norm": 2.578125,
      "learning_rate": 3.990635995379975e-06,
      "loss": 1.0379292964935303,
      "step": 1066
    },
    {
      "epoch": 0.712,
      "grad_norm": 8.9375,
      "learning_rate": 3.986882296112495e-06,
      "loss": 2.008152961730957,
      "step": 1068
    },
    {
      "epoch": 0.7133333333333334,
      "grad_norm": 4.21875,
      "learning_rate": 3.983123995985757e-06,
      "loss": 1.593372106552124,
      "step": 1070
    },
    {
      "epoch": 0.7146666666666667,
      "grad_norm": 10.0,
      "learning_rate": 3.979361112521011e-06,
      "loss": 1.7745264768600464,
      "step": 1072
    },
    {
      "epoch": 0.716,
      "grad_norm": 9.6875,
      "learning_rate": 3.975593663260872e-06,
      "loss": 1.8867788314819336,
      "step": 1074
    },
    {
      "epoch": 0.7173333333333334,
      "grad_norm": 8.25,
      "learning_rate": 3.971821665769241e-06,
      "loss": 1.751440167427063,
      "step": 1076
    },
    {
      "epoch": 0.7186666666666667,
      "grad_norm": 22.75,
      "learning_rate": 3.968045137631226e-06,
      "loss": 1.5239152908325195,
      "step": 1078
    },
    {
      "epoch": 0.72,
      "grad_norm": 4.9375,
      "learning_rate": 3.964264096453055e-06,
      "loss": 1.5637166500091553,
      "step": 1080
    },
    {
      "epoch": 0.7213333333333334,
      "grad_norm": 5.65625,
      "learning_rate": 3.960478559861992e-06,
      "loss": 1.5539973974227905,
      "step": 1082
    },
    {
      "epoch": 0.7226666666666667,
      "grad_norm": 31.25,
      "learning_rate": 3.956688545506266e-06,
      "loss": 2.123660087585449,
      "step": 1084
    },
    {
      "epoch": 0.724,
      "grad_norm": 6.625,
      "learning_rate": 3.952894071054976e-06,
      "loss": 1.5803725719451904,
      "step": 1086
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 4.15625,
      "learning_rate": 3.949095154198015e-06,
      "loss": 1.592582106590271,
      "step": 1088
    },
    {
      "epoch": 0.7266666666666667,
      "grad_norm": 4.9375,
      "learning_rate": 3.945291812645989e-06,
      "loss": 1.5624558925628662,
      "step": 1090
    },
    {
      "epoch": 0.728,
      "grad_norm": 31.5,
      "learning_rate": 3.941484064130129e-06,
      "loss": 0.7563271522521973,
      "step": 1092
    },
    {
      "epoch": 0.7293333333333333,
      "grad_norm": 2.25,
      "learning_rate": 3.937671926402213e-06,
      "loss": 1.1665401458740234,
      "step": 1094
    },
    {
      "epoch": 0.7306666666666667,
      "grad_norm": 6.40625,
      "learning_rate": 3.933855417234481e-06,
      "loss": 1.601196527481079,
      "step": 1096
    },
    {
      "epoch": 0.732,
      "grad_norm": 4.59375,
      "learning_rate": 3.930034554419554e-06,
      "loss": 1.6145453453063965,
      "step": 1098
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 1.453125,
      "learning_rate": 3.926209355770348e-06,
      "loss": 1.085764765739441,
      "step": 1100
    },
    {
      "epoch": 0.7346666666666667,
      "grad_norm": 5.1875,
      "learning_rate": 3.922379839119991e-06,
      "loss": 1.493807077407837,
      "step": 1102
    },
    {
      "epoch": 0.736,
      "grad_norm": 11.5625,
      "learning_rate": 3.9185460223217464e-06,
      "loss": 1.9608560800552368,
      "step": 1104
    },
    {
      "epoch": 0.7373333333333333,
      "grad_norm": 2.640625,
      "learning_rate": 3.914707923248923e-06,
      "loss": 1.1575837135314941,
      "step": 1106
    },
    {
      "epoch": 0.7386666666666667,
      "grad_norm": 4.78125,
      "learning_rate": 3.910865559794791e-06,
      "loss": 1.6585121154785156,
      "step": 1108
    },
    {
      "epoch": 0.74,
      "grad_norm": 5.625,
      "learning_rate": 3.907018949872504e-06,
      "loss": 1.608562707901001,
      "step": 1110
    },
    {
      "epoch": 0.7413333333333333,
      "grad_norm": 1.90625,
      "learning_rate": 3.903168111415013e-06,
      "loss": 1.0436785221099854,
      "step": 1112
    },
    {
      "epoch": 0.7426666666666667,
      "grad_norm": 5.09375,
      "learning_rate": 3.899313062374981e-06,
      "loss": 1.571044921875,
      "step": 1114
    },
    {
      "epoch": 0.744,
      "grad_norm": 4.75,
      "learning_rate": 3.895453820724699e-06,
      "loss": 1.6325924396514893,
      "step": 1116
    },
    {
      "epoch": 0.7453333333333333,
      "grad_norm": 7.1875,
      "learning_rate": 3.891590404456011e-06,
      "loss": 1.6957452297210693,
      "step": 1118
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 4.8125,
      "learning_rate": 3.8877228315802154e-06,
      "loss": 1.0871795415878296,
      "step": 1120
    },
    {
      "epoch": 0.748,
      "grad_norm": 2.234375,
      "learning_rate": 3.883851120127991e-06,
      "loss": 1.1415892839431763,
      "step": 1122
    },
    {
      "epoch": 0.7493333333333333,
      "grad_norm": 6.46875,
      "learning_rate": 3.879975288149313e-06,
      "loss": 1.5673210620880127,
      "step": 1124
    },
    {
      "epoch": 0.7506666666666667,
      "grad_norm": 3.0,
      "learning_rate": 3.876095353713365e-06,
      "loss": 1.2196298837661743,
      "step": 1126
    },
    {
      "epoch": 0.752,
      "grad_norm": 5.03125,
      "learning_rate": 3.872211334908457e-06,
      "loss": 1.531401515007019,
      "step": 1128
    },
    {
      "epoch": 0.7533333333333333,
      "grad_norm": 2.921875,
      "learning_rate": 3.868323249841938e-06,
      "loss": 1.157065749168396,
      "step": 1130
    },
    {
      "epoch": 0.7546666666666667,
      "grad_norm": 7.375,
      "learning_rate": 3.864431116640116e-06,
      "loss": 1.9410104751586914,
      "step": 1132
    },
    {
      "epoch": 0.756,
      "grad_norm": 1.8046875,
      "learning_rate": 3.860534953448172e-06,
      "loss": 1.1366026401519775,
      "step": 1134
    },
    {
      "epoch": 0.7573333333333333,
      "grad_norm": 6.59375,
      "learning_rate": 3.8566347784300736e-06,
      "loss": 1.7256261110305786,
      "step": 1136
    },
    {
      "epoch": 0.7586666666666667,
      "grad_norm": 10.25,
      "learning_rate": 3.852730609768493e-06,
      "loss": 1.6122360229492188,
      "step": 1138
    },
    {
      "epoch": 0.76,
      "grad_norm": 5.4375,
      "learning_rate": 3.8488224656647175e-06,
      "loss": 1.6505470275878906,
      "step": 1140
    },
    {
      "epoch": 0.7613333333333333,
      "grad_norm": 4.1875,
      "learning_rate": 3.844910364338574e-06,
      "loss": 1.6339609622955322,
      "step": 1142
    },
    {
      "epoch": 0.7626666666666667,
      "grad_norm": 1.6796875,
      "learning_rate": 3.84099432402833e-06,
      "loss": 1.1175481081008911,
      "step": 1144
    },
    {
      "epoch": 0.764,
      "grad_norm": 9.9375,
      "learning_rate": 3.837074362990624e-06,
      "loss": 2.268331527709961,
      "step": 1146
    },
    {
      "epoch": 0.7653333333333333,
      "grad_norm": 14.125,
      "learning_rate": 3.833150499500369e-06,
      "loss": 1.9729036092758179,
      "step": 1148
    },
    {
      "epoch": 0.7666666666666667,
      "grad_norm": 1.796875,
      "learning_rate": 3.829222751850673e-06,
      "loss": 1.1577950716018677,
      "step": 1150
    },
    {
      "epoch": 0.768,
      "grad_norm": 9.875,
      "learning_rate": 3.8252911383527505e-06,
      "loss": 2.0585074424743652,
      "step": 1152
    },
    {
      "epoch": 0.7693333333333333,
      "grad_norm": 4.46875,
      "learning_rate": 3.821355677335839e-06,
      "loss": 1.5769875049591064,
      "step": 1154
    },
    {
      "epoch": 0.7706666666666667,
      "grad_norm": 8.0625,
      "learning_rate": 3.817416387147114e-06,
      "loss": 1.9496655464172363,
      "step": 1156
    },
    {
      "epoch": 0.772,
      "grad_norm": 6.21875,
      "learning_rate": 3.813473286151601e-06,
      "loss": 1.529472827911377,
      "step": 1158
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 5.9375,
      "learning_rate": 3.8095263927320945e-06,
      "loss": 1.6636042594909668,
      "step": 1160
    },
    {
      "epoch": 0.7746666666666666,
      "grad_norm": 6.78125,
      "learning_rate": 3.8055757252890677e-06,
      "loss": 1.729430913925171,
      "step": 1162
    },
    {
      "epoch": 0.776,
      "grad_norm": 14.125,
      "learning_rate": 3.801621302240588e-06,
      "loss": 1.8068076372146606,
      "step": 1164
    },
    {
      "epoch": 0.7773333333333333,
      "grad_norm": 10.25,
      "learning_rate": 3.797663142022231e-06,
      "loss": 2.0321993827819824,
      "step": 1166
    },
    {
      "epoch": 0.7786666666666666,
      "grad_norm": 7.09375,
      "learning_rate": 3.793701263086995e-06,
      "loss": 1.7701747417449951,
      "step": 1168
    },
    {
      "epoch": 0.78,
      "grad_norm": 9.25,
      "learning_rate": 3.789735683905218e-06,
      "loss": 1.120033621788025,
      "step": 1170
    },
    {
      "epoch": 0.7813333333333333,
      "grad_norm": 4.40625,
      "learning_rate": 3.785766422964484e-06,
      "loss": 1.5124024152755737,
      "step": 1172
    },
    {
      "epoch": 0.7826666666666666,
      "grad_norm": 2.703125,
      "learning_rate": 3.781793498769546e-06,
      "loss": 1.2949274778366089,
      "step": 1174
    },
    {
      "epoch": 0.784,
      "grad_norm": 7.03125,
      "learning_rate": 3.777816929842232e-06,
      "loss": 1.6004828214645386,
      "step": 1176
    },
    {
      "epoch": 0.7853333333333333,
      "grad_norm": 7.0,
      "learning_rate": 3.7738367347213623e-06,
      "loss": 1.5260186195373535,
      "step": 1178
    },
    {
      "epoch": 0.7866666666666666,
      "grad_norm": 2.171875,
      "learning_rate": 3.7698529319626633e-06,
      "loss": 1.0432777404785156,
      "step": 1180
    },
    {
      "epoch": 0.788,
      "grad_norm": 4.5,
      "learning_rate": 3.765865540138679e-06,
      "loss": 1.6023154258728027,
      "step": 1182
    },
    {
      "epoch": 0.7893333333333333,
      "grad_norm": 5.84375,
      "learning_rate": 3.7618745778386888e-06,
      "loss": 1.6582971811294556,
      "step": 1184
    },
    {
      "epoch": 0.7906666666666666,
      "grad_norm": 7.21875,
      "learning_rate": 3.757880063668614e-06,
      "loss": 2.0822949409484863,
      "step": 1186
    },
    {
      "epoch": 0.792,
      "grad_norm": 9.875,
      "learning_rate": 3.753882016250936e-06,
      "loss": 1.8574600219726562,
      "step": 1188
    },
    {
      "epoch": 0.7933333333333333,
      "grad_norm": 3.34375,
      "learning_rate": 3.74988045422461e-06,
      "loss": 1.2435466051101685,
      "step": 1190
    },
    {
      "epoch": 0.7946666666666666,
      "grad_norm": 10.125,
      "learning_rate": 3.7458753962449747e-06,
      "loss": 1.7264337539672852,
      "step": 1192
    },
    {
      "epoch": 0.796,
      "grad_norm": 5.25,
      "learning_rate": 3.741866860983665e-06,
      "loss": 1.8587850332260132,
      "step": 1194
    },
    {
      "epoch": 0.7973333333333333,
      "grad_norm": 7.46875,
      "learning_rate": 3.737854867128531e-06,
      "loss": 1.72437584400177,
      "step": 1196
    },
    {
      "epoch": 0.7986666666666666,
      "grad_norm": 7.65625,
      "learning_rate": 3.733839433383545e-06,
      "loss": 1.894095778465271,
      "step": 1198
    },
    {
      "epoch": 0.8,
      "grad_norm": 1.6796875,
      "learning_rate": 3.729820578468716e-06,
      "loss": 1.0513193607330322,
      "step": 1200
    },
    {
      "epoch": 0.8013333333333333,
      "grad_norm": 1.109375,
      "learning_rate": 3.725798321120001e-06,
      "loss": 1.066056728363037,
      "step": 1202
    },
    {
      "epoch": 0.8026666666666666,
      "grad_norm": 11.625,
      "learning_rate": 3.7217726800892227e-06,
      "loss": 1.6573752164840698,
      "step": 1204
    },
    {
      "epoch": 0.804,
      "grad_norm": 7.65625,
      "learning_rate": 3.7177436741439755e-06,
      "loss": 1.9016170501708984,
      "step": 1206
    },
    {
      "epoch": 0.8053333333333333,
      "grad_norm": 5.84375,
      "learning_rate": 3.7137113220675436e-06,
      "loss": 1.5036678314208984,
      "step": 1208
    },
    {
      "epoch": 0.8066666666666666,
      "grad_norm": 3.8125,
      "learning_rate": 3.709675642658809e-06,
      "loss": 1.4776989221572876,
      "step": 1210
    },
    {
      "epoch": 0.808,
      "grad_norm": 8.25,
      "learning_rate": 3.7056366547321655e-06,
      "loss": 1.8003324270248413,
      "step": 1212
    },
    {
      "epoch": 0.8093333333333333,
      "grad_norm": 4.71875,
      "learning_rate": 3.701594377117431e-06,
      "loss": 1.521277666091919,
      "step": 1214
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 5.34375,
      "learning_rate": 3.697548828659765e-06,
      "loss": 1.5993854999542236,
      "step": 1216
    },
    {
      "epoch": 0.812,
      "grad_norm": 4.4375,
      "learning_rate": 3.6935000282195687e-06,
      "loss": 1.6389127969741821,
      "step": 1218
    },
    {
      "epoch": 0.8133333333333334,
      "grad_norm": 4.9375,
      "learning_rate": 3.689447994672407e-06,
      "loss": 1.6071922779083252,
      "step": 1220
    },
    {
      "epoch": 0.8146666666666667,
      "grad_norm": 6.84375,
      "learning_rate": 3.68539274690892e-06,
      "loss": 1.8381483554840088,
      "step": 1222
    },
    {
      "epoch": 0.816,
      "grad_norm": 6.125,
      "learning_rate": 3.6813343038347284e-06,
      "loss": 1.6339752674102783,
      "step": 1224
    },
    {
      "epoch": 0.8173333333333334,
      "grad_norm": 7.5625,
      "learning_rate": 3.677272684370352e-06,
      "loss": 1.5650919675827026,
      "step": 1226
    },
    {
      "epoch": 0.8186666666666667,
      "grad_norm": 4.71875,
      "learning_rate": 3.6732079074511186e-06,
      "loss": 1.6217875480651855,
      "step": 1228
    },
    {
      "epoch": 0.82,
      "grad_norm": 5.1875,
      "learning_rate": 3.669139992027074e-06,
      "loss": 1.3875737190246582,
      "step": 1230
    },
    {
      "epoch": 0.8213333333333334,
      "grad_norm": 2.5625,
      "learning_rate": 3.6650689570629005e-06,
      "loss": 1.1723411083221436,
      "step": 1232
    },
    {
      "epoch": 0.8226666666666667,
      "grad_norm": 3.03125,
      "learning_rate": 3.6609948215378176e-06,
      "loss": 1.1628097295761108,
      "step": 1234
    },
    {
      "epoch": 0.824,
      "grad_norm": 3.46875,
      "learning_rate": 3.656917604445506e-06,
      "loss": 1.2432491779327393,
      "step": 1236
    },
    {
      "epoch": 0.8253333333333334,
      "grad_norm": 8.4375,
      "learning_rate": 3.6528373247940085e-06,
      "loss": 1.8964778184890747,
      "step": 1238
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 7.65625,
      "learning_rate": 3.6487540016056455e-06,
      "loss": 2.0520777702331543,
      "step": 1240
    },
    {
      "epoch": 0.828,
      "grad_norm": 4.125,
      "learning_rate": 3.644667653916929e-06,
      "loss": 1.1067545413970947,
      "step": 1242
    },
    {
      "epoch": 0.8293333333333334,
      "grad_norm": 4.90625,
      "learning_rate": 3.640578300778469e-06,
      "loss": 1.6915913820266724,
      "step": 1244
    },
    {
      "epoch": 0.8306666666666667,
      "grad_norm": 5.46875,
      "learning_rate": 3.6364859612548888e-06,
      "loss": 1.6206862926483154,
      "step": 1246
    },
    {
      "epoch": 0.832,
      "grad_norm": 4.90625,
      "learning_rate": 3.6323906544247323e-06,
      "loss": 1.6607365608215332,
      "step": 1248
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 8.75,
      "learning_rate": 3.628292399380379e-06,
      "loss": 1.6489142179489136,
      "step": 1250
    },
    {
      "epoch": 0.8346666666666667,
      "grad_norm": 7.59375,
      "learning_rate": 3.6241912152279492e-06,
      "loss": 1.9431458711624146,
      "step": 1252
    },
    {
      "epoch": 0.836,
      "grad_norm": 7.40625,
      "learning_rate": 3.620087121087226e-06,
      "loss": 1.875465750694275,
      "step": 1254
    },
    {
      "epoch": 0.8373333333333334,
      "grad_norm": 4.9375,
      "learning_rate": 3.6159801360915513e-06,
      "loss": 1.6114364862442017,
      "step": 1256
    },
    {
      "epoch": 0.8386666666666667,
      "grad_norm": 7.375,
      "learning_rate": 3.611870279387748e-06,
      "loss": 1.6327881813049316,
      "step": 1258
    },
    {
      "epoch": 0.84,
      "grad_norm": 5.90625,
      "learning_rate": 3.6077575701360267e-06,
      "loss": 2.0225255489349365,
      "step": 1260
    },
    {
      "epoch": 0.8413333333333334,
      "grad_norm": 10.875,
      "learning_rate": 3.603642027509897e-06,
      "loss": 1.468903660774231,
      "step": 1262
    },
    {
      "epoch": 0.8426666666666667,
      "grad_norm": 3.96875,
      "learning_rate": 3.5995236706960757e-06,
      "loss": 1.4783247709274292,
      "step": 1264
    },
    {
      "epoch": 0.844,
      "grad_norm": 5.375,
      "learning_rate": 3.595402518894402e-06,
      "loss": 1.5046296119689941,
      "step": 1266
    },
    {
      "epoch": 0.8453333333333334,
      "grad_norm": 2.3125,
      "learning_rate": 3.5912785913177417e-06,
      "loss": 1.090078592300415,
      "step": 1268
    },
    {
      "epoch": 0.8466666666666667,
      "grad_norm": 1.2421875,
      "learning_rate": 3.5871519071919058e-06,
      "loss": 1.0590107440948486,
      "step": 1270
    },
    {
      "epoch": 0.848,
      "grad_norm": 4.8125,
      "learning_rate": 3.583022485755554e-06,
      "loss": 1.0319173336029053,
      "step": 1272
    },
    {
      "epoch": 0.8493333333333334,
      "grad_norm": 4.4375,
      "learning_rate": 3.5788903462601065e-06,
      "loss": 1.6474723815917969,
      "step": 1274
    },
    {
      "epoch": 0.8506666666666667,
      "grad_norm": 4.375,
      "learning_rate": 3.574755507969657e-06,
      "loss": 1.6048872470855713,
      "step": 1276
    },
    {
      "epoch": 0.852,
      "grad_norm": 6.125,
      "learning_rate": 3.5706179901608795e-06,
      "loss": 1.5846049785614014,
      "step": 1278
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 4.4375,
      "learning_rate": 3.5664778121229414e-06,
      "loss": 1.5983173847198486,
      "step": 1280
    },
    {
      "epoch": 0.8546666666666667,
      "grad_norm": 14.625,
      "learning_rate": 3.5623349931574113e-06,
      "loss": 0.8655703067779541,
      "step": 1282
    },
    {
      "epoch": 0.856,
      "grad_norm": 4.71875,
      "learning_rate": 3.5581895525781706e-06,
      "loss": 1.6905121803283691,
      "step": 1284
    },
    {
      "epoch": 0.8573333333333333,
      "grad_norm": 3.8125,
      "learning_rate": 3.5540415097113212e-06,
      "loss": 1.1031184196472168,
      "step": 1286
    },
    {
      "epoch": 0.8586666666666667,
      "grad_norm": 4.1875,
      "learning_rate": 3.5498908838950976e-06,
      "loss": 1.6588813066482544,
      "step": 1288
    },
    {
      "epoch": 0.86,
      "grad_norm": 9.6875,
      "learning_rate": 3.545737694479777e-06,
      "loss": 1.1068980693817139,
      "step": 1290
    },
    {
      "epoch": 0.8613333333333333,
      "grad_norm": 8.375,
      "learning_rate": 3.541581960827586e-06,
      "loss": 1.858797311782837,
      "step": 1292
    },
    {
      "epoch": 0.8626666666666667,
      "grad_norm": 22.5,
      "learning_rate": 3.5374237023126157e-06,
      "loss": 1.3582959175109863,
      "step": 1294
    },
    {
      "epoch": 0.864,
      "grad_norm": 1.8359375,
      "learning_rate": 3.533262938320724e-06,
      "loss": 1.1611998081207275,
      "step": 1296
    },
    {
      "epoch": 0.8653333333333333,
      "grad_norm": 1.09375,
      "learning_rate": 3.5290996882494533e-06,
      "loss": 1.2682225704193115,
      "step": 1298
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 3.5,
      "learning_rate": 3.5249339715079343e-06,
      "loss": 1.1011674404144287,
      "step": 1300
    },
    {
      "epoch": 0.868,
      "grad_norm": 2.09375,
      "learning_rate": 3.5207658075167972e-06,
      "loss": 1.168353796005249,
      "step": 1302
    },
    {
      "epoch": 0.8693333333333333,
      "grad_norm": 12.375,
      "learning_rate": 3.516595215708082e-06,
      "loss": 2.0601859092712402,
      "step": 1304
    },
    {
      "epoch": 0.8706666666666667,
      "grad_norm": 5.21875,
      "learning_rate": 3.5124222155251454e-06,
      "loss": 1.5306146144866943,
      "step": 1306
    },
    {
      "epoch": 0.872,
      "grad_norm": 5.375,
      "learning_rate": 3.5082468264225754e-06,
      "loss": 1.5819231271743774,
      "step": 1308
    },
    {
      "epoch": 0.8733333333333333,
      "grad_norm": 12.3125,
      "learning_rate": 3.504069067866094e-06,
      "loss": 1.9946259260177612,
      "step": 1310
    },
    {
      "epoch": 0.8746666666666667,
      "grad_norm": 2.875,
      "learning_rate": 3.4998889593324715e-06,
      "loss": 1.1388391256332397,
      "step": 1312
    },
    {
      "epoch": 0.876,
      "grad_norm": 7.8125,
      "learning_rate": 3.495706520309432e-06,
      "loss": 1.6211680173873901,
      "step": 1314
    },
    {
      "epoch": 0.8773333333333333,
      "grad_norm": 7.25,
      "learning_rate": 3.4915217702955674e-06,
      "loss": 1.8492045402526855,
      "step": 1316
    },
    {
      "epoch": 0.8786666666666667,
      "grad_norm": 11.1875,
      "learning_rate": 3.487334728800239e-06,
      "loss": 1.5768213272094727,
      "step": 1318
    },
    {
      "epoch": 0.88,
      "grad_norm": 2.140625,
      "learning_rate": 3.4831454153434967e-06,
      "loss": 1.0622522830963135,
      "step": 1320
    },
    {
      "epoch": 0.8813333333333333,
      "grad_norm": 2.234375,
      "learning_rate": 3.478953849455977e-06,
      "loss": 1.1389195919036865,
      "step": 1322
    },
    {
      "epoch": 0.8826666666666667,
      "grad_norm": 5.71875,
      "learning_rate": 3.4747600506788206e-06,
      "loss": 1.699198842048645,
      "step": 1324
    },
    {
      "epoch": 0.884,
      "grad_norm": 6.21875,
      "learning_rate": 3.470564038563576e-06,
      "loss": 1.1638987064361572,
      "step": 1326
    },
    {
      "epoch": 0.8853333333333333,
      "grad_norm": 9.9375,
      "learning_rate": 3.466365832672112e-06,
      "loss": 1.9894802570343018,
      "step": 1328
    },
    {
      "epoch": 0.8866666666666667,
      "grad_norm": 3.90625,
      "learning_rate": 3.462165452576523e-06,
      "loss": 1.5490775108337402,
      "step": 1330
    },
    {
      "epoch": 0.888,
      "grad_norm": 4.6875,
      "learning_rate": 3.457962917859041e-06,
      "loss": 1.6606712341308594,
      "step": 1332
    },
    {
      "epoch": 0.8893333333333333,
      "grad_norm": 2.21875,
      "learning_rate": 3.4537582481119435e-06,
      "loss": 0.9603934288024902,
      "step": 1334
    },
    {
      "epoch": 0.8906666666666667,
      "grad_norm": 9.625,
      "learning_rate": 3.4495514629374595e-06,
      "loss": 1.3755745887756348,
      "step": 1336
    },
    {
      "epoch": 0.892,
      "grad_norm": 6.75,
      "learning_rate": 3.4453425819476804e-06,
      "loss": 1.5730741024017334,
      "step": 1338
    },
    {
      "epoch": 0.8933333333333333,
      "grad_norm": 5.65625,
      "learning_rate": 3.441131624764471e-06,
      "loss": 1.7277932167053223,
      "step": 1340
    },
    {
      "epoch": 0.8946666666666667,
      "grad_norm": 4.1875,
      "learning_rate": 3.4369186110193707e-06,
      "loss": 1.558158278465271,
      "step": 1342
    },
    {
      "epoch": 0.896,
      "grad_norm": 2.640625,
      "learning_rate": 3.4327035603535126e-06,
      "loss": 1.1294000148773193,
      "step": 1344
    },
    {
      "epoch": 0.8973333333333333,
      "grad_norm": 7.0625,
      "learning_rate": 3.42848649241752e-06,
      "loss": 1.7495123147964478,
      "step": 1346
    },
    {
      "epoch": 0.8986666666666666,
      "grad_norm": 1.5625,
      "learning_rate": 3.4242674268714243e-06,
      "loss": 1.104962944984436,
      "step": 1348
    },
    {
      "epoch": 0.9,
      "grad_norm": 8.625,
      "learning_rate": 3.42004638338457e-06,
      "loss": 1.8600108623504639,
      "step": 1350
    },
    {
      "epoch": 0.9013333333333333,
      "grad_norm": 3.96875,
      "learning_rate": 3.415823381635519e-06,
      "loss": 1.2579452991485596,
      "step": 1352
    },
    {
      "epoch": 0.9026666666666666,
      "grad_norm": 5.53125,
      "learning_rate": 3.4115984413119676e-06,
      "loss": 1.4979395866394043,
      "step": 1354
    },
    {
      "epoch": 0.904,
      "grad_norm": 7.625,
      "learning_rate": 3.407371582110647e-06,
      "loss": 1.5508317947387695,
      "step": 1356
    },
    {
      "epoch": 0.9053333333333333,
      "grad_norm": 11.25,
      "learning_rate": 3.4031428237372343e-06,
      "loss": 1.851904034614563,
      "step": 1358
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 3.34375,
      "learning_rate": 3.3989121859062624e-06,
      "loss": 1.0736128091812134,
      "step": 1360
    },
    {
      "epoch": 0.908,
      "grad_norm": 5.0625,
      "learning_rate": 3.3946796883410225e-06,
      "loss": 1.609264850616455,
      "step": 1362
    },
    {
      "epoch": 0.9093333333333333,
      "grad_norm": 4.8125,
      "learning_rate": 3.39044535077348e-06,
      "loss": 1.1035856008529663,
      "step": 1364
    },
    {
      "epoch": 0.9106666666666666,
      "grad_norm": 2.21875,
      "learning_rate": 3.3862091929441764e-06,
      "loss": 1.1078152656555176,
      "step": 1366
    },
    {
      "epoch": 0.912,
      "grad_norm": 1.984375,
      "learning_rate": 3.3819712346021392e-06,
      "loss": 1.1677632331848145,
      "step": 1368
    },
    {
      "epoch": 0.9133333333333333,
      "grad_norm": 4.8125,
      "learning_rate": 3.37773149550479e-06,
      "loss": 1.5922446250915527,
      "step": 1370
    },
    {
      "epoch": 0.9146666666666666,
      "grad_norm": 13.8125,
      "learning_rate": 3.3734899954178534e-06,
      "loss": 1.8471770286560059,
      "step": 1372
    },
    {
      "epoch": 0.916,
      "grad_norm": 8.625,
      "learning_rate": 3.369246754115262e-06,
      "loss": 1.8968651294708252,
      "step": 1374
    },
    {
      "epoch": 0.9173333333333333,
      "grad_norm": 5.40625,
      "learning_rate": 3.365001791379068e-06,
      "loss": 1.5288443565368652,
      "step": 1376
    },
    {
      "epoch": 0.9186666666666666,
      "grad_norm": 8.9375,
      "learning_rate": 3.360755126999347e-06,
      "loss": 1.6761029958724976,
      "step": 1378
    },
    {
      "epoch": 0.92,
      "grad_norm": 9.375,
      "learning_rate": 3.3565067807741093e-06,
      "loss": 1.8433051109313965,
      "step": 1380
    },
    {
      "epoch": 0.9213333333333333,
      "grad_norm": 8.125,
      "learning_rate": 3.352256772509205e-06,
      "loss": 1.642780065536499,
      "step": 1382
    },
    {
      "epoch": 0.9226666666666666,
      "grad_norm": 9.5,
      "learning_rate": 3.348005122018232e-06,
      "loss": 1.9076459407806396,
      "step": 1384
    },
    {
      "epoch": 0.924,
      "grad_norm": 3.265625,
      "learning_rate": 3.3437518491224464e-06,
      "loss": 1.042888879776001,
      "step": 1386
    },
    {
      "epoch": 0.9253333333333333,
      "grad_norm": 12.0,
      "learning_rate": 3.3394969736506656e-06,
      "loss": 2.10634708404541,
      "step": 1388
    },
    {
      "epoch": 0.9266666666666666,
      "grad_norm": 12.9375,
      "learning_rate": 3.33524051543918e-06,
      "loss": 1.8503813743591309,
      "step": 1390
    },
    {
      "epoch": 0.928,
      "grad_norm": 10.125,
      "learning_rate": 3.3309824943316593e-06,
      "loss": 1.7067197561264038,
      "step": 1392
    },
    {
      "epoch": 0.9293333333333333,
      "grad_norm": 7.84375,
      "learning_rate": 3.3267229301790562e-06,
      "loss": 1.9710360765457153,
      "step": 1394
    },
    {
      "epoch": 0.9306666666666666,
      "grad_norm": 2.125,
      "learning_rate": 3.32246184283952e-06,
      "loss": 1.1389985084533691,
      "step": 1396
    },
    {
      "epoch": 0.932,
      "grad_norm": 10.0625,
      "learning_rate": 3.3181992521783e-06,
      "loss": 1.9844406843185425,
      "step": 1398
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 7.90625,
      "learning_rate": 3.313935178067656e-06,
      "loss": 1.700979232788086,
      "step": 1400
    },
    {
      "epoch": 0.9346666666666666,
      "grad_norm": 3.234375,
      "learning_rate": 3.30966964038676e-06,
      "loss": 0.9724457263946533,
      "step": 1402
    },
    {
      "epoch": 0.936,
      "grad_norm": 5.90625,
      "learning_rate": 3.3054026590216092e-06,
      "loss": 1.6514759063720703,
      "step": 1404
    },
    {
      "epoch": 0.9373333333333334,
      "grad_norm": 3.546875,
      "learning_rate": 3.3011342538649325e-06,
      "loss": 1.581580638885498,
      "step": 1406
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 11.0625,
      "learning_rate": 3.2968644448160946e-06,
      "loss": 1.3123493194580078,
      "step": 1408
    },
    {
      "epoch": 0.94,
      "grad_norm": 20.75,
      "learning_rate": 3.2925932517810057e-06,
      "loss": 2.246950149536133,
      "step": 1410
    },
    {
      "epoch": 0.9413333333333334,
      "grad_norm": 8.375,
      "learning_rate": 3.288320694672028e-06,
      "loss": 1.4993822574615479,
      "step": 1412
    },
    {
      "epoch": 0.9426666666666667,
      "grad_norm": 3.03125,
      "learning_rate": 3.2840467934078845e-06,
      "loss": 1.228714942932129,
      "step": 1414
    },
    {
      "epoch": 0.944,
      "grad_norm": 11.8125,
      "learning_rate": 3.279771567913562e-06,
      "loss": 1.83895742893219,
      "step": 1416
    },
    {
      "epoch": 0.9453333333333334,
      "grad_norm": 1.9453125,
      "learning_rate": 3.2754950381202243e-06,
      "loss": 1.0585711002349854,
      "step": 1418
    },
    {
      "epoch": 0.9466666666666667,
      "grad_norm": 3.421875,
      "learning_rate": 3.2712172239651106e-06,
      "loss": 1.1873035430908203,
      "step": 1420
    },
    {
      "epoch": 0.948,
      "grad_norm": 4.875,
      "learning_rate": 3.2669381453914552e-06,
      "loss": 1.6478772163391113,
      "step": 1422
    },
    {
      "epoch": 0.9493333333333334,
      "grad_norm": 3.9375,
      "learning_rate": 3.26265782234838e-06,
      "loss": 1.157041072845459,
      "step": 1424
    },
    {
      "epoch": 0.9506666666666667,
      "grad_norm": 7.75,
      "learning_rate": 3.2583762747908134e-06,
      "loss": 1.9819687604904175,
      "step": 1426
    },
    {
      "epoch": 0.952,
      "grad_norm": 4.46875,
      "learning_rate": 3.25409352267939e-06,
      "loss": 1.4531431198120117,
      "step": 1428
    },
    {
      "epoch": 0.9533333333333334,
      "grad_norm": 3.90625,
      "learning_rate": 3.249809585980361e-06,
      "loss": 1.5999106168746948,
      "step": 1430
    },
    {
      "epoch": 0.9546666666666667,
      "grad_norm": 7.3125,
      "learning_rate": 3.245524484665501e-06,
      "loss": 1.8473896980285645,
      "step": 1432
    },
    {
      "epoch": 0.956,
      "grad_norm": 4.71875,
      "learning_rate": 3.2412382387120112e-06,
      "loss": 1.5177754163742065,
      "step": 1434
    },
    {
      "epoch": 0.9573333333333334,
      "grad_norm": 2.09375,
      "learning_rate": 3.236950868102432e-06,
      "loss": 1.2477397918701172,
      "step": 1436
    },
    {
      "epoch": 0.9586666666666667,
      "grad_norm": 6.0625,
      "learning_rate": 3.232662392824547e-06,
      "loss": 1.6189217567443848,
      "step": 1438
    },
    {
      "epoch": 0.96,
      "grad_norm": 10.4375,
      "learning_rate": 3.2283728328712877e-06,
      "loss": 1.6426982879638672,
      "step": 1440
    },
    {
      "epoch": 0.9613333333333334,
      "grad_norm": 7.1875,
      "learning_rate": 3.224082208240643e-06,
      "loss": 1.27528715133667,
      "step": 1442
    },
    {
      "epoch": 0.9626666666666667,
      "grad_norm": 22.5,
      "learning_rate": 3.219790538935566e-06,
      "loss": 0.6726552248001099,
      "step": 1444
    },
    {
      "epoch": 0.964,
      "grad_norm": 3.15625,
      "learning_rate": 3.215497844963881e-06,
      "loss": 1.2849948406219482,
      "step": 1446
    },
    {
      "epoch": 0.9653333333333334,
      "grad_norm": 4.84375,
      "learning_rate": 3.211204146338187e-06,
      "loss": 1.6178771257400513,
      "step": 1448
    },
    {
      "epoch": 0.9666666666666667,
      "grad_norm": 1.84375,
      "learning_rate": 3.206909463075768e-06,
      "loss": 1.1476926803588867,
      "step": 1450
    },
    {
      "epoch": 0.968,
      "grad_norm": 9.6875,
      "learning_rate": 3.2026138151984987e-06,
      "loss": 1.3063325881958008,
      "step": 1452
    },
    {
      "epoch": 0.9693333333333334,
      "grad_norm": 3.875,
      "learning_rate": 3.1983172227327495e-06,
      "loss": 1.0711333751678467,
      "step": 1454
    },
    {
      "epoch": 0.9706666666666667,
      "grad_norm": 2.578125,
      "learning_rate": 3.194019705709297e-06,
      "loss": 1.2706935405731201,
      "step": 1456
    },
    {
      "epoch": 0.972,
      "grad_norm": 3.875,
      "learning_rate": 3.189721284163225e-06,
      "loss": 1.5907695293426514,
      "step": 1458
    },
    {
      "epoch": 0.9733333333333334,
      "grad_norm": 5.9375,
      "learning_rate": 3.1854219781338358e-06,
      "loss": 1.630199670791626,
      "step": 1460
    },
    {
      "epoch": 0.9746666666666667,
      "grad_norm": 7.15625,
      "learning_rate": 3.181121807664556e-06,
      "loss": 1.8257417678833008,
      "step": 1462
    },
    {
      "epoch": 0.976,
      "grad_norm": 11.25,
      "learning_rate": 3.1768207928028405e-06,
      "loss": 1.8316962718963623,
      "step": 1464
    },
    {
      "epoch": 0.9773333333333334,
      "grad_norm": 4.28125,
      "learning_rate": 3.1725189536000823e-06,
      "loss": 1.4978811740875244,
      "step": 1466
    },
    {
      "epoch": 0.9786666666666667,
      "grad_norm": 11.625,
      "learning_rate": 3.168216310111516e-06,
      "loss": 2.125202178955078,
      "step": 1468
    },
    {
      "epoch": 0.98,
      "grad_norm": 6.46875,
      "learning_rate": 3.1639128823961275e-06,
      "loss": 1.5529388189315796,
      "step": 1470
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 6.1875,
      "learning_rate": 3.1596086905165556e-06,
      "loss": 1.8385839462280273,
      "step": 1472
    },
    {
      "epoch": 0.9826666666666667,
      "grad_norm": 1.546875,
      "learning_rate": 3.1553037545390077e-06,
      "loss": 0.97187340259552,
      "step": 1474
    },
    {
      "epoch": 0.984,
      "grad_norm": 9.125,
      "learning_rate": 3.150998094533152e-06,
      "loss": 2.0341556072235107,
      "step": 1476
    },
    {
      "epoch": 0.9853333333333333,
      "grad_norm": 5.09375,
      "learning_rate": 3.146691730572039e-06,
      "loss": 1.839565396308899,
      "step": 1478
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 16.625,
      "learning_rate": 3.1423846827319994e-06,
      "loss": 1.7883915901184082,
      "step": 1480
    },
    {
      "epoch": 0.988,
      "grad_norm": 9.75,
      "learning_rate": 3.1380769710925494e-06,
      "loss": 1.6055920124053955,
      "step": 1482
    },
    {
      "epoch": 0.9893333333333333,
      "grad_norm": 1.8515625,
      "learning_rate": 3.133768615736302e-06,
      "loss": 1.1589007377624512,
      "step": 1484
    },
    {
      "epoch": 0.9906666666666667,
      "grad_norm": 7.90625,
      "learning_rate": 3.1294596367488715e-06,
      "loss": 1.8504548072814941,
      "step": 1486
    },
    {
      "epoch": 0.992,
      "grad_norm": 9.0,
      "learning_rate": 3.1251500542187798e-06,
      "loss": 1.8369858264923096,
      "step": 1488
    },
    {
      "epoch": 0.9933333333333333,
      "grad_norm": 5.40625,
      "learning_rate": 3.12083988823736e-06,
      "loss": 1.6977782249450684,
      "step": 1490
    },
    {
      "epoch": 0.9946666666666667,
      "grad_norm": 4.8125,
      "learning_rate": 3.116529158898668e-06,
      "loss": 1.6213133335113525,
      "step": 1492
    },
    {
      "epoch": 0.996,
      "grad_norm": 1.8359375,
      "learning_rate": 3.112217886299385e-06,
      "loss": 1.1973605155944824,
      "step": 1494
    },
    {
      "epoch": 0.9973333333333333,
      "grad_norm": 7.59375,
      "learning_rate": 3.107906090538725e-06,
      "loss": 1.7736064195632935,
      "step": 1496
    },
    {
      "epoch": 0.9986666666666667,
      "grad_norm": 4.4375,
      "learning_rate": 3.1035937917183414e-06,
      "loss": 1.4783213138580322,
      "step": 1498
    },
    {
      "epoch": 1.0,
      "grad_norm": 1.5,
      "learning_rate": 3.099281009942231e-06,
      "loss": 1.0851173400878906,
      "step": 1500
    },
    {
      "epoch": 1.0013333333333334,
      "grad_norm": 0.69921875,
      "learning_rate": 3.0949677653166453e-06,
      "loss": 1.3752434253692627,
      "step": 1502
    },
    {
      "epoch": 1.0026666666666666,
      "grad_norm": 2.171875,
      "learning_rate": 3.0906540779499916e-06,
      "loss": 0.9937149286270142,
      "step": 1504
    },
    {
      "epoch": 1.004,
      "grad_norm": 12.625,
      "learning_rate": 3.0863399679527408e-06,
      "loss": 2.0265655517578125,
      "step": 1506
    },
    {
      "epoch": 1.0053333333333334,
      "grad_norm": 6.75,
      "learning_rate": 3.0820254554373345e-06,
      "loss": 1.6888525485992432,
      "step": 1508
    },
    {
      "epoch": 1.0066666666666666,
      "grad_norm": 18.25,
      "learning_rate": 3.0777105605180923e-06,
      "loss": 1.7616627216339111,
      "step": 1510
    },
    {
      "epoch": 1.008,
      "grad_norm": 5.28125,
      "learning_rate": 3.0733953033111153e-06,
      "loss": 1.5890424251556396,
      "step": 1512
    },
    {
      "epoch": 1.0093333333333334,
      "grad_norm": 4.8125,
      "learning_rate": 3.0690797039341936e-06,
      "loss": 1.5777063369750977,
      "step": 1514
    },
    {
      "epoch": 1.0106666666666666,
      "grad_norm": 7.03125,
      "learning_rate": 3.0647637825067125e-06,
      "loss": 1.8093584775924683,
      "step": 1516
    },
    {
      "epoch": 1.012,
      "grad_norm": 10.4375,
      "learning_rate": 3.0604475591495587e-06,
      "loss": 2.03692626953125,
      "step": 1518
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 6.6875,
      "learning_rate": 3.056131053985028e-06,
      "loss": 1.6062037944793701,
      "step": 1520
    },
    {
      "epoch": 1.0146666666666666,
      "grad_norm": 3.3125,
      "learning_rate": 3.051814287136727e-06,
      "loss": 1.497098684310913,
      "step": 1522
    },
    {
      "epoch": 1.016,
      "grad_norm": 3.609375,
      "learning_rate": 3.0474972787294852e-06,
      "loss": 1.5099387168884277,
      "step": 1524
    },
    {
      "epoch": 1.0173333333333334,
      "grad_norm": 6.75,
      "learning_rate": 3.043180048889256e-06,
      "loss": 1.0779247283935547,
      "step": 1526
    },
    {
      "epoch": 1.0186666666666666,
      "grad_norm": 6.75,
      "learning_rate": 3.038862617743027e-06,
      "loss": 1.5594415664672852,
      "step": 1528
    },
    {
      "epoch": 1.02,
      "grad_norm": 6.125,
      "learning_rate": 3.034545005418723e-06,
      "loss": 1.5969600677490234,
      "step": 1530
    },
    {
      "epoch": 1.0213333333333334,
      "grad_norm": 4.9375,
      "learning_rate": 3.030227232045114e-06,
      "loss": 1.633499264717102,
      "step": 1532
    },
    {
      "epoch": 1.0226666666666666,
      "grad_norm": 10.6875,
      "learning_rate": 3.0259093177517213e-06,
      "loss": 1.1812535524368286,
      "step": 1534
    },
    {
      "epoch": 1.024,
      "grad_norm": 5.875,
      "learning_rate": 3.021591282668721e-06,
      "loss": 1.7009207010269165,
      "step": 1536
    },
    {
      "epoch": 1.0253333333333334,
      "grad_norm": 0.79296875,
      "learning_rate": 3.0172731469268545e-06,
      "loss": 1.2874627113342285,
      "step": 1538
    },
    {
      "epoch": 1.0266666666666666,
      "grad_norm": 6.71875,
      "learning_rate": 3.0129549306573323e-06,
      "loss": 1.6079018115997314,
      "step": 1540
    },
    {
      "epoch": 1.028,
      "grad_norm": 7.46875,
      "learning_rate": 3.00863665399174e-06,
      "loss": 1.9101991653442383,
      "step": 1542
    },
    {
      "epoch": 1.0293333333333334,
      "grad_norm": 20.125,
      "learning_rate": 3.0043183370619445e-06,
      "loss": 1.7360703945159912,
      "step": 1544
    },
    {
      "epoch": 1.0306666666666666,
      "grad_norm": 5.53125,
      "learning_rate": 3.0000000000000005e-06,
      "loss": 1.664625644683838,
      "step": 1546
    },
    {
      "epoch": 1.032,
      "grad_norm": 8.125,
      "learning_rate": 2.9956816629380557e-06,
      "loss": 1.6770424842834473,
      "step": 1548
    },
    {
      "epoch": 1.0333333333333334,
      "grad_norm": 1.8515625,
      "learning_rate": 2.9913633460082604e-06,
      "loss": 1.0641461610794067,
      "step": 1550
    },
    {
      "epoch": 1.0346666666666666,
      "grad_norm": 9.8125,
      "learning_rate": 2.9870450693426683e-06,
      "loss": 2.1422629356384277,
      "step": 1552
    },
    {
      "epoch": 1.036,
      "grad_norm": 9.9375,
      "learning_rate": 2.982726853073147e-06,
      "loss": 1.7939167022705078,
      "step": 1554
    },
    {
      "epoch": 1.0373333333333334,
      "grad_norm": 8.875,
      "learning_rate": 2.9784087173312804e-06,
      "loss": 1.9452416896820068,
      "step": 1556
    },
    {
      "epoch": 1.0386666666666666,
      "grad_norm": 13.9375,
      "learning_rate": 2.9740906822482797e-06,
      "loss": 2.0147793292999268,
      "step": 1558
    },
    {
      "epoch": 1.04,
      "grad_norm": 1.828125,
      "learning_rate": 2.9697727679548864e-06,
      "loss": 1.0894575119018555,
      "step": 1560
    },
    {
      "epoch": 1.0413333333333332,
      "grad_norm": 7.625,
      "learning_rate": 2.965454994581277e-06,
      "loss": 1.9521132707595825,
      "step": 1562
    },
    {
      "epoch": 1.0426666666666666,
      "grad_norm": 17.625,
      "learning_rate": 2.9611373822569735e-06,
      "loss": 1.7252278327941895,
      "step": 1564
    },
    {
      "epoch": 1.044,
      "grad_norm": 2.40625,
      "learning_rate": 2.9568199511107448e-06,
      "loss": 0.9713205695152283,
      "step": 1566
    },
    {
      "epoch": 1.0453333333333332,
      "grad_norm": 2.984375,
      "learning_rate": 2.9525027212705158e-06,
      "loss": 0.9757088422775269,
      "step": 1568
    },
    {
      "epoch": 1.0466666666666666,
      "grad_norm": 5.625,
      "learning_rate": 2.9481857128632742e-06,
      "loss": 1.5996389389038086,
      "step": 1570
    },
    {
      "epoch": 1.048,
      "grad_norm": 28.5,
      "learning_rate": 2.943868946014973e-06,
      "loss": 0.7404099106788635,
      "step": 1572
    },
    {
      "epoch": 1.0493333333333332,
      "grad_norm": 1.59375,
      "learning_rate": 2.9395524408504427e-06,
      "loss": 1.0925877094268799,
      "step": 1574
    },
    {
      "epoch": 1.0506666666666666,
      "grad_norm": 12.625,
      "learning_rate": 2.935236217493289e-06,
      "loss": 1.9147734642028809,
      "step": 1576
    },
    {
      "epoch": 1.052,
      "grad_norm": 8.25,
      "learning_rate": 2.930920296065808e-06,
      "loss": 1.5937700271606445,
      "step": 1578
    },
    {
      "epoch": 1.0533333333333332,
      "grad_norm": 3.0,
      "learning_rate": 2.926604696688886e-06,
      "loss": 1.1637517213821411,
      "step": 1580
    },
    {
      "epoch": 1.0546666666666666,
      "grad_norm": 10.75,
      "learning_rate": 2.922289439481909e-06,
      "loss": 1.9980616569519043,
      "step": 1582
    },
    {
      "epoch": 1.056,
      "grad_norm": 10.6875,
      "learning_rate": 2.9179745445626673e-06,
      "loss": 1.5037312507629395,
      "step": 1584
    },
    {
      "epoch": 1.0573333333333332,
      "grad_norm": 4.78125,
      "learning_rate": 2.9136600320472606e-06,
      "loss": 1.5640144348144531,
      "step": 1586
    },
    {
      "epoch": 1.0586666666666666,
      "grad_norm": 4.75,
      "learning_rate": 2.90934592205001e-06,
      "loss": 1.4845762252807617,
      "step": 1588
    },
    {
      "epoch": 1.06,
      "grad_norm": 1.6796875,
      "learning_rate": 2.905032234683356e-06,
      "loss": 1.1452919244766235,
      "step": 1590
    },
    {
      "epoch": 1.0613333333333332,
      "grad_norm": 1.6875,
      "learning_rate": 2.9007189900577694e-06,
      "loss": 0.9397138357162476,
      "step": 1592
    },
    {
      "epoch": 1.0626666666666666,
      "grad_norm": 6.4375,
      "learning_rate": 2.896406208281659e-06,
      "loss": 1.4903689622879028,
      "step": 1594
    },
    {
      "epoch": 1.064,
      "grad_norm": 6.46875,
      "learning_rate": 2.8920939094612756e-06,
      "loss": 1.7486934661865234,
      "step": 1596
    },
    {
      "epoch": 1.0653333333333332,
      "grad_norm": 6.78125,
      "learning_rate": 2.8877821137006156e-06,
      "loss": 1.5886731147766113,
      "step": 1598
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 4.0625,
      "learning_rate": 2.8834708411013323e-06,
      "loss": 1.5811033248901367,
      "step": 1600
    },
    {
      "epoch": 1.068,
      "grad_norm": 7.03125,
      "learning_rate": 2.879160111762641e-06,
      "loss": 1.4661691188812256,
      "step": 1602
    },
    {
      "epoch": 1.0693333333333332,
      "grad_norm": 4.53125,
      "learning_rate": 2.8748499457812212e-06,
      "loss": 1.6812434196472168,
      "step": 1604
    },
    {
      "epoch": 1.0706666666666667,
      "grad_norm": 6.625,
      "learning_rate": 2.8705403632511286e-06,
      "loss": 1.653494119644165,
      "step": 1606
    },
    {
      "epoch": 1.072,
      "grad_norm": 12.1875,
      "learning_rate": 2.866231384263698e-06,
      "loss": 1.531437873840332,
      "step": 1608
    },
    {
      "epoch": 1.0733333333333333,
      "grad_norm": 7.09375,
      "learning_rate": 2.8619230289074516e-06,
      "loss": 1.8403922319412231,
      "step": 1610
    },
    {
      "epoch": 1.0746666666666667,
      "grad_norm": 7.90625,
      "learning_rate": 2.857615317268001e-06,
      "loss": 1.9845728874206543,
      "step": 1612
    },
    {
      "epoch": 1.076,
      "grad_norm": 5.125,
      "learning_rate": 2.8533082694279614e-06,
      "loss": 1.1663343906402588,
      "step": 1614
    },
    {
      "epoch": 1.0773333333333333,
      "grad_norm": 4.4375,
      "learning_rate": 2.8490019054668488e-06,
      "loss": 1.5892982482910156,
      "step": 1616
    },
    {
      "epoch": 1.0786666666666667,
      "grad_norm": 2.21875,
      "learning_rate": 2.8446962454609938e-06,
      "loss": 1.2441880702972412,
      "step": 1618
    },
    {
      "epoch": 1.08,
      "grad_norm": 3.890625,
      "learning_rate": 2.8403913094834446e-06,
      "loss": 1.556786298751831,
      "step": 1620
    },
    {
      "epoch": 1.0813333333333333,
      "grad_norm": 6.65625,
      "learning_rate": 2.836087117603874e-06,
      "loss": 1.6569768190383911,
      "step": 1622
    },
    {
      "epoch": 1.0826666666666667,
      "grad_norm": 7.875,
      "learning_rate": 2.831783689888485e-06,
      "loss": 1.2390692234039307,
      "step": 1624
    },
    {
      "epoch": 1.084,
      "grad_norm": 3.21875,
      "learning_rate": 2.827481046399919e-06,
      "loss": 1.24364173412323,
      "step": 1626
    },
    {
      "epoch": 1.0853333333333333,
      "grad_norm": 3.953125,
      "learning_rate": 2.8231792071971596e-06,
      "loss": 1.1136494874954224,
      "step": 1628
    },
    {
      "epoch": 1.0866666666666667,
      "grad_norm": 2.46875,
      "learning_rate": 2.818878192335445e-06,
      "loss": 1.3179781436920166,
      "step": 1630
    },
    {
      "epoch": 1.088,
      "grad_norm": 6.0,
      "learning_rate": 2.8145780218661652e-06,
      "loss": 1.8306783437728882,
      "step": 1632
    },
    {
      "epoch": 1.0893333333333333,
      "grad_norm": 7.40625,
      "learning_rate": 2.8102787158367762e-06,
      "loss": 1.8992735147476196,
      "step": 1634
    },
    {
      "epoch": 1.0906666666666667,
      "grad_norm": 5.78125,
      "learning_rate": 2.8059802942907045e-06,
      "loss": 1.5470423698425293,
      "step": 1636
    },
    {
      "epoch": 1.092,
      "grad_norm": 7.03125,
      "learning_rate": 2.8016827772672515e-06,
      "loss": 1.8855934143066406,
      "step": 1638
    },
    {
      "epoch": 1.0933333333333333,
      "grad_norm": 1.9375,
      "learning_rate": 2.7973861848015028e-06,
      "loss": 1.3518332242965698,
      "step": 1640
    },
    {
      "epoch": 1.0946666666666667,
      "grad_norm": 7.0,
      "learning_rate": 2.793090536924233e-06,
      "loss": 1.6882765293121338,
      "step": 1642
    },
    {
      "epoch": 1.096,
      "grad_norm": 1.625,
      "learning_rate": 2.7887958536618143e-06,
      "loss": 1.0547984838485718,
      "step": 1644
    },
    {
      "epoch": 1.0973333333333333,
      "grad_norm": 21.875,
      "learning_rate": 2.78450215503612e-06,
      "loss": 0.577151894569397,
      "step": 1646
    },
    {
      "epoch": 1.0986666666666667,
      "grad_norm": 4.75,
      "learning_rate": 2.7802094610644346e-06,
      "loss": 1.5353561639785767,
      "step": 1648
    },
    {
      "epoch": 1.1,
      "grad_norm": 4.96875,
      "learning_rate": 2.775917791759358e-06,
      "loss": 1.4958857297897339,
      "step": 1650
    },
    {
      "epoch": 1.1013333333333333,
      "grad_norm": 7.0625,
      "learning_rate": 2.7716271671287133e-06,
      "loss": 1.8528183698654175,
      "step": 1652
    },
    {
      "epoch": 1.1026666666666667,
      "grad_norm": 4.34375,
      "learning_rate": 2.767337607175454e-06,
      "loss": 1.679598331451416,
      "step": 1654
    },
    {
      "epoch": 1.104,
      "grad_norm": 8.0625,
      "learning_rate": 2.7630491318975683e-06,
      "loss": 1.5526305437088013,
      "step": 1656
    },
    {
      "epoch": 1.1053333333333333,
      "grad_norm": 1.6171875,
      "learning_rate": 2.75876176128799e-06,
      "loss": 1.0565264225006104,
      "step": 1658
    },
    {
      "epoch": 1.1066666666666667,
      "grad_norm": 11.5,
      "learning_rate": 2.7544755153345004e-06,
      "loss": 1.4916378259658813,
      "step": 1660
    },
    {
      "epoch": 1.108,
      "grad_norm": 4.78125,
      "learning_rate": 2.75019041401964e-06,
      "loss": 1.5577830076217651,
      "step": 1662
    },
    {
      "epoch": 1.1093333333333333,
      "grad_norm": 4.65625,
      "learning_rate": 2.7459064773206112e-06,
      "loss": 1.6151214838027954,
      "step": 1664
    },
    {
      "epoch": 1.1106666666666667,
      "grad_norm": 1.40625,
      "learning_rate": 2.741623725209188e-06,
      "loss": 1.078333854675293,
      "step": 1666
    },
    {
      "epoch": 1.112,
      "grad_norm": 5.40625,
      "learning_rate": 2.737342177651621e-06,
      "loss": 1.70587158203125,
      "step": 1668
    },
    {
      "epoch": 1.1133333333333333,
      "grad_norm": 6.28125,
      "learning_rate": 2.733061854608546e-06,
      "loss": 1.6127488613128662,
      "step": 1670
    },
    {
      "epoch": 1.1146666666666667,
      "grad_norm": 5.28125,
      "learning_rate": 2.7287827760348895e-06,
      "loss": 1.5487406253814697,
      "step": 1672
    },
    {
      "epoch": 1.116,
      "grad_norm": 4.125,
      "learning_rate": 2.7245049618797776e-06,
      "loss": 1.0803545713424683,
      "step": 1674
    },
    {
      "epoch": 1.1173333333333333,
      "grad_norm": 2.90625,
      "learning_rate": 2.7202284320864393e-06,
      "loss": 1.207014799118042,
      "step": 1676
    },
    {
      "epoch": 1.1186666666666667,
      "grad_norm": 6.90625,
      "learning_rate": 2.715953206592117e-06,
      "loss": 1.7723512649536133,
      "step": 1678
    },
    {
      "epoch": 1.12,
      "grad_norm": 11.3125,
      "learning_rate": 2.711679305327973e-06,
      "loss": 1.7852306365966797,
      "step": 1680
    },
    {
      "epoch": 1.1213333333333333,
      "grad_norm": 5.09375,
      "learning_rate": 2.7074067482189957e-06,
      "loss": 1.533666968345642,
      "step": 1682
    },
    {
      "epoch": 1.1226666666666667,
      "grad_norm": 5.96875,
      "learning_rate": 2.7031355551839056e-06,
      "loss": 1.528637409210205,
      "step": 1684
    },
    {
      "epoch": 1.124,
      "grad_norm": 3.796875,
      "learning_rate": 2.6988657461350676e-06,
      "loss": 1.445178508758545,
      "step": 1686
    },
    {
      "epoch": 1.1253333333333333,
      "grad_norm": 17.875,
      "learning_rate": 2.694597340978391e-06,
      "loss": 1.4634462594985962,
      "step": 1688
    },
    {
      "epoch": 1.1266666666666667,
      "grad_norm": 5.75,
      "learning_rate": 2.690330359613241e-06,
      "loss": 1.637460470199585,
      "step": 1690
    },
    {
      "epoch": 1.1280000000000001,
      "grad_norm": 6.8125,
      "learning_rate": 2.686064821932345e-06,
      "loss": 1.4969818592071533,
      "step": 1692
    },
    {
      "epoch": 1.1293333333333333,
      "grad_norm": 3.28125,
      "learning_rate": 2.6818007478217e-06,
      "loss": 1.0365345478057861,
      "step": 1694
    },
    {
      "epoch": 1.1306666666666667,
      "grad_norm": 5.84375,
      "learning_rate": 2.677538157160481e-06,
      "loss": 1.9270894527435303,
      "step": 1696
    },
    {
      "epoch": 1.1320000000000001,
      "grad_norm": 5.78125,
      "learning_rate": 2.6732770698209448e-06,
      "loss": 1.5478744506835938,
      "step": 1698
    },
    {
      "epoch": 1.1333333333333333,
      "grad_norm": 1.390625,
      "learning_rate": 2.6690175056683417e-06,
      "loss": 1.1369259357452393,
      "step": 1700
    },
    {
      "epoch": 1.1346666666666667,
      "grad_norm": 7.0625,
      "learning_rate": 2.6647594845608204e-06,
      "loss": 1.628596305847168,
      "step": 1702
    },
    {
      "epoch": 1.1360000000000001,
      "grad_norm": 16.125,
      "learning_rate": 2.660503026349335e-06,
      "loss": 2.0064220428466797,
      "step": 1704
    },
    {
      "epoch": 1.1373333333333333,
      "grad_norm": 7.9375,
      "learning_rate": 2.6562481508775546e-06,
      "loss": 1.5023362636566162,
      "step": 1706
    },
    {
      "epoch": 1.1386666666666667,
      "grad_norm": 5.6875,
      "learning_rate": 2.6519948779817685e-06,
      "loss": 1.6183425188064575,
      "step": 1708
    },
    {
      "epoch": 1.1400000000000001,
      "grad_norm": 2.09375,
      "learning_rate": 2.647743227490796e-06,
      "loss": 1.0072540044784546,
      "step": 1710
    },
    {
      "epoch": 1.1413333333333333,
      "grad_norm": 5.21875,
      "learning_rate": 2.6434932192258912e-06,
      "loss": 1.5038986206054688,
      "step": 1712
    },
    {
      "epoch": 1.1426666666666667,
      "grad_norm": 8.0625,
      "learning_rate": 2.6392448730006536e-06,
      "loss": 1.941042423248291,
      "step": 1714
    },
    {
      "epoch": 1.144,
      "grad_norm": 3.84375,
      "learning_rate": 2.6349982086209324e-06,
      "loss": 1.1978323459625244,
      "step": 1716
    },
    {
      "epoch": 1.1453333333333333,
      "grad_norm": 8.0625,
      "learning_rate": 2.6307532458847386e-06,
      "loss": 1.8174412250518799,
      "step": 1718
    },
    {
      "epoch": 1.1466666666666667,
      "grad_norm": 6.125,
      "learning_rate": 2.626510004582148e-06,
      "loss": 1.5800225734710693,
      "step": 1720
    },
    {
      "epoch": 1.148,
      "grad_norm": 7.78125,
      "learning_rate": 2.6222685044952106e-06,
      "loss": 1.6541552543640137,
      "step": 1722
    },
    {
      "epoch": 1.1493333333333333,
      "grad_norm": 6.6875,
      "learning_rate": 2.618028765397862e-06,
      "loss": 1.5724791288375854,
      "step": 1724
    },
    {
      "epoch": 1.1506666666666667,
      "grad_norm": 9.0625,
      "learning_rate": 2.613790807055825e-06,
      "loss": 1.9914119243621826,
      "step": 1726
    },
    {
      "epoch": 1.152,
      "grad_norm": 24.5,
      "learning_rate": 2.6095546492265204e-06,
      "loss": 0.9788597822189331,
      "step": 1728
    },
    {
      "epoch": 1.1533333333333333,
      "grad_norm": 4.90625,
      "learning_rate": 2.605320311658978e-06,
      "loss": 1.5182876586914062,
      "step": 1730
    },
    {
      "epoch": 1.1546666666666667,
      "grad_norm": 6.1875,
      "learning_rate": 2.601087814093739e-06,
      "loss": 1.6977787017822266,
      "step": 1732
    },
    {
      "epoch": 1.156,
      "grad_norm": 21.0,
      "learning_rate": 2.596857176262766e-06,
      "loss": 1.313176155090332,
      "step": 1734
    },
    {
      "epoch": 1.1573333333333333,
      "grad_norm": 4.65625,
      "learning_rate": 2.5926284178893533e-06,
      "loss": 1.6549556255340576,
      "step": 1736
    },
    {
      "epoch": 1.1586666666666667,
      "grad_norm": 13.0625,
      "learning_rate": 2.588401558688033e-06,
      "loss": 2.004779577255249,
      "step": 1738
    },
    {
      "epoch": 1.16,
      "grad_norm": 3.21875,
      "learning_rate": 2.5841766183644824e-06,
      "loss": 1.2679145336151123,
      "step": 1740
    },
    {
      "epoch": 1.1613333333333333,
      "grad_norm": 9.125,
      "learning_rate": 2.5799536166154314e-06,
      "loss": 1.4783008098602295,
      "step": 1742
    },
    {
      "epoch": 1.1626666666666667,
      "grad_norm": 10.875,
      "learning_rate": 2.5757325731285767e-06,
      "loss": 1.916029691696167,
      "step": 1744
    },
    {
      "epoch": 1.164,
      "grad_norm": 4.34375,
      "learning_rate": 2.571513507582481e-06,
      "loss": 1.3801783323287964,
      "step": 1746
    },
    {
      "epoch": 1.1653333333333333,
      "grad_norm": 3.921875,
      "learning_rate": 2.5672964396464884e-06,
      "loss": 1.4577257633209229,
      "step": 1748
    },
    {
      "epoch": 1.1666666666666667,
      "grad_norm": 6.03125,
      "learning_rate": 2.5630813889806294e-06,
      "loss": 1.5916978120803833,
      "step": 1750
    },
    {
      "epoch": 1.168,
      "grad_norm": 6.875,
      "learning_rate": 2.55886837523553e-06,
      "loss": 1.5933470726013184,
      "step": 1752
    },
    {
      "epoch": 1.1693333333333333,
      "grad_norm": 1.2578125,
      "learning_rate": 2.554657418052321e-06,
      "loss": 1.0478358268737793,
      "step": 1754
    },
    {
      "epoch": 1.1706666666666667,
      "grad_norm": 4.53125,
      "learning_rate": 2.550448537062542e-06,
      "loss": 1.6661409139633179,
      "step": 1756
    },
    {
      "epoch": 1.172,
      "grad_norm": 4.09375,
      "learning_rate": 2.546241751888058e-06,
      "loss": 1.266357421875,
      "step": 1758
    },
    {
      "epoch": 1.1733333333333333,
      "grad_norm": 5.875,
      "learning_rate": 2.5420370821409603e-06,
      "loss": 1.9419959783554077,
      "step": 1760
    },
    {
      "epoch": 1.1746666666666667,
      "grad_norm": 4.28125,
      "learning_rate": 2.5378345474234777e-06,
      "loss": 1.5483953952789307,
      "step": 1762
    },
    {
      "epoch": 1.176,
      "grad_norm": 1.703125,
      "learning_rate": 2.5336341673278896e-06,
      "loss": 1.253208875656128,
      "step": 1764
    },
    {
      "epoch": 1.1773333333333333,
      "grad_norm": 11.0,
      "learning_rate": 2.529435961436425e-06,
      "loss": 1.7776868343353271,
      "step": 1766
    },
    {
      "epoch": 1.1786666666666668,
      "grad_norm": 7.21875,
      "learning_rate": 2.525239949321181e-06,
      "loss": 1.5882803201675415,
      "step": 1768
    },
    {
      "epoch": 1.18,
      "grad_norm": 75.0,
      "learning_rate": 2.5210461505440243e-06,
      "loss": 1.0166734457015991,
      "step": 1770
    },
    {
      "epoch": 1.1813333333333333,
      "grad_norm": 2.59375,
      "learning_rate": 2.516854584656505e-06,
      "loss": 1.4092483520507812,
      "step": 1772
    },
    {
      "epoch": 1.1826666666666668,
      "grad_norm": 3.625,
      "learning_rate": 2.5126652711997613e-06,
      "loss": 1.493394136428833,
      "step": 1774
    },
    {
      "epoch": 1.184,
      "grad_norm": 5.9375,
      "learning_rate": 2.508478229704434e-06,
      "loss": 1.5544865131378174,
      "step": 1776
    },
    {
      "epoch": 1.1853333333333333,
      "grad_norm": 8.75,
      "learning_rate": 2.5042934796905682e-06,
      "loss": 1.7734179496765137,
      "step": 1778
    },
    {
      "epoch": 1.1866666666666668,
      "grad_norm": 1.9296875,
      "learning_rate": 2.50011104066753e-06,
      "loss": 1.1469995975494385,
      "step": 1780
    },
    {
      "epoch": 1.188,
      "grad_norm": 1.9375,
      "learning_rate": 2.495930932133907e-06,
      "loss": 1.056424617767334,
      "step": 1782
    },
    {
      "epoch": 1.1893333333333334,
      "grad_norm": 4.5,
      "learning_rate": 2.491753173577426e-06,
      "loss": 1.584565281867981,
      "step": 1784
    },
    {
      "epoch": 1.1906666666666668,
      "grad_norm": 7.03125,
      "learning_rate": 2.4875777844748556e-06,
      "loss": 1.1618425846099854,
      "step": 1786
    },
    {
      "epoch": 1.192,
      "grad_norm": 2.453125,
      "learning_rate": 2.4834047842919195e-06,
      "loss": 0.9867179989814758,
      "step": 1788
    },
    {
      "epoch": 1.1933333333333334,
      "grad_norm": 2.59375,
      "learning_rate": 2.479234192483204e-06,
      "loss": 1.1931567192077637,
      "step": 1790
    },
    {
      "epoch": 1.1946666666666665,
      "grad_norm": 4.0,
      "learning_rate": 2.4750660284920663e-06,
      "loss": 1.6453449726104736,
      "step": 1792
    },
    {
      "epoch": 1.196,
      "grad_norm": 7.59375,
      "learning_rate": 2.4709003117505473e-06,
      "loss": 1.5443363189697266,
      "step": 1794
    },
    {
      "epoch": 1.1973333333333334,
      "grad_norm": 5.15625,
      "learning_rate": 2.466737061679277e-06,
      "loss": 1.6797435283660889,
      "step": 1796
    },
    {
      "epoch": 1.1986666666666665,
      "grad_norm": 5.28125,
      "learning_rate": 2.4625762976873857e-06,
      "loss": 1.4136509895324707,
      "step": 1798
    },
    {
      "epoch": 1.2,
      "grad_norm": 9.3125,
      "learning_rate": 2.4584180391724148e-06,
      "loss": 1.5729784965515137,
      "step": 1800
    },
    {
      "epoch": 1.2013333333333334,
      "grad_norm": 12.75,
      "learning_rate": 2.4542623055202242e-06,
      "loss": 1.860079288482666,
      "step": 1802
    },
    {
      "epoch": 1.2026666666666666,
      "grad_norm": 7.03125,
      "learning_rate": 2.450109116104903e-06,
      "loss": 1.5427799224853516,
      "step": 1804
    },
    {
      "epoch": 1.204,
      "grad_norm": 1.9375,
      "learning_rate": 2.4459584902886798e-06,
      "loss": 1.1774003505706787,
      "step": 1806
    },
    {
      "epoch": 1.2053333333333334,
      "grad_norm": 7.9375,
      "learning_rate": 2.44181044742183e-06,
      "loss": 1.9959464073181152,
      "step": 1808
    },
    {
      "epoch": 1.2066666666666666,
      "grad_norm": 5.4375,
      "learning_rate": 2.437665006842589e-06,
      "loss": 1.5742697715759277,
      "step": 1810
    },
    {
      "epoch": 1.208,
      "grad_norm": 1.9921875,
      "learning_rate": 2.433522187877059e-06,
      "loss": 1.152430772781372,
      "step": 1812
    },
    {
      "epoch": 1.2093333333333334,
      "grad_norm": 1.6640625,
      "learning_rate": 2.4293820098391206e-06,
      "loss": 1.106142282485962,
      "step": 1814
    },
    {
      "epoch": 1.2106666666666666,
      "grad_norm": 7.09375,
      "learning_rate": 2.4252444920303442e-06,
      "loss": 1.5196865797042847,
      "step": 1816
    },
    {
      "epoch": 1.212,
      "grad_norm": 4.46875,
      "learning_rate": 2.4211096537398945e-06,
      "loss": 1.5185796022415161,
      "step": 1818
    },
    {
      "epoch": 1.2133333333333334,
      "grad_norm": 10.5625,
      "learning_rate": 2.4169775142444472e-06,
      "loss": 0.9786717295646667,
      "step": 1820
    },
    {
      "epoch": 1.2146666666666666,
      "grad_norm": 5.1875,
      "learning_rate": 2.412848092808095e-06,
      "loss": 1.836982011795044,
      "step": 1822
    },
    {
      "epoch": 1.216,
      "grad_norm": 3.953125,
      "learning_rate": 2.408721408682259e-06,
      "loss": 1.1979806423187256,
      "step": 1824
    },
    {
      "epoch": 1.2173333333333334,
      "grad_norm": 4.8125,
      "learning_rate": 2.4045974811055995e-06,
      "loss": 1.5440890789031982,
      "step": 1826
    },
    {
      "epoch": 1.2186666666666666,
      "grad_norm": 3.65625,
      "learning_rate": 2.4004763293039253e-06,
      "loss": 1.1417531967163086,
      "step": 1828
    },
    {
      "epoch": 1.22,
      "grad_norm": 2.796875,
      "learning_rate": 2.396357972490104e-06,
      "loss": 1.2566338777542114,
      "step": 1830
    },
    {
      "epoch": 1.2213333333333334,
      "grad_norm": 5.71875,
      "learning_rate": 2.392242429863974e-06,
      "loss": 1.178492546081543,
      "step": 1832
    },
    {
      "epoch": 1.2226666666666666,
      "grad_norm": 5.09375,
      "learning_rate": 2.3881297206122526e-06,
      "loss": 1.5269526243209839,
      "step": 1834
    },
    {
      "epoch": 1.224,
      "grad_norm": 3.171875,
      "learning_rate": 2.38401986390845e-06,
      "loss": 1.0146985054016113,
      "step": 1836
    },
    {
      "epoch": 1.2253333333333334,
      "grad_norm": 2.359375,
      "learning_rate": 2.3799128789127756e-06,
      "loss": 1.1452817916870117,
      "step": 1838
    },
    {
      "epoch": 1.2266666666666666,
      "grad_norm": 5.0625,
      "learning_rate": 2.3758087847720518e-06,
      "loss": 1.9190927743911743,
      "step": 1840
    },
    {
      "epoch": 1.228,
      "grad_norm": 6.0,
      "learning_rate": 2.3717076006196234e-06,
      "loss": 1.6128742694854736,
      "step": 1842
    },
    {
      "epoch": 1.2293333333333334,
      "grad_norm": 2.015625,
      "learning_rate": 2.3676093455752695e-06,
      "loss": 1.142547845840454,
      "step": 1844
    },
    {
      "epoch": 1.2306666666666666,
      "grad_norm": 5.0625,
      "learning_rate": 2.363514038745113e-06,
      "loss": 1.5303454399108887,
      "step": 1846
    },
    {
      "epoch": 1.232,
      "grad_norm": 7.0625,
      "learning_rate": 2.3594216992215324e-06,
      "loss": 1.9574984312057495,
      "step": 1848
    },
    {
      "epoch": 1.2333333333333334,
      "grad_norm": 3.125,
      "learning_rate": 2.3553323460830723e-06,
      "loss": 1.140625238418579,
      "step": 1850
    },
    {
      "epoch": 1.2346666666666666,
      "grad_norm": 4.375,
      "learning_rate": 2.351245998394356e-06,
      "loss": 1.6304525136947632,
      "step": 1852
    },
    {
      "epoch": 1.236,
      "grad_norm": 6.84375,
      "learning_rate": 2.347162675205993e-06,
      "loss": 1.058687448501587,
      "step": 1854
    },
    {
      "epoch": 1.2373333333333334,
      "grad_norm": 8.9375,
      "learning_rate": 2.3430823955544947e-06,
      "loss": 1.610640287399292,
      "step": 1856
    },
    {
      "epoch": 1.2386666666666666,
      "grad_norm": 11.875,
      "learning_rate": 2.339005178462183e-06,
      "loss": 2.0690908432006836,
      "step": 1858
    },
    {
      "epoch": 1.24,
      "grad_norm": 4.9375,
      "learning_rate": 2.3349310429371014e-06,
      "loss": 1.5361344814300537,
      "step": 1860
    },
    {
      "epoch": 1.2413333333333334,
      "grad_norm": 6.46875,
      "learning_rate": 2.330860007972927e-06,
      "loss": 1.52693510055542,
      "step": 1862
    },
    {
      "epoch": 1.2426666666666666,
      "grad_norm": 3.9375,
      "learning_rate": 2.3267920925488833e-06,
      "loss": 1.5994844436645508,
      "step": 1864
    },
    {
      "epoch": 1.244,
      "grad_norm": 7.53125,
      "learning_rate": 2.3227273156296486e-06,
      "loss": 1.8968441486358643,
      "step": 1866
    },
    {
      "epoch": 1.2453333333333334,
      "grad_norm": 4.71875,
      "learning_rate": 2.3186656961652722e-06,
      "loss": 1.1545343399047852,
      "step": 1868
    },
    {
      "epoch": 1.2466666666666666,
      "grad_norm": 10.6875,
      "learning_rate": 2.3146072530910804e-06,
      "loss": 1.5420873165130615,
      "step": 1870
    },
    {
      "epoch": 1.248,
      "grad_norm": 1.4296875,
      "learning_rate": 2.3105520053275928e-06,
      "loss": 1.0231177806854248,
      "step": 1872
    },
    {
      "epoch": 1.2493333333333334,
      "grad_norm": 15.6875,
      "learning_rate": 2.306499971780432e-06,
      "loss": 1.553828239440918,
      "step": 1874
    },
    {
      "epoch": 1.2506666666666666,
      "grad_norm": 4.84375,
      "learning_rate": 2.3024511713402358e-06,
      "loss": 1.510333776473999,
      "step": 1876
    },
    {
      "epoch": 1.252,
      "grad_norm": 4.59375,
      "learning_rate": 2.298405622882569e-06,
      "loss": 1.556577444076538,
      "step": 1878
    },
    {
      "epoch": 1.2533333333333334,
      "grad_norm": 1.875,
      "learning_rate": 2.294363345267836e-06,
      "loss": 1.2078943252563477,
      "step": 1880
    },
    {
      "epoch": 1.2546666666666666,
      "grad_norm": 1.640625,
      "learning_rate": 2.2903243573411926e-06,
      "loss": 1.112194299697876,
      "step": 1882
    },
    {
      "epoch": 1.256,
      "grad_norm": 1.7734375,
      "learning_rate": 2.286288677932457e-06,
      "loss": 1.247178554534912,
      "step": 1884
    },
    {
      "epoch": 1.2573333333333334,
      "grad_norm": 2.4375,
      "learning_rate": 2.282256325856025e-06,
      "loss": 1.1059410572052002,
      "step": 1886
    },
    {
      "epoch": 1.2586666666666666,
      "grad_norm": 8.0,
      "learning_rate": 2.2782273199107783e-06,
      "loss": 1.9317150115966797,
      "step": 1888
    },
    {
      "epoch": 1.26,
      "grad_norm": 5.25,
      "learning_rate": 2.2742016788799996e-06,
      "loss": 1.4922699928283691,
      "step": 1890
    },
    {
      "epoch": 1.2613333333333334,
      "grad_norm": 11.5,
      "learning_rate": 2.2701794215312854e-06,
      "loss": 1.8612873554229736,
      "step": 1892
    },
    {
      "epoch": 1.2626666666666666,
      "grad_norm": 6.53125,
      "learning_rate": 2.266160566616456e-06,
      "loss": 1.5477168560028076,
      "step": 1894
    },
    {
      "epoch": 1.264,
      "grad_norm": 4.65625,
      "learning_rate": 2.26214513287147e-06,
      "loss": 1.510019063949585,
      "step": 1896
    },
    {
      "epoch": 1.2653333333333334,
      "grad_norm": 9.0625,
      "learning_rate": 2.2581331390163364e-06,
      "loss": 2.0930213928222656,
      "step": 1898
    },
    {
      "epoch": 1.2666666666666666,
      "grad_norm": 3.0625,
      "learning_rate": 2.254124603755027e-06,
      "loss": 0.9632862210273743,
      "step": 1900
    },
    {
      "epoch": 1.268,
      "grad_norm": 4.84375,
      "learning_rate": 2.2501195457753912e-06,
      "loss": 1.6332876682281494,
      "step": 1902
    },
    {
      "epoch": 1.2693333333333334,
      "grad_norm": 8.5625,
      "learning_rate": 2.2461179837490648e-06,
      "loss": 1.3594850301742554,
      "step": 1904
    },
    {
      "epoch": 1.2706666666666666,
      "grad_norm": 10.4375,
      "learning_rate": 2.242119936331387e-06,
      "loss": 2.073132038116455,
      "step": 1906
    },
    {
      "epoch": 1.272,
      "grad_norm": 9.3125,
      "learning_rate": 2.2381254221613122e-06,
      "loss": 1.5879173278808594,
      "step": 1908
    },
    {
      "epoch": 1.2733333333333334,
      "grad_norm": 31.875,
      "learning_rate": 2.2341344598613212e-06,
      "loss": 0.8240858912467957,
      "step": 1910
    },
    {
      "epoch": 1.2746666666666666,
      "grad_norm": 2.84375,
      "learning_rate": 2.230147068037338e-06,
      "loss": 1.0706063508987427,
      "step": 1912
    },
    {
      "epoch": 1.276,
      "grad_norm": 2.828125,
      "learning_rate": 2.226163265278639e-06,
      "loss": 1.1408822536468506,
      "step": 1914
    },
    {
      "epoch": 1.2773333333333334,
      "grad_norm": 27.25,
      "learning_rate": 2.2221830701577695e-06,
      "loss": 1.6000707149505615,
      "step": 1916
    },
    {
      "epoch": 1.2786666666666666,
      "grad_norm": 2.640625,
      "learning_rate": 2.218206501230455e-06,
      "loss": 1.1268792152404785,
      "step": 1918
    },
    {
      "epoch": 1.28,
      "grad_norm": 3.234375,
      "learning_rate": 2.2142335770355166e-06,
      "loss": 1.3399468660354614,
      "step": 1920
    },
    {
      "epoch": 1.2813333333333334,
      "grad_norm": 6.09375,
      "learning_rate": 2.2102643160947834e-06,
      "loss": 1.5325706005096436,
      "step": 1922
    },
    {
      "epoch": 1.2826666666666666,
      "grad_norm": 1.640625,
      "learning_rate": 2.2062987369130062e-06,
      "loss": 1.1318565607070923,
      "step": 1924
    },
    {
      "epoch": 1.284,
      "grad_norm": 6.0625,
      "learning_rate": 2.2023368579777706e-06,
      "loss": 1.484031319618225,
      "step": 1926
    },
    {
      "epoch": 1.2853333333333334,
      "grad_norm": 2.8125,
      "learning_rate": 2.198378697759413e-06,
      "loss": 1.2130866050720215,
      "step": 1928
    },
    {
      "epoch": 1.2866666666666666,
      "grad_norm": 9.4375,
      "learning_rate": 2.1944242747109333e-06,
      "loss": 2.0494606494903564,
      "step": 1930
    },
    {
      "epoch": 1.288,
      "grad_norm": 5.8125,
      "learning_rate": 2.190473607267906e-06,
      "loss": 1.8861929178237915,
      "step": 1932
    },
    {
      "epoch": 1.2893333333333334,
      "grad_norm": 4.90625,
      "learning_rate": 2.1865267138484004e-06,
      "loss": 1.6522796154022217,
      "step": 1934
    },
    {
      "epoch": 1.2906666666666666,
      "grad_norm": 5.9375,
      "learning_rate": 2.1825836128528884e-06,
      "loss": 1.8132810592651367,
      "step": 1936
    },
    {
      "epoch": 1.292,
      "grad_norm": 4.3125,
      "learning_rate": 2.178644322664163e-06,
      "loss": 1.5035209655761719,
      "step": 1938
    },
    {
      "epoch": 1.2933333333333334,
      "grad_norm": 15.1875,
      "learning_rate": 2.1747088616472517e-06,
      "loss": 1.7719671726226807,
      "step": 1940
    },
    {
      "epoch": 1.2946666666666666,
      "grad_norm": 4.0625,
      "learning_rate": 2.1707772481493286e-06,
      "loss": 1.5210639238357544,
      "step": 1942
    },
    {
      "epoch": 1.296,
      "grad_norm": 6.0625,
      "learning_rate": 2.166849500499632e-06,
      "loss": 1.6196399927139282,
      "step": 1944
    },
    {
      "epoch": 1.2973333333333334,
      "grad_norm": 7.4375,
      "learning_rate": 2.162925637009377e-06,
      "loss": 1.1646780967712402,
      "step": 1946
    },
    {
      "epoch": 1.2986666666666666,
      "grad_norm": 11.5625,
      "learning_rate": 2.1590056759716712e-06,
      "loss": 1.9841561317443848,
      "step": 1948
    },
    {
      "epoch": 1.3,
      "grad_norm": 6.8125,
      "learning_rate": 2.1550896356614282e-06,
      "loss": 1.5786137580871582,
      "step": 1950
    },
    {
      "epoch": 1.3013333333333335,
      "grad_norm": 5.375,
      "learning_rate": 2.1511775343352835e-06,
      "loss": 1.5352140665054321,
      "step": 1952
    },
    {
      "epoch": 1.3026666666666666,
      "grad_norm": 6.75,
      "learning_rate": 2.147269390231509e-06,
      "loss": 1.5395886898040771,
      "step": 1954
    },
    {
      "epoch": 1.304,
      "grad_norm": 6.25,
      "learning_rate": 2.143365221569927e-06,
      "loss": 1.6343798637390137,
      "step": 1956
    },
    {
      "epoch": 1.3053333333333335,
      "grad_norm": 6.0,
      "learning_rate": 2.139465046551829e-06,
      "loss": 1.6449880599975586,
      "step": 1958
    },
    {
      "epoch": 1.3066666666666666,
      "grad_norm": 11.375,
      "learning_rate": 2.135568883359885e-06,
      "loss": 1.9318366050720215,
      "step": 1960
    },
    {
      "epoch": 1.308,
      "grad_norm": 17.875,
      "learning_rate": 2.1316767501580636e-06,
      "loss": 1.664994478225708,
      "step": 1962
    },
    {
      "epoch": 1.3093333333333335,
      "grad_norm": 1.9765625,
      "learning_rate": 2.127788665091545e-06,
      "loss": 1.0485271215438843,
      "step": 1964
    },
    {
      "epoch": 1.3106666666666666,
      "grad_norm": 15.9375,
      "learning_rate": 2.1239046462866358e-06,
      "loss": 1.8190348148345947,
      "step": 1966
    },
    {
      "epoch": 1.312,
      "grad_norm": 1.796875,
      "learning_rate": 2.120024711850688e-06,
      "loss": 1.0631358623504639,
      "step": 1968
    },
    {
      "epoch": 1.3133333333333335,
      "grad_norm": 6.71875,
      "learning_rate": 2.11614887987201e-06,
      "loss": 1.3473261594772339,
      "step": 1970
    },
    {
      "epoch": 1.3146666666666667,
      "grad_norm": 8.625,
      "learning_rate": 2.1122771684197864e-06,
      "loss": 1.7255139350891113,
      "step": 1972
    },
    {
      "epoch": 1.316,
      "grad_norm": 10.5,
      "learning_rate": 2.10840959554399e-06,
      "loss": 2.001613140106201,
      "step": 1974
    },
    {
      "epoch": 1.3173333333333335,
      "grad_norm": 5.5,
      "learning_rate": 2.104546179275301e-06,
      "loss": 1.5933119058609009,
      "step": 1976
    },
    {
      "epoch": 1.3186666666666667,
      "grad_norm": 5.15625,
      "learning_rate": 2.100686937625021e-06,
      "loss": 1.5122944116592407,
      "step": 1978
    },
    {
      "epoch": 1.32,
      "grad_norm": 7.46875,
      "learning_rate": 2.0968318885849885e-06,
      "loss": 1.4772236347198486,
      "step": 1980
    },
    {
      "epoch": 1.3213333333333335,
      "grad_norm": 4.8125,
      "learning_rate": 2.0929810501274973e-06,
      "loss": 1.4999642372131348,
      "step": 1982
    },
    {
      "epoch": 1.3226666666666667,
      "grad_norm": 14.125,
      "learning_rate": 2.089134440205211e-06,
      "loss": 2.0060179233551025,
      "step": 1984
    },
    {
      "epoch": 1.324,
      "grad_norm": 3.34375,
      "learning_rate": 2.085292076751079e-06,
      "loss": 1.3181127309799194,
      "step": 1986
    },
    {
      "epoch": 1.3253333333333333,
      "grad_norm": 5.28125,
      "learning_rate": 2.081453977678254e-06,
      "loss": 1.6507904529571533,
      "step": 1988
    },
    {
      "epoch": 1.3266666666666667,
      "grad_norm": 7.125,
      "learning_rate": 2.07762016088001e-06,
      "loss": 1.5215134620666504,
      "step": 1990
    },
    {
      "epoch": 1.328,
      "grad_norm": 4.6875,
      "learning_rate": 2.073790644229654e-06,
      "loss": 1.5981347560882568,
      "step": 1992
    },
    {
      "epoch": 1.3293333333333333,
      "grad_norm": 33.5,
      "learning_rate": 2.0699654455804467e-06,
      "loss": 1.7263144254684448,
      "step": 1994
    },
    {
      "epoch": 1.3306666666666667,
      "grad_norm": 7.59375,
      "learning_rate": 2.0661445827655193e-06,
      "loss": 2.1011343002319336,
      "step": 1996
    },
    {
      "epoch": 1.332,
      "grad_norm": 2.984375,
      "learning_rate": 2.062328073597787e-06,
      "loss": 1.034977674484253,
      "step": 1998
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 8.875,
      "learning_rate": 2.0585159358698712e-06,
      "loss": 1.8760616779327393,
      "step": 2000
    },
    {
      "epoch": 1.3346666666666667,
      "grad_norm": 5.65625,
      "learning_rate": 2.054708187354012e-06,
      "loss": 1.6555390357971191,
      "step": 2002
    },
    {
      "epoch": 1.336,
      "grad_norm": 1.5703125,
      "learning_rate": 2.0509048458019854e-06,
      "loss": 1.060708999633789,
      "step": 2004
    },
    {
      "epoch": 1.3373333333333333,
      "grad_norm": 4.96875,
      "learning_rate": 2.0471059289450255e-06,
      "loss": 1.4976744651794434,
      "step": 2006
    },
    {
      "epoch": 1.3386666666666667,
      "grad_norm": 5.53125,
      "learning_rate": 2.0433114544937353e-06,
      "loss": 1.5674824714660645,
      "step": 2008
    },
    {
      "epoch": 1.34,
      "grad_norm": 6.09375,
      "learning_rate": 2.0395214401380087e-06,
      "loss": 1.5714900493621826,
      "step": 2010
    },
    {
      "epoch": 1.3413333333333333,
      "grad_norm": 5.6875,
      "learning_rate": 2.0357359035469467e-06,
      "loss": 1.2028818130493164,
      "step": 2012
    },
    {
      "epoch": 1.3426666666666667,
      "grad_norm": 25.0,
      "learning_rate": 2.0319548623687746e-06,
      "loss": 1.6153771877288818,
      "step": 2014
    },
    {
      "epoch": 1.3439999999999999,
      "grad_norm": 6.125,
      "learning_rate": 2.0281783342307596e-06,
      "loss": 1.6412135362625122,
      "step": 2016
    },
    {
      "epoch": 1.3453333333333333,
      "grad_norm": 7.125,
      "learning_rate": 2.0244063367391296e-06,
      "loss": 1.9324005842208862,
      "step": 2018
    },
    {
      "epoch": 1.3466666666666667,
      "grad_norm": 1.9453125,
      "learning_rate": 2.0206388874789907e-06,
      "loss": 1.1473610401153564,
      "step": 2020
    },
    {
      "epoch": 1.3479999999999999,
      "grad_norm": 7.40625,
      "learning_rate": 2.0168760040142444e-06,
      "loss": 1.558716058731079,
      "step": 2022
    },
    {
      "epoch": 1.3493333333333333,
      "grad_norm": 4.09375,
      "learning_rate": 2.0131177038875065e-06,
      "loss": 1.479658842086792,
      "step": 2024
    },
    {
      "epoch": 1.3506666666666667,
      "grad_norm": 5.25,
      "learning_rate": 2.0093640046200256e-06,
      "loss": 1.5598819255828857,
      "step": 2026
    },
    {
      "epoch": 1.3519999999999999,
      "grad_norm": 6.40625,
      "learning_rate": 2.0056149237116016e-06,
      "loss": 1.6746928691864014,
      "step": 2028
    },
    {
      "epoch": 1.3533333333333333,
      "grad_norm": 2.46875,
      "learning_rate": 2.0018704786405014e-06,
      "loss": 1.2208452224731445,
      "step": 2030
    },
    {
      "epoch": 1.3546666666666667,
      "grad_norm": 22.25,
      "learning_rate": 1.9981306868633833e-06,
      "loss": 1.6869182586669922,
      "step": 2032
    },
    {
      "epoch": 1.3559999999999999,
      "grad_norm": 2.203125,
      "learning_rate": 1.9943955658152076e-06,
      "loss": 1.0717189311981201,
      "step": 2034
    },
    {
      "epoch": 1.3573333333333333,
      "grad_norm": 4.59375,
      "learning_rate": 1.990665132909163e-06,
      "loss": 1.4844554662704468,
      "step": 2036
    },
    {
      "epoch": 1.3586666666666667,
      "grad_norm": 7.4375,
      "learning_rate": 1.986939405536579e-06,
      "loss": 1.8831037282943726,
      "step": 2038
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 6.40625,
      "learning_rate": 1.983218401066851e-06,
      "loss": 1.8292875289916992,
      "step": 2040
    },
    {
      "epoch": 1.3613333333333333,
      "grad_norm": 3.921875,
      "learning_rate": 1.979502136847353e-06,
      "loss": 1.5935251712799072,
      "step": 2042
    },
    {
      "epoch": 1.3626666666666667,
      "grad_norm": 2.6875,
      "learning_rate": 1.9757906302033636e-06,
      "loss": 1.0542124509811401,
      "step": 2044
    },
    {
      "epoch": 1.3639999999999999,
      "grad_norm": 5.03125,
      "learning_rate": 1.9720838984379774e-06,
      "loss": 1.5523146390914917,
      "step": 2046
    },
    {
      "epoch": 1.3653333333333333,
      "grad_norm": 5.5,
      "learning_rate": 1.9683819588320308e-06,
      "loss": 1.5258020162582397,
      "step": 2048
    },
    {
      "epoch": 1.3666666666666667,
      "grad_norm": 6.28125,
      "learning_rate": 1.9646848286440195e-06,
      "loss": 1.9182220697402954,
      "step": 2050
    },
    {
      "epoch": 1.3679999999999999,
      "grad_norm": 4.53125,
      "learning_rate": 1.960992525110017e-06,
      "loss": 1.5669327974319458,
      "step": 2052
    },
    {
      "epoch": 1.3693333333333333,
      "grad_norm": 4.40625,
      "learning_rate": 1.957305065443594e-06,
      "loss": 1.4941010475158691,
      "step": 2054
    },
    {
      "epoch": 1.3706666666666667,
      "grad_norm": 3.203125,
      "learning_rate": 1.95362246683574e-06,
      "loss": 1.2234654426574707,
      "step": 2056
    },
    {
      "epoch": 1.3719999999999999,
      "grad_norm": 5.4375,
      "learning_rate": 1.949944746454782e-06,
      "loss": 1.5590747594833374,
      "step": 2058
    },
    {
      "epoch": 1.3733333333333333,
      "grad_norm": 13.1875,
      "learning_rate": 1.946271921446304e-06,
      "loss": 2.0392696857452393,
      "step": 2060
    },
    {
      "epoch": 1.3746666666666667,
      "grad_norm": 1.8359375,
      "learning_rate": 1.94260400893307e-06,
      "loss": 1.2967076301574707,
      "step": 2062
    },
    {
      "epoch": 1.376,
      "grad_norm": 10.4375,
      "learning_rate": 1.9389410260149376e-06,
      "loss": 1.4139618873596191,
      "step": 2064
    },
    {
      "epoch": 1.3773333333333333,
      "grad_norm": 6.25,
      "learning_rate": 1.935282989768787e-06,
      "loss": 1.6094778776168823,
      "step": 2066
    },
    {
      "epoch": 1.3786666666666667,
      "grad_norm": 7.4375,
      "learning_rate": 1.931629917248434e-06,
      "loss": 1.943546175956726,
      "step": 2068
    },
    {
      "epoch": 1.38,
      "grad_norm": 7.46875,
      "learning_rate": 1.9279818254845554e-06,
      "loss": 1.8869085311889648,
      "step": 2070
    },
    {
      "epoch": 1.3813333333333333,
      "grad_norm": 1.8984375,
      "learning_rate": 1.924338731484606e-06,
      "loss": 0.9827399253845215,
      "step": 2072
    },
    {
      "epoch": 1.3826666666666667,
      "grad_norm": 13.875,
      "learning_rate": 1.920700652232742e-06,
      "loss": 1.617384910583496,
      "step": 2074
    },
    {
      "epoch": 1.384,
      "grad_norm": 4.6875,
      "learning_rate": 1.9170676046897407e-06,
      "loss": 1.644477367401123,
      "step": 2076
    },
    {
      "epoch": 1.3853333333333333,
      "grad_norm": 20.0,
      "learning_rate": 1.9134396057929204e-06,
      "loss": 2.099134922027588,
      "step": 2078
    },
    {
      "epoch": 1.3866666666666667,
      "grad_norm": 5.59375,
      "learning_rate": 1.909816672456064e-06,
      "loss": 1.6014119386672974,
      "step": 2080
    },
    {
      "epoch": 1.388,
      "grad_norm": 3.34375,
      "learning_rate": 1.906198821569338e-06,
      "loss": 1.2930165529251099,
      "step": 2082
    },
    {
      "epoch": 1.3893333333333333,
      "grad_norm": 3.4375,
      "learning_rate": 1.9025860699992149e-06,
      "loss": 1.1446359157562256,
      "step": 2084
    },
    {
      "epoch": 1.3906666666666667,
      "grad_norm": 8.5,
      "learning_rate": 1.8989784345883932e-06,
      "loss": 1.6573563814163208,
      "step": 2086
    },
    {
      "epoch": 1.392,
      "grad_norm": 13.6875,
      "learning_rate": 1.8953759321557205e-06,
      "loss": 1.7369401454925537,
      "step": 2088
    },
    {
      "epoch": 1.3933333333333333,
      "grad_norm": 5.34375,
      "learning_rate": 1.8917785794961143e-06,
      "loss": 1.5765206813812256,
      "step": 2090
    },
    {
      "epoch": 1.3946666666666667,
      "grad_norm": 8.125,
      "learning_rate": 1.8881863933804839e-06,
      "loss": 1.629734754562378,
      "step": 2092
    },
    {
      "epoch": 1.396,
      "grad_norm": 7.21875,
      "learning_rate": 1.8845993905556515e-06,
      "loss": 1.5609703063964844,
      "step": 2094
    },
    {
      "epoch": 1.3973333333333333,
      "grad_norm": 8.5625,
      "learning_rate": 1.8810175877442754e-06,
      "loss": 1.5186164379119873,
      "step": 2096
    },
    {
      "epoch": 1.3986666666666667,
      "grad_norm": 17.375,
      "learning_rate": 1.8774410016447708e-06,
      "loss": 0.563239574432373,
      "step": 2098
    },
    {
      "epoch": 1.4,
      "grad_norm": 8.9375,
      "learning_rate": 1.8738696489312333e-06,
      "loss": 1.5320698022842407,
      "step": 2100
    },
    {
      "epoch": 1.4013333333333333,
      "grad_norm": 7.59375,
      "learning_rate": 1.8703035462533593e-06,
      "loss": 1.6705598831176758,
      "step": 2102
    },
    {
      "epoch": 1.4026666666666667,
      "grad_norm": 2.375,
      "learning_rate": 1.8667427102363705e-06,
      "loss": 1.0009243488311768,
      "step": 2104
    },
    {
      "epoch": 1.404,
      "grad_norm": 1.3359375,
      "learning_rate": 1.8631871574809346e-06,
      "loss": 1.0675292015075684,
      "step": 2106
    },
    {
      "epoch": 1.4053333333333333,
      "grad_norm": 12.9375,
      "learning_rate": 1.859636904563089e-06,
      "loss": 0.8650450706481934,
      "step": 2108
    },
    {
      "epoch": 1.4066666666666667,
      "grad_norm": 12.875,
      "learning_rate": 1.8560919680341638e-06,
      "loss": 1.9227575063705444,
      "step": 2110
    },
    {
      "epoch": 1.408,
      "grad_norm": 2.34375,
      "learning_rate": 1.8525523644207023e-06,
      "loss": 0.9330441951751709,
      "step": 2112
    },
    {
      "epoch": 1.4093333333333333,
      "grad_norm": 5.875,
      "learning_rate": 1.8490181102243873e-06,
      "loss": 1.6113357543945312,
      "step": 2114
    },
    {
      "epoch": 1.4106666666666667,
      "grad_norm": 5.96875,
      "learning_rate": 1.845489221921962e-06,
      "loss": 1.504434585571289,
      "step": 2116
    },
    {
      "epoch": 1.412,
      "grad_norm": 8.5,
      "learning_rate": 1.8419657159651535e-06,
      "loss": 1.9374301433563232,
      "step": 2118
    },
    {
      "epoch": 1.4133333333333333,
      "grad_norm": 8.625,
      "learning_rate": 1.8384476087805967e-06,
      "loss": 1.6084973812103271,
      "step": 2120
    },
    {
      "epoch": 1.4146666666666667,
      "grad_norm": 7.5,
      "learning_rate": 1.834934916769756e-06,
      "loss": 1.7915997505187988,
      "step": 2122
    },
    {
      "epoch": 1.416,
      "grad_norm": 4.53125,
      "learning_rate": 1.831427656308854e-06,
      "loss": 1.4243714809417725,
      "step": 2124
    },
    {
      "epoch": 1.4173333333333333,
      "grad_norm": 10.0625,
      "learning_rate": 1.8279258437487866e-06,
      "loss": 1.8718931674957275,
      "step": 2126
    },
    {
      "epoch": 1.4186666666666667,
      "grad_norm": 6.875,
      "learning_rate": 1.8244294954150544e-06,
      "loss": 1.1055264472961426,
      "step": 2128
    },
    {
      "epoch": 1.42,
      "grad_norm": 3.046875,
      "learning_rate": 1.8209386276076824e-06,
      "loss": 1.1865965127944946,
      "step": 2130
    },
    {
      "epoch": 1.4213333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 1.817453256601146e-06,
      "loss": 1.0315593481063843,
      "step": 2132
    },
    {
      "epoch": 1.4226666666666667,
      "grad_norm": 30.25,
      "learning_rate": 1.8139733986442947e-06,
      "loss": 1.6489253044128418,
      "step": 2134
    },
    {
      "epoch": 1.424,
      "grad_norm": 20.0,
      "learning_rate": 1.8104990699602753e-06,
      "loss": 1.575264811515808,
      "step": 2136
    },
    {
      "epoch": 1.4253333333333333,
      "grad_norm": 3.234375,
      "learning_rate": 1.8070302867464562e-06,
      "loss": 1.0482765436172485,
      "step": 2138
    },
    {
      "epoch": 1.4266666666666667,
      "grad_norm": 5.6875,
      "learning_rate": 1.8035670651743565e-06,
      "loss": 1.56797456741333,
      "step": 2140
    },
    {
      "epoch": 1.428,
      "grad_norm": 10.9375,
      "learning_rate": 1.800109421389562e-06,
      "loss": 1.4143714904785156,
      "step": 2142
    },
    {
      "epoch": 1.4293333333333333,
      "grad_norm": 9.8125,
      "learning_rate": 1.7966573715116587e-06,
      "loss": 1.5282375812530518,
      "step": 2144
    },
    {
      "epoch": 1.4306666666666668,
      "grad_norm": 3.9375,
      "learning_rate": 1.793210931634151e-06,
      "loss": 1.146159291267395,
      "step": 2146
    },
    {
      "epoch": 1.432,
      "grad_norm": 7.375,
      "learning_rate": 1.7897701178243906e-06,
      "loss": 1.529174566268921,
      "step": 2148
    },
    {
      "epoch": 1.4333333333333333,
      "grad_norm": 16.75,
      "learning_rate": 1.7863349461235005e-06,
      "loss": 1.9610891342163086,
      "step": 2150
    },
    {
      "epoch": 1.4346666666666668,
      "grad_norm": 3.375,
      "learning_rate": 1.7829054325463e-06,
      "loss": 1.559476375579834,
      "step": 2152
    },
    {
      "epoch": 1.436,
      "grad_norm": 5.4375,
      "learning_rate": 1.7794815930812295e-06,
      "loss": 1.5697715282440186,
      "step": 2154
    },
    {
      "epoch": 1.4373333333333334,
      "grad_norm": 6.59375,
      "learning_rate": 1.776063443690278e-06,
      "loss": 1.6537988185882568,
      "step": 2156
    },
    {
      "epoch": 1.4386666666666668,
      "grad_norm": 5.4375,
      "learning_rate": 1.7726510003089054e-06,
      "loss": 1.6215872764587402,
      "step": 2158
    },
    {
      "epoch": 1.44,
      "grad_norm": 8.125,
      "learning_rate": 1.7692442788459719e-06,
      "loss": 1.3466334342956543,
      "step": 2160
    },
    {
      "epoch": 1.4413333333333334,
      "grad_norm": 15.0625,
      "learning_rate": 1.7658432951836608e-06,
      "loss": 1.5198026895523071,
      "step": 2162
    },
    {
      "epoch": 1.4426666666666668,
      "grad_norm": 1.8203125,
      "learning_rate": 1.7624480651774062e-06,
      "loss": 1.1337813138961792,
      "step": 2164
    },
    {
      "epoch": 1.444,
      "grad_norm": 7.6875,
      "learning_rate": 1.7590586046558189e-06,
      "loss": 1.928809642791748,
      "step": 2166
    },
    {
      "epoch": 1.4453333333333334,
      "grad_norm": 4.46875,
      "learning_rate": 1.7556749294206116e-06,
      "loss": 1.5531928539276123,
      "step": 2168
    },
    {
      "epoch": 1.4466666666666668,
      "grad_norm": 1.3984375,
      "learning_rate": 1.7522970552465263e-06,
      "loss": 1.1785309314727783,
      "step": 2170
    },
    {
      "epoch": 1.448,
      "grad_norm": 4.90625,
      "learning_rate": 1.7489249978812595e-06,
      "loss": 1.4006869792938232,
      "step": 2172
    },
    {
      "epoch": 1.4493333333333334,
      "grad_norm": 6.3125,
      "learning_rate": 1.7455587730453922e-06,
      "loss": 1.6306333541870117,
      "step": 2174
    },
    {
      "epoch": 1.4506666666666668,
      "grad_norm": 4.875,
      "learning_rate": 1.7421983964323111e-06,
      "loss": 1.730469822883606,
      "step": 2176
    },
    {
      "epoch": 1.452,
      "grad_norm": 2.234375,
      "learning_rate": 1.7388438837081401e-06,
      "loss": 1.0633964538574219,
      "step": 2178
    },
    {
      "epoch": 1.4533333333333334,
      "grad_norm": 8.5,
      "learning_rate": 1.7354952505116645e-06,
      "loss": 1.817662000656128,
      "step": 2180
    },
    {
      "epoch": 1.4546666666666668,
      "grad_norm": 5.03125,
      "learning_rate": 1.7321525124542604e-06,
      "loss": 1.5825237035751343,
      "step": 2182
    },
    {
      "epoch": 1.456,
      "grad_norm": 6.375,
      "learning_rate": 1.7288156851198195e-06,
      "loss": 1.6220369338989258,
      "step": 2184
    },
    {
      "epoch": 1.4573333333333334,
      "grad_norm": 6.1875,
      "learning_rate": 1.7254847840646785e-06,
      "loss": 1.4336154460906982,
      "step": 2186
    },
    {
      "epoch": 1.4586666666666668,
      "grad_norm": 5.09375,
      "learning_rate": 1.7221598248175454e-06,
      "loss": 1.5189586877822876,
      "step": 2188
    },
    {
      "epoch": 1.46,
      "grad_norm": 9.0625,
      "learning_rate": 1.7188408228794267e-06,
      "loss": 1.481834888458252,
      "step": 2190
    },
    {
      "epoch": 1.4613333333333334,
      "grad_norm": 157.0,
      "learning_rate": 1.715527793723557e-06,
      "loss": 1.8635661602020264,
      "step": 2192
    },
    {
      "epoch": 1.4626666666666668,
      "grad_norm": 4.1875,
      "learning_rate": 1.7122207527953256e-06,
      "loss": 1.7555880546569824,
      "step": 2194
    },
    {
      "epoch": 1.464,
      "grad_norm": 3.859375,
      "learning_rate": 1.7089197155122035e-06,
      "loss": 1.4021992683410645,
      "step": 2196
    },
    {
      "epoch": 1.4653333333333334,
      "grad_norm": 44.75,
      "learning_rate": 1.7056246972636737e-06,
      "loss": 0.6922065615653992,
      "step": 2198
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 4.34375,
      "learning_rate": 1.7023357134111573e-06,
      "loss": 1.5009167194366455,
      "step": 2200
    },
    {
      "epoch": 1.468,
      "grad_norm": 5.71875,
      "learning_rate": 1.6990527792879447e-06,
      "loss": 1.750756025314331,
      "step": 2202
    },
    {
      "epoch": 1.4693333333333334,
      "grad_norm": 7.59375,
      "learning_rate": 1.6957759101991205e-06,
      "loss": 1.1939451694488525,
      "step": 2204
    },
    {
      "epoch": 1.4706666666666668,
      "grad_norm": 5.125,
      "learning_rate": 1.6925051214214954e-06,
      "loss": 1.539292335510254,
      "step": 2206
    },
    {
      "epoch": 1.472,
      "grad_norm": 4.90625,
      "learning_rate": 1.6892404282035335e-06,
      "loss": 1.5177375078201294,
      "step": 2208
    },
    {
      "epoch": 1.4733333333333334,
      "grad_norm": 6.65625,
      "learning_rate": 1.6859818457652794e-06,
      "loss": 1.5623188018798828,
      "step": 2210
    },
    {
      "epoch": 1.4746666666666668,
      "grad_norm": 8.25,
      "learning_rate": 1.6827293892982915e-06,
      "loss": 2.06575870513916,
      "step": 2212
    },
    {
      "epoch": 1.476,
      "grad_norm": 2.328125,
      "learning_rate": 1.6794830739655677e-06,
      "loss": 1.0674209594726562,
      "step": 2214
    },
    {
      "epoch": 1.4773333333333334,
      "grad_norm": 6.71875,
      "learning_rate": 1.676242914901477e-06,
      "loss": 1.5208603143692017,
      "step": 2216
    },
    {
      "epoch": 1.4786666666666668,
      "grad_norm": 4.125,
      "learning_rate": 1.6730089272116856e-06,
      "loss": 1.5469597578048706,
      "step": 2218
    },
    {
      "epoch": 1.48,
      "grad_norm": 3.703125,
      "learning_rate": 1.6697811259730913e-06,
      "loss": 1.5321767330169678,
      "step": 2220
    },
    {
      "epoch": 1.4813333333333334,
      "grad_norm": 15.875,
      "learning_rate": 1.666559526233748e-06,
      "loss": 1.7308143377304077,
      "step": 2222
    },
    {
      "epoch": 1.4826666666666668,
      "grad_norm": 2.734375,
      "learning_rate": 1.6633441430128001e-06,
      "loss": 1.159908413887024,
      "step": 2224
    },
    {
      "epoch": 1.484,
      "grad_norm": 10.125,
      "learning_rate": 1.6601349913004095e-06,
      "loss": 1.8157732486724854,
      "step": 2226
    },
    {
      "epoch": 1.4853333333333334,
      "grad_norm": 4.71875,
      "learning_rate": 1.656932086057687e-06,
      "loss": 1.50502347946167,
      "step": 2228
    },
    {
      "epoch": 1.4866666666666668,
      "grad_norm": 8.25,
      "learning_rate": 1.6537354422166219e-06,
      "loss": 1.9679980278015137,
      "step": 2230
    },
    {
      "epoch": 1.488,
      "grad_norm": 6.3125,
      "learning_rate": 1.6505450746800139e-06,
      "loss": 1.5686023235321045,
      "step": 2232
    },
    {
      "epoch": 1.4893333333333334,
      "grad_norm": 5.28125,
      "learning_rate": 1.6473609983214016e-06,
      "loss": 1.6479158401489258,
      "step": 2234
    },
    {
      "epoch": 1.4906666666666666,
      "grad_norm": 5.78125,
      "learning_rate": 1.6441832279849938e-06,
      "loss": 1.948946237564087,
      "step": 2236
    },
    {
      "epoch": 1.492,
      "grad_norm": 2.03125,
      "learning_rate": 1.6410117784856006e-06,
      "loss": 1.118719458580017,
      "step": 2238
    },
    {
      "epoch": 1.4933333333333334,
      "grad_norm": 3.265625,
      "learning_rate": 1.637846664608565e-06,
      "loss": 0.9887099266052246,
      "step": 2240
    },
    {
      "epoch": 1.4946666666666666,
      "grad_norm": 5.625,
      "learning_rate": 1.6346879011096927e-06,
      "loss": 1.574345588684082,
      "step": 2242
    },
    {
      "epoch": 1.496,
      "grad_norm": 9.8125,
      "learning_rate": 1.6315355027151836e-06,
      "loss": 1.878307580947876,
      "step": 2244
    },
    {
      "epoch": 1.4973333333333334,
      "grad_norm": 2.515625,
      "learning_rate": 1.6283894841215642e-06,
      "loss": 1.0803532600402832,
      "step": 2246
    },
    {
      "epoch": 1.4986666666666666,
      "grad_norm": 2.296875,
      "learning_rate": 1.6252498599956174e-06,
      "loss": 1.1133677959442139,
      "step": 2248
    },
    {
      "epoch": 1.5,
      "grad_norm": 4.71875,
      "learning_rate": 1.6221166449743157e-06,
      "loss": 1.5767303705215454,
      "step": 2250
    },
    {
      "epoch": 1.5013333333333332,
      "grad_norm": 7.0,
      "learning_rate": 1.6189898536647513e-06,
      "loss": 1.894281029701233,
      "step": 2252
    },
    {
      "epoch": 1.5026666666666668,
      "grad_norm": 2.921875,
      "learning_rate": 1.6158695006440705e-06,
      "loss": 1.0772048234939575,
      "step": 2254
    },
    {
      "epoch": 1.504,
      "grad_norm": 13.5,
      "learning_rate": 1.6127556004594028e-06,
      "loss": 2.036059856414795,
      "step": 2256
    },
    {
      "epoch": 1.5053333333333332,
      "grad_norm": 10.125,
      "learning_rate": 1.6096481676277953e-06,
      "loss": 1.9206452369689941,
      "step": 2258
    },
    {
      "epoch": 1.5066666666666668,
      "grad_norm": 3.3125,
      "learning_rate": 1.6065472166361435e-06,
      "loss": 1.1090811491012573,
      "step": 2260
    },
    {
      "epoch": 1.508,
      "grad_norm": 16.875,
      "learning_rate": 1.6034527619411252e-06,
      "loss": 1.9479446411132812,
      "step": 2262
    },
    {
      "epoch": 1.5093333333333332,
      "grad_norm": 2.359375,
      "learning_rate": 1.6003648179691312e-06,
      "loss": 1.1486694812774658,
      "step": 2264
    },
    {
      "epoch": 1.5106666666666668,
      "grad_norm": 10.8125,
      "learning_rate": 1.5972833991162019e-06,
      "loss": 1.6257998943328857,
      "step": 2266
    },
    {
      "epoch": 1.512,
      "grad_norm": 8.75,
      "learning_rate": 1.5942085197479542e-06,
      "loss": 1.5967451333999634,
      "step": 2268
    },
    {
      "epoch": 1.5133333333333332,
      "grad_norm": 8.1875,
      "learning_rate": 1.5911401941995203e-06,
      "loss": 1.5518248081207275,
      "step": 2270
    },
    {
      "epoch": 1.5146666666666668,
      "grad_norm": 1.015625,
      "learning_rate": 1.5880784367754765e-06,
      "loss": 0.9718266725540161,
      "step": 2272
    },
    {
      "epoch": 1.516,
      "grad_norm": 1.578125,
      "learning_rate": 1.5850232617497799e-06,
      "loss": 1.0614995956420898,
      "step": 2274
    },
    {
      "epoch": 1.5173333333333332,
      "grad_norm": 9.0,
      "learning_rate": 1.5819746833656995e-06,
      "loss": 2.10675048828125,
      "step": 2276
    },
    {
      "epoch": 1.5186666666666668,
      "grad_norm": 9.875,
      "learning_rate": 1.5789327158357511e-06,
      "loss": 1.713383674621582,
      "step": 2278
    },
    {
      "epoch": 1.52,
      "grad_norm": 10.875,
      "learning_rate": 1.5758973733416305e-06,
      "loss": 2.0925493240356445,
      "step": 2280
    },
    {
      "epoch": 1.5213333333333332,
      "grad_norm": 1.6640625,
      "learning_rate": 1.5728686700341471e-06,
      "loss": 1.2812188863754272,
      "step": 2282
    },
    {
      "epoch": 1.5226666666666666,
      "grad_norm": 1.75,
      "learning_rate": 1.5698466200331591e-06,
      "loss": 1.0207161903381348,
      "step": 2284
    },
    {
      "epoch": 1.524,
      "grad_norm": 13.9375,
      "learning_rate": 1.5668312374275063e-06,
      "loss": 1.8525854349136353,
      "step": 2286
    },
    {
      "epoch": 1.5253333333333332,
      "grad_norm": 5.125,
      "learning_rate": 1.5638225362749452e-06,
      "loss": 1.5748333930969238,
      "step": 2288
    },
    {
      "epoch": 1.5266666666666666,
      "grad_norm": 1.875,
      "learning_rate": 1.560820530602083e-06,
      "loss": 0.9696911573410034,
      "step": 2290
    },
    {
      "epoch": 1.528,
      "grad_norm": 1.859375,
      "learning_rate": 1.557825234404313e-06,
      "loss": 1.1080089807510376,
      "step": 2292
    },
    {
      "epoch": 1.5293333333333332,
      "grad_norm": 8.625,
      "learning_rate": 1.5548366616457483e-06,
      "loss": 1.7507381439208984,
      "step": 2294
    },
    {
      "epoch": 1.5306666666666666,
      "grad_norm": 4.59375,
      "learning_rate": 1.5518548262591577e-06,
      "loss": 1.5224215984344482,
      "step": 2296
    },
    {
      "epoch": 1.532,
      "grad_norm": 4.15625,
      "learning_rate": 1.5488797421458998e-06,
      "loss": 1.1142975091934204,
      "step": 2298
    },
    {
      "epoch": 1.5333333333333332,
      "grad_norm": 1.78125,
      "learning_rate": 1.545911423175859e-06,
      "loss": 1.172170877456665,
      "step": 2300
    },
    {
      "epoch": 1.5346666666666666,
      "grad_norm": 47.0,
      "learning_rate": 1.542949883187381e-06,
      "loss": 1.7134714126586914,
      "step": 2302
    },
    {
      "epoch": 1.536,
      "grad_norm": 2.171875,
      "learning_rate": 1.5399951359872062e-06,
      "loss": 1.122593641281128,
      "step": 2304
    },
    {
      "epoch": 1.5373333333333332,
      "grad_norm": 15.8125,
      "learning_rate": 1.5370471953504078e-06,
      "loss": 1.9810711145401,
      "step": 2306
    },
    {
      "epoch": 1.5386666666666666,
      "grad_norm": 1.1875,
      "learning_rate": 1.5341060750203285e-06,
      "loss": 1.174625277519226,
      "step": 2308
    },
    {
      "epoch": 1.54,
      "grad_norm": 6.6875,
      "learning_rate": 1.5311717887085117e-06,
      "loss": 1.7289341688156128,
      "step": 2310
    },
    {
      "epoch": 1.5413333333333332,
      "grad_norm": 11.5625,
      "learning_rate": 1.528244350094642e-06,
      "loss": 1.8983392715454102,
      "step": 2312
    },
    {
      "epoch": 1.5426666666666666,
      "grad_norm": 7.34375,
      "learning_rate": 1.5253237728264802e-06,
      "loss": 1.8950591087341309,
      "step": 2314
    },
    {
      "epoch": 1.544,
      "grad_norm": 4.21875,
      "learning_rate": 1.522410070519798e-06,
      "loss": 1.6132075786590576,
      "step": 2316
    },
    {
      "epoch": 1.5453333333333332,
      "grad_norm": 6.375,
      "learning_rate": 1.5195032567583179e-06,
      "loss": 1.7312850952148438,
      "step": 2318
    },
    {
      "epoch": 1.5466666666666666,
      "grad_norm": 29.375,
      "learning_rate": 1.5166033450936454e-06,
      "loss": 0.7591425776481628,
      "step": 2320
    },
    {
      "epoch": 1.548,
      "grad_norm": 6.1875,
      "learning_rate": 1.5137103490452116e-06,
      "loss": 1.5598540306091309,
      "step": 2322
    },
    {
      "epoch": 1.5493333333333332,
      "grad_norm": 6.96875,
      "learning_rate": 1.510824282100204e-06,
      "loss": 1.9549357891082764,
      "step": 2324
    },
    {
      "epoch": 1.5506666666666666,
      "grad_norm": 5.8125,
      "learning_rate": 1.5079451577135082e-06,
      "loss": 2.056565284729004,
      "step": 2326
    },
    {
      "epoch": 1.552,
      "grad_norm": 65.0,
      "learning_rate": 1.5050729893076421e-06,
      "loss": 1.716827154159546,
      "step": 2328
    },
    {
      "epoch": 1.5533333333333332,
      "grad_norm": 5.46875,
      "learning_rate": 1.5022077902726964e-06,
      "loss": 1.6515603065490723,
      "step": 2330
    },
    {
      "epoch": 1.5546666666666666,
      "grad_norm": 7.0625,
      "learning_rate": 1.4993495739662693e-06,
      "loss": 1.8558051586151123,
      "step": 2332
    },
    {
      "epoch": 1.556,
      "grad_norm": 10.25,
      "learning_rate": 1.4964983537134053e-06,
      "loss": 1.906949520111084,
      "step": 2334
    },
    {
      "epoch": 1.5573333333333332,
      "grad_norm": 5.125,
      "learning_rate": 1.4936541428065343e-06,
      "loss": 1.5600132942199707,
      "step": 2336
    },
    {
      "epoch": 1.5586666666666666,
      "grad_norm": 2.5625,
      "learning_rate": 1.4908169545054077e-06,
      "loss": 1.2310209274291992,
      "step": 2338
    },
    {
      "epoch": 1.56,
      "grad_norm": 22.875,
      "learning_rate": 1.4879868020370375e-06,
      "loss": 0.6177462935447693,
      "step": 2340
    },
    {
      "epoch": 1.5613333333333332,
      "grad_norm": 29.875,
      "learning_rate": 1.4851636985956344e-06,
      "loss": 0.6061275005340576,
      "step": 2342
    },
    {
      "epoch": 1.5626666666666666,
      "grad_norm": 68.5,
      "learning_rate": 1.482347657342547e-06,
      "loss": 0.8461488485336304,
      "step": 2344
    },
    {
      "epoch": 1.564,
      "grad_norm": 3.828125,
      "learning_rate": 1.4795386914061996e-06,
      "loss": 1.4999845027923584,
      "step": 2346
    },
    {
      "epoch": 1.5653333333333332,
      "grad_norm": 3.796875,
      "learning_rate": 1.4767368138820313e-06,
      "loss": 1.50132155418396,
      "step": 2348
    },
    {
      "epoch": 1.5666666666666667,
      "grad_norm": 6.28125,
      "learning_rate": 1.4739420378324342e-06,
      "loss": 1.525911569595337,
      "step": 2350
    },
    {
      "epoch": 1.568,
      "grad_norm": 12.75,
      "learning_rate": 1.4711543762866943e-06,
      "loss": 2.013495445251465,
      "step": 2352
    },
    {
      "epoch": 1.5693333333333332,
      "grad_norm": 2.90625,
      "learning_rate": 1.4683738422409294e-06,
      "loss": 1.0588361024856567,
      "step": 2354
    },
    {
      "epoch": 1.5706666666666667,
      "grad_norm": 5.375,
      "learning_rate": 1.4656004486580278e-06,
      "loss": 1.5528647899627686,
      "step": 2356
    },
    {
      "epoch": 1.572,
      "grad_norm": 3.84375,
      "learning_rate": 1.4628342084675912e-06,
      "loss": 1.523222804069519,
      "step": 2358
    },
    {
      "epoch": 1.5733333333333333,
      "grad_norm": 5.4375,
      "learning_rate": 1.4600751345658695e-06,
      "loss": 1.581688642501831,
      "step": 2360
    },
    {
      "epoch": 1.5746666666666667,
      "grad_norm": 5.90625,
      "learning_rate": 1.4573232398157047e-06,
      "loss": 1.5545933246612549,
      "step": 2362
    },
    {
      "epoch": 1.576,
      "grad_norm": 5.0,
      "learning_rate": 1.4545785370464693e-06,
      "loss": 1.620265245437622,
      "step": 2364
    },
    {
      "epoch": 1.5773333333333333,
      "grad_norm": 4.84375,
      "learning_rate": 1.451841039054006e-06,
      "loss": 1.459843397140503,
      "step": 2366
    },
    {
      "epoch": 1.5786666666666667,
      "grad_norm": 7.1875,
      "learning_rate": 1.4491107586005702e-06,
      "loss": 1.4685808420181274,
      "step": 2368
    },
    {
      "epoch": 1.58,
      "grad_norm": 15.75,
      "learning_rate": 1.4463877084147667e-06,
      "loss": 1.824225664138794,
      "step": 2370
    },
    {
      "epoch": 1.5813333333333333,
      "grad_norm": 4.25,
      "learning_rate": 1.4436719011914952e-06,
      "loss": 1.5579168796539307,
      "step": 2372
    },
    {
      "epoch": 1.5826666666666667,
      "grad_norm": 5.9375,
      "learning_rate": 1.4409633495918871e-06,
      "loss": 1.678511381149292,
      "step": 2374
    },
    {
      "epoch": 1.584,
      "grad_norm": 1.4609375,
      "learning_rate": 1.438262066243248e-06,
      "loss": 0.9821925163269043,
      "step": 2376
    },
    {
      "epoch": 1.5853333333333333,
      "grad_norm": 8.125,
      "learning_rate": 1.4355680637390002e-06,
      "loss": 1.4981456995010376,
      "step": 2378
    },
    {
      "epoch": 1.5866666666666667,
      "grad_norm": 12.0,
      "learning_rate": 1.4328813546386203e-06,
      "loss": 1.8860352039337158,
      "step": 2380
    },
    {
      "epoch": 1.588,
      "grad_norm": 4.9375,
      "learning_rate": 1.4302019514675851e-06,
      "loss": 1.470839023590088,
      "step": 2382
    },
    {
      "epoch": 1.5893333333333333,
      "grad_norm": 20.875,
      "learning_rate": 1.4275298667173099e-06,
      "loss": 1.8443596363067627,
      "step": 2384
    },
    {
      "epoch": 1.5906666666666667,
      "grad_norm": 9.5625,
      "learning_rate": 1.424865112845092e-06,
      "loss": 2.1072330474853516,
      "step": 2386
    },
    {
      "epoch": 1.592,
      "grad_norm": 1.3515625,
      "learning_rate": 1.422207702274051e-06,
      "loss": 1.0557342767715454,
      "step": 2388
    },
    {
      "epoch": 1.5933333333333333,
      "grad_norm": 6.375,
      "learning_rate": 1.419557647393073e-06,
      "loss": 1.6008689403533936,
      "step": 2390
    },
    {
      "epoch": 1.5946666666666667,
      "grad_norm": 5.5625,
      "learning_rate": 1.416914960556752e-06,
      "loss": 1.618016242980957,
      "step": 2392
    },
    {
      "epoch": 1.596,
      "grad_norm": 4.8125,
      "learning_rate": 1.4142796540853308e-06,
      "loss": 1.5180994272232056,
      "step": 2394
    },
    {
      "epoch": 1.5973333333333333,
      "grad_norm": 10.375,
      "learning_rate": 1.4116517402646457e-06,
      "loss": 1.7874457836151123,
      "step": 2396
    },
    {
      "epoch": 1.5986666666666667,
      "grad_norm": 4.21875,
      "learning_rate": 1.4090312313460677e-06,
      "loss": 1.2136869430541992,
      "step": 2398
    },
    {
      "epoch": 1.6,
      "grad_norm": 6.03125,
      "learning_rate": 1.4064181395464477e-06,
      "loss": 1.5290756225585938,
      "step": 2400
    },
    {
      "epoch": 1.6013333333333333,
      "grad_norm": 11.5,
      "learning_rate": 1.403812477048056e-06,
      "loss": 2.132098913192749,
      "step": 2402
    },
    {
      "epoch": 1.6026666666666667,
      "grad_norm": 16.5,
      "learning_rate": 1.4012142559985284e-06,
      "loss": 1.031418800354004,
      "step": 2404
    },
    {
      "epoch": 1.604,
      "grad_norm": 2.96875,
      "learning_rate": 1.398623488510808e-06,
      "loss": 1.2537906169891357,
      "step": 2406
    },
    {
      "epoch": 1.6053333333333333,
      "grad_norm": 3.515625,
      "learning_rate": 1.3960401866630895e-06,
      "loss": 1.501905083656311,
      "step": 2408
    },
    {
      "epoch": 1.6066666666666667,
      "grad_norm": 7.125,
      "learning_rate": 1.3934643624987628e-06,
      "loss": 1.5386528968811035,
      "step": 2410
    },
    {
      "epoch": 1.608,
      "grad_norm": 4.5,
      "learning_rate": 1.390896028026357e-06,
      "loss": 1.5996134281158447,
      "step": 2412
    },
    {
      "epoch": 1.6093333333333333,
      "grad_norm": 2.03125,
      "learning_rate": 1.3883351952194834e-06,
      "loss": 1.073486089706421,
      "step": 2414
    },
    {
      "epoch": 1.6106666666666667,
      "grad_norm": 4.65625,
      "learning_rate": 1.3857818760167815e-06,
      "loss": 1.541170358657837,
      "step": 2416
    },
    {
      "epoch": 1.612,
      "grad_norm": 6.625,
      "learning_rate": 1.383236082321861e-06,
      "loss": 1.6134498119354248,
      "step": 2418
    },
    {
      "epoch": 1.6133333333333333,
      "grad_norm": 10.75,
      "learning_rate": 1.3806978260032483e-06,
      "loss": 1.8399434089660645,
      "step": 2420
    },
    {
      "epoch": 1.6146666666666667,
      "grad_norm": 8.25,
      "learning_rate": 1.3781671188943306e-06,
      "loss": 1.7731807231903076,
      "step": 2422
    },
    {
      "epoch": 1.616,
      "grad_norm": 6.71875,
      "learning_rate": 1.3756439727933e-06,
      "loss": 1.5749328136444092,
      "step": 2424
    },
    {
      "epoch": 1.6173333333333333,
      "grad_norm": 6.34375,
      "learning_rate": 1.3731283994630994e-06,
      "loss": 1.8089914321899414,
      "step": 2426
    },
    {
      "epoch": 1.6186666666666667,
      "grad_norm": 11.5625,
      "learning_rate": 1.3706204106313677e-06,
      "loss": 1.8553075790405273,
      "step": 2428
    },
    {
      "epoch": 1.62,
      "grad_norm": 5.65625,
      "learning_rate": 1.3681200179903841e-06,
      "loss": 1.5557477474212646,
      "step": 2430
    },
    {
      "epoch": 1.6213333333333333,
      "grad_norm": 9.5,
      "learning_rate": 1.3656272331970147e-06,
      "loss": 2.0387516021728516,
      "step": 2432
    },
    {
      "epoch": 1.6226666666666667,
      "grad_norm": 7.53125,
      "learning_rate": 1.3631420678726575e-06,
      "loss": 1.1420713663101196,
      "step": 2434
    },
    {
      "epoch": 1.624,
      "grad_norm": 15.125,
      "learning_rate": 1.3606645336031884e-06,
      "loss": 0.822184681892395,
      "step": 2436
    },
    {
      "epoch": 1.6253333333333333,
      "grad_norm": 4.40625,
      "learning_rate": 1.3581946419389071e-06,
      "loss": 1.5058057308197021,
      "step": 2438
    },
    {
      "epoch": 1.6266666666666667,
      "grad_norm": 11.0625,
      "learning_rate": 1.3557324043944842e-06,
      "loss": 1.9923133850097656,
      "step": 2440
    },
    {
      "epoch": 1.6280000000000001,
      "grad_norm": 6.6875,
      "learning_rate": 1.3532778324489057e-06,
      "loss": 1.6043286323547363,
      "step": 2442
    },
    {
      "epoch": 1.6293333333333333,
      "grad_norm": 12.25,
      "learning_rate": 1.3508309375454203e-06,
      "loss": 1.7089390754699707,
      "step": 2444
    },
    {
      "epoch": 1.6306666666666667,
      "grad_norm": 10.375,
      "learning_rate": 1.3483917310914874e-06,
      "loss": 1.5101563930511475,
      "step": 2446
    },
    {
      "epoch": 1.6320000000000001,
      "grad_norm": 4.3125,
      "learning_rate": 1.3459602244587213e-06,
      "loss": 1.580566644668579,
      "step": 2448
    },
    {
      "epoch": 1.6333333333333333,
      "grad_norm": 1.8515625,
      "learning_rate": 1.3435364289828417e-06,
      "loss": 1.1323513984680176,
      "step": 2450
    },
    {
      "epoch": 1.6346666666666667,
      "grad_norm": 2.78125,
      "learning_rate": 1.3411203559636167e-06,
      "loss": 1.149007797241211,
      "step": 2452
    },
    {
      "epoch": 1.6360000000000001,
      "grad_norm": 11.875,
      "learning_rate": 1.338712016664813e-06,
      "loss": 1.757912278175354,
      "step": 2454
    },
    {
      "epoch": 1.6373333333333333,
      "grad_norm": 1.8984375,
      "learning_rate": 1.3363114223141424e-06,
      "loss": 1.1383402347564697,
      "step": 2456
    },
    {
      "epoch": 1.6386666666666667,
      "grad_norm": 8.25,
      "learning_rate": 1.3339185841032098e-06,
      "loss": 1.2369120121002197,
      "step": 2458
    },
    {
      "epoch": 1.6400000000000001,
      "grad_norm": 10.5,
      "learning_rate": 1.3315335131874615e-06,
      "loss": 1.1226749420166016,
      "step": 2460
    },
    {
      "epoch": 1.6413333333333333,
      "grad_norm": 6.65625,
      "learning_rate": 1.3291562206861313e-06,
      "loss": 2.066049814224243,
      "step": 2462
    },
    {
      "epoch": 1.6426666666666667,
      "grad_norm": 6.21875,
      "learning_rate": 1.3267867176821905e-06,
      "loss": 1.8269095420837402,
      "step": 2464
    },
    {
      "epoch": 1.6440000000000001,
      "grad_norm": 13.75,
      "learning_rate": 1.3244250152222962e-06,
      "loss": 1.9400553703308105,
      "step": 2466
    },
    {
      "epoch": 1.6453333333333333,
      "grad_norm": 10.125,
      "learning_rate": 1.3220711243167383e-06,
      "loss": 1.5360229015350342,
      "step": 2468
    },
    {
      "epoch": 1.6466666666666665,
      "grad_norm": 5.3125,
      "learning_rate": 1.3197250559393898e-06,
      "loss": 1.47464919090271,
      "step": 2470
    },
    {
      "epoch": 1.6480000000000001,
      "grad_norm": 47.0,
      "learning_rate": 1.3173868210276546e-06,
      "loss": 1.0298049449920654,
      "step": 2472
    },
    {
      "epoch": 1.6493333333333333,
      "grad_norm": 10.625,
      "learning_rate": 1.3150564304824173e-06,
      "loss": 1.9129880666732788,
      "step": 2474
    },
    {
      "epoch": 1.6506666666666665,
      "grad_norm": 10.6875,
      "learning_rate": 1.3127338951679914e-06,
      "loss": 1.8743722438812256,
      "step": 2476
    },
    {
      "epoch": 1.6520000000000001,
      "grad_norm": 20.125,
      "learning_rate": 1.3104192259120696e-06,
      "loss": 1.9373652935028076,
      "step": 2478
    },
    {
      "epoch": 1.6533333333333333,
      "grad_norm": 3.34375,
      "learning_rate": 1.3081124335056724e-06,
      "loss": 1.0924056768417358,
      "step": 2480
    },
    {
      "epoch": 1.6546666666666665,
      "grad_norm": 3.5625,
      "learning_rate": 1.3058135287030994e-06,
      "loss": 1.5548295974731445,
      "step": 2482
    },
    {
      "epoch": 1.6560000000000001,
      "grad_norm": 3.296875,
      "learning_rate": 1.3035225222218763e-06,
      "loss": 1.1189805269241333,
      "step": 2484
    },
    {
      "epoch": 1.6573333333333333,
      "grad_norm": 6.96875,
      "learning_rate": 1.3012394247427094e-06,
      "loss": 1.9380686283111572,
      "step": 2486
    },
    {
      "epoch": 1.6586666666666665,
      "grad_norm": 1.953125,
      "learning_rate": 1.29896424690943e-06,
      "loss": 0.9920519590377808,
      "step": 2488
    },
    {
      "epoch": 1.6600000000000001,
      "grad_norm": 4.0,
      "learning_rate": 1.29669699932895e-06,
      "loss": 1.6043567657470703,
      "step": 2490
    },
    {
      "epoch": 1.6613333333333333,
      "grad_norm": 55.5,
      "learning_rate": 1.2944376925712098e-06,
      "loss": 1.60878324508667,
      "step": 2492
    },
    {
      "epoch": 1.6626666666666665,
      "grad_norm": 10.5,
      "learning_rate": 1.29218633716913e-06,
      "loss": 1.898872971534729,
      "step": 2494
    },
    {
      "epoch": 1.6640000000000001,
      "grad_norm": 8.625,
      "learning_rate": 1.2899429436185606e-06,
      "loss": 1.1359686851501465,
      "step": 2496
    },
    {
      "epoch": 1.6653333333333333,
      "grad_norm": 7.0,
      "learning_rate": 1.2877075223782349e-06,
      "loss": 1.8120665550231934,
      "step": 2498
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 5.5,
      "learning_rate": 1.2854800838697178e-06,
      "loss": 1.6861441135406494,
      "step": 2500
    },
    {
      "epoch": 1.6680000000000001,
      "grad_norm": 9.4375,
      "learning_rate": 1.2832606384773588e-06,
      "loss": 1.9833118915557861,
      "step": 2502
    },
    {
      "epoch": 1.6693333333333333,
      "grad_norm": 2.15625,
      "learning_rate": 1.2810491965482453e-06,
      "loss": 1.1113640069961548,
      "step": 2504
    },
    {
      "epoch": 1.6706666666666665,
      "grad_norm": 5.125,
      "learning_rate": 1.2788457683921495e-06,
      "loss": 1.5374150276184082,
      "step": 2506
    },
    {
      "epoch": 1.6720000000000002,
      "grad_norm": 8.75,
      "learning_rate": 1.2766503642814853e-06,
      "loss": 1.532484769821167,
      "step": 2508
    },
    {
      "epoch": 1.6733333333333333,
      "grad_norm": 9.25,
      "learning_rate": 1.2744629944512581e-06,
      "loss": 1.9680659770965576,
      "step": 2510
    },
    {
      "epoch": 1.6746666666666665,
      "grad_norm": 4.90625,
      "learning_rate": 1.2722836690990167e-06,
      "loss": 1.4476611614227295,
      "step": 2512
    },
    {
      "epoch": 1.6760000000000002,
      "grad_norm": 10.3125,
      "learning_rate": 1.2701123983848066e-06,
      "loss": 2.006901264190674,
      "step": 2514
    },
    {
      "epoch": 1.6773333333333333,
      "grad_norm": 15.0,
      "learning_rate": 1.2679491924311227e-06,
      "loss": 1.826201319694519,
      "step": 2516
    },
    {
      "epoch": 1.6786666666666665,
      "grad_norm": 9.75,
      "learning_rate": 1.2657940613228625e-06,
      "loss": 2.085049629211426,
      "step": 2518
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 2.921875,
      "learning_rate": 1.2636470151072766e-06,
      "loss": 1.2014029026031494,
      "step": 2520
    },
    {
      "epoch": 1.6813333333333333,
      "grad_norm": 13.4375,
      "learning_rate": 1.261508063793926e-06,
      "loss": 1.615051031112671,
      "step": 2522
    },
    {
      "epoch": 1.6826666666666665,
      "grad_norm": 4.5625,
      "learning_rate": 1.2593772173546315e-06,
      "loss": 1.611379861831665,
      "step": 2524
    },
    {
      "epoch": 1.6840000000000002,
      "grad_norm": 1.921875,
      "learning_rate": 1.2572544857234294e-06,
      "loss": 1.1507315635681152,
      "step": 2526
    },
    {
      "epoch": 1.6853333333333333,
      "grad_norm": 2.484375,
      "learning_rate": 1.2551398787965249e-06,
      "loss": 1.275776982307434,
      "step": 2528
    },
    {
      "epoch": 1.6866666666666665,
      "grad_norm": 13.1875,
      "learning_rate": 1.2530334064322455e-06,
      "loss": 1.2164192199707031,
      "step": 2530
    },
    {
      "epoch": 1.688,
      "grad_norm": 5.53125,
      "learning_rate": 1.250935078450995e-06,
      "loss": 1.5331335067749023,
      "step": 2532
    },
    {
      "epoch": 1.6893333333333334,
      "grad_norm": 13.0,
      "learning_rate": 1.248844904635208e-06,
      "loss": 1.6550445556640625,
      "step": 2534
    },
    {
      "epoch": 1.6906666666666665,
      "grad_norm": 6.96875,
      "learning_rate": 1.2467628947293048e-06,
      "loss": 1.9799119234085083,
      "step": 2536
    },
    {
      "epoch": 1.692,
      "grad_norm": 4.65625,
      "learning_rate": 1.2446890584396453e-06,
      "loss": 1.5746979713439941,
      "step": 2538
    },
    {
      "epoch": 1.6933333333333334,
      "grad_norm": 11.125,
      "learning_rate": 1.242623405434483e-06,
      "loss": 1.7918205261230469,
      "step": 2540
    },
    {
      "epoch": 1.6946666666666665,
      "grad_norm": 13.375,
      "learning_rate": 1.2405659453439223e-06,
      "loss": 1.6811120510101318,
      "step": 2542
    },
    {
      "epoch": 1.696,
      "grad_norm": 4.84375,
      "learning_rate": 1.2385166877598709e-06,
      "loss": 1.591151475906372,
      "step": 2544
    },
    {
      "epoch": 1.6973333333333334,
      "grad_norm": 29.125,
      "learning_rate": 1.236475642235997e-06,
      "loss": 0.6545977592468262,
      "step": 2546
    },
    {
      "epoch": 1.6986666666666665,
      "grad_norm": 5.53125,
      "learning_rate": 1.2344428182876834e-06,
      "loss": 1.7109073400497437,
      "step": 2548
    },
    {
      "epoch": 1.7,
      "grad_norm": 2.234375,
      "learning_rate": 1.2324182253919842e-06,
      "loss": 1.4369351863861084,
      "step": 2550
    },
    {
      "epoch": 1.7013333333333334,
      "grad_norm": 40.5,
      "learning_rate": 1.2304018729875806e-06,
      "loss": 1.494368076324463,
      "step": 2552
    },
    {
      "epoch": 1.7026666666666666,
      "grad_norm": 1.84375,
      "learning_rate": 1.2283937704747353e-06,
      "loss": 1.085021734237671,
      "step": 2554
    },
    {
      "epoch": 1.704,
      "grad_norm": 4.3125,
      "learning_rate": 1.2263939272152513e-06,
      "loss": 1.5085113048553467,
      "step": 2556
    },
    {
      "epoch": 1.7053333333333334,
      "grad_norm": 11.4375,
      "learning_rate": 1.2244023525324266e-06,
      "loss": 2.0440781116485596,
      "step": 2558
    },
    {
      "epoch": 1.7066666666666666,
      "grad_norm": 9.875,
      "learning_rate": 1.2224190557110097e-06,
      "loss": 1.5847303867340088,
      "step": 2560
    },
    {
      "epoch": 1.708,
      "grad_norm": 3.375,
      "learning_rate": 1.220444045997159e-06,
      "loss": 1.0622501373291016,
      "step": 2562
    },
    {
      "epoch": 1.7093333333333334,
      "grad_norm": 1.6484375,
      "learning_rate": 1.2184773325983976e-06,
      "loss": 1.0417931079864502,
      "step": 2564
    },
    {
      "epoch": 1.7106666666666666,
      "grad_norm": 18.375,
      "learning_rate": 1.2165189246835716e-06,
      "loss": 1.0322291851043701,
      "step": 2566
    },
    {
      "epoch": 1.712,
      "grad_norm": 16.625,
      "learning_rate": 1.2145688313828058e-06,
      "loss": 1.9865806102752686,
      "step": 2568
    },
    {
      "epoch": 1.7133333333333334,
      "grad_norm": 5.59375,
      "learning_rate": 1.212627061787464e-06,
      "loss": 1.5734801292419434,
      "step": 2570
    },
    {
      "epoch": 1.7146666666666666,
      "grad_norm": 20.5,
      "learning_rate": 1.2106936249501023e-06,
      "loss": 1.7474571466445923,
      "step": 2572
    },
    {
      "epoch": 1.716,
      "grad_norm": 11.5625,
      "learning_rate": 1.2087685298844312e-06,
      "loss": 1.8723552227020264,
      "step": 2574
    },
    {
      "epoch": 1.7173333333333334,
      "grad_norm": 35.0,
      "learning_rate": 1.2068517855652712e-06,
      "loss": 1.7286386489868164,
      "step": 2576
    },
    {
      "epoch": 1.7186666666666666,
      "grad_norm": 6.40625,
      "learning_rate": 1.2049434009285116e-06,
      "loss": 1.5056369304656982,
      "step": 2578
    },
    {
      "epoch": 1.72,
      "grad_norm": 7.0,
      "learning_rate": 1.2030433848710684e-06,
      "loss": 1.538612961769104,
      "step": 2580
    },
    {
      "epoch": 1.7213333333333334,
      "grad_norm": 5.9375,
      "learning_rate": 1.2011517462508432e-06,
      "loss": 1.5303728580474854,
      "step": 2582
    },
    {
      "epoch": 1.7226666666666666,
      "grad_norm": 6.15625,
      "learning_rate": 1.1992684938866826e-06,
      "loss": 2.1096715927124023,
      "step": 2584
    },
    {
      "epoch": 1.724,
      "grad_norm": 8.125,
      "learning_rate": 1.1973936365583357e-06,
      "loss": 1.557473063468933,
      "step": 2586
    },
    {
      "epoch": 1.7253333333333334,
      "grad_norm": 3.765625,
      "learning_rate": 1.1955271830064138e-06,
      "loss": 1.5712800025939941,
      "step": 2588
    },
    {
      "epoch": 1.7266666666666666,
      "grad_norm": 6.5,
      "learning_rate": 1.1936691419323498e-06,
      "loss": 1.5366168022155762,
      "step": 2590
    },
    {
      "epoch": 1.728,
      "grad_norm": 30.625,
      "learning_rate": 1.1918195219983574e-06,
      "loss": 0.6057420969009399,
      "step": 2592
    },
    {
      "epoch": 1.7293333333333334,
      "grad_norm": 4.125,
      "learning_rate": 1.1899783318273914e-06,
      "loss": 1.158643126487732,
      "step": 2594
    },
    {
      "epoch": 1.7306666666666666,
      "grad_norm": 10.625,
      "learning_rate": 1.1881455800031064e-06,
      "loss": 1.5761902332305908,
      "step": 2596
    },
    {
      "epoch": 1.732,
      "grad_norm": 5.40625,
      "learning_rate": 1.186321275069817e-06,
      "loss": 1.595426082611084,
      "step": 2598
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 1.1796875,
      "learning_rate": 1.184505425532459e-06,
      "loss": 1.0814518928527832,
      "step": 2600
    },
    {
      "epoch": 1.7346666666666666,
      "grad_norm": 6.25,
      "learning_rate": 1.1826980398565486e-06,
      "loss": 1.4769387245178223,
      "step": 2602
    },
    {
      "epoch": 1.736,
      "grad_norm": 12.625,
      "learning_rate": 1.1808991264681435e-06,
      "loss": 1.9360644817352295,
      "step": 2604
    },
    {
      "epoch": 1.7373333333333334,
      "grad_norm": 1.59375,
      "learning_rate": 1.1791086937538032e-06,
      "loss": 1.1510602235794067,
      "step": 2606
    },
    {
      "epoch": 1.7386666666666666,
      "grad_norm": 4.875,
      "learning_rate": 1.1773267500605506e-06,
      "loss": 1.640676736831665,
      "step": 2608
    },
    {
      "epoch": 1.74,
      "grad_norm": 5.4375,
      "learning_rate": 1.1755533036958324e-06,
      "loss": 1.586723804473877,
      "step": 2610
    },
    {
      "epoch": 1.7413333333333334,
      "grad_norm": 2.1875,
      "learning_rate": 1.173788362927481e-06,
      "loss": 1.03817617893219,
      "step": 2612
    },
    {
      "epoch": 1.7426666666666666,
      "grad_norm": 15.875,
      "learning_rate": 1.1720319359836747e-06,
      "loss": 1.5527381896972656,
      "step": 2614
    },
    {
      "epoch": 1.744,
      "grad_norm": 7.375,
      "learning_rate": 1.1702840310529013e-06,
      "loss": 1.6147454977035522,
      "step": 2616
    },
    {
      "epoch": 1.7453333333333334,
      "grad_norm": 8.0,
      "learning_rate": 1.168544656283918e-06,
      "loss": 1.6725919246673584,
      "step": 2618
    },
    {
      "epoch": 1.7466666666666666,
      "grad_norm": 7.53125,
      "learning_rate": 1.1668138197857148e-06,
      "loss": 1.081732988357544,
      "step": 2620
    },
    {
      "epoch": 1.748,
      "grad_norm": 4.5625,
      "learning_rate": 1.1650915296274762e-06,
      "loss": 1.1363911628723145,
      "step": 2622
    },
    {
      "epoch": 1.7493333333333334,
      "grad_norm": 4.875,
      "learning_rate": 1.1633777938385429e-06,
      "loss": 1.5501255989074707,
      "step": 2624
    },
    {
      "epoch": 1.7506666666666666,
      "grad_norm": 2.484375,
      "learning_rate": 1.161672620408376e-06,
      "loss": 1.2060632705688477,
      "step": 2626
    },
    {
      "epoch": 1.752,
      "grad_norm": 5.0625,
      "learning_rate": 1.1599760172865176e-06,
      "loss": 1.5151984691619873,
      "step": 2628
    },
    {
      "epoch": 1.7533333333333334,
      "grad_norm": 2.765625,
      "learning_rate": 1.1582879923825561e-06,
      "loss": 1.1503922939300537,
      "step": 2630
    },
    {
      "epoch": 1.7546666666666666,
      "grad_norm": 7.21875,
      "learning_rate": 1.1566085535660872e-06,
      "loss": 1.9271504878997803,
      "step": 2632
    },
    {
      "epoch": 1.756,
      "grad_norm": 2.25,
      "learning_rate": 1.154937708666678e-06,
      "loss": 1.130241870880127,
      "step": 2634
    },
    {
      "epoch": 1.7573333333333334,
      "grad_norm": 5.0625,
      "learning_rate": 1.153275465473832e-06,
      "loss": 1.7080326080322266,
      "step": 2636
    },
    {
      "epoch": 1.7586666666666666,
      "grad_norm": 4.5,
      "learning_rate": 1.1516218317369506e-06,
      "loss": 1.5953943729400635,
      "step": 2638
    },
    {
      "epoch": 1.76,
      "grad_norm": 7.1875,
      "learning_rate": 1.149976815165297e-06,
      "loss": 1.6334452629089355,
      "step": 2640
    },
    {
      "epoch": 1.7613333333333334,
      "grad_norm": 4.6875,
      "learning_rate": 1.1483404234279622e-06,
      "loss": 1.616743564605713,
      "step": 2642
    },
    {
      "epoch": 1.7626666666666666,
      "grad_norm": 2.6875,
      "learning_rate": 1.1467126641538273e-06,
      "loss": 1.1109144687652588,
      "step": 2644
    },
    {
      "epoch": 1.764,
      "grad_norm": 15.6875,
      "learning_rate": 1.1450935449315295e-06,
      "loss": 2.251559019088745,
      "step": 2646
    },
    {
      "epoch": 1.7653333333333334,
      "grad_norm": 11.25,
      "learning_rate": 1.1434830733094256e-06,
      "loss": 1.9472830295562744,
      "step": 2648
    },
    {
      "epoch": 1.7666666666666666,
      "grad_norm": 1.625,
      "learning_rate": 1.1418812567955569e-06,
      "loss": 1.1540098190307617,
      "step": 2650
    },
    {
      "epoch": 1.768,
      "grad_norm": 11.125,
      "learning_rate": 1.1402881028576147e-06,
      "loss": 2.0404562950134277,
      "step": 2652
    },
    {
      "epoch": 1.7693333333333334,
      "grad_norm": 7.5625,
      "learning_rate": 1.1387036189229055e-06,
      "loss": 1.558046579360962,
      "step": 2654
    },
    {
      "epoch": 1.7706666666666666,
      "grad_norm": 8.5625,
      "learning_rate": 1.1371278123783156e-06,
      "loss": 1.9174463748931885,
      "step": 2656
    },
    {
      "epoch": 1.772,
      "grad_norm": 11.1875,
      "learning_rate": 1.1355606905702775e-06,
      "loss": 1.5161430835723877,
      "step": 2658
    },
    {
      "epoch": 1.7733333333333334,
      "grad_norm": 6.625,
      "learning_rate": 1.1340022608047357e-06,
      "loss": 1.64548659324646,
      "step": 2660
    },
    {
      "epoch": 1.7746666666666666,
      "grad_norm": 7.0,
      "learning_rate": 1.1324525303471113e-06,
      "loss": 1.71232271194458,
      "step": 2662
    },
    {
      "epoch": 1.776,
      "grad_norm": 10.625,
      "learning_rate": 1.1309115064222697e-06,
      "loss": 1.7835891246795654,
      "step": 2664
    },
    {
      "epoch": 1.7773333333333334,
      "grad_norm": 7.8125,
      "learning_rate": 1.1293791962144868e-06,
      "loss": 2.010854721069336,
      "step": 2666
    },
    {
      "epoch": 1.7786666666666666,
      "grad_norm": 6.375,
      "learning_rate": 1.127855606867414e-06,
      "loss": 1.7522506713867188,
      "step": 2668
    },
    {
      "epoch": 1.78,
      "grad_norm": 1.7734375,
      "learning_rate": 1.1263407454840465e-06,
      "loss": 1.1171356439590454,
      "step": 2670
    },
    {
      "epoch": 1.7813333333333334,
      "grad_norm": 3.765625,
      "learning_rate": 1.12483461912669e-06,
      "loss": 1.498163104057312,
      "step": 2672
    },
    {
      "epoch": 1.7826666666666666,
      "grad_norm": 2.046875,
      "learning_rate": 1.123337234816926e-06,
      "loss": 1.2884820699691772,
      "step": 2674
    },
    {
      "epoch": 1.784,
      "grad_norm": 6.59375,
      "learning_rate": 1.1218485995355823e-06,
      "loss": 1.5873327255249023,
      "step": 2676
    },
    {
      "epoch": 1.7853333333333334,
      "grad_norm": 10.625,
      "learning_rate": 1.1203687202226976e-06,
      "loss": 1.5103931427001953,
      "step": 2678
    },
    {
      "epoch": 1.7866666666666666,
      "grad_norm": 4.71875,
      "learning_rate": 1.1188976037774897e-06,
      "loss": 1.0384002923965454,
      "step": 2680
    },
    {
      "epoch": 1.788,
      "grad_norm": 4.9375,
      "learning_rate": 1.117435257058325e-06,
      "loss": 1.5868349075317383,
      "step": 2682
    },
    {
      "epoch": 1.7893333333333334,
      "grad_norm": 5.09375,
      "learning_rate": 1.1159816868826838e-06,
      "loss": 1.6466984748840332,
      "step": 2684
    },
    {
      "epoch": 1.7906666666666666,
      "grad_norm": 10.25,
      "learning_rate": 1.1145369000271316e-06,
      "loss": 2.061450719833374,
      "step": 2686
    },
    {
      "epoch": 1.792,
      "grad_norm": 24.75,
      "learning_rate": 1.113100903227285e-06,
      "loss": 1.8428632020950317,
      "step": 2688
    },
    {
      "epoch": 1.7933333333333334,
      "grad_norm": 3.4375,
      "learning_rate": 1.1116737031777813e-06,
      "loss": 1.237999439239502,
      "step": 2690
    },
    {
      "epoch": 1.7946666666666666,
      "grad_norm": 12.875,
      "learning_rate": 1.1102553065322478e-06,
      "loss": 1.7113702297210693,
      "step": 2692
    },
    {
      "epoch": 1.796,
      "grad_norm": 5.09375,
      "learning_rate": 1.108845719903269e-06,
      "loss": 1.8466413021087646,
      "step": 2694
    },
    {
      "epoch": 1.7973333333333334,
      "grad_norm": 9.875,
      "learning_rate": 1.1074449498623586e-06,
      "loss": 1.71107816696167,
      "step": 2696
    },
    {
      "epoch": 1.7986666666666666,
      "grad_norm": 8.4375,
      "learning_rate": 1.1060530029399259e-06,
      "loss": 1.8808412551879883,
      "step": 2698
    },
    {
      "epoch": 1.8,
      "grad_norm": 2.90625,
      "learning_rate": 1.1046698856252468e-06,
      "loss": 1.0465705394744873,
      "step": 2700
    },
    {
      "epoch": 1.8013333333333335,
      "grad_norm": 2.65625,
      "learning_rate": 1.1032956043664347e-06,
      "loss": 1.0618107318878174,
      "step": 2702
    },
    {
      "epoch": 1.8026666666666666,
      "grad_norm": 8.0625,
      "learning_rate": 1.101930165570408e-06,
      "loss": 1.6237022876739502,
      "step": 2704
    },
    {
      "epoch": 1.804,
      "grad_norm": 7.59375,
      "learning_rate": 1.1005735756028614e-06,
      "loss": 1.8877501487731934,
      "step": 2706
    },
    {
      "epoch": 1.8053333333333335,
      "grad_norm": 8.1875,
      "learning_rate": 1.099225840788237e-06,
      "loss": 1.4899542331695557,
      "step": 2708
    },
    {
      "epoch": 1.8066666666666666,
      "grad_norm": 3.609375,
      "learning_rate": 1.097886967409693e-06,
      "loss": 1.4635686874389648,
      "step": 2710
    },
    {
      "epoch": 1.808,
      "grad_norm": 35.25,
      "learning_rate": 1.0965569617090768e-06,
      "loss": 1.7736328840255737,
      "step": 2712
    },
    {
      "epoch": 1.8093333333333335,
      "grad_norm": 4.09375,
      "learning_rate": 1.0952358298868936e-06,
      "loss": 1.506758451461792,
      "step": 2714
    },
    {
      "epoch": 1.8106666666666666,
      "grad_norm": 4.8125,
      "learning_rate": 1.0939235781022784e-06,
      "loss": 1.5824058055877686,
      "step": 2716
    },
    {
      "epoch": 1.812,
      "grad_norm": 4.59375,
      "learning_rate": 1.092620212472968e-06,
      "loss": 1.6231698989868164,
      "step": 2718
    },
    {
      "epoch": 1.8133333333333335,
      "grad_norm": 6.375,
      "learning_rate": 1.0913257390752713e-06,
      "loss": 1.5913381576538086,
      "step": 2720
    },
    {
      "epoch": 1.8146666666666667,
      "grad_norm": 9.75,
      "learning_rate": 1.0900401639440416e-06,
      "loss": 1.8220431804656982,
      "step": 2722
    },
    {
      "epoch": 1.8159999999999998,
      "grad_norm": 16.625,
      "learning_rate": 1.0887634930726484e-06,
      "loss": 1.6188863515853882,
      "step": 2724
    },
    {
      "epoch": 1.8173333333333335,
      "grad_norm": 4.4375,
      "learning_rate": 1.087495732412949e-06,
      "loss": 1.551790714263916,
      "step": 2726
    },
    {
      "epoch": 1.8186666666666667,
      "grad_norm": 5.21875,
      "learning_rate": 1.0862368878752624e-06,
      "loss": 1.6060757637023926,
      "step": 2728
    },
    {
      "epoch": 1.8199999999999998,
      "grad_norm": 6.9375,
      "learning_rate": 1.0849869653283392e-06,
      "loss": 1.3745307922363281,
      "step": 2730
    },
    {
      "epoch": 1.8213333333333335,
      "grad_norm": 5.5625,
      "learning_rate": 1.0837459705993362e-06,
      "loss": 1.1677099466323853,
      "step": 2732
    },
    {
      "epoch": 1.8226666666666667,
      "grad_norm": 3.8125,
      "learning_rate": 1.0825139094737883e-06,
      "loss": 1.1494688987731934,
      "step": 2734
    },
    {
      "epoch": 1.8239999999999998,
      "grad_norm": 1.7890625,
      "learning_rate": 1.081290787695582e-06,
      "loss": 1.2367225885391235,
      "step": 2736
    },
    {
      "epoch": 1.8253333333333335,
      "grad_norm": 6.5,
      "learning_rate": 1.080076610966928e-06,
      "loss": 1.8836338520050049,
      "step": 2738
    },
    {
      "epoch": 1.8266666666666667,
      "grad_norm": 7.53125,
      "learning_rate": 1.0788713849483363e-06,
      "loss": 2.0381829738616943,
      "step": 2740
    },
    {
      "epoch": 1.8279999999999998,
      "grad_norm": 5.9375,
      "learning_rate": 1.0776751152585866e-06,
      "loss": 1.1025861501693726,
      "step": 2742
    },
    {
      "epoch": 1.8293333333333335,
      "grad_norm": 4.71875,
      "learning_rate": 1.076487807474706e-06,
      "loss": 1.677769422531128,
      "step": 2744
    },
    {
      "epoch": 1.8306666666666667,
      "grad_norm": 15.375,
      "learning_rate": 1.0753094671319398e-06,
      "loss": 1.6080399751663208,
      "step": 2746
    },
    {
      "epoch": 1.8319999999999999,
      "grad_norm": 6.46875,
      "learning_rate": 1.0741400997237275e-06,
      "loss": 1.648935317993164,
      "step": 2748
    },
    {
      "epoch": 1.8333333333333335,
      "grad_norm": 7.9375,
      "learning_rate": 1.0729797107016766e-06,
      "loss": 1.6360926628112793,
      "step": 2750
    },
    {
      "epoch": 1.8346666666666667,
      "grad_norm": 6.8125,
      "learning_rate": 1.0718283054755373e-06,
      "loss": 1.93143630027771,
      "step": 2752
    },
    {
      "epoch": 1.8359999999999999,
      "grad_norm": 11.3125,
      "learning_rate": 1.0706858894131767e-06,
      "loss": 1.8639891147613525,
      "step": 2754
    },
    {
      "epoch": 1.8373333333333335,
      "grad_norm": 4.15625,
      "learning_rate": 1.069552467840555e-06,
      "loss": 1.6008312702178955,
      "step": 2756
    },
    {
      "epoch": 1.8386666666666667,
      "grad_norm": 4.34375,
      "learning_rate": 1.0684280460416991e-06,
      "loss": 1.6185994148254395,
      "step": 2758
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 5.65625,
      "learning_rate": 1.0673126292586806e-06,
      "loss": 2.011725902557373,
      "step": 2760
    },
    {
      "epoch": 1.8413333333333335,
      "grad_norm": 4.15625,
      "learning_rate": 1.066206222691587e-06,
      "loss": 1.4604053497314453,
      "step": 2762
    },
    {
      "epoch": 1.8426666666666667,
      "grad_norm": 5.40625,
      "learning_rate": 1.065108831498502e-06,
      "loss": 1.4645023345947266,
      "step": 2764
    },
    {
      "epoch": 1.8439999999999999,
      "grad_norm": 3.625,
      "learning_rate": 1.0640204607954785e-06,
      "loss": 1.495434045791626,
      "step": 2766
    },
    {
      "epoch": 1.8453333333333335,
      "grad_norm": 5.40625,
      "learning_rate": 1.062941115656517e-06,
      "loss": 1.0852596759796143,
      "step": 2768
    },
    {
      "epoch": 1.8466666666666667,
      "grad_norm": 2.703125,
      "learning_rate": 1.0618708011135393e-06,
      "loss": 1.0549116134643555,
      "step": 2770
    },
    {
      "epoch": 1.8479999999999999,
      "grad_norm": 3.515625,
      "learning_rate": 1.060809522156367e-06,
      "loss": 1.0271042585372925,
      "step": 2772
    },
    {
      "epoch": 1.8493333333333335,
      "grad_norm": 5.9375,
      "learning_rate": 1.0597572837326978e-06,
      "loss": 1.6348028182983398,
      "step": 2774
    },
    {
      "epoch": 1.8506666666666667,
      "grad_norm": 4.3125,
      "learning_rate": 1.058714090748082e-06,
      "loss": 1.5930371284484863,
      "step": 2776
    },
    {
      "epoch": 1.8519999999999999,
      "grad_norm": 5.5625,
      "learning_rate": 1.0576799480658997e-06,
      "loss": 1.5753302574157715,
      "step": 2778
    },
    {
      "epoch": 1.8533333333333335,
      "grad_norm": 5.5625,
      "learning_rate": 1.0566548605073396e-06,
      "loss": 1.590511679649353,
      "step": 2780
    },
    {
      "epoch": 1.8546666666666667,
      "grad_norm": 12.5,
      "learning_rate": 1.055638832851374e-06,
      "loss": 0.809339165687561,
      "step": 2782
    },
    {
      "epoch": 1.8559999999999999,
      "grad_norm": 5.0,
      "learning_rate": 1.054631869834738e-06,
      "loss": 1.6788489818572998,
      "step": 2784
    },
    {
      "epoch": 1.8573333333333333,
      "grad_norm": 2.03125,
      "learning_rate": 1.0536339761519077e-06,
      "loss": 1.0987229347229004,
      "step": 2786
    },
    {
      "epoch": 1.8586666666666667,
      "grad_norm": 6.625,
      "learning_rate": 1.0526451564550778e-06,
      "loss": 1.648554801940918,
      "step": 2788
    },
    {
      "epoch": 1.8599999999999999,
      "grad_norm": 1.46875,
      "learning_rate": 1.0516654153541392e-06,
      "loss": 1.1031792163848877,
      "step": 2790
    },
    {
      "epoch": 1.8613333333333333,
      "grad_norm": 6.34375,
      "learning_rate": 1.0506947574166596e-06,
      "loss": 1.8444862365722656,
      "step": 2792
    },
    {
      "epoch": 1.8626666666666667,
      "grad_norm": 9.875,
      "learning_rate": 1.0497331871678592e-06,
      "loss": 1.3348501920700073,
      "step": 2794
    },
    {
      "epoch": 1.8639999999999999,
      "grad_norm": 6.46875,
      "learning_rate": 1.0487807090905927e-06,
      "loss": 1.156570315361023,
      "step": 2796
    },
    {
      "epoch": 1.8653333333333333,
      "grad_norm": 2.625,
      "learning_rate": 1.0478373276253262e-06,
      "loss": 1.2651017904281616,
      "step": 2798
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 3.421875,
      "learning_rate": 1.0469030471701177e-06,
      "loss": 1.0961531400680542,
      "step": 2800
    },
    {
      "epoch": 1.8679999999999999,
      "grad_norm": 2.75,
      "learning_rate": 1.0459778720805956e-06,
      "loss": 1.1647145748138428,
      "step": 2802
    },
    {
      "epoch": 1.8693333333333333,
      "grad_norm": 9.0625,
      "learning_rate": 1.0450618066699392e-06,
      "loss": 2.051912784576416,
      "step": 2804
    },
    {
      "epoch": 1.8706666666666667,
      "grad_norm": 5.25,
      "learning_rate": 1.044154855208859e-06,
      "loss": 1.5181958675384521,
      "step": 2806
    },
    {
      "epoch": 1.8719999999999999,
      "grad_norm": 6.1875,
      "learning_rate": 1.043257021925575e-06,
      "loss": 1.5700154304504395,
      "step": 2808
    },
    {
      "epoch": 1.8733333333333333,
      "grad_norm": 8.0625,
      "learning_rate": 1.042368311005799e-06,
      "loss": 1.986337423324585,
      "step": 2810
    },
    {
      "epoch": 1.8746666666666667,
      "grad_norm": 10.8125,
      "learning_rate": 1.041488726592714e-06,
      "loss": 1.1347825527191162,
      "step": 2812
    },
    {
      "epoch": 1.876,
      "grad_norm": 7.90625,
      "learning_rate": 1.0406182727869546e-06,
      "loss": 1.611783504486084,
      "step": 2814
    },
    {
      "epoch": 1.8773333333333333,
      "grad_norm": 8.9375,
      "learning_rate": 1.039756953646589e-06,
      "loss": 1.8373312950134277,
      "step": 2816
    },
    {
      "epoch": 1.8786666666666667,
      "grad_norm": 14.9375,
      "learning_rate": 1.0389047731870992e-06,
      "loss": 1.55556058883667,
      "step": 2818
    },
    {
      "epoch": 1.88,
      "grad_norm": 3.84375,
      "learning_rate": 1.0380617353813627e-06,
      "loss": 1.0587745904922485,
      "step": 2820
    },
    {
      "epoch": 1.8813333333333333,
      "grad_norm": 2.671875,
      "learning_rate": 1.0372278441596337e-06,
      "loss": 1.1342324018478394,
      "step": 2822
    },
    {
      "epoch": 1.8826666666666667,
      "grad_norm": 4.96875,
      "learning_rate": 1.036403103409525e-06,
      "loss": 1.688795804977417,
      "step": 2824
    },
    {
      "epoch": 1.884,
      "grad_norm": 2.25,
      "learning_rate": 1.0355875169759896e-06,
      "loss": 1.1600544452667236,
      "step": 2826
    },
    {
      "epoch": 1.8853333333333333,
      "grad_norm": 111.5,
      "learning_rate": 1.0347810886613026e-06,
      "loss": 1.9772312641143799,
      "step": 2828
    },
    {
      "epoch": 1.8866666666666667,
      "grad_norm": 5.0,
      "learning_rate": 1.033983822225045e-06,
      "loss": 1.5392059087753296,
      "step": 2830
    },
    {
      "epoch": 1.888,
      "grad_norm": 5.46875,
      "learning_rate": 1.0331957213840832e-06,
      "loss": 1.646643877029419,
      "step": 2832
    },
    {
      "epoch": 1.8893333333333333,
      "grad_norm": 2.34375,
      "learning_rate": 1.0324167898125558e-06,
      "loss": 0.9575203657150269,
      "step": 2834
    },
    {
      "epoch": 1.8906666666666667,
      "grad_norm": 9.9375,
      "learning_rate": 1.0316470311418516e-06,
      "loss": 1.3466911315917969,
      "step": 2836
    },
    {
      "epoch": 1.892,
      "grad_norm": 5.6875,
      "learning_rate": 1.0308864489605973e-06,
      "loss": 1.5627878904342651,
      "step": 2838
    },
    {
      "epoch": 1.8933333333333333,
      "grad_norm": 5.875,
      "learning_rate": 1.0301350468146375e-06,
      "loss": 1.72072434425354,
      "step": 2840
    },
    {
      "epoch": 1.8946666666666667,
      "grad_norm": 7.8125,
      "learning_rate": 1.0293928282070194e-06,
      "loss": 1.5522115230560303,
      "step": 2842
    },
    {
      "epoch": 1.896,
      "grad_norm": 1.9921875,
      "learning_rate": 1.0286597965979772e-06,
      "loss": 1.1265590190887451,
      "step": 2844
    },
    {
      "epoch": 1.8973333333333333,
      "grad_norm": 5.625,
      "learning_rate": 1.027935955404914e-06,
      "loss": 1.7390642166137695,
      "step": 2846
    },
    {
      "epoch": 1.8986666666666667,
      "grad_norm": 1.8984375,
      "learning_rate": 1.027221308002388e-06,
      "loss": 1.1018836498260498,
      "step": 2848
    },
    {
      "epoch": 1.9,
      "grad_norm": 11.625,
      "learning_rate": 1.026515857722096e-06,
      "loss": 1.848306655883789,
      "step": 2850
    },
    {
      "epoch": 1.9013333333333333,
      "grad_norm": 3.953125,
      "learning_rate": 1.0258196078528566e-06,
      "loss": 1.251272201538086,
      "step": 2852
    },
    {
      "epoch": 1.9026666666666667,
      "grad_norm": 5.71875,
      "learning_rate": 1.025132561640597e-06,
      "loss": 1.4891345500946045,
      "step": 2854
    },
    {
      "epoch": 1.904,
      "grad_norm": 6.53125,
      "learning_rate": 1.024454722288336e-06,
      "loss": 1.540061354637146,
      "step": 2856
    },
    {
      "epoch": 1.9053333333333333,
      "grad_norm": 5.71875,
      "learning_rate": 1.0237860929561704e-06,
      "loss": 1.8440475463867188,
      "step": 2858
    },
    {
      "epoch": 1.9066666666666667,
      "grad_norm": 2.625,
      "learning_rate": 1.0231266767612594e-06,
      "loss": 1.0713839530944824,
      "step": 2860
    },
    {
      "epoch": 1.908,
      "grad_norm": 3.65625,
      "learning_rate": 1.0224764767778113e-06,
      "loss": 1.6007473468780518,
      "step": 2862
    },
    {
      "epoch": 1.9093333333333333,
      "grad_norm": 1.7265625,
      "learning_rate": 1.021835496037067e-06,
      "loss": 1.0999369621276855,
      "step": 2864
    },
    {
      "epoch": 1.9106666666666667,
      "grad_norm": 3.3125,
      "learning_rate": 1.0212037375272881e-06,
      "loss": 1.103971242904663,
      "step": 2866
    },
    {
      "epoch": 1.912,
      "grad_norm": 5.4375,
      "learning_rate": 1.0205812041937417e-06,
      "loss": 1.1634551286697388,
      "step": 2868
    },
    {
      "epoch": 1.9133333333333333,
      "grad_norm": 6.71875,
      "learning_rate": 1.019967898938687e-06,
      "loss": 1.581654667854309,
      "step": 2870
    },
    {
      "epoch": 1.9146666666666667,
      "grad_norm": 9.8125,
      "learning_rate": 1.0193638246213618e-06,
      "loss": 1.8337488174438477,
      "step": 2872
    },
    {
      "epoch": 1.916,
      "grad_norm": 8.375,
      "learning_rate": 1.018768984057969e-06,
      "loss": 1.8890583515167236,
      "step": 2874
    },
    {
      "epoch": 1.9173333333333333,
      "grad_norm": 5.21875,
      "learning_rate": 1.018183380021664e-06,
      "loss": 1.5187124013900757,
      "step": 2876
    },
    {
      "epoch": 1.9186666666666667,
      "grad_norm": 4.6875,
      "learning_rate": 1.0176070152425413e-06,
      "loss": 1.6645336151123047,
      "step": 2878
    },
    {
      "epoch": 1.92,
      "grad_norm": 8.75,
      "learning_rate": 1.017039892407621e-06,
      "loss": 1.8335323333740234,
      "step": 2880
    },
    {
      "epoch": 1.9213333333333333,
      "grad_norm": 7.21875,
      "learning_rate": 1.0164820141608383e-06,
      "loss": 1.634657621383667,
      "step": 2882
    },
    {
      "epoch": 1.9226666666666667,
      "grad_norm": 27.5,
      "learning_rate": 1.0159333831030292e-06,
      "loss": 1.8966856002807617,
      "step": 2884
    },
    {
      "epoch": 1.924,
      "grad_norm": 2.390625,
      "learning_rate": 1.0153940017919197e-06,
      "loss": 1.0390410423278809,
      "step": 2886
    },
    {
      "epoch": 1.9253333333333333,
      "grad_norm": 9.875,
      "learning_rate": 1.014863872742113e-06,
      "loss": 2.089475154876709,
      "step": 2888
    },
    {
      "epoch": 1.9266666666666667,
      "grad_norm": 12.4375,
      "learning_rate": 1.0143429984250785e-06,
      "loss": 1.8373076915740967,
      "step": 2890
    },
    {
      "epoch": 1.928,
      "grad_norm": 9.375,
      "learning_rate": 1.0138313812691392e-06,
      "loss": 1.692418098449707,
      "step": 2892
    },
    {
      "epoch": 1.9293333333333333,
      "grad_norm": 6.28125,
      "learning_rate": 1.013329023659462e-06,
      "loss": 1.9604231119155884,
      "step": 2894
    },
    {
      "epoch": 1.9306666666666668,
      "grad_norm": 5.125,
      "learning_rate": 1.012835927938045e-06,
      "loss": 1.1355175971984863,
      "step": 2896
    },
    {
      "epoch": 1.932,
      "grad_norm": 8.3125,
      "learning_rate": 1.012352096403707e-06,
      "loss": 1.9712469577789307,
      "step": 2898
    },
    {
      "epoch": 1.9333333333333333,
      "grad_norm": 5.84375,
      "learning_rate": 1.0118775313120784e-06,
      "loss": 1.6969237327575684,
      "step": 2900
    },
    {
      "epoch": 1.9346666666666668,
      "grad_norm": 4.84375,
      "learning_rate": 1.0114122348755876e-06,
      "loss": 0.9692869186401367,
      "step": 2902
    },
    {
      "epoch": 1.936,
      "grad_norm": 6.0625,
      "learning_rate": 1.0109562092634535e-06,
      "loss": 1.644775629043579,
      "step": 2904
    },
    {
      "epoch": 1.9373333333333334,
      "grad_norm": 4.46875,
      "learning_rate": 1.010509456601674e-06,
      "loss": 1.5736973285675049,
      "step": 2906
    },
    {
      "epoch": 1.9386666666666668,
      "grad_norm": 2.4375,
      "learning_rate": 1.0100719789730163e-06,
      "loss": 1.3084485530853271,
      "step": 2908
    },
    {
      "epoch": 1.94,
      "grad_norm": 17.25,
      "learning_rate": 1.009643778417007e-06,
      "loss": 2.2242865562438965,
      "step": 2910
    },
    {
      "epoch": 1.9413333333333334,
      "grad_norm": 5.0,
      "learning_rate": 1.0092248569299238e-06,
      "loss": 1.4924943447113037,
      "step": 2912
    },
    {
      "epoch": 1.9426666666666668,
      "grad_norm": 2.96875,
      "learning_rate": 1.0088152164647842e-06,
      "loss": 1.2267329692840576,
      "step": 2914
    },
    {
      "epoch": 1.944,
      "grad_norm": 13.875,
      "learning_rate": 1.008414858931338e-06,
      "loss": 1.8327943086624146,
      "step": 2916
    },
    {
      "epoch": 1.9453333333333334,
      "grad_norm": 2.890625,
      "learning_rate": 1.0080237861960574e-06,
      "loss": 1.055860996246338,
      "step": 2918
    },
    {
      "epoch": 1.9466666666666668,
      "grad_norm": 8.25,
      "learning_rate": 1.0076420000821292e-06,
      "loss": 1.1839380264282227,
      "step": 2920
    },
    {
      "epoch": 1.948,
      "grad_norm": 5.0,
      "learning_rate": 1.0072695023694461e-06,
      "loss": 1.640027403831482,
      "step": 2922
    },
    {
      "epoch": 1.9493333333333334,
      "grad_norm": 2.5625,
      "learning_rate": 1.0069062947945972e-06,
      "loss": 1.1517518758773804,
      "step": 2924
    },
    {
      "epoch": 1.9506666666666668,
      "grad_norm": 8.1875,
      "learning_rate": 1.0065523790508613e-06,
      "loss": 1.9767742156982422,
      "step": 2926
    },
    {
      "epoch": 1.952,
      "grad_norm": 4.03125,
      "learning_rate": 1.0062077567881989e-06,
      "loss": 1.4458882808685303,
      "step": 2928
    },
    {
      "epoch": 1.9533333333333334,
      "grad_norm": 7.96875,
      "learning_rate": 1.005872429613244e-06,
      "loss": 1.592308759689331,
      "step": 2930
    },
    {
      "epoch": 1.9546666666666668,
      "grad_norm": 7.375,
      "learning_rate": 1.0055463990892966e-06,
      "loss": 1.8392659425735474,
      "step": 2932
    },
    {
      "epoch": 1.956,
      "grad_norm": 3.96875,
      "learning_rate": 1.005229666736315e-06,
      "loss": 1.507871389389038,
      "step": 2934
    },
    {
      "epoch": 1.9573333333333334,
      "grad_norm": 2.453125,
      "learning_rate": 1.0049222340309106e-06,
      "loss": 1.244297742843628,
      "step": 2936
    },
    {
      "epoch": 1.9586666666666668,
      "grad_norm": 7.6875,
      "learning_rate": 1.004624102406339e-06,
      "loss": 1.6086117029190063,
      "step": 2938
    },
    {
      "epoch": 1.96,
      "grad_norm": 7.15625,
      "learning_rate": 1.0043352732524935e-06,
      "loss": 1.6359131336212158,
      "step": 2940
    },
    {
      "epoch": 1.9613333333333334,
      "grad_norm": 1.875,
      "learning_rate": 1.0040557479159003e-06,
      "loss": 1.2712523937225342,
      "step": 2942
    },
    {
      "epoch": 1.9626666666666668,
      "grad_norm": 24.875,
      "learning_rate": 1.0037855276997106e-06,
      "loss": 0.6201294660568237,
      "step": 2944
    },
    {
      "epoch": 1.964,
      "grad_norm": 3.015625,
      "learning_rate": 1.0035246138636941e-06,
      "loss": 1.2836215496063232,
      "step": 2946
    },
    {
      "epoch": 1.9653333333333334,
      "grad_norm": 5.1875,
      "learning_rate": 1.0032730076242353e-06,
      "loss": 1.6064057350158691,
      "step": 2948
    },
    {
      "epoch": 1.9666666666666668,
      "grad_norm": 2.984375,
      "learning_rate": 1.0030307101543262e-06,
      "loss": 1.145121455192566,
      "step": 2950
    },
    {
      "epoch": 1.968,
      "grad_norm": 2.296875,
      "learning_rate": 1.0027977225835608e-06,
      "loss": 1.3030688762664795,
      "step": 2952
    },
    {
      "epoch": 1.9693333333333334,
      "grad_norm": 3.328125,
      "learning_rate": 1.0025740459981304e-06,
      "loss": 1.0687862634658813,
      "step": 2954
    },
    {
      "epoch": 1.9706666666666668,
      "grad_norm": 1.640625,
      "learning_rate": 1.0023596814408187e-06,
      "loss": 1.2677333354949951,
      "step": 2956
    },
    {
      "epoch": 1.972,
      "grad_norm": 4.3125,
      "learning_rate": 1.0021546299109962e-06,
      "loss": 1.583560585975647,
      "step": 2958
    },
    {
      "epoch": 1.9733333333333334,
      "grad_norm": 6.25,
      "learning_rate": 1.0019588923646156e-06,
      "loss": 1.6230509281158447,
      "step": 2960
    },
    {
      "epoch": 1.9746666666666668,
      "grad_norm": 6.875,
      "learning_rate": 1.001772469714209e-06,
      "loss": 1.819795846939087,
      "step": 2962
    },
    {
      "epoch": 1.976,
      "grad_norm": 12.1875,
      "learning_rate": 1.0015953628288804e-06,
      "loss": 1.8233575820922852,
      "step": 2964
    },
    {
      "epoch": 1.9773333333333334,
      "grad_norm": 4.09375,
      "learning_rate": 1.0014275725343055e-06,
      "loss": 1.4905637502670288,
      "step": 2966
    },
    {
      "epoch": 1.9786666666666668,
      "grad_norm": 11.875,
      "learning_rate": 1.0012690996127247e-06,
      "loss": 2.1141586303710938,
      "step": 2968
    },
    {
      "epoch": 1.98,
      "grad_norm": 5.375,
      "learning_rate": 1.0011199448029408e-06,
      "loss": 1.5464224815368652,
      "step": 2970
    },
    {
      "epoch": 1.9813333333333332,
      "grad_norm": 9.5625,
      "learning_rate": 1.0009801088003158e-06,
      "loss": 1.8328592777252197,
      "step": 2972
    },
    {
      "epoch": 1.9826666666666668,
      "grad_norm": 3.09375,
      "learning_rate": 1.0008495922567672e-06,
      "loss": 0.9700523614883423,
      "step": 2974
    },
    {
      "epoch": 1.984,
      "grad_norm": 10.6875,
      "learning_rate": 1.000728395780765e-06,
      "loss": 2.0305562019348145,
      "step": 2976
    },
    {
      "epoch": 1.9853333333333332,
      "grad_norm": 8.4375,
      "learning_rate": 1.0006165199373289e-06,
      "loss": 1.8336513042449951,
      "step": 2978
    },
    {
      "epoch": 1.9866666666666668,
      "grad_norm": 21.25,
      "learning_rate": 1.0005139652480254e-06,
      "loss": 1.7808666229248047,
      "step": 2980
    },
    {
      "epoch": 1.988,
      "grad_norm": 6.25,
      "learning_rate": 1.0004207321909661e-06,
      "loss": 1.5985544919967651,
      "step": 2982
    },
    {
      "epoch": 1.9893333333333332,
      "grad_norm": 2.84375,
      "learning_rate": 1.0003368212008047e-06,
      "loss": 1.156212568283081,
      "step": 2984
    },
    {
      "epoch": 1.9906666666666668,
      "grad_norm": 14.375,
      "learning_rate": 1.0002622326687357e-06,
      "loss": 1.836974859237671,
      "step": 2986
    },
    {
      "epoch": 1.992,
      "grad_norm": 11.0,
      "learning_rate": 1.0001969669424918e-06,
      "loss": 1.831178903579712,
      "step": 2988
    },
    {
      "epoch": 1.9933333333333332,
      "grad_norm": 5.59375,
      "learning_rate": 1.0001410243263429e-06,
      "loss": 1.6922175884246826,
      "step": 2990
    },
    {
      "epoch": 1.9946666666666668,
      "grad_norm": 6.3125,
      "learning_rate": 1.0000944050810938e-06,
      "loss": 1.612062931060791,
      "step": 2992
    },
    {
      "epoch": 1.996,
      "grad_norm": 3.03125,
      "learning_rate": 1.0000571094240841e-06,
      "loss": 1.1941561698913574,
      "step": 2994
    },
    {
      "epoch": 1.9973333333333332,
      "grad_norm": 9.625,
      "learning_rate": 1.0000291375291873e-06,
      "loss": 1.7619390487670898,
      "step": 2996
    },
    {
      "epoch": 1.9986666666666668,
      "grad_norm": 4.5625,
      "learning_rate": 1.0000104895268083e-06,
      "loss": 1.4703645706176758,
      "step": 2998
    },
    {
      "epoch": 2.0,
      "grad_norm": 2.875,
      "learning_rate": 1.0000011655038843e-06,
      "loss": 1.0833406448364258,
      "step": 3000
    }
  ],
  "logging_steps": 2,
  "max_steps": 3000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 2,
  "save_steps": 9999999,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 2.464576238203699e+18,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}