{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 1.0,
  "eval_steps": 500,
  "global_step": 30000,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.00016666666666666666,
      "grad_norm": 2.15625,
      "learning_rate": 2e-06,
      "loss": 11.94122543334961,
      "step": 5
    },
    {
      "epoch": 0.0003333333333333333,
      "grad_norm": 2.40625,
      "learning_rate": 4.5e-06,
      "loss": 11.935525512695312,
      "step": 10
    },
    {
      "epoch": 0.0005,
      "grad_norm": 1.828125,
      "learning_rate": 7e-06,
      "loss": 11.945983123779296,
      "step": 15
    },
    {
      "epoch": 0.0006666666666666666,
      "grad_norm": 2.46875,
      "learning_rate": 9.5e-06,
      "loss": 11.915446472167968,
      "step": 20
    },
    {
      "epoch": 0.0008333333333333334,
      "grad_norm": 2.125,
      "learning_rate": 1.2e-05,
      "loss": 11.942893981933594,
      "step": 25
    },
    {
      "epoch": 0.001,
      "grad_norm": 1.8046875,
      "learning_rate": 1.4500000000000002e-05,
      "loss": 11.939990234375,
      "step": 30
    },
    {
      "epoch": 0.0011666666666666668,
      "grad_norm": 1.8984375,
      "learning_rate": 1.7000000000000003e-05,
      "loss": 11.937482452392578,
      "step": 35
    },
    {
      "epoch": 0.0013333333333333333,
      "grad_norm": 2.25,
      "learning_rate": 1.95e-05,
      "loss": 11.937659454345702,
      "step": 40
    },
    {
      "epoch": 0.0015,
      "grad_norm": 2.25,
      "learning_rate": 2.2e-05,
      "loss": 11.924068450927734,
      "step": 45
    },
    {
      "epoch": 0.0016666666666666668,
      "grad_norm": 1.84375,
      "learning_rate": 2.4500000000000003e-05,
      "loss": 11.930558776855468,
      "step": 50
    },
    {
      "epoch": 0.0018333333333333333,
      "grad_norm": 1.8359375,
      "learning_rate": 2.7e-05,
      "loss": 11.92880630493164,
      "step": 55
    },
    {
      "epoch": 0.002,
      "grad_norm": 1.8671875,
      "learning_rate": 2.95e-05,
      "loss": 11.919417572021484,
      "step": 60
    },
    {
      "epoch": 0.0021666666666666666,
      "grad_norm": 2.171875,
      "learning_rate": 3.2e-05,
      "loss": 11.906330871582032,
      "step": 65
    },
    {
      "epoch": 0.0023333333333333335,
      "grad_norm": 4.03125,
      "learning_rate": 3.4500000000000005e-05,
      "loss": 11.908304595947266,
      "step": 70
    },
    {
      "epoch": 0.0025,
      "grad_norm": 2.28125,
      "learning_rate": 3.7e-05,
      "loss": 11.892242431640625,
      "step": 75
    },
    {
      "epoch": 0.0026666666666666666,
      "grad_norm": 1.8515625,
      "learning_rate": 3.95e-05,
      "loss": 11.902374267578125,
      "step": 80
    },
    {
      "epoch": 0.0028333333333333335,
      "grad_norm": 2.078125,
      "learning_rate": 4.2000000000000004e-05,
      "loss": 11.899748992919921,
      "step": 85
    },
    {
      "epoch": 0.003,
      "grad_norm": 1.921875,
      "learning_rate": 4.45e-05,
      "loss": 11.904596710205078,
      "step": 90
    },
    {
      "epoch": 0.0031666666666666666,
      "grad_norm": 2.140625,
      "learning_rate": 4.7000000000000004e-05,
      "loss": 11.859490966796875,
      "step": 95
    },
    {
      "epoch": 0.0033333333333333335,
      "grad_norm": 2.203125,
      "learning_rate": 4.9500000000000004e-05,
      "loss": 11.88045654296875,
      "step": 100
    },
    {
      "epoch": 0.0035,
      "grad_norm": 2.296875,
      "learning_rate": 5.2e-05,
      "loss": 11.854997253417968,
      "step": 105
    },
    {
      "epoch": 0.0036666666666666666,
      "grad_norm": 2.203125,
      "learning_rate": 5.45e-05,
      "loss": 11.863694000244141,
      "step": 110
    },
    {
      "epoch": 0.003833333333333333,
      "grad_norm": 2.296875,
      "learning_rate": 5.7e-05,
      "loss": 11.801451110839844,
      "step": 115
    },
    {
      "epoch": 0.004,
      "grad_norm": 2.171875,
      "learning_rate": 5.9499999999999996e-05,
      "loss": 11.71971435546875,
      "step": 120
    },
    {
      "epoch": 0.004166666666666667,
      "grad_norm": 2.0,
      "learning_rate": 6.2e-05,
      "loss": 11.692214202880859,
      "step": 125
    },
    {
      "epoch": 0.004333333333333333,
      "grad_norm": 1.5625,
      "learning_rate": 6.450000000000001e-05,
      "loss": 11.66058349609375,
      "step": 130
    },
    {
      "epoch": 0.0045,
      "grad_norm": 1.3046875,
      "learning_rate": 6.7e-05,
      "loss": 11.57102279663086,
      "step": 135
    },
    {
      "epoch": 0.004666666666666667,
      "grad_norm": 1.09375,
      "learning_rate": 6.950000000000001e-05,
      "loss": 11.473075866699219,
      "step": 140
    },
    {
      "epoch": 0.004833333333333334,
      "grad_norm": 1.2890625,
      "learning_rate": 7.2e-05,
      "loss": 11.365762329101562,
      "step": 145
    },
    {
      "epoch": 0.005,
      "grad_norm": 1.34375,
      "learning_rate": 7.45e-05,
      "loss": 11.32215576171875,
      "step": 150
    },
    {
      "epoch": 0.005166666666666667,
      "grad_norm": 1.40625,
      "learning_rate": 7.7e-05,
      "loss": 11.169380187988281,
      "step": 155
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 1.171875,
      "learning_rate": 7.950000000000001e-05,
      "loss": 11.088703155517578,
      "step": 160
    },
    {
      "epoch": 0.0055,
      "grad_norm": 1.5,
      "learning_rate": 8.2e-05,
      "loss": 10.969919586181641,
      "step": 165
    },
    {
      "epoch": 0.005666666666666667,
      "grad_norm": 1.453125,
      "learning_rate": 8.450000000000001e-05,
      "loss": 10.822843933105469,
      "step": 170
    },
    {
      "epoch": 0.005833333333333334,
      "grad_norm": 1.203125,
      "learning_rate": 8.7e-05,
      "loss": 10.781317138671875,
      "step": 175
    },
    {
      "epoch": 0.006,
      "grad_norm": 1.3125,
      "learning_rate": 8.95e-05,
      "loss": 10.665023803710938,
      "step": 180
    },
    {
      "epoch": 0.006166666666666667,
      "grad_norm": 1.3984375,
      "learning_rate": 9.2e-05,
      "loss": 10.581411743164063,
      "step": 185
    },
    {
      "epoch": 0.006333333333333333,
      "grad_norm": 1.390625,
      "learning_rate": 9.45e-05,
      "loss": 10.492710876464844,
      "step": 190
    },
    {
      "epoch": 0.0065,
      "grad_norm": 2.21875,
      "learning_rate": 9.7e-05,
      "loss": 10.41624755859375,
      "step": 195
    },
    {
      "epoch": 0.006666666666666667,
      "grad_norm": 1.3359375,
      "learning_rate": 9.95e-05,
      "loss": 10.244276428222657,
      "step": 200
    },
    {
      "epoch": 0.006833333333333334,
      "grad_norm": 2.3125,
      "learning_rate": 0.000102,
      "loss": 10.166748046875,
      "step": 205
    },
    {
      "epoch": 0.007,
      "grad_norm": 1.515625,
      "learning_rate": 0.00010449999999999999,
      "loss": 9.990083312988281,
      "step": 210
    },
    {
      "epoch": 0.007166666666666667,
      "grad_norm": 1.71875,
      "learning_rate": 0.000107,
      "loss": 9.895858764648438,
      "step": 215
    },
    {
      "epoch": 0.007333333333333333,
      "grad_norm": 1.34375,
      "learning_rate": 0.0001095,
      "loss": 9.77170639038086,
      "step": 220
    },
    {
      "epoch": 0.0075,
      "grad_norm": 1.6015625,
      "learning_rate": 0.000112,
      "loss": 9.673016357421876,
      "step": 225
    },
    {
      "epoch": 0.007666666666666666,
      "grad_norm": 1.3671875,
      "learning_rate": 0.0001145,
      "loss": 9.588752746582031,
      "step": 230
    },
    {
      "epoch": 0.007833333333333333,
      "grad_norm": 1.1796875,
      "learning_rate": 0.00011700000000000001,
      "loss": 9.32324676513672,
      "step": 235
    },
    {
      "epoch": 0.008,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00011949999999999999,
      "loss": 9.383512115478515,
      "step": 240
    },
    {
      "epoch": 0.008166666666666666,
      "grad_norm": 1.15625,
      "learning_rate": 0.000122,
      "loss": 9.074323272705078,
      "step": 245
    },
    {
      "epoch": 0.008333333333333333,
      "grad_norm": 1.46875,
      "learning_rate": 0.0001245,
      "loss": 9.046121978759766,
      "step": 250
    },
    {
      "epoch": 0.0085,
      "grad_norm": 1.7265625,
      "learning_rate": 0.000127,
      "loss": 8.98446044921875,
      "step": 255
    },
    {
      "epoch": 0.008666666666666666,
      "grad_norm": 2.4375,
      "learning_rate": 0.0001295,
      "loss": 8.776456451416015,
      "step": 260
    },
    {
      "epoch": 0.008833333333333334,
      "grad_norm": 1.046875,
      "learning_rate": 0.000132,
      "loss": 8.68967056274414,
      "step": 265
    },
    {
      "epoch": 0.009,
      "grad_norm": 1.2265625,
      "learning_rate": 0.00013450000000000002,
      "loss": 8.647943878173828,
      "step": 270
    },
    {
      "epoch": 0.009166666666666667,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00013700000000000002,
      "loss": 8.529328918457031,
      "step": 275
    },
    {
      "epoch": 0.009333333333333334,
      "grad_norm": 1.203125,
      "learning_rate": 0.0001395,
      "loss": 8.372518157958984,
      "step": 280
    },
    {
      "epoch": 0.0095,
      "grad_norm": 1.15625,
      "learning_rate": 0.00014199999999999998,
      "loss": 8.305380249023438,
      "step": 285
    },
    {
      "epoch": 0.009666666666666667,
      "grad_norm": 1.265625,
      "learning_rate": 0.0001445,
      "loss": 8.226487731933593,
      "step": 290
    },
    {
      "epoch": 0.009833333333333333,
      "grad_norm": 1.03125,
      "learning_rate": 0.000147,
      "loss": 8.117256927490235,
      "step": 295
    },
    {
      "epoch": 0.01,
      "grad_norm": 1.296875,
      "learning_rate": 0.0001495,
      "loss": 7.890988159179687,
      "step": 300
    },
    {
      "epoch": 0.010166666666666666,
      "grad_norm": 1.171875,
      "learning_rate": 0.000152,
      "loss": 7.9824989318847654,
      "step": 305
    },
    {
      "epoch": 0.010333333333333333,
      "grad_norm": 7.9375,
      "learning_rate": 0.00015450000000000001,
      "loss": 7.932279968261719,
      "step": 310
    },
    {
      "epoch": 0.0105,
      "grad_norm": 1.2734375,
      "learning_rate": 0.000157,
      "loss": 7.892683410644532,
      "step": 315
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 1.0234375,
      "learning_rate": 0.0001595,
      "loss": 7.72867431640625,
      "step": 320
    },
    {
      "epoch": 0.010833333333333334,
      "grad_norm": 2.296875,
      "learning_rate": 0.000162,
      "loss": 7.705848693847656,
      "step": 325
    },
    {
      "epoch": 0.011,
      "grad_norm": 1.0703125,
      "learning_rate": 0.00016450000000000001,
      "loss": 7.772816467285156,
      "step": 330
    },
    {
      "epoch": 0.011166666666666667,
      "grad_norm": 0.8984375,
      "learning_rate": 0.00016700000000000002,
      "loss": 7.579693603515625,
      "step": 335
    },
    {
      "epoch": 0.011333333333333334,
      "grad_norm": 1.28125,
      "learning_rate": 0.00016950000000000003,
      "loss": 7.4151145935058596,
      "step": 340
    },
    {
      "epoch": 0.0115,
      "grad_norm": 1.234375,
      "learning_rate": 0.00017199999999999998,
      "loss": 7.4730384826660154,
      "step": 345
    },
    {
      "epoch": 0.011666666666666667,
      "grad_norm": 1.1015625,
      "learning_rate": 0.00017449999999999999,
      "loss": 7.549992370605469,
      "step": 350
    },
    {
      "epoch": 0.011833333333333333,
      "grad_norm": 0.9765625,
      "learning_rate": 0.000177,
      "loss": 7.649388122558594,
      "step": 355
    },
    {
      "epoch": 0.012,
      "grad_norm": 1.375,
      "learning_rate": 0.0001795,
      "loss": 7.647612762451172,
      "step": 360
    },
    {
      "epoch": 0.012166666666666666,
      "grad_norm": 1.203125,
      "learning_rate": 0.000182,
      "loss": 7.346518707275391,
      "step": 365
    },
    {
      "epoch": 0.012333333333333333,
      "grad_norm": 0.87109375,
      "learning_rate": 0.0001845,
      "loss": 7.3836509704589846,
      "step": 370
    },
    {
      "epoch": 0.0125,
      "grad_norm": 1.015625,
      "learning_rate": 0.000187,
      "loss": 7.326739501953125,
      "step": 375
    },
    {
      "epoch": 0.012666666666666666,
      "grad_norm": 0.9921875,
      "learning_rate": 0.0001895,
      "loss": 6.9455116271972654,
      "step": 380
    },
    {
      "epoch": 0.012833333333333334,
      "grad_norm": 1.15625,
      "learning_rate": 0.000192,
      "loss": 7.324496459960938,
      "step": 385
    },
    {
      "epoch": 0.013,
      "grad_norm": 0.921875,
      "learning_rate": 0.0001945,
      "loss": 7.399382019042969,
      "step": 390
    },
    {
      "epoch": 0.013166666666666667,
      "grad_norm": 1.34375,
      "learning_rate": 0.00019700000000000002,
      "loss": 7.628263854980469,
      "step": 395
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 0.95703125,
      "learning_rate": 0.00019950000000000002,
      "loss": 7.311618041992188,
      "step": 400
    },
    {
      "epoch": 0.0135,
      "grad_norm": 1.453125,
      "learning_rate": 0.000202,
      "loss": 7.297477722167969,
      "step": 405
    },
    {
      "epoch": 0.013666666666666667,
      "grad_norm": 1.171875,
      "learning_rate": 0.00020449999999999998,
      "loss": 7.207359313964844,
      "step": 410
    },
    {
      "epoch": 0.013833333333333333,
      "grad_norm": 1.2734375,
      "learning_rate": 0.000207,
      "loss": 7.432929992675781,
      "step": 415
    },
    {
      "epoch": 0.014,
      "grad_norm": 1.0859375,
      "learning_rate": 0.0002095,
      "loss": 7.354457092285156,
      "step": 420
    },
    {
      "epoch": 0.014166666666666666,
      "grad_norm": 0.66796875,
      "learning_rate": 0.000212,
      "loss": 7.258721923828125,
      "step": 425
    },
    {
      "epoch": 0.014333333333333333,
      "grad_norm": 1.109375,
      "learning_rate": 0.0002145,
      "loss": 7.226949310302734,
      "step": 430
    },
    {
      "epoch": 0.0145,
      "grad_norm": 1.75,
      "learning_rate": 0.00021700000000000002,
      "loss": 7.130262756347657,
      "step": 435
    },
    {
      "epoch": 0.014666666666666666,
      "grad_norm": 1.0703125,
      "learning_rate": 0.0002195,
      "loss": 7.311056518554688,
      "step": 440
    },
    {
      "epoch": 0.014833333333333334,
      "grad_norm": 0.921875,
      "learning_rate": 0.000222,
      "loss": 7.149069213867188,
      "step": 445
    },
    {
      "epoch": 0.015,
      "grad_norm": 0.984375,
      "learning_rate": 0.0002245,
      "loss": 7.232816314697265,
      "step": 450
    },
    {
      "epoch": 0.015166666666666667,
      "grad_norm": 0.90234375,
      "learning_rate": 0.00022700000000000002,
      "loss": 7.352957153320313,
      "step": 455
    },
    {
      "epoch": 0.015333333333333332,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00022950000000000002,
      "loss": 7.140096282958984,
      "step": 460
    },
    {
      "epoch": 0.0155,
      "grad_norm": 0.984375,
      "learning_rate": 0.00023200000000000003,
      "loss": 7.243649291992187,
      "step": 465
    },
    {
      "epoch": 0.015666666666666666,
      "grad_norm": 0.7421875,
      "learning_rate": 0.00023449999999999998,
      "loss": 7.0089057922363285,
      "step": 470
    },
    {
      "epoch": 0.015833333333333335,
      "grad_norm": 0.8125,
      "learning_rate": 0.000237,
      "loss": 7.113852691650391,
      "step": 475
    },
    {
      "epoch": 0.016,
      "grad_norm": 1.046875,
      "learning_rate": 0.0002395,
      "loss": 7.853684997558593,
      "step": 480
    },
    {
      "epoch": 0.016166666666666666,
      "grad_norm": 1.1796875,
      "learning_rate": 0.000242,
      "loss": 7.153148651123047,
      "step": 485
    },
    {
      "epoch": 0.01633333333333333,
      "grad_norm": 1.15625,
      "learning_rate": 0.0002445,
      "loss": 6.871432495117188,
      "step": 490
    },
    {
      "epoch": 0.0165,
      "grad_norm": 0.9765625,
      "learning_rate": 0.000247,
      "loss": 7.262139892578125,
      "step": 495
    },
    {
      "epoch": 0.016666666666666666,
      "grad_norm": 1.140625,
      "learning_rate": 0.0002495,
      "loss": 6.960581207275391,
      "step": 500
    },
    {
      "epoch": 0.016833333333333332,
      "grad_norm": 1.46875,
      "learning_rate": 0.000252,
      "loss": 7.039716339111328,
      "step": 505
    },
    {
      "epoch": 0.017,
      "grad_norm": 1.078125,
      "learning_rate": 0.0002545,
      "loss": 7.063603210449219,
      "step": 510
    },
    {
      "epoch": 0.017166666666666667,
      "grad_norm": 0.8359375,
      "learning_rate": 0.000257,
      "loss": 6.7588645935058596,
      "step": 515
    },
    {
      "epoch": 0.017333333333333333,
      "grad_norm": 1.78125,
      "learning_rate": 0.0002595,
      "loss": 7.002930450439453,
      "step": 520
    },
    {
      "epoch": 0.0175,
      "grad_norm": 1.0625,
      "learning_rate": 0.000262,
      "loss": 6.823497009277344,
      "step": 525
    },
    {
      "epoch": 0.017666666666666667,
      "grad_norm": 1.1640625,
      "learning_rate": 0.00026450000000000003,
      "loss": 6.8267974853515625,
      "step": 530
    },
    {
      "epoch": 0.017833333333333333,
      "grad_norm": 0.94921875,
      "learning_rate": 0.00026700000000000004,
      "loss": 6.974378967285157,
      "step": 535
    },
    {
      "epoch": 0.018,
      "grad_norm": 48.75,
      "learning_rate": 0.00026950000000000005,
      "loss": 7.231901550292969,
      "step": 540
    },
    {
      "epoch": 0.018166666666666668,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00027200000000000005,
      "loss": 6.721080017089844,
      "step": 545
    },
    {
      "epoch": 0.018333333333333333,
      "grad_norm": 1.25,
      "learning_rate": 0.0002745,
      "loss": 6.851998901367187,
      "step": 550
    },
    {
      "epoch": 0.0185,
      "grad_norm": 1.4296875,
      "learning_rate": 0.000277,
      "loss": 7.030239868164062,
      "step": 555
    },
    {
      "epoch": 0.018666666666666668,
      "grad_norm": 3.1875,
      "learning_rate": 0.0002795,
      "loss": 7.341586303710938,
      "step": 560
    },
    {
      "epoch": 0.018833333333333334,
      "grad_norm": 1.28125,
      "learning_rate": 0.00028199999999999997,
      "loss": 6.852621459960938,
      "step": 565
    },
    {
      "epoch": 0.019,
      "grad_norm": 1.171875,
      "learning_rate": 0.0002845,
      "loss": 7.182307434082031,
      "step": 570
    },
    {
      "epoch": 0.019166666666666665,
      "grad_norm": 1.7421875,
      "learning_rate": 0.000287,
      "loss": 6.863578796386719,
      "step": 575
    },
    {
      "epoch": 0.019333333333333334,
      "grad_norm": 1.171875,
      "learning_rate": 0.0002895,
      "loss": 6.639838409423828,
      "step": 580
    },
    {
      "epoch": 0.0195,
      "grad_norm": 3.0625,
      "learning_rate": 0.000292,
      "loss": 6.716278839111328,
      "step": 585
    },
    {
      "epoch": 0.019666666666666666,
      "grad_norm": 0.9375,
      "learning_rate": 0.0002945,
      "loss": 7.081858062744141,
      "step": 590
    },
    {
      "epoch": 0.019833333333333335,
      "grad_norm": 3.40625,
      "learning_rate": 0.000297,
      "loss": 6.954566192626953,
      "step": 595
    },
    {
      "epoch": 0.02,
      "grad_norm": 1.28125,
      "learning_rate": 0.0002995,
      "loss": 6.5666656494140625,
      "step": 600
    },
    {
      "epoch": 0.020166666666666666,
      "grad_norm": 1.6796875,
      "learning_rate": 0.000302,
      "loss": 6.907591247558594,
      "step": 605
    },
    {
      "epoch": 0.02033333333333333,
      "grad_norm": 1.359375,
      "learning_rate": 0.0003045,
      "loss": 6.8676300048828125,
      "step": 610
    },
    {
      "epoch": 0.0205,
      "grad_norm": 1.1171875,
      "learning_rate": 0.000307,
      "loss": 7.090610504150391,
      "step": 615
    },
    {
      "epoch": 0.020666666666666667,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003095,
      "loss": 6.961151123046875,
      "step": 620
    },
    {
      "epoch": 0.020833333333333332,
      "grad_norm": 1.34375,
      "learning_rate": 0.000312,
      "loss": 6.913433074951172,
      "step": 625
    },
    {
      "epoch": 0.021,
      "grad_norm": 1.015625,
      "learning_rate": 0.0003145,
      "loss": 6.673512268066406,
      "step": 630
    },
    {
      "epoch": 0.021166666666666667,
      "grad_norm": 1.4140625,
      "learning_rate": 0.000317,
      "loss": 6.628845977783203,
      "step": 635
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 2.28125,
      "learning_rate": 0.0003195,
      "loss": 7.197117614746094,
      "step": 640
    },
    {
      "epoch": 0.0215,
      "grad_norm": 1.015625,
      "learning_rate": 0.000322,
      "loss": 7.014276123046875,
      "step": 645
    },
    {
      "epoch": 0.021666666666666667,
      "grad_norm": 1.515625,
      "learning_rate": 0.00032450000000000003,
      "loss": 6.731178283691406,
      "step": 650
    },
    {
      "epoch": 0.021833333333333333,
      "grad_norm": 1.3359375,
      "learning_rate": 0.00032700000000000003,
      "loss": 6.486519622802734,
      "step": 655
    },
    {
      "epoch": 0.022,
      "grad_norm": 1.671875,
      "learning_rate": 0.00032950000000000004,
      "loss": 6.821961212158203,
      "step": 660
    },
    {
      "epoch": 0.022166666666666668,
      "grad_norm": 1.3125,
      "learning_rate": 0.00033200000000000005,
      "loss": 6.683522033691406,
      "step": 665
    },
    {
      "epoch": 0.022333333333333334,
      "grad_norm": 1.1171875,
      "learning_rate": 0.00033450000000000005,
      "loss": 6.763790130615234,
      "step": 670
    },
    {
      "epoch": 0.0225,
      "grad_norm": 1.9921875,
      "learning_rate": 0.000337,
      "loss": 6.580561828613281,
      "step": 675
    },
    {
      "epoch": 0.02266666666666667,
      "grad_norm": 1.421875,
      "learning_rate": 0.0003395,
      "loss": 6.967050170898437,
      "step": 680
    },
    {
      "epoch": 0.022833333333333334,
      "grad_norm": 1.15625,
      "learning_rate": 0.000342,
      "loss": 6.8260650634765625,
      "step": 685
    },
    {
      "epoch": 0.023,
      "grad_norm": 1.53125,
      "learning_rate": 0.00034449999999999997,
      "loss": 6.351165008544922,
      "step": 690
    },
    {
      "epoch": 0.023166666666666665,
      "grad_norm": 1.6171875,
      "learning_rate": 0.000347,
      "loss": 6.469804382324218,
      "step": 695
    },
    {
      "epoch": 0.023333333333333334,
      "grad_norm": 2.5625,
      "learning_rate": 0.0003495,
      "loss": 6.883950805664062,
      "step": 700
    },
    {
      "epoch": 0.0235,
      "grad_norm": 1.3203125,
      "learning_rate": 0.000352,
      "loss": 7.083940887451172,
      "step": 705
    },
    {
      "epoch": 0.023666666666666666,
      "grad_norm": 1.2265625,
      "learning_rate": 0.0003545,
      "loss": 6.447600555419922,
      "step": 710
    },
    {
      "epoch": 0.023833333333333335,
      "grad_norm": 2.015625,
      "learning_rate": 0.000357,
      "loss": 6.547596740722656,
      "step": 715
    },
    {
      "epoch": 0.024,
      "grad_norm": 5.21875,
      "learning_rate": 0.0003595,
      "loss": 6.570733642578125,
      "step": 720
    },
    {
      "epoch": 0.024166666666666666,
      "grad_norm": 1.2265625,
      "learning_rate": 0.000362,
      "loss": 6.81605224609375,
      "step": 725
    },
    {
      "epoch": 0.024333333333333332,
      "grad_norm": 1.90625,
      "learning_rate": 0.0003645,
      "loss": 6.834074401855469,
      "step": 730
    },
    {
      "epoch": 0.0245,
      "grad_norm": 3.359375,
      "learning_rate": 0.000367,
      "loss": 6.910850524902344,
      "step": 735
    },
    {
      "epoch": 0.024666666666666667,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0003695,
      "loss": 6.893489837646484,
      "step": 740
    },
    {
      "epoch": 0.024833333333333332,
      "grad_norm": 1.3828125,
      "learning_rate": 0.000372,
      "loss": 6.347605133056641,
      "step": 745
    },
    {
      "epoch": 0.025,
      "grad_norm": 1.296875,
      "learning_rate": 0.0003745,
      "loss": 6.634408569335937,
      "step": 750
    },
    {
      "epoch": 0.025166666666666667,
      "grad_norm": 1.5078125,
      "learning_rate": 0.000377,
      "loss": 6.6242210388183596,
      "step": 755
    },
    {
      "epoch": 0.025333333333333333,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0003795,
      "loss": 6.700634765625,
      "step": 760
    },
    {
      "epoch": 0.0255,
      "grad_norm": 2.484375,
      "learning_rate": 0.000382,
      "loss": 6.683078765869141,
      "step": 765
    },
    {
      "epoch": 0.025666666666666667,
      "grad_norm": 1.328125,
      "learning_rate": 0.0003845,
      "loss": 6.465754699707031,
      "step": 770
    },
    {
      "epoch": 0.025833333333333333,
      "grad_norm": 1.09375,
      "learning_rate": 0.00038700000000000003,
      "loss": 6.495130157470703,
      "step": 775
    },
    {
      "epoch": 0.026,
      "grad_norm": 1.84375,
      "learning_rate": 0.00038950000000000003,
      "loss": 6.559120178222656,
      "step": 780
    },
    {
      "epoch": 0.026166666666666668,
      "grad_norm": 1.484375,
      "learning_rate": 0.00039200000000000004,
      "loss": 6.595033264160156,
      "step": 785
    },
    {
      "epoch": 0.026333333333333334,
      "grad_norm": 1.2890625,
      "learning_rate": 0.00039450000000000005,
      "loss": 6.42975082397461,
      "step": 790
    },
    {
      "epoch": 0.0265,
      "grad_norm": 1.1328125,
      "learning_rate": 0.00039700000000000005,
      "loss": 6.458323669433594,
      "step": 795
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 1.25,
      "learning_rate": 0.0003995,
      "loss": 6.440306091308594,
      "step": 800
    },
    {
      "epoch": 0.026833333333333334,
      "grad_norm": 1.296875,
      "learning_rate": 0.000402,
      "loss": 5.6886943817138675,
      "step": 805
    },
    {
      "epoch": 0.027,
      "grad_norm": 1.1953125,
      "learning_rate": 0.0004045,
      "loss": 6.412728881835937,
      "step": 810
    },
    {
      "epoch": 0.027166666666666665,
      "grad_norm": 1.1796875,
      "learning_rate": 0.00040699999999999997,
      "loss": 6.56602783203125,
      "step": 815
    },
    {
      "epoch": 0.027333333333333334,
      "grad_norm": 1.328125,
      "learning_rate": 0.0004095,
      "loss": 6.196444702148438,
      "step": 820
    },
    {
      "epoch": 0.0275,
      "grad_norm": 1.765625,
      "learning_rate": 0.000412,
      "loss": 6.954473876953125,
      "step": 825
    },
    {
      "epoch": 0.027666666666666666,
      "grad_norm": 1.71875,
      "learning_rate": 0.0004145,
      "loss": 6.355069351196289,
      "step": 830
    },
    {
      "epoch": 0.027833333333333335,
      "grad_norm": 1.203125,
      "learning_rate": 0.000417,
      "loss": 6.368187332153321,
      "step": 835
    },
    {
      "epoch": 0.028,
      "grad_norm": 1.40625,
      "learning_rate": 0.0004195,
      "loss": 6.2061927795410154,
      "step": 840
    },
    {
      "epoch": 0.028166666666666666,
      "grad_norm": 1.3359375,
      "learning_rate": 0.000422,
      "loss": 6.273575210571289,
      "step": 845
    },
    {
      "epoch": 0.028333333333333332,
      "grad_norm": 1.2578125,
      "learning_rate": 0.0004245,
      "loss": 6.275138854980469,
      "step": 850
    },
    {
      "epoch": 0.0285,
      "grad_norm": 1.3125,
      "learning_rate": 0.000427,
      "loss": 6.485697937011719,
      "step": 855
    },
    {
      "epoch": 0.028666666666666667,
      "grad_norm": 2.03125,
      "learning_rate": 0.0004295,
      "loss": 6.089534759521484,
      "step": 860
    },
    {
      "epoch": 0.028833333333333332,
      "grad_norm": 1.5,
      "learning_rate": 0.000432,
      "loss": 6.52730712890625,
      "step": 865
    },
    {
      "epoch": 0.029,
      "grad_norm": 1.53125,
      "learning_rate": 0.0004345,
      "loss": 6.679197692871094,
      "step": 870
    },
    {
      "epoch": 0.029166666666666667,
      "grad_norm": 1.359375,
      "learning_rate": 0.000437,
      "loss": 6.397835159301758,
      "step": 875
    },
    {
      "epoch": 0.029333333333333333,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004395,
      "loss": 6.033638381958008,
      "step": 880
    },
    {
      "epoch": 0.0295,
      "grad_norm": 1.90625,
      "learning_rate": 0.000442,
      "loss": 6.667988586425781,
      "step": 885
    },
    {
      "epoch": 0.029666666666666668,
      "grad_norm": 1.1796875,
      "learning_rate": 0.0004445,
      "loss": 6.547599792480469,
      "step": 890
    },
    {
      "epoch": 0.029833333333333333,
      "grad_norm": 1.25,
      "learning_rate": 0.000447,
      "loss": 6.307118606567383,
      "step": 895
    },
    {
      "epoch": 0.03,
      "grad_norm": 2.828125,
      "learning_rate": 0.00044950000000000003,
      "loss": 6.249557876586914,
      "step": 900
    },
    {
      "epoch": 0.030166666666666668,
      "grad_norm": 1.2734375,
      "learning_rate": 0.00045200000000000004,
      "loss": 5.865188980102539,
      "step": 905
    },
    {
      "epoch": 0.030333333333333334,
      "grad_norm": 1.484375,
      "learning_rate": 0.00045450000000000004,
      "loss": 5.98175277709961,
      "step": 910
    },
    {
      "epoch": 0.0305,
      "grad_norm": 1.265625,
      "learning_rate": 0.00045700000000000005,
      "loss": 6.372676849365234,
      "step": 915
    },
    {
      "epoch": 0.030666666666666665,
      "grad_norm": 1.5625,
      "learning_rate": 0.00045950000000000006,
      "loss": 6.298826599121094,
      "step": 920
    },
    {
      "epoch": 0.030833333333333334,
      "grad_norm": 2.375,
      "learning_rate": 0.000462,
      "loss": 6.379539489746094,
      "step": 925
    },
    {
      "epoch": 0.031,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004645,
      "loss": 5.553314971923828,
      "step": 930
    },
    {
      "epoch": 0.031166666666666665,
      "grad_norm": 1.296875,
      "learning_rate": 0.000467,
      "loss": 5.945880889892578,
      "step": 935
    },
    {
      "epoch": 0.03133333333333333,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0004695,
      "loss": 5.6890106201171875,
      "step": 940
    },
    {
      "epoch": 0.0315,
      "grad_norm": 2.328125,
      "learning_rate": 0.000472,
      "loss": 6.1355842590332035,
      "step": 945
    },
    {
      "epoch": 0.03166666666666667,
      "grad_norm": 1.953125,
      "learning_rate": 0.0004745,
      "loss": 6.08839111328125,
      "step": 950
    },
    {
      "epoch": 0.03183333333333333,
      "grad_norm": 1.2578125,
      "learning_rate": 0.000477,
      "loss": 5.724992370605468,
      "step": 955
    },
    {
      "epoch": 0.032,
      "grad_norm": 1.3828125,
      "learning_rate": 0.0004795,
      "loss": 5.8159832000732425,
      "step": 960
    },
    {
      "epoch": 0.03216666666666667,
      "grad_norm": 1.3046875,
      "learning_rate": 0.000482,
      "loss": 5.599459075927735,
      "step": 965
    },
    {
      "epoch": 0.03233333333333333,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004845,
      "loss": 6.263177108764649,
      "step": 970
    },
    {
      "epoch": 0.0325,
      "grad_norm": 1.28125,
      "learning_rate": 0.000487,
      "loss": 5.882024765014648,
      "step": 975
    },
    {
      "epoch": 0.03266666666666666,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0004895,
      "loss": 6.3826347351074215,
      "step": 980
    },
    {
      "epoch": 0.03283333333333333,
      "grad_norm": 1.2578125,
      "learning_rate": 0.000492,
      "loss": 6.1591747283935545,
      "step": 985
    },
    {
      "epoch": 0.033,
      "grad_norm": 2.0625,
      "learning_rate": 0.0004945,
      "loss": 6.6194404602050785,
      "step": 990
    },
    {
      "epoch": 0.033166666666666664,
      "grad_norm": 1.4375,
      "learning_rate": 0.000497,
      "loss": 6.256737899780274,
      "step": 995
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0004995,
      "loss": 6.452816009521484,
      "step": 1000
    },
    {
      "epoch": 0.0335,
      "grad_norm": 1.390625,
      "learning_rate": 0.0004999661016949152,
      "loss": 6.17114372253418,
      "step": 1005
    },
    {
      "epoch": 0.033666666666666664,
      "grad_norm": 2.375,
      "learning_rate": 0.0004999237288135594,
      "loss": 6.1273651123046875,
      "step": 1010
    },
    {
      "epoch": 0.03383333333333333,
      "grad_norm": 1.3984375,
      "learning_rate": 0.0004998813559322034,
      "loss": 6.2252147674560545,
      "step": 1015
    },
    {
      "epoch": 0.034,
      "grad_norm": 2.375,
      "learning_rate": 0.0004998389830508475,
      "loss": 6.209981536865234,
      "step": 1020
    },
    {
      "epoch": 0.034166666666666665,
      "grad_norm": 1.2265625,
      "learning_rate": 0.0004997966101694915,
      "loss": 6.214064025878907,
      "step": 1025
    },
    {
      "epoch": 0.034333333333333334,
      "grad_norm": 1.265625,
      "learning_rate": 0.0004997542372881356,
      "loss": 6.4393150329589846,
      "step": 1030
    },
    {
      "epoch": 0.0345,
      "grad_norm": 2.296875,
      "learning_rate": 0.0004997118644067797,
      "loss": 6.376749420166016,
      "step": 1035
    },
    {
      "epoch": 0.034666666666666665,
      "grad_norm": 1.359375,
      "learning_rate": 0.0004996694915254238,
      "loss": 5.712383270263672,
      "step": 1040
    },
    {
      "epoch": 0.034833333333333334,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004996271186440678,
      "loss": 5.82119140625,
      "step": 1045
    },
    {
      "epoch": 0.035,
      "grad_norm": 2.125,
      "learning_rate": 0.0004995847457627119,
      "loss": 6.006993103027344,
      "step": 1050
    },
    {
      "epoch": 0.035166666666666666,
      "grad_norm": 1.6875,
      "learning_rate": 0.000499542372881356,
      "loss": 6.215608215332031,
      "step": 1055
    },
    {
      "epoch": 0.035333333333333335,
      "grad_norm": 1.859375,
      "learning_rate": 0.0004995,
      "loss": 5.842865753173828,
      "step": 1060
    },
    {
      "epoch": 0.0355,
      "grad_norm": 1.546875,
      "learning_rate": 0.000499457627118644,
      "loss": 5.534739685058594,
      "step": 1065
    },
    {
      "epoch": 0.035666666666666666,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0004994152542372881,
      "loss": 6.060189056396484,
      "step": 1070
    },
    {
      "epoch": 0.035833333333333335,
      "grad_norm": 1.65625,
      "learning_rate": 0.0004993728813559322,
      "loss": 6.103625106811523,
      "step": 1075
    },
    {
      "epoch": 0.036,
      "grad_norm": 1.9453125,
      "learning_rate": 0.0004993305084745763,
      "loss": 6.2444923400878904,
      "step": 1080
    },
    {
      "epoch": 0.036166666666666666,
      "grad_norm": 1.921875,
      "learning_rate": 0.0004992881355932203,
      "loss": 5.755151748657227,
      "step": 1085
    },
    {
      "epoch": 0.036333333333333336,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0004992457627118644,
      "loss": 5.988705444335937,
      "step": 1090
    },
    {
      "epoch": 0.0365,
      "grad_norm": 1.546875,
      "learning_rate": 0.0004992033898305085,
      "loss": 5.713829040527344,
      "step": 1095
    },
    {
      "epoch": 0.03666666666666667,
      "grad_norm": 1.78125,
      "learning_rate": 0.0004991610169491525,
      "loss": 5.871453857421875,
      "step": 1100
    },
    {
      "epoch": 0.036833333333333336,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0004991186440677966,
      "loss": 5.9530387878417965,
      "step": 1105
    },
    {
      "epoch": 0.037,
      "grad_norm": 3.390625,
      "learning_rate": 0.0004990762711864407,
      "loss": 6.252203750610351,
      "step": 1110
    },
    {
      "epoch": 0.03716666666666667,
      "grad_norm": 2.03125,
      "learning_rate": 0.0004990338983050848,
      "loss": 6.199696350097656,
      "step": 1115
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 2.4375,
      "learning_rate": 0.0004989915254237288,
      "loss": 5.813059616088867,
      "step": 1120
    },
    {
      "epoch": 0.0375,
      "grad_norm": 1.578125,
      "learning_rate": 0.0004989491525423729,
      "loss": 5.815754699707031,
      "step": 1125
    },
    {
      "epoch": 0.03766666666666667,
      "grad_norm": 1.640625,
      "learning_rate": 0.000498906779661017,
      "loss": 6.078952026367188,
      "step": 1130
    },
    {
      "epoch": 0.03783333333333333,
      "grad_norm": 1.4140625,
      "learning_rate": 0.0004988644067796611,
      "loss": 5.770993041992187,
      "step": 1135
    },
    {
      "epoch": 0.038,
      "grad_norm": 1.71875,
      "learning_rate": 0.0004988220338983051,
      "loss": 5.676996231079102,
      "step": 1140
    },
    {
      "epoch": 0.03816666666666667,
      "grad_norm": 1.4140625,
      "learning_rate": 0.0004987796610169492,
      "loss": 4.892822647094727,
      "step": 1145
    },
    {
      "epoch": 0.03833333333333333,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004987372881355933,
      "loss": 6.145793914794922,
      "step": 1150
    },
    {
      "epoch": 0.0385,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004986949152542374,
      "loss": 5.928942489624023,
      "step": 1155
    },
    {
      "epoch": 0.03866666666666667,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0004986525423728813,
      "loss": 5.874079895019531,
      "step": 1160
    },
    {
      "epoch": 0.03883333333333333,
      "grad_norm": 1.984375,
      "learning_rate": 0.0004986101694915254,
      "loss": 5.968774795532227,
      "step": 1165
    },
    {
      "epoch": 0.039,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004985677966101695,
      "loss": 6.24597053527832,
      "step": 1170
    },
    {
      "epoch": 0.03916666666666667,
      "grad_norm": 1.40625,
      "learning_rate": 0.0004985254237288135,
      "loss": 5.636083602905273,
      "step": 1175
    },
    {
      "epoch": 0.03933333333333333,
      "grad_norm": 2.234375,
      "learning_rate": 0.0004984830508474576,
      "loss": 5.863636016845703,
      "step": 1180
    },
    {
      "epoch": 0.0395,
      "grad_norm": 1.953125,
      "learning_rate": 0.0004984406779661017,
      "loss": 5.3995506286621096,
      "step": 1185
    },
    {
      "epoch": 0.03966666666666667,
      "grad_norm": 1.546875,
      "learning_rate": 0.0004983983050847457,
      "loss": 5.698204421997071,
      "step": 1190
    },
    {
      "epoch": 0.03983333333333333,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0004983559322033898,
      "loss": 5.533797836303711,
      "step": 1195
    },
    {
      "epoch": 0.04,
      "grad_norm": 1.78125,
      "learning_rate": 0.0004983135593220339,
      "loss": 6.131295776367187,
      "step": 1200
    },
    {
      "epoch": 0.04016666666666667,
      "grad_norm": 1.71875,
      "learning_rate": 0.000498271186440678,
      "loss": 6.3928985595703125,
      "step": 1205
    },
    {
      "epoch": 0.04033333333333333,
      "grad_norm": 1.4453125,
      "learning_rate": 0.000498228813559322,
      "loss": 6.502362060546875,
      "step": 1210
    },
    {
      "epoch": 0.0405,
      "grad_norm": 1.21875,
      "learning_rate": 0.0004981864406779661,
      "loss": 4.773102188110352,
      "step": 1215
    },
    {
      "epoch": 0.04066666666666666,
      "grad_norm": 1.96875,
      "learning_rate": 0.0004981440677966102,
      "loss": 5.8536231994628904,
      "step": 1220
    },
    {
      "epoch": 0.04083333333333333,
      "grad_norm": 1.828125,
      "learning_rate": 0.0004981016949152543,
      "loss": 5.645862579345703,
      "step": 1225
    },
    {
      "epoch": 0.041,
      "grad_norm": 1.375,
      "learning_rate": 0.0004980593220338983,
      "loss": 5.888038635253906,
      "step": 1230
    },
    {
      "epoch": 0.041166666666666664,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0004980169491525424,
      "loss": 5.464365386962891,
      "step": 1235
    },
    {
      "epoch": 0.04133333333333333,
      "grad_norm": 1.8125,
      "learning_rate": 0.0004979745762711865,
      "loss": 6.149180603027344,
      "step": 1240
    },
    {
      "epoch": 0.0415,
      "grad_norm": 3.109375,
      "learning_rate": 0.0004979322033898306,
      "loss": 5.790741729736328,
      "step": 1245
    },
    {
      "epoch": 0.041666666666666664,
      "grad_norm": 1.5625,
      "learning_rate": 0.0004978898305084745,
      "loss": 5.772667694091797,
      "step": 1250
    },
    {
      "epoch": 0.041833333333333333,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0004978474576271186,
      "loss": 5.310701370239258,
      "step": 1255
    },
    {
      "epoch": 0.042,
      "grad_norm": 1.859375,
      "learning_rate": 0.0004978050847457627,
      "loss": 6.220376586914062,
      "step": 1260
    },
    {
      "epoch": 0.042166666666666665,
      "grad_norm": 1.546875,
      "learning_rate": 0.0004977627118644068,
      "loss": 6.002451324462891,
      "step": 1265
    },
    {
      "epoch": 0.042333333333333334,
      "grad_norm": 3.046875,
      "learning_rate": 0.0004977203389830508,
      "loss": 5.072945785522461,
      "step": 1270
    },
    {
      "epoch": 0.0425,
      "grad_norm": 1.421875,
      "learning_rate": 0.0004976779661016949,
      "loss": 5.763033676147461,
      "step": 1275
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 2.953125,
      "learning_rate": 0.0004976355932203389,
      "loss": 5.97337760925293,
      "step": 1280
    },
    {
      "epoch": 0.042833333333333334,
      "grad_norm": 1.984375,
      "learning_rate": 0.0004975932203389831,
      "loss": 6.059336853027344,
      "step": 1285
    },
    {
      "epoch": 0.043,
      "grad_norm": 2.09375,
      "learning_rate": 0.0004975508474576271,
      "loss": 6.290530395507813,
      "step": 1290
    },
    {
      "epoch": 0.043166666666666666,
      "grad_norm": 2.171875,
      "learning_rate": 0.0004975084745762712,
      "loss": 5.909635925292969,
      "step": 1295
    },
    {
      "epoch": 0.043333333333333335,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0004974661016949152,
      "loss": 5.754904556274414,
      "step": 1300
    },
    {
      "epoch": 0.0435,
      "grad_norm": 1.3046875,
      "learning_rate": 0.0004974237288135594,
      "loss": 5.786383438110351,
      "step": 1305
    },
    {
      "epoch": 0.043666666666666666,
      "grad_norm": 1.984375,
      "learning_rate": 0.0004973813559322034,
      "loss": 5.673204040527343,
      "step": 1310
    },
    {
      "epoch": 0.043833333333333335,
      "grad_norm": 1.421875,
      "learning_rate": 0.0004973389830508475,
      "loss": 5.994687271118164,
      "step": 1315
    },
    {
      "epoch": 0.044,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004972966101694915,
      "loss": 6.073529815673828,
      "step": 1320
    },
    {
      "epoch": 0.04416666666666667,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0004972542372881356,
      "loss": 5.165686416625976,
      "step": 1325
    },
    {
      "epoch": 0.044333333333333336,
      "grad_norm": 1.546875,
      "learning_rate": 0.0004972118644067797,
      "loss": 5.259283447265625,
      "step": 1330
    },
    {
      "epoch": 0.0445,
      "grad_norm": 2.28125,
      "learning_rate": 0.0004971694915254238,
      "loss": 5.8934581756591795,
      "step": 1335
    },
    {
      "epoch": 0.04466666666666667,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0004971271186440678,
      "loss": 5.241166305541992,
      "step": 1340
    },
    {
      "epoch": 0.044833333333333336,
      "grad_norm": 1.3828125,
      "learning_rate": 0.0004970847457627119,
      "loss": 5.154353332519531,
      "step": 1345
    },
    {
      "epoch": 0.045,
      "grad_norm": 1.859375,
      "learning_rate": 0.000497042372881356,
      "loss": 5.534686279296875,
      "step": 1350
    },
    {
      "epoch": 0.04516666666666667,
      "grad_norm": 1.28125,
      "learning_rate": 0.000497,
      "loss": 5.364314270019531,
      "step": 1355
    },
    {
      "epoch": 0.04533333333333334,
      "grad_norm": 1.8828125,
      "learning_rate": 0.000496957627118644,
      "loss": 5.548909378051758,
      "step": 1360
    },
    {
      "epoch": 0.0455,
      "grad_norm": 2.21875,
      "learning_rate": 0.0004969152542372881,
      "loss": 6.0710289001464846,
      "step": 1365
    },
    {
      "epoch": 0.04566666666666667,
      "grad_norm": 1.75,
      "learning_rate": 0.0004968728813559322,
      "loss": 5.0656177520751955,
      "step": 1370
    },
    {
      "epoch": 0.04583333333333333,
      "grad_norm": 1.2890625,
      "learning_rate": 0.0004968305084745763,
      "loss": 5.373663330078125,
      "step": 1375
    },
    {
      "epoch": 0.046,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0004967881355932203,
      "loss": 5.626608276367188,
      "step": 1380
    },
    {
      "epoch": 0.04616666666666667,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0004967457627118644,
      "loss": 5.316209411621093,
      "step": 1385
    },
    {
      "epoch": 0.04633333333333333,
      "grad_norm": 2.421875,
      "learning_rate": 0.0004967033898305085,
      "loss": 5.925829696655273,
      "step": 1390
    },
    {
      "epoch": 0.0465,
      "grad_norm": 3.71875,
      "learning_rate": 0.0004966610169491526,
      "loss": 5.2482749938964846,
      "step": 1395
    },
    {
      "epoch": 0.04666666666666667,
      "grad_norm": 1.578125,
      "learning_rate": 0.0004966186440677966,
      "loss": 5.586841583251953,
      "step": 1400
    },
    {
      "epoch": 0.04683333333333333,
      "grad_norm": 2.28125,
      "learning_rate": 0.0004965762711864407,
      "loss": 5.182569122314453,
      "step": 1405
    },
    {
      "epoch": 0.047,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0004965338983050848,
      "loss": 5.409245300292969,
      "step": 1410
    },
    {
      "epoch": 0.04716666666666667,
      "grad_norm": 3.671875,
      "learning_rate": 0.0004964915254237288,
      "loss": 5.667770004272461,
      "step": 1415
    },
    {
      "epoch": 0.04733333333333333,
      "grad_norm": 1.71875,
      "learning_rate": 0.0004964491525423729,
      "loss": 5.204789733886718,
      "step": 1420
    },
    {
      "epoch": 0.0475,
      "grad_norm": 1.3828125,
      "learning_rate": 0.000496406779661017,
      "loss": 6.006873703002929,
      "step": 1425
    },
    {
      "epoch": 0.04766666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 0.0004963644067796611,
      "loss": 5.998840713500977,
      "step": 1430
    },
    {
      "epoch": 0.04783333333333333,
      "grad_norm": 1.390625,
      "learning_rate": 0.0004963220338983051,
      "loss": 5.254052352905274,
      "step": 1435
    },
    {
      "epoch": 0.048,
      "grad_norm": 1.609375,
      "learning_rate": 0.0004962796610169492,
      "loss": 5.672095489501953,
      "step": 1440
    },
    {
      "epoch": 0.04816666666666667,
      "grad_norm": 2.203125,
      "learning_rate": 0.0004962372881355933,
      "loss": 5.638211822509765,
      "step": 1445
    },
    {
      "epoch": 0.04833333333333333,
      "grad_norm": 1.9765625,
      "learning_rate": 0.0004961949152542373,
      "loss": 5.755513763427734,
      "step": 1450
    },
    {
      "epoch": 0.0485,
      "grad_norm": 1.484375,
      "learning_rate": 0.0004961525423728813,
      "loss": 5.322238922119141,
      "step": 1455
    },
    {
      "epoch": 0.048666666666666664,
      "grad_norm": 2.015625,
      "learning_rate": 0.0004961101694915254,
      "loss": 5.372056198120117,
      "step": 1460
    },
    {
      "epoch": 0.04883333333333333,
      "grad_norm": 2.046875,
      "learning_rate": 0.0004960677966101695,
      "loss": 6.185543060302734,
      "step": 1465
    },
    {
      "epoch": 0.049,
      "grad_norm": 1.828125,
      "learning_rate": 0.0004960254237288136,
      "loss": 5.9157970428466795,
      "step": 1470
    },
    {
      "epoch": 0.049166666666666664,
      "grad_norm": 1.25,
      "learning_rate": 0.0004959830508474576,
      "loss": 5.065707778930664,
      "step": 1475
    },
    {
      "epoch": 0.04933333333333333,
      "grad_norm": 1.578125,
      "learning_rate": 0.0004959406779661017,
      "loss": 5.658824920654297,
      "step": 1480
    },
    {
      "epoch": 0.0495,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0004958983050847458,
      "loss": 5.755300521850586,
      "step": 1485
    },
    {
      "epoch": 0.049666666666666665,
      "grad_norm": 2.53125,
      "learning_rate": 0.0004958559322033898,
      "loss": 5.271992492675781,
      "step": 1490
    },
    {
      "epoch": 0.049833333333333334,
      "grad_norm": 2.53125,
      "learning_rate": 0.0004958135593220339,
      "loss": 5.897311782836914,
      "step": 1495
    },
    {
      "epoch": 0.05,
      "grad_norm": 1.2890625,
      "learning_rate": 0.000495771186440678,
      "loss": 5.205685424804687,
      "step": 1500
    },
    {
      "epoch": 0.050166666666666665,
      "grad_norm": 1.515625,
      "learning_rate": 0.000495728813559322,
      "loss": 5.137052536010742,
      "step": 1505
    },
    {
      "epoch": 0.050333333333333334,
      "grad_norm": 1.3046875,
      "learning_rate": 0.0004956864406779661,
      "loss": 5.659378433227539,
      "step": 1510
    },
    {
      "epoch": 0.0505,
      "grad_norm": 2.828125,
      "learning_rate": 0.0004956440677966102,
      "loss": 4.898886489868164,
      "step": 1515
    },
    {
      "epoch": 0.050666666666666665,
      "grad_norm": 1.9765625,
      "learning_rate": 0.0004956016949152543,
      "loss": 5.56562385559082,
      "step": 1520
    },
    {
      "epoch": 0.050833333333333335,
      "grad_norm": 1.5625,
      "learning_rate": 0.0004955593220338983,
      "loss": 5.1463665008544925,
      "step": 1525
    },
    {
      "epoch": 0.051,
      "grad_norm": 2.390625,
      "learning_rate": 0.0004955169491525424,
      "loss": 5.272716522216797,
      "step": 1530
    },
    {
      "epoch": 0.051166666666666666,
      "grad_norm": 2.140625,
      "learning_rate": 0.0004954745762711865,
      "loss": 5.988800048828125,
      "step": 1535
    },
    {
      "epoch": 0.051333333333333335,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004954322033898306,
      "loss": 5.512815475463867,
      "step": 1540
    },
    {
      "epoch": 0.0515,
      "grad_norm": 3.90625,
      "learning_rate": 0.0004953898305084745,
      "loss": 6.034426498413086,
      "step": 1545
    },
    {
      "epoch": 0.051666666666666666,
      "grad_norm": 1.78125,
      "learning_rate": 0.0004953474576271186,
      "loss": 5.7250114440917965,
      "step": 1550
    },
    {
      "epoch": 0.051833333333333335,
      "grad_norm": 3.140625,
      "learning_rate": 0.0004953050847457627,
      "loss": 5.381717681884766,
      "step": 1555
    },
    {
      "epoch": 0.052,
      "grad_norm": 1.5,
      "learning_rate": 0.0004952627118644068,
      "loss": 5.384355926513672,
      "step": 1560
    },
    {
      "epoch": 0.05216666666666667,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0004952203389830508,
      "loss": 5.570558166503906,
      "step": 1565
    },
    {
      "epoch": 0.052333333333333336,
      "grad_norm": 1.234375,
      "learning_rate": 0.0004951779661016949,
      "loss": 5.49791259765625,
      "step": 1570
    },
    {
      "epoch": 0.0525,
      "grad_norm": 1.296875,
      "learning_rate": 0.000495135593220339,
      "loss": 4.5857891082763675,
      "step": 1575
    },
    {
      "epoch": 0.05266666666666667,
      "grad_norm": 2.15625,
      "learning_rate": 0.0004950932203389831,
      "loss": 5.367424392700196,
      "step": 1580
    },
    {
      "epoch": 0.052833333333333336,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004950508474576271,
      "loss": 5.8268798828125,
      "step": 1585
    },
    {
      "epoch": 0.053,
      "grad_norm": 1.3671875,
      "learning_rate": 0.0004950084745762712,
      "loss": 5.718865585327149,
      "step": 1590
    },
    {
      "epoch": 0.05316666666666667,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0004949661016949152,
      "loss": 5.6676177978515625,
      "step": 1595
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 1.578125,
      "learning_rate": 0.0004949237288135594,
      "loss": 5.15733757019043,
      "step": 1600
    },
    {
      "epoch": 0.0535,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004948813559322034,
      "loss": 5.977159881591797,
      "step": 1605
    },
    {
      "epoch": 0.05366666666666667,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0004948389830508475,
      "loss": 5.097769165039063,
      "step": 1610
    },
    {
      "epoch": 0.05383333333333333,
      "grad_norm": 1.90625,
      "learning_rate": 0.0004947966101694915,
      "loss": 5.656543731689453,
      "step": 1615
    },
    {
      "epoch": 0.054,
      "grad_norm": 1.25,
      "learning_rate": 0.0004947542372881357,
      "loss": 5.297129440307617,
      "step": 1620
    },
    {
      "epoch": 0.05416666666666667,
      "grad_norm": 1.2890625,
      "learning_rate": 0.0004947118644067797,
      "loss": 4.739989471435547,
      "step": 1625
    },
    {
      "epoch": 0.05433333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004946694915254238,
      "loss": 5.359707641601562,
      "step": 1630
    },
    {
      "epoch": 0.0545,
      "grad_norm": 1.375,
      "learning_rate": 0.0004946271186440677,
      "loss": 5.8562358856201175,
      "step": 1635
    },
    {
      "epoch": 0.05466666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 0.0004945847457627118,
      "loss": 5.315743255615234,
      "step": 1640
    },
    {
      "epoch": 0.05483333333333333,
      "grad_norm": 1.3203125,
      "learning_rate": 0.0004945423728813559,
      "loss": 5.781568145751953,
      "step": 1645
    },
    {
      "epoch": 0.055,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004945,
      "loss": 4.873149871826172,
      "step": 1650
    },
    {
      "epoch": 0.05516666666666667,
      "grad_norm": 2.171875,
      "learning_rate": 0.000494457627118644,
      "loss": 6.046341323852539,
      "step": 1655
    },
    {
      "epoch": 0.05533333333333333,
      "grad_norm": 2.296875,
      "learning_rate": 0.0004944152542372881,
      "loss": 5.255635833740234,
      "step": 1660
    },
    {
      "epoch": 0.0555,
      "grad_norm": 1.3359375,
      "learning_rate": 0.0004943728813559322,
      "loss": 5.5144775390625,
      "step": 1665
    },
    {
      "epoch": 0.05566666666666667,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004943305084745763,
      "loss": 5.523389434814453,
      "step": 1670
    },
    {
      "epoch": 0.05583333333333333,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004942881355932203,
      "loss": 5.129906845092774,
      "step": 1675
    },
    {
      "epoch": 0.056,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004942457627118644,
      "loss": 6.022431182861328,
      "step": 1680
    },
    {
      "epoch": 0.05616666666666666,
      "grad_norm": 2.359375,
      "learning_rate": 0.0004942033898305085,
      "loss": 4.353055953979492,
      "step": 1685
    },
    {
      "epoch": 0.05633333333333333,
      "grad_norm": 1.546875,
      "learning_rate": 0.0004941610169491526,
      "loss": 5.575619125366211,
      "step": 1690
    },
    {
      "epoch": 0.0565,
      "grad_norm": 1.53125,
      "learning_rate": 0.0004941186440677966,
      "loss": 4.969410705566406,
      "step": 1695
    },
    {
      "epoch": 0.056666666666666664,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0004940762711864407,
      "loss": 5.409562683105468,
      "step": 1700
    },
    {
      "epoch": 0.05683333333333333,
      "grad_norm": 2.265625,
      "learning_rate": 0.0004940338983050848,
      "loss": 5.183745574951172,
      "step": 1705
    },
    {
      "epoch": 0.057,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0004939915254237289,
      "loss": 5.734031677246094,
      "step": 1710
    },
    {
      "epoch": 0.057166666666666664,
      "grad_norm": 3.984375,
      "learning_rate": 0.0004939491525423729,
      "loss": 5.374870681762696,
      "step": 1715
    },
    {
      "epoch": 0.05733333333333333,
      "grad_norm": 1.7109375,
      "learning_rate": 0.000493906779661017,
      "loss": 5.4931903839111325,
      "step": 1720
    },
    {
      "epoch": 0.0575,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0004938644067796611,
      "loss": 5.380253601074219,
      "step": 1725
    },
    {
      "epoch": 0.057666666666666665,
      "grad_norm": 1.5625,
      "learning_rate": 0.000493822033898305,
      "loss": 5.650362014770508,
      "step": 1730
    },
    {
      "epoch": 0.057833333333333334,
      "grad_norm": 2.53125,
      "learning_rate": 0.0004937796610169491,
      "loss": 5.797467803955078,
      "step": 1735
    },
    {
      "epoch": 0.058,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0004937372881355932,
      "loss": 5.855146789550782,
      "step": 1740
    },
    {
      "epoch": 0.058166666666666665,
      "grad_norm": 2.359375,
      "learning_rate": 0.0004936949152542373,
      "loss": 5.894927215576172,
      "step": 1745
    },
    {
      "epoch": 0.058333333333333334,
      "grad_norm": 2.15625,
      "learning_rate": 0.0004936525423728813,
      "loss": 6.099357604980469,
      "step": 1750
    },
    {
      "epoch": 0.0585,
      "grad_norm": 4.03125,
      "learning_rate": 0.0004936101694915254,
      "loss": 4.839195632934571,
      "step": 1755
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 1.15625,
      "learning_rate": 0.0004935677966101695,
      "loss": 5.302261734008789,
      "step": 1760
    },
    {
      "epoch": 0.058833333333333335,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0004935254237288136,
      "loss": 4.9435173034667965,
      "step": 1765
    },
    {
      "epoch": 0.059,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0004934830508474576,
      "loss": 4.975100708007813,
      "step": 1770
    },
    {
      "epoch": 0.059166666666666666,
      "grad_norm": 1.3671875,
      "learning_rate": 0.0004934406779661017,
      "loss": 5.857958602905273,
      "step": 1775
    },
    {
      "epoch": 0.059333333333333335,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0004933983050847458,
      "loss": 5.464744949340821,
      "step": 1780
    },
    {
      "epoch": 0.0595,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0004933559322033899,
      "loss": 5.082384872436523,
      "step": 1785
    },
    {
      "epoch": 0.059666666666666666,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0004933135593220339,
      "loss": 5.153899002075195,
      "step": 1790
    },
    {
      "epoch": 0.059833333333333336,
      "grad_norm": 1.7265625,
      "learning_rate": 0.000493271186440678,
      "loss": 5.465463256835937,
      "step": 1795
    },
    {
      "epoch": 0.06,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0004932288135593221,
      "loss": 5.384849548339844,
      "step": 1800
    },
    {
      "epoch": 0.06016666666666667,
      "grad_norm": 1.875,
      "learning_rate": 0.0004931864406779661,
      "loss": 5.884043884277344,
      "step": 1805
    },
    {
      "epoch": 0.060333333333333336,
      "grad_norm": 2.34375,
      "learning_rate": 0.0004931440677966102,
      "loss": 5.332246398925781,
      "step": 1810
    },
    {
      "epoch": 0.0605,
      "grad_norm": 2.703125,
      "learning_rate": 0.0004931016949152543,
      "loss": 5.960049819946289,
      "step": 1815
    },
    {
      "epoch": 0.06066666666666667,
      "grad_norm": 1.640625,
      "learning_rate": 0.0004930593220338983,
      "loss": 5.956687927246094,
      "step": 1820
    },
    {
      "epoch": 0.060833333333333336,
      "grad_norm": 1.515625,
      "learning_rate": 0.0004930169491525424,
      "loss": 5.233511352539063,
      "step": 1825
    },
    {
      "epoch": 0.061,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0004929745762711865,
      "loss": 5.248105239868164,
      "step": 1830
    },
    {
      "epoch": 0.06116666666666667,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0004929322033898305,
      "loss": 4.935066986083984,
      "step": 1835
    },
    {
      "epoch": 0.06133333333333333,
      "grad_norm": 2.65625,
      "learning_rate": 0.0004928898305084745,
      "loss": 5.7527915954589846,
      "step": 1840
    },
    {
      "epoch": 0.0615,
      "grad_norm": 2.515625,
      "learning_rate": 0.0004928474576271186,
      "loss": 4.906035995483398,
      "step": 1845
    },
    {
      "epoch": 0.06166666666666667,
      "grad_norm": 2.0625,
      "learning_rate": 0.0004928050847457627,
      "loss": 4.949166488647461,
      "step": 1850
    },
    {
      "epoch": 0.06183333333333333,
      "grad_norm": 1.40625,
      "learning_rate": 0.0004927627118644068,
      "loss": 5.642140197753906,
      "step": 1855
    },
    {
      "epoch": 0.062,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0004927203389830508,
      "loss": 5.610598373413086,
      "step": 1860
    },
    {
      "epoch": 0.06216666666666667,
      "grad_norm": 1.359375,
      "learning_rate": 0.0004926779661016949,
      "loss": 5.191539001464844,
      "step": 1865
    },
    {
      "epoch": 0.06233333333333333,
      "grad_norm": 1.828125,
      "learning_rate": 0.000492635593220339,
      "loss": 5.786818313598633,
      "step": 1870
    },
    {
      "epoch": 0.0625,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004925932203389831,
      "loss": 5.455913925170899,
      "step": 1875
    },
    {
      "epoch": 0.06266666666666666,
      "grad_norm": 2.3125,
      "learning_rate": 0.0004925508474576271,
      "loss": 6.030694580078125,
      "step": 1880
    },
    {
      "epoch": 0.06283333333333334,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0004925084745762712,
      "loss": 5.608272552490234,
      "step": 1885
    },
    {
      "epoch": 0.063,
      "grad_norm": 1.3046875,
      "learning_rate": 0.0004924661016949153,
      "loss": 5.36133041381836,
      "step": 1890
    },
    {
      "epoch": 0.06316666666666666,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004924237288135594,
      "loss": 5.949337768554687,
      "step": 1895
    },
    {
      "epoch": 0.06333333333333334,
      "grad_norm": 1.703125,
      "learning_rate": 0.0004923813559322034,
      "loss": 5.678561019897461,
      "step": 1900
    },
    {
      "epoch": 0.0635,
      "grad_norm": 1.609375,
      "learning_rate": 0.0004923389830508475,
      "loss": 4.683288192749023,
      "step": 1905
    },
    {
      "epoch": 0.06366666666666666,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0004922966101694915,
      "loss": 5.037747573852539,
      "step": 1910
    },
    {
      "epoch": 0.06383333333333334,
      "grad_norm": 2.75,
      "learning_rate": 0.0004922542372881357,
      "loss": 4.770116806030273,
      "step": 1915
    },
    {
      "epoch": 0.064,
      "grad_norm": 1.3984375,
      "learning_rate": 0.0004922118644067797,
      "loss": 4.534902572631836,
      "step": 1920
    },
    {
      "epoch": 0.06416666666666666,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004921694915254238,
      "loss": 5.317440032958984,
      "step": 1925
    },
    {
      "epoch": 0.06433333333333334,
      "grad_norm": 1.71875,
      "learning_rate": 0.0004921271186440677,
      "loss": 4.760466003417969,
      "step": 1930
    },
    {
      "epoch": 0.0645,
      "grad_norm": 1.5,
      "learning_rate": 0.000492084745762712,
      "loss": 5.736650085449218,
      "step": 1935
    },
    {
      "epoch": 0.06466666666666666,
      "grad_norm": 1.53125,
      "learning_rate": 0.0004920423728813559,
      "loss": 4.538475799560547,
      "step": 1940
    },
    {
      "epoch": 0.06483333333333334,
      "grad_norm": 2.1875,
      "learning_rate": 0.000492,
      "loss": 5.4770160675048825,
      "step": 1945
    },
    {
      "epoch": 0.065,
      "grad_norm": 1.3359375,
      "learning_rate": 0.000491957627118644,
      "loss": 5.128434371948242,
      "step": 1950
    },
    {
      "epoch": 0.06516666666666666,
      "grad_norm": 1.53125,
      "learning_rate": 0.0004919152542372881,
      "loss": 5.505323791503907,
      "step": 1955
    },
    {
      "epoch": 0.06533333333333333,
      "grad_norm": 1.453125,
      "learning_rate": 0.0004918728813559322,
      "loss": 5.685410690307617,
      "step": 1960
    },
    {
      "epoch": 0.0655,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004918305084745763,
      "loss": 5.563021469116211,
      "step": 1965
    },
    {
      "epoch": 0.06566666666666666,
      "grad_norm": 1.90625,
      "learning_rate": 0.0004917881355932203,
      "loss": 5.490918350219727,
      "step": 1970
    },
    {
      "epoch": 0.06583333333333333,
      "grad_norm": 1.640625,
      "learning_rate": 0.0004917457627118644,
      "loss": 4.936168670654297,
      "step": 1975
    },
    {
      "epoch": 0.066,
      "grad_norm": 1.2734375,
      "learning_rate": 0.0004917033898305085,
      "loss": 5.343706512451172,
      "step": 1980
    },
    {
      "epoch": 0.06616666666666667,
      "grad_norm": 2.15625,
      "learning_rate": 0.0004916610169491526,
      "loss": 5.39727783203125,
      "step": 1985
    },
    {
      "epoch": 0.06633333333333333,
      "grad_norm": 2.515625,
      "learning_rate": 0.0004916186440677966,
      "loss": 5.289514541625977,
      "step": 1990
    },
    {
      "epoch": 0.0665,
      "grad_norm": 2.171875,
      "learning_rate": 0.0004915762711864407,
      "loss": 5.134922027587891,
      "step": 1995
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 3.046875,
      "learning_rate": 0.0004915338983050848,
      "loss": 4.724285125732422,
      "step": 2000
    },
    {
      "epoch": 0.06683333333333333,
      "grad_norm": 1.4609375,
      "learning_rate": 0.0004914915254237289,
      "loss": 5.667361450195313,
      "step": 2005
    },
    {
      "epoch": 0.067,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0004914491525423729,
      "loss": 5.444583129882813,
      "step": 2010
    },
    {
      "epoch": 0.06716666666666667,
      "grad_norm": 1.296875,
      "learning_rate": 0.000491406779661017,
      "loss": 5.435940170288086,
      "step": 2015
    },
    {
      "epoch": 0.06733333333333333,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0004913644067796611,
      "loss": 5.659410095214843,
      "step": 2020
    },
    {
      "epoch": 0.0675,
      "grad_norm": 1.765625,
      "learning_rate": 0.0004913220338983052,
      "loss": 5.400036239624024,
      "step": 2025
    },
    {
      "epoch": 0.06766666666666667,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0004912796610169491,
      "loss": 5.543528747558594,
      "step": 2030
    },
    {
      "epoch": 0.06783333333333333,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004912372881355932,
      "loss": 5.2370140075683596,
      "step": 2035
    },
    {
      "epoch": 0.068,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0004911949152542373,
      "loss": 5.691057586669922,
      "step": 2040
    },
    {
      "epoch": 0.06816666666666667,
      "grad_norm": 1.4609375,
      "learning_rate": 0.0004911525423728813,
      "loss": 4.788217163085937,
      "step": 2045
    },
    {
      "epoch": 0.06833333333333333,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004911101694915254,
      "loss": 5.529164123535156,
      "step": 2050
    },
    {
      "epoch": 0.0685,
      "grad_norm": 1.453125,
      "learning_rate": 0.0004910677966101695,
      "loss": 4.752972793579102,
      "step": 2055
    },
    {
      "epoch": 0.06866666666666667,
      "grad_norm": 1.3203125,
      "learning_rate": 0.0004910254237288136,
      "loss": 5.077299880981445,
      "step": 2060
    },
    {
      "epoch": 0.06883333333333333,
      "grad_norm": 4.0625,
      "learning_rate": 0.0004909830508474576,
      "loss": 5.0119068145751955,
      "step": 2065
    },
    {
      "epoch": 0.069,
      "grad_norm": 2.0,
      "learning_rate": 0.0004909406779661017,
      "loss": 5.299713516235352,
      "step": 2070
    },
    {
      "epoch": 0.06916666666666667,
      "grad_norm": 2.0625,
      "learning_rate": 0.0004908983050847458,
      "loss": 5.490908432006836,
      "step": 2075
    },
    {
      "epoch": 0.06933333333333333,
      "grad_norm": 2.078125,
      "learning_rate": 0.0004908559322033899,
      "loss": 5.4112495422363285,
      "step": 2080
    },
    {
      "epoch": 0.0695,
      "grad_norm": 7.75,
      "learning_rate": 0.0004908135593220339,
      "loss": 5.462771987915039,
      "step": 2085
    },
    {
      "epoch": 0.06966666666666667,
      "grad_norm": 3.25,
      "learning_rate": 0.000490771186440678,
      "loss": 5.374294281005859,
      "step": 2090
    },
    {
      "epoch": 0.06983333333333333,
      "grad_norm": 1.578125,
      "learning_rate": 0.0004907288135593221,
      "loss": 5.754938125610352,
      "step": 2095
    },
    {
      "epoch": 0.07,
      "grad_norm": 1.328125,
      "learning_rate": 0.0004906864406779662,
      "loss": 5.865854644775391,
      "step": 2100
    },
    {
      "epoch": 0.07016666666666667,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0004906440677966102,
      "loss": 5.4868629455566404,
      "step": 2105
    },
    {
      "epoch": 0.07033333333333333,
      "grad_norm": 1.3359375,
      "learning_rate": 0.0004906016949152543,
      "loss": 5.005497741699219,
      "step": 2110
    },
    {
      "epoch": 0.0705,
      "grad_norm": 6.1875,
      "learning_rate": 0.0004905593220338982,
      "loss": 5.624986267089843,
      "step": 2115
    },
    {
      "epoch": 0.07066666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004905169491525423,
      "loss": 4.532024765014649,
      "step": 2120
    },
    {
      "epoch": 0.07083333333333333,
      "grad_norm": 2.9375,
      "learning_rate": 0.0004904745762711864,
      "loss": 5.4043632507324215,
      "step": 2125
    },
    {
      "epoch": 0.071,
      "grad_norm": 1.4609375,
      "learning_rate": 0.0004904322033898305,
      "loss": 5.259949493408203,
      "step": 2130
    },
    {
      "epoch": 0.07116666666666667,
      "grad_norm": 2.375,
      "learning_rate": 0.0004903898305084745,
      "loss": 5.148663330078125,
      "step": 2135
    },
    {
      "epoch": 0.07133333333333333,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0004903474576271186,
      "loss": 4.81451416015625,
      "step": 2140
    },
    {
      "epoch": 0.0715,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0004903050847457627,
      "loss": 5.16369857788086,
      "step": 2145
    },
    {
      "epoch": 0.07166666666666667,
      "grad_norm": 1.453125,
      "learning_rate": 0.0004902627118644068,
      "loss": 5.141600036621094,
      "step": 2150
    },
    {
      "epoch": 0.07183333333333333,
      "grad_norm": 3.34375,
      "learning_rate": 0.0004902203389830508,
      "loss": 5.497324371337891,
      "step": 2155
    },
    {
      "epoch": 0.072,
      "grad_norm": 1.5625,
      "learning_rate": 0.0004901779661016949,
      "loss": 5.653026580810547,
      "step": 2160
    },
    {
      "epoch": 0.07216666666666667,
      "grad_norm": 1.578125,
      "learning_rate": 0.000490135593220339,
      "loss": 5.205005645751953,
      "step": 2165
    },
    {
      "epoch": 0.07233333333333333,
      "grad_norm": 1.9765625,
      "learning_rate": 0.0004900932203389831,
      "loss": 4.849231719970703,
      "step": 2170
    },
    {
      "epoch": 0.0725,
      "grad_norm": 2.171875,
      "learning_rate": 0.0004900508474576271,
      "loss": 5.332062530517578,
      "step": 2175
    },
    {
      "epoch": 0.07266666666666667,
      "grad_norm": 2.4375,
      "learning_rate": 0.0004900084745762712,
      "loss": 4.977425765991211,
      "step": 2180
    },
    {
      "epoch": 0.07283333333333333,
      "grad_norm": 1.328125,
      "learning_rate": 0.0004899661016949153,
      "loss": 5.543181610107422,
      "step": 2185
    },
    {
      "epoch": 0.073,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004899237288135594,
      "loss": 5.534650039672852,
      "step": 2190
    },
    {
      "epoch": 0.07316666666666667,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0004898813559322034,
      "loss": 5.272451782226563,
      "step": 2195
    },
    {
      "epoch": 0.07333333333333333,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0004898389830508475,
      "loss": 5.6129638671875,
      "step": 2200
    },
    {
      "epoch": 0.0735,
      "grad_norm": 1.421875,
      "learning_rate": 0.0004897966101694916,
      "loss": 4.66285514831543,
      "step": 2205
    },
    {
      "epoch": 0.07366666666666667,
      "grad_norm": 2.28125,
      "learning_rate": 0.0004897542372881357,
      "loss": 5.2666877746582035,
      "step": 2210
    },
    {
      "epoch": 0.07383333333333333,
      "grad_norm": 1.71875,
      "learning_rate": 0.0004897118644067796,
      "loss": 4.827873229980469,
      "step": 2215
    },
    {
      "epoch": 0.074,
      "grad_norm": 1.359375,
      "learning_rate": 0.0004896694915254237,
      "loss": 5.393537139892578,
      "step": 2220
    },
    {
      "epoch": 0.07416666666666667,
      "grad_norm": 1.578125,
      "learning_rate": 0.0004896271186440677,
      "loss": 5.367905044555664,
      "step": 2225
    },
    {
      "epoch": 0.07433333333333333,
      "grad_norm": 1.640625,
      "learning_rate": 0.0004895847457627119,
      "loss": 5.282328796386719,
      "step": 2230
    },
    {
      "epoch": 0.0745,
      "grad_norm": 1.5625,
      "learning_rate": 0.0004895423728813559,
      "loss": 5.460186004638672,
      "step": 2235
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 1.5625,
      "learning_rate": 0.0004895,
      "loss": 5.103351211547851,
      "step": 2240
    },
    {
      "epoch": 0.07483333333333334,
      "grad_norm": 2.234375,
      "learning_rate": 0.000489457627118644,
      "loss": 5.814064407348633,
      "step": 2245
    },
    {
      "epoch": 0.075,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0004894152542372881,
      "loss": 5.53970947265625,
      "step": 2250
    },
    {
      "epoch": 0.07516666666666667,
      "grad_norm": 2.46875,
      "learning_rate": 0.0004893728813559322,
      "loss": 5.09282112121582,
      "step": 2255
    },
    {
      "epoch": 0.07533333333333334,
      "grad_norm": 1.421875,
      "learning_rate": 0.0004893305084745763,
      "loss": 5.197103118896484,
      "step": 2260
    },
    {
      "epoch": 0.0755,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004892881355932203,
      "loss": 5.90960693359375,
      "step": 2265
    },
    {
      "epoch": 0.07566666666666666,
      "grad_norm": 2.234375,
      "learning_rate": 0.0004892457627118644,
      "loss": 4.784992980957031,
      "step": 2270
    },
    {
      "epoch": 0.07583333333333334,
      "grad_norm": 1.796875,
      "learning_rate": 0.0004892033898305085,
      "loss": 5.443426513671875,
      "step": 2275
    },
    {
      "epoch": 0.076,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0004891610169491526,
      "loss": 4.654805755615234,
      "step": 2280
    },
    {
      "epoch": 0.07616666666666666,
      "grad_norm": 4.9375,
      "learning_rate": 0.0004891186440677966,
      "loss": 5.839769744873047,
      "step": 2285
    },
    {
      "epoch": 0.07633333333333334,
      "grad_norm": 2.015625,
      "learning_rate": 0.0004890762711864407,
      "loss": 5.2647544860839846,
      "step": 2290
    },
    {
      "epoch": 0.0765,
      "grad_norm": 3.21875,
      "learning_rate": 0.0004890338983050848,
      "loss": 4.514641571044922,
      "step": 2295
    },
    {
      "epoch": 0.07666666666666666,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0004889915254237289,
      "loss": 4.296633911132813,
      "step": 2300
    },
    {
      "epoch": 0.07683333333333334,
      "grad_norm": 1.796875,
      "learning_rate": 0.0004889491525423729,
      "loss": 5.0814472198486325,
      "step": 2305
    },
    {
      "epoch": 0.077,
      "grad_norm": 1.7734375,
      "learning_rate": 0.000488906779661017,
      "loss": 5.512719345092774,
      "step": 2310
    },
    {
      "epoch": 0.07716666666666666,
      "grad_norm": 1.9140625,
      "learning_rate": 0.000488864406779661,
      "loss": 5.051725006103515,
      "step": 2315
    },
    {
      "epoch": 0.07733333333333334,
      "grad_norm": 2.578125,
      "learning_rate": 0.0004888220338983051,
      "loss": 5.294256591796875,
      "step": 2320
    },
    {
      "epoch": 0.0775,
      "grad_norm": 2.46875,
      "learning_rate": 0.0004887796610169491,
      "loss": 4.525927734375,
      "step": 2325
    },
    {
      "epoch": 0.07766666666666666,
      "grad_norm": 2.0625,
      "learning_rate": 0.0004887372881355932,
      "loss": 5.344731140136719,
      "step": 2330
    },
    {
      "epoch": 0.07783333333333334,
      "grad_norm": 1.5625,
      "learning_rate": 0.0004886949152542373,
      "loss": 4.549049758911133,
      "step": 2335
    },
    {
      "epoch": 0.078,
      "grad_norm": 1.265625,
      "learning_rate": 0.0004886525423728813,
      "loss": 4.471258163452148,
      "step": 2340
    },
    {
      "epoch": 0.07816666666666666,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004886101694915254,
      "loss": 4.961263275146484,
      "step": 2345
    },
    {
      "epoch": 0.07833333333333334,
      "grad_norm": 4.3125,
      "learning_rate": 0.0004885677966101695,
      "loss": 4.388873672485351,
      "step": 2350
    },
    {
      "epoch": 0.0785,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004885254237288136,
      "loss": 4.579301452636718,
      "step": 2355
    },
    {
      "epoch": 0.07866666666666666,
      "grad_norm": 1.3125,
      "learning_rate": 0.0004884830508474576,
      "loss": 4.870185089111328,
      "step": 2360
    },
    {
      "epoch": 0.07883333333333334,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004884406779661017,
      "loss": 5.2692726135253904,
      "step": 2365
    },
    {
      "epoch": 0.079,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0004883983050847458,
      "loss": 5.4795787811279295,
      "step": 2370
    },
    {
      "epoch": 0.07916666666666666,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0004883559322033899,
      "loss": 5.3281005859375,
      "step": 2375
    },
    {
      "epoch": 0.07933333333333334,
      "grad_norm": 1.9765625,
      "learning_rate": 0.0004883135593220339,
      "loss": 5.083594131469726,
      "step": 2380
    },
    {
      "epoch": 0.0795,
      "grad_norm": 1.359375,
      "learning_rate": 0.000488271186440678,
      "loss": 5.053059005737305,
      "step": 2385
    },
    {
      "epoch": 0.07966666666666666,
      "grad_norm": 1.7734375,
      "learning_rate": 0.000488228813559322,
      "loss": 5.712074279785156,
      "step": 2390
    },
    {
      "epoch": 0.07983333333333334,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0004881864406779661,
      "loss": 5.208698654174805,
      "step": 2395
    },
    {
      "epoch": 0.08,
      "grad_norm": 1.75,
      "learning_rate": 0.0004881440677966102,
      "loss": 5.734817886352539,
      "step": 2400
    },
    {
      "epoch": 0.08016666666666666,
      "grad_norm": 1.46875,
      "learning_rate": 0.00048810169491525425,
      "loss": 5.57525634765625,
      "step": 2405
    },
    {
      "epoch": 0.08033333333333334,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004880593220338983,
      "loss": 4.83381233215332,
      "step": 2410
    },
    {
      "epoch": 0.0805,
      "grad_norm": 2.15625,
      "learning_rate": 0.00048801694915254234,
      "loss": 5.227591323852539,
      "step": 2415
    },
    {
      "epoch": 0.08066666666666666,
      "grad_norm": 1.3671875,
      "learning_rate": 0.0004879745762711865,
      "loss": 4.703646087646485,
      "step": 2420
    },
    {
      "epoch": 0.08083333333333333,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00048793220338983053,
      "loss": 5.251033782958984,
      "step": 2425
    },
    {
      "epoch": 0.081,
      "grad_norm": 2.296875,
      "learning_rate": 0.0004878898305084746,
      "loss": 4.80841064453125,
      "step": 2430
    },
    {
      "epoch": 0.08116666666666666,
      "grad_norm": 1.453125,
      "learning_rate": 0.0004878474576271186,
      "loss": 5.2746223449707035,
      "step": 2435
    },
    {
      "epoch": 0.08133333333333333,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004878050847457627,
      "loss": 4.071428298950195,
      "step": 2440
    },
    {
      "epoch": 0.0815,
      "grad_norm": 1.453125,
      "learning_rate": 0.0004877627118644068,
      "loss": 4.8615867614746096,
      "step": 2445
    },
    {
      "epoch": 0.08166666666666667,
      "grad_norm": 2.75,
      "learning_rate": 0.00048772033898305086,
      "loss": 4.680633926391602,
      "step": 2450
    },
    {
      "epoch": 0.08183333333333333,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004876779661016949,
      "loss": 4.967341613769531,
      "step": 2455
    },
    {
      "epoch": 0.082,
      "grad_norm": 2.859375,
      "learning_rate": 0.000487635593220339,
      "loss": 5.053958892822266,
      "step": 2460
    },
    {
      "epoch": 0.08216666666666667,
      "grad_norm": 1.1875,
      "learning_rate": 0.0004875932203389831,
      "loss": 4.8070117950439455,
      "step": 2465
    },
    {
      "epoch": 0.08233333333333333,
      "grad_norm": 1.328125,
      "learning_rate": 0.00048755084745762714,
      "loss": 4.976894760131836,
      "step": 2470
    },
    {
      "epoch": 0.0825,
      "grad_norm": 1.265625,
      "learning_rate": 0.0004875084745762712,
      "loss": 5.239223861694336,
      "step": 2475
    },
    {
      "epoch": 0.08266666666666667,
      "grad_norm": 2.984375,
      "learning_rate": 0.0004874661016949153,
      "loss": 4.96092643737793,
      "step": 2480
    },
    {
      "epoch": 0.08283333333333333,
      "grad_norm": 2.125,
      "learning_rate": 0.0004874237288135593,
      "loss": 5.45496826171875,
      "step": 2485
    },
    {
      "epoch": 0.083,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0004873813559322034,
      "loss": 5.351957702636719,
      "step": 2490
    },
    {
      "epoch": 0.08316666666666667,
      "grad_norm": 2.15625,
      "learning_rate": 0.00048733898305084746,
      "loss": 5.469688415527344,
      "step": 2495
    },
    {
      "epoch": 0.08333333333333333,
      "grad_norm": 1.78125,
      "learning_rate": 0.00048729661016949156,
      "loss": 4.750885391235352,
      "step": 2500
    },
    {
      "epoch": 0.0835,
      "grad_norm": 1.6875,
      "learning_rate": 0.0004872542372881356,
      "loss": 4.939781951904297,
      "step": 2505
    },
    {
      "epoch": 0.08366666666666667,
      "grad_norm": 1.625,
      "learning_rate": 0.0004872118644067797,
      "loss": 4.8477325439453125,
      "step": 2510
    },
    {
      "epoch": 0.08383333333333333,
      "grad_norm": 2.09375,
      "learning_rate": 0.00048716949152542374,
      "loss": 5.459162902832031,
      "step": 2515
    },
    {
      "epoch": 0.084,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0004871271186440678,
      "loss": 4.993296432495117,
      "step": 2520
    },
    {
      "epoch": 0.08416666666666667,
      "grad_norm": 1.3046875,
      "learning_rate": 0.0004870847457627119,
      "loss": 5.752094268798828,
      "step": 2525
    },
    {
      "epoch": 0.08433333333333333,
      "grad_norm": 1.484375,
      "learning_rate": 0.0004870423728813559,
      "loss": 5.170803833007812,
      "step": 2530
    },
    {
      "epoch": 0.0845,
      "grad_norm": 2.515625,
      "learning_rate": 0.000487,
      "loss": 5.2818603515625,
      "step": 2535
    },
    {
      "epoch": 0.08466666666666667,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00048695762711864406,
      "loss": 5.231120300292969,
      "step": 2540
    },
    {
      "epoch": 0.08483333333333333,
      "grad_norm": 2.828125,
      "learning_rate": 0.00048691525423728816,
      "loss": 4.994842529296875,
      "step": 2545
    },
    {
      "epoch": 0.085,
      "grad_norm": 1.1328125,
      "learning_rate": 0.0004868728813559322,
      "loss": 4.238909530639648,
      "step": 2550
    },
    {
      "epoch": 0.08516666666666667,
      "grad_norm": 1.71875,
      "learning_rate": 0.00048683050847457625,
      "loss": 4.243403625488281,
      "step": 2555
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00048678813559322034,
      "loss": 5.2955268859863285,
      "step": 2560
    },
    {
      "epoch": 0.0855,
      "grad_norm": 1.3984375,
      "learning_rate": 0.00048674576271186444,
      "loss": 4.984169769287109,
      "step": 2565
    },
    {
      "epoch": 0.08566666666666667,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0004867033898305085,
      "loss": 4.924490356445313,
      "step": 2570
    },
    {
      "epoch": 0.08583333333333333,
      "grad_norm": 2.625,
      "learning_rate": 0.0004866610169491525,
      "loss": 4.939105224609375,
      "step": 2575
    },
    {
      "epoch": 0.086,
      "grad_norm": 2.53125,
      "learning_rate": 0.0004866186440677966,
      "loss": 5.385214233398438,
      "step": 2580
    },
    {
      "epoch": 0.08616666666666667,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0004865762711864407,
      "loss": 5.571084594726562,
      "step": 2585
    },
    {
      "epoch": 0.08633333333333333,
      "grad_norm": 1.875,
      "learning_rate": 0.00048653389830508476,
      "loss": 5.6062477111816404,
      "step": 2590
    },
    {
      "epoch": 0.0865,
      "grad_norm": 1.1796875,
      "learning_rate": 0.0004864915254237288,
      "loss": 4.257189559936523,
      "step": 2595
    },
    {
      "epoch": 0.08666666666666667,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00048644915254237285,
      "loss": 5.287985229492188,
      "step": 2600
    },
    {
      "epoch": 0.08683333333333333,
      "grad_norm": 1.4453125,
      "learning_rate": 0.000486406779661017,
      "loss": 4.639505004882812,
      "step": 2605
    },
    {
      "epoch": 0.087,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00048636440677966104,
      "loss": 5.05993881225586,
      "step": 2610
    },
    {
      "epoch": 0.08716666666666667,
      "grad_norm": 3.046875,
      "learning_rate": 0.0004863220338983051,
      "loss": 4.4543312072753904,
      "step": 2615
    },
    {
      "epoch": 0.08733333333333333,
      "grad_norm": 2.0,
      "learning_rate": 0.00048627966101694913,
      "loss": 5.091670227050781,
      "step": 2620
    },
    {
      "epoch": 0.0875,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004862372881355932,
      "loss": 5.273690032958984,
      "step": 2625
    },
    {
      "epoch": 0.08766666666666667,
      "grad_norm": 1.3515625,
      "learning_rate": 0.0004861949152542373,
      "loss": 4.839688491821289,
      "step": 2630
    },
    {
      "epoch": 0.08783333333333333,
      "grad_norm": 2.359375,
      "learning_rate": 0.00048615254237288137,
      "loss": 6.068355941772461,
      "step": 2635
    },
    {
      "epoch": 0.088,
      "grad_norm": 1.4609375,
      "learning_rate": 0.0004861101694915254,
      "loss": 5.600787353515625,
      "step": 2640
    },
    {
      "epoch": 0.08816666666666667,
      "grad_norm": 1.3828125,
      "learning_rate": 0.00048606779661016945,
      "loss": 4.740305328369141,
      "step": 2645
    },
    {
      "epoch": 0.08833333333333333,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0004860254237288136,
      "loss": 4.509867095947266,
      "step": 2650
    },
    {
      "epoch": 0.0885,
      "grad_norm": 1.484375,
      "learning_rate": 0.00048598305084745765,
      "loss": 5.393090057373047,
      "step": 2655
    },
    {
      "epoch": 0.08866666666666667,
      "grad_norm": 1.75,
      "learning_rate": 0.0004859406779661017,
      "loss": 5.27514877319336,
      "step": 2660
    },
    {
      "epoch": 0.08883333333333333,
      "grad_norm": 2.328125,
      "learning_rate": 0.00048589830508474573,
      "loss": 4.718387603759766,
      "step": 2665
    },
    {
      "epoch": 0.089,
      "grad_norm": 1.484375,
      "learning_rate": 0.0004858559322033899,
      "loss": 4.948278427124023,
      "step": 2670
    },
    {
      "epoch": 0.08916666666666667,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004858135593220339,
      "loss": 4.936165237426758,
      "step": 2675
    },
    {
      "epoch": 0.08933333333333333,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00048577118644067797,
      "loss": 5.001205062866211,
      "step": 2680
    },
    {
      "epoch": 0.0895,
      "grad_norm": 1.6328125,
      "learning_rate": 0.000485728813559322,
      "loss": 4.981669998168945,
      "step": 2685
    },
    {
      "epoch": 0.08966666666666667,
      "grad_norm": 1.796875,
      "learning_rate": 0.0004856864406779661,
      "loss": 4.151964569091797,
      "step": 2690
    },
    {
      "epoch": 0.08983333333333333,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0004856440677966102,
      "loss": 5.614269256591797,
      "step": 2695
    },
    {
      "epoch": 0.09,
      "grad_norm": 3.203125,
      "learning_rate": 0.00048560169491525425,
      "loss": 5.268524932861328,
      "step": 2700
    },
    {
      "epoch": 0.09016666666666667,
      "grad_norm": 1.5625,
      "learning_rate": 0.0004855593220338983,
      "loss": 4.9812568664550785,
      "step": 2705
    },
    {
      "epoch": 0.09033333333333333,
      "grad_norm": 1.734375,
      "learning_rate": 0.0004855169491525424,
      "loss": 5.310948181152344,
      "step": 2710
    },
    {
      "epoch": 0.0905,
      "grad_norm": 2.796875,
      "learning_rate": 0.0004854745762711865,
      "loss": 4.434418487548828,
      "step": 2715
    },
    {
      "epoch": 0.09066666666666667,
      "grad_norm": 1.2578125,
      "learning_rate": 0.00048543220338983053,
      "loss": 4.7774711608886715,
      "step": 2720
    },
    {
      "epoch": 0.09083333333333334,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00048538983050847457,
      "loss": 4.789752960205078,
      "step": 2725
    },
    {
      "epoch": 0.091,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0004853474576271186,
      "loss": 4.6548515319824215,
      "step": 2730
    },
    {
      "epoch": 0.09116666666666666,
      "grad_norm": 2.015625,
      "learning_rate": 0.0004853050847457627,
      "loss": 5.050655364990234,
      "step": 2735
    },
    {
      "epoch": 0.09133333333333334,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004852627118644068,
      "loss": 4.731689071655273,
      "step": 2740
    },
    {
      "epoch": 0.0915,
      "grad_norm": 1.78125,
      "learning_rate": 0.00048522033898305085,
      "loss": 4.9891510009765625,
      "step": 2745
    },
    {
      "epoch": 0.09166666666666666,
      "grad_norm": 1.328125,
      "learning_rate": 0.0004851779661016949,
      "loss": 4.95282096862793,
      "step": 2750
    },
    {
      "epoch": 0.09183333333333334,
      "grad_norm": 2.265625,
      "learning_rate": 0.000485135593220339,
      "loss": 4.5231468200683596,
      "step": 2755
    },
    {
      "epoch": 0.092,
      "grad_norm": 1.375,
      "learning_rate": 0.0004850932203389831,
      "loss": 5.170042419433594,
      "step": 2760
    },
    {
      "epoch": 0.09216666666666666,
      "grad_norm": 1.828125,
      "learning_rate": 0.00048505084745762713,
      "loss": 4.909615325927734,
      "step": 2765
    },
    {
      "epoch": 0.09233333333333334,
      "grad_norm": 2.59375,
      "learning_rate": 0.0004850084745762712,
      "loss": 5.4795387268066404,
      "step": 2770
    },
    {
      "epoch": 0.0925,
      "grad_norm": 3.703125,
      "learning_rate": 0.00048496610169491527,
      "loss": 4.769349670410156,
      "step": 2775
    },
    {
      "epoch": 0.09266666666666666,
      "grad_norm": 1.8125,
      "learning_rate": 0.0004849237288135593,
      "loss": 4.291003799438476,
      "step": 2780
    },
    {
      "epoch": 0.09283333333333334,
      "grad_norm": 2.078125,
      "learning_rate": 0.0004848813559322034,
      "loss": 4.976671600341797,
      "step": 2785
    },
    {
      "epoch": 0.093,
      "grad_norm": 1.71875,
      "learning_rate": 0.00048483898305084745,
      "loss": 5.2169334411621096,
      "step": 2790
    },
    {
      "epoch": 0.09316666666666666,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00048479661016949155,
      "loss": 5.167708969116211,
      "step": 2795
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 2.609375,
      "learning_rate": 0.0004847542372881356,
      "loss": 4.927289581298828,
      "step": 2800
    },
    {
      "epoch": 0.0935,
      "grad_norm": 1.9375,
      "learning_rate": 0.0004847118644067797,
      "loss": 4.976690673828125,
      "step": 2805
    },
    {
      "epoch": 0.09366666666666666,
      "grad_norm": 1.2734375,
      "learning_rate": 0.00048466949152542373,
      "loss": 4.464958953857422,
      "step": 2810
    },
    {
      "epoch": 0.09383333333333334,
      "grad_norm": 1.703125,
      "learning_rate": 0.00048462711864406783,
      "loss": 5.534920120239258,
      "step": 2815
    },
    {
      "epoch": 0.094,
      "grad_norm": 3.0625,
      "learning_rate": 0.0004845847457627119,
      "loss": 5.629951095581054,
      "step": 2820
    },
    {
      "epoch": 0.09416666666666666,
      "grad_norm": 2.28125,
      "learning_rate": 0.0004845423728813559,
      "loss": 5.216999816894531,
      "step": 2825
    },
    {
      "epoch": 0.09433333333333334,
      "grad_norm": 1.515625,
      "learning_rate": 0.0004845,
      "loss": 4.754840087890625,
      "step": 2830
    },
    {
      "epoch": 0.0945,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00048445762711864406,
      "loss": 4.7606056213378904,
      "step": 2835
    },
    {
      "epoch": 0.09466666666666666,
      "grad_norm": 1.3671875,
      "learning_rate": 0.00048441525423728815,
      "loss": 5.1474159240722654,
      "step": 2840
    },
    {
      "epoch": 0.09483333333333334,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0004843728813559322,
      "loss": 5.239756774902344,
      "step": 2845
    },
    {
      "epoch": 0.095,
      "grad_norm": 1.3359375,
      "learning_rate": 0.0004843305084745763,
      "loss": 5.106073379516602,
      "step": 2850
    },
    {
      "epoch": 0.09516666666666666,
      "grad_norm": 1.59375,
      "learning_rate": 0.00048428813559322034,
      "loss": 4.9801078796386715,
      "step": 2855
    },
    {
      "epoch": 0.09533333333333334,
      "grad_norm": 1.1484375,
      "learning_rate": 0.00048424576271186443,
      "loss": 4.418022918701172,
      "step": 2860
    },
    {
      "epoch": 0.0955,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0004842033898305085,
      "loss": 4.859355926513672,
      "step": 2865
    },
    {
      "epoch": 0.09566666666666666,
      "grad_norm": 2.96875,
      "learning_rate": 0.0004841610169491525,
      "loss": 5.224446868896484,
      "step": 2870
    },
    {
      "epoch": 0.09583333333333334,
      "grad_norm": 1.421875,
      "learning_rate": 0.0004841186440677966,
      "loss": 5.193921661376953,
      "step": 2875
    },
    {
      "epoch": 0.096,
      "grad_norm": 3.234375,
      "learning_rate": 0.0004840762711864407,
      "loss": 5.083211135864258,
      "step": 2880
    },
    {
      "epoch": 0.09616666666666666,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00048403389830508476,
      "loss": 4.630797958374023,
      "step": 2885
    },
    {
      "epoch": 0.09633333333333334,
      "grad_norm": 1.453125,
      "learning_rate": 0.0004839915254237288,
      "loss": 5.406993103027344,
      "step": 2890
    },
    {
      "epoch": 0.0965,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0004839491525423729,
      "loss": 4.5140739440917965,
      "step": 2895
    },
    {
      "epoch": 0.09666666666666666,
      "grad_norm": 1.1875,
      "learning_rate": 0.000483906779661017,
      "loss": 4.012356185913086,
      "step": 2900
    },
    {
      "epoch": 0.09683333333333333,
      "grad_norm": 1.359375,
      "learning_rate": 0.00048386440677966104,
      "loss": 5.484906005859375,
      "step": 2905
    },
    {
      "epoch": 0.097,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0004838220338983051,
      "loss": 4.968634414672851,
      "step": 2910
    },
    {
      "epoch": 0.09716666666666667,
      "grad_norm": 3.390625,
      "learning_rate": 0.0004837796610169491,
      "loss": 4.7572792053222654,
      "step": 2915
    },
    {
      "epoch": 0.09733333333333333,
      "grad_norm": 1.34375,
      "learning_rate": 0.00048373728813559327,
      "loss": 4.369121551513672,
      "step": 2920
    },
    {
      "epoch": 0.0975,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0004836949152542373,
      "loss": 5.539045333862305,
      "step": 2925
    },
    {
      "epoch": 0.09766666666666667,
      "grad_norm": 1.515625,
      "learning_rate": 0.00048365254237288136,
      "loss": 4.275678253173828,
      "step": 2930
    },
    {
      "epoch": 0.09783333333333333,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0004836101694915254,
      "loss": 4.472253036499024,
      "step": 2935
    },
    {
      "epoch": 0.098,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004835677966101695,
      "loss": 4.679821014404297,
      "step": 2940
    },
    {
      "epoch": 0.09816666666666667,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0004835254237288136,
      "loss": 5.501139068603516,
      "step": 2945
    },
    {
      "epoch": 0.09833333333333333,
      "grad_norm": 1.5,
      "learning_rate": 0.00048348305084745764,
      "loss": 5.207197189331055,
      "step": 2950
    },
    {
      "epoch": 0.0985,
      "grad_norm": 2.0625,
      "learning_rate": 0.0004834406779661017,
      "loss": 4.703521728515625,
      "step": 2955
    },
    {
      "epoch": 0.09866666666666667,
      "grad_norm": 2.265625,
      "learning_rate": 0.0004833983050847457,
      "loss": 4.4321849822998045,
      "step": 2960
    },
    {
      "epoch": 0.09883333333333333,
      "grad_norm": 2.109375,
      "learning_rate": 0.0004833559322033899,
      "loss": 5.036144256591797,
      "step": 2965
    },
    {
      "epoch": 0.099,
      "grad_norm": 2.390625,
      "learning_rate": 0.0004833135593220339,
      "loss": 5.266612243652344,
      "step": 2970
    },
    {
      "epoch": 0.09916666666666667,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00048327118644067796,
      "loss": 3.9295028686523437,
      "step": 2975
    },
    {
      "epoch": 0.09933333333333333,
      "grad_norm": 1.8046875,
      "learning_rate": 0.000483228813559322,
      "loss": 5.597909545898437,
      "step": 2980
    },
    {
      "epoch": 0.0995,
      "grad_norm": 2.8125,
      "learning_rate": 0.00048318644067796616,
      "loss": 5.000534439086914,
      "step": 2985
    },
    {
      "epoch": 0.09966666666666667,
      "grad_norm": 2.78125,
      "learning_rate": 0.0004831440677966102,
      "loss": 5.357296752929687,
      "step": 2990
    },
    {
      "epoch": 0.09983333333333333,
      "grad_norm": 1.703125,
      "learning_rate": 0.00048310169491525424,
      "loss": 4.180673980712891,
      "step": 2995
    },
    {
      "epoch": 0.1,
      "grad_norm": 1.984375,
      "learning_rate": 0.0004830593220338983,
      "loss": 4.637648010253907,
      "step": 3000
    },
    {
      "epoch": 0.10016666666666667,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0004830169491525424,
      "loss": 4.5876922607421875,
      "step": 3005
    },
    {
      "epoch": 0.10033333333333333,
      "grad_norm": 1.609375,
      "learning_rate": 0.0004829745762711865,
      "loss": 4.92896728515625,
      "step": 3010
    },
    {
      "epoch": 0.1005,
      "grad_norm": 1.53125,
      "learning_rate": 0.0004829322033898305,
      "loss": 4.470016098022461,
      "step": 3015
    },
    {
      "epoch": 0.10066666666666667,
      "grad_norm": 2.0625,
      "learning_rate": 0.00048288983050847456,
      "loss": 4.996421051025391,
      "step": 3020
    },
    {
      "epoch": 0.10083333333333333,
      "grad_norm": 1.2578125,
      "learning_rate": 0.00048284745762711866,
      "loss": 4.86016616821289,
      "step": 3025
    },
    {
      "epoch": 0.101,
      "grad_norm": 2.609375,
      "learning_rate": 0.00048280508474576276,
      "loss": 5.288780975341797,
      "step": 3030
    },
    {
      "epoch": 0.10116666666666667,
      "grad_norm": 1.3359375,
      "learning_rate": 0.0004827627118644068,
      "loss": 5.097943878173828,
      "step": 3035
    },
    {
      "epoch": 0.10133333333333333,
      "grad_norm": 1.484375,
      "learning_rate": 0.00048272033898305084,
      "loss": 4.934619140625,
      "step": 3040
    },
    {
      "epoch": 0.1015,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004826779661016949,
      "loss": 4.833595275878906,
      "step": 3045
    },
    {
      "epoch": 0.10166666666666667,
      "grad_norm": 1.859375,
      "learning_rate": 0.000482635593220339,
      "loss": 5.2865348815917965,
      "step": 3050
    },
    {
      "epoch": 0.10183333333333333,
      "grad_norm": 1.734375,
      "learning_rate": 0.0004825932203389831,
      "loss": 5.0515296936035154,
      "step": 3055
    },
    {
      "epoch": 0.102,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004825508474576271,
      "loss": 4.4306800842285154,
      "step": 3060
    },
    {
      "epoch": 0.10216666666666667,
      "grad_norm": 1.21875,
      "learning_rate": 0.00048250847457627117,
      "loss": 5.0761974334716795,
      "step": 3065
    },
    {
      "epoch": 0.10233333333333333,
      "grad_norm": 1.1328125,
      "learning_rate": 0.00048246610169491526,
      "loss": 4.615287399291992,
      "step": 3070
    },
    {
      "epoch": 0.1025,
      "grad_norm": 1.3671875,
      "learning_rate": 0.00048242372881355936,
      "loss": 4.841255950927734,
      "step": 3075
    },
    {
      "epoch": 0.10266666666666667,
      "grad_norm": 1.90625,
      "learning_rate": 0.0004823813559322034,
      "loss": 4.69935302734375,
      "step": 3080
    },
    {
      "epoch": 0.10283333333333333,
      "grad_norm": 1.8125,
      "learning_rate": 0.00048233898305084745,
      "loss": 4.924253845214844,
      "step": 3085
    },
    {
      "epoch": 0.103,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00048229661016949154,
      "loss": 5.46904296875,
      "step": 3090
    },
    {
      "epoch": 0.10316666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004822542372881356,
      "loss": 5.581669616699219,
      "step": 3095
    },
    {
      "epoch": 0.10333333333333333,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004822118644067797,
      "loss": 5.560269165039062,
      "step": 3100
    },
    {
      "epoch": 0.1035,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004821694915254237,
      "loss": 5.0101165771484375,
      "step": 3105
    },
    {
      "epoch": 0.10366666666666667,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0004821271186440678,
      "loss": 5.431378173828125,
      "step": 3110
    },
    {
      "epoch": 0.10383333333333333,
      "grad_norm": 1.421875,
      "learning_rate": 0.00048208474576271187,
      "loss": 4.99561653137207,
      "step": 3115
    },
    {
      "epoch": 0.104,
      "grad_norm": 4.03125,
      "learning_rate": 0.00048204237288135596,
      "loss": 4.962968444824218,
      "step": 3120
    },
    {
      "epoch": 0.10416666666666667,
      "grad_norm": 1.4765625,
      "learning_rate": 0.000482,
      "loss": 5.221942138671875,
      "step": 3125
    },
    {
      "epoch": 0.10433333333333333,
      "grad_norm": 1.578125,
      "learning_rate": 0.0004819576271186441,
      "loss": 4.9251243591308596,
      "step": 3130
    },
    {
      "epoch": 0.1045,
      "grad_norm": 1.3671875,
      "learning_rate": 0.00048191525423728815,
      "loss": 4.231068420410156,
      "step": 3135
    },
    {
      "epoch": 0.10466666666666667,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004818728813559322,
      "loss": 4.407982254028321,
      "step": 3140
    },
    {
      "epoch": 0.10483333333333333,
      "grad_norm": 1.3671875,
      "learning_rate": 0.0004818305084745763,
      "loss": 5.350490570068359,
      "step": 3145
    },
    {
      "epoch": 0.105,
      "grad_norm": 1.5625,
      "learning_rate": 0.00048178813559322033,
      "loss": 4.980064010620117,
      "step": 3150
    },
    {
      "epoch": 0.10516666666666667,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0004817457627118644,
      "loss": 4.418450927734375,
      "step": 3155
    },
    {
      "epoch": 0.10533333333333333,
      "grad_norm": 1.484375,
      "learning_rate": 0.00048170338983050847,
      "loss": 4.928978729248047,
      "step": 3160
    },
    {
      "epoch": 0.1055,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00048166101694915257,
      "loss": 5.202594757080078,
      "step": 3165
    },
    {
      "epoch": 0.10566666666666667,
      "grad_norm": 1.546875,
      "learning_rate": 0.0004816186440677966,
      "loss": 4.733185577392578,
      "step": 3170
    },
    {
      "epoch": 0.10583333333333333,
      "grad_norm": 2.28125,
      "learning_rate": 0.0004815762711864407,
      "loss": 5.265592575073242,
      "step": 3175
    },
    {
      "epoch": 0.106,
      "grad_norm": 1.640625,
      "learning_rate": 0.00048153389830508475,
      "loss": 4.81780776977539,
      "step": 3180
    },
    {
      "epoch": 0.10616666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 0.0004814915254237288,
      "loss": 5.491497421264649,
      "step": 3185
    },
    {
      "epoch": 0.10633333333333334,
      "grad_norm": 1.3671875,
      "learning_rate": 0.0004814491525423729,
      "loss": 5.056843566894531,
      "step": 3190
    },
    {
      "epoch": 0.1065,
      "grad_norm": 1.390625,
      "learning_rate": 0.000481406779661017,
      "loss": 5.359005737304687,
      "step": 3195
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 1.453125,
      "learning_rate": 0.00048136440677966103,
      "loss": 3.881020355224609,
      "step": 3200
    },
    {
      "epoch": 0.10683333333333334,
      "grad_norm": 3.578125,
      "learning_rate": 0.00048132203389830507,
      "loss": 5.445904541015625,
      "step": 3205
    },
    {
      "epoch": 0.107,
      "grad_norm": 1.65625,
      "learning_rate": 0.00048127966101694917,
      "loss": 4.793397521972656,
      "step": 3210
    },
    {
      "epoch": 0.10716666666666666,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00048123728813559327,
      "loss": 4.709992980957031,
      "step": 3215
    },
    {
      "epoch": 0.10733333333333334,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004811949152542373,
      "loss": 4.7820991516113285,
      "step": 3220
    },
    {
      "epoch": 0.1075,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00048115254237288135,
      "loss": 4.551735687255859,
      "step": 3225
    },
    {
      "epoch": 0.10766666666666666,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0004811101694915254,
      "loss": 4.374137496948242,
      "step": 3230
    },
    {
      "epoch": 0.10783333333333334,
      "grad_norm": 2.546875,
      "learning_rate": 0.00048106779661016955,
      "loss": 5.448233032226563,
      "step": 3235
    },
    {
      "epoch": 0.108,
      "grad_norm": 1.3671875,
      "learning_rate": 0.0004810254237288136,
      "loss": 4.16741943359375,
      "step": 3240
    },
    {
      "epoch": 0.10816666666666666,
      "grad_norm": 1.28125,
      "learning_rate": 0.00048098305084745763,
      "loss": 5.166444396972656,
      "step": 3245
    },
    {
      "epoch": 0.10833333333333334,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0004809406779661017,
      "loss": 4.9480735778808596,
      "step": 3250
    },
    {
      "epoch": 0.1085,
      "grad_norm": 1.328125,
      "learning_rate": 0.00048089830508474577,
      "loss": 5.4765480041503904,
      "step": 3255
    },
    {
      "epoch": 0.10866666666666666,
      "grad_norm": 1.765625,
      "learning_rate": 0.00048085593220338987,
      "loss": 5.374172210693359,
      "step": 3260
    },
    {
      "epoch": 0.10883333333333334,
      "grad_norm": 1.296875,
      "learning_rate": 0.0004808135593220339,
      "loss": 5.258495330810547,
      "step": 3265
    },
    {
      "epoch": 0.109,
      "grad_norm": 1.515625,
      "learning_rate": 0.00048077118644067795,
      "loss": 5.387799453735352,
      "step": 3270
    },
    {
      "epoch": 0.10916666666666666,
      "grad_norm": 1.609375,
      "learning_rate": 0.000480728813559322,
      "loss": 5.200325012207031,
      "step": 3275
    },
    {
      "epoch": 0.10933333333333334,
      "grad_norm": 1.671875,
      "learning_rate": 0.00048068644067796615,
      "loss": 4.441350936889648,
      "step": 3280
    },
    {
      "epoch": 0.1095,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004806440677966102,
      "loss": 4.741962432861328,
      "step": 3285
    },
    {
      "epoch": 0.10966666666666666,
      "grad_norm": 2.09375,
      "learning_rate": 0.00048060169491525423,
      "loss": 4.796028518676758,
      "step": 3290
    },
    {
      "epoch": 0.10983333333333334,
      "grad_norm": 1.484375,
      "learning_rate": 0.0004805593220338983,
      "loss": 5.313510131835938,
      "step": 3295
    },
    {
      "epoch": 0.11,
      "grad_norm": 2.40625,
      "learning_rate": 0.00048051694915254243,
      "loss": 4.541725540161133,
      "step": 3300
    },
    {
      "epoch": 0.11016666666666666,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00048047457627118647,
      "loss": 4.609641265869141,
      "step": 3305
    },
    {
      "epoch": 0.11033333333333334,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0004804322033898305,
      "loss": 4.983131408691406,
      "step": 3310
    },
    {
      "epoch": 0.1105,
      "grad_norm": 1.46875,
      "learning_rate": 0.00048038983050847456,
      "loss": 5.1131938934326175,
      "step": 3315
    },
    {
      "epoch": 0.11066666666666666,
      "grad_norm": 1.3984375,
      "learning_rate": 0.00048034745762711865,
      "loss": 5.308805847167969,
      "step": 3320
    },
    {
      "epoch": 0.11083333333333334,
      "grad_norm": 1.71875,
      "learning_rate": 0.00048030508474576275,
      "loss": 4.246957397460937,
      "step": 3325
    },
    {
      "epoch": 0.111,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0004802627118644068,
      "loss": 4.61170654296875,
      "step": 3330
    },
    {
      "epoch": 0.11116666666666666,
      "grad_norm": 1.46875,
      "learning_rate": 0.00048022033898305084,
      "loss": 4.760579299926758,
      "step": 3335
    },
    {
      "epoch": 0.11133333333333334,
      "grad_norm": 2.859375,
      "learning_rate": 0.00048017796610169493,
      "loss": 5.291055297851562,
      "step": 3340
    },
    {
      "epoch": 0.1115,
      "grad_norm": 1.2109375,
      "learning_rate": 0.00048013559322033903,
      "loss": 4.603414916992188,
      "step": 3345
    },
    {
      "epoch": 0.11166666666666666,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0004800932203389831,
      "loss": 4.551205444335937,
      "step": 3350
    },
    {
      "epoch": 0.11183333333333334,
      "grad_norm": 1.1953125,
      "learning_rate": 0.0004800508474576271,
      "loss": 4.990020751953125,
      "step": 3355
    },
    {
      "epoch": 0.112,
      "grad_norm": 1.703125,
      "learning_rate": 0.00048000847457627116,
      "loss": 4.834054565429687,
      "step": 3360
    },
    {
      "epoch": 0.11216666666666666,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00047996610169491526,
      "loss": 4.814167022705078,
      "step": 3365
    },
    {
      "epoch": 0.11233333333333333,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00047992372881355935,
      "loss": 5.079128265380859,
      "step": 3370
    },
    {
      "epoch": 0.1125,
      "grad_norm": 1.328125,
      "learning_rate": 0.0004798813559322034,
      "loss": 4.7446643829345705,
      "step": 3375
    },
    {
      "epoch": 0.11266666666666666,
      "grad_norm": 1.3046875,
      "learning_rate": 0.00047983898305084744,
      "loss": 4.2852783203125,
      "step": 3380
    },
    {
      "epoch": 0.11283333333333333,
      "grad_norm": 2.1875,
      "learning_rate": 0.00047979661016949154,
      "loss": 4.387019348144531,
      "step": 3385
    },
    {
      "epoch": 0.113,
      "grad_norm": 1.625,
      "learning_rate": 0.00047975423728813563,
      "loss": 4.524860382080078,
      "step": 3390
    },
    {
      "epoch": 0.11316666666666667,
      "grad_norm": 1.2890625,
      "learning_rate": 0.0004797118644067797,
      "loss": 5.211258316040039,
      "step": 3395
    },
    {
      "epoch": 0.11333333333333333,
      "grad_norm": 2.359375,
      "learning_rate": 0.0004796694915254237,
      "loss": 4.590516662597656,
      "step": 3400
    },
    {
      "epoch": 0.1135,
      "grad_norm": 4.65625,
      "learning_rate": 0.0004796271186440678,
      "loss": 4.820365905761719,
      "step": 3405
    },
    {
      "epoch": 0.11366666666666667,
      "grad_norm": 1.5625,
      "learning_rate": 0.00047958474576271186,
      "loss": 5.094480895996094,
      "step": 3410
    },
    {
      "epoch": 0.11383333333333333,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00047954237288135596,
      "loss": 4.653691101074219,
      "step": 3415
    },
    {
      "epoch": 0.114,
      "grad_norm": 2.0625,
      "learning_rate": 0.0004795,
      "loss": 5.225972747802734,
      "step": 3420
    },
    {
      "epoch": 0.11416666666666667,
      "grad_norm": 1.390625,
      "learning_rate": 0.0004794576271186441,
      "loss": 5.205631256103516,
      "step": 3425
    },
    {
      "epoch": 0.11433333333333333,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00047941525423728814,
      "loss": 4.927771377563476,
      "step": 3430
    },
    {
      "epoch": 0.1145,
      "grad_norm": 4.375,
      "learning_rate": 0.00047937288135593224,
      "loss": 4.8748046875,
      "step": 3435
    },
    {
      "epoch": 0.11466666666666667,
      "grad_norm": 1.3046875,
      "learning_rate": 0.0004793305084745763,
      "loss": 5.145108795166015,
      "step": 3440
    },
    {
      "epoch": 0.11483333333333333,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0004792881355932204,
      "loss": 4.4389495849609375,
      "step": 3445
    },
    {
      "epoch": 0.115,
      "grad_norm": 1.625,
      "learning_rate": 0.0004792457627118644,
      "loss": 5.261405181884766,
      "step": 3450
    },
    {
      "epoch": 0.11516666666666667,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00047920338983050846,
      "loss": 4.143540573120117,
      "step": 3455
    },
    {
      "epoch": 0.11533333333333333,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00047916101694915256,
      "loss": 4.190380096435547,
      "step": 3460
    },
    {
      "epoch": 0.1155,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0004791186440677966,
      "loss": 4.807784652709961,
      "step": 3465
    },
    {
      "epoch": 0.11566666666666667,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004790762711864407,
      "loss": 4.579328155517578,
      "step": 3470
    },
    {
      "epoch": 0.11583333333333333,
      "grad_norm": 1.4609375,
      "learning_rate": 0.00047903389830508474,
      "loss": 4.791481781005859,
      "step": 3475
    },
    {
      "epoch": 0.116,
      "grad_norm": 1.546875,
      "learning_rate": 0.00047899152542372884,
      "loss": 5.235961532592773,
      "step": 3480
    },
    {
      "epoch": 0.11616666666666667,
      "grad_norm": 2.078125,
      "learning_rate": 0.0004789491525423729,
      "loss": 4.478218078613281,
      "step": 3485
    },
    {
      "epoch": 0.11633333333333333,
      "grad_norm": 1.4765625,
      "learning_rate": 0.000478906779661017,
      "loss": 5.020331192016601,
      "step": 3490
    },
    {
      "epoch": 0.1165,
      "grad_norm": 1.359375,
      "learning_rate": 0.000478864406779661,
      "loss": 4.973201751708984,
      "step": 3495
    },
    {
      "epoch": 0.11666666666666667,
      "grad_norm": 8.4375,
      "learning_rate": 0.00047882203389830507,
      "loss": 4.2911731719970705,
      "step": 3500
    },
    {
      "epoch": 0.11683333333333333,
      "grad_norm": 4.25,
      "learning_rate": 0.00047877966101694916,
      "loss": 4.975287628173828,
      "step": 3505
    },
    {
      "epoch": 0.117,
      "grad_norm": 1.578125,
      "learning_rate": 0.00047873728813559326,
      "loss": 5.269934844970703,
      "step": 3510
    },
    {
      "epoch": 0.11716666666666667,
      "grad_norm": 1.578125,
      "learning_rate": 0.0004786949152542373,
      "loss": 4.841497421264648,
      "step": 3515
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00047865254237288135,
      "loss": 4.4092460632324215,
      "step": 3520
    },
    {
      "epoch": 0.1175,
      "grad_norm": 1.84375,
      "learning_rate": 0.00047861016949152544,
      "loss": 5.133053970336914,
      "step": 3525
    },
    {
      "epoch": 0.11766666666666667,
      "grad_norm": 1.2109375,
      "learning_rate": 0.00047856779661016954,
      "loss": 4.7821296691894535,
      "step": 3530
    },
    {
      "epoch": 0.11783333333333333,
      "grad_norm": 2.21875,
      "learning_rate": 0.0004785254237288136,
      "loss": 4.557076644897461,
      "step": 3535
    },
    {
      "epoch": 0.118,
      "grad_norm": 1.4140625,
      "learning_rate": 0.0004784830508474576,
      "loss": 4.934725189208985,
      "step": 3540
    },
    {
      "epoch": 0.11816666666666667,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00047844067796610167,
      "loss": 4.15893325805664,
      "step": 3545
    },
    {
      "epoch": 0.11833333333333333,
      "grad_norm": 10.0625,
      "learning_rate": 0.0004783983050847458,
      "loss": 4.564731216430664,
      "step": 3550
    },
    {
      "epoch": 0.1185,
      "grad_norm": 2.90625,
      "learning_rate": 0.00047835593220338986,
      "loss": 4.555916213989258,
      "step": 3555
    },
    {
      "epoch": 0.11866666666666667,
      "grad_norm": 2.984375,
      "learning_rate": 0.0004783135593220339,
      "loss": 4.94422607421875,
      "step": 3560
    },
    {
      "epoch": 0.11883333333333333,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00047827118644067795,
      "loss": 5.612595748901367,
      "step": 3565
    },
    {
      "epoch": 0.119,
      "grad_norm": 1.8125,
      "learning_rate": 0.000478228813559322,
      "loss": 4.352689743041992,
      "step": 3570
    },
    {
      "epoch": 0.11916666666666667,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00047818644067796614,
      "loss": 4.009795379638672,
      "step": 3575
    },
    {
      "epoch": 0.11933333333333333,
      "grad_norm": 1.375,
      "learning_rate": 0.0004781440677966102,
      "loss": 5.098500823974609,
      "step": 3580
    },
    {
      "epoch": 0.1195,
      "grad_norm": 1.609375,
      "learning_rate": 0.00047810169491525423,
      "loss": 4.618639755249023,
      "step": 3585
    },
    {
      "epoch": 0.11966666666666667,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00047805932203389827,
      "loss": 5.217449951171875,
      "step": 3590
    },
    {
      "epoch": 0.11983333333333333,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004780169491525424,
      "loss": 4.766886138916016,
      "step": 3595
    },
    {
      "epoch": 0.12,
      "grad_norm": 1.421875,
      "learning_rate": 0.00047797457627118647,
      "loss": 3.9875717163085938,
      "step": 3600
    },
    {
      "epoch": 0.12016666666666667,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0004779322033898305,
      "loss": 4.986046600341797,
      "step": 3605
    },
    {
      "epoch": 0.12033333333333333,
      "grad_norm": 1.4140625,
      "learning_rate": 0.00047788983050847455,
      "loss": 5.036650085449219,
      "step": 3610
    },
    {
      "epoch": 0.1205,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004778474576271187,
      "loss": 4.489693832397461,
      "step": 3615
    },
    {
      "epoch": 0.12066666666666667,
      "grad_norm": 1.421875,
      "learning_rate": 0.00047780508474576275,
      "loss": 4.512239456176758,
      "step": 3620
    },
    {
      "epoch": 0.12083333333333333,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0004777627118644068,
      "loss": 4.327908706665039,
      "step": 3625
    },
    {
      "epoch": 0.121,
      "grad_norm": 2.390625,
      "learning_rate": 0.00047772033898305083,
      "loss": 5.2388145446777346,
      "step": 3630
    },
    {
      "epoch": 0.12116666666666667,
      "grad_norm": 2.375,
      "learning_rate": 0.00047767796610169493,
      "loss": 4.601805877685547,
      "step": 3635
    },
    {
      "epoch": 0.12133333333333333,
      "grad_norm": 2.359375,
      "learning_rate": 0.000477635593220339,
      "loss": 4.880634689331055,
      "step": 3640
    },
    {
      "epoch": 0.1215,
      "grad_norm": 2.171875,
      "learning_rate": 0.00047759322033898307,
      "loss": 4.895647430419922,
      "step": 3645
    },
    {
      "epoch": 0.12166666666666667,
      "grad_norm": 2.71875,
      "learning_rate": 0.0004775508474576271,
      "loss": 4.800452804565429,
      "step": 3650
    },
    {
      "epoch": 0.12183333333333334,
      "grad_norm": 1.640625,
      "learning_rate": 0.0004775084745762712,
      "loss": 4.772194290161133,
      "step": 3655
    },
    {
      "epoch": 0.122,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0004774661016949153,
      "loss": 4.757567596435547,
      "step": 3660
    },
    {
      "epoch": 0.12216666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00047742372881355935,
      "loss": 5.378155136108399,
      "step": 3665
    },
    {
      "epoch": 0.12233333333333334,
      "grad_norm": 1.828125,
      "learning_rate": 0.0004773813559322034,
      "loss": 5.006510162353516,
      "step": 3670
    },
    {
      "epoch": 0.1225,
      "grad_norm": 1.3828125,
      "learning_rate": 0.00047733898305084743,
      "loss": 4.845058441162109,
      "step": 3675
    },
    {
      "epoch": 0.12266666666666666,
      "grad_norm": 1.46875,
      "learning_rate": 0.00047729661016949153,
      "loss": 4.92706069946289,
      "step": 3680
    },
    {
      "epoch": 0.12283333333333334,
      "grad_norm": 2.640625,
      "learning_rate": 0.00047725423728813563,
      "loss": 4.6046302795410154,
      "step": 3685
    },
    {
      "epoch": 0.123,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00047721186440677967,
      "loss": 5.0575309753417965,
      "step": 3690
    },
    {
      "epoch": 0.12316666666666666,
      "grad_norm": 1.703125,
      "learning_rate": 0.0004771694915254237,
      "loss": 5.243262481689453,
      "step": 3695
    },
    {
      "epoch": 0.12333333333333334,
      "grad_norm": 2.4375,
      "learning_rate": 0.0004771271186440678,
      "loss": 4.364955139160156,
      "step": 3700
    },
    {
      "epoch": 0.1235,
      "grad_norm": 3.28125,
      "learning_rate": 0.00047708474576271185,
      "loss": 5.359066772460937,
      "step": 3705
    },
    {
      "epoch": 0.12366666666666666,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00047704237288135595,
      "loss": 4.783994674682617,
      "step": 3710
    },
    {
      "epoch": 0.12383333333333334,
      "grad_norm": 1.75,
      "learning_rate": 0.000477,
      "loss": 5.105522918701172,
      "step": 3715
    },
    {
      "epoch": 0.124,
      "grad_norm": 1.28125,
      "learning_rate": 0.0004769576271186441,
      "loss": 4.556591796875,
      "step": 3720
    },
    {
      "epoch": 0.12416666666666666,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00047691525423728813,
      "loss": 4.574559020996094,
      "step": 3725
    },
    {
      "epoch": 0.12433333333333334,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00047687288135593223,
      "loss": 4.646670532226563,
      "step": 3730
    },
    {
      "epoch": 0.1245,
      "grad_norm": 1.71875,
      "learning_rate": 0.0004768305084745763,
      "loss": 5.0652423858642575,
      "step": 3735
    },
    {
      "epoch": 0.12466666666666666,
      "grad_norm": 1.34375,
      "learning_rate": 0.00047678813559322037,
      "loss": 4.762568664550781,
      "step": 3740
    },
    {
      "epoch": 0.12483333333333334,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0004767457627118644,
      "loss": 4.692954635620117,
      "step": 3745
    },
    {
      "epoch": 0.125,
      "grad_norm": 1.578125,
      "learning_rate": 0.00047670338983050846,
      "loss": 5.0898487091064455,
      "step": 3750
    },
    {
      "epoch": 0.12516666666666668,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00047666101694915255,
      "loss": 4.792494201660157,
      "step": 3755
    },
    {
      "epoch": 0.12533333333333332,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00047661864406779665,
      "loss": 5.068257904052734,
      "step": 3760
    },
    {
      "epoch": 0.1255,
      "grad_norm": 1.2109375,
      "learning_rate": 0.0004765762711864407,
      "loss": 4.183868408203125,
      "step": 3765
    },
    {
      "epoch": 0.12566666666666668,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00047653389830508474,
      "loss": 4.803428268432617,
      "step": 3770
    },
    {
      "epoch": 0.12583333333333332,
      "grad_norm": 1.546875,
      "learning_rate": 0.00047649152542372883,
      "loss": 4.417502593994141,
      "step": 3775
    },
    {
      "epoch": 0.126,
      "grad_norm": 1.71875,
      "learning_rate": 0.0004764491525423729,
      "loss": 5.073789596557617,
      "step": 3780
    },
    {
      "epoch": 0.12616666666666668,
      "grad_norm": 1.7421875,
      "learning_rate": 0.000476406779661017,
      "loss": 4.283586120605468,
      "step": 3785
    },
    {
      "epoch": 0.12633333333333333,
      "grad_norm": 1.3046875,
      "learning_rate": 0.000476364406779661,
      "loss": 5.016101455688476,
      "step": 3790
    },
    {
      "epoch": 0.1265,
      "grad_norm": 1.828125,
      "learning_rate": 0.00047632203389830506,
      "loss": 4.473440551757813,
      "step": 3795
    },
    {
      "epoch": 0.12666666666666668,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00047627966101694916,
      "loss": 4.8181640625,
      "step": 3800
    },
    {
      "epoch": 0.12683333333333333,
      "grad_norm": 1.46875,
      "learning_rate": 0.00047623728813559325,
      "loss": 4.667371368408203,
      "step": 3805
    },
    {
      "epoch": 0.127,
      "grad_norm": 2.1875,
      "learning_rate": 0.0004761949152542373,
      "loss": 4.925327301025391,
      "step": 3810
    },
    {
      "epoch": 0.12716666666666668,
      "grad_norm": 1.15625,
      "learning_rate": 0.00047615254237288134,
      "loss": 4.388356399536133,
      "step": 3815
    },
    {
      "epoch": 0.12733333333333333,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00047611016949152544,
      "loss": 5.287810897827148,
      "step": 3820
    },
    {
      "epoch": 0.1275,
      "grad_norm": 1.4375,
      "learning_rate": 0.00047606779661016953,
      "loss": 4.565946197509765,
      "step": 3825
    },
    {
      "epoch": 0.12766666666666668,
      "grad_norm": 4.28125,
      "learning_rate": 0.0004760254237288136,
      "loss": 4.225532531738281,
      "step": 3830
    },
    {
      "epoch": 0.12783333333333333,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004759830508474576,
      "loss": 4.7773700714111325,
      "step": 3835
    },
    {
      "epoch": 0.128,
      "grad_norm": 1.703125,
      "learning_rate": 0.00047594067796610166,
      "loss": 5.0795036315917965,
      "step": 3840
    },
    {
      "epoch": 0.12816666666666668,
      "grad_norm": 1.390625,
      "learning_rate": 0.0004758983050847458,
      "loss": 4.473289108276367,
      "step": 3845
    },
    {
      "epoch": 0.12833333333333333,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00047585593220338986,
      "loss": 4.558210754394532,
      "step": 3850
    },
    {
      "epoch": 0.1285,
      "grad_norm": 1.2421875,
      "learning_rate": 0.0004758135593220339,
      "loss": 3.849150466918945,
      "step": 3855
    },
    {
      "epoch": 0.12866666666666668,
      "grad_norm": 1.734375,
      "learning_rate": 0.00047577118644067794,
      "loss": 5.1904045104980465,
      "step": 3860
    },
    {
      "epoch": 0.12883333333333333,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0004757288135593221,
      "loss": 4.745616912841797,
      "step": 3865
    },
    {
      "epoch": 0.129,
      "grad_norm": 1.671875,
      "learning_rate": 0.00047568644067796614,
      "loss": 4.024818420410156,
      "step": 3870
    },
    {
      "epoch": 0.12916666666666668,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0004756440677966102,
      "loss": 4.620159912109375,
      "step": 3875
    },
    {
      "epoch": 0.12933333333333333,
      "grad_norm": 3.3125,
      "learning_rate": 0.0004756016949152542,
      "loss": 4.580878829956054,
      "step": 3880
    },
    {
      "epoch": 0.1295,
      "grad_norm": 3.171875,
      "learning_rate": 0.00047555932203389826,
      "loss": 5.050420761108398,
      "step": 3885
    },
    {
      "epoch": 0.12966666666666668,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0004755169491525424,
      "loss": 3.7479251861572265,
      "step": 3890
    },
    {
      "epoch": 0.12983333333333333,
      "grad_norm": 2.203125,
      "learning_rate": 0.00047547457627118646,
      "loss": 5.356808853149414,
      "step": 3895
    },
    {
      "epoch": 0.13,
      "grad_norm": 1.921875,
      "learning_rate": 0.0004754322033898305,
      "loss": 4.599948501586914,
      "step": 3900
    },
    {
      "epoch": 0.13016666666666668,
      "grad_norm": 1.4296875,
      "learning_rate": 0.00047538983050847454,
      "loss": 4.82440071105957,
      "step": 3905
    },
    {
      "epoch": 0.13033333333333333,
      "grad_norm": 1.484375,
      "learning_rate": 0.0004753474576271187,
      "loss": 4.630645751953125,
      "step": 3910
    },
    {
      "epoch": 0.1305,
      "grad_norm": 1.3671875,
      "learning_rate": 0.00047530508474576274,
      "loss": 4.1158294677734375,
      "step": 3915
    },
    {
      "epoch": 0.13066666666666665,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004752627118644068,
      "loss": 4.933995056152344,
      "step": 3920
    },
    {
      "epoch": 0.13083333333333333,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0004752203389830508,
      "loss": 4.405083465576172,
      "step": 3925
    },
    {
      "epoch": 0.131,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004751779661016949,
      "loss": 4.953286361694336,
      "step": 3930
    },
    {
      "epoch": 0.13116666666666665,
      "grad_norm": 1.5546875,
      "learning_rate": 0.000475135593220339,
      "loss": 4.8826133728027346,
      "step": 3935
    },
    {
      "epoch": 0.13133333333333333,
      "grad_norm": 1.34375,
      "learning_rate": 0.00047509322033898306,
      "loss": 4.650397109985351,
      "step": 3940
    },
    {
      "epoch": 0.1315,
      "grad_norm": 1.3359375,
      "learning_rate": 0.0004750508474576271,
      "loss": 4.475631332397461,
      "step": 3945
    },
    {
      "epoch": 0.13166666666666665,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004750084745762712,
      "loss": 4.060601806640625,
      "step": 3950
    },
    {
      "epoch": 0.13183333333333333,
      "grad_norm": 1.75,
      "learning_rate": 0.0004749661016949153,
      "loss": 5.16522331237793,
      "step": 3955
    },
    {
      "epoch": 0.132,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00047492372881355934,
      "loss": 4.994678497314453,
      "step": 3960
    },
    {
      "epoch": 0.13216666666666665,
      "grad_norm": 1.296875,
      "learning_rate": 0.0004748813559322034,
      "loss": 4.6511077880859375,
      "step": 3965
    },
    {
      "epoch": 0.13233333333333333,
      "grad_norm": 1.890625,
      "learning_rate": 0.0004748389830508475,
      "loss": 4.753692626953125,
      "step": 3970
    },
    {
      "epoch": 0.1325,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004747966101694915,
      "loss": 4.333212280273438,
      "step": 3975
    },
    {
      "epoch": 0.13266666666666665,
      "grad_norm": 2.296875,
      "learning_rate": 0.0004747542372881356,
      "loss": 4.7399951934814455,
      "step": 3980
    },
    {
      "epoch": 0.13283333333333333,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00047471186440677966,
      "loss": 4.478481292724609,
      "step": 3985
    },
    {
      "epoch": 0.133,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004746694915254237,
      "loss": 4.184248733520508,
      "step": 3990
    },
    {
      "epoch": 0.13316666666666666,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0004746271186440678,
      "loss": 4.484409332275391,
      "step": 3995
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 3.109375,
      "learning_rate": 0.0004745847457627119,
      "loss": 3.9183418273925783,
      "step": 4000
    },
    {
      "epoch": 0.1335,
      "grad_norm": 1.734375,
      "learning_rate": 0.00047454237288135594,
      "loss": 4.9194793701171875,
      "step": 4005
    },
    {
      "epoch": 0.13366666666666666,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004745,
      "loss": 4.434544372558594,
      "step": 4010
    },
    {
      "epoch": 0.13383333333333333,
      "grad_norm": 1.796875,
      "learning_rate": 0.0004744576271186441,
      "loss": 4.392667007446289,
      "step": 4015
    },
    {
      "epoch": 0.134,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0004744152542372881,
      "loss": 3.8667491912841796,
      "step": 4020
    },
    {
      "epoch": 0.13416666666666666,
      "grad_norm": 2.5,
      "learning_rate": 0.0004743728813559322,
      "loss": 4.69152946472168,
      "step": 4025
    },
    {
      "epoch": 0.13433333333333333,
      "grad_norm": 2.609375,
      "learning_rate": 0.00047433050847457627,
      "loss": 4.622987365722656,
      "step": 4030
    },
    {
      "epoch": 0.1345,
      "grad_norm": 1.828125,
      "learning_rate": 0.00047428813559322036,
      "loss": 4.849393463134765,
      "step": 4035
    },
    {
      "epoch": 0.13466666666666666,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0004742457627118644,
      "loss": 5.441148376464843,
      "step": 4040
    },
    {
      "epoch": 0.13483333333333333,
      "grad_norm": 2.90625,
      "learning_rate": 0.0004742033898305085,
      "loss": 4.697689819335937,
      "step": 4045
    },
    {
      "epoch": 0.135,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00047416101694915255,
      "loss": 4.762495040893555,
      "step": 4050
    },
    {
      "epoch": 0.13516666666666666,
      "grad_norm": 1.5,
      "learning_rate": 0.00047411864406779664,
      "loss": 4.564271545410156,
      "step": 4055
    },
    {
      "epoch": 0.13533333333333333,
      "grad_norm": 1.65625,
      "learning_rate": 0.0004740762711864407,
      "loss": 5.070352172851562,
      "step": 4060
    },
    {
      "epoch": 0.1355,
      "grad_norm": 1.796875,
      "learning_rate": 0.00047403389830508473,
      "loss": 4.8559925079345705,
      "step": 4065
    },
    {
      "epoch": 0.13566666666666666,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004739915254237288,
      "loss": 3.6552959442138673,
      "step": 4070
    },
    {
      "epoch": 0.13583333333333333,
      "grad_norm": 1.3828125,
      "learning_rate": 0.0004739491525423729,
      "loss": 4.33338623046875,
      "step": 4075
    },
    {
      "epoch": 0.136,
      "grad_norm": 3.109375,
      "learning_rate": 0.00047390677966101697,
      "loss": 3.8073699951171873,
      "step": 4080
    },
    {
      "epoch": 0.13616666666666666,
      "grad_norm": 1.390625,
      "learning_rate": 0.000473864406779661,
      "loss": 4.398447036743164,
      "step": 4085
    },
    {
      "epoch": 0.13633333333333333,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0004738220338983051,
      "loss": 4.914380645751953,
      "step": 4090
    },
    {
      "epoch": 0.1365,
      "grad_norm": 2.046875,
      "learning_rate": 0.00047377966101694915,
      "loss": 4.45036735534668,
      "step": 4095
    },
    {
      "epoch": 0.13666666666666666,
      "grad_norm": 1.4609375,
      "learning_rate": 0.00047373728813559325,
      "loss": 5.137060546875,
      "step": 4100
    },
    {
      "epoch": 0.13683333333333333,
      "grad_norm": 2.3125,
      "learning_rate": 0.0004736949152542373,
      "loss": 4.619870376586914,
      "step": 4105
    },
    {
      "epoch": 0.137,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00047365254237288133,
      "loss": 4.704761505126953,
      "step": 4110
    },
    {
      "epoch": 0.13716666666666666,
      "grad_norm": 1.921875,
      "learning_rate": 0.00047361016949152543,
      "loss": 5.158088302612304,
      "step": 4115
    },
    {
      "epoch": 0.13733333333333334,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0004735677966101695,
      "loss": 4.611387252807617,
      "step": 4120
    },
    {
      "epoch": 0.1375,
      "grad_norm": 1.4921875,
      "learning_rate": 0.00047352542372881357,
      "loss": 4.617378234863281,
      "step": 4125
    },
    {
      "epoch": 0.13766666666666666,
      "grad_norm": 1.6875,
      "learning_rate": 0.0004734830508474576,
      "loss": 4.767657852172851,
      "step": 4130
    },
    {
      "epoch": 0.13783333333333334,
      "grad_norm": 2.0,
      "learning_rate": 0.0004734406779661017,
      "loss": 4.630368041992187,
      "step": 4135
    },
    {
      "epoch": 0.138,
      "grad_norm": 1.5,
      "learning_rate": 0.0004733983050847458,
      "loss": 4.8248291015625,
      "step": 4140
    },
    {
      "epoch": 0.13816666666666666,
      "grad_norm": 1.3828125,
      "learning_rate": 0.00047335593220338985,
      "loss": 3.7395484924316404,
      "step": 4145
    },
    {
      "epoch": 0.13833333333333334,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004733135593220339,
      "loss": 4.712917327880859,
      "step": 4150
    },
    {
      "epoch": 0.1385,
      "grad_norm": 1.3984375,
      "learning_rate": 0.00047327118644067794,
      "loss": 4.164711380004883,
      "step": 4155
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004732288135593221,
      "loss": 4.64154052734375,
      "step": 4160
    },
    {
      "epoch": 0.13883333333333334,
      "grad_norm": 1.953125,
      "learning_rate": 0.00047318644067796613,
      "loss": 4.397789382934571,
      "step": 4165
    },
    {
      "epoch": 0.139,
      "grad_norm": 1.859375,
      "learning_rate": 0.00047314406779661017,
      "loss": 5.112425994873047,
      "step": 4170
    },
    {
      "epoch": 0.13916666666666666,
      "grad_norm": 2.453125,
      "learning_rate": 0.0004731016949152542,
      "loss": 4.794605255126953,
      "step": 4175
    },
    {
      "epoch": 0.13933333333333334,
      "grad_norm": 1.3203125,
      "learning_rate": 0.0004730593220338983,
      "loss": 4.532736206054688,
      "step": 4180
    },
    {
      "epoch": 0.1395,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004730169491525424,
      "loss": 4.69195556640625,
      "step": 4185
    },
    {
      "epoch": 0.13966666666666666,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00047297457627118645,
      "loss": 4.850368881225586,
      "step": 4190
    },
    {
      "epoch": 0.13983333333333334,
      "grad_norm": 2.46875,
      "learning_rate": 0.0004729322033898305,
      "loss": 4.140966796875,
      "step": 4195
    },
    {
      "epoch": 0.14,
      "grad_norm": 2.03125,
      "learning_rate": 0.00047288983050847454,
      "loss": 5.076730728149414,
      "step": 4200
    },
    {
      "epoch": 0.14016666666666666,
      "grad_norm": 3.453125,
      "learning_rate": 0.0004728474576271187,
      "loss": 4.256640625,
      "step": 4205
    },
    {
      "epoch": 0.14033333333333334,
      "grad_norm": 1.546875,
      "learning_rate": 0.00047280508474576273,
      "loss": 4.983380508422852,
      "step": 4210
    },
    {
      "epoch": 0.1405,
      "grad_norm": 1.3046875,
      "learning_rate": 0.0004727627118644068,
      "loss": 4.304890823364258,
      "step": 4215
    },
    {
      "epoch": 0.14066666666666666,
      "grad_norm": 1.2578125,
      "learning_rate": 0.0004727203389830508,
      "loss": 4.015269088745117,
      "step": 4220
    },
    {
      "epoch": 0.14083333333333334,
      "grad_norm": 3.09375,
      "learning_rate": 0.00047267796610169497,
      "loss": 4.985312652587891,
      "step": 4225
    },
    {
      "epoch": 0.141,
      "grad_norm": 1.3984375,
      "learning_rate": 0.000472635593220339,
      "loss": 4.82177505493164,
      "step": 4230
    },
    {
      "epoch": 0.14116666666666666,
      "grad_norm": 1.90625,
      "learning_rate": 0.00047259322033898305,
      "loss": 4.613370513916015,
      "step": 4235
    },
    {
      "epoch": 0.14133333333333334,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004725508474576271,
      "loss": 4.411003875732422,
      "step": 4240
    },
    {
      "epoch": 0.1415,
      "grad_norm": 1.421875,
      "learning_rate": 0.0004725084745762712,
      "loss": 5.254049682617188,
      "step": 4245
    },
    {
      "epoch": 0.14166666666666666,
      "grad_norm": 1.5,
      "learning_rate": 0.0004724661016949153,
      "loss": 4.2486724853515625,
      "step": 4250
    },
    {
      "epoch": 0.14183333333333334,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00047242372881355933,
      "loss": 5.288540649414062,
      "step": 4255
    },
    {
      "epoch": 0.142,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0004723813559322034,
      "loss": 5.010580444335938,
      "step": 4260
    },
    {
      "epoch": 0.14216666666666666,
      "grad_norm": 1.828125,
      "learning_rate": 0.0004723389830508475,
      "loss": 5.130058288574219,
      "step": 4265
    },
    {
      "epoch": 0.14233333333333334,
      "grad_norm": 1.296875,
      "learning_rate": 0.00047229661016949157,
      "loss": 4.350278854370117,
      "step": 4270
    },
    {
      "epoch": 0.1425,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004722542372881356,
      "loss": 4.3229827880859375,
      "step": 4275
    },
    {
      "epoch": 0.14266666666666666,
      "grad_norm": 1.4921875,
      "learning_rate": 0.00047221186440677966,
      "loss": 4.950355911254883,
      "step": 4280
    },
    {
      "epoch": 0.14283333333333334,
      "grad_norm": 1.875,
      "learning_rate": 0.0004721694915254237,
      "loss": 4.478602600097656,
      "step": 4285
    },
    {
      "epoch": 0.143,
      "grad_norm": 2.109375,
      "learning_rate": 0.0004721271186440678,
      "loss": 4.00050163269043,
      "step": 4290
    },
    {
      "epoch": 0.14316666666666666,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0004720847457627119,
      "loss": 5.2507469177246096,
      "step": 4295
    },
    {
      "epoch": 0.14333333333333334,
      "grad_norm": 2.015625,
      "learning_rate": 0.00047204237288135594,
      "loss": 3.7682331085205076,
      "step": 4300
    },
    {
      "epoch": 0.1435,
      "grad_norm": 1.59375,
      "learning_rate": 0.000472,
      "loss": 5.167091369628906,
      "step": 4305
    },
    {
      "epoch": 0.14366666666666666,
      "grad_norm": 1.734375,
      "learning_rate": 0.0004719576271186441,
      "loss": 4.688795471191407,
      "step": 4310
    },
    {
      "epoch": 0.14383333333333334,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004719152542372882,
      "loss": 4.00079345703125,
      "step": 4315
    },
    {
      "epoch": 0.144,
      "grad_norm": 1.84375,
      "learning_rate": 0.0004718728813559322,
      "loss": 4.909464263916016,
      "step": 4320
    },
    {
      "epoch": 0.14416666666666667,
      "grad_norm": 1.796875,
      "learning_rate": 0.00047183050847457626,
      "loss": 4.350298690795898,
      "step": 4325
    },
    {
      "epoch": 0.14433333333333334,
      "grad_norm": 1.765625,
      "learning_rate": 0.00047178813559322036,
      "loss": 5.170948791503906,
      "step": 4330
    },
    {
      "epoch": 0.1445,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004717457627118644,
      "loss": 4.182112121582032,
      "step": 4335
    },
    {
      "epoch": 0.14466666666666667,
      "grad_norm": 5.28125,
      "learning_rate": 0.0004717033898305085,
      "loss": 4.555408096313476,
      "step": 4340
    },
    {
      "epoch": 0.14483333333333334,
      "grad_norm": 1.59375,
      "learning_rate": 0.00047166101694915254,
      "loss": 3.7800003051757813,
      "step": 4345
    },
    {
      "epoch": 0.145,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00047161864406779664,
      "loss": 4.737664794921875,
      "step": 4350
    },
    {
      "epoch": 0.14516666666666667,
      "grad_norm": 4.4375,
      "learning_rate": 0.0004715762711864407,
      "loss": 5.074562835693359,
      "step": 4355
    },
    {
      "epoch": 0.14533333333333334,
      "grad_norm": 2.65625,
      "learning_rate": 0.0004715338983050848,
      "loss": 5.156086730957031,
      "step": 4360
    },
    {
      "epoch": 0.1455,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0004714915254237288,
      "loss": 3.876352310180664,
      "step": 4365
    },
    {
      "epoch": 0.14566666666666667,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0004714491525423729,
      "loss": 4.525047683715821,
      "step": 4370
    },
    {
      "epoch": 0.14583333333333334,
      "grad_norm": 1.3984375,
      "learning_rate": 0.00047140677966101696,
      "loss": 4.419602966308593,
      "step": 4375
    },
    {
      "epoch": 0.146,
      "grad_norm": 2.109375,
      "learning_rate": 0.000471364406779661,
      "loss": 4.647087478637696,
      "step": 4380
    },
    {
      "epoch": 0.14616666666666667,
      "grad_norm": 2.0,
      "learning_rate": 0.0004713220338983051,
      "loss": 4.291293716430664,
      "step": 4385
    },
    {
      "epoch": 0.14633333333333334,
      "grad_norm": 1.9375,
      "learning_rate": 0.00047127966101694914,
      "loss": 4.915849304199218,
      "step": 4390
    },
    {
      "epoch": 0.1465,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00047123728813559324,
      "loss": 4.177867889404297,
      "step": 4395
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 2.109375,
      "learning_rate": 0.0004711949152542373,
      "loss": 5.048825454711914,
      "step": 4400
    },
    {
      "epoch": 0.14683333333333334,
      "grad_norm": 1.2109375,
      "learning_rate": 0.0004711525423728814,
      "loss": 4.5287433624267575,
      "step": 4405
    },
    {
      "epoch": 0.147,
      "grad_norm": 1.5625,
      "learning_rate": 0.0004711101694915254,
      "loss": 5.2751518249511715,
      "step": 4410
    },
    {
      "epoch": 0.14716666666666667,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0004710677966101695,
      "loss": 5.1221366882324215,
      "step": 4415
    },
    {
      "epoch": 0.14733333333333334,
      "grad_norm": 2.796875,
      "learning_rate": 0.00047102542372881356,
      "loss": 3.4687728881835938,
      "step": 4420
    },
    {
      "epoch": 0.1475,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0004709830508474576,
      "loss": 4.3320976257324215,
      "step": 4425
    },
    {
      "epoch": 0.14766666666666667,
      "grad_norm": 1.875,
      "learning_rate": 0.0004709406779661017,
      "loss": 4.743022918701172,
      "step": 4430
    },
    {
      "epoch": 0.14783333333333334,
      "grad_norm": 1.75,
      "learning_rate": 0.0004708983050847458,
      "loss": 3.7245323181152346,
      "step": 4435
    },
    {
      "epoch": 0.148,
      "grad_norm": 1.6875,
      "learning_rate": 0.00047085593220338984,
      "loss": 4.2882537841796875,
      "step": 4440
    },
    {
      "epoch": 0.14816666666666667,
      "grad_norm": 1.78125,
      "learning_rate": 0.0004708135593220339,
      "loss": 4.480817413330078,
      "step": 4445
    },
    {
      "epoch": 0.14833333333333334,
      "grad_norm": 9.1875,
      "learning_rate": 0.000470771186440678,
      "loss": 4.346323394775391,
      "step": 4450
    },
    {
      "epoch": 0.1485,
      "grad_norm": 2.234375,
      "learning_rate": 0.0004707288135593221,
      "loss": 4.925214004516602,
      "step": 4455
    },
    {
      "epoch": 0.14866666666666667,
      "grad_norm": 2.109375,
      "learning_rate": 0.0004706864406779661,
      "loss": 4.686424255371094,
      "step": 4460
    },
    {
      "epoch": 0.14883333333333335,
      "grad_norm": 1.46875,
      "learning_rate": 0.00047064406779661017,
      "loss": 4.687666702270508,
      "step": 4465
    },
    {
      "epoch": 0.149,
      "grad_norm": 1.3359375,
      "learning_rate": 0.0004706016949152542,
      "loss": 5.067670440673828,
      "step": 4470
    },
    {
      "epoch": 0.14916666666666667,
      "grad_norm": 1.2421875,
      "learning_rate": 0.00047055932203389836,
      "loss": 4.205261611938477,
      "step": 4475
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 2.125,
      "learning_rate": 0.0004705169491525424,
      "loss": 4.4205177307128904,
      "step": 4480
    },
    {
      "epoch": 0.1495,
      "grad_norm": 4.15625,
      "learning_rate": 0.00047047457627118645,
      "loss": 4.614561080932617,
      "step": 4485
    },
    {
      "epoch": 0.14966666666666667,
      "grad_norm": 1.5,
      "learning_rate": 0.0004704322033898305,
      "loss": 4.211127471923828,
      "step": 4490
    },
    {
      "epoch": 0.14983333333333335,
      "grad_norm": 2.359375,
      "learning_rate": 0.0004703898305084746,
      "loss": 4.817179870605469,
      "step": 4495
    },
    {
      "epoch": 0.15,
      "grad_norm": 1.671875,
      "learning_rate": 0.0004703474576271187,
      "loss": 4.959814071655273,
      "step": 4500
    },
    {
      "epoch": 0.15016666666666667,
      "grad_norm": 2.125,
      "learning_rate": 0.0004703050847457627,
      "loss": 3.8886051177978516,
      "step": 4505
    },
    {
      "epoch": 0.15033333333333335,
      "grad_norm": 1.625,
      "learning_rate": 0.00047026271186440677,
      "loss": 4.390380477905273,
      "step": 4510
    },
    {
      "epoch": 0.1505,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004702203389830508,
      "loss": 4.765364074707032,
      "step": 4515
    },
    {
      "epoch": 0.15066666666666667,
      "grad_norm": 1.4140625,
      "learning_rate": 0.00047017796610169496,
      "loss": 4.910400390625,
      "step": 4520
    },
    {
      "epoch": 0.15083333333333335,
      "grad_norm": 1.3984375,
      "learning_rate": 0.000470135593220339,
      "loss": 4.489506530761719,
      "step": 4525
    },
    {
      "epoch": 0.151,
      "grad_norm": 4.3125,
      "learning_rate": 0.00047009322033898305,
      "loss": 4.292861557006836,
      "step": 4530
    },
    {
      "epoch": 0.15116666666666667,
      "grad_norm": 1.84375,
      "learning_rate": 0.0004700508474576271,
      "loss": 4.97491683959961,
      "step": 4535
    },
    {
      "epoch": 0.15133333333333332,
      "grad_norm": 1.65625,
      "learning_rate": 0.00047000847457627124,
      "loss": 5.560403442382812,
      "step": 4540
    },
    {
      "epoch": 0.1515,
      "grad_norm": 4.46875,
      "learning_rate": 0.0004699661016949153,
      "loss": 4.048150634765625,
      "step": 4545
    },
    {
      "epoch": 0.15166666666666667,
      "grad_norm": 1.625,
      "learning_rate": 0.00046992372881355933,
      "loss": 4.737472915649414,
      "step": 4550
    },
    {
      "epoch": 0.15183333333333332,
      "grad_norm": 2.15625,
      "learning_rate": 0.00046988135593220337,
      "loss": 5.3993480682373045,
      "step": 4555
    },
    {
      "epoch": 0.152,
      "grad_norm": 2.859375,
      "learning_rate": 0.00046983898305084747,
      "loss": 4.522959899902344,
      "step": 4560
    },
    {
      "epoch": 0.15216666666666667,
      "grad_norm": 2.921875,
      "learning_rate": 0.00046979661016949157,
      "loss": 4.313978958129883,
      "step": 4565
    },
    {
      "epoch": 0.15233333333333332,
      "grad_norm": 1.4140625,
      "learning_rate": 0.0004697542372881356,
      "loss": 4.720634460449219,
      "step": 4570
    },
    {
      "epoch": 0.1525,
      "grad_norm": 1.46875,
      "learning_rate": 0.00046971186440677965,
      "loss": 4.2225383758544925,
      "step": 4575
    },
    {
      "epoch": 0.15266666666666667,
      "grad_norm": 1.359375,
      "learning_rate": 0.00046966949152542375,
      "loss": 4.142596054077148,
      "step": 4580
    },
    {
      "epoch": 0.15283333333333332,
      "grad_norm": 1.375,
      "learning_rate": 0.00046962711864406785,
      "loss": 4.705952453613281,
      "step": 4585
    },
    {
      "epoch": 0.153,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004695847457627119,
      "loss": 4.817500305175781,
      "step": 4590
    },
    {
      "epoch": 0.15316666666666667,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00046954237288135593,
      "loss": 4.301919555664062,
      "step": 4595
    },
    {
      "epoch": 0.15333333333333332,
      "grad_norm": 1.640625,
      "learning_rate": 0.0004695,
      "loss": 5.0227710723876955,
      "step": 4600
    },
    {
      "epoch": 0.1535,
      "grad_norm": 1.5625,
      "learning_rate": 0.00046945762711864407,
      "loss": 4.78026123046875,
      "step": 4605
    },
    {
      "epoch": 0.15366666666666667,
      "grad_norm": 1.703125,
      "learning_rate": 0.00046941525423728817,
      "loss": 4.515480804443359,
      "step": 4610
    },
    {
      "epoch": 0.15383333333333332,
      "grad_norm": 1.515625,
      "learning_rate": 0.0004693728813559322,
      "loss": 4.286701965332031,
      "step": 4615
    },
    {
      "epoch": 0.154,
      "grad_norm": 2.59375,
      "learning_rate": 0.00046933050847457625,
      "loss": 3.8489849090576174,
      "step": 4620
    },
    {
      "epoch": 0.15416666666666667,
      "grad_norm": 1.71875,
      "learning_rate": 0.00046928813559322035,
      "loss": 4.150166320800781,
      "step": 4625
    },
    {
      "epoch": 0.15433333333333332,
      "grad_norm": 1.65625,
      "learning_rate": 0.00046924576271186445,
      "loss": 4.722711563110352,
      "step": 4630
    },
    {
      "epoch": 0.1545,
      "grad_norm": 2.328125,
      "learning_rate": 0.0004692033898305085,
      "loss": 4.818881607055664,
      "step": 4635
    },
    {
      "epoch": 0.15466666666666667,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00046916101694915253,
      "loss": 3.5642528533935547,
      "step": 4640
    },
    {
      "epoch": 0.15483333333333332,
      "grad_norm": 2.296875,
      "learning_rate": 0.00046911864406779663,
      "loss": 4.784684753417968,
      "step": 4645
    },
    {
      "epoch": 0.155,
      "grad_norm": 3.578125,
      "learning_rate": 0.0004690762711864407,
      "loss": 4.380669784545899,
      "step": 4650
    },
    {
      "epoch": 0.15516666666666667,
      "grad_norm": 1.515625,
      "learning_rate": 0.00046903389830508477,
      "loss": 5.185988235473633,
      "step": 4655
    },
    {
      "epoch": 0.15533333333333332,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004689915254237288,
      "loss": 4.891494369506836,
      "step": 4660
    },
    {
      "epoch": 0.1555,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0004689491525423729,
      "loss": 4.792595672607422,
      "step": 4665
    },
    {
      "epoch": 0.15566666666666668,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00046890677966101695,
      "loss": 4.458892059326172,
      "step": 4670
    },
    {
      "epoch": 0.15583333333333332,
      "grad_norm": 1.546875,
      "learning_rate": 0.00046886440677966105,
      "loss": 4.446196746826172,
      "step": 4675
    },
    {
      "epoch": 0.156,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0004688220338983051,
      "loss": 4.786386108398437,
      "step": 4680
    },
    {
      "epoch": 0.15616666666666668,
      "grad_norm": 1.515625,
      "learning_rate": 0.0004687796610169492,
      "loss": 4.459538269042969,
      "step": 4685
    },
    {
      "epoch": 0.15633333333333332,
      "grad_norm": 2.1875,
      "learning_rate": 0.00046873728813559323,
      "loss": 3.828021240234375,
      "step": 4690
    },
    {
      "epoch": 0.1565,
      "grad_norm": 2.96875,
      "learning_rate": 0.0004686949152542373,
      "loss": 3.593098831176758,
      "step": 4695
    },
    {
      "epoch": 0.15666666666666668,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0004686525423728814,
      "loss": 3.856470489501953,
      "step": 4700
    },
    {
      "epoch": 0.15683333333333332,
      "grad_norm": 3.171875,
      "learning_rate": 0.0004686101694915254,
      "loss": 4.586991882324218,
      "step": 4705
    },
    {
      "epoch": 0.157,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0004685677966101695,
      "loss": 4.892887115478516,
      "step": 4710
    },
    {
      "epoch": 0.15716666666666668,
      "grad_norm": 1.828125,
      "learning_rate": 0.00046852542372881356,
      "loss": 3.9785823822021484,
      "step": 4715
    },
    {
      "epoch": 0.15733333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004684830508474576,
      "loss": 5.137045288085938,
      "step": 4720
    },
    {
      "epoch": 0.1575,
      "grad_norm": 1.359375,
      "learning_rate": 0.0004684406779661017,
      "loss": 4.225685882568359,
      "step": 4725
    },
    {
      "epoch": 0.15766666666666668,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0004683983050847458,
      "loss": 4.505282211303711,
      "step": 4730
    },
    {
      "epoch": 0.15783333333333333,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00046835593220338984,
      "loss": 4.475455093383789,
      "step": 4735
    },
    {
      "epoch": 0.158,
      "grad_norm": 1.90625,
      "learning_rate": 0.0004683135593220339,
      "loss": 4.74469223022461,
      "step": 4740
    },
    {
      "epoch": 0.15816666666666668,
      "grad_norm": 2.984375,
      "learning_rate": 0.000468271186440678,
      "loss": 4.378761291503906,
      "step": 4745
    },
    {
      "epoch": 0.15833333333333333,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0004682288135593221,
      "loss": 4.548603057861328,
      "step": 4750
    },
    {
      "epoch": 0.1585,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004681864406779661,
      "loss": 4.5592693328857425,
      "step": 4755
    },
    {
      "epoch": 0.15866666666666668,
      "grad_norm": 1.328125,
      "learning_rate": 0.00046814406779661016,
      "loss": 4.661813354492187,
      "step": 4760
    },
    {
      "epoch": 0.15883333333333333,
      "grad_norm": 1.15625,
      "learning_rate": 0.0004681016949152542,
      "loss": 3.6322025299072265,
      "step": 4765
    },
    {
      "epoch": 0.159,
      "grad_norm": 2.046875,
      "learning_rate": 0.00046805932203389835,
      "loss": 4.535072708129883,
      "step": 4770
    },
    {
      "epoch": 0.15916666666666668,
      "grad_norm": 2.078125,
      "learning_rate": 0.0004680169491525424,
      "loss": 5.271795654296875,
      "step": 4775
    },
    {
      "epoch": 0.15933333333333333,
      "grad_norm": 2.390625,
      "learning_rate": 0.00046797457627118644,
      "loss": 4.660800170898438,
      "step": 4780
    },
    {
      "epoch": 0.1595,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004679322033898305,
      "loss": 4.82667236328125,
      "step": 4785
    },
    {
      "epoch": 0.15966666666666668,
      "grad_norm": 1.453125,
      "learning_rate": 0.00046788983050847463,
      "loss": 4.385305404663086,
      "step": 4790
    },
    {
      "epoch": 0.15983333333333333,
      "grad_norm": 1.359375,
      "learning_rate": 0.0004678474576271187,
      "loss": 4.145285797119141,
      "step": 4795
    },
    {
      "epoch": 0.16,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004678050847457627,
      "loss": 4.304653930664062,
      "step": 4800
    },
    {
      "epoch": 0.16016666666666668,
      "grad_norm": 2.3125,
      "learning_rate": 0.00046776271186440676,
      "loss": 4.678105163574219,
      "step": 4805
    },
    {
      "epoch": 0.16033333333333333,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0004677203389830508,
      "loss": 5.132226943969727,
      "step": 4810
    },
    {
      "epoch": 0.1605,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00046767796610169496,
      "loss": 4.736726379394531,
      "step": 4815
    },
    {
      "epoch": 0.16066666666666668,
      "grad_norm": 2.15625,
      "learning_rate": 0.000467635593220339,
      "loss": 4.78844985961914,
      "step": 4820
    },
    {
      "epoch": 0.16083333333333333,
      "grad_norm": 2.3125,
      "learning_rate": 0.00046759322033898304,
      "loss": 5.0836235046386715,
      "step": 4825
    },
    {
      "epoch": 0.161,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004675508474576271,
      "loss": 4.4186149597167965,
      "step": 4830
    },
    {
      "epoch": 0.16116666666666668,
      "grad_norm": 1.859375,
      "learning_rate": 0.00046750847457627124,
      "loss": 4.503819274902344,
      "step": 4835
    },
    {
      "epoch": 0.16133333333333333,
      "grad_norm": 1.78125,
      "learning_rate": 0.0004674661016949153,
      "loss": 4.938151550292969,
      "step": 4840
    },
    {
      "epoch": 0.1615,
      "grad_norm": 2.171875,
      "learning_rate": 0.0004674237288135593,
      "loss": 4.453188705444336,
      "step": 4845
    },
    {
      "epoch": 0.16166666666666665,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00046738135593220336,
      "loss": 5.162051773071289,
      "step": 4850
    },
    {
      "epoch": 0.16183333333333333,
      "grad_norm": 1.4609375,
      "learning_rate": 0.00046733898305084746,
      "loss": 4.564404678344727,
      "step": 4855
    },
    {
      "epoch": 0.162,
      "grad_norm": 1.3828125,
      "learning_rate": 0.00046729661016949156,
      "loss": 3.3706199645996096,
      "step": 4860
    },
    {
      "epoch": 0.16216666666666665,
      "grad_norm": 1.65625,
      "learning_rate": 0.0004672542372881356,
      "loss": 4.9718467712402346,
      "step": 4865
    },
    {
      "epoch": 0.16233333333333333,
      "grad_norm": 1.53125,
      "learning_rate": 0.00046721186440677964,
      "loss": 5.135046005249023,
      "step": 4870
    },
    {
      "epoch": 0.1625,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00046716949152542374,
      "loss": 4.899925994873047,
      "step": 4875
    },
    {
      "epoch": 0.16266666666666665,
      "grad_norm": 2.03125,
      "learning_rate": 0.00046712711864406784,
      "loss": 4.673797607421875,
      "step": 4880
    },
    {
      "epoch": 0.16283333333333333,
      "grad_norm": 1.71875,
      "learning_rate": 0.0004670847457627119,
      "loss": 4.659313201904297,
      "step": 4885
    },
    {
      "epoch": 0.163,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0004670423728813559,
      "loss": 4.567222976684571,
      "step": 4890
    },
    {
      "epoch": 0.16316666666666665,
      "grad_norm": 1.4921875,
      "learning_rate": 0.000467,
      "loss": 4.340308380126953,
      "step": 4895
    },
    {
      "epoch": 0.16333333333333333,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00046695762711864406,
      "loss": 4.876863098144531,
      "step": 4900
    },
    {
      "epoch": 0.1635,
      "grad_norm": 3.25,
      "learning_rate": 0.00046691525423728816,
      "loss": 3.783349609375,
      "step": 4905
    },
    {
      "epoch": 0.16366666666666665,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004668728813559322,
      "loss": 3.717875289916992,
      "step": 4910
    },
    {
      "epoch": 0.16383333333333333,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00046683050847457625,
      "loss": 4.93822021484375,
      "step": 4915
    },
    {
      "epoch": 0.164,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00046678813559322034,
      "loss": 4.475757598876953,
      "step": 4920
    },
    {
      "epoch": 0.16416666666666666,
      "grad_norm": 1.703125,
      "learning_rate": 0.00046674576271186444,
      "loss": 5.183780670166016,
      "step": 4925
    },
    {
      "epoch": 0.16433333333333333,
      "grad_norm": 2.671875,
      "learning_rate": 0.0004667033898305085,
      "loss": 4.6210777282714846,
      "step": 4930
    },
    {
      "epoch": 0.1645,
      "grad_norm": 1.625,
      "learning_rate": 0.0004666610169491525,
      "loss": 4.613002014160156,
      "step": 4935
    },
    {
      "epoch": 0.16466666666666666,
      "grad_norm": 1.3359375,
      "learning_rate": 0.0004666186440677966,
      "loss": 4.5555580139160154,
      "step": 4940
    },
    {
      "epoch": 0.16483333333333333,
      "grad_norm": 1.265625,
      "learning_rate": 0.00046657627118644067,
      "loss": 3.4716495513916015,
      "step": 4945
    },
    {
      "epoch": 0.165,
      "grad_norm": 1.421875,
      "learning_rate": 0.00046653389830508476,
      "loss": 4.158234405517578,
      "step": 4950
    },
    {
      "epoch": 0.16516666666666666,
      "grad_norm": 1.5625,
      "learning_rate": 0.0004664915254237288,
      "loss": 4.520269393920898,
      "step": 4955
    },
    {
      "epoch": 0.16533333333333333,
      "grad_norm": 1.765625,
      "learning_rate": 0.0004664491525423729,
      "loss": 4.792655944824219,
      "step": 4960
    },
    {
      "epoch": 0.1655,
      "grad_norm": 1.4375,
      "learning_rate": 0.00046640677966101695,
      "loss": 3.688233184814453,
      "step": 4965
    },
    {
      "epoch": 0.16566666666666666,
      "grad_norm": 1.703125,
      "learning_rate": 0.00046636440677966104,
      "loss": 4.812299728393555,
      "step": 4970
    },
    {
      "epoch": 0.16583333333333333,
      "grad_norm": 1.65625,
      "learning_rate": 0.0004663220338983051,
      "loss": 4.472682189941406,
      "step": 4975
    },
    {
      "epoch": 0.166,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0004662796610169492,
      "loss": 4.623699569702149,
      "step": 4980
    },
    {
      "epoch": 0.16616666666666666,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004662372881355932,
      "loss": 5.067612075805664,
      "step": 4985
    },
    {
      "epoch": 0.16633333333333333,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00046619491525423727,
      "loss": 4.593074035644531,
      "step": 4990
    },
    {
      "epoch": 0.1665,
      "grad_norm": 1.9375,
      "learning_rate": 0.00046615254237288137,
      "loss": 4.622809600830078,
      "step": 4995
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00046611016949152546,
      "loss": 4.327192687988282,
      "step": 5000
    },
    {
      "epoch": 0.16683333333333333,
      "grad_norm": 1.578125,
      "learning_rate": 0.0004660677966101695,
      "loss": 3.7164543151855467,
      "step": 5005
    },
    {
      "epoch": 0.167,
      "grad_norm": 2.03125,
      "learning_rate": 0.00046602542372881355,
      "loss": 4.684608459472656,
      "step": 5010
    },
    {
      "epoch": 0.16716666666666666,
      "grad_norm": 1.4375,
      "learning_rate": 0.00046598305084745765,
      "loss": 4.959593200683594,
      "step": 5015
    },
    {
      "epoch": 0.16733333333333333,
      "grad_norm": 2.09375,
      "learning_rate": 0.0004659406779661017,
      "loss": 4.375465393066406,
      "step": 5020
    },
    {
      "epoch": 0.1675,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004658983050847458,
      "loss": 5.258351135253906,
      "step": 5025
    },
    {
      "epoch": 0.16766666666666666,
      "grad_norm": 1.625,
      "learning_rate": 0.00046585593220338983,
      "loss": 4.445822143554688,
      "step": 5030
    },
    {
      "epoch": 0.16783333333333333,
      "grad_norm": 1.90625,
      "learning_rate": 0.00046581355932203387,
      "loss": 4.246778869628907,
      "step": 5035
    },
    {
      "epoch": 0.168,
      "grad_norm": 2.96875,
      "learning_rate": 0.00046577118644067797,
      "loss": 4.647182464599609,
      "step": 5040
    },
    {
      "epoch": 0.16816666666666666,
      "grad_norm": 2.90625,
      "learning_rate": 0.00046572881355932207,
      "loss": 4.857582092285156,
      "step": 5045
    },
    {
      "epoch": 0.16833333333333333,
      "grad_norm": 1.5625,
      "learning_rate": 0.0004656864406779661,
      "loss": 4.973604583740235,
      "step": 5050
    },
    {
      "epoch": 0.1685,
      "grad_norm": 1.9921875,
      "learning_rate": 0.00046564406779661015,
      "loss": 4.271167755126953,
      "step": 5055
    },
    {
      "epoch": 0.16866666666666666,
      "grad_norm": 1.453125,
      "learning_rate": 0.00046560169491525425,
      "loss": 4.301626205444336,
      "step": 5060
    },
    {
      "epoch": 0.16883333333333334,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00046555932203389835,
      "loss": 4.748334503173828,
      "step": 5065
    },
    {
      "epoch": 0.169,
      "grad_norm": 1.96875,
      "learning_rate": 0.0004655169491525424,
      "loss": 4.252797317504883,
      "step": 5070
    },
    {
      "epoch": 0.16916666666666666,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00046547457627118643,
      "loss": 4.497811889648437,
      "step": 5075
    },
    {
      "epoch": 0.16933333333333334,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004654322033898305,
      "loss": 3.976298522949219,
      "step": 5080
    },
    {
      "epoch": 0.1695,
      "grad_norm": 2.203125,
      "learning_rate": 0.0004653898305084746,
      "loss": 4.47918701171875,
      "step": 5085
    },
    {
      "epoch": 0.16966666666666666,
      "grad_norm": 2.171875,
      "learning_rate": 0.00046534745762711867,
      "loss": 5.063457489013672,
      "step": 5090
    },
    {
      "epoch": 0.16983333333333334,
      "grad_norm": 1.765625,
      "learning_rate": 0.0004653050847457627,
      "loss": 4.6803535461425785,
      "step": 5095
    },
    {
      "epoch": 0.17,
      "grad_norm": 1.625,
      "learning_rate": 0.00046526271186440676,
      "loss": 4.706401062011719,
      "step": 5100
    },
    {
      "epoch": 0.17016666666666666,
      "grad_norm": 2.34375,
      "learning_rate": 0.0004652203389830509,
      "loss": 5.369846343994141,
      "step": 5105
    },
    {
      "epoch": 0.17033333333333334,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00046517796610169495,
      "loss": 3.987641525268555,
      "step": 5110
    },
    {
      "epoch": 0.1705,
      "grad_norm": 1.7265625,
      "learning_rate": 0.000465135593220339,
      "loss": 4.894145584106445,
      "step": 5115
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 3.484375,
      "learning_rate": 0.00046509322033898304,
      "loss": 4.900902175903321,
      "step": 5120
    },
    {
      "epoch": 0.17083333333333334,
      "grad_norm": 3.984375,
      "learning_rate": 0.0004650508474576271,
      "loss": 5.149764633178711,
      "step": 5125
    },
    {
      "epoch": 0.171,
      "grad_norm": 1.34375,
      "learning_rate": 0.00046500847457627123,
      "loss": 4.422169494628906,
      "step": 5130
    },
    {
      "epoch": 0.17116666666666666,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00046496610169491527,
      "loss": 3.942592239379883,
      "step": 5135
    },
    {
      "epoch": 0.17133333333333334,
      "grad_norm": 1.796875,
      "learning_rate": 0.0004649237288135593,
      "loss": 4.856071090698242,
      "step": 5140
    },
    {
      "epoch": 0.1715,
      "grad_norm": 1.546875,
      "learning_rate": 0.00046488135593220336,
      "loss": 3.827900695800781,
      "step": 5145
    },
    {
      "epoch": 0.17166666666666666,
      "grad_norm": 1.3984375,
      "learning_rate": 0.0004648389830508475,
      "loss": 4.378407287597656,
      "step": 5150
    },
    {
      "epoch": 0.17183333333333334,
      "grad_norm": 1.5,
      "learning_rate": 0.00046479661016949155,
      "loss": 4.863742065429688,
      "step": 5155
    },
    {
      "epoch": 0.172,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0004647542372881356,
      "loss": 3.9978851318359374,
      "step": 5160
    },
    {
      "epoch": 0.17216666666666666,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00046471186440677964,
      "loss": 4.432068252563477,
      "step": 5165
    },
    {
      "epoch": 0.17233333333333334,
      "grad_norm": 1.390625,
      "learning_rate": 0.00046466949152542373,
      "loss": 3.810017395019531,
      "step": 5170
    },
    {
      "epoch": 0.1725,
      "grad_norm": 2.1875,
      "learning_rate": 0.00046462711864406783,
      "loss": 5.106824111938477,
      "step": 5175
    },
    {
      "epoch": 0.17266666666666666,
      "grad_norm": 1.53125,
      "learning_rate": 0.0004645847457627119,
      "loss": 4.607336807250976,
      "step": 5180
    },
    {
      "epoch": 0.17283333333333334,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0004645423728813559,
      "loss": 4.651469802856445,
      "step": 5185
    },
    {
      "epoch": 0.173,
      "grad_norm": 1.875,
      "learning_rate": 0.0004645,
      "loss": 4.474861145019531,
      "step": 5190
    },
    {
      "epoch": 0.17316666666666666,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0004644576271186441,
      "loss": 4.275845336914062,
      "step": 5195
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00046441525423728815,
      "loss": 4.424967575073242,
      "step": 5200
    },
    {
      "epoch": 0.1735,
      "grad_norm": 1.484375,
      "learning_rate": 0.0004643728813559322,
      "loss": 4.788671493530273,
      "step": 5205
    },
    {
      "epoch": 0.17366666666666666,
      "grad_norm": 1.3828125,
      "learning_rate": 0.0004643305084745763,
      "loss": 4.15893783569336,
      "step": 5210
    },
    {
      "epoch": 0.17383333333333334,
      "grad_norm": 1.546875,
      "learning_rate": 0.00046428813559322034,
      "loss": 4.867834854125976,
      "step": 5215
    },
    {
      "epoch": 0.174,
      "grad_norm": 1.453125,
      "learning_rate": 0.00046424576271186443,
      "loss": 4.417916107177734,
      "step": 5220
    },
    {
      "epoch": 0.17416666666666666,
      "grad_norm": 1.9453125,
      "learning_rate": 0.0004642033898305085,
      "loss": 4.195330429077148,
      "step": 5225
    },
    {
      "epoch": 0.17433333333333334,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0004641610169491525,
      "loss": 4.7408905029296875,
      "step": 5230
    },
    {
      "epoch": 0.1745,
      "grad_norm": 2.4375,
      "learning_rate": 0.0004641186440677966,
      "loss": 3.916284942626953,
      "step": 5235
    },
    {
      "epoch": 0.17466666666666666,
      "grad_norm": 2.578125,
      "learning_rate": 0.0004640762711864407,
      "loss": 4.0934814453125,
      "step": 5240
    },
    {
      "epoch": 0.17483333333333334,
      "grad_norm": 5.5,
      "learning_rate": 0.00046403389830508476,
      "loss": 3.5939186096191404,
      "step": 5245
    },
    {
      "epoch": 0.175,
      "grad_norm": 3.046875,
      "learning_rate": 0.0004639915254237288,
      "loss": 4.410014343261719,
      "step": 5250
    },
    {
      "epoch": 0.17516666666666666,
      "grad_norm": 1.8125,
      "learning_rate": 0.0004639491525423729,
      "loss": 3.839933395385742,
      "step": 5255
    },
    {
      "epoch": 0.17533333333333334,
      "grad_norm": 1.9453125,
      "learning_rate": 0.00046390677966101694,
      "loss": 4.311360168457031,
      "step": 5260
    },
    {
      "epoch": 0.1755,
      "grad_norm": 1.1171875,
      "learning_rate": 0.00046386440677966104,
      "loss": 4.1273681640625,
      "step": 5265
    },
    {
      "epoch": 0.17566666666666667,
      "grad_norm": 1.84375,
      "learning_rate": 0.0004638220338983051,
      "loss": 4.448281478881836,
      "step": 5270
    },
    {
      "epoch": 0.17583333333333334,
      "grad_norm": 1.921875,
      "learning_rate": 0.0004637796610169492,
      "loss": 4.537912750244141,
      "step": 5275
    },
    {
      "epoch": 0.176,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004637372881355932,
      "loss": 4.613078689575195,
      "step": 5280
    },
    {
      "epoch": 0.17616666666666667,
      "grad_norm": 1.3125,
      "learning_rate": 0.0004636949152542373,
      "loss": 4.658835601806641,
      "step": 5285
    },
    {
      "epoch": 0.17633333333333334,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00046365254237288136,
      "loss": 4.438240051269531,
      "step": 5290
    },
    {
      "epoch": 0.1765,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00046361016949152546,
      "loss": 4.3463386535644535,
      "step": 5295
    },
    {
      "epoch": 0.17666666666666667,
      "grad_norm": 1.625,
      "learning_rate": 0.0004635677966101695,
      "loss": 4.323451995849609,
      "step": 5300
    },
    {
      "epoch": 0.17683333333333334,
      "grad_norm": 1.984375,
      "learning_rate": 0.00046352542372881354,
      "loss": 4.931083679199219,
      "step": 5305
    },
    {
      "epoch": 0.177,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00046348305084745764,
      "loss": 3.414669418334961,
      "step": 5310
    },
    {
      "epoch": 0.17716666666666667,
      "grad_norm": 1.46875,
      "learning_rate": 0.00046344067796610174,
      "loss": 4.58610954284668,
      "step": 5315
    },
    {
      "epoch": 0.17733333333333334,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004633983050847458,
      "loss": 4.715916442871094,
      "step": 5320
    },
    {
      "epoch": 0.1775,
      "grad_norm": 2.03125,
      "learning_rate": 0.0004633559322033898,
      "loss": 4.087403869628906,
      "step": 5325
    },
    {
      "epoch": 0.17766666666666667,
      "grad_norm": 1.5625,
      "learning_rate": 0.0004633135593220339,
      "loss": 3.546028900146484,
      "step": 5330
    },
    {
      "epoch": 0.17783333333333334,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00046327118644067796,
      "loss": 4.275316619873047,
      "step": 5335
    },
    {
      "epoch": 0.178,
      "grad_norm": 2.390625,
      "learning_rate": 0.00046322881355932206,
      "loss": 4.667033767700195,
      "step": 5340
    },
    {
      "epoch": 0.17816666666666667,
      "grad_norm": 1.703125,
      "learning_rate": 0.0004631864406779661,
      "loss": 5.0017742156982425,
      "step": 5345
    },
    {
      "epoch": 0.17833333333333334,
      "grad_norm": 1.3203125,
      "learning_rate": 0.00046314406779661015,
      "loss": 4.591000747680664,
      "step": 5350
    },
    {
      "epoch": 0.1785,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00046310169491525424,
      "loss": 4.555090713500976,
      "step": 5355
    },
    {
      "epoch": 0.17866666666666667,
      "grad_norm": 1.484375,
      "learning_rate": 0.00046305932203389834,
      "loss": 3.7190799713134766,
      "step": 5360
    },
    {
      "epoch": 0.17883333333333334,
      "grad_norm": 1.703125,
      "learning_rate": 0.0004630169491525424,
      "loss": 4.817134857177734,
      "step": 5365
    },
    {
      "epoch": 0.179,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004629745762711864,
      "loss": 4.794821929931641,
      "step": 5370
    },
    {
      "epoch": 0.17916666666666667,
      "grad_norm": 2.1875,
      "learning_rate": 0.0004629322033898305,
      "loss": 4.642425918579102,
      "step": 5375
    },
    {
      "epoch": 0.17933333333333334,
      "grad_norm": 2.078125,
      "learning_rate": 0.0004628898305084746,
      "loss": 5.386078643798828,
      "step": 5380
    },
    {
      "epoch": 0.1795,
      "grad_norm": 1.90625,
      "learning_rate": 0.00046284745762711866,
      "loss": 4.158678436279297,
      "step": 5385
    },
    {
      "epoch": 0.17966666666666667,
      "grad_norm": 3.828125,
      "learning_rate": 0.0004628050847457627,
      "loss": 4.852984619140625,
      "step": 5390
    },
    {
      "epoch": 0.17983333333333335,
      "grad_norm": 2.046875,
      "learning_rate": 0.00046276271186440675,
      "loss": 4.761942672729492,
      "step": 5395
    },
    {
      "epoch": 0.18,
      "grad_norm": 1.6875,
      "learning_rate": 0.0004627203389830509,
      "loss": 4.913227081298828,
      "step": 5400
    },
    {
      "epoch": 0.18016666666666667,
      "grad_norm": 2.5,
      "learning_rate": 0.00046267796610169494,
      "loss": 4.826737594604492,
      "step": 5405
    },
    {
      "epoch": 0.18033333333333335,
      "grad_norm": 4.375,
      "learning_rate": 0.000462635593220339,
      "loss": 4.288956069946289,
      "step": 5410
    },
    {
      "epoch": 0.1805,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00046259322033898303,
      "loss": 4.088062286376953,
      "step": 5415
    },
    {
      "epoch": 0.18066666666666667,
      "grad_norm": 1.859375,
      "learning_rate": 0.0004625508474576272,
      "loss": 5.024936676025391,
      "step": 5420
    },
    {
      "epoch": 0.18083333333333335,
      "grad_norm": 3.6875,
      "learning_rate": 0.0004625084745762712,
      "loss": 4.228921127319336,
      "step": 5425
    },
    {
      "epoch": 0.181,
      "grad_norm": 1.578125,
      "learning_rate": 0.00046246610169491527,
      "loss": 4.827066802978516,
      "step": 5430
    },
    {
      "epoch": 0.18116666666666667,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004624237288135593,
      "loss": 4.347014236450195,
      "step": 5435
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 1.359375,
      "learning_rate": 0.00046238135593220335,
      "loss": 3.8801807403564452,
      "step": 5440
    },
    {
      "epoch": 0.1815,
      "grad_norm": 1.8125,
      "learning_rate": 0.0004623389830508475,
      "loss": 3.1652509689331056,
      "step": 5445
    },
    {
      "epoch": 0.18166666666666667,
      "grad_norm": 1.5,
      "learning_rate": 0.00046229661016949155,
      "loss": 3.7001262664794923,
      "step": 5450
    },
    {
      "epoch": 0.18183333333333335,
      "grad_norm": 1.640625,
      "learning_rate": 0.0004622542372881356,
      "loss": 4.460926055908203,
      "step": 5455
    },
    {
      "epoch": 0.182,
      "grad_norm": 1.2890625,
      "learning_rate": 0.00046221186440677963,
      "loss": 3.9952587127685546,
      "step": 5460
    },
    {
      "epoch": 0.18216666666666667,
      "grad_norm": 1.3046875,
      "learning_rate": 0.0004621694915254238,
      "loss": 4.217275238037109,
      "step": 5465
    },
    {
      "epoch": 0.18233333333333332,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0004621271186440678,
      "loss": 4.157986450195312,
      "step": 5470
    },
    {
      "epoch": 0.1825,
      "grad_norm": 2.765625,
      "learning_rate": 0.00046208474576271187,
      "loss": 4.458494567871094,
      "step": 5475
    },
    {
      "epoch": 0.18266666666666667,
      "grad_norm": 1.34375,
      "learning_rate": 0.0004620423728813559,
      "loss": 4.552127075195313,
      "step": 5480
    },
    {
      "epoch": 0.18283333333333332,
      "grad_norm": 1.7421875,
      "learning_rate": 0.000462,
      "loss": 4.425163269042969,
      "step": 5485
    },
    {
      "epoch": 0.183,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004619576271186441,
      "loss": 3.667253112792969,
      "step": 5490
    },
    {
      "epoch": 0.18316666666666667,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00046191525423728815,
      "loss": 4.333964157104492,
      "step": 5495
    },
    {
      "epoch": 0.18333333333333332,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0004618728813559322,
      "loss": 4.359061813354492,
      "step": 5500
    },
    {
      "epoch": 0.1835,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004618305084745763,
      "loss": 4.2008056640625,
      "step": 5505
    },
    {
      "epoch": 0.18366666666666667,
      "grad_norm": 2.0625,
      "learning_rate": 0.0004617881355932204,
      "loss": 4.981350326538086,
      "step": 5510
    },
    {
      "epoch": 0.18383333333333332,
      "grad_norm": 3.546875,
      "learning_rate": 0.00046174576271186443,
      "loss": 4.935762786865235,
      "step": 5515
    },
    {
      "epoch": 0.184,
      "grad_norm": 1.4609375,
      "learning_rate": 0.00046170338983050847,
      "loss": 4.2580207824707035,
      "step": 5520
    },
    {
      "epoch": 0.18416666666666667,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00046166101694915257,
      "loss": 4.28931884765625,
      "step": 5525
    },
    {
      "epoch": 0.18433333333333332,
      "grad_norm": 1.4609375,
      "learning_rate": 0.0004616186440677966,
      "loss": 4.595600128173828,
      "step": 5530
    },
    {
      "epoch": 0.1845,
      "grad_norm": 2.390625,
      "learning_rate": 0.0004615762711864407,
      "loss": 3.990732192993164,
      "step": 5535
    },
    {
      "epoch": 0.18466666666666667,
      "grad_norm": 1.484375,
      "learning_rate": 0.00046153389830508475,
      "loss": 3.860856628417969,
      "step": 5540
    },
    {
      "epoch": 0.18483333333333332,
      "grad_norm": 2.359375,
      "learning_rate": 0.0004614915254237288,
      "loss": 5.053194427490235,
      "step": 5545
    },
    {
      "epoch": 0.185,
      "grad_norm": 2.609375,
      "learning_rate": 0.0004614491525423729,
      "loss": 4.055628967285156,
      "step": 5550
    },
    {
      "epoch": 0.18516666666666667,
      "grad_norm": 1.59375,
      "learning_rate": 0.000461406779661017,
      "loss": 4.418354034423828,
      "step": 5555
    },
    {
      "epoch": 0.18533333333333332,
      "grad_norm": 1.96875,
      "learning_rate": 0.00046136440677966103,
      "loss": 4.885324096679687,
      "step": 5560
    },
    {
      "epoch": 0.1855,
      "grad_norm": 1.296875,
      "learning_rate": 0.0004613220338983051,
      "loss": 5.019229888916016,
      "step": 5565
    },
    {
      "epoch": 0.18566666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 0.00046127966101694917,
      "loss": 3.759806823730469,
      "step": 5570
    },
    {
      "epoch": 0.18583333333333332,
      "grad_norm": 1.84375,
      "learning_rate": 0.0004612372881355932,
      "loss": 4.8688091278076175,
      "step": 5575
    },
    {
      "epoch": 0.186,
      "grad_norm": 1.5,
      "learning_rate": 0.0004611949152542373,
      "loss": 4.696611404418945,
      "step": 5580
    },
    {
      "epoch": 0.18616666666666667,
      "grad_norm": 2.140625,
      "learning_rate": 0.00046115254237288135,
      "loss": 3.779207229614258,
      "step": 5585
    },
    {
      "epoch": 0.18633333333333332,
      "grad_norm": 1.4375,
      "learning_rate": 0.00046111016949152545,
      "loss": 4.411431884765625,
      "step": 5590
    },
    {
      "epoch": 0.1865,
      "grad_norm": 1.921875,
      "learning_rate": 0.0004610677966101695,
      "loss": 4.6693870544433596,
      "step": 5595
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 2.0625,
      "learning_rate": 0.0004610254237288136,
      "loss": 4.098141098022461,
      "step": 5600
    },
    {
      "epoch": 0.18683333333333332,
      "grad_norm": 1.578125,
      "learning_rate": 0.00046098305084745763,
      "loss": 4.136412811279297,
      "step": 5605
    },
    {
      "epoch": 0.187,
      "grad_norm": 1.9375,
      "learning_rate": 0.00046094067796610173,
      "loss": 4.893043518066406,
      "step": 5610
    },
    {
      "epoch": 0.18716666666666668,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0004608983050847458,
      "loss": 4.237020874023438,
      "step": 5615
    },
    {
      "epoch": 0.18733333333333332,
      "grad_norm": 1.359375,
      "learning_rate": 0.0004608559322033898,
      "loss": 4.210666656494141,
      "step": 5620
    },
    {
      "epoch": 0.1875,
      "grad_norm": 2.140625,
      "learning_rate": 0.0004608135593220339,
      "loss": 4.827132797241211,
      "step": 5625
    },
    {
      "epoch": 0.18766666666666668,
      "grad_norm": 1.96875,
      "learning_rate": 0.000460771186440678,
      "loss": 4.370160675048828,
      "step": 5630
    },
    {
      "epoch": 0.18783333333333332,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00046072881355932205,
      "loss": 4.311941528320313,
      "step": 5635
    },
    {
      "epoch": 0.188,
      "grad_norm": 2.8125,
      "learning_rate": 0.0004606864406779661,
      "loss": 3.688875198364258,
      "step": 5640
    },
    {
      "epoch": 0.18816666666666668,
      "grad_norm": 2.1875,
      "learning_rate": 0.0004606440677966102,
      "loss": 4.290955352783203,
      "step": 5645
    },
    {
      "epoch": 0.18833333333333332,
      "grad_norm": 1.0859375,
      "learning_rate": 0.00046060169491525424,
      "loss": 4.2545616149902346,
      "step": 5650
    },
    {
      "epoch": 0.1885,
      "grad_norm": 3.25,
      "learning_rate": 0.00046055932203389833,
      "loss": 4.827740859985352,
      "step": 5655
    },
    {
      "epoch": 0.18866666666666668,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004605169491525424,
      "loss": 4.652835083007813,
      "step": 5660
    },
    {
      "epoch": 0.18883333333333333,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0004604745762711864,
      "loss": 3.9854541778564454,
      "step": 5665
    },
    {
      "epoch": 0.189,
      "grad_norm": 1.703125,
      "learning_rate": 0.0004604322033898305,
      "loss": 3.6398658752441406,
      "step": 5670
    },
    {
      "epoch": 0.18916666666666668,
      "grad_norm": 1.25,
      "learning_rate": 0.0004603898305084746,
      "loss": 4.432052230834961,
      "step": 5675
    },
    {
      "epoch": 0.18933333333333333,
      "grad_norm": 1.875,
      "learning_rate": 0.00046034745762711866,
      "loss": 4.400453186035156,
      "step": 5680
    },
    {
      "epoch": 0.1895,
      "grad_norm": 1.515625,
      "learning_rate": 0.0004603050847457627,
      "loss": 5.061452484130859,
      "step": 5685
    },
    {
      "epoch": 0.18966666666666668,
      "grad_norm": 1.796875,
      "learning_rate": 0.00046026271186440674,
      "loss": 4.754351043701172,
      "step": 5690
    },
    {
      "epoch": 0.18983333333333333,
      "grad_norm": 1.671875,
      "learning_rate": 0.0004602203389830509,
      "loss": 4.434485244750976,
      "step": 5695
    },
    {
      "epoch": 0.19,
      "grad_norm": 1.453125,
      "learning_rate": 0.00046017796610169494,
      "loss": 4.5909873962402346,
      "step": 5700
    },
    {
      "epoch": 0.19016666666666668,
      "grad_norm": 1.65625,
      "learning_rate": 0.000460135593220339,
      "loss": 4.381994247436523,
      "step": 5705
    },
    {
      "epoch": 0.19033333333333333,
      "grad_norm": 2.609375,
      "learning_rate": 0.000460093220338983,
      "loss": 4.411532592773438,
      "step": 5710
    },
    {
      "epoch": 0.1905,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0004600508474576272,
      "loss": 4.935853576660156,
      "step": 5715
    },
    {
      "epoch": 0.19066666666666668,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0004600084745762712,
      "loss": 4.998505401611328,
      "step": 5720
    },
    {
      "epoch": 0.19083333333333333,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00045996610169491526,
      "loss": 4.544524383544922,
      "step": 5725
    },
    {
      "epoch": 0.191,
      "grad_norm": 1.5625,
      "learning_rate": 0.0004599237288135593,
      "loss": 4.755642700195312,
      "step": 5730
    },
    {
      "epoch": 0.19116666666666668,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00045988135593220345,
      "loss": 3.9900379180908203,
      "step": 5735
    },
    {
      "epoch": 0.19133333333333333,
      "grad_norm": 1.71875,
      "learning_rate": 0.0004598389830508475,
      "loss": 3.5989143371582033,
      "step": 5740
    },
    {
      "epoch": 0.1915,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00045979661016949154,
      "loss": 3.910941314697266,
      "step": 5745
    },
    {
      "epoch": 0.19166666666666668,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0004597542372881356,
      "loss": 5.134118270874024,
      "step": 5750
    },
    {
      "epoch": 0.19183333333333333,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0004597118644067796,
      "loss": 3.9743480682373047,
      "step": 5755
    },
    {
      "epoch": 0.192,
      "grad_norm": 1.3828125,
      "learning_rate": 0.0004596694915254238,
      "loss": 3.8809276580810548,
      "step": 5760
    },
    {
      "epoch": 0.19216666666666668,
      "grad_norm": 3.328125,
      "learning_rate": 0.0004596271186440678,
      "loss": 4.1066841125488285,
      "step": 5765
    },
    {
      "epoch": 0.19233333333333333,
      "grad_norm": 2.015625,
      "learning_rate": 0.00045958474576271186,
      "loss": 4.253884506225586,
      "step": 5770
    },
    {
      "epoch": 0.1925,
      "grad_norm": 1.703125,
      "learning_rate": 0.0004595423728813559,
      "loss": 4.397069931030273,
      "step": 5775
    },
    {
      "epoch": 0.19266666666666668,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00045950000000000006,
      "loss": 4.2231800079345705,
      "step": 5780
    },
    {
      "epoch": 0.19283333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004594576271186441,
      "loss": 5.032253265380859,
      "step": 5785
    },
    {
      "epoch": 0.193,
      "grad_norm": 1.1484375,
      "learning_rate": 0.00045941525423728814,
      "loss": 4.126136016845703,
      "step": 5790
    },
    {
      "epoch": 0.19316666666666665,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0004593728813559322,
      "loss": 5.151445770263672,
      "step": 5795
    },
    {
      "epoch": 0.19333333333333333,
      "grad_norm": 2.015625,
      "learning_rate": 0.0004593305084745763,
      "loss": 4.697282409667968,
      "step": 5800
    },
    {
      "epoch": 0.1935,
      "grad_norm": 2.734375,
      "learning_rate": 0.0004592881355932204,
      "loss": 4.783528137207031,
      "step": 5805
    },
    {
      "epoch": 0.19366666666666665,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0004592457627118644,
      "loss": 4.454613876342774,
      "step": 5810
    },
    {
      "epoch": 0.19383333333333333,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00045920338983050846,
      "loss": 4.330831909179688,
      "step": 5815
    },
    {
      "epoch": 0.194,
      "grad_norm": 1.515625,
      "learning_rate": 0.00045916101694915256,
      "loss": 3.5966327667236326,
      "step": 5820
    },
    {
      "epoch": 0.19416666666666665,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0004591186440677966,
      "loss": 4.256452941894532,
      "step": 5825
    },
    {
      "epoch": 0.19433333333333333,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004590762711864407,
      "loss": 4.856047058105469,
      "step": 5830
    },
    {
      "epoch": 0.1945,
      "grad_norm": 1.828125,
      "learning_rate": 0.00045903389830508474,
      "loss": 4.920256042480469,
      "step": 5835
    },
    {
      "epoch": 0.19466666666666665,
      "grad_norm": 1.34375,
      "learning_rate": 0.00045899152542372884,
      "loss": 3.720964813232422,
      "step": 5840
    },
    {
      "epoch": 0.19483333333333333,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0004589491525423729,
      "loss": 4.608913421630859,
      "step": 5845
    },
    {
      "epoch": 0.195,
      "grad_norm": 2.171875,
      "learning_rate": 0.000458906779661017,
      "loss": 4.484226989746094,
      "step": 5850
    },
    {
      "epoch": 0.19516666666666665,
      "grad_norm": 1.8046875,
      "learning_rate": 0.000458864406779661,
      "loss": 4.590013122558593,
      "step": 5855
    },
    {
      "epoch": 0.19533333333333333,
      "grad_norm": 3.5,
      "learning_rate": 0.00045882203389830507,
      "loss": 4.893922424316406,
      "step": 5860
    },
    {
      "epoch": 0.1955,
      "grad_norm": 5.21875,
      "learning_rate": 0.00045877966101694916,
      "loss": 4.953891754150391,
      "step": 5865
    },
    {
      "epoch": 0.19566666666666666,
      "grad_norm": 2.78125,
      "learning_rate": 0.0004587372881355932,
      "loss": 3.799810028076172,
      "step": 5870
    },
    {
      "epoch": 0.19583333333333333,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0004586949152542373,
      "loss": 4.307417678833008,
      "step": 5875
    },
    {
      "epoch": 0.196,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00045865254237288135,
      "loss": 4.527104187011719,
      "step": 5880
    },
    {
      "epoch": 0.19616666666666666,
      "grad_norm": 1.25,
      "learning_rate": 0.00045861016949152544,
      "loss": 3.832274627685547,
      "step": 5885
    },
    {
      "epoch": 0.19633333333333333,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004585677966101695,
      "loss": 4.654042053222656,
      "step": 5890
    },
    {
      "epoch": 0.1965,
      "grad_norm": 1.25,
      "learning_rate": 0.0004585254237288136,
      "loss": 4.158672714233399,
      "step": 5895
    },
    {
      "epoch": 0.19666666666666666,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00045848305084745763,
      "loss": 4.013265228271484,
      "step": 5900
    },
    {
      "epoch": 0.19683333333333333,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0004584406779661017,
      "loss": 4.5612030029296875,
      "step": 5905
    },
    {
      "epoch": 0.197,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00045839830508474577,
      "loss": 5.08246078491211,
      "step": 5910
    },
    {
      "epoch": 0.19716666666666666,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004583559322033898,
      "loss": 4.626296615600586,
      "step": 5915
    },
    {
      "epoch": 0.19733333333333333,
      "grad_norm": 1.453125,
      "learning_rate": 0.0004583135593220339,
      "loss": 4.084360504150391,
      "step": 5920
    },
    {
      "epoch": 0.1975,
      "grad_norm": 1.546875,
      "learning_rate": 0.000458271186440678,
      "loss": 5.066215133666992,
      "step": 5925
    },
    {
      "epoch": 0.19766666666666666,
      "grad_norm": 1.3203125,
      "learning_rate": 0.00045822881355932205,
      "loss": 4.024653625488281,
      "step": 5930
    },
    {
      "epoch": 0.19783333333333333,
      "grad_norm": 2.578125,
      "learning_rate": 0.0004581864406779661,
      "loss": 4.426050186157227,
      "step": 5935
    },
    {
      "epoch": 0.198,
      "grad_norm": 2.25,
      "learning_rate": 0.0004581440677966102,
      "loss": 5.0568183898925785,
      "step": 5940
    },
    {
      "epoch": 0.19816666666666666,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0004581016949152543,
      "loss": 4.305776214599609,
      "step": 5945
    },
    {
      "epoch": 0.19833333333333333,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0004580593220338983,
      "loss": 5.049842834472656,
      "step": 5950
    },
    {
      "epoch": 0.1985,
      "grad_norm": 1.3671875,
      "learning_rate": 0.00045801694915254237,
      "loss": 4.5596263885498045,
      "step": 5955
    },
    {
      "epoch": 0.19866666666666666,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0004579745762711864,
      "loss": 3.8948875427246095,
      "step": 5960
    },
    {
      "epoch": 0.19883333333333333,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0004579322033898305,
      "loss": 4.880084609985351,
      "step": 5965
    },
    {
      "epoch": 0.199,
      "grad_norm": 1.4140625,
      "learning_rate": 0.0004578898305084746,
      "loss": 4.58434829711914,
      "step": 5970
    },
    {
      "epoch": 0.19916666666666666,
      "grad_norm": 2.046875,
      "learning_rate": 0.00045784745762711865,
      "loss": 5.0321601867675785,
      "step": 5975
    },
    {
      "epoch": 0.19933333333333333,
      "grad_norm": 1.484375,
      "learning_rate": 0.0004578050847457627,
      "loss": 4.191883087158203,
      "step": 5980
    },
    {
      "epoch": 0.1995,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004577627118644068,
      "loss": 4.616006088256836,
      "step": 5985
    },
    {
      "epoch": 0.19966666666666666,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004577203389830509,
      "loss": 4.565040588378906,
      "step": 5990
    },
    {
      "epoch": 0.19983333333333334,
      "grad_norm": 2.59375,
      "learning_rate": 0.00045767796610169493,
      "loss": 4.519877624511719,
      "step": 5995
    },
    {
      "epoch": 0.2,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00045763559322033897,
      "loss": 4.179705810546875,
      "step": 6000
    },
    {
      "epoch": 0.20016666666666666,
      "grad_norm": 1.6328125,
      "learning_rate": 0.000457593220338983,
      "loss": 3.5093963623046873,
      "step": 6005
    },
    {
      "epoch": 0.20033333333333334,
      "grad_norm": 2.125,
      "learning_rate": 0.00045755084745762717,
      "loss": 4.126243209838867,
      "step": 6010
    },
    {
      "epoch": 0.2005,
      "grad_norm": 2.1875,
      "learning_rate": 0.0004575084745762712,
      "loss": 3.944670486450195,
      "step": 6015
    },
    {
      "epoch": 0.20066666666666666,
      "grad_norm": 3.3125,
      "learning_rate": 0.00045746610169491525,
      "loss": 4.548195648193359,
      "step": 6020
    },
    {
      "epoch": 0.20083333333333334,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004574237288135593,
      "loss": 3.712565612792969,
      "step": 6025
    },
    {
      "epoch": 0.201,
      "grad_norm": 1.453125,
      "learning_rate": 0.00045738135593220345,
      "loss": 4.743717193603516,
      "step": 6030
    },
    {
      "epoch": 0.20116666666666666,
      "grad_norm": 2.765625,
      "learning_rate": 0.0004573389830508475,
      "loss": 5.3141437530517575,
      "step": 6035
    },
    {
      "epoch": 0.20133333333333334,
      "grad_norm": 2.5625,
      "learning_rate": 0.00045729661016949153,
      "loss": 4.298678588867188,
      "step": 6040
    },
    {
      "epoch": 0.2015,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0004572542372881356,
      "loss": 4.221627426147461,
      "step": 6045
    },
    {
      "epoch": 0.20166666666666666,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004572118644067796,
      "loss": 3.631081771850586,
      "step": 6050
    },
    {
      "epoch": 0.20183333333333334,
      "grad_norm": 1.9296875,
      "learning_rate": 0.00045716949152542377,
      "loss": 4.3927490234375,
      "step": 6055
    },
    {
      "epoch": 0.202,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0004571271186440678,
      "loss": 4.722534561157227,
      "step": 6060
    },
    {
      "epoch": 0.20216666666666666,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00045708474576271186,
      "loss": 4.6829833984375,
      "step": 6065
    },
    {
      "epoch": 0.20233333333333334,
      "grad_norm": 3.0,
      "learning_rate": 0.0004570423728813559,
      "loss": 4.27629508972168,
      "step": 6070
    },
    {
      "epoch": 0.2025,
      "grad_norm": 2.484375,
      "learning_rate": 0.00045700000000000005,
      "loss": 4.5512855529785154,
      "step": 6075
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 1.484375,
      "learning_rate": 0.0004569576271186441,
      "loss": 4.638285827636719,
      "step": 6080
    },
    {
      "epoch": 0.20283333333333334,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00045691525423728814,
      "loss": 4.403337860107422,
      "step": 6085
    },
    {
      "epoch": 0.203,
      "grad_norm": 1.609375,
      "learning_rate": 0.0004568728813559322,
      "loss": 4.486482620239258,
      "step": 6090
    },
    {
      "epoch": 0.20316666666666666,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0004568305084745763,
      "loss": 3.942881393432617,
      "step": 6095
    },
    {
      "epoch": 0.20333333333333334,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00045678813559322037,
      "loss": 4.124472808837891,
      "step": 6100
    },
    {
      "epoch": 0.2035,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004567457627118644,
      "loss": 4.279733276367187,
      "step": 6105
    },
    {
      "epoch": 0.20366666666666666,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00045670338983050846,
      "loss": 4.810711669921875,
      "step": 6110
    },
    {
      "epoch": 0.20383333333333334,
      "grad_norm": 1.453125,
      "learning_rate": 0.00045666101694915256,
      "loss": 4.113847351074218,
      "step": 6115
    },
    {
      "epoch": 0.204,
      "grad_norm": 1.3125,
      "learning_rate": 0.00045661864406779665,
      "loss": 3.6337684631347655,
      "step": 6120
    },
    {
      "epoch": 0.20416666666666666,
      "grad_norm": 1.21875,
      "learning_rate": 0.0004565762711864407,
      "loss": 4.321411514282227,
      "step": 6125
    },
    {
      "epoch": 0.20433333333333334,
      "grad_norm": 4.90625,
      "learning_rate": 0.00045653389830508474,
      "loss": 5.22674789428711,
      "step": 6130
    },
    {
      "epoch": 0.2045,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00045649152542372883,
      "loss": 4.818236923217773,
      "step": 6135
    },
    {
      "epoch": 0.20466666666666666,
      "grad_norm": 2.234375,
      "learning_rate": 0.0004564491525423729,
      "loss": 4.603015518188476,
      "step": 6140
    },
    {
      "epoch": 0.20483333333333334,
      "grad_norm": 1.734375,
      "learning_rate": 0.000456406779661017,
      "loss": 4.771939468383789,
      "step": 6145
    },
    {
      "epoch": 0.205,
      "grad_norm": 1.8828125,
      "learning_rate": 0.000456364406779661,
      "loss": 5.051699829101563,
      "step": 6150
    },
    {
      "epoch": 0.20516666666666666,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00045632203389830506,
      "loss": 3.2930419921875,
      "step": 6155
    },
    {
      "epoch": 0.20533333333333334,
      "grad_norm": 2.078125,
      "learning_rate": 0.00045627966101694916,
      "loss": 4.1284332275390625,
      "step": 6160
    },
    {
      "epoch": 0.2055,
      "grad_norm": 2.265625,
      "learning_rate": 0.00045623728813559325,
      "loss": 4.958016967773437,
      "step": 6165
    },
    {
      "epoch": 0.20566666666666666,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0004561949152542373,
      "loss": 4.9941047668457035,
      "step": 6170
    },
    {
      "epoch": 0.20583333333333334,
      "grad_norm": 1.546875,
      "learning_rate": 0.00045615254237288134,
      "loss": 4.264943695068359,
      "step": 6175
    },
    {
      "epoch": 0.206,
      "grad_norm": 1.359375,
      "learning_rate": 0.00045611016949152544,
      "loss": 4.144585037231446,
      "step": 6180
    },
    {
      "epoch": 0.20616666666666666,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004560677966101695,
      "loss": 4.373188400268555,
      "step": 6185
    },
    {
      "epoch": 0.20633333333333334,
      "grad_norm": 1.609375,
      "learning_rate": 0.0004560254237288136,
      "loss": 4.5954231262207035,
      "step": 6190
    },
    {
      "epoch": 0.2065,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004559830508474576,
      "loss": 4.459103393554687,
      "step": 6195
    },
    {
      "epoch": 0.20666666666666667,
      "grad_norm": 1.34375,
      "learning_rate": 0.0004559406779661017,
      "loss": 4.612787246704102,
      "step": 6200
    },
    {
      "epoch": 0.20683333333333334,
      "grad_norm": 3.03125,
      "learning_rate": 0.00045589830508474576,
      "loss": 4.929909896850586,
      "step": 6205
    },
    {
      "epoch": 0.207,
      "grad_norm": 1.4609375,
      "learning_rate": 0.00045585593220338986,
      "loss": 4.102999496459961,
      "step": 6210
    },
    {
      "epoch": 0.20716666666666667,
      "grad_norm": 1.75,
      "learning_rate": 0.0004558135593220339,
      "loss": 4.347867965698242,
      "step": 6215
    },
    {
      "epoch": 0.20733333333333334,
      "grad_norm": 1.5546875,
      "learning_rate": 0.000455771186440678,
      "loss": 4.296784973144531,
      "step": 6220
    },
    {
      "epoch": 0.2075,
      "grad_norm": 1.9296875,
      "learning_rate": 0.00045572881355932204,
      "loss": 4.681304550170898,
      "step": 6225
    },
    {
      "epoch": 0.20766666666666667,
      "grad_norm": 1.625,
      "learning_rate": 0.0004556864406779661,
      "loss": 4.524041748046875,
      "step": 6230
    },
    {
      "epoch": 0.20783333333333334,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0004556440677966102,
      "loss": 4.430915832519531,
      "step": 6235
    },
    {
      "epoch": 0.208,
      "grad_norm": 1.546875,
      "learning_rate": 0.0004556016949152543,
      "loss": 4.74962158203125,
      "step": 6240
    },
    {
      "epoch": 0.20816666666666667,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0004555593220338983,
      "loss": 4.854360961914063,
      "step": 6245
    },
    {
      "epoch": 0.20833333333333334,
      "grad_norm": 2.859375,
      "learning_rate": 0.00045551694915254236,
      "loss": 4.30383071899414,
      "step": 6250
    },
    {
      "epoch": 0.2085,
      "grad_norm": 1.28125,
      "learning_rate": 0.00045547457627118646,
      "loss": 4.8196147918701175,
      "step": 6255
    },
    {
      "epoch": 0.20866666666666667,
      "grad_norm": 1.375,
      "learning_rate": 0.0004554322033898305,
      "loss": 4.260427474975586,
      "step": 6260
    },
    {
      "epoch": 0.20883333333333334,
      "grad_norm": 1.75,
      "learning_rate": 0.0004553898305084746,
      "loss": 4.71612777709961,
      "step": 6265
    },
    {
      "epoch": 0.209,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00045534745762711864,
      "loss": 3.6305110931396483,
      "step": 6270
    },
    {
      "epoch": 0.20916666666666667,
      "grad_norm": 2.09375,
      "learning_rate": 0.0004553050847457627,
      "loss": 4.363587188720703,
      "step": 6275
    },
    {
      "epoch": 0.20933333333333334,
      "grad_norm": 1.3359375,
      "learning_rate": 0.0004552627118644068,
      "loss": 4.212810134887695,
      "step": 6280
    },
    {
      "epoch": 0.2095,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004552203389830509,
      "loss": 4.7239013671875,
      "step": 6285
    },
    {
      "epoch": 0.20966666666666667,
      "grad_norm": 3.265625,
      "learning_rate": 0.0004551779661016949,
      "loss": 4.733230972290039,
      "step": 6290
    },
    {
      "epoch": 0.20983333333333334,
      "grad_norm": 1.609375,
      "learning_rate": 0.00045513559322033897,
      "loss": 4.9685626983642575,
      "step": 6295
    },
    {
      "epoch": 0.21,
      "grad_norm": 1.2421875,
      "learning_rate": 0.00045509322033898306,
      "loss": 3.9942401885986327,
      "step": 6300
    },
    {
      "epoch": 0.21016666666666667,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00045505084745762716,
      "loss": 4.103334045410156,
      "step": 6305
    },
    {
      "epoch": 0.21033333333333334,
      "grad_norm": 1.421875,
      "learning_rate": 0.0004550084745762712,
      "loss": 4.689691162109375,
      "step": 6310
    },
    {
      "epoch": 0.2105,
      "grad_norm": 1.140625,
      "learning_rate": 0.00045496610169491525,
      "loss": 3.790361022949219,
      "step": 6315
    },
    {
      "epoch": 0.21066666666666667,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0004549237288135593,
      "loss": 4.490988540649414,
      "step": 6320
    },
    {
      "epoch": 0.21083333333333334,
      "grad_norm": 1.875,
      "learning_rate": 0.00045488135593220344,
      "loss": 4.486775207519531,
      "step": 6325
    },
    {
      "epoch": 0.211,
      "grad_norm": 1.703125,
      "learning_rate": 0.0004548389830508475,
      "loss": 4.1944580078125,
      "step": 6330
    },
    {
      "epoch": 0.21116666666666667,
      "grad_norm": 2.0,
      "learning_rate": 0.0004547966101694915,
      "loss": 4.075526428222656,
      "step": 6335
    },
    {
      "epoch": 0.21133333333333335,
      "grad_norm": 2.078125,
      "learning_rate": 0.00045475423728813557,
      "loss": 4.373451232910156,
      "step": 6340
    },
    {
      "epoch": 0.2115,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0004547118644067797,
      "loss": 3.3895942687988283,
      "step": 6345
    },
    {
      "epoch": 0.21166666666666667,
      "grad_norm": 2.234375,
      "learning_rate": 0.00045466949152542376,
      "loss": 3.650619888305664,
      "step": 6350
    },
    {
      "epoch": 0.21183333333333335,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004546271186440678,
      "loss": 3.440054702758789,
      "step": 6355
    },
    {
      "epoch": 0.212,
      "grad_norm": 2.09375,
      "learning_rate": 0.00045458474576271185,
      "loss": 4.268472290039062,
      "step": 6360
    },
    {
      "epoch": 0.21216666666666667,
      "grad_norm": 1.515625,
      "learning_rate": 0.0004545423728813559,
      "loss": 4.582843399047851,
      "step": 6365
    },
    {
      "epoch": 0.21233333333333335,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00045450000000000004,
      "loss": 4.237892150878906,
      "step": 6370
    },
    {
      "epoch": 0.2125,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004544576271186441,
      "loss": 4.217867279052735,
      "step": 6375
    },
    {
      "epoch": 0.21266666666666667,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00045441525423728813,
      "loss": 4.273230743408203,
      "step": 6380
    },
    {
      "epoch": 0.21283333333333335,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00045437288135593217,
      "loss": 4.540842437744141,
      "step": 6385
    },
    {
      "epoch": 0.213,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0004543305084745763,
      "loss": 5.66223258972168,
      "step": 6390
    },
    {
      "epoch": 0.21316666666666667,
      "grad_norm": 1.46875,
      "learning_rate": 0.00045428813559322037,
      "loss": 4.5137580871582035,
      "step": 6395
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 1.640625,
      "learning_rate": 0.0004542457627118644,
      "loss": 3.611085891723633,
      "step": 6400
    },
    {
      "epoch": 0.2135,
      "grad_norm": 2.015625,
      "learning_rate": 0.00045420338983050845,
      "loss": 4.3416748046875,
      "step": 6405
    },
    {
      "epoch": 0.21366666666666667,
      "grad_norm": 1.46875,
      "learning_rate": 0.00045416101694915255,
      "loss": 4.996511840820313,
      "step": 6410
    },
    {
      "epoch": 0.21383333333333332,
      "grad_norm": 1.203125,
      "learning_rate": 0.00045411864406779665,
      "loss": 4.321150588989258,
      "step": 6415
    },
    {
      "epoch": 0.214,
      "grad_norm": 1.453125,
      "learning_rate": 0.0004540762711864407,
      "loss": 4.011177062988281,
      "step": 6420
    },
    {
      "epoch": 0.21416666666666667,
      "grad_norm": 1.9296875,
      "learning_rate": 0.00045403389830508473,
      "loss": 4.512229919433594,
      "step": 6425
    },
    {
      "epoch": 0.21433333333333332,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00045399152542372883,
      "loss": 4.737364196777344,
      "step": 6430
    },
    {
      "epoch": 0.2145,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004539491525423729,
      "loss": 4.3252605438232425,
      "step": 6435
    },
    {
      "epoch": 0.21466666666666667,
      "grad_norm": 1.625,
      "learning_rate": 0.00045390677966101697,
      "loss": 4.325131225585937,
      "step": 6440
    },
    {
      "epoch": 0.21483333333333332,
      "grad_norm": 2.625,
      "learning_rate": 0.000453864406779661,
      "loss": 4.653448104858398,
      "step": 6445
    },
    {
      "epoch": 0.215,
      "grad_norm": 1.953125,
      "learning_rate": 0.0004538220338983051,
      "loss": 5.185066604614258,
      "step": 6450
    },
    {
      "epoch": 0.21516666666666667,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00045377966101694915,
      "loss": 3.9645843505859375,
      "step": 6455
    },
    {
      "epoch": 0.21533333333333332,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00045373728813559325,
      "loss": 4.282760238647461,
      "step": 6460
    },
    {
      "epoch": 0.2155,
      "grad_norm": 1.484375,
      "learning_rate": 0.0004536949152542373,
      "loss": 4.368599319458008,
      "step": 6465
    },
    {
      "epoch": 0.21566666666666667,
      "grad_norm": 1.796875,
      "learning_rate": 0.00045365254237288133,
      "loss": 4.167287063598633,
      "step": 6470
    },
    {
      "epoch": 0.21583333333333332,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00045361016949152543,
      "loss": 4.885379409790039,
      "step": 6475
    },
    {
      "epoch": 0.216,
      "grad_norm": 3.171875,
      "learning_rate": 0.00045356779661016953,
      "loss": 4.54321174621582,
      "step": 6480
    },
    {
      "epoch": 0.21616666666666667,
      "grad_norm": 1.375,
      "learning_rate": 0.00045352542372881357,
      "loss": 3.9946949005126955,
      "step": 6485
    },
    {
      "epoch": 0.21633333333333332,
      "grad_norm": 1.609375,
      "learning_rate": 0.0004534830508474576,
      "loss": 4.621207427978516,
      "step": 6490
    },
    {
      "epoch": 0.2165,
      "grad_norm": 1.4609375,
      "learning_rate": 0.0004534406779661017,
      "loss": 4.334843444824219,
      "step": 6495
    },
    {
      "epoch": 0.21666666666666667,
      "grad_norm": 2.328125,
      "learning_rate": 0.00045339830508474575,
      "loss": 4.8813011169433596,
      "step": 6500
    },
    {
      "epoch": 0.21683333333333332,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00045335593220338985,
      "loss": 4.0727581024169925,
      "step": 6505
    },
    {
      "epoch": 0.217,
      "grad_norm": 1.65625,
      "learning_rate": 0.0004533135593220339,
      "loss": 4.611447525024414,
      "step": 6510
    },
    {
      "epoch": 0.21716666666666667,
      "grad_norm": 1.6171875,
      "learning_rate": 0.000453271186440678,
      "loss": 3.945395660400391,
      "step": 6515
    },
    {
      "epoch": 0.21733333333333332,
      "grad_norm": 3.453125,
      "learning_rate": 0.00045322881355932203,
      "loss": 4.41875991821289,
      "step": 6520
    },
    {
      "epoch": 0.2175,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00045318644067796613,
      "loss": 4.471612548828125,
      "step": 6525
    },
    {
      "epoch": 0.21766666666666667,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0004531440677966102,
      "loss": 4.624485015869141,
      "step": 6530
    },
    {
      "epoch": 0.21783333333333332,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00045310169491525427,
      "loss": 4.052707290649414,
      "step": 6535
    },
    {
      "epoch": 0.218,
      "grad_norm": 1.53125,
      "learning_rate": 0.0004530593220338983,
      "loss": 4.560688781738281,
      "step": 6540
    },
    {
      "epoch": 0.21816666666666668,
      "grad_norm": 3.0625,
      "learning_rate": 0.00045301694915254236,
      "loss": 4.728160858154297,
      "step": 6545
    },
    {
      "epoch": 0.21833333333333332,
      "grad_norm": 1.3125,
      "learning_rate": 0.00045297457627118645,
      "loss": 3.9814899444580076,
      "step": 6550
    },
    {
      "epoch": 0.2185,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00045293220338983055,
      "loss": 4.79572868347168,
      "step": 6555
    },
    {
      "epoch": 0.21866666666666668,
      "grad_norm": 1.2265625,
      "learning_rate": 0.0004528898305084746,
      "loss": 4.232686614990234,
      "step": 6560
    },
    {
      "epoch": 0.21883333333333332,
      "grad_norm": 1.828125,
      "learning_rate": 0.00045284745762711864,
      "loss": 4.521676254272461,
      "step": 6565
    },
    {
      "epoch": 0.219,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00045280508474576273,
      "loss": 4.256791687011718,
      "step": 6570
    },
    {
      "epoch": 0.21916666666666668,
      "grad_norm": 1.78125,
      "learning_rate": 0.0004527627118644068,
      "loss": 4.844651794433593,
      "step": 6575
    },
    {
      "epoch": 0.21933333333333332,
      "grad_norm": 1.671875,
      "learning_rate": 0.0004527203389830509,
      "loss": 4.330373001098633,
      "step": 6580
    },
    {
      "epoch": 0.2195,
      "grad_norm": 1.390625,
      "learning_rate": 0.0004526779661016949,
      "loss": 4.300748443603515,
      "step": 6585
    },
    {
      "epoch": 0.21966666666666668,
      "grad_norm": 1.453125,
      "learning_rate": 0.00045263559322033896,
      "loss": 5.104301071166992,
      "step": 6590
    },
    {
      "epoch": 0.21983333333333333,
      "grad_norm": 1.9375,
      "learning_rate": 0.00045259322033898306,
      "loss": 4.323845672607422,
      "step": 6595
    },
    {
      "epoch": 0.22,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00045255084745762715,
      "loss": 4.072745895385742,
      "step": 6600
    },
    {
      "epoch": 0.22016666666666668,
      "grad_norm": 1.578125,
      "learning_rate": 0.0004525084745762712,
      "loss": 4.616070175170899,
      "step": 6605
    },
    {
      "epoch": 0.22033333333333333,
      "grad_norm": 2.109375,
      "learning_rate": 0.00045246610169491524,
      "loss": 5.450815963745117,
      "step": 6610
    },
    {
      "epoch": 0.2205,
      "grad_norm": 1.75,
      "learning_rate": 0.00045242372881355934,
      "loss": 4.775524520874024,
      "step": 6615
    },
    {
      "epoch": 0.22066666666666668,
      "grad_norm": 2.34375,
      "learning_rate": 0.00045238135593220343,
      "loss": 4.833293914794922,
      "step": 6620
    },
    {
      "epoch": 0.22083333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004523389830508475,
      "loss": 5.227083587646485,
      "step": 6625
    },
    {
      "epoch": 0.221,
      "grad_norm": 1.921875,
      "learning_rate": 0.0004522966101694915,
      "loss": 3.8542327880859375,
      "step": 6630
    },
    {
      "epoch": 0.22116666666666668,
      "grad_norm": 3.875,
      "learning_rate": 0.00045225423728813556,
      "loss": 3.960988998413086,
      "step": 6635
    },
    {
      "epoch": 0.22133333333333333,
      "grad_norm": 2.15625,
      "learning_rate": 0.0004522118644067797,
      "loss": 4.688843536376953,
      "step": 6640
    },
    {
      "epoch": 0.2215,
      "grad_norm": 1.703125,
      "learning_rate": 0.00045216949152542376,
      "loss": 4.187417984008789,
      "step": 6645
    },
    {
      "epoch": 0.22166666666666668,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004521271186440678,
      "loss": 4.510346221923828,
      "step": 6650
    },
    {
      "epoch": 0.22183333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00045208474576271184,
      "loss": 4.322418594360352,
      "step": 6655
    },
    {
      "epoch": 0.222,
      "grad_norm": 1.9765625,
      "learning_rate": 0.000452042372881356,
      "loss": 4.233455657958984,
      "step": 6660
    },
    {
      "epoch": 0.22216666666666668,
      "grad_norm": 2.34375,
      "learning_rate": 0.00045200000000000004,
      "loss": 4.147364807128906,
      "step": 6665
    },
    {
      "epoch": 0.22233333333333333,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004519576271186441,
      "loss": 4.2456207275390625,
      "step": 6670
    },
    {
      "epoch": 0.2225,
      "grad_norm": 1.828125,
      "learning_rate": 0.0004519152542372881,
      "loss": 4.8779541015625,
      "step": 6675
    },
    {
      "epoch": 0.22266666666666668,
      "grad_norm": 2.015625,
      "learning_rate": 0.00045187288135593216,
      "loss": 3.90154914855957,
      "step": 6680
    },
    {
      "epoch": 0.22283333333333333,
      "grad_norm": 1.53125,
      "learning_rate": 0.0004518305084745763,
      "loss": 4.237578964233398,
      "step": 6685
    },
    {
      "epoch": 0.223,
      "grad_norm": 1.546875,
      "learning_rate": 0.00045178813559322036,
      "loss": 4.841481781005859,
      "step": 6690
    },
    {
      "epoch": 0.22316666666666668,
      "grad_norm": 1.953125,
      "learning_rate": 0.0004517457627118644,
      "loss": 4.895248794555664,
      "step": 6695
    },
    {
      "epoch": 0.22333333333333333,
      "grad_norm": 1.75,
      "learning_rate": 0.00045170338983050844,
      "loss": 4.481615829467773,
      "step": 6700
    },
    {
      "epoch": 0.2235,
      "grad_norm": 2.09375,
      "learning_rate": 0.0004516610169491526,
      "loss": 4.143220520019531,
      "step": 6705
    },
    {
      "epoch": 0.22366666666666668,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00045161864406779664,
      "loss": 4.64660415649414,
      "step": 6710
    },
    {
      "epoch": 0.22383333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004515762711864407,
      "loss": 4.058980941772461,
      "step": 6715
    },
    {
      "epoch": 0.224,
      "grad_norm": 1.53125,
      "learning_rate": 0.0004515338983050847,
      "loss": 4.336388397216797,
      "step": 6720
    },
    {
      "epoch": 0.22416666666666665,
      "grad_norm": 1.40625,
      "learning_rate": 0.0004514915254237288,
      "loss": 3.828910064697266,
      "step": 6725
    },
    {
      "epoch": 0.22433333333333333,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004514491525423729,
      "loss": 4.660998916625976,
      "step": 6730
    },
    {
      "epoch": 0.2245,
      "grad_norm": 1.5,
      "learning_rate": 0.00045140677966101696,
      "loss": 4.2093963623046875,
      "step": 6735
    },
    {
      "epoch": 0.22466666666666665,
      "grad_norm": 1.3984375,
      "learning_rate": 0.000451364406779661,
      "loss": 4.239890289306641,
      "step": 6740
    },
    {
      "epoch": 0.22483333333333333,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004513220338983051,
      "loss": 4.341807556152344,
      "step": 6745
    },
    {
      "epoch": 0.225,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004512796610169492,
      "loss": 4.805132293701172,
      "step": 6750
    },
    {
      "epoch": 0.22516666666666665,
      "grad_norm": 1.59375,
      "learning_rate": 0.00045123728813559324,
      "loss": 4.307019424438477,
      "step": 6755
    },
    {
      "epoch": 0.22533333333333333,
      "grad_norm": 2.234375,
      "learning_rate": 0.0004511949152542373,
      "loss": 4.620037460327149,
      "step": 6760
    },
    {
      "epoch": 0.2255,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0004511525423728814,
      "loss": 3.584650421142578,
      "step": 6765
    },
    {
      "epoch": 0.22566666666666665,
      "grad_norm": 2.140625,
      "learning_rate": 0.0004511101694915254,
      "loss": 4.313246154785157,
      "step": 6770
    },
    {
      "epoch": 0.22583333333333333,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0004510677966101695,
      "loss": 4.728982925415039,
      "step": 6775
    },
    {
      "epoch": 0.226,
      "grad_norm": 1.3984375,
      "learning_rate": 0.00045102542372881356,
      "loss": 3.26385612487793,
      "step": 6780
    },
    {
      "epoch": 0.22616666666666665,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0004509830508474576,
      "loss": 4.200072860717773,
      "step": 6785
    },
    {
      "epoch": 0.22633333333333333,
      "grad_norm": 6.25,
      "learning_rate": 0.0004509406779661017,
      "loss": 4.4658252716064455,
      "step": 6790
    },
    {
      "epoch": 0.2265,
      "grad_norm": 2.3125,
      "learning_rate": 0.0004508983050847458,
      "loss": 3.9286033630371096,
      "step": 6795
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 1.640625,
      "learning_rate": 0.00045085593220338984,
      "loss": 4.002149200439453,
      "step": 6800
    },
    {
      "epoch": 0.22683333333333333,
      "grad_norm": 1.453125,
      "learning_rate": 0.0004508135593220339,
      "loss": 4.609538650512695,
      "step": 6805
    },
    {
      "epoch": 0.227,
      "grad_norm": 1.7890625,
      "learning_rate": 0.000450771186440678,
      "loss": 4.371197509765625,
      "step": 6810
    },
    {
      "epoch": 0.22716666666666666,
      "grad_norm": 2.03125,
      "learning_rate": 0.00045072881355932203,
      "loss": 4.4302936553955075,
      "step": 6815
    },
    {
      "epoch": 0.22733333333333333,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004506864406779661,
      "loss": 4.950350952148438,
      "step": 6820
    },
    {
      "epoch": 0.2275,
      "grad_norm": 1.3125,
      "learning_rate": 0.00045064406779661017,
      "loss": 4.441704177856446,
      "step": 6825
    },
    {
      "epoch": 0.22766666666666666,
      "grad_norm": 2.890625,
      "learning_rate": 0.00045060169491525426,
      "loss": 4.359999465942383,
      "step": 6830
    },
    {
      "epoch": 0.22783333333333333,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0004505593220338983,
      "loss": 4.682227325439453,
      "step": 6835
    },
    {
      "epoch": 0.228,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00045051694915254235,
      "loss": 4.6904644012451175,
      "step": 6840
    },
    {
      "epoch": 0.22816666666666666,
      "grad_norm": 2.328125,
      "learning_rate": 0.00045047457627118645,
      "loss": 4.728501892089843,
      "step": 6845
    },
    {
      "epoch": 0.22833333333333333,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00045043220338983054,
      "loss": 4.1813102722167965,
      "step": 6850
    },
    {
      "epoch": 0.2285,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004503898305084746,
      "loss": 4.371391677856446,
      "step": 6855
    },
    {
      "epoch": 0.22866666666666666,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00045034745762711863,
      "loss": 4.335072326660156,
      "step": 6860
    },
    {
      "epoch": 0.22883333333333333,
      "grad_norm": 1.578125,
      "learning_rate": 0.00045030508474576273,
      "loss": 4.127630233764648,
      "step": 6865
    },
    {
      "epoch": 0.229,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004502627118644068,
      "loss": 3.756322479248047,
      "step": 6870
    },
    {
      "epoch": 0.22916666666666666,
      "grad_norm": 3.578125,
      "learning_rate": 0.00045022033898305087,
      "loss": 3.675693893432617,
      "step": 6875
    },
    {
      "epoch": 0.22933333333333333,
      "grad_norm": 1.703125,
      "learning_rate": 0.0004501779661016949,
      "loss": 4.107642364501953,
      "step": 6880
    },
    {
      "epoch": 0.2295,
      "grad_norm": 2.15625,
      "learning_rate": 0.00045013559322033895,
      "loss": 4.448543930053711,
      "step": 6885
    },
    {
      "epoch": 0.22966666666666666,
      "grad_norm": 1.890625,
      "learning_rate": 0.00045009322033898305,
      "loss": 4.045672988891601,
      "step": 6890
    },
    {
      "epoch": 0.22983333333333333,
      "grad_norm": 1.96875,
      "learning_rate": 0.00045005084745762715,
      "loss": 4.212026596069336,
      "step": 6895
    },
    {
      "epoch": 0.23,
      "grad_norm": 2.015625,
      "learning_rate": 0.0004500084745762712,
      "loss": 4.592043685913086,
      "step": 6900
    },
    {
      "epoch": 0.23016666666666666,
      "grad_norm": 1.640625,
      "learning_rate": 0.00044996610169491523,
      "loss": 4.176191711425782,
      "step": 6905
    },
    {
      "epoch": 0.23033333333333333,
      "grad_norm": 2.59375,
      "learning_rate": 0.00044992372881355933,
      "loss": 4.2132118225097654,
      "step": 6910
    },
    {
      "epoch": 0.2305,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0004498813559322034,
      "loss": 3.8461917877197265,
      "step": 6915
    },
    {
      "epoch": 0.23066666666666666,
      "grad_norm": 2.125,
      "learning_rate": 0.00044983898305084747,
      "loss": 4.451303100585937,
      "step": 6920
    },
    {
      "epoch": 0.23083333333333333,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004497966101694915,
      "loss": 3.9275169372558594,
      "step": 6925
    },
    {
      "epoch": 0.231,
      "grad_norm": 1.515625,
      "learning_rate": 0.00044975423728813556,
      "loss": 3.988908386230469,
      "step": 6930
    },
    {
      "epoch": 0.23116666666666666,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004497118644067797,
      "loss": 3.3400733947753904,
      "step": 6935
    },
    {
      "epoch": 0.23133333333333334,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00044966949152542375,
      "loss": 4.152956771850586,
      "step": 6940
    },
    {
      "epoch": 0.2315,
      "grad_norm": 3.015625,
      "learning_rate": 0.0004496271186440678,
      "loss": 4.455735778808593,
      "step": 6945
    },
    {
      "epoch": 0.23166666666666666,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00044958474576271184,
      "loss": 3.3957427978515624,
      "step": 6950
    },
    {
      "epoch": 0.23183333333333334,
      "grad_norm": 1.78125,
      "learning_rate": 0.000449542372881356,
      "loss": 4.997874069213867,
      "step": 6955
    },
    {
      "epoch": 0.232,
      "grad_norm": 2.96875,
      "learning_rate": 0.00044950000000000003,
      "loss": 4.364413833618164,
      "step": 6960
    },
    {
      "epoch": 0.23216666666666666,
      "grad_norm": 1.375,
      "learning_rate": 0.00044945762711864407,
      "loss": 4.515717315673828,
      "step": 6965
    },
    {
      "epoch": 0.23233333333333334,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0004494152542372881,
      "loss": 4.60828857421875,
      "step": 6970
    },
    {
      "epoch": 0.2325,
      "grad_norm": 2.25,
      "learning_rate": 0.0004493728813559322,
      "loss": 3.4650508880615236,
      "step": 6975
    },
    {
      "epoch": 0.23266666666666666,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004493305084745763,
      "loss": 4.650926971435547,
      "step": 6980
    },
    {
      "epoch": 0.23283333333333334,
      "grad_norm": 2.4375,
      "learning_rate": 0.00044928813559322035,
      "loss": 4.175932693481445,
      "step": 6985
    },
    {
      "epoch": 0.233,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0004492457627118644,
      "loss": 4.364241027832032,
      "step": 6990
    },
    {
      "epoch": 0.23316666666666666,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00044920338983050844,
      "loss": 4.478762435913086,
      "step": 6995
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004491610169491526,
      "loss": 4.455892944335938,
      "step": 7000
    },
    {
      "epoch": 0.2335,
      "grad_norm": 2.09375,
      "learning_rate": 0.00044911864406779663,
      "loss": 4.320899200439453,
      "step": 7005
    },
    {
      "epoch": 0.23366666666666666,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0004490762711864407,
      "loss": 4.1586658477783205,
      "step": 7010
    },
    {
      "epoch": 0.23383333333333334,
      "grad_norm": 1.78125,
      "learning_rate": 0.0004490338983050847,
      "loss": 4.840446853637696,
      "step": 7015
    },
    {
      "epoch": 0.234,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004489915254237288,
      "loss": 4.397148895263672,
      "step": 7020
    },
    {
      "epoch": 0.23416666666666666,
      "grad_norm": 1.421875,
      "learning_rate": 0.0004489491525423729,
      "loss": 3.558353805541992,
      "step": 7025
    },
    {
      "epoch": 0.23433333333333334,
      "grad_norm": 2.375,
      "learning_rate": 0.00044890677966101696,
      "loss": 4.70545768737793,
      "step": 7030
    },
    {
      "epoch": 0.2345,
      "grad_norm": 1.53125,
      "learning_rate": 0.000448864406779661,
      "loss": 3.21710090637207,
      "step": 7035
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 2.0625,
      "learning_rate": 0.0004488220338983051,
      "loss": 3.769736480712891,
      "step": 7040
    },
    {
      "epoch": 0.23483333333333334,
      "grad_norm": 1.671875,
      "learning_rate": 0.0004487796610169492,
      "loss": 4.8568157196044925,
      "step": 7045
    },
    {
      "epoch": 0.235,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00044873728813559324,
      "loss": 4.770424270629883,
      "step": 7050
    },
    {
      "epoch": 0.23516666666666666,
      "grad_norm": 1.890625,
      "learning_rate": 0.0004486949152542373,
      "loss": 4.520118713378906,
      "step": 7055
    },
    {
      "epoch": 0.23533333333333334,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0004486525423728814,
      "loss": 3.7174308776855467,
      "step": 7060
    },
    {
      "epoch": 0.2355,
      "grad_norm": 2.03125,
      "learning_rate": 0.0004486101694915254,
      "loss": 4.231081008911133,
      "step": 7065
    },
    {
      "epoch": 0.23566666666666666,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004485677966101695,
      "loss": 4.145290756225586,
      "step": 7070
    },
    {
      "epoch": 0.23583333333333334,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00044852542372881356,
      "loss": 3.948450469970703,
      "step": 7075
    },
    {
      "epoch": 0.236,
      "grad_norm": 3.890625,
      "learning_rate": 0.00044848305084745766,
      "loss": 3.8949874877929687,
      "step": 7080
    },
    {
      "epoch": 0.23616666666666666,
      "grad_norm": 1.640625,
      "learning_rate": 0.0004484406779661017,
      "loss": 4.328654861450195,
      "step": 7085
    },
    {
      "epoch": 0.23633333333333334,
      "grad_norm": 1.40625,
      "learning_rate": 0.0004483983050847458,
      "loss": 3.284738540649414,
      "step": 7090
    },
    {
      "epoch": 0.2365,
      "grad_norm": 2.125,
      "learning_rate": 0.00044835593220338984,
      "loss": 5.040066528320312,
      "step": 7095
    },
    {
      "epoch": 0.23666666666666666,
      "grad_norm": 1.546875,
      "learning_rate": 0.0004483135593220339,
      "loss": 4.2718055725097654,
      "step": 7100
    },
    {
      "epoch": 0.23683333333333334,
      "grad_norm": 2.65625,
      "learning_rate": 0.000448271186440678,
      "loss": 4.525394439697266,
      "step": 7105
    },
    {
      "epoch": 0.237,
      "grad_norm": 1.5703125,
      "learning_rate": 0.000448228813559322,
      "loss": 4.444928359985352,
      "step": 7110
    },
    {
      "epoch": 0.23716666666666666,
      "grad_norm": 4.9375,
      "learning_rate": 0.0004481864406779661,
      "loss": 4.17662467956543,
      "step": 7115
    },
    {
      "epoch": 0.23733333333333334,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00044814406779661016,
      "loss": 4.455380630493164,
      "step": 7120
    },
    {
      "epoch": 0.2375,
      "grad_norm": 2.03125,
      "learning_rate": 0.00044810169491525426,
      "loss": 4.157230377197266,
      "step": 7125
    },
    {
      "epoch": 0.23766666666666666,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0004480593220338983,
      "loss": 4.423838806152344,
      "step": 7130
    },
    {
      "epoch": 0.23783333333333334,
      "grad_norm": 2.203125,
      "learning_rate": 0.0004480169491525424,
      "loss": 4.2932289123535154,
      "step": 7135
    },
    {
      "epoch": 0.238,
      "grad_norm": 1.734375,
      "learning_rate": 0.00044797457627118644,
      "loss": 4.777790069580078,
      "step": 7140
    },
    {
      "epoch": 0.23816666666666667,
      "grad_norm": 2.78125,
      "learning_rate": 0.00044793220338983054,
      "loss": 3.785783386230469,
      "step": 7145
    },
    {
      "epoch": 0.23833333333333334,
      "grad_norm": 2.0625,
      "learning_rate": 0.0004478898305084746,
      "loss": 4.664317321777344,
      "step": 7150
    },
    {
      "epoch": 0.2385,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004478474576271186,
      "loss": 4.158348083496094,
      "step": 7155
    },
    {
      "epoch": 0.23866666666666667,
      "grad_norm": 2.359375,
      "learning_rate": 0.0004478050847457627,
      "loss": 4.264916229248047,
      "step": 7160
    },
    {
      "epoch": 0.23883333333333334,
      "grad_norm": 1.96875,
      "learning_rate": 0.0004477627118644068,
      "loss": 5.022304916381836,
      "step": 7165
    },
    {
      "epoch": 0.239,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00044772033898305086,
      "loss": 4.2753349304199215,
      "step": 7170
    },
    {
      "epoch": 0.23916666666666667,
      "grad_norm": 1.515625,
      "learning_rate": 0.0004476779661016949,
      "loss": 4.7171180725097654,
      "step": 7175
    },
    {
      "epoch": 0.23933333333333334,
      "grad_norm": 2.078125,
      "learning_rate": 0.000447635593220339,
      "loss": 4.8113853454589846,
      "step": 7180
    },
    {
      "epoch": 0.2395,
      "grad_norm": 1.875,
      "learning_rate": 0.0004475932203389831,
      "loss": 4.34820556640625,
      "step": 7185
    },
    {
      "epoch": 0.23966666666666667,
      "grad_norm": 1.46875,
      "learning_rate": 0.00044755084745762714,
      "loss": 4.4024505615234375,
      "step": 7190
    },
    {
      "epoch": 0.23983333333333334,
      "grad_norm": 2.09375,
      "learning_rate": 0.0004475084745762712,
      "loss": 3.9444252014160157,
      "step": 7195
    },
    {
      "epoch": 0.24,
      "grad_norm": 2.21875,
      "learning_rate": 0.0004474661016949152,
      "loss": 4.2876636505126955,
      "step": 7200
    },
    {
      "epoch": 0.24016666666666667,
      "grad_norm": 1.421875,
      "learning_rate": 0.0004474237288135593,
      "loss": 4.163738250732422,
      "step": 7205
    },
    {
      "epoch": 0.24033333333333334,
      "grad_norm": 1.75,
      "learning_rate": 0.0004473813559322034,
      "loss": 4.7326820373535154,
      "step": 7210
    },
    {
      "epoch": 0.2405,
      "grad_norm": 1.734375,
      "learning_rate": 0.00044733898305084746,
      "loss": 4.625584411621094,
      "step": 7215
    },
    {
      "epoch": 0.24066666666666667,
      "grad_norm": 1.578125,
      "learning_rate": 0.0004472966101694915,
      "loss": 3.7481040954589844,
      "step": 7220
    },
    {
      "epoch": 0.24083333333333334,
      "grad_norm": 1.421875,
      "learning_rate": 0.0004472542372881356,
      "loss": 4.056148529052734,
      "step": 7225
    },
    {
      "epoch": 0.241,
      "grad_norm": 3.109375,
      "learning_rate": 0.0004472118644067797,
      "loss": 3.948822021484375,
      "step": 7230
    },
    {
      "epoch": 0.24116666666666667,
      "grad_norm": 1.9453125,
      "learning_rate": 0.00044716949152542374,
      "loss": 4.348482131958008,
      "step": 7235
    },
    {
      "epoch": 0.24133333333333334,
      "grad_norm": 1.828125,
      "learning_rate": 0.0004471271186440678,
      "loss": 4.3879234313964846,
      "step": 7240
    },
    {
      "epoch": 0.2415,
      "grad_norm": 2.171875,
      "learning_rate": 0.00044708474576271183,
      "loss": 4.233206558227539,
      "step": 7245
    },
    {
      "epoch": 0.24166666666666667,
      "grad_norm": 1.640625,
      "learning_rate": 0.000447042372881356,
      "loss": 3.971814727783203,
      "step": 7250
    },
    {
      "epoch": 0.24183333333333334,
      "grad_norm": 1.640625,
      "learning_rate": 0.000447,
      "loss": 4.8022621154785154,
      "step": 7255
    },
    {
      "epoch": 0.242,
      "grad_norm": 1.484375,
      "learning_rate": 0.00044695762711864407,
      "loss": 3.733707046508789,
      "step": 7260
    },
    {
      "epoch": 0.24216666666666667,
      "grad_norm": 1.375,
      "learning_rate": 0.0004469152542372881,
      "loss": 4.34710464477539,
      "step": 7265
    },
    {
      "epoch": 0.24233333333333335,
      "grad_norm": 2.265625,
      "learning_rate": 0.00044687288135593226,
      "loss": 4.318219757080078,
      "step": 7270
    },
    {
      "epoch": 0.2425,
      "grad_norm": 1.71875,
      "learning_rate": 0.0004468305084745763,
      "loss": 4.160882949829102,
      "step": 7275
    },
    {
      "epoch": 0.24266666666666667,
      "grad_norm": 1.3515625,
      "learning_rate": 0.00044678813559322035,
      "loss": 3.533750534057617,
      "step": 7280
    },
    {
      "epoch": 0.24283333333333335,
      "grad_norm": 1.984375,
      "learning_rate": 0.0004467457627118644,
      "loss": 5.102734375,
      "step": 7285
    },
    {
      "epoch": 0.243,
      "grad_norm": 1.1953125,
      "learning_rate": 0.0004467033898305085,
      "loss": 3.7002758026123046,
      "step": 7290
    },
    {
      "epoch": 0.24316666666666667,
      "grad_norm": 2.015625,
      "learning_rate": 0.0004466610169491526,
      "loss": 5.097566223144531,
      "step": 7295
    },
    {
      "epoch": 0.24333333333333335,
      "grad_norm": 1.71875,
      "learning_rate": 0.0004466186440677966,
      "loss": 3.8936058044433595,
      "step": 7300
    },
    {
      "epoch": 0.2435,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00044657627118644067,
      "loss": 4.075773620605469,
      "step": 7305
    },
    {
      "epoch": 0.24366666666666667,
      "grad_norm": 2.265625,
      "learning_rate": 0.0004465338983050847,
      "loss": 4.8625648498535154,
      "step": 7310
    },
    {
      "epoch": 0.24383333333333335,
      "grad_norm": 1.53125,
      "learning_rate": 0.00044649152542372886,
      "loss": 4.548369979858398,
      "step": 7315
    },
    {
      "epoch": 0.244,
      "grad_norm": 2.125,
      "learning_rate": 0.0004464491525423729,
      "loss": 4.642787933349609,
      "step": 7320
    },
    {
      "epoch": 0.24416666666666667,
      "grad_norm": 1.5,
      "learning_rate": 0.00044640677966101695,
      "loss": 3.910608673095703,
      "step": 7325
    },
    {
      "epoch": 0.24433333333333335,
      "grad_norm": 2.734375,
      "learning_rate": 0.000446364406779661,
      "loss": 4.587016296386719,
      "step": 7330
    },
    {
      "epoch": 0.2445,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0004463220338983051,
      "loss": 4.057862091064453,
      "step": 7335
    },
    {
      "epoch": 0.24466666666666667,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004462796610169492,
      "loss": 4.354438781738281,
      "step": 7340
    },
    {
      "epoch": 0.24483333333333332,
      "grad_norm": 1.3359375,
      "learning_rate": 0.00044623728813559323,
      "loss": 4.701627349853515,
      "step": 7345
    },
    {
      "epoch": 0.245,
      "grad_norm": 1.953125,
      "learning_rate": 0.00044619491525423727,
      "loss": 4.704203033447266,
      "step": 7350
    },
    {
      "epoch": 0.24516666666666667,
      "grad_norm": 1.8125,
      "learning_rate": 0.00044615254237288137,
      "loss": 4.0217231750488285,
      "step": 7355
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00044611016949152547,
      "loss": 4.207565689086914,
      "step": 7360
    },
    {
      "epoch": 0.2455,
      "grad_norm": 1.546875,
      "learning_rate": 0.0004460677966101695,
      "loss": 4.105234909057617,
      "step": 7365
    },
    {
      "epoch": 0.24566666666666667,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00044602542372881355,
      "loss": 4.362588500976562,
      "step": 7370
    },
    {
      "epoch": 0.24583333333333332,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00044598305084745765,
      "loss": 4.31478271484375,
      "step": 7375
    },
    {
      "epoch": 0.246,
      "grad_norm": 4.0,
      "learning_rate": 0.0004459406779661017,
      "loss": 3.7498458862304687,
      "step": 7380
    },
    {
      "epoch": 0.24616666666666667,
      "grad_norm": 1.84375,
      "learning_rate": 0.0004458983050847458,
      "loss": 4.601955413818359,
      "step": 7385
    },
    {
      "epoch": 0.24633333333333332,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00044585593220338983,
      "loss": 3.544416809082031,
      "step": 7390
    },
    {
      "epoch": 0.2465,
      "grad_norm": 1.9453125,
      "learning_rate": 0.00044581355932203393,
      "loss": 4.870858764648437,
      "step": 7395
    },
    {
      "epoch": 0.24666666666666667,
      "grad_norm": 1.9375,
      "learning_rate": 0.00044577118644067797,
      "loss": 4.124926376342773,
      "step": 7400
    },
    {
      "epoch": 0.24683333333333332,
      "grad_norm": 9.6875,
      "learning_rate": 0.00044572881355932207,
      "loss": 4.292554473876953,
      "step": 7405
    },
    {
      "epoch": 0.247,
      "grad_norm": 3.0,
      "learning_rate": 0.0004456864406779661,
      "loss": 4.245644378662109,
      "step": 7410
    },
    {
      "epoch": 0.24716666666666667,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00044564406779661015,
      "loss": 4.503388595581055,
      "step": 7415
    },
    {
      "epoch": 0.24733333333333332,
      "grad_norm": 1.6875,
      "learning_rate": 0.00044560169491525425,
      "loss": 4.260060119628906,
      "step": 7420
    },
    {
      "epoch": 0.2475,
      "grad_norm": 1.546875,
      "learning_rate": 0.0004455593220338983,
      "loss": 4.908301162719726,
      "step": 7425
    },
    {
      "epoch": 0.24766666666666667,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0004455169491525424,
      "loss": 4.610698699951172,
      "step": 7430
    },
    {
      "epoch": 0.24783333333333332,
      "grad_norm": 2.359375,
      "learning_rate": 0.00044547457627118643,
      "loss": 4.3426666259765625,
      "step": 7435
    },
    {
      "epoch": 0.248,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00044543220338983053,
      "loss": 4.7355499267578125,
      "step": 7440
    },
    {
      "epoch": 0.24816666666666667,
      "grad_norm": 2.25,
      "learning_rate": 0.0004453898305084746,
      "loss": 4.39270248413086,
      "step": 7445
    },
    {
      "epoch": 0.24833333333333332,
      "grad_norm": 1.3828125,
      "learning_rate": 0.00044534745762711867,
      "loss": 4.453244400024414,
      "step": 7450
    },
    {
      "epoch": 0.2485,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0004453050847457627,
      "loss": 4.415029525756836,
      "step": 7455
    },
    {
      "epoch": 0.24866666666666667,
      "grad_norm": 1.78125,
      "learning_rate": 0.0004452627118644068,
      "loss": 3.815570068359375,
      "step": 7460
    },
    {
      "epoch": 0.24883333333333332,
      "grad_norm": 1.5625,
      "learning_rate": 0.00044522033898305085,
      "loss": 4.617684936523437,
      "step": 7465
    },
    {
      "epoch": 0.249,
      "grad_norm": 2.0,
      "learning_rate": 0.0004451779661016949,
      "loss": 4.2750194549560545,
      "step": 7470
    },
    {
      "epoch": 0.24916666666666668,
      "grad_norm": 2.5,
      "learning_rate": 0.000445135593220339,
      "loss": 5.592207717895508,
      "step": 7475
    },
    {
      "epoch": 0.24933333333333332,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004450932203389831,
      "loss": 4.705140686035156,
      "step": 7480
    },
    {
      "epoch": 0.2495,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00044505084745762713,
      "loss": 4.439112854003906,
      "step": 7485
    },
    {
      "epoch": 0.24966666666666668,
      "grad_norm": 1.625,
      "learning_rate": 0.0004450084745762712,
      "loss": 3.3146575927734374,
      "step": 7490
    },
    {
      "epoch": 0.24983333333333332,
      "grad_norm": 1.859375,
      "learning_rate": 0.0004449661016949153,
      "loss": 3.9914283752441406,
      "step": 7495
    },
    {
      "epoch": 0.25,
      "grad_norm": 2.75,
      "learning_rate": 0.00044492372881355937,
      "loss": 4.608956146240234,
      "step": 7500
    },
    {
      "epoch": 0.25016666666666665,
      "grad_norm": 2.625,
      "learning_rate": 0.0004448813559322034,
      "loss": 3.4611183166503907,
      "step": 7505
    },
    {
      "epoch": 0.25033333333333335,
      "grad_norm": 1.6875,
      "learning_rate": 0.00044483898305084746,
      "loss": 3.7132614135742186,
      "step": 7510
    },
    {
      "epoch": 0.2505,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0004447966101694915,
      "loss": 4.622658538818359,
      "step": 7515
    },
    {
      "epoch": 0.25066666666666665,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0004447542372881356,
      "loss": 4.937612915039063,
      "step": 7520
    },
    {
      "epoch": 0.25083333333333335,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004447118644067797,
      "loss": 4.634532928466797,
      "step": 7525
    },
    {
      "epoch": 0.251,
      "grad_norm": 1.359375,
      "learning_rate": 0.00044466949152542374,
      "loss": 4.3899284362792965,
      "step": 7530
    },
    {
      "epoch": 0.25116666666666665,
      "grad_norm": 1.84375,
      "learning_rate": 0.0004446271186440678,
      "loss": 4.4663948059082035,
      "step": 7535
    },
    {
      "epoch": 0.25133333333333335,
      "grad_norm": 1.921875,
      "learning_rate": 0.0004445847457627119,
      "loss": 4.306217193603516,
      "step": 7540
    },
    {
      "epoch": 0.2515,
      "grad_norm": 1.65625,
      "learning_rate": 0.000444542372881356,
      "loss": 4.323495483398437,
      "step": 7545
    },
    {
      "epoch": 0.25166666666666665,
      "grad_norm": 1.578125,
      "learning_rate": 0.0004445,
      "loss": 5.108003234863281,
      "step": 7550
    },
    {
      "epoch": 0.25183333333333335,
      "grad_norm": 1.75,
      "learning_rate": 0.00044445762711864406,
      "loss": 4.73857421875,
      "step": 7555
    },
    {
      "epoch": 0.252,
      "grad_norm": 1.734375,
      "learning_rate": 0.0004444152542372881,
      "loss": 4.416137313842773,
      "step": 7560
    },
    {
      "epoch": 0.25216666666666665,
      "grad_norm": 1.984375,
      "learning_rate": 0.00044437288135593225,
      "loss": 3.667797088623047,
      "step": 7565
    },
    {
      "epoch": 0.25233333333333335,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0004443305084745763,
      "loss": 4.892398834228516,
      "step": 7570
    },
    {
      "epoch": 0.2525,
      "grad_norm": 2.1875,
      "learning_rate": 0.00044428813559322034,
      "loss": 4.602571868896485,
      "step": 7575
    },
    {
      "epoch": 0.25266666666666665,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0004442457627118644,
      "loss": 4.519521331787109,
      "step": 7580
    },
    {
      "epoch": 0.25283333333333335,
      "grad_norm": 2.0625,
      "learning_rate": 0.00044420338983050853,
      "loss": 4.914063262939453,
      "step": 7585
    },
    {
      "epoch": 0.253,
      "grad_norm": 3.546875,
      "learning_rate": 0.0004441610169491526,
      "loss": 5.0272682189941404,
      "step": 7590
    },
    {
      "epoch": 0.25316666666666665,
      "grad_norm": 1.875,
      "learning_rate": 0.0004441186440677966,
      "loss": 3.918756103515625,
      "step": 7595
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00044407627118644066,
      "loss": 3.594881057739258,
      "step": 7600
    },
    {
      "epoch": 0.2535,
      "grad_norm": 1.75,
      "learning_rate": 0.00044403389830508476,
      "loss": 4.521931076049805,
      "step": 7605
    },
    {
      "epoch": 0.25366666666666665,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00044399152542372886,
      "loss": 3.9655746459960937,
      "step": 7610
    },
    {
      "epoch": 0.25383333333333336,
      "grad_norm": 2.5,
      "learning_rate": 0.0004439491525423729,
      "loss": 3.5994693756103517,
      "step": 7615
    },
    {
      "epoch": 0.254,
      "grad_norm": 1.46875,
      "learning_rate": 0.00044390677966101694,
      "loss": 4.370796585083008,
      "step": 7620
    },
    {
      "epoch": 0.25416666666666665,
      "grad_norm": 2.609375,
      "learning_rate": 0.000443864406779661,
      "loss": 4.6128498077392575,
      "step": 7625
    },
    {
      "epoch": 0.25433333333333336,
      "grad_norm": 3.96875,
      "learning_rate": 0.00044382203389830514,
      "loss": 3.6511531829833985,
      "step": 7630
    },
    {
      "epoch": 0.2545,
      "grad_norm": 1.609375,
      "learning_rate": 0.0004437796610169492,
      "loss": 4.101967239379883,
      "step": 7635
    },
    {
      "epoch": 0.25466666666666665,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004437372881355932,
      "loss": 4.470562744140625,
      "step": 7640
    },
    {
      "epoch": 0.25483333333333336,
      "grad_norm": 3.09375,
      "learning_rate": 0.00044369491525423726,
      "loss": 3.988373565673828,
      "step": 7645
    },
    {
      "epoch": 0.255,
      "grad_norm": 1.78125,
      "learning_rate": 0.00044365254237288136,
      "loss": 4.344635772705078,
      "step": 7650
    },
    {
      "epoch": 0.25516666666666665,
      "grad_norm": 2.515625,
      "learning_rate": 0.00044361016949152546,
      "loss": 3.924773025512695,
      "step": 7655
    },
    {
      "epoch": 0.25533333333333336,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004435677966101695,
      "loss": 4.937537002563476,
      "step": 7660
    },
    {
      "epoch": 0.2555,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00044352542372881354,
      "loss": 3.3108367919921875,
      "step": 7665
    },
    {
      "epoch": 0.25566666666666665,
      "grad_norm": 1.578125,
      "learning_rate": 0.00044348305084745764,
      "loss": 4.2161815643310545,
      "step": 7670
    },
    {
      "epoch": 0.25583333333333336,
      "grad_norm": 1.390625,
      "learning_rate": 0.00044344067796610174,
      "loss": 4.410933303833008,
      "step": 7675
    },
    {
      "epoch": 0.256,
      "grad_norm": 1.703125,
      "learning_rate": 0.0004433983050847458,
      "loss": 4.4057868957519535,
      "step": 7680
    },
    {
      "epoch": 0.25616666666666665,
      "grad_norm": 3.078125,
      "learning_rate": 0.0004433559322033898,
      "loss": 4.571626281738281,
      "step": 7685
    },
    {
      "epoch": 0.25633333333333336,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0004433135593220339,
      "loss": 4.611005020141602,
      "step": 7690
    },
    {
      "epoch": 0.2565,
      "grad_norm": 1.3515625,
      "learning_rate": 0.00044327118644067796,
      "loss": 4.265686798095703,
      "step": 7695
    },
    {
      "epoch": 0.25666666666666665,
      "grad_norm": 1.453125,
      "learning_rate": 0.00044322881355932206,
      "loss": 3.8375408172607424,
      "step": 7700
    },
    {
      "epoch": 0.25683333333333336,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0004431864406779661,
      "loss": 4.4416259765625,
      "step": 7705
    },
    {
      "epoch": 0.257,
      "grad_norm": 1.390625,
      "learning_rate": 0.0004431440677966102,
      "loss": 4.404750823974609,
      "step": 7710
    },
    {
      "epoch": 0.25716666666666665,
      "grad_norm": 1.3671875,
      "learning_rate": 0.00044310169491525424,
      "loss": 4.765769195556641,
      "step": 7715
    },
    {
      "epoch": 0.25733333333333336,
      "grad_norm": 1.765625,
      "learning_rate": 0.00044305932203389834,
      "loss": 4.631649780273437,
      "step": 7720
    },
    {
      "epoch": 0.2575,
      "grad_norm": 1.828125,
      "learning_rate": 0.0004430169491525424,
      "loss": 4.015373229980469,
      "step": 7725
    },
    {
      "epoch": 0.25766666666666665,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00044297457627118643,
      "loss": 4.502084350585937,
      "step": 7730
    },
    {
      "epoch": 0.25783333333333336,
      "grad_norm": 2.75,
      "learning_rate": 0.0004429322033898305,
      "loss": 4.022545623779297,
      "step": 7735
    },
    {
      "epoch": 0.258,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00044288983050847457,
      "loss": 3.670887756347656,
      "step": 7740
    },
    {
      "epoch": 0.25816666666666666,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00044284745762711866,
      "loss": 4.721195983886719,
      "step": 7745
    },
    {
      "epoch": 0.25833333333333336,
      "grad_norm": 1.9375,
      "learning_rate": 0.0004428050847457627,
      "loss": 3.5599456787109376,
      "step": 7750
    },
    {
      "epoch": 0.2585,
      "grad_norm": 1.75,
      "learning_rate": 0.0004427627118644068,
      "loss": 3.9652359008789064,
      "step": 7755
    },
    {
      "epoch": 0.25866666666666666,
      "grad_norm": 1.921875,
      "learning_rate": 0.00044272033898305085,
      "loss": 3.544341278076172,
      "step": 7760
    },
    {
      "epoch": 0.25883333333333336,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00044267796610169494,
      "loss": 4.437971115112305,
      "step": 7765
    },
    {
      "epoch": 0.259,
      "grad_norm": 1.671875,
      "learning_rate": 0.000442635593220339,
      "loss": 4.720370483398438,
      "step": 7770
    },
    {
      "epoch": 0.25916666666666666,
      "grad_norm": 2.015625,
      "learning_rate": 0.0004425932203389831,
      "loss": 4.193677520751953,
      "step": 7775
    },
    {
      "epoch": 0.25933333333333336,
      "grad_norm": 1.5625,
      "learning_rate": 0.00044255084745762713,
      "loss": 4.185863876342774,
      "step": 7780
    },
    {
      "epoch": 0.2595,
      "grad_norm": 2.671875,
      "learning_rate": 0.00044250847457627117,
      "loss": 4.518004608154297,
      "step": 7785
    },
    {
      "epoch": 0.25966666666666666,
      "grad_norm": 1.625,
      "learning_rate": 0.00044246610169491527,
      "loss": 4.403433990478516,
      "step": 7790
    },
    {
      "epoch": 0.25983333333333336,
      "grad_norm": 1.78125,
      "learning_rate": 0.00044242372881355936,
      "loss": 4.188825988769532,
      "step": 7795
    },
    {
      "epoch": 0.26,
      "grad_norm": 1.84375,
      "learning_rate": 0.0004423813559322034,
      "loss": 4.629507064819336,
      "step": 7800
    },
    {
      "epoch": 0.26016666666666666,
      "grad_norm": 1.9765625,
      "learning_rate": 0.00044233898305084745,
      "loss": 4.267192840576172,
      "step": 7805
    },
    {
      "epoch": 0.26033333333333336,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0004422966101694915,
      "loss": 4.600043869018554,
      "step": 7810
    },
    {
      "epoch": 0.2605,
      "grad_norm": 2.078125,
      "learning_rate": 0.00044225423728813564,
      "loss": 4.078277587890625,
      "step": 7815
    },
    {
      "epoch": 0.26066666666666666,
      "grad_norm": 1.5,
      "learning_rate": 0.0004422118644067797,
      "loss": 4.487283325195312,
      "step": 7820
    },
    {
      "epoch": 0.2608333333333333,
      "grad_norm": 1.4140625,
      "learning_rate": 0.00044216949152542373,
      "loss": 4.48404541015625,
      "step": 7825
    },
    {
      "epoch": 0.261,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004421271186440678,
      "loss": 4.585472869873047,
      "step": 7830
    },
    {
      "epoch": 0.26116666666666666,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00044208474576271187,
      "loss": 4.250466156005859,
      "step": 7835
    },
    {
      "epoch": 0.2613333333333333,
      "grad_norm": 2.328125,
      "learning_rate": 0.00044204237288135597,
      "loss": 3.2711727142333986,
      "step": 7840
    },
    {
      "epoch": 0.2615,
      "grad_norm": 1.8046875,
      "learning_rate": 0.000442,
      "loss": 4.534646987915039,
      "step": 7845
    },
    {
      "epoch": 0.26166666666666666,
      "grad_norm": 3.59375,
      "learning_rate": 0.00044195762711864405,
      "loss": 4.4832313537597654,
      "step": 7850
    },
    {
      "epoch": 0.2618333333333333,
      "grad_norm": 1.640625,
      "learning_rate": 0.0004419152542372881,
      "loss": 4.448642349243164,
      "step": 7855
    },
    {
      "epoch": 0.262,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00044187288135593225,
      "loss": 5.067671585083008,
      "step": 7860
    },
    {
      "epoch": 0.26216666666666666,
      "grad_norm": 1.796875,
      "learning_rate": 0.0004418305084745763,
      "loss": 4.606649017333984,
      "step": 7865
    },
    {
      "epoch": 0.2623333333333333,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00044178813559322033,
      "loss": 4.5935546875,
      "step": 7870
    },
    {
      "epoch": 0.2625,
      "grad_norm": 2.234375,
      "learning_rate": 0.0004417457627118644,
      "loss": 4.533831787109375,
      "step": 7875
    },
    {
      "epoch": 0.26266666666666666,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0004417033898305085,
      "loss": 4.7677467346191404,
      "step": 7880
    },
    {
      "epoch": 0.2628333333333333,
      "grad_norm": 1.8125,
      "learning_rate": 0.00044166101694915257,
      "loss": 4.385770034790039,
      "step": 7885
    },
    {
      "epoch": 0.263,
      "grad_norm": 1.890625,
      "learning_rate": 0.0004416186440677966,
      "loss": 4.575276184082031,
      "step": 7890
    },
    {
      "epoch": 0.26316666666666666,
      "grad_norm": 1.859375,
      "learning_rate": 0.00044157627118644066,
      "loss": 4.2612663269042965,
      "step": 7895
    },
    {
      "epoch": 0.2633333333333333,
      "grad_norm": 3.078125,
      "learning_rate": 0.0004415338983050848,
      "loss": 4.608407211303711,
      "step": 7900
    },
    {
      "epoch": 0.2635,
      "grad_norm": 2.03125,
      "learning_rate": 0.00044149152542372885,
      "loss": 3.2801498413085937,
      "step": 7905
    },
    {
      "epoch": 0.26366666666666666,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0004414491525423729,
      "loss": 3.7988906860351563,
      "step": 7910
    },
    {
      "epoch": 0.2638333333333333,
      "grad_norm": 2.09375,
      "learning_rate": 0.00044140677966101694,
      "loss": 4.417035675048828,
      "step": 7915
    },
    {
      "epoch": 0.264,
      "grad_norm": 1.46875,
      "learning_rate": 0.000441364406779661,
      "loss": 3.9338638305664064,
      "step": 7920
    },
    {
      "epoch": 0.26416666666666666,
      "grad_norm": 4.09375,
      "learning_rate": 0.00044132203389830513,
      "loss": 4.578843688964843,
      "step": 7925
    },
    {
      "epoch": 0.2643333333333333,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00044127966101694917,
      "loss": 4.671133422851563,
      "step": 7930
    },
    {
      "epoch": 0.2645,
      "grad_norm": 1.265625,
      "learning_rate": 0.0004412372881355932,
      "loss": 3.8781009674072267,
      "step": 7935
    },
    {
      "epoch": 0.26466666666666666,
      "grad_norm": 1.53125,
      "learning_rate": 0.00044119491525423726,
      "loss": 4.383978652954101,
      "step": 7940
    },
    {
      "epoch": 0.2648333333333333,
      "grad_norm": 1.34375,
      "learning_rate": 0.00044115254237288136,
      "loss": 4.394479370117187,
      "step": 7945
    },
    {
      "epoch": 0.265,
      "grad_norm": 1.5625,
      "learning_rate": 0.00044111016949152545,
      "loss": 4.6094005584716795,
      "step": 7950
    },
    {
      "epoch": 0.26516666666666666,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0004410677966101695,
      "loss": 3.931923675537109,
      "step": 7955
    },
    {
      "epoch": 0.2653333333333333,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00044102542372881354,
      "loss": 4.104876327514648,
      "step": 7960
    },
    {
      "epoch": 0.2655,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00044098305084745764,
      "loss": 4.203285980224609,
      "step": 7965
    },
    {
      "epoch": 0.26566666666666666,
      "grad_norm": 1.625,
      "learning_rate": 0.00044094067796610173,
      "loss": 4.823600387573242,
      "step": 7970
    },
    {
      "epoch": 0.2658333333333333,
      "grad_norm": 2.0,
      "learning_rate": 0.0004408983050847458,
      "loss": 4.395673370361328,
      "step": 7975
    },
    {
      "epoch": 0.266,
      "grad_norm": 5.3125,
      "learning_rate": 0.0004408559322033898,
      "loss": 4.285821533203125,
      "step": 7980
    },
    {
      "epoch": 0.26616666666666666,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0004408135593220339,
      "loss": 3.7627010345458984,
      "step": 7985
    },
    {
      "epoch": 0.2663333333333333,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00044077118644067796,
      "loss": 4.367260360717774,
      "step": 7990
    },
    {
      "epoch": 0.2665,
      "grad_norm": 2.34375,
      "learning_rate": 0.00044072881355932206,
      "loss": 4.682889556884765,
      "step": 7995
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 1.9375,
      "learning_rate": 0.0004406864406779661,
      "loss": 3.846482849121094,
      "step": 8000
    },
    {
      "epoch": 0.2668333333333333,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004406440677966102,
      "loss": 4.447000503540039,
      "step": 8005
    },
    {
      "epoch": 0.267,
      "grad_norm": 1.4921875,
      "learning_rate": 0.00044060169491525424,
      "loss": 4.33023681640625,
      "step": 8010
    },
    {
      "epoch": 0.26716666666666666,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00044055932203389834,
      "loss": 4.628966903686523,
      "step": 8015
    },
    {
      "epoch": 0.2673333333333333,
      "grad_norm": 1.546875,
      "learning_rate": 0.0004405169491525424,
      "loss": 3.8838115692138673,
      "step": 8020
    },
    {
      "epoch": 0.2675,
      "grad_norm": 2.265625,
      "learning_rate": 0.0004404745762711864,
      "loss": 4.106903457641602,
      "step": 8025
    },
    {
      "epoch": 0.26766666666666666,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004404322033898305,
      "loss": 4.084144592285156,
      "step": 8030
    },
    {
      "epoch": 0.2678333333333333,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00044038983050847456,
      "loss": 4.274899673461914,
      "step": 8035
    },
    {
      "epoch": 0.268,
      "grad_norm": 2.203125,
      "learning_rate": 0.00044034745762711866,
      "loss": 3.8692501068115233,
      "step": 8040
    },
    {
      "epoch": 0.26816666666666666,
      "grad_norm": 1.734375,
      "learning_rate": 0.0004403050847457627,
      "loss": 4.048455047607422,
      "step": 8045
    },
    {
      "epoch": 0.2683333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.0004402627118644068,
      "loss": 4.818318176269531,
      "step": 8050
    },
    {
      "epoch": 0.2685,
      "grad_norm": 2.609375,
      "learning_rate": 0.00044022033898305084,
      "loss": 4.127014541625977,
      "step": 8055
    },
    {
      "epoch": 0.26866666666666666,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00044017796610169494,
      "loss": 3.397832489013672,
      "step": 8060
    },
    {
      "epoch": 0.2688333333333333,
      "grad_norm": 1.9140625,
      "learning_rate": 0.000440135593220339,
      "loss": 4.2181037902832035,
      "step": 8065
    },
    {
      "epoch": 0.269,
      "grad_norm": 2.90625,
      "learning_rate": 0.0004400932203389831,
      "loss": 4.0780384063720705,
      "step": 8070
    },
    {
      "epoch": 0.26916666666666667,
      "grad_norm": 2.453125,
      "learning_rate": 0.0004400508474576271,
      "loss": 4.001293563842774,
      "step": 8075
    },
    {
      "epoch": 0.2693333333333333,
      "grad_norm": 1.921875,
      "learning_rate": 0.00044000847457627116,
      "loss": 4.503440856933594,
      "step": 8080
    },
    {
      "epoch": 0.2695,
      "grad_norm": 1.3359375,
      "learning_rate": 0.00043996610169491526,
      "loss": 3.862079620361328,
      "step": 8085
    },
    {
      "epoch": 0.26966666666666667,
      "grad_norm": 1.4296875,
      "learning_rate": 0.00043992372881355936,
      "loss": 4.009244537353515,
      "step": 8090
    },
    {
      "epoch": 0.2698333333333333,
      "grad_norm": 4.1875,
      "learning_rate": 0.0004398813559322034,
      "loss": 4.525489425659179,
      "step": 8095
    },
    {
      "epoch": 0.27,
      "grad_norm": 1.3671875,
      "learning_rate": 0.00043983898305084744,
      "loss": 3.974560546875,
      "step": 8100
    },
    {
      "epoch": 0.27016666666666667,
      "grad_norm": 1.25,
      "learning_rate": 0.00043979661016949154,
      "loss": 3.8710887908935545,
      "step": 8105
    },
    {
      "epoch": 0.2703333333333333,
      "grad_norm": 2.109375,
      "learning_rate": 0.00043975423728813564,
      "loss": 4.421309280395508,
      "step": 8110
    },
    {
      "epoch": 0.2705,
      "grad_norm": 1.5625,
      "learning_rate": 0.0004397118644067797,
      "loss": 3.8171043395996094,
      "step": 8115
    },
    {
      "epoch": 0.27066666666666667,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0004396694915254237,
      "loss": 4.527306365966797,
      "step": 8120
    },
    {
      "epoch": 0.2708333333333333,
      "grad_norm": 2.8125,
      "learning_rate": 0.00043962711864406777,
      "loss": 4.827207946777344,
      "step": 8125
    },
    {
      "epoch": 0.271,
      "grad_norm": 2.296875,
      "learning_rate": 0.00043958474576271186,
      "loss": 4.794439697265625,
      "step": 8130
    },
    {
      "epoch": 0.27116666666666667,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00043954237288135596,
      "loss": 3.8127655029296874,
      "step": 8135
    },
    {
      "epoch": 0.2713333333333333,
      "grad_norm": 1.65625,
      "learning_rate": 0.0004395,
      "loss": 4.275554275512695,
      "step": 8140
    },
    {
      "epoch": 0.2715,
      "grad_norm": 1.421875,
      "learning_rate": 0.00043945762711864405,
      "loss": 3.912789154052734,
      "step": 8145
    },
    {
      "epoch": 0.27166666666666667,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00043941525423728814,
      "loss": 4.148591232299805,
      "step": 8150
    },
    {
      "epoch": 0.2718333333333333,
      "grad_norm": 1.4921875,
      "learning_rate": 0.00043937288135593224,
      "loss": 3.6520915985107423,
      "step": 8155
    },
    {
      "epoch": 0.272,
      "grad_norm": 1.390625,
      "learning_rate": 0.0004393305084745763,
      "loss": 4.435335922241211,
      "step": 8160
    },
    {
      "epoch": 0.27216666666666667,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004392881355932203,
      "loss": 4.837423706054688,
      "step": 8165
    },
    {
      "epoch": 0.2723333333333333,
      "grad_norm": 1.25,
      "learning_rate": 0.00043924576271186437,
      "loss": 3.8581520080566407,
      "step": 8170
    },
    {
      "epoch": 0.2725,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0004392033898305085,
      "loss": 4.245116424560547,
      "step": 8175
    },
    {
      "epoch": 0.27266666666666667,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00043916101694915256,
      "loss": 3.9543830871582033,
      "step": 8180
    },
    {
      "epoch": 0.2728333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004391186440677966,
      "loss": 4.453144073486328,
      "step": 8185
    },
    {
      "epoch": 0.273,
      "grad_norm": 2.265625,
      "learning_rate": 0.00043907627118644065,
      "loss": 4.28309326171875,
      "step": 8190
    },
    {
      "epoch": 0.27316666666666667,
      "grad_norm": 1.1953125,
      "learning_rate": 0.0004390338983050848,
      "loss": 2.937860679626465,
      "step": 8195
    },
    {
      "epoch": 0.2733333333333333,
      "grad_norm": 1.59375,
      "learning_rate": 0.00043899152542372884,
      "loss": 4.924226379394531,
      "step": 8200
    },
    {
      "epoch": 0.2735,
      "grad_norm": 2.3125,
      "learning_rate": 0.0004389491525423729,
      "loss": 4.435301971435547,
      "step": 8205
    },
    {
      "epoch": 0.27366666666666667,
      "grad_norm": 2.5,
      "learning_rate": 0.00043890677966101693,
      "loss": 4.540156555175781,
      "step": 8210
    },
    {
      "epoch": 0.2738333333333333,
      "grad_norm": 2.609375,
      "learning_rate": 0.000438864406779661,
      "loss": 3.3831417083740236,
      "step": 8215
    },
    {
      "epoch": 0.274,
      "grad_norm": 1.8125,
      "learning_rate": 0.0004388220338983051,
      "loss": 4.996155548095703,
      "step": 8220
    },
    {
      "epoch": 0.27416666666666667,
      "grad_norm": 2.59375,
      "learning_rate": 0.00043877966101694917,
      "loss": 4.657434463500977,
      "step": 8225
    },
    {
      "epoch": 0.2743333333333333,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0004387372881355932,
      "loss": 4.594658660888672,
      "step": 8230
    },
    {
      "epoch": 0.2745,
      "grad_norm": 1.890625,
      "learning_rate": 0.00043869491525423725,
      "loss": 3.7755081176757814,
      "step": 8235
    },
    {
      "epoch": 0.27466666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004386525423728814,
      "loss": 4.106167602539062,
      "step": 8240
    },
    {
      "epoch": 0.2748333333333333,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00043861016949152545,
      "loss": 4.4496417999267575,
      "step": 8245
    },
    {
      "epoch": 0.275,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0004385677966101695,
      "loss": 4.276828002929688,
      "step": 8250
    },
    {
      "epoch": 0.27516666666666667,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00043852542372881353,
      "loss": 4.136077499389648,
      "step": 8255
    },
    {
      "epoch": 0.2753333333333333,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00043848305084745763,
      "loss": 4.096519088745117,
      "step": 8260
    },
    {
      "epoch": 0.2755,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004384406779661017,
      "loss": 4.047710418701172,
      "step": 8265
    },
    {
      "epoch": 0.27566666666666667,
      "grad_norm": 1.453125,
      "learning_rate": 0.00043839830508474577,
      "loss": 4.0525459289550785,
      "step": 8270
    },
    {
      "epoch": 0.2758333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.0004383559322033898,
      "loss": 2.998000907897949,
      "step": 8275
    },
    {
      "epoch": 0.276,
      "grad_norm": 2.640625,
      "learning_rate": 0.0004383135593220339,
      "loss": 4.377149963378907,
      "step": 8280
    },
    {
      "epoch": 0.27616666666666667,
      "grad_norm": 1.8203125,
      "learning_rate": 0.000438271186440678,
      "loss": 3.5094295501708985,
      "step": 8285
    },
    {
      "epoch": 0.2763333333333333,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00043822881355932205,
      "loss": 4.3041728973388675,
      "step": 8290
    },
    {
      "epoch": 0.2765,
      "grad_norm": 2.140625,
      "learning_rate": 0.0004381864406779661,
      "loss": 3.9149471282958985,
      "step": 8295
    },
    {
      "epoch": 0.27666666666666667,
      "grad_norm": 1.484375,
      "learning_rate": 0.0004381440677966102,
      "loss": 3.8704292297363283,
      "step": 8300
    },
    {
      "epoch": 0.2768333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.00043810169491525423,
      "loss": 4.6575263977050785,
      "step": 8305
    },
    {
      "epoch": 0.277,
      "grad_norm": 1.75,
      "learning_rate": 0.00043805932203389833,
      "loss": 3.807178497314453,
      "step": 8310
    },
    {
      "epoch": 0.2771666666666667,
      "grad_norm": 2.03125,
      "learning_rate": 0.00043801694915254237,
      "loss": 4.467112731933594,
      "step": 8315
    },
    {
      "epoch": 0.2773333333333333,
      "grad_norm": 1.8125,
      "learning_rate": 0.00043797457627118647,
      "loss": 3.6052730560302733,
      "step": 8320
    },
    {
      "epoch": 0.2775,
      "grad_norm": 2.921875,
      "learning_rate": 0.0004379322033898305,
      "loss": 4.438102722167969,
      "step": 8325
    },
    {
      "epoch": 0.2776666666666667,
      "grad_norm": 2.484375,
      "learning_rate": 0.0004378898305084746,
      "loss": 4.191979598999024,
      "step": 8330
    },
    {
      "epoch": 0.2778333333333333,
      "grad_norm": 1.875,
      "learning_rate": 0.00043784745762711865,
      "loss": 4.3262176513671875,
      "step": 8335
    },
    {
      "epoch": 0.278,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0004378050847457627,
      "loss": 3.954030227661133,
      "step": 8340
    },
    {
      "epoch": 0.2781666666666667,
      "grad_norm": 2.0,
      "learning_rate": 0.0004377627118644068,
      "loss": 3.804334259033203,
      "step": 8345
    },
    {
      "epoch": 0.2783333333333333,
      "grad_norm": 1.578125,
      "learning_rate": 0.00043772033898305083,
      "loss": 4.213739395141602,
      "step": 8350
    },
    {
      "epoch": 0.2785,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00043767796610169493,
      "loss": 2.618163299560547,
      "step": 8355
    },
    {
      "epoch": 0.2786666666666667,
      "grad_norm": 1.4296875,
      "learning_rate": 0.000437635593220339,
      "loss": 3.820556640625,
      "step": 8360
    },
    {
      "epoch": 0.2788333333333333,
      "grad_norm": 3.09375,
      "learning_rate": 0.00043759322033898307,
      "loss": 3.264618682861328,
      "step": 8365
    },
    {
      "epoch": 0.279,
      "grad_norm": 1.5,
      "learning_rate": 0.0004375508474576271,
      "loss": 4.157582855224609,
      "step": 8370
    },
    {
      "epoch": 0.2791666666666667,
      "grad_norm": 1.890625,
      "learning_rate": 0.0004375084745762712,
      "loss": 3.8953083038330076,
      "step": 8375
    },
    {
      "epoch": 0.2793333333333333,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00043746610169491525,
      "loss": 4.359226226806641,
      "step": 8380
    },
    {
      "epoch": 0.2795,
      "grad_norm": 2.59375,
      "learning_rate": 0.00043742372881355935,
      "loss": 3.510137176513672,
      "step": 8385
    },
    {
      "epoch": 0.2796666666666667,
      "grad_norm": 2.0,
      "learning_rate": 0.0004373813559322034,
      "loss": 3.8335670471191405,
      "step": 8390
    },
    {
      "epoch": 0.2798333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.00043733898305084744,
      "loss": 3.8808189392089845,
      "step": 8395
    },
    {
      "epoch": 0.28,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00043729661016949153,
      "loss": 3.2768486022949217,
      "step": 8400
    },
    {
      "epoch": 0.2801666666666667,
      "grad_norm": 7.90625,
      "learning_rate": 0.00043725423728813563,
      "loss": 4.348183441162109,
      "step": 8405
    },
    {
      "epoch": 0.2803333333333333,
      "grad_norm": 1.453125,
      "learning_rate": 0.0004372118644067797,
      "loss": 3.720521926879883,
      "step": 8410
    },
    {
      "epoch": 0.2805,
      "grad_norm": 2.328125,
      "learning_rate": 0.0004371694915254237,
      "loss": 4.315934753417968,
      "step": 8415
    },
    {
      "epoch": 0.2806666666666667,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0004371271186440678,
      "loss": 4.310233688354492,
      "step": 8420
    },
    {
      "epoch": 0.2808333333333333,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0004370847457627119,
      "loss": 4.269688415527344,
      "step": 8425
    },
    {
      "epoch": 0.281,
      "grad_norm": 1.2578125,
      "learning_rate": 0.00043704237288135595,
      "loss": 3.4218795776367186,
      "step": 8430
    },
    {
      "epoch": 0.2811666666666667,
      "grad_norm": 1.7421875,
      "learning_rate": 0.000437,
      "loss": 4.405183029174805,
      "step": 8435
    },
    {
      "epoch": 0.2813333333333333,
      "grad_norm": 2.34375,
      "learning_rate": 0.00043695762711864404,
      "loss": 4.374347686767578,
      "step": 8440
    },
    {
      "epoch": 0.2815,
      "grad_norm": 1.46875,
      "learning_rate": 0.00043691525423728814,
      "loss": 4.749594879150391,
      "step": 8445
    },
    {
      "epoch": 0.2816666666666667,
      "grad_norm": 2.3125,
      "learning_rate": 0.00043687288135593223,
      "loss": 4.758806610107422,
      "step": 8450
    },
    {
      "epoch": 0.2818333333333333,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0004368305084745763,
      "loss": 4.7199462890625,
      "step": 8455
    },
    {
      "epoch": 0.282,
      "grad_norm": 1.625,
      "learning_rate": 0.0004367881355932203,
      "loss": 3.922774887084961,
      "step": 8460
    },
    {
      "epoch": 0.2821666666666667,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0004367457627118644,
      "loss": 3.8392906188964844,
      "step": 8465
    },
    {
      "epoch": 0.2823333333333333,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0004367033898305085,
      "loss": 3.8854446411132812,
      "step": 8470
    },
    {
      "epoch": 0.2825,
      "grad_norm": 1.953125,
      "learning_rate": 0.00043666101694915256,
      "loss": 3.917253112792969,
      "step": 8475
    },
    {
      "epoch": 0.2826666666666667,
      "grad_norm": 1.640625,
      "learning_rate": 0.0004366186440677966,
      "loss": 4.081355285644531,
      "step": 8480
    },
    {
      "epoch": 0.2828333333333333,
      "grad_norm": 2.703125,
      "learning_rate": 0.00043657627118644064,
      "loss": 4.590629577636719,
      "step": 8485
    },
    {
      "epoch": 0.283,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004365338983050848,
      "loss": 4.192840194702148,
      "step": 8490
    },
    {
      "epoch": 0.2831666666666667,
      "grad_norm": 2.09375,
      "learning_rate": 0.00043649152542372884,
      "loss": 3.9610252380371094,
      "step": 8495
    },
    {
      "epoch": 0.2833333333333333,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004364491525423729,
      "loss": 3.778481674194336,
      "step": 8500
    },
    {
      "epoch": 0.2835,
      "grad_norm": 3.234375,
      "learning_rate": 0.0004364067796610169,
      "loss": 4.495138168334961,
      "step": 8505
    },
    {
      "epoch": 0.2836666666666667,
      "grad_norm": 2.515625,
      "learning_rate": 0.0004363644067796611,
      "loss": 3.8295433044433596,
      "step": 8510
    },
    {
      "epoch": 0.2838333333333333,
      "grad_norm": 1.484375,
      "learning_rate": 0.0004363220338983051,
      "loss": 4.283515930175781,
      "step": 8515
    },
    {
      "epoch": 0.284,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00043627966101694916,
      "loss": 3.4995567321777346,
      "step": 8520
    },
    {
      "epoch": 0.2841666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004362372881355932,
      "loss": 3.665333557128906,
      "step": 8525
    },
    {
      "epoch": 0.2843333333333333,
      "grad_norm": 2.21875,
      "learning_rate": 0.0004361949152542373,
      "loss": 4.612656784057617,
      "step": 8530
    },
    {
      "epoch": 0.2845,
      "grad_norm": 1.78125,
      "learning_rate": 0.0004361525423728814,
      "loss": 4.08170166015625,
      "step": 8535
    },
    {
      "epoch": 0.2846666666666667,
      "grad_norm": 1.53125,
      "learning_rate": 0.00043611016949152544,
      "loss": 4.095652008056641,
      "step": 8540
    },
    {
      "epoch": 0.2848333333333333,
      "grad_norm": 1.8125,
      "learning_rate": 0.0004360677966101695,
      "loss": 4.445602035522461,
      "step": 8545
    },
    {
      "epoch": 0.285,
      "grad_norm": 1.8125,
      "learning_rate": 0.0004360254237288135,
      "loss": 4.112995910644531,
      "step": 8550
    },
    {
      "epoch": 0.2851666666666667,
      "grad_norm": 1.0625,
      "learning_rate": 0.0004359830508474577,
      "loss": 3.920547866821289,
      "step": 8555
    },
    {
      "epoch": 0.2853333333333333,
      "grad_norm": 1.921875,
      "learning_rate": 0.0004359406779661017,
      "loss": 3.741014099121094,
      "step": 8560
    },
    {
      "epoch": 0.2855,
      "grad_norm": 1.78125,
      "learning_rate": 0.00043589830508474576,
      "loss": 3.6327896118164062,
      "step": 8565
    },
    {
      "epoch": 0.2856666666666667,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0004358559322033898,
      "loss": 4.202663803100586,
      "step": 8570
    },
    {
      "epoch": 0.28583333333333333,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004358135593220339,
      "loss": 3.938773345947266,
      "step": 8575
    },
    {
      "epoch": 0.286,
      "grad_norm": 1.3046875,
      "learning_rate": 0.000435771186440678,
      "loss": 3.947657012939453,
      "step": 8580
    },
    {
      "epoch": 0.2861666666666667,
      "grad_norm": 2.625,
      "learning_rate": 0.00043572881355932204,
      "loss": 4.177742767333984,
      "step": 8585
    },
    {
      "epoch": 0.28633333333333333,
      "grad_norm": 1.375,
      "learning_rate": 0.0004356864406779661,
      "loss": 4.275652313232422,
      "step": 8590
    },
    {
      "epoch": 0.2865,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004356440677966102,
      "loss": 3.9249095916748047,
      "step": 8595
    },
    {
      "epoch": 0.2866666666666667,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0004356016949152543,
      "loss": 3.884058380126953,
      "step": 8600
    },
    {
      "epoch": 0.28683333333333333,
      "grad_norm": 2.296875,
      "learning_rate": 0.0004355593220338983,
      "loss": 4.568074798583984,
      "step": 8605
    },
    {
      "epoch": 0.287,
      "grad_norm": 1.96875,
      "learning_rate": 0.00043551694915254237,
      "loss": 4.0840812683105465,
      "step": 8610
    },
    {
      "epoch": 0.2871666666666667,
      "grad_norm": 1.546875,
      "learning_rate": 0.00043547457627118646,
      "loss": 3.655587005615234,
      "step": 8615
    },
    {
      "epoch": 0.28733333333333333,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004354322033898305,
      "loss": 4.335929870605469,
      "step": 8620
    },
    {
      "epoch": 0.2875,
      "grad_norm": 2.46875,
      "learning_rate": 0.0004353898305084746,
      "loss": 4.21026611328125,
      "step": 8625
    },
    {
      "epoch": 0.2876666666666667,
      "grad_norm": 1.2890625,
      "learning_rate": 0.00043534745762711864,
      "loss": 4.009391021728516,
      "step": 8630
    },
    {
      "epoch": 0.28783333333333333,
      "grad_norm": 1.859375,
      "learning_rate": 0.00043530508474576274,
      "loss": 3.5329345703125,
      "step": 8635
    },
    {
      "epoch": 0.288,
      "grad_norm": 2.796875,
      "learning_rate": 0.0004352627118644068,
      "loss": 4.540514755249023,
      "step": 8640
    },
    {
      "epoch": 0.2881666666666667,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0004352203389830509,
      "loss": 4.392679977416992,
      "step": 8645
    },
    {
      "epoch": 0.28833333333333333,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0004351779661016949,
      "loss": 4.213203048706054,
      "step": 8650
    },
    {
      "epoch": 0.2885,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00043513559322033897,
      "loss": 4.162461853027343,
      "step": 8655
    },
    {
      "epoch": 0.2886666666666667,
      "grad_norm": 1.703125,
      "learning_rate": 0.00043509322033898306,
      "loss": 4.345641326904297,
      "step": 8660
    },
    {
      "epoch": 0.28883333333333333,
      "grad_norm": 1.875,
      "learning_rate": 0.0004350508474576271,
      "loss": 3.8956653594970705,
      "step": 8665
    },
    {
      "epoch": 0.289,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004350084745762712,
      "loss": 4.963845443725586,
      "step": 8670
    },
    {
      "epoch": 0.2891666666666667,
      "grad_norm": 1.4140625,
      "learning_rate": 0.00043496610169491525,
      "loss": 4.3951061248779295,
      "step": 8675
    },
    {
      "epoch": 0.28933333333333333,
      "grad_norm": 1.4609375,
      "learning_rate": 0.00043492372881355934,
      "loss": 4.307965087890625,
      "step": 8680
    },
    {
      "epoch": 0.2895,
      "grad_norm": 2.15625,
      "learning_rate": 0.0004348813559322034,
      "loss": 4.701201248168945,
      "step": 8685
    },
    {
      "epoch": 0.2896666666666667,
      "grad_norm": 2.75,
      "learning_rate": 0.0004348389830508475,
      "loss": 4.381439208984375,
      "step": 8690
    },
    {
      "epoch": 0.28983333333333333,
      "grad_norm": 3.875,
      "learning_rate": 0.00043479661016949153,
      "loss": 4.5770713806152346,
      "step": 8695
    },
    {
      "epoch": 0.29,
      "grad_norm": 2.234375,
      "learning_rate": 0.0004347542372881356,
      "loss": 4.372945404052734,
      "step": 8700
    },
    {
      "epoch": 0.2901666666666667,
      "grad_norm": 1.375,
      "learning_rate": 0.00043471186440677967,
      "loss": 3.811433792114258,
      "step": 8705
    },
    {
      "epoch": 0.29033333333333333,
      "grad_norm": 2.03125,
      "learning_rate": 0.0004346694915254237,
      "loss": 4.564964675903321,
      "step": 8710
    },
    {
      "epoch": 0.2905,
      "grad_norm": 1.671875,
      "learning_rate": 0.0004346271186440678,
      "loss": 3.146647644042969,
      "step": 8715
    },
    {
      "epoch": 0.2906666666666667,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0004345847457627119,
      "loss": 4.127131652832031,
      "step": 8720
    },
    {
      "epoch": 0.29083333333333333,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00043454237288135595,
      "loss": 4.006968688964844,
      "step": 8725
    },
    {
      "epoch": 0.291,
      "grad_norm": 1.421875,
      "learning_rate": 0.0004345,
      "loss": 3.4570297241210937,
      "step": 8730
    },
    {
      "epoch": 0.2911666666666667,
      "grad_norm": 2.015625,
      "learning_rate": 0.0004344576271186441,
      "loss": 4.0332801818847654,
      "step": 8735
    },
    {
      "epoch": 0.29133333333333333,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004344152542372882,
      "loss": 4.205147552490234,
      "step": 8740
    },
    {
      "epoch": 0.2915,
      "grad_norm": 1.390625,
      "learning_rate": 0.00043437288135593223,
      "loss": 4.344432067871094,
      "step": 8745
    },
    {
      "epoch": 0.2916666666666667,
      "grad_norm": 1.515625,
      "learning_rate": 0.00043433050847457627,
      "loss": 4.524876403808594,
      "step": 8750
    },
    {
      "epoch": 0.29183333333333333,
      "grad_norm": 4.9375,
      "learning_rate": 0.0004342881355932203,
      "loss": 3.9374969482421873,
      "step": 8755
    },
    {
      "epoch": 0.292,
      "grad_norm": 1.796875,
      "learning_rate": 0.0004342457627118644,
      "loss": 4.454782867431641,
      "step": 8760
    },
    {
      "epoch": 0.2921666666666667,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0004342033898305085,
      "loss": 4.31579360961914,
      "step": 8765
    },
    {
      "epoch": 0.29233333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00043416101694915255,
      "loss": 4.621067047119141,
      "step": 8770
    },
    {
      "epoch": 0.2925,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004341186440677966,
      "loss": 4.437409210205078,
      "step": 8775
    },
    {
      "epoch": 0.2926666666666667,
      "grad_norm": 2.234375,
      "learning_rate": 0.0004340762711864407,
      "loss": 4.415170288085937,
      "step": 8780
    },
    {
      "epoch": 0.29283333333333333,
      "grad_norm": 2.015625,
      "learning_rate": 0.0004340338983050848,
      "loss": 4.639910888671875,
      "step": 8785
    },
    {
      "epoch": 0.293,
      "grad_norm": 1.4296875,
      "learning_rate": 0.00043399152542372883,
      "loss": 3.6148189544677733,
      "step": 8790
    },
    {
      "epoch": 0.2931666666666667,
      "grad_norm": 2.109375,
      "learning_rate": 0.0004339491525423729,
      "loss": 3.7621864318847655,
      "step": 8795
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 1.5,
      "learning_rate": 0.0004339067796610169,
      "loss": 3.9489013671875,
      "step": 8800
    },
    {
      "epoch": 0.2935,
      "grad_norm": 1.671875,
      "learning_rate": 0.00043386440677966107,
      "loss": 3.7733779907226563,
      "step": 8805
    },
    {
      "epoch": 0.2936666666666667,
      "grad_norm": 1.8125,
      "learning_rate": 0.0004338220338983051,
      "loss": 4.570335769653321,
      "step": 8810
    },
    {
      "epoch": 0.29383333333333334,
      "grad_norm": 2.375,
      "learning_rate": 0.00043377966101694915,
      "loss": 4.548687362670899,
      "step": 8815
    },
    {
      "epoch": 0.294,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0004337372881355932,
      "loss": 4.5287517547607425,
      "step": 8820
    },
    {
      "epoch": 0.2941666666666667,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00043369491525423735,
      "loss": 4.725959396362304,
      "step": 8825
    },
    {
      "epoch": 0.29433333333333334,
      "grad_norm": 1.671875,
      "learning_rate": 0.0004336525423728814,
      "loss": 4.31049690246582,
      "step": 8830
    },
    {
      "epoch": 0.2945,
      "grad_norm": 2.140625,
      "learning_rate": 0.00043361016949152543,
      "loss": 4.339313888549805,
      "step": 8835
    },
    {
      "epoch": 0.2946666666666667,
      "grad_norm": 2.015625,
      "learning_rate": 0.0004335677966101695,
      "loss": 3.4867198944091795,
      "step": 8840
    },
    {
      "epoch": 0.29483333333333334,
      "grad_norm": 1.625,
      "learning_rate": 0.00043352542372881357,
      "loss": 3.8377216339111326,
      "step": 8845
    },
    {
      "epoch": 0.295,
      "grad_norm": 1.046875,
      "learning_rate": 0.00043348305084745767,
      "loss": 3.8293479919433593,
      "step": 8850
    },
    {
      "epoch": 0.2951666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004334406779661017,
      "loss": 4.498522186279297,
      "step": 8855
    },
    {
      "epoch": 0.29533333333333334,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00043339830508474576,
      "loss": 5.022678375244141,
      "step": 8860
    },
    {
      "epoch": 0.2955,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004333559322033898,
      "loss": 4.964595031738281,
      "step": 8865
    },
    {
      "epoch": 0.2956666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00043331355932203395,
      "loss": 3.59984130859375,
      "step": 8870
    },
    {
      "epoch": 0.29583333333333334,
      "grad_norm": 2.390625,
      "learning_rate": 0.000433271186440678,
      "loss": 4.143243026733399,
      "step": 8875
    },
    {
      "epoch": 0.296,
      "grad_norm": 2.40625,
      "learning_rate": 0.00043322881355932204,
      "loss": 4.6112205505371096,
      "step": 8880
    },
    {
      "epoch": 0.2961666666666667,
      "grad_norm": 1.9375,
      "learning_rate": 0.0004331864406779661,
      "loss": 3.9948200225830077,
      "step": 8885
    },
    {
      "epoch": 0.29633333333333334,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0004331440677966102,
      "loss": 4.864422607421875,
      "step": 8890
    },
    {
      "epoch": 0.2965,
      "grad_norm": 1.34375,
      "learning_rate": 0.00043310169491525427,
      "loss": 3.768379974365234,
      "step": 8895
    },
    {
      "epoch": 0.2966666666666667,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004330593220338983,
      "loss": 4.285869216918945,
      "step": 8900
    },
    {
      "epoch": 0.29683333333333334,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00043301694915254236,
      "loss": 4.6568763732910154,
      "step": 8905
    },
    {
      "epoch": 0.297,
      "grad_norm": 1.84375,
      "learning_rate": 0.00043297457627118646,
      "loss": 4.406452178955078,
      "step": 8910
    },
    {
      "epoch": 0.2971666666666667,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00043293220338983055,
      "loss": 4.3643444061279295,
      "step": 8915
    },
    {
      "epoch": 0.29733333333333334,
      "grad_norm": 2.328125,
      "learning_rate": 0.0004328898305084746,
      "loss": 4.54788818359375,
      "step": 8920
    },
    {
      "epoch": 0.2975,
      "grad_norm": 1.71875,
      "learning_rate": 0.00043284745762711864,
      "loss": 4.932243347167969,
      "step": 8925
    },
    {
      "epoch": 0.2976666666666667,
      "grad_norm": 1.40625,
      "learning_rate": 0.00043280508474576274,
      "loss": 4.807318115234375,
      "step": 8930
    },
    {
      "epoch": 0.29783333333333334,
      "grad_norm": 2.21875,
      "learning_rate": 0.0004327627118644068,
      "loss": 4.384584426879883,
      "step": 8935
    },
    {
      "epoch": 0.298,
      "grad_norm": 1.53125,
      "learning_rate": 0.0004327203389830509,
      "loss": 4.465078735351563,
      "step": 8940
    },
    {
      "epoch": 0.2981666666666667,
      "grad_norm": 2.46875,
      "learning_rate": 0.0004326779661016949,
      "loss": 4.348318481445313,
      "step": 8945
    },
    {
      "epoch": 0.29833333333333334,
      "grad_norm": 1.609375,
      "learning_rate": 0.000432635593220339,
      "loss": 4.504264068603516,
      "step": 8950
    },
    {
      "epoch": 0.2985,
      "grad_norm": 1.609375,
      "learning_rate": 0.00043259322033898306,
      "loss": 3.6331710815429688,
      "step": 8955
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0004325508474576271,
      "loss": 3.733160400390625,
      "step": 8960
    },
    {
      "epoch": 0.29883333333333334,
      "grad_norm": 2.015625,
      "learning_rate": 0.0004325084745762712,
      "loss": 4.455378723144531,
      "step": 8965
    },
    {
      "epoch": 0.299,
      "grad_norm": 1.53125,
      "learning_rate": 0.00043246610169491524,
      "loss": 3.697140121459961,
      "step": 8970
    },
    {
      "epoch": 0.2991666666666667,
      "grad_norm": 1.9296875,
      "learning_rate": 0.00043242372881355934,
      "loss": 4.190013122558594,
      "step": 8975
    },
    {
      "epoch": 0.29933333333333334,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0004323813559322034,
      "loss": 3.8346691131591797,
      "step": 8980
    },
    {
      "epoch": 0.2995,
      "grad_norm": 1.5,
      "learning_rate": 0.0004323389830508475,
      "loss": 3.4270198822021483,
      "step": 8985
    },
    {
      "epoch": 0.2996666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004322966101694915,
      "loss": 4.44261589050293,
      "step": 8990
    },
    {
      "epoch": 0.29983333333333334,
      "grad_norm": 2.046875,
      "learning_rate": 0.0004322542372881356,
      "loss": 3.4165767669677733,
      "step": 8995
    },
    {
      "epoch": 0.3,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00043221186440677966,
      "loss": 4.693807983398438,
      "step": 9000
    },
    {
      "epoch": 0.3001666666666667,
      "grad_norm": 1.3359375,
      "learning_rate": 0.0004321694915254237,
      "loss": 4.099143218994141,
      "step": 9005
    },
    {
      "epoch": 0.30033333333333334,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004321271186440678,
      "loss": 3.554937744140625,
      "step": 9010
    },
    {
      "epoch": 0.3005,
      "grad_norm": 2.25,
      "learning_rate": 0.0004320847457627119,
      "loss": 4.080374908447266,
      "step": 9015
    },
    {
      "epoch": 0.3006666666666667,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00043204237288135594,
      "loss": 4.75459098815918,
      "step": 9020
    },
    {
      "epoch": 0.30083333333333334,
      "grad_norm": 2.75,
      "learning_rate": 0.000432,
      "loss": 3.7696067810058596,
      "step": 9025
    },
    {
      "epoch": 0.301,
      "grad_norm": 3.703125,
      "learning_rate": 0.0004319576271186441,
      "loss": 4.0897563934326175,
      "step": 9030
    },
    {
      "epoch": 0.3011666666666667,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0004319152542372882,
      "loss": 4.295820617675782,
      "step": 9035
    },
    {
      "epoch": 0.30133333333333334,
      "grad_norm": 2.46875,
      "learning_rate": 0.0004318728813559322,
      "loss": 3.6996368408203124,
      "step": 9040
    },
    {
      "epoch": 0.3015,
      "grad_norm": 1.546875,
      "learning_rate": 0.00043183050847457626,
      "loss": 4.082456970214844,
      "step": 9045
    },
    {
      "epoch": 0.3016666666666667,
      "grad_norm": 1.640625,
      "learning_rate": 0.0004317881355932203,
      "loss": 4.710675048828125,
      "step": 9050
    },
    {
      "epoch": 0.30183333333333334,
      "grad_norm": 5.0,
      "learning_rate": 0.00043174576271186446,
      "loss": 4.030121994018555,
      "step": 9055
    },
    {
      "epoch": 0.302,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004317033898305085,
      "loss": 3.9600551605224608,
      "step": 9060
    },
    {
      "epoch": 0.30216666666666664,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00043166101694915254,
      "loss": 4.006415557861328,
      "step": 9065
    },
    {
      "epoch": 0.30233333333333334,
      "grad_norm": 1.328125,
      "learning_rate": 0.0004316186440677966,
      "loss": 4.114141845703125,
      "step": 9070
    },
    {
      "epoch": 0.3025,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004315762711864407,
      "loss": 4.1944633483886715,
      "step": 9075
    },
    {
      "epoch": 0.30266666666666664,
      "grad_norm": 1.40625,
      "learning_rate": 0.0004315338983050848,
      "loss": 4.278469085693359,
      "step": 9080
    },
    {
      "epoch": 0.30283333333333334,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0004314915254237288,
      "loss": 3.882395553588867,
      "step": 9085
    },
    {
      "epoch": 0.303,
      "grad_norm": 1.4921875,
      "learning_rate": 0.00043144915254237287,
      "loss": 4.444149017333984,
      "step": 9090
    },
    {
      "epoch": 0.30316666666666664,
      "grad_norm": 1.671875,
      "learning_rate": 0.0004314067796610169,
      "loss": 4.209994125366211,
      "step": 9095
    },
    {
      "epoch": 0.30333333333333334,
      "grad_norm": 1.625,
      "learning_rate": 0.00043136440677966106,
      "loss": 4.323058319091797,
      "step": 9100
    },
    {
      "epoch": 0.3035,
      "grad_norm": 2.5,
      "learning_rate": 0.0004313220338983051,
      "loss": 4.034963607788086,
      "step": 9105
    },
    {
      "epoch": 0.30366666666666664,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00043127966101694915,
      "loss": 3.8110702514648436,
      "step": 9110
    },
    {
      "epoch": 0.30383333333333334,
      "grad_norm": 1.421875,
      "learning_rate": 0.0004312372881355932,
      "loss": 4.0975605010986325,
      "step": 9115
    },
    {
      "epoch": 0.304,
      "grad_norm": 2.421875,
      "learning_rate": 0.00043119491525423734,
      "loss": 3.056620788574219,
      "step": 9120
    },
    {
      "epoch": 0.30416666666666664,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004311525423728814,
      "loss": 4.585853576660156,
      "step": 9125
    },
    {
      "epoch": 0.30433333333333334,
      "grad_norm": 1.953125,
      "learning_rate": 0.0004311101694915254,
      "loss": 4.514088439941406,
      "step": 9130
    },
    {
      "epoch": 0.3045,
      "grad_norm": 2.09375,
      "learning_rate": 0.00043106779661016947,
      "loss": 4.530461120605469,
      "step": 9135
    },
    {
      "epoch": 0.30466666666666664,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00043102542372881357,
      "loss": 4.484304809570313,
      "step": 9140
    },
    {
      "epoch": 0.30483333333333335,
      "grad_norm": 1.71875,
      "learning_rate": 0.00043098305084745766,
      "loss": 3.780955123901367,
      "step": 9145
    },
    {
      "epoch": 0.305,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0004309406779661017,
      "loss": 3.7216766357421873,
      "step": 9150
    },
    {
      "epoch": 0.30516666666666664,
      "grad_norm": 3.078125,
      "learning_rate": 0.00043089830508474575,
      "loss": 4.419451522827148,
      "step": 9155
    },
    {
      "epoch": 0.30533333333333335,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00043085593220338985,
      "loss": 4.524722290039063,
      "step": 9160
    },
    {
      "epoch": 0.3055,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00043081355932203394,
      "loss": 4.392461776733398,
      "step": 9165
    },
    {
      "epoch": 0.30566666666666664,
      "grad_norm": 1.5859375,
      "learning_rate": 0.000430771186440678,
      "loss": 3.853829193115234,
      "step": 9170
    },
    {
      "epoch": 0.30583333333333335,
      "grad_norm": 2.421875,
      "learning_rate": 0.00043072881355932203,
      "loss": 4.073274612426758,
      "step": 9175
    },
    {
      "epoch": 0.306,
      "grad_norm": 2.390625,
      "learning_rate": 0.00043068644067796607,
      "loss": 4.095727920532227,
      "step": 9180
    },
    {
      "epoch": 0.30616666666666664,
      "grad_norm": 6.03125,
      "learning_rate": 0.00043064406779661017,
      "loss": 3.964876174926758,
      "step": 9185
    },
    {
      "epoch": 0.30633333333333335,
      "grad_norm": 3.265625,
      "learning_rate": 0.00043060169491525427,
      "loss": 4.00364990234375,
      "step": 9190
    },
    {
      "epoch": 0.3065,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0004305593220338983,
      "loss": 3.927488327026367,
      "step": 9195
    },
    {
      "epoch": 0.30666666666666664,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00043051694915254235,
      "loss": 3.9946819305419923,
      "step": 9200
    },
    {
      "epoch": 0.30683333333333335,
      "grad_norm": 3.578125,
      "learning_rate": 0.00043047457627118645,
      "loss": 3.734085464477539,
      "step": 9205
    },
    {
      "epoch": 0.307,
      "grad_norm": 1.4609375,
      "learning_rate": 0.00043043220338983055,
      "loss": 3.897116851806641,
      "step": 9210
    },
    {
      "epoch": 0.30716666666666664,
      "grad_norm": 1.640625,
      "learning_rate": 0.0004303898305084746,
      "loss": 4.815094375610352,
      "step": 9215
    },
    {
      "epoch": 0.30733333333333335,
      "grad_norm": 1.609375,
      "learning_rate": 0.00043034745762711863,
      "loss": 4.490797424316407,
      "step": 9220
    },
    {
      "epoch": 0.3075,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00043030508474576273,
      "loss": 4.401335906982422,
      "step": 9225
    },
    {
      "epoch": 0.30766666666666664,
      "grad_norm": 3.109375,
      "learning_rate": 0.00043026271186440677,
      "loss": 4.099399185180664,
      "step": 9230
    },
    {
      "epoch": 0.30783333333333335,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00043022033898305087,
      "loss": 4.362163162231445,
      "step": 9235
    },
    {
      "epoch": 0.308,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004301779661016949,
      "loss": 4.325849914550782,
      "step": 9240
    },
    {
      "epoch": 0.30816666666666664,
      "grad_norm": 2.671875,
      "learning_rate": 0.000430135593220339,
      "loss": 4.454306793212891,
      "step": 9245
    },
    {
      "epoch": 0.30833333333333335,
      "grad_norm": 1.53125,
      "learning_rate": 0.00043009322033898305,
      "loss": 4.400862121582032,
      "step": 9250
    },
    {
      "epoch": 0.3085,
      "grad_norm": 1.3125,
      "learning_rate": 0.00043005084745762715,
      "loss": 4.434332275390625,
      "step": 9255
    },
    {
      "epoch": 0.30866666666666664,
      "grad_norm": 1.6875,
      "learning_rate": 0.0004300084745762712,
      "loss": 3.8062435150146485,
      "step": 9260
    },
    {
      "epoch": 0.30883333333333335,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0004299661016949153,
      "loss": 4.348123168945312,
      "step": 9265
    },
    {
      "epoch": 0.309,
      "grad_norm": 2.1875,
      "learning_rate": 0.00042992372881355933,
      "loss": 4.1881671905517575,
      "step": 9270
    },
    {
      "epoch": 0.30916666666666665,
      "grad_norm": 1.546875,
      "learning_rate": 0.0004298813559322034,
      "loss": 4.585066223144532,
      "step": 9275
    },
    {
      "epoch": 0.30933333333333335,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00042983898305084747,
      "loss": 4.3698280334472654,
      "step": 9280
    },
    {
      "epoch": 0.3095,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004297966101694915,
      "loss": 3.785597229003906,
      "step": 9285
    },
    {
      "epoch": 0.30966666666666665,
      "grad_norm": 1.78125,
      "learning_rate": 0.0004297542372881356,
      "loss": 4.2748664855957035,
      "step": 9290
    },
    {
      "epoch": 0.30983333333333335,
      "grad_norm": 3.828125,
      "learning_rate": 0.00042971186440677965,
      "loss": 4.35113296508789,
      "step": 9295
    },
    {
      "epoch": 0.31,
      "grad_norm": 2.25,
      "learning_rate": 0.00042966949152542375,
      "loss": 4.20430908203125,
      "step": 9300
    },
    {
      "epoch": 0.31016666666666665,
      "grad_norm": 2.0625,
      "learning_rate": 0.0004296271186440678,
      "loss": 4.238993072509766,
      "step": 9305
    },
    {
      "epoch": 0.31033333333333335,
      "grad_norm": 1.8125,
      "learning_rate": 0.0004295847457627119,
      "loss": 3.797013854980469,
      "step": 9310
    },
    {
      "epoch": 0.3105,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00042954237288135593,
      "loss": 4.098416900634765,
      "step": 9315
    },
    {
      "epoch": 0.31066666666666665,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0004295,
      "loss": 3.7494598388671876,
      "step": 9320
    },
    {
      "epoch": 0.31083333333333335,
      "grad_norm": 2.328125,
      "learning_rate": 0.0004294576271186441,
      "loss": 4.02333984375,
      "step": 9325
    },
    {
      "epoch": 0.311,
      "grad_norm": 1.3984375,
      "learning_rate": 0.00042941525423728817,
      "loss": 3.027515983581543,
      "step": 9330
    },
    {
      "epoch": 0.31116666666666665,
      "grad_norm": 1.984375,
      "learning_rate": 0.0004293728813559322,
      "loss": 3.262498474121094,
      "step": 9335
    },
    {
      "epoch": 0.31133333333333335,
      "grad_norm": 1.9453125,
      "learning_rate": 0.00042933050847457626,
      "loss": 4.863561630249023,
      "step": 9340
    },
    {
      "epoch": 0.3115,
      "grad_norm": 3.171875,
      "learning_rate": 0.00042928813559322035,
      "loss": 4.395958709716797,
      "step": 9345
    },
    {
      "epoch": 0.31166666666666665,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00042924576271186445,
      "loss": 4.265261840820313,
      "step": 9350
    },
    {
      "epoch": 0.31183333333333335,
      "grad_norm": 2.09375,
      "learning_rate": 0.0004292033898305085,
      "loss": 4.177055740356446,
      "step": 9355
    },
    {
      "epoch": 0.312,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00042916101694915254,
      "loss": 4.541914367675782,
      "step": 9360
    },
    {
      "epoch": 0.31216666666666665,
      "grad_norm": 2.28125,
      "learning_rate": 0.0004291186440677966,
      "loss": 3.4257743835449217,
      "step": 9365
    },
    {
      "epoch": 0.31233333333333335,
      "grad_norm": 1.4140625,
      "learning_rate": 0.00042907627118644073,
      "loss": 3.7443851470947265,
      "step": 9370
    },
    {
      "epoch": 0.3125,
      "grad_norm": 2.078125,
      "learning_rate": 0.0004290338983050848,
      "loss": 5.050855255126953,
      "step": 9375
    },
    {
      "epoch": 0.31266666666666665,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0004289915254237288,
      "loss": 4.5679668426513675,
      "step": 9380
    },
    {
      "epoch": 0.31283333333333335,
      "grad_norm": 1.84375,
      "learning_rate": 0.00042894915254237286,
      "loss": 4.066764450073242,
      "step": 9385
    },
    {
      "epoch": 0.313,
      "grad_norm": 2.1875,
      "learning_rate": 0.00042890677966101696,
      "loss": 4.623567962646485,
      "step": 9390
    },
    {
      "epoch": 0.31316666666666665,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00042886440677966105,
      "loss": 4.451743316650391,
      "step": 9395
    },
    {
      "epoch": 0.31333333333333335,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0004288220338983051,
      "loss": 4.467799377441406,
      "step": 9400
    },
    {
      "epoch": 0.3135,
      "grad_norm": 1.734375,
      "learning_rate": 0.00042877966101694914,
      "loss": 4.218981170654297,
      "step": 9405
    },
    {
      "epoch": 0.31366666666666665,
      "grad_norm": 2.96875,
      "learning_rate": 0.0004287372881355932,
      "loss": 4.0153358459472654,
      "step": 9410
    },
    {
      "epoch": 0.31383333333333335,
      "grad_norm": 2.25,
      "learning_rate": 0.00042869491525423733,
      "loss": 3.884027099609375,
      "step": 9415
    },
    {
      "epoch": 0.314,
      "grad_norm": 2.9375,
      "learning_rate": 0.0004286525423728814,
      "loss": 4.325605773925782,
      "step": 9420
    },
    {
      "epoch": 0.31416666666666665,
      "grad_norm": 1.5625,
      "learning_rate": 0.0004286101694915254,
      "loss": 3.7983497619628905,
      "step": 9425
    },
    {
      "epoch": 0.31433333333333335,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00042856779661016946,
      "loss": 4.073496246337891,
      "step": 9430
    },
    {
      "epoch": 0.3145,
      "grad_norm": 1.65625,
      "learning_rate": 0.0004285254237288136,
      "loss": 4.522655487060547,
      "step": 9435
    },
    {
      "epoch": 0.31466666666666665,
      "grad_norm": 1.9140625,
      "learning_rate": 0.00042848305084745766,
      "loss": 4.3345287322998045,
      "step": 9440
    },
    {
      "epoch": 0.31483333333333335,
      "grad_norm": 2.875,
      "learning_rate": 0.0004284406779661017,
      "loss": 3.5707889556884767,
      "step": 9445
    },
    {
      "epoch": 0.315,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00042839830508474574,
      "loss": 4.704094696044922,
      "step": 9450
    },
    {
      "epoch": 0.31516666666666665,
      "grad_norm": 1.734375,
      "learning_rate": 0.00042835593220338984,
      "loss": 4.370972061157227,
      "step": 9455
    },
    {
      "epoch": 0.31533333333333335,
      "grad_norm": 1.375,
      "learning_rate": 0.00042831355932203394,
      "loss": 3.3203330993652345,
      "step": 9460
    },
    {
      "epoch": 0.3155,
      "grad_norm": 1.453125,
      "learning_rate": 0.000428271186440678,
      "loss": 3.2578506469726562,
      "step": 9465
    },
    {
      "epoch": 0.31566666666666665,
      "grad_norm": 1.796875,
      "learning_rate": 0.000428228813559322,
      "loss": 4.379875183105469,
      "step": 9470
    },
    {
      "epoch": 0.31583333333333335,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0004281864406779661,
      "loss": 4.535626220703125,
      "step": 9475
    },
    {
      "epoch": 0.316,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004281440677966102,
      "loss": 4.15299072265625,
      "step": 9480
    },
    {
      "epoch": 0.31616666666666665,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00042810169491525426,
      "loss": 4.089083480834961,
      "step": 9485
    },
    {
      "epoch": 0.31633333333333336,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0004280593220338983,
      "loss": 3.911277008056641,
      "step": 9490
    },
    {
      "epoch": 0.3165,
      "grad_norm": 1.9765625,
      "learning_rate": 0.00042801694915254235,
      "loss": 3.878218078613281,
      "step": 9495
    },
    {
      "epoch": 0.31666666666666665,
      "grad_norm": 1.515625,
      "learning_rate": 0.00042797457627118644,
      "loss": 4.722994232177735,
      "step": 9500
    },
    {
      "epoch": 0.31683333333333336,
      "grad_norm": 3.078125,
      "learning_rate": 0.00042793220338983054,
      "loss": 4.016865539550781,
      "step": 9505
    },
    {
      "epoch": 0.317,
      "grad_norm": 1.3671875,
      "learning_rate": 0.0004278898305084746,
      "loss": 4.575154495239258,
      "step": 9510
    },
    {
      "epoch": 0.31716666666666665,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004278474576271186,
      "loss": 4.888897705078125,
      "step": 9515
    },
    {
      "epoch": 0.31733333333333336,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0004278050847457627,
      "loss": 3.8941665649414063,
      "step": 9520
    },
    {
      "epoch": 0.3175,
      "grad_norm": 3.09375,
      "learning_rate": 0.0004277627118644068,
      "loss": 4.157906341552734,
      "step": 9525
    },
    {
      "epoch": 0.31766666666666665,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00042772033898305086,
      "loss": 4.56488037109375,
      "step": 9530
    },
    {
      "epoch": 0.31783333333333336,
      "grad_norm": 2.375,
      "learning_rate": 0.0004276779661016949,
      "loss": 3.7736419677734374,
      "step": 9535
    },
    {
      "epoch": 0.318,
      "grad_norm": 1.6484375,
      "learning_rate": 0.000427635593220339,
      "loss": 4.157853317260742,
      "step": 9540
    },
    {
      "epoch": 0.31816666666666665,
      "grad_norm": 2.125,
      "learning_rate": 0.00042759322033898305,
      "loss": 3.5715347290039063,
      "step": 9545
    },
    {
      "epoch": 0.31833333333333336,
      "grad_norm": 3.875,
      "learning_rate": 0.00042755084745762714,
      "loss": 4.372835922241211,
      "step": 9550
    },
    {
      "epoch": 0.3185,
      "grad_norm": 2.0,
      "learning_rate": 0.0004275084745762712,
      "loss": 4.236053466796875,
      "step": 9555
    },
    {
      "epoch": 0.31866666666666665,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004274661016949153,
      "loss": 4.050272369384766,
      "step": 9560
    },
    {
      "epoch": 0.31883333333333336,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0004274237288135593,
      "loss": 3.582989501953125,
      "step": 9565
    },
    {
      "epoch": 0.319,
      "grad_norm": 1.71875,
      "learning_rate": 0.0004273813559322034,
      "loss": 4.5558616638183596,
      "step": 9570
    },
    {
      "epoch": 0.31916666666666665,
      "grad_norm": 2.59375,
      "learning_rate": 0.00042733898305084747,
      "loss": 3.2036022186279296,
      "step": 9575
    },
    {
      "epoch": 0.31933333333333336,
      "grad_norm": 7.09375,
      "learning_rate": 0.00042729661016949156,
      "loss": 4.334629821777344,
      "step": 9580
    },
    {
      "epoch": 0.3195,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004272542372881356,
      "loss": 4.325939178466797,
      "step": 9585
    },
    {
      "epoch": 0.31966666666666665,
      "grad_norm": 2.234375,
      "learning_rate": 0.00042721186440677965,
      "loss": 4.183171081542969,
      "step": 9590
    },
    {
      "epoch": 0.31983333333333336,
      "grad_norm": 1.984375,
      "learning_rate": 0.00042716949152542375,
      "loss": 3.659629058837891,
      "step": 9595
    },
    {
      "epoch": 0.32,
      "grad_norm": 1.859375,
      "learning_rate": 0.0004271271186440678,
      "loss": 3.7428604125976563,
      "step": 9600
    },
    {
      "epoch": 0.32016666666666665,
      "grad_norm": 1.3828125,
      "learning_rate": 0.0004270847457627119,
      "loss": 3.86470947265625,
      "step": 9605
    },
    {
      "epoch": 0.32033333333333336,
      "grad_norm": 1.6875,
      "learning_rate": 0.00042704237288135593,
      "loss": 4.075197219848633,
      "step": 9610
    },
    {
      "epoch": 0.3205,
      "grad_norm": 1.984375,
      "learning_rate": 0.000427,
      "loss": 4.208880996704101,
      "step": 9615
    },
    {
      "epoch": 0.32066666666666666,
      "grad_norm": 1.546875,
      "learning_rate": 0.00042695762711864407,
      "loss": 3.503007507324219,
      "step": 9620
    },
    {
      "epoch": 0.32083333333333336,
      "grad_norm": 2.921875,
      "learning_rate": 0.00042691525423728816,
      "loss": 4.463573837280274,
      "step": 9625
    },
    {
      "epoch": 0.321,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0004268728813559322,
      "loss": 4.364408874511719,
      "step": 9630
    },
    {
      "epoch": 0.32116666666666666,
      "grad_norm": 1.3828125,
      "learning_rate": 0.00042683050847457625,
      "loss": 4.40868911743164,
      "step": 9635
    },
    {
      "epoch": 0.32133333333333336,
      "grad_norm": 2.5625,
      "learning_rate": 0.00042678813559322035,
      "loss": 4.782170104980469,
      "step": 9640
    },
    {
      "epoch": 0.3215,
      "grad_norm": 2.09375,
      "learning_rate": 0.00042674576271186444,
      "loss": 4.047952270507812,
      "step": 9645
    },
    {
      "epoch": 0.32166666666666666,
      "grad_norm": 1.796875,
      "learning_rate": 0.0004267033898305085,
      "loss": 4.644285583496094,
      "step": 9650
    },
    {
      "epoch": 0.32183333333333336,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00042666101694915253,
      "loss": 2.7044500350952148,
      "step": 9655
    },
    {
      "epoch": 0.322,
      "grad_norm": 2.6875,
      "learning_rate": 0.00042661864406779663,
      "loss": 4.6973011016845705,
      "step": 9660
    },
    {
      "epoch": 0.32216666666666666,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0004265762711864407,
      "loss": 4.582592391967774,
      "step": 9665
    },
    {
      "epoch": 0.32233333333333336,
      "grad_norm": 2.46875,
      "learning_rate": 0.00042653389830508477,
      "loss": 4.863566970825195,
      "step": 9670
    },
    {
      "epoch": 0.3225,
      "grad_norm": 2.15625,
      "learning_rate": 0.0004264915254237288,
      "loss": 4.088370132446289,
      "step": 9675
    },
    {
      "epoch": 0.32266666666666666,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00042644915254237285,
      "loss": 4.423667144775391,
      "step": 9680
    },
    {
      "epoch": 0.32283333333333336,
      "grad_norm": 2.046875,
      "learning_rate": 0.00042640677966101695,
      "loss": 4.153216171264648,
      "step": 9685
    },
    {
      "epoch": 0.323,
      "grad_norm": 2.0,
      "learning_rate": 0.00042636440677966105,
      "loss": 4.493966674804687,
      "step": 9690
    },
    {
      "epoch": 0.32316666666666666,
      "grad_norm": 2.625,
      "learning_rate": 0.0004263220338983051,
      "loss": 4.289437866210937,
      "step": 9695
    },
    {
      "epoch": 0.3233333333333333,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00042627966101694913,
      "loss": 4.414990997314453,
      "step": 9700
    },
    {
      "epoch": 0.3235,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00042623728813559323,
      "loss": 4.189250946044922,
      "step": 9705
    },
    {
      "epoch": 0.32366666666666666,
      "grad_norm": 1.4296875,
      "learning_rate": 0.00042619491525423733,
      "loss": 3.368717575073242,
      "step": 9710
    },
    {
      "epoch": 0.3238333333333333,
      "grad_norm": 2.0,
      "learning_rate": 0.00042615254237288137,
      "loss": 4.645652389526367,
      "step": 9715
    },
    {
      "epoch": 0.324,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0004261101694915254,
      "loss": 4.155508804321289,
      "step": 9720
    },
    {
      "epoch": 0.32416666666666666,
      "grad_norm": 2.09375,
      "learning_rate": 0.00042606779661016946,
      "loss": 4.6074371337890625,
      "step": 9725
    },
    {
      "epoch": 0.3243333333333333,
      "grad_norm": 2.03125,
      "learning_rate": 0.0004260254237288136,
      "loss": 3.525309753417969,
      "step": 9730
    },
    {
      "epoch": 0.3245,
      "grad_norm": 1.859375,
      "learning_rate": 0.00042598305084745765,
      "loss": 4.035239410400391,
      "step": 9735
    },
    {
      "epoch": 0.32466666666666666,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004259406779661017,
      "loss": 3.876068115234375,
      "step": 9740
    },
    {
      "epoch": 0.3248333333333333,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00042589830508474574,
      "loss": 3.7360549926757813,
      "step": 9745
    },
    {
      "epoch": 0.325,
      "grad_norm": 1.75,
      "learning_rate": 0.0004258559322033899,
      "loss": 3.9565258026123047,
      "step": 9750
    },
    {
      "epoch": 0.32516666666666666,
      "grad_norm": 1.3515625,
      "learning_rate": 0.00042581355932203393,
      "loss": 4.386618041992188,
      "step": 9755
    },
    {
      "epoch": 0.3253333333333333,
      "grad_norm": 1.8046875,
      "learning_rate": 0.000425771186440678,
      "loss": 4.424049377441406,
      "step": 9760
    },
    {
      "epoch": 0.3255,
      "grad_norm": 2.234375,
      "learning_rate": 0.000425728813559322,
      "loss": 4.883751678466797,
      "step": 9765
    },
    {
      "epoch": 0.32566666666666666,
      "grad_norm": 1.84375,
      "learning_rate": 0.0004256864406779661,
      "loss": 3.811865234375,
      "step": 9770
    },
    {
      "epoch": 0.3258333333333333,
      "grad_norm": 1.78125,
      "learning_rate": 0.0004256440677966102,
      "loss": 4.0694835662841795,
      "step": 9775
    },
    {
      "epoch": 0.326,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00042560169491525425,
      "loss": 4.345548629760742,
      "step": 9780
    },
    {
      "epoch": 0.32616666666666666,
      "grad_norm": 2.25,
      "learning_rate": 0.0004255593220338983,
      "loss": 4.321320343017578,
      "step": 9785
    },
    {
      "epoch": 0.3263333333333333,
      "grad_norm": 1.71875,
      "learning_rate": 0.00042551694915254234,
      "loss": 4.324922943115235,
      "step": 9790
    },
    {
      "epoch": 0.3265,
      "grad_norm": 1.484375,
      "learning_rate": 0.0004254745762711865,
      "loss": 3.647313690185547,
      "step": 9795
    },
    {
      "epoch": 0.32666666666666666,
      "grad_norm": 1.96875,
      "learning_rate": 0.00042543220338983053,
      "loss": 4.1369773864746096,
      "step": 9800
    },
    {
      "epoch": 0.3268333333333333,
      "grad_norm": 3.09375,
      "learning_rate": 0.0004253898305084746,
      "loss": 4.411867141723633,
      "step": 9805
    },
    {
      "epoch": 0.327,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004253474576271186,
      "loss": 3.545627212524414,
      "step": 9810
    },
    {
      "epoch": 0.32716666666666666,
      "grad_norm": 2.046875,
      "learning_rate": 0.0004253050847457627,
      "loss": 4.301453018188477,
      "step": 9815
    },
    {
      "epoch": 0.3273333333333333,
      "grad_norm": 1.375,
      "learning_rate": 0.0004252627118644068,
      "loss": 3.353536605834961,
      "step": 9820
    },
    {
      "epoch": 0.3275,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00042522033898305086,
      "loss": 3.6861328125,
      "step": 9825
    },
    {
      "epoch": 0.32766666666666666,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0004251779661016949,
      "loss": 4.127969741821289,
      "step": 9830
    },
    {
      "epoch": 0.3278333333333333,
      "grad_norm": 1.6328125,
      "learning_rate": 0.000425135593220339,
      "loss": 4.853668975830078,
      "step": 9835
    },
    {
      "epoch": 0.328,
      "grad_norm": 1.3984375,
      "learning_rate": 0.0004250932203389831,
      "loss": 4.167522430419922,
      "step": 9840
    },
    {
      "epoch": 0.32816666666666666,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00042505084745762714,
      "loss": 4.031006622314453,
      "step": 9845
    },
    {
      "epoch": 0.3283333333333333,
      "grad_norm": 2.109375,
      "learning_rate": 0.0004250084745762712,
      "loss": 4.535951232910156,
      "step": 9850
    },
    {
      "epoch": 0.3285,
      "grad_norm": 1.765625,
      "learning_rate": 0.0004249661016949153,
      "loss": 4.274554824829101,
      "step": 9855
    },
    {
      "epoch": 0.32866666666666666,
      "grad_norm": 2.046875,
      "learning_rate": 0.0004249237288135593,
      "loss": 4.275763702392578,
      "step": 9860
    },
    {
      "epoch": 0.3288333333333333,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0004248813559322034,
      "loss": 3.749344253540039,
      "step": 9865
    },
    {
      "epoch": 0.329,
      "grad_norm": 1.9140625,
      "learning_rate": 0.00042483898305084746,
      "loss": 3.8481544494628905,
      "step": 9870
    },
    {
      "epoch": 0.32916666666666666,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00042479661016949156,
      "loss": 4.419374084472656,
      "step": 9875
    },
    {
      "epoch": 0.3293333333333333,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0004247542372881356,
      "loss": 4.367932891845703,
      "step": 9880
    },
    {
      "epoch": 0.3295,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0004247118644067797,
      "loss": 4.392395782470703,
      "step": 9885
    },
    {
      "epoch": 0.32966666666666666,
      "grad_norm": 2.984375,
      "learning_rate": 0.00042466949152542374,
      "loss": 4.395721435546875,
      "step": 9890
    },
    {
      "epoch": 0.3298333333333333,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004246271186440678,
      "loss": 3.8011035919189453,
      "step": 9895
    },
    {
      "epoch": 0.33,
      "grad_norm": 4.09375,
      "learning_rate": 0.0004245847457627119,
      "loss": 3.892776107788086,
      "step": 9900
    },
    {
      "epoch": 0.33016666666666666,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0004245423728813559,
      "loss": 3.2917694091796874,
      "step": 9905
    },
    {
      "epoch": 0.3303333333333333,
      "grad_norm": 1.625,
      "learning_rate": 0.0004245,
      "loss": 4.174234008789062,
      "step": 9910
    },
    {
      "epoch": 0.3305,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00042445762711864406,
      "loss": 4.522168350219727,
      "step": 9915
    },
    {
      "epoch": 0.33066666666666666,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00042441525423728816,
      "loss": 4.449567794799805,
      "step": 9920
    },
    {
      "epoch": 0.3308333333333333,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0004243728813559322,
      "loss": 4.4084228515625,
      "step": 9925
    },
    {
      "epoch": 0.331,
      "grad_norm": 1.734375,
      "learning_rate": 0.00042433050847457624,
      "loss": 4.393215179443359,
      "step": 9930
    },
    {
      "epoch": 0.33116666666666666,
      "grad_norm": 1.65625,
      "learning_rate": 0.00042428813559322034,
      "loss": 4.536013793945313,
      "step": 9935
    },
    {
      "epoch": 0.3313333333333333,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00042424576271186444,
      "loss": 4.272282409667969,
      "step": 9940
    },
    {
      "epoch": 0.3315,
      "grad_norm": 1.546875,
      "learning_rate": 0.0004242033898305085,
      "loss": 3.9159088134765625,
      "step": 9945
    },
    {
      "epoch": 0.33166666666666667,
      "grad_norm": 2.890625,
      "learning_rate": 0.0004241610169491525,
      "loss": 3.207132339477539,
      "step": 9950
    },
    {
      "epoch": 0.3318333333333333,
      "grad_norm": 1.828125,
      "learning_rate": 0.0004241186440677966,
      "loss": 4.124533462524414,
      "step": 9955
    },
    {
      "epoch": 0.332,
      "grad_norm": 2.96875,
      "learning_rate": 0.0004240762711864407,
      "loss": 3.692327880859375,
      "step": 9960
    },
    {
      "epoch": 0.33216666666666667,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00042403389830508476,
      "loss": 4.003231811523437,
      "step": 9965
    },
    {
      "epoch": 0.3323333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0004239915254237288,
      "loss": 4.441224670410156,
      "step": 9970
    },
    {
      "epoch": 0.3325,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00042394915254237285,
      "loss": 4.574034881591797,
      "step": 9975
    },
    {
      "epoch": 0.33266666666666667,
      "grad_norm": 1.5703125,
      "learning_rate": 0.000423906779661017,
      "loss": 3.453821563720703,
      "step": 9980
    },
    {
      "epoch": 0.3328333333333333,
      "grad_norm": 3.078125,
      "learning_rate": 0.00042386440677966104,
      "loss": 3.841957855224609,
      "step": 9985
    },
    {
      "epoch": 0.333,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004238220338983051,
      "loss": 4.492098617553711,
      "step": 9990
    },
    {
      "epoch": 0.33316666666666667,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0004237796610169491,
      "loss": 3.751077651977539,
      "step": 9995
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0004237372881355932,
      "loss": 3.8745868682861326,
      "step": 10000
    },
    {
      "epoch": 0.3335,
      "grad_norm": 1.84375,
      "learning_rate": 0.0004236949152542373,
      "loss": 4.261862945556641,
      "step": 10005
    },
    {
      "epoch": 0.33366666666666667,
      "grad_norm": 3.515625,
      "learning_rate": 0.00042365254237288136,
      "loss": 3.3836212158203125,
      "step": 10010
    },
    {
      "epoch": 0.3338333333333333,
      "grad_norm": 2.375,
      "learning_rate": 0.0004236101694915254,
      "loss": 3.627437973022461,
      "step": 10015
    },
    {
      "epoch": 0.334,
      "grad_norm": 1.75,
      "learning_rate": 0.00042356779661016945,
      "loss": 2.995723915100098,
      "step": 10020
    },
    {
      "epoch": 0.33416666666666667,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004235254237288136,
      "loss": 3.7887649536132812,
      "step": 10025
    },
    {
      "epoch": 0.3343333333333333,
      "grad_norm": 2.125,
      "learning_rate": 0.00042348305084745764,
      "loss": 4.462555694580078,
      "step": 10030
    },
    {
      "epoch": 0.3345,
      "grad_norm": 1.40625,
      "learning_rate": 0.0004234406779661017,
      "loss": 4.102613067626953,
      "step": 10035
    },
    {
      "epoch": 0.33466666666666667,
      "grad_norm": 4.125,
      "learning_rate": 0.00042339830508474573,
      "loss": 4.051078796386719,
      "step": 10040
    },
    {
      "epoch": 0.3348333333333333,
      "grad_norm": 2.0,
      "learning_rate": 0.0004233559322033899,
      "loss": 4.747028350830078,
      "step": 10045
    },
    {
      "epoch": 0.335,
      "grad_norm": 2.6875,
      "learning_rate": 0.0004233135593220339,
      "loss": 4.0679065704345705,
      "step": 10050
    },
    {
      "epoch": 0.33516666666666667,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00042327118644067797,
      "loss": 3.9650856018066407,
      "step": 10055
    },
    {
      "epoch": 0.3353333333333333,
      "grad_norm": 1.5078125,
      "learning_rate": 0.000423228813559322,
      "loss": 3.8363075256347656,
      "step": 10060
    },
    {
      "epoch": 0.3355,
      "grad_norm": 1.984375,
      "learning_rate": 0.0004231864406779661,
      "loss": 4.188849639892578,
      "step": 10065
    },
    {
      "epoch": 0.33566666666666667,
      "grad_norm": 1.65625,
      "learning_rate": 0.0004231440677966102,
      "loss": 3.993879699707031,
      "step": 10070
    },
    {
      "epoch": 0.3358333333333333,
      "grad_norm": 2.640625,
      "learning_rate": 0.00042310169491525425,
      "loss": 3.6723892211914064,
      "step": 10075
    },
    {
      "epoch": 0.336,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0004230593220338983,
      "loss": 3.881269836425781,
      "step": 10080
    },
    {
      "epoch": 0.33616666666666667,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0004230169491525424,
      "loss": 3.9625473022460938,
      "step": 10085
    },
    {
      "epoch": 0.3363333333333333,
      "grad_norm": 1.765625,
      "learning_rate": 0.0004229745762711865,
      "loss": 4.122536468505859,
      "step": 10090
    },
    {
      "epoch": 0.3365,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004229322033898305,
      "loss": 4.620286560058593,
      "step": 10095
    },
    {
      "epoch": 0.33666666666666667,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00042288983050847457,
      "loss": 4.656596374511719,
      "step": 10100
    },
    {
      "epoch": 0.3368333333333333,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0004228474576271186,
      "loss": 3.3095474243164062,
      "step": 10105
    },
    {
      "epoch": 0.337,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004228050847457627,
      "loss": 3.825099563598633,
      "step": 10110
    },
    {
      "epoch": 0.33716666666666667,
      "grad_norm": 2.90625,
      "learning_rate": 0.0004227627118644068,
      "loss": 4.184302139282226,
      "step": 10115
    },
    {
      "epoch": 0.3373333333333333,
      "grad_norm": 2.125,
      "learning_rate": 0.00042272033898305085,
      "loss": 4.380567169189453,
      "step": 10120
    },
    {
      "epoch": 0.3375,
      "grad_norm": 1.2578125,
      "learning_rate": 0.0004226779661016949,
      "loss": 3.682547760009766,
      "step": 10125
    },
    {
      "epoch": 0.33766666666666667,
      "grad_norm": 2.015625,
      "learning_rate": 0.000422635593220339,
      "loss": 3.697423553466797,
      "step": 10130
    },
    {
      "epoch": 0.3378333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004225932203389831,
      "loss": 4.467295455932617,
      "step": 10135
    },
    {
      "epoch": 0.338,
      "grad_norm": 1.875,
      "learning_rate": 0.00042255084745762713,
      "loss": 4.566529846191406,
      "step": 10140
    },
    {
      "epoch": 0.33816666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00042250847457627117,
      "loss": 4.390790557861328,
      "step": 10145
    },
    {
      "epoch": 0.3383333333333333,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00042246610169491527,
      "loss": 4.273033905029297,
      "step": 10150
    },
    {
      "epoch": 0.3385,
      "grad_norm": 3.03125,
      "learning_rate": 0.0004224237288135593,
      "loss": 3.6198471069335936,
      "step": 10155
    },
    {
      "epoch": 0.33866666666666667,
      "grad_norm": 2.140625,
      "learning_rate": 0.0004223813559322034,
      "loss": 3.519048309326172,
      "step": 10160
    },
    {
      "epoch": 0.3388333333333333,
      "grad_norm": 3.8125,
      "learning_rate": 0.00042233898305084745,
      "loss": 3.3224102020263673,
      "step": 10165
    },
    {
      "epoch": 0.339,
      "grad_norm": 2.109375,
      "learning_rate": 0.00042229661016949155,
      "loss": 4.421448135375977,
      "step": 10170
    },
    {
      "epoch": 0.33916666666666667,
      "grad_norm": 3.1875,
      "learning_rate": 0.0004222542372881356,
      "loss": 4.000569152832031,
      "step": 10175
    },
    {
      "epoch": 0.3393333333333333,
      "grad_norm": 1.5,
      "learning_rate": 0.0004222118644067797,
      "loss": 4.3026283264160154,
      "step": 10180
    },
    {
      "epoch": 0.3395,
      "grad_norm": 1.015625,
      "learning_rate": 0.00042216949152542373,
      "loss": 3.8823787689208986,
      "step": 10185
    },
    {
      "epoch": 0.3396666666666667,
      "grad_norm": 1.4921875,
      "learning_rate": 0.00042212711864406783,
      "loss": 4.081948089599609,
      "step": 10190
    },
    {
      "epoch": 0.3398333333333333,
      "grad_norm": 1.9765625,
      "learning_rate": 0.00042208474576271187,
      "loss": 4.8506214141845705,
      "step": 10195
    },
    {
      "epoch": 0.34,
      "grad_norm": 1.1796875,
      "learning_rate": 0.0004220423728813559,
      "loss": 4.012165832519531,
      "step": 10200
    },
    {
      "epoch": 0.3401666666666667,
      "grad_norm": 2.390625,
      "learning_rate": 0.000422,
      "loss": 3.8591564178466795,
      "step": 10205
    },
    {
      "epoch": 0.3403333333333333,
      "grad_norm": 1.5,
      "learning_rate": 0.00042195762711864405,
      "loss": 4.184034729003907,
      "step": 10210
    },
    {
      "epoch": 0.3405,
      "grad_norm": 1.890625,
      "learning_rate": 0.00042191525423728815,
      "loss": 4.204256057739258,
      "step": 10215
    },
    {
      "epoch": 0.3406666666666667,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0004218728813559322,
      "loss": 3.9728775024414062,
      "step": 10220
    },
    {
      "epoch": 0.3408333333333333,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0004218305084745763,
      "loss": 4.443926620483398,
      "step": 10225
    },
    {
      "epoch": 0.341,
      "grad_norm": 1.234375,
      "learning_rate": 0.00042178813559322033,
      "loss": 4.2647350311279295,
      "step": 10230
    },
    {
      "epoch": 0.3411666666666667,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00042174576271186443,
      "loss": 4.098825836181641,
      "step": 10235
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004217033898305085,
      "loss": 4.178609085083008,
      "step": 10240
    },
    {
      "epoch": 0.3415,
      "grad_norm": 2.234375,
      "learning_rate": 0.0004216610169491525,
      "loss": 3.965513229370117,
      "step": 10245
    },
    {
      "epoch": 0.3416666666666667,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004216186440677966,
      "loss": 4.936863708496094,
      "step": 10250
    },
    {
      "epoch": 0.3418333333333333,
      "grad_norm": 3.1875,
      "learning_rate": 0.0004215762711864407,
      "loss": 4.127795028686523,
      "step": 10255
    },
    {
      "epoch": 0.342,
      "grad_norm": 1.3828125,
      "learning_rate": 0.00042153389830508475,
      "loss": 3.9878265380859377,
      "step": 10260
    },
    {
      "epoch": 0.3421666666666667,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004214915254237288,
      "loss": 4.418433380126953,
      "step": 10265
    },
    {
      "epoch": 0.3423333333333333,
      "grad_norm": 2.125,
      "learning_rate": 0.0004214491525423729,
      "loss": 4.477124404907227,
      "step": 10270
    },
    {
      "epoch": 0.3425,
      "grad_norm": 1.5703125,
      "learning_rate": 0.000421406779661017,
      "loss": 4.712262725830078,
      "step": 10275
    },
    {
      "epoch": 0.3426666666666667,
      "grad_norm": 1.65625,
      "learning_rate": 0.00042136440677966103,
      "loss": 4.039676284790039,
      "step": 10280
    },
    {
      "epoch": 0.3428333333333333,
      "grad_norm": 1.6875,
      "learning_rate": 0.0004213220338983051,
      "loss": 4.045594787597656,
      "step": 10285
    },
    {
      "epoch": 0.343,
      "grad_norm": 2.234375,
      "learning_rate": 0.0004212796610169491,
      "loss": 4.449372863769531,
      "step": 10290
    },
    {
      "epoch": 0.3431666666666667,
      "grad_norm": 1.640625,
      "learning_rate": 0.00042123728813559327,
      "loss": 3.8463520050048827,
      "step": 10295
    },
    {
      "epoch": 0.3433333333333333,
      "grad_norm": 1.875,
      "learning_rate": 0.0004211949152542373,
      "loss": 3.687535858154297,
      "step": 10300
    },
    {
      "epoch": 0.3435,
      "grad_norm": 1.5625,
      "learning_rate": 0.00042115254237288136,
      "loss": 4.0227500915527346,
      "step": 10305
    },
    {
      "epoch": 0.3436666666666667,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004211101694915254,
      "loss": 4.041413879394531,
      "step": 10310
    },
    {
      "epoch": 0.3438333333333333,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0004210677966101695,
      "loss": 3.842743682861328,
      "step": 10315
    },
    {
      "epoch": 0.344,
      "grad_norm": 1.703125,
      "learning_rate": 0.0004210254237288136,
      "loss": 4.390191268920899,
      "step": 10320
    },
    {
      "epoch": 0.3441666666666667,
      "grad_norm": 2.015625,
      "learning_rate": 0.00042098305084745764,
      "loss": 3.6062061309814455,
      "step": 10325
    },
    {
      "epoch": 0.3443333333333333,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0004209406779661017,
      "loss": 4.606062316894532,
      "step": 10330
    },
    {
      "epoch": 0.3445,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0004208983050847457,
      "loss": 4.142839813232422,
      "step": 10335
    },
    {
      "epoch": 0.3446666666666667,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0004208559322033899,
      "loss": 4.365579605102539,
      "step": 10340
    },
    {
      "epoch": 0.3448333333333333,
      "grad_norm": 1.453125,
      "learning_rate": 0.0004208135593220339,
      "loss": 4.503767395019532,
      "step": 10345
    },
    {
      "epoch": 0.345,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00042077118644067796,
      "loss": 4.47766227722168,
      "step": 10350
    },
    {
      "epoch": 0.3451666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 0.000420728813559322,
      "loss": 4.452761459350586,
      "step": 10355
    },
    {
      "epoch": 0.3453333333333333,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00042068644067796615,
      "loss": 4.7635643005371096,
      "step": 10360
    },
    {
      "epoch": 0.3455,
      "grad_norm": 1.515625,
      "learning_rate": 0.0004206440677966102,
      "loss": 4.09032096862793,
      "step": 10365
    },
    {
      "epoch": 0.3456666666666667,
      "grad_norm": 2.28125,
      "learning_rate": 0.00042060169491525424,
      "loss": 4.416084671020508,
      "step": 10370
    },
    {
      "epoch": 0.3458333333333333,
      "grad_norm": 2.0625,
      "learning_rate": 0.0004205593220338983,
      "loss": 4.303101348876953,
      "step": 10375
    },
    {
      "epoch": 0.346,
      "grad_norm": 2.25,
      "learning_rate": 0.0004205169491525424,
      "loss": 4.570109558105469,
      "step": 10380
    },
    {
      "epoch": 0.3461666666666667,
      "grad_norm": 1.4609375,
      "learning_rate": 0.0004204745762711865,
      "loss": 3.9840011596679688,
      "step": 10385
    },
    {
      "epoch": 0.3463333333333333,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004204322033898305,
      "loss": 3.8266342163085936,
      "step": 10390
    },
    {
      "epoch": 0.3465,
      "grad_norm": 1.6875,
      "learning_rate": 0.00042038983050847456,
      "loss": 2.8656307220458985,
      "step": 10395
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 1.78125,
      "learning_rate": 0.00042034745762711866,
      "loss": 3.605930709838867,
      "step": 10400
    },
    {
      "epoch": 0.3468333333333333,
      "grad_norm": 1.453125,
      "learning_rate": 0.00042030508474576276,
      "loss": 4.0870307922363285,
      "step": 10405
    },
    {
      "epoch": 0.347,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0004202627118644068,
      "loss": 4.693441009521484,
      "step": 10410
    },
    {
      "epoch": 0.3471666666666667,
      "grad_norm": 1.578125,
      "learning_rate": 0.00042022033898305084,
      "loss": 4.399982833862305,
      "step": 10415
    },
    {
      "epoch": 0.3473333333333333,
      "grad_norm": 1.640625,
      "learning_rate": 0.0004201779661016949,
      "loss": 4.099515151977539,
      "step": 10420
    },
    {
      "epoch": 0.3475,
      "grad_norm": 2.125,
      "learning_rate": 0.000420135593220339,
      "loss": 3.7962738037109376,
      "step": 10425
    },
    {
      "epoch": 0.3476666666666667,
      "grad_norm": 1.734375,
      "learning_rate": 0.0004200932203389831,
      "loss": 4.043368530273438,
      "step": 10430
    },
    {
      "epoch": 0.3478333333333333,
      "grad_norm": 1.671875,
      "learning_rate": 0.0004200508474576271,
      "loss": 5.229465484619141,
      "step": 10435
    },
    {
      "epoch": 0.348,
      "grad_norm": 1.21875,
      "learning_rate": 0.00042000847457627117,
      "loss": 3.9688690185546873,
      "step": 10440
    },
    {
      "epoch": 0.3481666666666667,
      "grad_norm": 1.3984375,
      "learning_rate": 0.00041996610169491526,
      "loss": 3.9197032928466795,
      "step": 10445
    },
    {
      "epoch": 0.34833333333333333,
      "grad_norm": 1.875,
      "learning_rate": 0.00041992372881355936,
      "loss": 4.672061538696289,
      "step": 10450
    },
    {
      "epoch": 0.3485,
      "grad_norm": 1.515625,
      "learning_rate": 0.0004198813559322034,
      "loss": 4.064589309692383,
      "step": 10455
    },
    {
      "epoch": 0.3486666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 0.00041983898305084745,
      "loss": 3.746951675415039,
      "step": 10460
    },
    {
      "epoch": 0.34883333333333333,
      "grad_norm": 3.171875,
      "learning_rate": 0.00041979661016949154,
      "loss": 4.021067047119141,
      "step": 10465
    },
    {
      "epoch": 0.349,
      "grad_norm": 2.40625,
      "learning_rate": 0.0004197542372881356,
      "loss": 3.9709205627441406,
      "step": 10470
    },
    {
      "epoch": 0.3491666666666667,
      "grad_norm": 1.96875,
      "learning_rate": 0.0004197118644067797,
      "loss": 3.8046344757080077,
      "step": 10475
    },
    {
      "epoch": 0.34933333333333333,
      "grad_norm": 2.125,
      "learning_rate": 0.0004196694915254237,
      "loss": 3.8874744415283202,
      "step": 10480
    },
    {
      "epoch": 0.3495,
      "grad_norm": 1.765625,
      "learning_rate": 0.0004196271186440678,
      "loss": 4.1822467803955075,
      "step": 10485
    },
    {
      "epoch": 0.3496666666666667,
      "grad_norm": 1.515625,
      "learning_rate": 0.00041958474576271187,
      "loss": 4.457305145263672,
      "step": 10490
    },
    {
      "epoch": 0.34983333333333333,
      "grad_norm": 1.90625,
      "learning_rate": 0.00041954237288135596,
      "loss": 3.07092227935791,
      "step": 10495
    },
    {
      "epoch": 0.35,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0004195,
      "loss": 4.004624557495117,
      "step": 10500
    },
    {
      "epoch": 0.3501666666666667,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0004194576271186441,
      "loss": 3.4702392578125,
      "step": 10505
    },
    {
      "epoch": 0.35033333333333333,
      "grad_norm": 2.453125,
      "learning_rate": 0.00041941525423728815,
      "loss": 3.479329299926758,
      "step": 10510
    },
    {
      "epoch": 0.3505,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004193728813559322,
      "loss": 3.904602813720703,
      "step": 10515
    },
    {
      "epoch": 0.3506666666666667,
      "grad_norm": 1.546875,
      "learning_rate": 0.0004193305084745763,
      "loss": 3.5299854278564453,
      "step": 10520
    },
    {
      "epoch": 0.35083333333333333,
      "grad_norm": 2.203125,
      "learning_rate": 0.00041928813559322033,
      "loss": 3.7905593872070313,
      "step": 10525
    },
    {
      "epoch": 0.351,
      "grad_norm": 2.125,
      "learning_rate": 0.0004192457627118644,
      "loss": 3.899982452392578,
      "step": 10530
    },
    {
      "epoch": 0.3511666666666667,
      "grad_norm": 2.03125,
      "learning_rate": 0.00041920338983050847,
      "loss": 4.46348991394043,
      "step": 10535
    },
    {
      "epoch": 0.35133333333333333,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00041916101694915257,
      "loss": 3.888050079345703,
      "step": 10540
    },
    {
      "epoch": 0.3515,
      "grad_norm": 2.828125,
      "learning_rate": 0.0004191186440677966,
      "loss": 3.9684776306152343,
      "step": 10545
    },
    {
      "epoch": 0.3516666666666667,
      "grad_norm": 1.671875,
      "learning_rate": 0.0004190762711864407,
      "loss": 3.6855918884277346,
      "step": 10550
    },
    {
      "epoch": 0.35183333333333333,
      "grad_norm": 1.625,
      "learning_rate": 0.00041903389830508475,
      "loss": 4.245035552978516,
      "step": 10555
    },
    {
      "epoch": 0.352,
      "grad_norm": 1.734375,
      "learning_rate": 0.0004189915254237288,
      "loss": 3.955244445800781,
      "step": 10560
    },
    {
      "epoch": 0.3521666666666667,
      "grad_norm": 1.40625,
      "learning_rate": 0.0004189491525423729,
      "loss": 4.357395172119141,
      "step": 10565
    },
    {
      "epoch": 0.35233333333333333,
      "grad_norm": 1.0703125,
      "learning_rate": 0.000418906779661017,
      "loss": 3.0759559631347657,
      "step": 10570
    },
    {
      "epoch": 0.3525,
      "grad_norm": 2.03125,
      "learning_rate": 0.00041886440677966103,
      "loss": 3.8153526306152346,
      "step": 10575
    },
    {
      "epoch": 0.3526666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00041882203389830507,
      "loss": 4.209777069091797,
      "step": 10580
    },
    {
      "epoch": 0.35283333333333333,
      "grad_norm": 1.796875,
      "learning_rate": 0.00041877966101694917,
      "loss": 3.9345226287841797,
      "step": 10585
    },
    {
      "epoch": 0.353,
      "grad_norm": 2.53125,
      "learning_rate": 0.00041873728813559326,
      "loss": 4.470107650756836,
      "step": 10590
    },
    {
      "epoch": 0.3531666666666667,
      "grad_norm": 1.734375,
      "learning_rate": 0.0004186949152542373,
      "loss": 3.713574981689453,
      "step": 10595
    },
    {
      "epoch": 0.35333333333333333,
      "grad_norm": 2.203125,
      "learning_rate": 0.00041865254237288135,
      "loss": 3.994171905517578,
      "step": 10600
    },
    {
      "epoch": 0.3535,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0004186101694915254,
      "loss": 4.305458831787109,
      "step": 10605
    },
    {
      "epoch": 0.3536666666666667,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00041856779661016954,
      "loss": 4.596378326416016,
      "step": 10610
    },
    {
      "epoch": 0.35383333333333333,
      "grad_norm": 4.1875,
      "learning_rate": 0.0004185254237288136,
      "loss": 3.6187824249267577,
      "step": 10615
    },
    {
      "epoch": 0.354,
      "grad_norm": 1.203125,
      "learning_rate": 0.00041848305084745763,
      "loss": 3.3428981781005858,
      "step": 10620
    },
    {
      "epoch": 0.3541666666666667,
      "grad_norm": 2.734375,
      "learning_rate": 0.0004184406779661017,
      "loss": 4.531226348876953,
      "step": 10625
    },
    {
      "epoch": 0.35433333333333333,
      "grad_norm": 2.609375,
      "learning_rate": 0.00041839830508474577,
      "loss": 3.4273757934570312,
      "step": 10630
    },
    {
      "epoch": 0.3545,
      "grad_norm": 2.0,
      "learning_rate": 0.00041835593220338987,
      "loss": 3.975511169433594,
      "step": 10635
    },
    {
      "epoch": 0.3546666666666667,
      "grad_norm": 1.71875,
      "learning_rate": 0.0004183135593220339,
      "loss": 4.098320388793946,
      "step": 10640
    },
    {
      "epoch": 0.35483333333333333,
      "grad_norm": 2.0625,
      "learning_rate": 0.00041827118644067795,
      "loss": 4.502706527709961,
      "step": 10645
    },
    {
      "epoch": 0.355,
      "grad_norm": 2.453125,
      "learning_rate": 0.000418228813559322,
      "loss": 3.95892219543457,
      "step": 10650
    },
    {
      "epoch": 0.3551666666666667,
      "grad_norm": 1.640625,
      "learning_rate": 0.00041818644067796615,
      "loss": 4.150241088867188,
      "step": 10655
    },
    {
      "epoch": 0.35533333333333333,
      "grad_norm": 2.53125,
      "learning_rate": 0.0004181440677966102,
      "loss": 4.465424346923828,
      "step": 10660
    },
    {
      "epoch": 0.3555,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00041810169491525423,
      "loss": 4.360358047485351,
      "step": 10665
    },
    {
      "epoch": 0.3556666666666667,
      "grad_norm": 1.5625,
      "learning_rate": 0.0004180593220338983,
      "loss": 4.416726684570312,
      "step": 10670
    },
    {
      "epoch": 0.35583333333333333,
      "grad_norm": 4.875,
      "learning_rate": 0.00041801694915254243,
      "loss": 4.51972541809082,
      "step": 10675
    },
    {
      "epoch": 0.356,
      "grad_norm": 2.28125,
      "learning_rate": 0.00041797457627118647,
      "loss": 4.120456695556641,
      "step": 10680
    },
    {
      "epoch": 0.3561666666666667,
      "grad_norm": 2.15625,
      "learning_rate": 0.0004179322033898305,
      "loss": 4.314847564697265,
      "step": 10685
    },
    {
      "epoch": 0.35633333333333334,
      "grad_norm": 1.4609375,
      "learning_rate": 0.00041788983050847456,
      "loss": 4.211509704589844,
      "step": 10690
    },
    {
      "epoch": 0.3565,
      "grad_norm": 1.828125,
      "learning_rate": 0.00041784745762711865,
      "loss": 4.123814392089844,
      "step": 10695
    },
    {
      "epoch": 0.3566666666666667,
      "grad_norm": 2.515625,
      "learning_rate": 0.00041780508474576275,
      "loss": 4.224068450927734,
      "step": 10700
    },
    {
      "epoch": 0.35683333333333334,
      "grad_norm": 2.21875,
      "learning_rate": 0.0004177627118644068,
      "loss": 4.262155151367187,
      "step": 10705
    },
    {
      "epoch": 0.357,
      "grad_norm": 1.46875,
      "learning_rate": 0.00041772033898305084,
      "loss": 3.528830337524414,
      "step": 10710
    },
    {
      "epoch": 0.3571666666666667,
      "grad_norm": 1.9453125,
      "learning_rate": 0.00041767796610169493,
      "loss": 3.8344573974609375,
      "step": 10715
    },
    {
      "epoch": 0.35733333333333334,
      "grad_norm": 1.75,
      "learning_rate": 0.00041763559322033903,
      "loss": 3.867303466796875,
      "step": 10720
    },
    {
      "epoch": 0.3575,
      "grad_norm": 1.671875,
      "learning_rate": 0.0004175932203389831,
      "loss": 3.539331817626953,
      "step": 10725
    },
    {
      "epoch": 0.3576666666666667,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0004175508474576271,
      "loss": 3.7592327117919924,
      "step": 10730
    },
    {
      "epoch": 0.35783333333333334,
      "grad_norm": 1.546875,
      "learning_rate": 0.00041750847457627116,
      "loss": 3.62628059387207,
      "step": 10735
    },
    {
      "epoch": 0.358,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00041746610169491526,
      "loss": 3.200115966796875,
      "step": 10740
    },
    {
      "epoch": 0.3581666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00041742372881355935,
      "loss": 4.04496955871582,
      "step": 10745
    },
    {
      "epoch": 0.35833333333333334,
      "grad_norm": 1.9765625,
      "learning_rate": 0.0004173813559322034,
      "loss": 3.91923828125,
      "step": 10750
    },
    {
      "epoch": 0.3585,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00041733898305084744,
      "loss": 4.069180297851562,
      "step": 10755
    },
    {
      "epoch": 0.3586666666666667,
      "grad_norm": 1.625,
      "learning_rate": 0.00041729661016949154,
      "loss": 3.9508636474609373,
      "step": 10760
    },
    {
      "epoch": 0.35883333333333334,
      "grad_norm": 1.3828125,
      "learning_rate": 0.00041725423728813563,
      "loss": 3.5871261596679687,
      "step": 10765
    },
    {
      "epoch": 0.359,
      "grad_norm": 2.046875,
      "learning_rate": 0.0004172118644067797,
      "loss": 4.525486755371094,
      "step": 10770
    },
    {
      "epoch": 0.3591666666666667,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004171694915254237,
      "loss": 4.2162517547607425,
      "step": 10775
    },
    {
      "epoch": 0.35933333333333334,
      "grad_norm": 2.265625,
      "learning_rate": 0.0004171271186440678,
      "loss": 4.6466930389404295,
      "step": 10780
    },
    {
      "epoch": 0.3595,
      "grad_norm": 2.796875,
      "learning_rate": 0.00041708474576271186,
      "loss": 3.686176300048828,
      "step": 10785
    },
    {
      "epoch": 0.3596666666666667,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00041704237288135596,
      "loss": 3.4629791259765623,
      "step": 10790
    },
    {
      "epoch": 0.35983333333333334,
      "grad_norm": 1.859375,
      "learning_rate": 0.000417,
      "loss": 3.141194725036621,
      "step": 10795
    },
    {
      "epoch": 0.36,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004169576271186441,
      "loss": 4.38172721862793,
      "step": 10800
    },
    {
      "epoch": 0.3601666666666667,
      "grad_norm": 1.3125,
      "learning_rate": 0.00041691525423728814,
      "loss": 4.080543899536133,
      "step": 10805
    },
    {
      "epoch": 0.36033333333333334,
      "grad_norm": 1.546875,
      "learning_rate": 0.00041687288135593224,
      "loss": 3.7411155700683594,
      "step": 10810
    },
    {
      "epoch": 0.3605,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0004168305084745763,
      "loss": 4.048637771606446,
      "step": 10815
    },
    {
      "epoch": 0.3606666666666667,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004167881355932204,
      "loss": 4.149485778808594,
      "step": 10820
    },
    {
      "epoch": 0.36083333333333334,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004167457627118644,
      "loss": 4.274885559082032,
      "step": 10825
    },
    {
      "epoch": 0.361,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00041670338983050846,
      "loss": 3.9489418029785157,
      "step": 10830
    },
    {
      "epoch": 0.3611666666666667,
      "grad_norm": 1.4375,
      "learning_rate": 0.00041666101694915256,
      "loss": 4.083398056030274,
      "step": 10835
    },
    {
      "epoch": 0.36133333333333334,
      "grad_norm": 2.171875,
      "learning_rate": 0.0004166186440677966,
      "loss": 4.275113677978515,
      "step": 10840
    },
    {
      "epoch": 0.3615,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0004165762711864407,
      "loss": 4.735693359375,
      "step": 10845
    },
    {
      "epoch": 0.3616666666666667,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00041653389830508474,
      "loss": 4.530021667480469,
      "step": 10850
    },
    {
      "epoch": 0.36183333333333334,
      "grad_norm": 1.546875,
      "learning_rate": 0.00041649152542372884,
      "loss": 3.5480812072753904,
      "step": 10855
    },
    {
      "epoch": 0.362,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0004164491525423729,
      "loss": 4.089542388916016,
      "step": 10860
    },
    {
      "epoch": 0.3621666666666667,
      "grad_norm": 2.875,
      "learning_rate": 0.000416406779661017,
      "loss": 3.2918331146240236,
      "step": 10865
    },
    {
      "epoch": 0.36233333333333334,
      "grad_norm": 1.796875,
      "learning_rate": 0.000416364406779661,
      "loss": 4.502339935302734,
      "step": 10870
    },
    {
      "epoch": 0.3625,
      "grad_norm": 2.328125,
      "learning_rate": 0.00041632203389830506,
      "loss": 3.9796234130859376,
      "step": 10875
    },
    {
      "epoch": 0.3626666666666667,
      "grad_norm": 1.5,
      "learning_rate": 0.00041627966101694916,
      "loss": 3.385681915283203,
      "step": 10880
    },
    {
      "epoch": 0.36283333333333334,
      "grad_norm": 1.828125,
      "learning_rate": 0.00041623728813559326,
      "loss": 4.043375396728516,
      "step": 10885
    },
    {
      "epoch": 0.363,
      "grad_norm": 1.5,
      "learning_rate": 0.0004161949152542373,
      "loss": 4.173665618896484,
      "step": 10890
    },
    {
      "epoch": 0.3631666666666667,
      "grad_norm": 2.21875,
      "learning_rate": 0.00041615254237288134,
      "loss": 3.722198486328125,
      "step": 10895
    },
    {
      "epoch": 0.36333333333333334,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00041611016949152544,
      "loss": 3.951776885986328,
      "step": 10900
    },
    {
      "epoch": 0.3635,
      "grad_norm": 1.453125,
      "learning_rate": 0.00041606779661016954,
      "loss": 3.6600311279296873,
      "step": 10905
    },
    {
      "epoch": 0.3636666666666667,
      "grad_norm": 1.65625,
      "learning_rate": 0.0004160254237288136,
      "loss": 3.440959167480469,
      "step": 10910
    },
    {
      "epoch": 0.36383333333333334,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004159830508474576,
      "loss": 4.453776550292969,
      "step": 10915
    },
    {
      "epoch": 0.364,
      "grad_norm": 1.671875,
      "learning_rate": 0.00041594067796610167,
      "loss": 3.104430389404297,
      "step": 10920
    },
    {
      "epoch": 0.3641666666666667,
      "grad_norm": 2.578125,
      "learning_rate": 0.0004158983050847458,
      "loss": 3.985213851928711,
      "step": 10925
    },
    {
      "epoch": 0.36433333333333334,
      "grad_norm": 3.046875,
      "learning_rate": 0.00041585593220338986,
      "loss": 4.414210510253906,
      "step": 10930
    },
    {
      "epoch": 0.3645,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0004158135593220339,
      "loss": 4.0729835510253904,
      "step": 10935
    },
    {
      "epoch": 0.36466666666666664,
      "grad_norm": 2.015625,
      "learning_rate": 0.00041577118644067795,
      "loss": 3.688738250732422,
      "step": 10940
    },
    {
      "epoch": 0.36483333333333334,
      "grad_norm": 1.7265625,
      "learning_rate": 0.000415728813559322,
      "loss": 4.297626876831055,
      "step": 10945
    },
    {
      "epoch": 0.365,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00041568644067796614,
      "loss": 3.911551666259766,
      "step": 10950
    },
    {
      "epoch": 0.36516666666666664,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0004156440677966102,
      "loss": 3.7131931304931642,
      "step": 10955
    },
    {
      "epoch": 0.36533333333333334,
      "grad_norm": 1.859375,
      "learning_rate": 0.0004156016949152542,
      "loss": 4.242141342163086,
      "step": 10960
    },
    {
      "epoch": 0.3655,
      "grad_norm": 1.2421875,
      "learning_rate": 0.00041555932203389827,
      "loss": 3.3243896484375,
      "step": 10965
    },
    {
      "epoch": 0.36566666666666664,
      "grad_norm": 1.1875,
      "learning_rate": 0.0004155169491525424,
      "loss": 3.8628997802734375,
      "step": 10970
    },
    {
      "epoch": 0.36583333333333334,
      "grad_norm": 1.59375,
      "learning_rate": 0.00041547457627118646,
      "loss": 4.5991371154785154,
      "step": 10975
    },
    {
      "epoch": 0.366,
      "grad_norm": 1.21875,
      "learning_rate": 0.0004154322033898305,
      "loss": 3.9690643310546876,
      "step": 10980
    },
    {
      "epoch": 0.36616666666666664,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00041538983050847455,
      "loss": 4.3357189178466795,
      "step": 10985
    },
    {
      "epoch": 0.36633333333333334,
      "grad_norm": 1.640625,
      "learning_rate": 0.0004153474576271187,
      "loss": 4.170735168457031,
      "step": 10990
    },
    {
      "epoch": 0.3665,
      "grad_norm": 1.671875,
      "learning_rate": 0.00041530508474576274,
      "loss": 4.253805541992188,
      "step": 10995
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 1.53125,
      "learning_rate": 0.0004152627118644068,
      "loss": 4.168140411376953,
      "step": 11000
    },
    {
      "epoch": 0.36683333333333334,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00041522033898305083,
      "loss": 4.35360107421875,
      "step": 11005
    },
    {
      "epoch": 0.367,
      "grad_norm": 2.59375,
      "learning_rate": 0.0004151779661016949,
      "loss": 3.6530662536621095,
      "step": 11010
    },
    {
      "epoch": 0.36716666666666664,
      "grad_norm": 2.015625,
      "learning_rate": 0.000415135593220339,
      "loss": 4.290387344360352,
      "step": 11015
    },
    {
      "epoch": 0.36733333333333335,
      "grad_norm": 2.03125,
      "learning_rate": 0.00041509322033898307,
      "loss": 4.228424072265625,
      "step": 11020
    },
    {
      "epoch": 0.3675,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004150508474576271,
      "loss": 4.189073181152343,
      "step": 11025
    },
    {
      "epoch": 0.36766666666666664,
      "grad_norm": 3.40625,
      "learning_rate": 0.0004150084745762712,
      "loss": 3.6968547821044924,
      "step": 11030
    },
    {
      "epoch": 0.36783333333333335,
      "grad_norm": 2.53125,
      "learning_rate": 0.0004149661016949153,
      "loss": 4.258089828491211,
      "step": 11035
    },
    {
      "epoch": 0.368,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00041492372881355935,
      "loss": 4.010113906860352,
      "step": 11040
    },
    {
      "epoch": 0.36816666666666664,
      "grad_norm": 1.6875,
      "learning_rate": 0.0004148813559322034,
      "loss": 4.1937255859375,
      "step": 11045
    },
    {
      "epoch": 0.36833333333333335,
      "grad_norm": 1.9921875,
      "learning_rate": 0.00041483898305084743,
      "loss": 3.578778076171875,
      "step": 11050
    },
    {
      "epoch": 0.3685,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00041479661016949153,
      "loss": 4.002401733398438,
      "step": 11055
    },
    {
      "epoch": 0.36866666666666664,
      "grad_norm": 2.21875,
      "learning_rate": 0.0004147542372881356,
      "loss": 3.986455535888672,
      "step": 11060
    },
    {
      "epoch": 0.36883333333333335,
      "grad_norm": 1.890625,
      "learning_rate": 0.00041471186440677967,
      "loss": 4.355114364624024,
      "step": 11065
    },
    {
      "epoch": 0.369,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0004146694915254237,
      "loss": 3.8199161529541015,
      "step": 11070
    },
    {
      "epoch": 0.36916666666666664,
      "grad_norm": 2.15625,
      "learning_rate": 0.0004146271186440678,
      "loss": 3.8257266998291017,
      "step": 11075
    },
    {
      "epoch": 0.36933333333333335,
      "grad_norm": 2.765625,
      "learning_rate": 0.00041458474576271185,
      "loss": 3.983765411376953,
      "step": 11080
    },
    {
      "epoch": 0.3695,
      "grad_norm": 1.8125,
      "learning_rate": 0.00041454237288135595,
      "loss": 3.9551921844482423,
      "step": 11085
    },
    {
      "epoch": 0.36966666666666664,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0004145,
      "loss": 3.8095462799072264,
      "step": 11090
    },
    {
      "epoch": 0.36983333333333335,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004144576271186441,
      "loss": 3.8125679016113283,
      "step": 11095
    },
    {
      "epoch": 0.37,
      "grad_norm": 1.71875,
      "learning_rate": 0.00041441525423728813,
      "loss": 3.961054229736328,
      "step": 11100
    },
    {
      "epoch": 0.37016666666666664,
      "grad_norm": 2.015625,
      "learning_rate": 0.00041437288135593223,
      "loss": 4.0866859436035154,
      "step": 11105
    },
    {
      "epoch": 0.37033333333333335,
      "grad_norm": 2.03125,
      "learning_rate": 0.00041433050847457627,
      "loss": 4.374324798583984,
      "step": 11110
    },
    {
      "epoch": 0.3705,
      "grad_norm": 1.3671875,
      "learning_rate": 0.00041428813559322037,
      "loss": 3.6811569213867186,
      "step": 11115
    },
    {
      "epoch": 0.37066666666666664,
      "grad_norm": 1.546875,
      "learning_rate": 0.0004142457627118644,
      "loss": 4.634083938598633,
      "step": 11120
    },
    {
      "epoch": 0.37083333333333335,
      "grad_norm": 1.2109375,
      "learning_rate": 0.00041420338983050845,
      "loss": 4.0484966278076175,
      "step": 11125
    },
    {
      "epoch": 0.371,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00041416101694915255,
      "loss": 4.274098968505859,
      "step": 11130
    },
    {
      "epoch": 0.37116666666666664,
      "grad_norm": 1.59375,
      "learning_rate": 0.00041411864406779665,
      "loss": 4.410151672363281,
      "step": 11135
    },
    {
      "epoch": 0.37133333333333335,
      "grad_norm": 1.75,
      "learning_rate": 0.0004140762711864407,
      "loss": 4.49701156616211,
      "step": 11140
    },
    {
      "epoch": 0.3715,
      "grad_norm": 1.4921875,
      "learning_rate": 0.00041403389830508473,
      "loss": 4.808501434326172,
      "step": 11145
    },
    {
      "epoch": 0.37166666666666665,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00041399152542372883,
      "loss": 4.539212036132812,
      "step": 11150
    },
    {
      "epoch": 0.37183333333333335,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004139491525423729,
      "loss": 4.569054412841797,
      "step": 11155
    },
    {
      "epoch": 0.372,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00041390677966101697,
      "loss": 4.462704086303711,
      "step": 11160
    },
    {
      "epoch": 0.37216666666666665,
      "grad_norm": 1.0390625,
      "learning_rate": 0.000413864406779661,
      "loss": 3.2793846130371094,
      "step": 11165
    },
    {
      "epoch": 0.37233333333333335,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00041382203389830506,
      "loss": 3.9127315521240233,
      "step": 11170
    },
    {
      "epoch": 0.3725,
      "grad_norm": 2.390625,
      "learning_rate": 0.00041377966101694915,
      "loss": 4.619205474853516,
      "step": 11175
    },
    {
      "epoch": 0.37266666666666665,
      "grad_norm": 1.8125,
      "learning_rate": 0.00041373728813559325,
      "loss": 3.0882577896118164,
      "step": 11180
    },
    {
      "epoch": 0.37283333333333335,
      "grad_norm": 2.6875,
      "learning_rate": 0.0004136949152542373,
      "loss": 4.690837097167969,
      "step": 11185
    },
    {
      "epoch": 0.373,
      "grad_norm": 7.0625,
      "learning_rate": 0.00041365254237288134,
      "loss": 3.862230682373047,
      "step": 11190
    },
    {
      "epoch": 0.37316666666666665,
      "grad_norm": 2.09375,
      "learning_rate": 0.00041361016949152543,
      "loss": 4.158457183837891,
      "step": 11195
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 1.328125,
      "learning_rate": 0.00041356779661016953,
      "loss": 3.8578006744384767,
      "step": 11200
    },
    {
      "epoch": 0.3735,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0004135254237288136,
      "loss": 3.4599952697753906,
      "step": 11205
    },
    {
      "epoch": 0.37366666666666665,
      "grad_norm": 1.2578125,
      "learning_rate": 0.0004134830508474576,
      "loss": 3.4658668518066404,
      "step": 11210
    },
    {
      "epoch": 0.37383333333333335,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00041344067796610166,
      "loss": 4.2141975402832035,
      "step": 11215
    },
    {
      "epoch": 0.374,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0004133983050847458,
      "loss": 4.5968177795410154,
      "step": 11220
    },
    {
      "epoch": 0.37416666666666665,
      "grad_norm": 6.25,
      "learning_rate": 0.00041335593220338985,
      "loss": 4.2700553894042965,
      "step": 11225
    },
    {
      "epoch": 0.37433333333333335,
      "grad_norm": 1.484375,
      "learning_rate": 0.0004133135593220339,
      "loss": 4.216439056396484,
      "step": 11230
    },
    {
      "epoch": 0.3745,
      "grad_norm": 1.8125,
      "learning_rate": 0.00041327118644067794,
      "loss": 4.142094421386719,
      "step": 11235
    },
    {
      "epoch": 0.37466666666666665,
      "grad_norm": 2.0625,
      "learning_rate": 0.0004132288135593221,
      "loss": 4.178572463989258,
      "step": 11240
    },
    {
      "epoch": 0.37483333333333335,
      "grad_norm": 2.0625,
      "learning_rate": 0.00041318644067796613,
      "loss": 4.316022109985352,
      "step": 11245
    },
    {
      "epoch": 0.375,
      "grad_norm": 2.296875,
      "learning_rate": 0.0004131440677966102,
      "loss": 3.654621887207031,
      "step": 11250
    },
    {
      "epoch": 0.37516666666666665,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0004131016949152542,
      "loss": 4.578087234497071,
      "step": 11255
    },
    {
      "epoch": 0.37533333333333335,
      "grad_norm": 2.578125,
      "learning_rate": 0.00041305932203389826,
      "loss": 3.737593078613281,
      "step": 11260
    },
    {
      "epoch": 0.3755,
      "grad_norm": 1.9375,
      "learning_rate": 0.0004130169491525424,
      "loss": 3.9394149780273438,
      "step": 11265
    },
    {
      "epoch": 0.37566666666666665,
      "grad_norm": 1.609375,
      "learning_rate": 0.00041297457627118646,
      "loss": 4.410923767089844,
      "step": 11270
    },
    {
      "epoch": 0.37583333333333335,
      "grad_norm": 1.6875,
      "learning_rate": 0.0004129322033898305,
      "loss": 3.563360595703125,
      "step": 11275
    },
    {
      "epoch": 0.376,
      "grad_norm": 2.03125,
      "learning_rate": 0.00041288983050847454,
      "loss": 4.39913330078125,
      "step": 11280
    },
    {
      "epoch": 0.37616666666666665,
      "grad_norm": 2.5625,
      "learning_rate": 0.0004128474576271187,
      "loss": 3.8905662536621093,
      "step": 11285
    },
    {
      "epoch": 0.37633333333333335,
      "grad_norm": 2.09375,
      "learning_rate": 0.00041280508474576274,
      "loss": 4.079354095458984,
      "step": 11290
    },
    {
      "epoch": 0.3765,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004127627118644068,
      "loss": 3.978800964355469,
      "step": 11295
    },
    {
      "epoch": 0.37666666666666665,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004127203389830508,
      "loss": 3.390254592895508,
      "step": 11300
    },
    {
      "epoch": 0.37683333333333335,
      "grad_norm": 4.375,
      "learning_rate": 0.0004126779661016949,
      "loss": 4.618628311157226,
      "step": 11305
    },
    {
      "epoch": 0.377,
      "grad_norm": 2.140625,
      "learning_rate": 0.000412635593220339,
      "loss": 4.330887222290039,
      "step": 11310
    },
    {
      "epoch": 0.37716666666666665,
      "grad_norm": 1.9453125,
      "learning_rate": 0.00041259322033898306,
      "loss": 3.8906951904296876,
      "step": 11315
    },
    {
      "epoch": 0.37733333333333335,
      "grad_norm": 1.78125,
      "learning_rate": 0.0004125508474576271,
      "loss": 4.290811538696289,
      "step": 11320
    },
    {
      "epoch": 0.3775,
      "grad_norm": 1.53125,
      "learning_rate": 0.0004125084745762712,
      "loss": 4.069655990600586,
      "step": 11325
    },
    {
      "epoch": 0.37766666666666665,
      "grad_norm": 1.890625,
      "learning_rate": 0.0004124661016949153,
      "loss": 3.8620071411132812,
      "step": 11330
    },
    {
      "epoch": 0.37783333333333335,
      "grad_norm": 3.140625,
      "learning_rate": 0.00041242372881355934,
      "loss": 3.8845439910888673,
      "step": 11335
    },
    {
      "epoch": 0.378,
      "grad_norm": 1.859375,
      "learning_rate": 0.0004123813559322034,
      "loss": 4.490467071533203,
      "step": 11340
    },
    {
      "epoch": 0.37816666666666665,
      "grad_norm": 1.125,
      "learning_rate": 0.0004123389830508475,
      "loss": 3.112936019897461,
      "step": 11345
    },
    {
      "epoch": 0.37833333333333335,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0004122966101694915,
      "loss": 3.862924575805664,
      "step": 11350
    },
    {
      "epoch": 0.3785,
      "grad_norm": 3.078125,
      "learning_rate": 0.0004122542372881356,
      "loss": 3.9997329711914062,
      "step": 11355
    },
    {
      "epoch": 0.37866666666666665,
      "grad_norm": 2.0,
      "learning_rate": 0.00041221186440677966,
      "loss": 3.7928020477294924,
      "step": 11360
    },
    {
      "epoch": 0.37883333333333336,
      "grad_norm": 1.890625,
      "learning_rate": 0.0004121694915254237,
      "loss": 3.889337158203125,
      "step": 11365
    },
    {
      "epoch": 0.379,
      "grad_norm": 2.203125,
      "learning_rate": 0.0004121271186440678,
      "loss": 4.084224700927734,
      "step": 11370
    },
    {
      "epoch": 0.37916666666666665,
      "grad_norm": 1.25,
      "learning_rate": 0.0004120847457627119,
      "loss": 4.001006317138672,
      "step": 11375
    },
    {
      "epoch": 0.37933333333333336,
      "grad_norm": 1.78125,
      "learning_rate": 0.00041204237288135594,
      "loss": 3.9796680450439452,
      "step": 11380
    },
    {
      "epoch": 0.3795,
      "grad_norm": 1.9453125,
      "learning_rate": 0.000412,
      "loss": 4.548108673095703,
      "step": 11385
    },
    {
      "epoch": 0.37966666666666665,
      "grad_norm": 1.65625,
      "learning_rate": 0.0004119576271186441,
      "loss": 4.461821365356445,
      "step": 11390
    },
    {
      "epoch": 0.37983333333333336,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004119152542372881,
      "loss": 3.601032257080078,
      "step": 11395
    },
    {
      "epoch": 0.38,
      "grad_norm": 1.9375,
      "learning_rate": 0.0004118728813559322,
      "loss": 3.9486763000488283,
      "step": 11400
    },
    {
      "epoch": 0.38016666666666665,
      "grad_norm": 1.3125,
      "learning_rate": 0.00041183050847457627,
      "loss": 4.243050384521484,
      "step": 11405
    },
    {
      "epoch": 0.38033333333333336,
      "grad_norm": 1.296875,
      "learning_rate": 0.00041178813559322036,
      "loss": 3.3096996307373048,
      "step": 11410
    },
    {
      "epoch": 0.3805,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0004117457627118644,
      "loss": 3.705181884765625,
      "step": 11415
    },
    {
      "epoch": 0.38066666666666665,
      "grad_norm": 1.2578125,
      "learning_rate": 0.0004117033898305085,
      "loss": 3.854331207275391,
      "step": 11420
    },
    {
      "epoch": 0.38083333333333336,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00041166101694915255,
      "loss": 4.120421600341797,
      "step": 11425
    },
    {
      "epoch": 0.381,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00041161864406779664,
      "loss": 4.383932495117188,
      "step": 11430
    },
    {
      "epoch": 0.38116666666666665,
      "grad_norm": 1.6875,
      "learning_rate": 0.0004115762711864407,
      "loss": 3.9342121124267577,
      "step": 11435
    },
    {
      "epoch": 0.38133333333333336,
      "grad_norm": 1.140625,
      "learning_rate": 0.00041153389830508473,
      "loss": 4.087710952758789,
      "step": 11440
    },
    {
      "epoch": 0.3815,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0004114915254237288,
      "loss": 4.165072631835938,
      "step": 11445
    },
    {
      "epoch": 0.38166666666666665,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0004114491525423729,
      "loss": 4.555335235595703,
      "step": 11450
    },
    {
      "epoch": 0.38183333333333336,
      "grad_norm": 2.0,
      "learning_rate": 0.00041140677966101697,
      "loss": 4.502786254882812,
      "step": 11455
    },
    {
      "epoch": 0.382,
      "grad_norm": 2.296875,
      "learning_rate": 0.000411364406779661,
      "loss": 3.763864517211914,
      "step": 11460
    },
    {
      "epoch": 0.38216666666666665,
      "grad_norm": 1.1015625,
      "learning_rate": 0.0004113220338983051,
      "loss": 4.046508026123047,
      "step": 11465
    },
    {
      "epoch": 0.38233333333333336,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00041127966101694915,
      "loss": 4.2855384826660154,
      "step": 11470
    },
    {
      "epoch": 0.3825,
      "grad_norm": 1.3359375,
      "learning_rate": 0.00041123728813559325,
      "loss": 2.8779903411865235,
      "step": 11475
    },
    {
      "epoch": 0.38266666666666665,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0004111949152542373,
      "loss": 4.641804504394531,
      "step": 11480
    },
    {
      "epoch": 0.38283333333333336,
      "grad_norm": 2.015625,
      "learning_rate": 0.00041115254237288133,
      "loss": 3.7303958892822267,
      "step": 11485
    },
    {
      "epoch": 0.383,
      "grad_norm": 2.734375,
      "learning_rate": 0.00041111016949152543,
      "loss": 3.7014934539794924,
      "step": 11490
    },
    {
      "epoch": 0.38316666666666666,
      "grad_norm": 1.2421875,
      "learning_rate": 0.0004110677966101695,
      "loss": 4.1045074462890625,
      "step": 11495
    },
    {
      "epoch": 0.38333333333333336,
      "grad_norm": 1.9140625,
      "learning_rate": 0.00041102542372881357,
      "loss": 3.8970615386962892,
      "step": 11500
    },
    {
      "epoch": 0.3835,
      "grad_norm": 1.53125,
      "learning_rate": 0.0004109830508474576,
      "loss": 4.2704517364501955,
      "step": 11505
    },
    {
      "epoch": 0.38366666666666666,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0004109406779661017,
      "loss": 4.4364501953125,
      "step": 11510
    },
    {
      "epoch": 0.38383333333333336,
      "grad_norm": 2.375,
      "learning_rate": 0.0004108983050847458,
      "loss": 3.491773223876953,
      "step": 11515
    },
    {
      "epoch": 0.384,
      "grad_norm": 1.5,
      "learning_rate": 0.00041085593220338985,
      "loss": 3.6961444854736327,
      "step": 11520
    },
    {
      "epoch": 0.38416666666666666,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0004108135593220339,
      "loss": 3.8398284912109375,
      "step": 11525
    },
    {
      "epoch": 0.38433333333333336,
      "grad_norm": 1.765625,
      "learning_rate": 0.00041077118644067793,
      "loss": 4.167393493652344,
      "step": 11530
    },
    {
      "epoch": 0.3845,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004107288135593221,
      "loss": 4.0863903045654295,
      "step": 11535
    },
    {
      "epoch": 0.38466666666666666,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00041068644067796613,
      "loss": 4.2046051025390625,
      "step": 11540
    },
    {
      "epoch": 0.38483333333333336,
      "grad_norm": 2.046875,
      "learning_rate": 0.00041064406779661017,
      "loss": 4.092191314697265,
      "step": 11545
    },
    {
      "epoch": 0.385,
      "grad_norm": 1.921875,
      "learning_rate": 0.0004106016949152542,
      "loss": 4.333869934082031,
      "step": 11550
    },
    {
      "epoch": 0.38516666666666666,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004105593220338983,
      "loss": 4.433630752563476,
      "step": 11555
    },
    {
      "epoch": 0.38533333333333336,
      "grad_norm": 2.21875,
      "learning_rate": 0.0004105169491525424,
      "loss": 3.961640548706055,
      "step": 11560
    },
    {
      "epoch": 0.3855,
      "grad_norm": 2.625,
      "learning_rate": 0.00041047457627118645,
      "loss": 4.722245788574218,
      "step": 11565
    },
    {
      "epoch": 0.38566666666666666,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004104322033898305,
      "loss": 4.032260131835938,
      "step": 11570
    },
    {
      "epoch": 0.3858333333333333,
      "grad_norm": 2.953125,
      "learning_rate": 0.00041038983050847454,
      "loss": 3.4673484802246093,
      "step": 11575
    },
    {
      "epoch": 0.386,
      "grad_norm": 1.796875,
      "learning_rate": 0.0004103474576271187,
      "loss": 3.845838928222656,
      "step": 11580
    },
    {
      "epoch": 0.38616666666666666,
      "grad_norm": 1.40625,
      "learning_rate": 0.00041030508474576273,
      "loss": 4.0969398498535154,
      "step": 11585
    },
    {
      "epoch": 0.3863333333333333,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0004102627118644068,
      "loss": 4.068998336791992,
      "step": 11590
    },
    {
      "epoch": 0.3865,
      "grad_norm": 2.28125,
      "learning_rate": 0.0004102203389830508,
      "loss": 3.1238733291625977,
      "step": 11595
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 6.8125,
      "learning_rate": 0.00041017796610169497,
      "loss": 3.984793472290039,
      "step": 11600
    },
    {
      "epoch": 0.3868333333333333,
      "grad_norm": 1.7265625,
      "learning_rate": 0.000410135593220339,
      "loss": 4.6228282928466795,
      "step": 11605
    },
    {
      "epoch": 0.387,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00041009322033898305,
      "loss": 3.815278244018555,
      "step": 11610
    },
    {
      "epoch": 0.38716666666666666,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0004100508474576271,
      "loss": 3.964396286010742,
      "step": 11615
    },
    {
      "epoch": 0.3873333333333333,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004100084745762712,
      "loss": 3.4183082580566406,
      "step": 11620
    },
    {
      "epoch": 0.3875,
      "grad_norm": 1.703125,
      "learning_rate": 0.0004099661016949153,
      "loss": 4.222054290771484,
      "step": 11625
    },
    {
      "epoch": 0.38766666666666666,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00040992372881355933,
      "loss": 3.2953475952148437,
      "step": 11630
    },
    {
      "epoch": 0.3878333333333333,
      "grad_norm": 2.390625,
      "learning_rate": 0.0004098813559322034,
      "loss": 4.6220134735107425,
      "step": 11635
    },
    {
      "epoch": 0.388,
      "grad_norm": 1.46875,
      "learning_rate": 0.0004098389830508475,
      "loss": 4.155901336669922,
      "step": 11640
    },
    {
      "epoch": 0.38816666666666666,
      "grad_norm": 1.65625,
      "learning_rate": 0.00040979661016949157,
      "loss": 4.733251953125,
      "step": 11645
    },
    {
      "epoch": 0.3883333333333333,
      "grad_norm": 2.078125,
      "learning_rate": 0.0004097542372881356,
      "loss": 3.9095176696777343,
      "step": 11650
    },
    {
      "epoch": 0.3885,
      "grad_norm": 1.1796875,
      "learning_rate": 0.00040971186440677966,
      "loss": 3.0968761444091797,
      "step": 11655
    },
    {
      "epoch": 0.38866666666666666,
      "grad_norm": 2.28125,
      "learning_rate": 0.0004096694915254237,
      "loss": 4.615852355957031,
      "step": 11660
    },
    {
      "epoch": 0.3888333333333333,
      "grad_norm": 1.734375,
      "learning_rate": 0.0004096271186440678,
      "loss": 4.140027618408203,
      "step": 11665
    },
    {
      "epoch": 0.389,
      "grad_norm": 2.171875,
      "learning_rate": 0.0004095847457627119,
      "loss": 4.1192981719970705,
      "step": 11670
    },
    {
      "epoch": 0.38916666666666666,
      "grad_norm": 1.578125,
      "learning_rate": 0.00040954237288135594,
      "loss": 3.5559722900390627,
      "step": 11675
    },
    {
      "epoch": 0.3893333333333333,
      "grad_norm": 1.734375,
      "learning_rate": 0.0004095,
      "loss": 4.46180419921875,
      "step": 11680
    },
    {
      "epoch": 0.3895,
      "grad_norm": 1.453125,
      "learning_rate": 0.0004094576271186441,
      "loss": 4.1475166320800785,
      "step": 11685
    },
    {
      "epoch": 0.38966666666666666,
      "grad_norm": 1.53125,
      "learning_rate": 0.0004094152542372882,
      "loss": 4.452436065673828,
      "step": 11690
    },
    {
      "epoch": 0.3898333333333333,
      "grad_norm": 1.703125,
      "learning_rate": 0.0004093728813559322,
      "loss": 3.6155521392822267,
      "step": 11695
    },
    {
      "epoch": 0.39,
      "grad_norm": 1.9140625,
      "learning_rate": 0.00040933050847457626,
      "loss": 4.727262496948242,
      "step": 11700
    },
    {
      "epoch": 0.39016666666666666,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00040928813559322036,
      "loss": 4.626178741455078,
      "step": 11705
    },
    {
      "epoch": 0.3903333333333333,
      "grad_norm": 1.3515625,
      "learning_rate": 0.0004092457627118644,
      "loss": 3.229345703125,
      "step": 11710
    },
    {
      "epoch": 0.3905,
      "grad_norm": 1.53125,
      "learning_rate": 0.0004092033898305085,
      "loss": 4.356355667114258,
      "step": 11715
    },
    {
      "epoch": 0.39066666666666666,
      "grad_norm": 2.796875,
      "learning_rate": 0.00040916101694915254,
      "loss": 3.5533679962158202,
      "step": 11720
    },
    {
      "epoch": 0.3908333333333333,
      "grad_norm": 2.046875,
      "learning_rate": 0.00040911864406779664,
      "loss": 3.5273578643798826,
      "step": 11725
    },
    {
      "epoch": 0.391,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004090762711864407,
      "loss": 3.990529251098633,
      "step": 11730
    },
    {
      "epoch": 0.39116666666666666,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0004090338983050848,
      "loss": 4.144524765014649,
      "step": 11735
    },
    {
      "epoch": 0.3913333333333333,
      "grad_norm": 1.65625,
      "learning_rate": 0.0004089915254237288,
      "loss": 4.6092781066894535,
      "step": 11740
    },
    {
      "epoch": 0.3915,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004089491525423729,
      "loss": 3.764965057373047,
      "step": 11745
    },
    {
      "epoch": 0.39166666666666666,
      "grad_norm": 1.3828125,
      "learning_rate": 0.00040890677966101696,
      "loss": 3.825241470336914,
      "step": 11750
    },
    {
      "epoch": 0.3918333333333333,
      "grad_norm": 1.8046875,
      "learning_rate": 0.000408864406779661,
      "loss": 3.8228595733642576,
      "step": 11755
    },
    {
      "epoch": 0.392,
      "grad_norm": 4.34375,
      "learning_rate": 0.0004088220338983051,
      "loss": 4.259490203857422,
      "step": 11760
    },
    {
      "epoch": 0.39216666666666666,
      "grad_norm": 1.75,
      "learning_rate": 0.00040877966101694914,
      "loss": 4.503085327148438,
      "step": 11765
    },
    {
      "epoch": 0.3923333333333333,
      "grad_norm": 1.3046875,
      "learning_rate": 0.00040873728813559324,
      "loss": 3.215361404418945,
      "step": 11770
    },
    {
      "epoch": 0.3925,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0004086949152542373,
      "loss": 3.9540687561035157,
      "step": 11775
    },
    {
      "epoch": 0.39266666666666666,
      "grad_norm": 1.984375,
      "learning_rate": 0.0004086525423728814,
      "loss": 3.9243778228759765,
      "step": 11780
    },
    {
      "epoch": 0.3928333333333333,
      "grad_norm": 1.921875,
      "learning_rate": 0.0004086101694915254,
      "loss": 3.4322296142578126,
      "step": 11785
    },
    {
      "epoch": 0.393,
      "grad_norm": 1.890625,
      "learning_rate": 0.0004085677966101695,
      "loss": 3.98865966796875,
      "step": 11790
    },
    {
      "epoch": 0.39316666666666666,
      "grad_norm": 2.078125,
      "learning_rate": 0.00040852542372881356,
      "loss": 4.4292655944824215,
      "step": 11795
    },
    {
      "epoch": 0.3933333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004084830508474576,
      "loss": 3.856053924560547,
      "step": 11800
    },
    {
      "epoch": 0.3935,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004084406779661017,
      "loss": 3.185360908508301,
      "step": 11805
    },
    {
      "epoch": 0.39366666666666666,
      "grad_norm": 2.125,
      "learning_rate": 0.0004083983050847458,
      "loss": 3.871018981933594,
      "step": 11810
    },
    {
      "epoch": 0.3938333333333333,
      "grad_norm": 1.90625,
      "learning_rate": 0.00040835593220338984,
      "loss": 4.629717254638672,
      "step": 11815
    },
    {
      "epoch": 0.394,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0004083135593220339,
      "loss": 3.6721290588378905,
      "step": 11820
    },
    {
      "epoch": 0.39416666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 0.000408271186440678,
      "loss": 3.138914680480957,
      "step": 11825
    },
    {
      "epoch": 0.3943333333333333,
      "grad_norm": 1.8125,
      "learning_rate": 0.0004082288135593221,
      "loss": 4.049919509887696,
      "step": 11830
    },
    {
      "epoch": 0.3945,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0004081864406779661,
      "loss": 2.999534034729004,
      "step": 11835
    },
    {
      "epoch": 0.39466666666666667,
      "grad_norm": 1.90625,
      "learning_rate": 0.00040814406779661016,
      "loss": 4.576311874389648,
      "step": 11840
    },
    {
      "epoch": 0.3948333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.0004081016949152542,
      "loss": 3.96614990234375,
      "step": 11845
    },
    {
      "epoch": 0.395,
      "grad_norm": 1.921875,
      "learning_rate": 0.00040805932203389836,
      "loss": 3.684712219238281,
      "step": 11850
    },
    {
      "epoch": 0.39516666666666667,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0004080169491525424,
      "loss": 4.345479583740234,
      "step": 11855
    },
    {
      "epoch": 0.3953333333333333,
      "grad_norm": 1.953125,
      "learning_rate": 0.00040797457627118644,
      "loss": 3.654636764526367,
      "step": 11860
    },
    {
      "epoch": 0.3955,
      "grad_norm": 2.3125,
      "learning_rate": 0.0004079322033898305,
      "loss": 3.992465591430664,
      "step": 11865
    },
    {
      "epoch": 0.39566666666666667,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0004078898305084746,
      "loss": 3.9567588806152343,
      "step": 11870
    },
    {
      "epoch": 0.3958333333333333,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0004078474576271187,
      "loss": 4.620283889770508,
      "step": 11875
    },
    {
      "epoch": 0.396,
      "grad_norm": 2.375,
      "learning_rate": 0.0004078050847457627,
      "loss": 3.978354644775391,
      "step": 11880
    },
    {
      "epoch": 0.39616666666666667,
      "grad_norm": 2.359375,
      "learning_rate": 0.00040776271186440677,
      "loss": 4.520118331909179,
      "step": 11885
    },
    {
      "epoch": 0.3963333333333333,
      "grad_norm": 1.625,
      "learning_rate": 0.0004077203389830508,
      "loss": 4.345665359497071,
      "step": 11890
    },
    {
      "epoch": 0.3965,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00040767796610169496,
      "loss": 4.354658126831055,
      "step": 11895
    },
    {
      "epoch": 0.39666666666666667,
      "grad_norm": 1.765625,
      "learning_rate": 0.000407635593220339,
      "loss": 4.73185920715332,
      "step": 11900
    },
    {
      "epoch": 0.3968333333333333,
      "grad_norm": 1.9921875,
      "learning_rate": 0.00040759322033898305,
      "loss": 3.9212368011474608,
      "step": 11905
    },
    {
      "epoch": 0.397,
      "grad_norm": 3.0,
      "learning_rate": 0.0004075508474576271,
      "loss": 3.836260223388672,
      "step": 11910
    },
    {
      "epoch": 0.39716666666666667,
      "grad_norm": 1.59375,
      "learning_rate": 0.00040750847457627124,
      "loss": 4.133537292480469,
      "step": 11915
    },
    {
      "epoch": 0.3973333333333333,
      "grad_norm": 1.4375,
      "learning_rate": 0.0004074661016949153,
      "loss": 4.083877182006836,
      "step": 11920
    },
    {
      "epoch": 0.3975,
      "grad_norm": 1.484375,
      "learning_rate": 0.0004074237288135593,
      "loss": 4.259208297729492,
      "step": 11925
    },
    {
      "epoch": 0.39766666666666667,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00040738135593220337,
      "loss": 4.663587951660157,
      "step": 11930
    },
    {
      "epoch": 0.3978333333333333,
      "grad_norm": 2.734375,
      "learning_rate": 0.00040733898305084747,
      "loss": 3.5443359375,
      "step": 11935
    },
    {
      "epoch": 0.398,
      "grad_norm": 1.9296875,
      "learning_rate": 0.00040729661016949156,
      "loss": 3.939950942993164,
      "step": 11940
    },
    {
      "epoch": 0.39816666666666667,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0004072542372881356,
      "loss": 4.377603149414062,
      "step": 11945
    },
    {
      "epoch": 0.3983333333333333,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00040721186440677965,
      "loss": 4.440716552734375,
      "step": 11950
    },
    {
      "epoch": 0.3985,
      "grad_norm": 1.703125,
      "learning_rate": 0.00040716949152542375,
      "loss": 2.975429725646973,
      "step": 11955
    },
    {
      "epoch": 0.39866666666666667,
      "grad_norm": 2.140625,
      "learning_rate": 0.00040712711864406784,
      "loss": 4.214969635009766,
      "step": 11960
    },
    {
      "epoch": 0.3988333333333333,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004070847457627119,
      "loss": 3.027565765380859,
      "step": 11965
    },
    {
      "epoch": 0.399,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00040704237288135593,
      "loss": 4.0592399597167965,
      "step": 11970
    },
    {
      "epoch": 0.39916666666666667,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00040699999999999997,
      "loss": 4.334445571899414,
      "step": 11975
    },
    {
      "epoch": 0.3993333333333333,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00040695762711864407,
      "loss": 4.425457000732422,
      "step": 11980
    },
    {
      "epoch": 0.3995,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00040691525423728817,
      "loss": 4.501967239379883,
      "step": 11985
    },
    {
      "epoch": 0.39966666666666667,
      "grad_norm": 3.796875,
      "learning_rate": 0.0004068728813559322,
      "loss": 4.174018096923828,
      "step": 11990
    },
    {
      "epoch": 0.3998333333333333,
      "grad_norm": 2.21875,
      "learning_rate": 0.00040683050847457625,
      "loss": 3.711444854736328,
      "step": 11995
    },
    {
      "epoch": 0.4,
      "grad_norm": 1.65625,
      "learning_rate": 0.00040678813559322035,
      "loss": 4.043008804321289,
      "step": 12000
    },
    {
      "epoch": 0.40016666666666667,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00040674576271186445,
      "loss": 4.471600723266602,
      "step": 12005
    },
    {
      "epoch": 0.4003333333333333,
      "grad_norm": 3.0625,
      "learning_rate": 0.0004067033898305085,
      "loss": 4.341834259033203,
      "step": 12010
    },
    {
      "epoch": 0.4005,
      "grad_norm": 1.53125,
      "learning_rate": 0.00040666101694915253,
      "loss": 3.943785858154297,
      "step": 12015
    },
    {
      "epoch": 0.40066666666666667,
      "grad_norm": 2.046875,
      "learning_rate": 0.00040661864406779663,
      "loss": 4.368488693237305,
      "step": 12020
    },
    {
      "epoch": 0.4008333333333333,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00040657627118644067,
      "loss": 4.156424713134766,
      "step": 12025
    },
    {
      "epoch": 0.401,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00040653389830508477,
      "loss": 3.884954071044922,
      "step": 12030
    },
    {
      "epoch": 0.40116666666666667,
      "grad_norm": 5.0,
      "learning_rate": 0.0004064915254237288,
      "loss": 3.814822769165039,
      "step": 12035
    },
    {
      "epoch": 0.4013333333333333,
      "grad_norm": 2.234375,
      "learning_rate": 0.0004064491525423729,
      "loss": 3.809247589111328,
      "step": 12040
    },
    {
      "epoch": 0.4015,
      "grad_norm": 1.3984375,
      "learning_rate": 0.00040640677966101695,
      "loss": 3.8469432830810546,
      "step": 12045
    },
    {
      "epoch": 0.40166666666666667,
      "grad_norm": 2.078125,
      "learning_rate": 0.00040636440677966105,
      "loss": 3.734701156616211,
      "step": 12050
    },
    {
      "epoch": 0.4018333333333333,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0004063220338983051,
      "loss": 4.5297119140625,
      "step": 12055
    },
    {
      "epoch": 0.402,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0004062796610169492,
      "loss": 3.845703125,
      "step": 12060
    },
    {
      "epoch": 0.4021666666666667,
      "grad_norm": 2.125,
      "learning_rate": 0.00040623728813559323,
      "loss": 3.909922790527344,
      "step": 12065
    },
    {
      "epoch": 0.4023333333333333,
      "grad_norm": 1.609375,
      "learning_rate": 0.0004061949152542373,
      "loss": 4.148365020751953,
      "step": 12070
    },
    {
      "epoch": 0.4025,
      "grad_norm": 2.703125,
      "learning_rate": 0.00040615254237288137,
      "loss": 4.432442474365234,
      "step": 12075
    },
    {
      "epoch": 0.4026666666666667,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0004061101694915254,
      "loss": 3.6869892120361327,
      "step": 12080
    },
    {
      "epoch": 0.4028333333333333,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0004060677966101695,
      "loss": 4.622488784790039,
      "step": 12085
    },
    {
      "epoch": 0.403,
      "grad_norm": 2.203125,
      "learning_rate": 0.00040602542372881355,
      "loss": 3.4416172027587892,
      "step": 12090
    },
    {
      "epoch": 0.4031666666666667,
      "grad_norm": 2.234375,
      "learning_rate": 0.0004059830508474576,
      "loss": 4.492333602905274,
      "step": 12095
    },
    {
      "epoch": 0.4033333333333333,
      "grad_norm": 1.75,
      "learning_rate": 0.0004059406779661017,
      "loss": 4.014699554443359,
      "step": 12100
    },
    {
      "epoch": 0.4035,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0004058983050847458,
      "loss": 4.203802490234375,
      "step": 12105
    },
    {
      "epoch": 0.4036666666666667,
      "grad_norm": 3.421875,
      "learning_rate": 0.00040585593220338983,
      "loss": 3.9143028259277344,
      "step": 12110
    },
    {
      "epoch": 0.4038333333333333,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0004058135593220339,
      "loss": 4.495337295532226,
      "step": 12115
    },
    {
      "epoch": 0.404,
      "grad_norm": 2.265625,
      "learning_rate": 0.000405771186440678,
      "loss": 4.470599365234375,
      "step": 12120
    },
    {
      "epoch": 0.4041666666666667,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00040572881355932207,
      "loss": 4.608927917480469,
      "step": 12125
    },
    {
      "epoch": 0.4043333333333333,
      "grad_norm": 1.75,
      "learning_rate": 0.0004056864406779661,
      "loss": 4.286856842041016,
      "step": 12130
    },
    {
      "epoch": 0.4045,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00040564406779661016,
      "loss": 3.6124359130859376,
      "step": 12135
    },
    {
      "epoch": 0.4046666666666667,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0004056016949152542,
      "loss": 3.66214599609375,
      "step": 12140
    },
    {
      "epoch": 0.4048333333333333,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00040555932203389835,
      "loss": 3.9305057525634766,
      "step": 12145
    },
    {
      "epoch": 0.405,
      "grad_norm": 1.796875,
      "learning_rate": 0.0004055169491525424,
      "loss": 4.6647178649902346,
      "step": 12150
    },
    {
      "epoch": 0.4051666666666667,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00040547457627118644,
      "loss": 3.537807083129883,
      "step": 12155
    },
    {
      "epoch": 0.4053333333333333,
      "grad_norm": 2.515625,
      "learning_rate": 0.0004054322033898305,
      "loss": 3.8992050170898436,
      "step": 12160
    },
    {
      "epoch": 0.4055,
      "grad_norm": 1.2890625,
      "learning_rate": 0.00040538983050847463,
      "loss": 3.407520294189453,
      "step": 12165
    },
    {
      "epoch": 0.4056666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0004053474576271187,
      "loss": 4.4197441101074215,
      "step": 12170
    },
    {
      "epoch": 0.4058333333333333,
      "grad_norm": 2.09375,
      "learning_rate": 0.0004053050847457627,
      "loss": 4.360378265380859,
      "step": 12175
    },
    {
      "epoch": 0.406,
      "grad_norm": 1.5625,
      "learning_rate": 0.00040526271186440676,
      "loss": 4.184435272216797,
      "step": 12180
    },
    {
      "epoch": 0.4061666666666667,
      "grad_norm": 1.8125,
      "learning_rate": 0.0004052203389830508,
      "loss": 3.3260269165039062,
      "step": 12185
    },
    {
      "epoch": 0.4063333333333333,
      "grad_norm": 2.015625,
      "learning_rate": 0.00040517796610169495,
      "loss": 4.265065765380859,
      "step": 12190
    },
    {
      "epoch": 0.4065,
      "grad_norm": 1.5546875,
      "learning_rate": 0.000405135593220339,
      "loss": 4.815412139892578,
      "step": 12195
    },
    {
      "epoch": 0.4066666666666667,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00040509322033898304,
      "loss": 3.936449432373047,
      "step": 12200
    },
    {
      "epoch": 0.4068333333333333,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0004050508474576271,
      "loss": 3.9950584411621093,
      "step": 12205
    },
    {
      "epoch": 0.407,
      "grad_norm": 2.4375,
      "learning_rate": 0.00040500847457627123,
      "loss": 3.9678314208984373,
      "step": 12210
    },
    {
      "epoch": 0.4071666666666667,
      "grad_norm": 3.625,
      "learning_rate": 0.0004049661016949153,
      "loss": 3.988896942138672,
      "step": 12215
    },
    {
      "epoch": 0.4073333333333333,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0004049237288135593,
      "loss": 4.54501953125,
      "step": 12220
    },
    {
      "epoch": 0.4075,
      "grad_norm": 1.75,
      "learning_rate": 0.00040488135593220336,
      "loss": 4.073609924316406,
      "step": 12225
    },
    {
      "epoch": 0.4076666666666667,
      "grad_norm": 1.4375,
      "learning_rate": 0.00040483898305084746,
      "loss": 3.741658020019531,
      "step": 12230
    },
    {
      "epoch": 0.4078333333333333,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00040479661016949156,
      "loss": 4.0866241455078125,
      "step": 12235
    },
    {
      "epoch": 0.408,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0004047542372881356,
      "loss": 3.6113662719726562,
      "step": 12240
    },
    {
      "epoch": 0.4081666666666667,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00040471186440677964,
      "loss": 4.362549209594727,
      "step": 12245
    },
    {
      "epoch": 0.4083333333333333,
      "grad_norm": 4.46875,
      "learning_rate": 0.00040466949152542374,
      "loss": 4.581758880615235,
      "step": 12250
    },
    {
      "epoch": 0.4085,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00040462711864406784,
      "loss": 3.6276283264160156,
      "step": 12255
    },
    {
      "epoch": 0.4086666666666667,
      "grad_norm": 1.1640625,
      "learning_rate": 0.0004045847457627119,
      "loss": 3.957886505126953,
      "step": 12260
    },
    {
      "epoch": 0.4088333333333333,
      "grad_norm": 2.125,
      "learning_rate": 0.0004045423728813559,
      "loss": 4.410377502441406,
      "step": 12265
    },
    {
      "epoch": 0.409,
      "grad_norm": 1.453125,
      "learning_rate": 0.0004045,
      "loss": 4.082849502563477,
      "step": 12270
    },
    {
      "epoch": 0.4091666666666667,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00040445762711864406,
      "loss": 4.3024848937988285,
      "step": 12275
    },
    {
      "epoch": 0.4093333333333333,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00040441525423728816,
      "loss": 3.5710685729980467,
      "step": 12280
    },
    {
      "epoch": 0.4095,
      "grad_norm": 1.421875,
      "learning_rate": 0.0004043728813559322,
      "loss": 4.380195617675781,
      "step": 12285
    },
    {
      "epoch": 0.4096666666666667,
      "grad_norm": 3.96875,
      "learning_rate": 0.00040433050847457625,
      "loss": 3.7541446685791016,
      "step": 12290
    },
    {
      "epoch": 0.4098333333333333,
      "grad_norm": 1.828125,
      "learning_rate": 0.00040428813559322034,
      "loss": 4.538180923461914,
      "step": 12295
    },
    {
      "epoch": 0.41,
      "grad_norm": 1.578125,
      "learning_rate": 0.00040424576271186444,
      "loss": 4.383178329467773,
      "step": 12300
    },
    {
      "epoch": 0.4101666666666667,
      "grad_norm": 1.421875,
      "learning_rate": 0.0004042033898305085,
      "loss": 4.348941040039063,
      "step": 12305
    },
    {
      "epoch": 0.4103333333333333,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004041610169491525,
      "loss": 4.0201171875,
      "step": 12310
    },
    {
      "epoch": 0.4105,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0004041186440677966,
      "loss": 3.753784942626953,
      "step": 12315
    },
    {
      "epoch": 0.4106666666666667,
      "grad_norm": 2.703125,
      "learning_rate": 0.00040407627118644067,
      "loss": 4.258637237548828,
      "step": 12320
    },
    {
      "epoch": 0.41083333333333333,
      "grad_norm": 1.734375,
      "learning_rate": 0.00040403389830508476,
      "loss": 4.179140090942383,
      "step": 12325
    },
    {
      "epoch": 0.411,
      "grad_norm": 1.34375,
      "learning_rate": 0.0004039915254237288,
      "loss": 3.6315292358398437,
      "step": 12330
    },
    {
      "epoch": 0.4111666666666667,
      "grad_norm": 1.84375,
      "learning_rate": 0.0004039491525423729,
      "loss": 4.406092834472656,
      "step": 12335
    },
    {
      "epoch": 0.41133333333333333,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00040390677966101695,
      "loss": 4.686981582641602,
      "step": 12340
    },
    {
      "epoch": 0.4115,
      "grad_norm": 1.59375,
      "learning_rate": 0.00040386440677966104,
      "loss": 3.5933300018310548,
      "step": 12345
    },
    {
      "epoch": 0.4116666666666667,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0004038220338983051,
      "loss": 4.402244567871094,
      "step": 12350
    },
    {
      "epoch": 0.41183333333333333,
      "grad_norm": 1.953125,
      "learning_rate": 0.0004037796610169492,
      "loss": 4.143685150146484,
      "step": 12355
    },
    {
      "epoch": 0.412,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0004037372881355932,
      "loss": 4.064346694946289,
      "step": 12360
    },
    {
      "epoch": 0.4121666666666667,
      "grad_norm": 2.4375,
      "learning_rate": 0.00040369491525423727,
      "loss": 4.049745559692383,
      "step": 12365
    },
    {
      "epoch": 0.41233333333333333,
      "grad_norm": 1.546875,
      "learning_rate": 0.00040365254237288137,
      "loss": 3.8460319519042967,
      "step": 12370
    },
    {
      "epoch": 0.4125,
      "grad_norm": 4.875,
      "learning_rate": 0.00040361016949152546,
      "loss": 4.7199455261230465,
      "step": 12375
    },
    {
      "epoch": 0.4126666666666667,
      "grad_norm": 2.125,
      "learning_rate": 0.0004035677966101695,
      "loss": 3.2505931854248047,
      "step": 12380
    },
    {
      "epoch": 0.41283333333333333,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00040352542372881355,
      "loss": 3.7104278564453126,
      "step": 12385
    },
    {
      "epoch": 0.413,
      "grad_norm": 1.46875,
      "learning_rate": 0.00040348305084745765,
      "loss": 4.158246612548828,
      "step": 12390
    },
    {
      "epoch": 0.4131666666666667,
      "grad_norm": 2.359375,
      "learning_rate": 0.0004034406779661017,
      "loss": 4.165365219116211,
      "step": 12395
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 2.296875,
      "learning_rate": 0.0004033983050847458,
      "loss": 4.021404266357422,
      "step": 12400
    },
    {
      "epoch": 0.4135,
      "grad_norm": 1.859375,
      "learning_rate": 0.00040335593220338983,
      "loss": 4.503724670410156,
      "step": 12405
    },
    {
      "epoch": 0.4136666666666667,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00040331355932203387,
      "loss": 4.134630584716797,
      "step": 12410
    },
    {
      "epoch": 0.41383333333333333,
      "grad_norm": 1.6875,
      "learning_rate": 0.00040327118644067797,
      "loss": 4.379484558105469,
      "step": 12415
    },
    {
      "epoch": 0.414,
      "grad_norm": 1.671875,
      "learning_rate": 0.00040322881355932207,
      "loss": 3.405590057373047,
      "step": 12420
    },
    {
      "epoch": 0.4141666666666667,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0004031864406779661,
      "loss": 3.9193084716796873,
      "step": 12425
    },
    {
      "epoch": 0.41433333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00040314406779661015,
      "loss": 4.210447692871094,
      "step": 12430
    },
    {
      "epoch": 0.4145,
      "grad_norm": 1.796875,
      "learning_rate": 0.00040310169491525425,
      "loss": 4.675231170654297,
      "step": 12435
    },
    {
      "epoch": 0.4146666666666667,
      "grad_norm": 3.1875,
      "learning_rate": 0.00040305932203389835,
      "loss": 3.754136657714844,
      "step": 12440
    },
    {
      "epoch": 0.41483333333333333,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004030169491525424,
      "loss": 3.339105987548828,
      "step": 12445
    },
    {
      "epoch": 0.415,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00040297457627118643,
      "loss": 4.505780410766602,
      "step": 12450
    },
    {
      "epoch": 0.4151666666666667,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0004029322033898305,
      "loss": 3.5986968994140627,
      "step": 12455
    },
    {
      "epoch": 0.41533333333333333,
      "grad_norm": 5.625,
      "learning_rate": 0.0004028898305084746,
      "loss": 3.5365196228027345,
      "step": 12460
    },
    {
      "epoch": 0.4155,
      "grad_norm": 2.15625,
      "learning_rate": 0.00040284745762711867,
      "loss": 4.2064472198486325,
      "step": 12465
    },
    {
      "epoch": 0.4156666666666667,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0004028050847457627,
      "loss": 4.343255615234375,
      "step": 12470
    },
    {
      "epoch": 0.41583333333333333,
      "grad_norm": 1.765625,
      "learning_rate": 0.00040276271186440675,
      "loss": 3.471945953369141,
      "step": 12475
    },
    {
      "epoch": 0.416,
      "grad_norm": 2.125,
      "learning_rate": 0.0004027203389830509,
      "loss": 4.102283477783203,
      "step": 12480
    },
    {
      "epoch": 0.4161666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 0.00040267796610169495,
      "loss": 3.593994140625,
      "step": 12485
    },
    {
      "epoch": 0.41633333333333333,
      "grad_norm": 1.9375,
      "learning_rate": 0.000402635593220339,
      "loss": 3.644854736328125,
      "step": 12490
    },
    {
      "epoch": 0.4165,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00040259322033898303,
      "loss": 3.941204833984375,
      "step": 12495
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0004025508474576271,
      "loss": 3.952930450439453,
      "step": 12500
    },
    {
      "epoch": 0.41683333333333333,
      "grad_norm": 3.546875,
      "learning_rate": 0.00040250847457627123,
      "loss": 2.7930273056030273,
      "step": 12505
    },
    {
      "epoch": 0.417,
      "grad_norm": 1.296875,
      "learning_rate": 0.00040246610169491527,
      "loss": 3.4126312255859377,
      "step": 12510
    },
    {
      "epoch": 0.4171666666666667,
      "grad_norm": 3.5,
      "learning_rate": 0.0004024237288135593,
      "loss": 3.8940353393554688,
      "step": 12515
    },
    {
      "epoch": 0.41733333333333333,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00040238135593220336,
      "loss": 4.057025146484375,
      "step": 12520
    },
    {
      "epoch": 0.4175,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0004023389830508475,
      "loss": 4.34955062866211,
      "step": 12525
    },
    {
      "epoch": 0.4176666666666667,
      "grad_norm": 1.828125,
      "learning_rate": 0.00040229661016949155,
      "loss": 4.029526901245117,
      "step": 12530
    },
    {
      "epoch": 0.41783333333333333,
      "grad_norm": 1.59375,
      "learning_rate": 0.0004022542372881356,
      "loss": 3.883819580078125,
      "step": 12535
    },
    {
      "epoch": 0.418,
      "grad_norm": 1.609375,
      "learning_rate": 0.00040221186440677964,
      "loss": 3.418112945556641,
      "step": 12540
    },
    {
      "epoch": 0.4181666666666667,
      "grad_norm": 2.125,
      "learning_rate": 0.00040216949152542373,
      "loss": 4.442555618286133,
      "step": 12545
    },
    {
      "epoch": 0.41833333333333333,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00040212711864406783,
      "loss": 4.130313110351563,
      "step": 12550
    },
    {
      "epoch": 0.4185,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0004020847457627119,
      "loss": 4.371561431884766,
      "step": 12555
    },
    {
      "epoch": 0.4186666666666667,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004020423728813559,
      "loss": 4.444609451293945,
      "step": 12560
    },
    {
      "epoch": 0.41883333333333334,
      "grad_norm": 1.890625,
      "learning_rate": 0.000402,
      "loss": 3.407206726074219,
      "step": 12565
    },
    {
      "epoch": 0.419,
      "grad_norm": 1.953125,
      "learning_rate": 0.0004019576271186441,
      "loss": 4.240705871582032,
      "step": 12570
    },
    {
      "epoch": 0.4191666666666667,
      "grad_norm": 1.421875,
      "learning_rate": 0.00040191525423728815,
      "loss": 2.5946170806884767,
      "step": 12575
    },
    {
      "epoch": 0.41933333333333334,
      "grad_norm": 3.234375,
      "learning_rate": 0.0004018728813559322,
      "loss": 3.8079933166503905,
      "step": 12580
    },
    {
      "epoch": 0.4195,
      "grad_norm": 1.4140625,
      "learning_rate": 0.0004018305084745763,
      "loss": 4.060645294189453,
      "step": 12585
    },
    {
      "epoch": 0.4196666666666667,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00040178813559322034,
      "loss": 4.469485473632813,
      "step": 12590
    },
    {
      "epoch": 0.41983333333333334,
      "grad_norm": 2.140625,
      "learning_rate": 0.00040174576271186443,
      "loss": 3.721732330322266,
      "step": 12595
    },
    {
      "epoch": 0.42,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0004017033898305085,
      "loss": 4.050096893310547,
      "step": 12600
    },
    {
      "epoch": 0.4201666666666667,
      "grad_norm": 2.28125,
      "learning_rate": 0.0004016610169491525,
      "loss": 4.493399047851563,
      "step": 12605
    },
    {
      "epoch": 0.42033333333333334,
      "grad_norm": 1.484375,
      "learning_rate": 0.0004016186440677966,
      "loss": 3.5935638427734373,
      "step": 12610
    },
    {
      "epoch": 0.4205,
      "grad_norm": 2.421875,
      "learning_rate": 0.0004015762711864407,
      "loss": 3.544698715209961,
      "step": 12615
    },
    {
      "epoch": 0.4206666666666667,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00040153389830508476,
      "loss": 3.747991180419922,
      "step": 12620
    },
    {
      "epoch": 0.42083333333333334,
      "grad_norm": 1.578125,
      "learning_rate": 0.0004014915254237288,
      "loss": 3.614052963256836,
      "step": 12625
    },
    {
      "epoch": 0.421,
      "grad_norm": 1.671875,
      "learning_rate": 0.0004014491525423729,
      "loss": 4.073649215698242,
      "step": 12630
    },
    {
      "epoch": 0.4211666666666667,
      "grad_norm": 1.1015625,
      "learning_rate": 0.00040140677966101694,
      "loss": 3.298685836791992,
      "step": 12635
    },
    {
      "epoch": 0.42133333333333334,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00040136440677966104,
      "loss": 3.7294895172119142,
      "step": 12640
    },
    {
      "epoch": 0.4215,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0004013220338983051,
      "loss": 4.239716720581055,
      "step": 12645
    },
    {
      "epoch": 0.4216666666666667,
      "grad_norm": 1.515625,
      "learning_rate": 0.0004012796610169492,
      "loss": 3.9797908782958986,
      "step": 12650
    },
    {
      "epoch": 0.42183333333333334,
      "grad_norm": 1.6875,
      "learning_rate": 0.0004012372881355932,
      "loss": 3.0899837493896483,
      "step": 12655
    },
    {
      "epoch": 0.422,
      "grad_norm": 2.546875,
      "learning_rate": 0.0004011949152542373,
      "loss": 3.8692344665527343,
      "step": 12660
    },
    {
      "epoch": 0.4221666666666667,
      "grad_norm": 1.734375,
      "learning_rate": 0.00040115254237288136,
      "loss": 4.542462539672852,
      "step": 12665
    },
    {
      "epoch": 0.42233333333333334,
      "grad_norm": 2.109375,
      "learning_rate": 0.00040111016949152546,
      "loss": 4.098214340209961,
      "step": 12670
    },
    {
      "epoch": 0.4225,
      "grad_norm": 2.484375,
      "learning_rate": 0.0004010677966101695,
      "loss": 4.934253692626953,
      "step": 12675
    },
    {
      "epoch": 0.4226666666666667,
      "grad_norm": 2.28125,
      "learning_rate": 0.00040102542372881354,
      "loss": 3.1170799255371096,
      "step": 12680
    },
    {
      "epoch": 0.42283333333333334,
      "grad_norm": 1.2421875,
      "learning_rate": 0.00040098305084745764,
      "loss": 3.5440025329589844,
      "step": 12685
    },
    {
      "epoch": 0.423,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00040094067796610174,
      "loss": 3.7016788482666017,
      "step": 12690
    },
    {
      "epoch": 0.4231666666666667,
      "grad_norm": 2.046875,
      "learning_rate": 0.0004008983050847458,
      "loss": 3.489178466796875,
      "step": 12695
    },
    {
      "epoch": 0.42333333333333334,
      "grad_norm": 1.8125,
      "learning_rate": 0.0004008559322033898,
      "loss": 4.1921028137207035,
      "step": 12700
    },
    {
      "epoch": 0.4235,
      "grad_norm": 1.1875,
      "learning_rate": 0.0004008135593220339,
      "loss": 3.6054100036621093,
      "step": 12705
    },
    {
      "epoch": 0.4236666666666667,
      "grad_norm": 2.265625,
      "learning_rate": 0.00040077118644067796,
      "loss": 3.8906211853027344,
      "step": 12710
    },
    {
      "epoch": 0.42383333333333334,
      "grad_norm": 2.328125,
      "learning_rate": 0.00040072881355932206,
      "loss": 3.9877735137939454,
      "step": 12715
    },
    {
      "epoch": 0.424,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0004006864406779661,
      "loss": 3.517930603027344,
      "step": 12720
    },
    {
      "epoch": 0.4241666666666667,
      "grad_norm": 2.34375,
      "learning_rate": 0.00040064406779661014,
      "loss": 4.489672470092773,
      "step": 12725
    },
    {
      "epoch": 0.42433333333333334,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00040060169491525424,
      "loss": 4.546656799316406,
      "step": 12730
    },
    {
      "epoch": 0.4245,
      "grad_norm": 4.125,
      "learning_rate": 0.00040055932203389834,
      "loss": 3.8741008758544924,
      "step": 12735
    },
    {
      "epoch": 0.4246666666666667,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0004005169491525424,
      "loss": 4.3756965637207035,
      "step": 12740
    },
    {
      "epoch": 0.42483333333333334,
      "grad_norm": 2.09375,
      "learning_rate": 0.0004004745762711864,
      "loss": 4.30956802368164,
      "step": 12745
    },
    {
      "epoch": 0.425,
      "grad_norm": 1.9765625,
      "learning_rate": 0.0004004322033898305,
      "loss": 4.000511169433594,
      "step": 12750
    },
    {
      "epoch": 0.4251666666666667,
      "grad_norm": 1.875,
      "learning_rate": 0.0004003898305084746,
      "loss": 3.873304748535156,
      "step": 12755
    },
    {
      "epoch": 0.42533333333333334,
      "grad_norm": 2.34375,
      "learning_rate": 0.00040034745762711866,
      "loss": 4.17840576171875,
      "step": 12760
    },
    {
      "epoch": 0.4255,
      "grad_norm": 2.28125,
      "learning_rate": 0.0004003050847457627,
      "loss": 4.495320892333984,
      "step": 12765
    },
    {
      "epoch": 0.4256666666666667,
      "grad_norm": 1.625,
      "learning_rate": 0.00040026271186440675,
      "loss": 4.2558441162109375,
      "step": 12770
    },
    {
      "epoch": 0.42583333333333334,
      "grad_norm": 1.625,
      "learning_rate": 0.0004002203389830509,
      "loss": 4.222505187988281,
      "step": 12775
    },
    {
      "epoch": 0.426,
      "grad_norm": 1.25,
      "learning_rate": 0.00040017796610169494,
      "loss": 3.663683319091797,
      "step": 12780
    },
    {
      "epoch": 0.4261666666666667,
      "grad_norm": 1.5859375,
      "learning_rate": 0.000400135593220339,
      "loss": 3.495087814331055,
      "step": 12785
    },
    {
      "epoch": 0.42633333333333334,
      "grad_norm": 1.84375,
      "learning_rate": 0.00040009322033898303,
      "loss": 3.7850788116455076,
      "step": 12790
    },
    {
      "epoch": 0.4265,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0004000508474576272,
      "loss": 3.624852752685547,
      "step": 12795
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 1.6875,
      "learning_rate": 0.0004000084745762712,
      "loss": 3.9006973266601563,
      "step": 12800
    },
    {
      "epoch": 0.42683333333333334,
      "grad_norm": 1.9140625,
      "learning_rate": 0.00039996610169491526,
      "loss": 3.7573257446289063,
      "step": 12805
    },
    {
      "epoch": 0.427,
      "grad_norm": 2.3125,
      "learning_rate": 0.0003999237288135593,
      "loss": 4.219303894042969,
      "step": 12810
    },
    {
      "epoch": 0.42716666666666664,
      "grad_norm": 3.703125,
      "learning_rate": 0.00039988135593220335,
      "loss": 4.4635875701904295,
      "step": 12815
    },
    {
      "epoch": 0.42733333333333334,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003998389830508475,
      "loss": 4.391530609130859,
      "step": 12820
    },
    {
      "epoch": 0.4275,
      "grad_norm": 3.109375,
      "learning_rate": 0.00039979661016949154,
      "loss": 4.473867034912109,
      "step": 12825
    },
    {
      "epoch": 0.42766666666666664,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003997542372881356,
      "loss": 3.9266361236572265,
      "step": 12830
    },
    {
      "epoch": 0.42783333333333334,
      "grad_norm": 1.703125,
      "learning_rate": 0.00039971186440677963,
      "loss": 4.035778427124024,
      "step": 12835
    },
    {
      "epoch": 0.428,
      "grad_norm": 1.546875,
      "learning_rate": 0.0003996694915254238,
      "loss": 3.672590637207031,
      "step": 12840
    },
    {
      "epoch": 0.42816666666666664,
      "grad_norm": 1.5,
      "learning_rate": 0.0003996271186440678,
      "loss": 4.045748138427735,
      "step": 12845
    },
    {
      "epoch": 0.42833333333333334,
      "grad_norm": 1.640625,
      "learning_rate": 0.00039958474576271187,
      "loss": 4.215598297119141,
      "step": 12850
    },
    {
      "epoch": 0.4285,
      "grad_norm": 1.4375,
      "learning_rate": 0.0003995423728813559,
      "loss": 3.3350948333740233,
      "step": 12855
    },
    {
      "epoch": 0.42866666666666664,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0003995,
      "loss": 4.570730972290039,
      "step": 12860
    },
    {
      "epoch": 0.42883333333333334,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0003994576271186441,
      "loss": 3.8026927947998046,
      "step": 12865
    },
    {
      "epoch": 0.429,
      "grad_norm": 1.875,
      "learning_rate": 0.00039941525423728815,
      "loss": 4.25562629699707,
      "step": 12870
    },
    {
      "epoch": 0.42916666666666664,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003993728813559322,
      "loss": 3.821196746826172,
      "step": 12875
    },
    {
      "epoch": 0.42933333333333334,
      "grad_norm": 2.015625,
      "learning_rate": 0.0003993305084745763,
      "loss": 3.5233150482177735,
      "step": 12880
    },
    {
      "epoch": 0.4295,
      "grad_norm": 1.515625,
      "learning_rate": 0.0003992881355932204,
      "loss": 3.75225715637207,
      "step": 12885
    },
    {
      "epoch": 0.42966666666666664,
      "grad_norm": 1.546875,
      "learning_rate": 0.0003992457627118644,
      "loss": 4.192919921875,
      "step": 12890
    },
    {
      "epoch": 0.42983333333333335,
      "grad_norm": 5.125,
      "learning_rate": 0.00039920338983050847,
      "loss": 4.432040023803711,
      "step": 12895
    },
    {
      "epoch": 0.43,
      "grad_norm": 1.78125,
      "learning_rate": 0.00039916101694915257,
      "loss": 5.082696533203125,
      "step": 12900
    },
    {
      "epoch": 0.43016666666666664,
      "grad_norm": 2.1875,
      "learning_rate": 0.0003991186440677966,
      "loss": 3.5348987579345703,
      "step": 12905
    },
    {
      "epoch": 0.43033333333333335,
      "grad_norm": 1.59375,
      "learning_rate": 0.0003990762711864407,
      "loss": 4.039440155029297,
      "step": 12910
    },
    {
      "epoch": 0.4305,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00039903389830508475,
      "loss": 2.930859375,
      "step": 12915
    },
    {
      "epoch": 0.43066666666666664,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0003989915254237288,
      "loss": 3.677022171020508,
      "step": 12920
    },
    {
      "epoch": 0.43083333333333335,
      "grad_norm": 1.671875,
      "learning_rate": 0.0003989491525423729,
      "loss": 4.24908676147461,
      "step": 12925
    },
    {
      "epoch": 0.431,
      "grad_norm": 1.546875,
      "learning_rate": 0.000398906779661017,
      "loss": 4.468867492675781,
      "step": 12930
    },
    {
      "epoch": 0.43116666666666664,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00039886440677966103,
      "loss": 3.806923675537109,
      "step": 12935
    },
    {
      "epoch": 0.43133333333333335,
      "grad_norm": 1.984375,
      "learning_rate": 0.00039882203389830507,
      "loss": 3.4807762145996093,
      "step": 12940
    },
    {
      "epoch": 0.4315,
      "grad_norm": 1.71875,
      "learning_rate": 0.00039877966101694917,
      "loss": 4.353244400024414,
      "step": 12945
    },
    {
      "epoch": 0.43166666666666664,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003987372881355932,
      "loss": 4.1341606140136715,
      "step": 12950
    },
    {
      "epoch": 0.43183333333333335,
      "grad_norm": 1.46875,
      "learning_rate": 0.0003986949152542373,
      "loss": 3.9063716888427735,
      "step": 12955
    },
    {
      "epoch": 0.432,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00039865254237288135,
      "loss": 4.436494445800781,
      "step": 12960
    },
    {
      "epoch": 0.43216666666666664,
      "grad_norm": 1.890625,
      "learning_rate": 0.00039861016949152545,
      "loss": 4.655918884277344,
      "step": 12965
    },
    {
      "epoch": 0.43233333333333335,
      "grad_norm": 1.4609375,
      "learning_rate": 0.0003985677966101695,
      "loss": 3.67322998046875,
      "step": 12970
    },
    {
      "epoch": 0.4325,
      "grad_norm": 2.171875,
      "learning_rate": 0.0003985254237288136,
      "loss": 4.728797149658203,
      "step": 12975
    },
    {
      "epoch": 0.43266666666666664,
      "grad_norm": 1.859375,
      "learning_rate": 0.00039848305084745763,
      "loss": 3.8829742431640626,
      "step": 12980
    },
    {
      "epoch": 0.43283333333333335,
      "grad_norm": 1.96875,
      "learning_rate": 0.00039844067796610173,
      "loss": 4.198334503173828,
      "step": 12985
    },
    {
      "epoch": 0.433,
      "grad_norm": 1.734375,
      "learning_rate": 0.00039839830508474577,
      "loss": 4.089080810546875,
      "step": 12990
    },
    {
      "epoch": 0.43316666666666664,
      "grad_norm": 1.78125,
      "learning_rate": 0.0003983559322033898,
      "loss": 3.7639942169189453,
      "step": 12995
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 1.3125,
      "learning_rate": 0.0003983135593220339,
      "loss": 4.01939811706543,
      "step": 13000
    },
    {
      "epoch": 0.4335,
      "grad_norm": 3.109375,
      "learning_rate": 0.000398271186440678,
      "loss": 4.355018234252929,
      "step": 13005
    },
    {
      "epoch": 0.43366666666666664,
      "grad_norm": 1.390625,
      "learning_rate": 0.00039822881355932205,
      "loss": 3.973133087158203,
      "step": 13010
    },
    {
      "epoch": 0.43383333333333335,
      "grad_norm": 3.328125,
      "learning_rate": 0.0003981864406779661,
      "loss": 4.137023162841797,
      "step": 13015
    },
    {
      "epoch": 0.434,
      "grad_norm": 1.3671875,
      "learning_rate": 0.0003981440677966102,
      "loss": 4.088733291625976,
      "step": 13020
    },
    {
      "epoch": 0.43416666666666665,
      "grad_norm": 1.65625,
      "learning_rate": 0.00039810169491525424,
      "loss": 3.6726119995117186,
      "step": 13025
    },
    {
      "epoch": 0.43433333333333335,
      "grad_norm": 2.078125,
      "learning_rate": 0.00039805932203389833,
      "loss": 3.4292797088623046,
      "step": 13030
    },
    {
      "epoch": 0.4345,
      "grad_norm": 1.90625,
      "learning_rate": 0.0003980169491525424,
      "loss": 3.90625,
      "step": 13035
    },
    {
      "epoch": 0.43466666666666665,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0003979745762711864,
      "loss": 4.244229888916015,
      "step": 13040
    },
    {
      "epoch": 0.43483333333333335,
      "grad_norm": 2.109375,
      "learning_rate": 0.0003979322033898305,
      "loss": 4.503978729248047,
      "step": 13045
    },
    {
      "epoch": 0.435,
      "grad_norm": 1.796875,
      "learning_rate": 0.0003978898305084746,
      "loss": 4.249559020996093,
      "step": 13050
    },
    {
      "epoch": 0.43516666666666665,
      "grad_norm": 2.1875,
      "learning_rate": 0.00039784745762711866,
      "loss": 3.817719650268555,
      "step": 13055
    },
    {
      "epoch": 0.43533333333333335,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003978050847457627,
      "loss": 4.173546981811524,
      "step": 13060
    },
    {
      "epoch": 0.4355,
      "grad_norm": 1.734375,
      "learning_rate": 0.00039776271186440674,
      "loss": 4.292369842529297,
      "step": 13065
    },
    {
      "epoch": 0.43566666666666665,
      "grad_norm": 2.328125,
      "learning_rate": 0.0003977203389830509,
      "loss": 3.0190093994140623,
      "step": 13070
    },
    {
      "epoch": 0.43583333333333335,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00039767796610169493,
      "loss": 4.735649871826172,
      "step": 13075
    },
    {
      "epoch": 0.436,
      "grad_norm": 1.453125,
      "learning_rate": 0.000397635593220339,
      "loss": 4.029030990600586,
      "step": 13080
    },
    {
      "epoch": 0.43616666666666665,
      "grad_norm": 2.078125,
      "learning_rate": 0.000397593220338983,
      "loss": 4.084855651855468,
      "step": 13085
    },
    {
      "epoch": 0.43633333333333335,
      "grad_norm": 1.4296875,
      "learning_rate": 0.00039755084745762717,
      "loss": 3.9514366149902345,
      "step": 13090
    },
    {
      "epoch": 0.4365,
      "grad_norm": 2.171875,
      "learning_rate": 0.0003975084745762712,
      "loss": 3.999949264526367,
      "step": 13095
    },
    {
      "epoch": 0.43666666666666665,
      "grad_norm": 2.0625,
      "learning_rate": 0.00039746610169491526,
      "loss": 4.5035560607910154,
      "step": 13100
    },
    {
      "epoch": 0.43683333333333335,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0003974237288135593,
      "loss": 4.456277084350586,
      "step": 13105
    },
    {
      "epoch": 0.437,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00039738135593220345,
      "loss": 4.4213005065917965,
      "step": 13110
    },
    {
      "epoch": 0.43716666666666665,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0003973389830508475,
      "loss": 2.8568286895751953,
      "step": 13115
    },
    {
      "epoch": 0.43733333333333335,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00039729661016949154,
      "loss": 4.6244560241699215,
      "step": 13120
    },
    {
      "epoch": 0.4375,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0003972542372881356,
      "loss": 3.762914276123047,
      "step": 13125
    },
    {
      "epoch": 0.43766666666666665,
      "grad_norm": 2.25,
      "learning_rate": 0.0003972118644067796,
      "loss": 4.341860961914063,
      "step": 13130
    },
    {
      "epoch": 0.43783333333333335,
      "grad_norm": 1.4140625,
      "learning_rate": 0.0003971694915254238,
      "loss": 3.673564147949219,
      "step": 13135
    },
    {
      "epoch": 0.438,
      "grad_norm": 3.296875,
      "learning_rate": 0.0003971271186440678,
      "loss": 4.401103973388672,
      "step": 13140
    },
    {
      "epoch": 0.43816666666666665,
      "grad_norm": 2.0,
      "learning_rate": 0.00039708474576271186,
      "loss": 4.004919052124023,
      "step": 13145
    },
    {
      "epoch": 0.43833333333333335,
      "grad_norm": 3.171875,
      "learning_rate": 0.0003970423728813559,
      "loss": 3.922000503540039,
      "step": 13150
    },
    {
      "epoch": 0.4385,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00039700000000000005,
      "loss": 3.926531219482422,
      "step": 13155
    },
    {
      "epoch": 0.43866666666666665,
      "grad_norm": 1.625,
      "learning_rate": 0.0003969576271186441,
      "loss": 4.056849670410156,
      "step": 13160
    },
    {
      "epoch": 0.43883333333333335,
      "grad_norm": 1.609375,
      "learning_rate": 0.00039691525423728814,
      "loss": 3.7557029724121094,
      "step": 13165
    },
    {
      "epoch": 0.439,
      "grad_norm": 1.578125,
      "learning_rate": 0.0003968728813559322,
      "loss": 3.7611156463623048,
      "step": 13170
    },
    {
      "epoch": 0.43916666666666665,
      "grad_norm": 1.609375,
      "learning_rate": 0.0003968305084745763,
      "loss": 4.285910034179688,
      "step": 13175
    },
    {
      "epoch": 0.43933333333333335,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0003967881355932204,
      "loss": 4.215488433837891,
      "step": 13180
    },
    {
      "epoch": 0.4395,
      "grad_norm": 1.734375,
      "learning_rate": 0.0003967457627118644,
      "loss": 4.501051330566407,
      "step": 13185
    },
    {
      "epoch": 0.43966666666666665,
      "grad_norm": 1.578125,
      "learning_rate": 0.00039670338983050846,
      "loss": 4.273821258544922,
      "step": 13190
    },
    {
      "epoch": 0.43983333333333335,
      "grad_norm": 1.75,
      "learning_rate": 0.00039666101694915256,
      "loss": 4.258568572998047,
      "step": 13195
    },
    {
      "epoch": 0.44,
      "grad_norm": 2.25,
      "learning_rate": 0.0003966186440677966,
      "loss": 3.1873828887939455,
      "step": 13200
    },
    {
      "epoch": 0.44016666666666665,
      "grad_norm": 2.015625,
      "learning_rate": 0.0003965762711864407,
      "loss": 4.502582168579101,
      "step": 13205
    },
    {
      "epoch": 0.44033333333333335,
      "grad_norm": 1.59375,
      "learning_rate": 0.00039653389830508474,
      "loss": 4.674513244628907,
      "step": 13210
    },
    {
      "epoch": 0.4405,
      "grad_norm": 1.9921875,
      "learning_rate": 0.00039649152542372884,
      "loss": 3.9413753509521485,
      "step": 13215
    },
    {
      "epoch": 0.44066666666666665,
      "grad_norm": 1.265625,
      "learning_rate": 0.0003964491525423729,
      "loss": 3.8259597778320313,
      "step": 13220
    },
    {
      "epoch": 0.44083333333333335,
      "grad_norm": 3.5,
      "learning_rate": 0.000396406779661017,
      "loss": 3.1137407302856444,
      "step": 13225
    },
    {
      "epoch": 0.441,
      "grad_norm": 1.703125,
      "learning_rate": 0.000396364406779661,
      "loss": 4.107439422607422,
      "step": 13230
    },
    {
      "epoch": 0.44116666666666665,
      "grad_norm": 1.671875,
      "learning_rate": 0.00039632203389830507,
      "loss": 4.183755493164062,
      "step": 13235
    },
    {
      "epoch": 0.44133333333333336,
      "grad_norm": 2.59375,
      "learning_rate": 0.00039627966101694916,
      "loss": 3.1194520950317384,
      "step": 13240
    },
    {
      "epoch": 0.4415,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003962372881355932,
      "loss": 4.106664657592773,
      "step": 13245
    },
    {
      "epoch": 0.44166666666666665,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0003961949152542373,
      "loss": 4.1453804016113285,
      "step": 13250
    },
    {
      "epoch": 0.44183333333333336,
      "grad_norm": 1.75,
      "learning_rate": 0.00039615254237288135,
      "loss": 3.8970069885253906,
      "step": 13255
    },
    {
      "epoch": 0.442,
      "grad_norm": 1.78125,
      "learning_rate": 0.00039611016949152544,
      "loss": 3.909989929199219,
      "step": 13260
    },
    {
      "epoch": 0.44216666666666665,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003960677966101695,
      "loss": 3.708003616333008,
      "step": 13265
    },
    {
      "epoch": 0.44233333333333336,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0003960254237288136,
      "loss": 3.415068817138672,
      "step": 13270
    },
    {
      "epoch": 0.4425,
      "grad_norm": 1.3515625,
      "learning_rate": 0.0003959830508474576,
      "loss": 3.3991912841796874,
      "step": 13275
    },
    {
      "epoch": 0.44266666666666665,
      "grad_norm": 1.125,
      "learning_rate": 0.0003959406779661017,
      "loss": 3.760813903808594,
      "step": 13280
    },
    {
      "epoch": 0.44283333333333336,
      "grad_norm": 2.0,
      "learning_rate": 0.00039589830508474577,
      "loss": 4.401461791992188,
      "step": 13285
    },
    {
      "epoch": 0.443,
      "grad_norm": 2.84375,
      "learning_rate": 0.0003958559322033898,
      "loss": 3.869295120239258,
      "step": 13290
    },
    {
      "epoch": 0.44316666666666665,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0003958135593220339,
      "loss": 3.8130760192871094,
      "step": 13295
    },
    {
      "epoch": 0.44333333333333336,
      "grad_norm": 1.6484375,
      "learning_rate": 0.000395771186440678,
      "loss": 4.628024673461914,
      "step": 13300
    },
    {
      "epoch": 0.4435,
      "grad_norm": 1.765625,
      "learning_rate": 0.00039572881355932205,
      "loss": 3.876387023925781,
      "step": 13305
    },
    {
      "epoch": 0.44366666666666665,
      "grad_norm": 1.703125,
      "learning_rate": 0.0003956864406779661,
      "loss": 4.619677734375,
      "step": 13310
    },
    {
      "epoch": 0.44383333333333336,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0003956440677966102,
      "loss": 4.3775474548339846,
      "step": 13315
    },
    {
      "epoch": 0.444,
      "grad_norm": 2.6875,
      "learning_rate": 0.0003956016949152543,
      "loss": 3.5517036437988283,
      "step": 13320
    },
    {
      "epoch": 0.44416666666666665,
      "grad_norm": 1.671875,
      "learning_rate": 0.0003955593220338983,
      "loss": 4.312538146972656,
      "step": 13325
    },
    {
      "epoch": 0.44433333333333336,
      "grad_norm": 1.2890625,
      "learning_rate": 0.00039551694915254237,
      "loss": 3.0096670150756837,
      "step": 13330
    },
    {
      "epoch": 0.4445,
      "grad_norm": 1.6875,
      "learning_rate": 0.0003954745762711864,
      "loss": 4.229758453369141,
      "step": 13335
    },
    {
      "epoch": 0.44466666666666665,
      "grad_norm": 2.328125,
      "learning_rate": 0.0003954322033898305,
      "loss": 3.724298095703125,
      "step": 13340
    },
    {
      "epoch": 0.44483333333333336,
      "grad_norm": 2.296875,
      "learning_rate": 0.0003953898305084746,
      "loss": 3.9795604705810548,
      "step": 13345
    },
    {
      "epoch": 0.445,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00039534745762711865,
      "loss": 3.435680389404297,
      "step": 13350
    },
    {
      "epoch": 0.44516666666666665,
      "grad_norm": 2.703125,
      "learning_rate": 0.0003953050847457627,
      "loss": 4.751411056518554,
      "step": 13355
    },
    {
      "epoch": 0.44533333333333336,
      "grad_norm": 1.734375,
      "learning_rate": 0.0003952627118644068,
      "loss": 3.9956687927246093,
      "step": 13360
    },
    {
      "epoch": 0.4455,
      "grad_norm": 1.9453125,
      "learning_rate": 0.0003952203389830509,
      "loss": 4.291922760009766,
      "step": 13365
    },
    {
      "epoch": 0.44566666666666666,
      "grad_norm": 2.25,
      "learning_rate": 0.00039517796610169493,
      "loss": 4.289411163330078,
      "step": 13370
    },
    {
      "epoch": 0.44583333333333336,
      "grad_norm": 1.265625,
      "learning_rate": 0.00039513559322033897,
      "loss": 3.933663177490234,
      "step": 13375
    },
    {
      "epoch": 0.446,
      "grad_norm": 1.796875,
      "learning_rate": 0.000395093220338983,
      "loss": 4.0103515625,
      "step": 13380
    },
    {
      "epoch": 0.44616666666666666,
      "grad_norm": 1.4609375,
      "learning_rate": 0.00039505084745762717,
      "loss": 4.037933731079102,
      "step": 13385
    },
    {
      "epoch": 0.44633333333333336,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0003950084745762712,
      "loss": 3.7708145141601563,
      "step": 13390
    },
    {
      "epoch": 0.4465,
      "grad_norm": 1.984375,
      "learning_rate": 0.00039496610169491525,
      "loss": 4.1747596740722654,
      "step": 13395
    },
    {
      "epoch": 0.44666666666666666,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0003949237288135593,
      "loss": 4.240267562866211,
      "step": 13400
    },
    {
      "epoch": 0.44683333333333336,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00039488135593220345,
      "loss": 3.3305942535400392,
      "step": 13405
    },
    {
      "epoch": 0.447,
      "grad_norm": 1.2734375,
      "learning_rate": 0.0003948389830508475,
      "loss": 3.088495445251465,
      "step": 13410
    },
    {
      "epoch": 0.44716666666666666,
      "grad_norm": 2.125,
      "learning_rate": 0.00039479661016949153,
      "loss": 4.459920883178711,
      "step": 13415
    },
    {
      "epoch": 0.44733333333333336,
      "grad_norm": 1.3046875,
      "learning_rate": 0.0003947542372881356,
      "loss": 2.65207576751709,
      "step": 13420
    },
    {
      "epoch": 0.4475,
      "grad_norm": 2.15625,
      "learning_rate": 0.0003947118644067796,
      "loss": 4.13372688293457,
      "step": 13425
    },
    {
      "epoch": 0.44766666666666666,
      "grad_norm": 1.859375,
      "learning_rate": 0.00039466949152542377,
      "loss": 4.402818298339843,
      "step": 13430
    },
    {
      "epoch": 0.44783333333333336,
      "grad_norm": 1.796875,
      "learning_rate": 0.0003946271186440678,
      "loss": 4.763144302368164,
      "step": 13435
    },
    {
      "epoch": 0.448,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00039458474576271185,
      "loss": 4.471090698242188,
      "step": 13440
    },
    {
      "epoch": 0.44816666666666666,
      "grad_norm": 1.5625,
      "learning_rate": 0.0003945423728813559,
      "loss": 3.687006378173828,
      "step": 13445
    },
    {
      "epoch": 0.4483333333333333,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00039450000000000005,
      "loss": 3.536260986328125,
      "step": 13450
    },
    {
      "epoch": 0.4485,
      "grad_norm": 1.609375,
      "learning_rate": 0.0003944576271186441,
      "loss": 3.838024139404297,
      "step": 13455
    },
    {
      "epoch": 0.44866666666666666,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00039441525423728813,
      "loss": 3.427642822265625,
      "step": 13460
    },
    {
      "epoch": 0.4488333333333333,
      "grad_norm": 3.109375,
      "learning_rate": 0.0003943728813559322,
      "loss": 4.05500602722168,
      "step": 13465
    },
    {
      "epoch": 0.449,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0003943305084745763,
      "loss": 3.9577152252197267,
      "step": 13470
    },
    {
      "epoch": 0.44916666666666666,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00039428813559322037,
      "loss": 3.817666244506836,
      "step": 13475
    },
    {
      "epoch": 0.4493333333333333,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003942457627118644,
      "loss": 3.8831226348876955,
      "step": 13480
    },
    {
      "epoch": 0.4495,
      "grad_norm": 3.015625,
      "learning_rate": 0.00039420338983050846,
      "loss": 3.8828929901123046,
      "step": 13485
    },
    {
      "epoch": 0.44966666666666666,
      "grad_norm": 1.734375,
      "learning_rate": 0.00039416101694915255,
      "loss": 3.854353332519531,
      "step": 13490
    },
    {
      "epoch": 0.4498333333333333,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00039411864406779665,
      "loss": 3.7194618225097655,
      "step": 13495
    },
    {
      "epoch": 0.45,
      "grad_norm": 2.015625,
      "learning_rate": 0.0003940762711864407,
      "loss": 3.989174652099609,
      "step": 13500
    },
    {
      "epoch": 0.45016666666666666,
      "grad_norm": 1.65625,
      "learning_rate": 0.00039403389830508474,
      "loss": 3.6860389709472656,
      "step": 13505
    },
    {
      "epoch": 0.4503333333333333,
      "grad_norm": 3.4375,
      "learning_rate": 0.00039399152542372883,
      "loss": 3.9259010314941407,
      "step": 13510
    },
    {
      "epoch": 0.4505,
      "grad_norm": 1.515625,
      "learning_rate": 0.0003939491525423729,
      "loss": 3.330183410644531,
      "step": 13515
    },
    {
      "epoch": 0.45066666666666666,
      "grad_norm": 2.453125,
      "learning_rate": 0.000393906779661017,
      "loss": 4.250582122802735,
      "step": 13520
    },
    {
      "epoch": 0.4508333333333333,
      "grad_norm": 2.125,
      "learning_rate": 0.000393864406779661,
      "loss": 3.9453948974609374,
      "step": 13525
    },
    {
      "epoch": 0.451,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00039382203389830506,
      "loss": 4.2890167236328125,
      "step": 13530
    },
    {
      "epoch": 0.45116666666666666,
      "grad_norm": 3.34375,
      "learning_rate": 0.00039377966101694916,
      "loss": 4.2546745300292965,
      "step": 13535
    },
    {
      "epoch": 0.4513333333333333,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00039373728813559325,
      "loss": 4.275081634521484,
      "step": 13540
    },
    {
      "epoch": 0.4515,
      "grad_norm": 4.0625,
      "learning_rate": 0.0003936949152542373,
      "loss": 3.221018981933594,
      "step": 13545
    },
    {
      "epoch": 0.45166666666666666,
      "grad_norm": 1.875,
      "learning_rate": 0.00039365254237288134,
      "loss": 4.065052795410156,
      "step": 13550
    },
    {
      "epoch": 0.4518333333333333,
      "grad_norm": 2.515625,
      "learning_rate": 0.00039361016949152544,
      "loss": 3.4033172607421873,
      "step": 13555
    },
    {
      "epoch": 0.452,
      "grad_norm": 1.71875,
      "learning_rate": 0.0003935677966101695,
      "loss": 3.682891845703125,
      "step": 13560
    },
    {
      "epoch": 0.45216666666666666,
      "grad_norm": 2.6875,
      "learning_rate": 0.0003935254237288136,
      "loss": 4.7754058837890625,
      "step": 13565
    },
    {
      "epoch": 0.4523333333333333,
      "grad_norm": 2.265625,
      "learning_rate": 0.0003934830508474576,
      "loss": 3.77252197265625,
      "step": 13570
    },
    {
      "epoch": 0.4525,
      "grad_norm": 1.328125,
      "learning_rate": 0.0003934406779661017,
      "loss": 4.3704883575439455,
      "step": 13575
    },
    {
      "epoch": 0.45266666666666666,
      "grad_norm": 1.703125,
      "learning_rate": 0.00039339830508474576,
      "loss": 4.656106567382812,
      "step": 13580
    },
    {
      "epoch": 0.4528333333333333,
      "grad_norm": 1.6875,
      "learning_rate": 0.00039335593220338986,
      "loss": 3.5695472717285157,
      "step": 13585
    },
    {
      "epoch": 0.453,
      "grad_norm": 3.15625,
      "learning_rate": 0.0003933135593220339,
      "loss": 4.65577507019043,
      "step": 13590
    },
    {
      "epoch": 0.45316666666666666,
      "grad_norm": 2.421875,
      "learning_rate": 0.000393271186440678,
      "loss": 4.246054840087891,
      "step": 13595
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 1.625,
      "learning_rate": 0.00039322881355932204,
      "loss": 3.617523956298828,
      "step": 13600
    },
    {
      "epoch": 0.4535,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003931864406779661,
      "loss": 3.6285629272460938,
      "step": 13605
    },
    {
      "epoch": 0.45366666666666666,
      "grad_norm": 3.0,
      "learning_rate": 0.0003931440677966102,
      "loss": 4.433607482910157,
      "step": 13610
    },
    {
      "epoch": 0.4538333333333333,
      "grad_norm": 1.1953125,
      "learning_rate": 0.0003931016949152543,
      "loss": 3.1728649139404297,
      "step": 13615
    },
    {
      "epoch": 0.454,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0003930593220338983,
      "loss": 3.861034393310547,
      "step": 13620
    },
    {
      "epoch": 0.45416666666666666,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00039301694915254236,
      "loss": 3.965363311767578,
      "step": 13625
    },
    {
      "epoch": 0.4543333333333333,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00039297457627118646,
      "loss": 4.090884780883789,
      "step": 13630
    },
    {
      "epoch": 0.4545,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003929322033898305,
      "loss": 3.5035659790039064,
      "step": 13635
    },
    {
      "epoch": 0.45466666666666666,
      "grad_norm": 1.546875,
      "learning_rate": 0.0003928898305084746,
      "loss": 4.475823974609375,
      "step": 13640
    },
    {
      "epoch": 0.4548333333333333,
      "grad_norm": 1.9140625,
      "learning_rate": 0.00039284745762711864,
      "loss": 4.687018203735351,
      "step": 13645
    },
    {
      "epoch": 0.455,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0003928050847457627,
      "loss": 4.513917922973633,
      "step": 13650
    },
    {
      "epoch": 0.45516666666666666,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003927627118644068,
      "loss": 4.572641754150391,
      "step": 13655
    },
    {
      "epoch": 0.4553333333333333,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0003927203389830509,
      "loss": 4.628208160400391,
      "step": 13660
    },
    {
      "epoch": 0.4555,
      "grad_norm": 2.125,
      "learning_rate": 0.0003926779661016949,
      "loss": 3.908403778076172,
      "step": 13665
    },
    {
      "epoch": 0.45566666666666666,
      "grad_norm": 2.515625,
      "learning_rate": 0.00039263559322033896,
      "loss": 4.311964416503907,
      "step": 13670
    },
    {
      "epoch": 0.4558333333333333,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00039259322033898306,
      "loss": 4.746746444702149,
      "step": 13675
    },
    {
      "epoch": 0.456,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00039255084745762716,
      "loss": 3.7070674896240234,
      "step": 13680
    },
    {
      "epoch": 0.45616666666666666,
      "grad_norm": 1.78125,
      "learning_rate": 0.0003925084745762712,
      "loss": 3.927855682373047,
      "step": 13685
    },
    {
      "epoch": 0.4563333333333333,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00039246610169491524,
      "loss": 3.8397560119628906,
      "step": 13690
    },
    {
      "epoch": 0.4565,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0003924237288135593,
      "loss": 4.062547302246093,
      "step": 13695
    },
    {
      "epoch": 0.45666666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00039238135593220344,
      "loss": 3.8890655517578123,
      "step": 13700
    },
    {
      "epoch": 0.4568333333333333,
      "grad_norm": 1.75,
      "learning_rate": 0.0003923389830508475,
      "loss": 4.167337417602539,
      "step": 13705
    },
    {
      "epoch": 0.457,
      "grad_norm": 1.609375,
      "learning_rate": 0.0003922966101694915,
      "loss": 4.158517456054687,
      "step": 13710
    },
    {
      "epoch": 0.45716666666666667,
      "grad_norm": 1.90625,
      "learning_rate": 0.00039225423728813557,
      "loss": 4.338677978515625,
      "step": 13715
    },
    {
      "epoch": 0.4573333333333333,
      "grad_norm": 2.3125,
      "learning_rate": 0.0003922118644067797,
      "loss": 3.137120819091797,
      "step": 13720
    },
    {
      "epoch": 0.4575,
      "grad_norm": 2.03125,
      "learning_rate": 0.00039216949152542376,
      "loss": 3.9159614562988283,
      "step": 13725
    },
    {
      "epoch": 0.45766666666666667,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0003921271186440678,
      "loss": 3.175661087036133,
      "step": 13730
    },
    {
      "epoch": 0.4578333333333333,
      "grad_norm": 1.9375,
      "learning_rate": 0.00039208474576271185,
      "loss": 4.206595611572266,
      "step": 13735
    },
    {
      "epoch": 0.458,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0003920423728813559,
      "loss": 3.9717262268066404,
      "step": 13740
    },
    {
      "epoch": 0.45816666666666667,
      "grad_norm": 2.171875,
      "learning_rate": 0.00039200000000000004,
      "loss": 3.9765155792236326,
      "step": 13745
    },
    {
      "epoch": 0.4583333333333333,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0003919576271186441,
      "loss": 4.595796203613281,
      "step": 13750
    },
    {
      "epoch": 0.4585,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00039191525423728813,
      "loss": 4.4271095275878904,
      "step": 13755
    },
    {
      "epoch": 0.45866666666666667,
      "grad_norm": 2.015625,
      "learning_rate": 0.00039187288135593217,
      "loss": 4.1039684295654295,
      "step": 13760
    },
    {
      "epoch": 0.4588333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.0003918305084745763,
      "loss": 4.386431884765625,
      "step": 13765
    },
    {
      "epoch": 0.459,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00039178813559322036,
      "loss": 3.7331371307373047,
      "step": 13770
    },
    {
      "epoch": 0.45916666666666667,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0003917457627118644,
      "loss": 4.426046752929688,
      "step": 13775
    },
    {
      "epoch": 0.4593333333333333,
      "grad_norm": 1.5625,
      "learning_rate": 0.00039170338983050845,
      "loss": 4.043103408813477,
      "step": 13780
    },
    {
      "epoch": 0.4595,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00039166101694915255,
      "loss": 4.39964599609375,
      "step": 13785
    },
    {
      "epoch": 0.45966666666666667,
      "grad_norm": 2.203125,
      "learning_rate": 0.00039161864406779664,
      "loss": 4.546457672119141,
      "step": 13790
    },
    {
      "epoch": 0.4598333333333333,
      "grad_norm": 1.53125,
      "learning_rate": 0.0003915762711864407,
      "loss": 4.132391357421875,
      "step": 13795
    },
    {
      "epoch": 0.46,
      "grad_norm": 1.71875,
      "learning_rate": 0.00039153389830508473,
      "loss": 3.642287826538086,
      "step": 13800
    },
    {
      "epoch": 0.46016666666666667,
      "grad_norm": 1.734375,
      "learning_rate": 0.00039149152542372883,
      "loss": 3.8115787506103516,
      "step": 13805
    },
    {
      "epoch": 0.4603333333333333,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003914491525423729,
      "loss": 4.277875518798828,
      "step": 13810
    },
    {
      "epoch": 0.4605,
      "grad_norm": 2.625,
      "learning_rate": 0.00039140677966101697,
      "loss": 4.3756874084472654,
      "step": 13815
    },
    {
      "epoch": 0.46066666666666667,
      "grad_norm": 1.5390625,
      "learning_rate": 0.000391364406779661,
      "loss": 4.282550811767578,
      "step": 13820
    },
    {
      "epoch": 0.4608333333333333,
      "grad_norm": 1.4140625,
      "learning_rate": 0.0003913220338983051,
      "loss": 3.582474136352539,
      "step": 13825
    },
    {
      "epoch": 0.461,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00039127966101694915,
      "loss": 4.258575439453125,
      "step": 13830
    },
    {
      "epoch": 0.46116666666666667,
      "grad_norm": 1.515625,
      "learning_rate": 0.00039123728813559325,
      "loss": 2.9472110748291014,
      "step": 13835
    },
    {
      "epoch": 0.4613333333333333,
      "grad_norm": 1.484375,
      "learning_rate": 0.0003911949152542373,
      "loss": 3.76529541015625,
      "step": 13840
    },
    {
      "epoch": 0.4615,
      "grad_norm": 2.1875,
      "learning_rate": 0.00039115254237288133,
      "loss": 4.847342300415039,
      "step": 13845
    },
    {
      "epoch": 0.46166666666666667,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00039111016949152543,
      "loss": 3.39819450378418,
      "step": 13850
    },
    {
      "epoch": 0.4618333333333333,
      "grad_norm": 2.46875,
      "learning_rate": 0.0003910677966101695,
      "loss": 3.853866958618164,
      "step": 13855
    },
    {
      "epoch": 0.462,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00039102542372881357,
      "loss": 3.196710205078125,
      "step": 13860
    },
    {
      "epoch": 0.46216666666666667,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003909830508474576,
      "loss": 4.173826599121094,
      "step": 13865
    },
    {
      "epoch": 0.4623333333333333,
      "grad_norm": 2.359375,
      "learning_rate": 0.0003909406779661017,
      "loss": 4.0196533203125,
      "step": 13870
    },
    {
      "epoch": 0.4625,
      "grad_norm": 1.859375,
      "learning_rate": 0.00039089830508474575,
      "loss": 4.584775924682617,
      "step": 13875
    },
    {
      "epoch": 0.46266666666666667,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00039085593220338985,
      "loss": 3.656167984008789,
      "step": 13880
    },
    {
      "epoch": 0.4628333333333333,
      "grad_norm": 1.3515625,
      "learning_rate": 0.0003908135593220339,
      "loss": 3.1704570770263674,
      "step": 13885
    },
    {
      "epoch": 0.463,
      "grad_norm": 1.9921875,
      "learning_rate": 0.000390771186440678,
      "loss": 3.820700454711914,
      "step": 13890
    },
    {
      "epoch": 0.46316666666666667,
      "grad_norm": 2.125,
      "learning_rate": 0.00039072881355932203,
      "loss": 4.089102935791016,
      "step": 13895
    },
    {
      "epoch": 0.4633333333333333,
      "grad_norm": 1.671875,
      "learning_rate": 0.00039068644067796613,
      "loss": 3.327897644042969,
      "step": 13900
    },
    {
      "epoch": 0.4635,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00039064406779661017,
      "loss": 4.226584625244141,
      "step": 13905
    },
    {
      "epoch": 0.46366666666666667,
      "grad_norm": 2.390625,
      "learning_rate": 0.00039060169491525427,
      "loss": 4.33160400390625,
      "step": 13910
    },
    {
      "epoch": 0.4638333333333333,
      "grad_norm": 1.765625,
      "learning_rate": 0.0003905593220338983,
      "loss": 3.9284904479980467,
      "step": 13915
    },
    {
      "epoch": 0.464,
      "grad_norm": 1.875,
      "learning_rate": 0.00039051694915254236,
      "loss": 3.4616722106933593,
      "step": 13920
    },
    {
      "epoch": 0.46416666666666667,
      "grad_norm": 2.203125,
      "learning_rate": 0.00039047457627118645,
      "loss": 3.468016815185547,
      "step": 13925
    },
    {
      "epoch": 0.4643333333333333,
      "grad_norm": 1.734375,
      "learning_rate": 0.00039043220338983055,
      "loss": 4.306243133544922,
      "step": 13930
    },
    {
      "epoch": 0.4645,
      "grad_norm": 2.609375,
      "learning_rate": 0.0003903898305084746,
      "loss": 4.494331359863281,
      "step": 13935
    },
    {
      "epoch": 0.4646666666666667,
      "grad_norm": 1.90625,
      "learning_rate": 0.00039034745762711864,
      "loss": 4.249266052246094,
      "step": 13940
    },
    {
      "epoch": 0.4648333333333333,
      "grad_norm": 2.359375,
      "learning_rate": 0.00039030508474576273,
      "loss": 3.4443214416503904,
      "step": 13945
    },
    {
      "epoch": 0.465,
      "grad_norm": 1.4140625,
      "learning_rate": 0.0003902627118644068,
      "loss": 3.555999755859375,
      "step": 13950
    },
    {
      "epoch": 0.4651666666666667,
      "grad_norm": 2.21875,
      "learning_rate": 0.00039022033898305087,
      "loss": 3.874018096923828,
      "step": 13955
    },
    {
      "epoch": 0.4653333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0003901779661016949,
      "loss": 4.270243835449219,
      "step": 13960
    },
    {
      "epoch": 0.4655,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00039013559322033896,
      "loss": 4.2421630859375,
      "step": 13965
    },
    {
      "epoch": 0.4656666666666667,
      "grad_norm": 1.640625,
      "learning_rate": 0.00039009322033898306,
      "loss": 2.8678621292114257,
      "step": 13970
    },
    {
      "epoch": 0.4658333333333333,
      "grad_norm": 3.96875,
      "learning_rate": 0.00039005084745762715,
      "loss": 4.072451782226563,
      "step": 13975
    },
    {
      "epoch": 0.466,
      "grad_norm": 1.734375,
      "learning_rate": 0.0003900084745762712,
      "loss": 3.7116607666015624,
      "step": 13980
    },
    {
      "epoch": 0.4661666666666667,
      "grad_norm": 2.015625,
      "learning_rate": 0.00038996610169491524,
      "loss": 4.283384704589844,
      "step": 13985
    },
    {
      "epoch": 0.4663333333333333,
      "grad_norm": 1.578125,
      "learning_rate": 0.00038992372881355934,
      "loss": 3.2903491973876955,
      "step": 13990
    },
    {
      "epoch": 0.4665,
      "grad_norm": 1.890625,
      "learning_rate": 0.00038988135593220343,
      "loss": 4.141726684570313,
      "step": 13995
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 1.96875,
      "learning_rate": 0.0003898389830508475,
      "loss": 3.8042377471923827,
      "step": 14000
    },
    {
      "epoch": 0.4668333333333333,
      "grad_norm": 1.625,
      "learning_rate": 0.0003897966101694915,
      "loss": 4.016059112548828,
      "step": 14005
    },
    {
      "epoch": 0.467,
      "grad_norm": 1.2109375,
      "learning_rate": 0.00038975423728813556,
      "loss": 3.2160884857177736,
      "step": 14010
    },
    {
      "epoch": 0.4671666666666667,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0003897118644067797,
      "loss": 3.5269508361816406,
      "step": 14015
    },
    {
      "epoch": 0.4673333333333333,
      "grad_norm": 1.90625,
      "learning_rate": 0.00038966949152542376,
      "loss": 2.8588436126708983,
      "step": 14020
    },
    {
      "epoch": 0.4675,
      "grad_norm": 1.953125,
      "learning_rate": 0.0003896271186440678,
      "loss": 4.229132843017578,
      "step": 14025
    },
    {
      "epoch": 0.4676666666666667,
      "grad_norm": 1.875,
      "learning_rate": 0.00038958474576271184,
      "loss": 4.123442459106445,
      "step": 14030
    },
    {
      "epoch": 0.4678333333333333,
      "grad_norm": 3.3125,
      "learning_rate": 0.000389542372881356,
      "loss": 3.897114562988281,
      "step": 14035
    },
    {
      "epoch": 0.468,
      "grad_norm": 1.484375,
      "learning_rate": 0.00038950000000000003,
      "loss": 3.2405338287353516,
      "step": 14040
    },
    {
      "epoch": 0.4681666666666667,
      "grad_norm": 1.796875,
      "learning_rate": 0.0003894576271186441,
      "loss": 3.2829879760742187,
      "step": 14045
    },
    {
      "epoch": 0.4683333333333333,
      "grad_norm": 1.9375,
      "learning_rate": 0.0003894152542372881,
      "loss": 4.444696426391602,
      "step": 14050
    },
    {
      "epoch": 0.4685,
      "grad_norm": 1.6875,
      "learning_rate": 0.00038937288135593216,
      "loss": 4.336903381347656,
      "step": 14055
    },
    {
      "epoch": 0.4686666666666667,
      "grad_norm": 1.78125,
      "learning_rate": 0.0003893305084745763,
      "loss": 3.9532970428466796,
      "step": 14060
    },
    {
      "epoch": 0.4688333333333333,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00038928813559322036,
      "loss": 4.195169830322266,
      "step": 14065
    },
    {
      "epoch": 0.469,
      "grad_norm": 1.765625,
      "learning_rate": 0.0003892457627118644,
      "loss": 3.9751602172851563,
      "step": 14070
    },
    {
      "epoch": 0.4691666666666667,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00038920338983050844,
      "loss": 3.992160415649414,
      "step": 14075
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003891610169491526,
      "loss": 4.252204895019531,
      "step": 14080
    },
    {
      "epoch": 0.4695,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00038911864406779664,
      "loss": 4.115348434448242,
      "step": 14085
    },
    {
      "epoch": 0.4696666666666667,
      "grad_norm": 1.578125,
      "learning_rate": 0.0003890762711864407,
      "loss": 2.603676414489746,
      "step": 14090
    },
    {
      "epoch": 0.4698333333333333,
      "grad_norm": 1.671875,
      "learning_rate": 0.0003890338983050847,
      "loss": 4.317050170898438,
      "step": 14095
    },
    {
      "epoch": 0.47,
      "grad_norm": 1.734375,
      "learning_rate": 0.0003889915254237288,
      "loss": 4.421979904174805,
      "step": 14100
    },
    {
      "epoch": 0.4701666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0003889491525423729,
      "loss": 4.370099258422852,
      "step": 14105
    },
    {
      "epoch": 0.4703333333333333,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00038890677966101696,
      "loss": 4.35186767578125,
      "step": 14110
    },
    {
      "epoch": 0.4705,
      "grad_norm": 1.4453125,
      "learning_rate": 0.000388864406779661,
      "loss": 4.444873809814453,
      "step": 14115
    },
    {
      "epoch": 0.4706666666666667,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0003888220338983051,
      "loss": 4.475830841064453,
      "step": 14120
    },
    {
      "epoch": 0.4708333333333333,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0003887796610169492,
      "loss": 4.3045917510986325,
      "step": 14125
    },
    {
      "epoch": 0.471,
      "grad_norm": 1.59375,
      "learning_rate": 0.00038873728813559324,
      "loss": 3.7292148590087892,
      "step": 14130
    },
    {
      "epoch": 0.4711666666666667,
      "grad_norm": 1.671875,
      "learning_rate": 0.0003886949152542373,
      "loss": 3.4589912414550783,
      "step": 14135
    },
    {
      "epoch": 0.4713333333333333,
      "grad_norm": 1.703125,
      "learning_rate": 0.0003886525423728814,
      "loss": 3.7208770751953124,
      "step": 14140
    },
    {
      "epoch": 0.4715,
      "grad_norm": 2.203125,
      "learning_rate": 0.0003886101694915254,
      "loss": 3.6668140411376955,
      "step": 14145
    },
    {
      "epoch": 0.4716666666666667,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0003885677966101695,
      "loss": 3.9903182983398438,
      "step": 14150
    },
    {
      "epoch": 0.4718333333333333,
      "grad_norm": 1.578125,
      "learning_rate": 0.00038852542372881356,
      "loss": 3.4470745086669923,
      "step": 14155
    },
    {
      "epoch": 0.472,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003884830508474576,
      "loss": 4.061399841308594,
      "step": 14160
    },
    {
      "epoch": 0.4721666666666667,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0003884406779661017,
      "loss": 3.5049507141113283,
      "step": 14165
    },
    {
      "epoch": 0.4723333333333333,
      "grad_norm": 2.9375,
      "learning_rate": 0.0003883983050847458,
      "loss": 3.928315353393555,
      "step": 14170
    },
    {
      "epoch": 0.4725,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00038835593220338984,
      "loss": 4.581793212890625,
      "step": 14175
    },
    {
      "epoch": 0.4726666666666667,
      "grad_norm": 2.25,
      "learning_rate": 0.0003883135593220339,
      "loss": 4.109332275390625,
      "step": 14180
    },
    {
      "epoch": 0.4728333333333333,
      "grad_norm": 1.875,
      "learning_rate": 0.000388271186440678,
      "loss": 4.384836959838867,
      "step": 14185
    },
    {
      "epoch": 0.473,
      "grad_norm": 1.546875,
      "learning_rate": 0.000388228813559322,
      "loss": 4.341916275024414,
      "step": 14190
    },
    {
      "epoch": 0.4731666666666667,
      "grad_norm": 1.640625,
      "learning_rate": 0.0003881864406779661,
      "loss": 4.295695114135742,
      "step": 14195
    },
    {
      "epoch": 0.47333333333333333,
      "grad_norm": 2.34375,
      "learning_rate": 0.00038814406779661017,
      "loss": 3.264455032348633,
      "step": 14200
    },
    {
      "epoch": 0.4735,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00038810169491525426,
      "loss": 3.66064453125,
      "step": 14205
    },
    {
      "epoch": 0.4736666666666667,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0003880593220338983,
      "loss": 3.8316749572753905,
      "step": 14210
    },
    {
      "epoch": 0.47383333333333333,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00038801694915254235,
      "loss": 3.79073486328125,
      "step": 14215
    },
    {
      "epoch": 0.474,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00038797457627118645,
      "loss": 4.309753799438477,
      "step": 14220
    },
    {
      "epoch": 0.4741666666666667,
      "grad_norm": 1.359375,
      "learning_rate": 0.00038793220338983054,
      "loss": 4.450616455078125,
      "step": 14225
    },
    {
      "epoch": 0.47433333333333333,
      "grad_norm": 1.578125,
      "learning_rate": 0.0003878898305084746,
      "loss": 4.214786529541016,
      "step": 14230
    },
    {
      "epoch": 0.4745,
      "grad_norm": 1.640625,
      "learning_rate": 0.00038784745762711863,
      "loss": 3.898797607421875,
      "step": 14235
    },
    {
      "epoch": 0.4746666666666667,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003878050847457627,
      "loss": 4.322499084472656,
      "step": 14240
    },
    {
      "epoch": 0.47483333333333333,
      "grad_norm": 2.234375,
      "learning_rate": 0.0003877627118644068,
      "loss": 4.1448413848876955,
      "step": 14245
    },
    {
      "epoch": 0.475,
      "grad_norm": 2.28125,
      "learning_rate": 0.00038772033898305087,
      "loss": 4.187888336181641,
      "step": 14250
    },
    {
      "epoch": 0.4751666666666667,
      "grad_norm": 1.875,
      "learning_rate": 0.0003876779661016949,
      "loss": 4.2749988555908205,
      "step": 14255
    },
    {
      "epoch": 0.47533333333333333,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00038763559322033895,
      "loss": 3.9502777099609374,
      "step": 14260
    },
    {
      "epoch": 0.4755,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00038759322033898305,
      "loss": 3.6748802185058596,
      "step": 14265
    },
    {
      "epoch": 0.4756666666666667,
      "grad_norm": 1.2890625,
      "learning_rate": 0.00038755084745762715,
      "loss": 4.154854202270508,
      "step": 14270
    },
    {
      "epoch": 0.47583333333333333,
      "grad_norm": 2.34375,
      "learning_rate": 0.0003875084745762712,
      "loss": 4.062967681884766,
      "step": 14275
    },
    {
      "epoch": 0.476,
      "grad_norm": 1.9375,
      "learning_rate": 0.00038746610169491523,
      "loss": 4.577034378051758,
      "step": 14280
    },
    {
      "epoch": 0.4761666666666667,
      "grad_norm": 3.375,
      "learning_rate": 0.00038742372881355933,
      "loss": 3.8589977264404296,
      "step": 14285
    },
    {
      "epoch": 0.47633333333333333,
      "grad_norm": 3.140625,
      "learning_rate": 0.0003873813559322034,
      "loss": 3.4614688873291017,
      "step": 14290
    },
    {
      "epoch": 0.4765,
      "grad_norm": 2.140625,
      "learning_rate": 0.00038733898305084747,
      "loss": 4.532255935668945,
      "step": 14295
    },
    {
      "epoch": 0.4766666666666667,
      "grad_norm": 1.484375,
      "learning_rate": 0.0003872966101694915,
      "loss": 3.3163982391357423,
      "step": 14300
    },
    {
      "epoch": 0.47683333333333333,
      "grad_norm": 2.0625,
      "learning_rate": 0.00038725423728813555,
      "loss": 4.14615478515625,
      "step": 14305
    },
    {
      "epoch": 0.477,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0003872118644067797,
      "loss": 3.950245666503906,
      "step": 14310
    },
    {
      "epoch": 0.4771666666666667,
      "grad_norm": 2.46875,
      "learning_rate": 0.00038716949152542375,
      "loss": 4.462351226806641,
      "step": 14315
    },
    {
      "epoch": 0.47733333333333333,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0003871271186440678,
      "loss": 3.3588314056396484,
      "step": 14320
    },
    {
      "epoch": 0.4775,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00038708474576271183,
      "loss": 3.956032943725586,
      "step": 14325
    },
    {
      "epoch": 0.4776666666666667,
      "grad_norm": 1.6953125,
      "learning_rate": 0.000387042372881356,
      "loss": 4.29193229675293,
      "step": 14330
    },
    {
      "epoch": 0.47783333333333333,
      "grad_norm": 1.625,
      "learning_rate": 0.00038700000000000003,
      "loss": 4.657962036132813,
      "step": 14335
    },
    {
      "epoch": 0.478,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00038695762711864407,
      "loss": 4.228939819335937,
      "step": 14340
    },
    {
      "epoch": 0.4781666666666667,
      "grad_norm": 2.546875,
      "learning_rate": 0.0003869152542372881,
      "loss": 3.9531593322753906,
      "step": 14345
    },
    {
      "epoch": 0.47833333333333333,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0003868728813559322,
      "loss": 3.5453876495361327,
      "step": 14350
    },
    {
      "epoch": 0.4785,
      "grad_norm": 1.9453125,
      "learning_rate": 0.0003868305084745763,
      "loss": 4.758170318603516,
      "step": 14355
    },
    {
      "epoch": 0.4786666666666667,
      "grad_norm": 1.90625,
      "learning_rate": 0.00038678813559322035,
      "loss": 4.459654998779297,
      "step": 14360
    },
    {
      "epoch": 0.47883333333333333,
      "grad_norm": 2.1875,
      "learning_rate": 0.0003867457627118644,
      "loss": 2.9864845275878906,
      "step": 14365
    },
    {
      "epoch": 0.479,
      "grad_norm": 1.96875,
      "learning_rate": 0.00038670338983050844,
      "loss": 3.6595413208007814,
      "step": 14370
    },
    {
      "epoch": 0.4791666666666667,
      "grad_norm": 1.984375,
      "learning_rate": 0.0003866610169491526,
      "loss": 3.5235477447509767,
      "step": 14375
    },
    {
      "epoch": 0.47933333333333333,
      "grad_norm": 1.640625,
      "learning_rate": 0.00038661864406779663,
      "loss": 4.433193969726562,
      "step": 14380
    },
    {
      "epoch": 0.4795,
      "grad_norm": 1.421875,
      "learning_rate": 0.0003865762711864407,
      "loss": 3.866246795654297,
      "step": 14385
    },
    {
      "epoch": 0.4796666666666667,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0003865338983050847,
      "loss": 3.83607177734375,
      "step": 14390
    },
    {
      "epoch": 0.47983333333333333,
      "grad_norm": 2.203125,
      "learning_rate": 0.0003864915254237288,
      "loss": 4.245705032348633,
      "step": 14395
    },
    {
      "epoch": 0.48,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0003864491525423729,
      "loss": 4.018706893920898,
      "step": 14400
    },
    {
      "epoch": 0.4801666666666667,
      "grad_norm": 2.4375,
      "learning_rate": 0.00038640677966101695,
      "loss": 3.6304389953613283,
      "step": 14405
    },
    {
      "epoch": 0.48033333333333333,
      "grad_norm": 2.421875,
      "learning_rate": 0.000386364406779661,
      "loss": 3.8773834228515627,
      "step": 14410
    },
    {
      "epoch": 0.4805,
      "grad_norm": 1.609375,
      "learning_rate": 0.0003863220338983051,
      "loss": 4.2004951477050785,
      "step": 14415
    },
    {
      "epoch": 0.4806666666666667,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0003862796610169492,
      "loss": 4.411985778808594,
      "step": 14420
    },
    {
      "epoch": 0.48083333333333333,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00038623728813559323,
      "loss": 4.157240295410157,
      "step": 14425
    },
    {
      "epoch": 0.481,
      "grad_norm": 1.578125,
      "learning_rate": 0.0003861949152542373,
      "loss": 4.174700164794922,
      "step": 14430
    },
    {
      "epoch": 0.4811666666666667,
      "grad_norm": 1.796875,
      "learning_rate": 0.0003861525423728814,
      "loss": 3.8483016967773436,
      "step": 14435
    },
    {
      "epoch": 0.48133333333333334,
      "grad_norm": 1.515625,
      "learning_rate": 0.0003861101694915254,
      "loss": 4.457725524902344,
      "step": 14440
    },
    {
      "epoch": 0.4815,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003860677966101695,
      "loss": 3.7877151489257814,
      "step": 14445
    },
    {
      "epoch": 0.4816666666666667,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00038602542372881356,
      "loss": 3.9644519805908205,
      "step": 14450
    },
    {
      "epoch": 0.48183333333333334,
      "grad_norm": 2.03125,
      "learning_rate": 0.00038598305084745765,
      "loss": 3.960536575317383,
      "step": 14455
    },
    {
      "epoch": 0.482,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0003859406779661017,
      "loss": 4.051246261596679,
      "step": 14460
    },
    {
      "epoch": 0.4821666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0003858983050847458,
      "loss": 4.004110336303711,
      "step": 14465
    },
    {
      "epoch": 0.48233333333333334,
      "grad_norm": 1.78125,
      "learning_rate": 0.00038585593220338984,
      "loss": 4.510403823852539,
      "step": 14470
    },
    {
      "epoch": 0.4825,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0003858135593220339,
      "loss": 3.790685272216797,
      "step": 14475
    },
    {
      "epoch": 0.4826666666666667,
      "grad_norm": 1.5078125,
      "learning_rate": 0.000385771186440678,
      "loss": 3.3581008911132812,
      "step": 14480
    },
    {
      "epoch": 0.48283333333333334,
      "grad_norm": 2.15625,
      "learning_rate": 0.000385728813559322,
      "loss": 3.7141815185546876,
      "step": 14485
    },
    {
      "epoch": 0.483,
      "grad_norm": 1.2890625,
      "learning_rate": 0.0003856864406779661,
      "loss": 3.778356170654297,
      "step": 14490
    },
    {
      "epoch": 0.4831666666666667,
      "grad_norm": 2.390625,
      "learning_rate": 0.00038564406779661016,
      "loss": 3.9465293884277344,
      "step": 14495
    },
    {
      "epoch": 0.48333333333333334,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00038560169491525426,
      "loss": 4.481192779541016,
      "step": 14500
    },
    {
      "epoch": 0.4835,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0003855593220338983,
      "loss": 3.6583202362060545,
      "step": 14505
    },
    {
      "epoch": 0.4836666666666667,
      "grad_norm": 1.078125,
      "learning_rate": 0.0003855169491525424,
      "loss": 3.147964859008789,
      "step": 14510
    },
    {
      "epoch": 0.48383333333333334,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00038547457627118644,
      "loss": 3.747496795654297,
      "step": 14515
    },
    {
      "epoch": 0.484,
      "grad_norm": 2.34375,
      "learning_rate": 0.00038543220338983054,
      "loss": 2.8668766021728516,
      "step": 14520
    },
    {
      "epoch": 0.4841666666666667,
      "grad_norm": 1.1640625,
      "learning_rate": 0.0003853898305084746,
      "loss": 3.0662839889526365,
      "step": 14525
    },
    {
      "epoch": 0.48433333333333334,
      "grad_norm": 2.15625,
      "learning_rate": 0.0003853474576271186,
      "loss": 4.198823165893555,
      "step": 14530
    },
    {
      "epoch": 0.4845,
      "grad_norm": 1.875,
      "learning_rate": 0.0003853050847457627,
      "loss": 4.220208358764649,
      "step": 14535
    },
    {
      "epoch": 0.4846666666666667,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0003852627118644068,
      "loss": 3.834736633300781,
      "step": 14540
    },
    {
      "epoch": 0.48483333333333334,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00038522033898305086,
      "loss": 4.6354827880859375,
      "step": 14545
    },
    {
      "epoch": 0.485,
      "grad_norm": 2.34375,
      "learning_rate": 0.0003851779661016949,
      "loss": 3.470258331298828,
      "step": 14550
    },
    {
      "epoch": 0.4851666666666667,
      "grad_norm": 2.640625,
      "learning_rate": 0.000385135593220339,
      "loss": 4.556085205078125,
      "step": 14555
    },
    {
      "epoch": 0.48533333333333334,
      "grad_norm": 3.296875,
      "learning_rate": 0.0003850932203389831,
      "loss": 4.657078552246094,
      "step": 14560
    },
    {
      "epoch": 0.4855,
      "grad_norm": 1.578125,
      "learning_rate": 0.00038505084745762714,
      "loss": 3.9694889068603514,
      "step": 14565
    },
    {
      "epoch": 0.4856666666666667,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0003850084745762712,
      "loss": 3.309253692626953,
      "step": 14570
    },
    {
      "epoch": 0.48583333333333334,
      "grad_norm": 2.703125,
      "learning_rate": 0.0003849661016949152,
      "loss": 3.5961349487304686,
      "step": 14575
    },
    {
      "epoch": 0.486,
      "grad_norm": 1.515625,
      "learning_rate": 0.0003849237288135593,
      "loss": 3.7828437805175783,
      "step": 14580
    },
    {
      "epoch": 0.4861666666666667,
      "grad_norm": 1.953125,
      "learning_rate": 0.0003848813559322034,
      "loss": 4.332705688476563,
      "step": 14585
    },
    {
      "epoch": 0.48633333333333334,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00038483898305084746,
      "loss": 3.877890777587891,
      "step": 14590
    },
    {
      "epoch": 0.4865,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0003847966101694915,
      "loss": 4.242120742797852,
      "step": 14595
    },
    {
      "epoch": 0.4866666666666667,
      "grad_norm": 1.703125,
      "learning_rate": 0.0003847542372881356,
      "loss": 3.8438323974609374,
      "step": 14600
    },
    {
      "epoch": 0.48683333333333334,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0003847118644067797,
      "loss": 3.9312232971191405,
      "step": 14605
    },
    {
      "epoch": 0.487,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00038466949152542374,
      "loss": 3.9830177307128904,
      "step": 14610
    },
    {
      "epoch": 0.4871666666666667,
      "grad_norm": 2.671875,
      "learning_rate": 0.0003846271186440678,
      "loss": 3.411494827270508,
      "step": 14615
    },
    {
      "epoch": 0.48733333333333334,
      "grad_norm": 2.234375,
      "learning_rate": 0.00038458474576271183,
      "loss": 4.021220397949219,
      "step": 14620
    },
    {
      "epoch": 0.4875,
      "grad_norm": 1.578125,
      "learning_rate": 0.000384542372881356,
      "loss": 3.775341033935547,
      "step": 14625
    },
    {
      "epoch": 0.4876666666666667,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0003845,
      "loss": 4.260440063476563,
      "step": 14630
    },
    {
      "epoch": 0.48783333333333334,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00038445762711864406,
      "loss": 4.526578521728515,
      "step": 14635
    },
    {
      "epoch": 0.488,
      "grad_norm": 1.953125,
      "learning_rate": 0.0003844152542372881,
      "loss": 4.373173522949219,
      "step": 14640
    },
    {
      "epoch": 0.4881666666666667,
      "grad_norm": 1.640625,
      "learning_rate": 0.00038437288135593226,
      "loss": 3.810176467895508,
      "step": 14645
    },
    {
      "epoch": 0.48833333333333334,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0003843305084745763,
      "loss": 4.022967147827148,
      "step": 14650
    },
    {
      "epoch": 0.4885,
      "grad_norm": 2.65625,
      "learning_rate": 0.00038428813559322034,
      "loss": 3.5676998138427733,
      "step": 14655
    },
    {
      "epoch": 0.4886666666666667,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003842457627118644,
      "loss": 4.241201019287109,
      "step": 14660
    },
    {
      "epoch": 0.48883333333333334,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0003842033898305085,
      "loss": 3.5857696533203125,
      "step": 14665
    },
    {
      "epoch": 0.489,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0003841610169491526,
      "loss": 4.351661300659179,
      "step": 14670
    },
    {
      "epoch": 0.4891666666666667,
      "grad_norm": 3.390625,
      "learning_rate": 0.0003841186440677966,
      "loss": 4.117906951904297,
      "step": 14675
    },
    {
      "epoch": 0.48933333333333334,
      "grad_norm": 1.65625,
      "learning_rate": 0.00038407627118644067,
      "loss": 4.28472785949707,
      "step": 14680
    },
    {
      "epoch": 0.4895,
      "grad_norm": 2.015625,
      "learning_rate": 0.0003840338983050847,
      "loss": 4.417601776123047,
      "step": 14685
    },
    {
      "epoch": 0.48966666666666664,
      "grad_norm": 1.640625,
      "learning_rate": 0.00038399152542372886,
      "loss": 4.129052734375,
      "step": 14690
    },
    {
      "epoch": 0.48983333333333334,
      "grad_norm": 2.875,
      "learning_rate": 0.0003839491525423729,
      "loss": 4.561597061157227,
      "step": 14695
    },
    {
      "epoch": 0.49,
      "grad_norm": 2.296875,
      "learning_rate": 0.00038390677966101695,
      "loss": 4.087821197509766,
      "step": 14700
    },
    {
      "epoch": 0.49016666666666664,
      "grad_norm": 1.7890625,
      "learning_rate": 0.000383864406779661,
      "loss": 4.181523132324219,
      "step": 14705
    },
    {
      "epoch": 0.49033333333333334,
      "grad_norm": 1.671875,
      "learning_rate": 0.0003838220338983051,
      "loss": 3.7863670349121095,
      "step": 14710
    },
    {
      "epoch": 0.4905,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0003837796610169492,
      "loss": 3.8632598876953126,
      "step": 14715
    },
    {
      "epoch": 0.49066666666666664,
      "grad_norm": 2.421875,
      "learning_rate": 0.00038373728813559323,
      "loss": 3.830194091796875,
      "step": 14720
    },
    {
      "epoch": 0.49083333333333334,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00038369491525423727,
      "loss": 4.245816040039062,
      "step": 14725
    },
    {
      "epoch": 0.491,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00038365254237288137,
      "loss": 3.2123035430908202,
      "step": 14730
    },
    {
      "epoch": 0.49116666666666664,
      "grad_norm": 1.671875,
      "learning_rate": 0.00038361016949152546,
      "loss": 3.369600296020508,
      "step": 14735
    },
    {
      "epoch": 0.49133333333333334,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003835677966101695,
      "loss": 3.29031982421875,
      "step": 14740
    },
    {
      "epoch": 0.4915,
      "grad_norm": 1.59375,
      "learning_rate": 0.00038352542372881355,
      "loss": 3.5569568634033204,
      "step": 14745
    },
    {
      "epoch": 0.49166666666666664,
      "grad_norm": 2.625,
      "learning_rate": 0.00038348305084745765,
      "loss": 4.235961151123047,
      "step": 14750
    },
    {
      "epoch": 0.49183333333333334,
      "grad_norm": 1.5,
      "learning_rate": 0.0003834406779661017,
      "loss": 3.9003372192382812,
      "step": 14755
    },
    {
      "epoch": 0.492,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0003833983050847458,
      "loss": 4.5226287841796875,
      "step": 14760
    },
    {
      "epoch": 0.49216666666666664,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00038335593220338983,
      "loss": 4.015967178344726,
      "step": 14765
    },
    {
      "epoch": 0.49233333333333335,
      "grad_norm": 1.765625,
      "learning_rate": 0.00038331355932203393,
      "loss": 3.102984809875488,
      "step": 14770
    },
    {
      "epoch": 0.4925,
      "grad_norm": 2.390625,
      "learning_rate": 0.00038327118644067797,
      "loss": 4.458794403076172,
      "step": 14775
    },
    {
      "epoch": 0.49266666666666664,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00038322881355932207,
      "loss": 4.140177536010742,
      "step": 14780
    },
    {
      "epoch": 0.49283333333333335,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0003831864406779661,
      "loss": 3.6300079345703127,
      "step": 14785
    },
    {
      "epoch": 0.493,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00038314406779661015,
      "loss": 4.188722229003906,
      "step": 14790
    },
    {
      "epoch": 0.49316666666666664,
      "grad_norm": 3.015625,
      "learning_rate": 0.00038310169491525425,
      "loss": 4.335884857177734,
      "step": 14795
    },
    {
      "epoch": 0.49333333333333335,
      "grad_norm": 2.265625,
      "learning_rate": 0.0003830593220338983,
      "loss": 3.1912683486938476,
      "step": 14800
    },
    {
      "epoch": 0.4935,
      "grad_norm": 2.1875,
      "learning_rate": 0.0003830169491525424,
      "loss": 3.213349151611328,
      "step": 14805
    },
    {
      "epoch": 0.49366666666666664,
      "grad_norm": 2.234375,
      "learning_rate": 0.00038297457627118643,
      "loss": 4.539602279663086,
      "step": 14810
    },
    {
      "epoch": 0.49383333333333335,
      "grad_norm": 2.390625,
      "learning_rate": 0.00038293220338983053,
      "loss": 3.2387149810791014,
      "step": 14815
    },
    {
      "epoch": 0.494,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00038288983050847457,
      "loss": 4.321623229980469,
      "step": 14820
    },
    {
      "epoch": 0.49416666666666664,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00038284745762711867,
      "loss": 3.6177078247070313,
      "step": 14825
    },
    {
      "epoch": 0.49433333333333335,
      "grad_norm": 2.625,
      "learning_rate": 0.0003828050847457627,
      "loss": 4.768731307983399,
      "step": 14830
    },
    {
      "epoch": 0.4945,
      "grad_norm": 2.296875,
      "learning_rate": 0.0003827627118644068,
      "loss": 4.187152862548828,
      "step": 14835
    },
    {
      "epoch": 0.49466666666666664,
      "grad_norm": 1.859375,
      "learning_rate": 0.00038272033898305085,
      "loss": 3.6506004333496094,
      "step": 14840
    },
    {
      "epoch": 0.49483333333333335,
      "grad_norm": 1.703125,
      "learning_rate": 0.0003826779661016949,
      "loss": 3.753157043457031,
      "step": 14845
    },
    {
      "epoch": 0.495,
      "grad_norm": 2.015625,
      "learning_rate": 0.000382635593220339,
      "loss": 4.282249450683594,
      "step": 14850
    },
    {
      "epoch": 0.49516666666666664,
      "grad_norm": 1.546875,
      "learning_rate": 0.0003825932203389831,
      "loss": 4.473931121826172,
      "step": 14855
    },
    {
      "epoch": 0.49533333333333335,
      "grad_norm": 1.3828125,
      "learning_rate": 0.00038255084745762713,
      "loss": 4.055599212646484,
      "step": 14860
    },
    {
      "epoch": 0.4955,
      "grad_norm": 1.296875,
      "learning_rate": 0.0003825084745762712,
      "loss": 3.09973258972168,
      "step": 14865
    },
    {
      "epoch": 0.49566666666666664,
      "grad_norm": 1.78125,
      "learning_rate": 0.00038246610169491527,
      "loss": 4.272895050048828,
      "step": 14870
    },
    {
      "epoch": 0.49583333333333335,
      "grad_norm": 2.03125,
      "learning_rate": 0.00038242372881355937,
      "loss": 3.9103790283203126,
      "step": 14875
    },
    {
      "epoch": 0.496,
      "grad_norm": 1.2265625,
      "learning_rate": 0.0003823813559322034,
      "loss": 3.091788673400879,
      "step": 14880
    },
    {
      "epoch": 0.49616666666666664,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00038233898305084746,
      "loss": 4.489595794677735,
      "step": 14885
    },
    {
      "epoch": 0.49633333333333335,
      "grad_norm": 1.2421875,
      "learning_rate": 0.0003822966101694915,
      "loss": 3.7979248046875,
      "step": 14890
    },
    {
      "epoch": 0.4965,
      "grad_norm": 2.453125,
      "learning_rate": 0.0003822542372881356,
      "loss": 3.490194320678711,
      "step": 14895
    },
    {
      "epoch": 0.49666666666666665,
      "grad_norm": 1.703125,
      "learning_rate": 0.0003822118644067797,
      "loss": 3.3506134033203123,
      "step": 14900
    },
    {
      "epoch": 0.49683333333333335,
      "grad_norm": 1.9921875,
      "learning_rate": 0.00038216949152542374,
      "loss": 4.272846221923828,
      "step": 14905
    },
    {
      "epoch": 0.497,
      "grad_norm": 1.90625,
      "learning_rate": 0.0003821271186440678,
      "loss": 4.055670928955078,
      "step": 14910
    },
    {
      "epoch": 0.49716666666666665,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0003820847457627119,
      "loss": 3.355195236206055,
      "step": 14915
    },
    {
      "epoch": 0.49733333333333335,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00038204237288135597,
      "loss": 4.188613510131836,
      "step": 14920
    },
    {
      "epoch": 0.4975,
      "grad_norm": 1.4453125,
      "learning_rate": 0.000382,
      "loss": 3.8680644989013673,
      "step": 14925
    },
    {
      "epoch": 0.49766666666666665,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00038195762711864406,
      "loss": 3.8703369140625,
      "step": 14930
    },
    {
      "epoch": 0.49783333333333335,
      "grad_norm": 1.5625,
      "learning_rate": 0.0003819152542372881,
      "loss": 3.5819576263427733,
      "step": 14935
    },
    {
      "epoch": 0.498,
      "grad_norm": 1.5,
      "learning_rate": 0.00038187288135593225,
      "loss": 3.873946762084961,
      "step": 14940
    },
    {
      "epoch": 0.49816666666666665,
      "grad_norm": 1.5625,
      "learning_rate": 0.0003818305084745763,
      "loss": 4.416167068481445,
      "step": 14945
    },
    {
      "epoch": 0.49833333333333335,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00038178813559322034,
      "loss": 4.1530517578125,
      "step": 14950
    },
    {
      "epoch": 0.4985,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003817457627118644,
      "loss": 4.0549263000488285,
      "step": 14955
    },
    {
      "epoch": 0.49866666666666665,
      "grad_norm": 1.46875,
      "learning_rate": 0.00038170338983050853,
      "loss": 3.6541458129882813,
      "step": 14960
    },
    {
      "epoch": 0.49883333333333335,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003816610169491526,
      "loss": 4.4087871551513675,
      "step": 14965
    },
    {
      "epoch": 0.499,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0003816186440677966,
      "loss": 3.9143131256103514,
      "step": 14970
    },
    {
      "epoch": 0.49916666666666665,
      "grad_norm": 1.984375,
      "learning_rate": 0.00038157627118644066,
      "loss": 4.227687072753906,
      "step": 14975
    },
    {
      "epoch": 0.49933333333333335,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00038153389830508476,
      "loss": 3.9051891326904298,
      "step": 14980
    },
    {
      "epoch": 0.4995,
      "grad_norm": 1.828125,
      "learning_rate": 0.00038149152542372886,
      "loss": 4.231622314453125,
      "step": 14985
    },
    {
      "epoch": 0.49966666666666665,
      "grad_norm": 2.375,
      "learning_rate": 0.0003814491525423729,
      "loss": 3.8914913177490233,
      "step": 14990
    },
    {
      "epoch": 0.49983333333333335,
      "grad_norm": 1.3828125,
      "learning_rate": 0.00038140677966101694,
      "loss": 3.594167709350586,
      "step": 14995
    },
    {
      "epoch": 0.5,
      "grad_norm": 1.4140625,
      "learning_rate": 0.000381364406779661,
      "loss": 3.2315013885498045,
      "step": 15000
    },
    {
      "epoch": 0.5001666666666666,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00038132203389830514,
      "loss": 3.9031604766845702,
      "step": 15005
    },
    {
      "epoch": 0.5003333333333333,
      "grad_norm": 2.3125,
      "learning_rate": 0.0003812796610169492,
      "loss": 4.126407623291016,
      "step": 15010
    },
    {
      "epoch": 0.5005,
      "grad_norm": 3.640625,
      "learning_rate": 0.0003812372881355932,
      "loss": 3.111611747741699,
      "step": 15015
    },
    {
      "epoch": 0.5006666666666667,
      "grad_norm": 2.265625,
      "learning_rate": 0.00038119491525423726,
      "loss": 3.4599342346191406,
      "step": 15020
    },
    {
      "epoch": 0.5008333333333334,
      "grad_norm": 1.921875,
      "learning_rate": 0.00038115254237288136,
      "loss": 4.285900115966797,
      "step": 15025
    },
    {
      "epoch": 0.501,
      "grad_norm": 2.984375,
      "learning_rate": 0.00038111016949152546,
      "loss": 4.845349884033203,
      "step": 15030
    },
    {
      "epoch": 0.5011666666666666,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0003810677966101695,
      "loss": 4.228705215454101,
      "step": 15035
    },
    {
      "epoch": 0.5013333333333333,
      "grad_norm": 2.484375,
      "learning_rate": 0.00038102542372881354,
      "loss": 4.379734039306641,
      "step": 15040
    },
    {
      "epoch": 0.5015,
      "grad_norm": 1.859375,
      "learning_rate": 0.00038098305084745764,
      "loss": 4.159635925292969,
      "step": 15045
    },
    {
      "epoch": 0.5016666666666667,
      "grad_norm": 1.6875,
      "learning_rate": 0.00038094067796610174,
      "loss": 4.190032958984375,
      "step": 15050
    },
    {
      "epoch": 0.5018333333333334,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0003808983050847458,
      "loss": 3.882047653198242,
      "step": 15055
    },
    {
      "epoch": 0.502,
      "grad_norm": 2.15625,
      "learning_rate": 0.0003808559322033898,
      "loss": 3.9097084045410155,
      "step": 15060
    },
    {
      "epoch": 0.5021666666666667,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003808135593220339,
      "loss": 3.8000442504882814,
      "step": 15065
    },
    {
      "epoch": 0.5023333333333333,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00038077118644067796,
      "loss": 2.9900882720947264,
      "step": 15070
    },
    {
      "epoch": 0.5025,
      "grad_norm": 2.140625,
      "learning_rate": 0.00038072881355932206,
      "loss": 3.488933563232422,
      "step": 15075
    },
    {
      "epoch": 0.5026666666666667,
      "grad_norm": 2.21875,
      "learning_rate": 0.0003806864406779661,
      "loss": 4.205252838134766,
      "step": 15080
    },
    {
      "epoch": 0.5028333333333334,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0003806440677966102,
      "loss": 4.074468612670898,
      "step": 15085
    },
    {
      "epoch": 0.503,
      "grad_norm": 5.03125,
      "learning_rate": 0.00038060169491525424,
      "loss": 3.407291030883789,
      "step": 15090
    },
    {
      "epoch": 0.5031666666666667,
      "grad_norm": 1.3125,
      "learning_rate": 0.00038055932203389834,
      "loss": 3.4548248291015624,
      "step": 15095
    },
    {
      "epoch": 0.5033333333333333,
      "grad_norm": 1.984375,
      "learning_rate": 0.0003805169491525424,
      "loss": 3.970531463623047,
      "step": 15100
    },
    {
      "epoch": 0.5035,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0003804745762711864,
      "loss": 4.1365100860595705,
      "step": 15105
    },
    {
      "epoch": 0.5036666666666667,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0003804322033898305,
      "loss": 3.639692687988281,
      "step": 15110
    },
    {
      "epoch": 0.5038333333333334,
      "grad_norm": 1.4609375,
      "learning_rate": 0.00038038983050847457,
      "loss": 3.669611358642578,
      "step": 15115
    },
    {
      "epoch": 0.504,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00038034745762711866,
      "loss": 3.224880599975586,
      "step": 15120
    },
    {
      "epoch": 0.5041666666666667,
      "grad_norm": 1.828125,
      "learning_rate": 0.0003803050847457627,
      "loss": 4.0553028106689455,
      "step": 15125
    },
    {
      "epoch": 0.5043333333333333,
      "grad_norm": 1.453125,
      "learning_rate": 0.0003802627118644068,
      "loss": 3.9885581970214843,
      "step": 15130
    },
    {
      "epoch": 0.5045,
      "grad_norm": 2.5625,
      "learning_rate": 0.00038022033898305085,
      "loss": 4.1395210266113285,
      "step": 15135
    },
    {
      "epoch": 0.5046666666666667,
      "grad_norm": 1.875,
      "learning_rate": 0.00038017796610169494,
      "loss": 4.168968963623047,
      "step": 15140
    },
    {
      "epoch": 0.5048333333333334,
      "grad_norm": 1.703125,
      "learning_rate": 0.000380135593220339,
      "loss": 4.779055786132813,
      "step": 15145
    },
    {
      "epoch": 0.505,
      "grad_norm": 1.875,
      "learning_rate": 0.0003800932203389831,
      "loss": 3.7895477294921873,
      "step": 15150
    },
    {
      "epoch": 0.5051666666666667,
      "grad_norm": 1.59375,
      "learning_rate": 0.0003800508474576271,
      "loss": 3.832926559448242,
      "step": 15155
    },
    {
      "epoch": 0.5053333333333333,
      "grad_norm": 2.078125,
      "learning_rate": 0.00038000847457627117,
      "loss": 3.929425048828125,
      "step": 15160
    },
    {
      "epoch": 0.5055,
      "grad_norm": 1.53125,
      "learning_rate": 0.00037996610169491527,
      "loss": 3.5639652252197265,
      "step": 15165
    },
    {
      "epoch": 0.5056666666666667,
      "grad_norm": 1.2265625,
      "learning_rate": 0.00037992372881355936,
      "loss": 3.743102264404297,
      "step": 15170
    },
    {
      "epoch": 0.5058333333333334,
      "grad_norm": 1.59375,
      "learning_rate": 0.0003798813559322034,
      "loss": 4.278413009643555,
      "step": 15175
    },
    {
      "epoch": 0.506,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00037983898305084745,
      "loss": 4.1412406921386715,
      "step": 15180
    },
    {
      "epoch": 0.5061666666666667,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003797966101694915,
      "loss": 3.68189697265625,
      "step": 15185
    },
    {
      "epoch": 0.5063333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.00037975423728813564,
      "loss": 4.21980094909668,
      "step": 15190
    },
    {
      "epoch": 0.5065,
      "grad_norm": 2.09375,
      "learning_rate": 0.0003797118644067797,
      "loss": 4.585978317260742,
      "step": 15195
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 1.4296875,
      "learning_rate": 0.00037966949152542373,
      "loss": 4.109719085693359,
      "step": 15200
    },
    {
      "epoch": 0.5068333333333334,
      "grad_norm": 4.75,
      "learning_rate": 0.00037962711864406777,
      "loss": 4.410186767578125,
      "step": 15205
    },
    {
      "epoch": 0.507,
      "grad_norm": 4.5,
      "learning_rate": 0.00037958474576271187,
      "loss": 4.362932586669922,
      "step": 15210
    },
    {
      "epoch": 0.5071666666666667,
      "grad_norm": 2.484375,
      "learning_rate": 0.00037954237288135597,
      "loss": 3.575168991088867,
      "step": 15215
    },
    {
      "epoch": 0.5073333333333333,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003795,
      "loss": 3.5579063415527346,
      "step": 15220
    },
    {
      "epoch": 0.5075,
      "grad_norm": 1.3046875,
      "learning_rate": 0.00037945762711864405,
      "loss": 3.9088371276855467,
      "step": 15225
    },
    {
      "epoch": 0.5076666666666667,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0003794152542372881,
      "loss": 3.8102622985839845,
      "step": 15230
    },
    {
      "epoch": 0.5078333333333334,
      "grad_norm": 2.953125,
      "learning_rate": 0.00037937288135593225,
      "loss": 4.572472381591797,
      "step": 15235
    },
    {
      "epoch": 0.508,
      "grad_norm": 1.671875,
      "learning_rate": 0.0003793305084745763,
      "loss": 3.3955322265625,
      "step": 15240
    },
    {
      "epoch": 0.5081666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00037928813559322033,
      "loss": 3.71754150390625,
      "step": 15245
    },
    {
      "epoch": 0.5083333333333333,
      "grad_norm": 2.171875,
      "learning_rate": 0.0003792457627118644,
      "loss": 3.7102806091308596,
      "step": 15250
    },
    {
      "epoch": 0.5085,
      "grad_norm": 3.484375,
      "learning_rate": 0.0003792033898305085,
      "loss": 4.644221496582031,
      "step": 15255
    },
    {
      "epoch": 0.5086666666666667,
      "grad_norm": 1.9765625,
      "learning_rate": 0.00037916101694915257,
      "loss": 4.540225219726563,
      "step": 15260
    },
    {
      "epoch": 0.5088333333333334,
      "grad_norm": 1.625,
      "learning_rate": 0.0003791186440677966,
      "loss": 3.913214111328125,
      "step": 15265
    },
    {
      "epoch": 0.509,
      "grad_norm": 1.234375,
      "learning_rate": 0.00037907627118644065,
      "loss": 3.2995513916015624,
      "step": 15270
    },
    {
      "epoch": 0.5091666666666667,
      "grad_norm": 1.921875,
      "learning_rate": 0.0003790338983050848,
      "loss": 4.008590316772461,
      "step": 15275
    },
    {
      "epoch": 0.5093333333333333,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00037899152542372885,
      "loss": 4.306893539428711,
      "step": 15280
    },
    {
      "epoch": 0.5095,
      "grad_norm": 2.59375,
      "learning_rate": 0.0003789491525423729,
      "loss": 3.8177768707275392,
      "step": 15285
    },
    {
      "epoch": 0.5096666666666667,
      "grad_norm": 1.71875,
      "learning_rate": 0.00037890677966101693,
      "loss": 3.6545642852783202,
      "step": 15290
    },
    {
      "epoch": 0.5098333333333334,
      "grad_norm": 3.59375,
      "learning_rate": 0.000378864406779661,
      "loss": 3.796377182006836,
      "step": 15295
    },
    {
      "epoch": 0.51,
      "grad_norm": 2.78125,
      "learning_rate": 0.00037882203389830513,
      "loss": 4.675341796875,
      "step": 15300
    },
    {
      "epoch": 0.5101666666666667,
      "grad_norm": 2.546875,
      "learning_rate": 0.00037877966101694917,
      "loss": 3.160097122192383,
      "step": 15305
    },
    {
      "epoch": 0.5103333333333333,
      "grad_norm": 3.21875,
      "learning_rate": 0.0003787372881355932,
      "loss": 3.9880649566650392,
      "step": 15310
    },
    {
      "epoch": 0.5105,
      "grad_norm": 2.578125,
      "learning_rate": 0.00037869491525423726,
      "loss": 3.755115509033203,
      "step": 15315
    },
    {
      "epoch": 0.5106666666666667,
      "grad_norm": 2.34375,
      "learning_rate": 0.00037865254237288135,
      "loss": 3.791398620605469,
      "step": 15320
    },
    {
      "epoch": 0.5108333333333334,
      "grad_norm": 1.234375,
      "learning_rate": 0.00037861016949152545,
      "loss": 3.167134094238281,
      "step": 15325
    },
    {
      "epoch": 0.511,
      "grad_norm": 2.890625,
      "learning_rate": 0.0003785677966101695,
      "loss": 4.062650299072265,
      "step": 15330
    },
    {
      "epoch": 0.5111666666666667,
      "grad_norm": 1.6875,
      "learning_rate": 0.00037852542372881354,
      "loss": 4.031908416748047,
      "step": 15335
    },
    {
      "epoch": 0.5113333333333333,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00037848305084745763,
      "loss": 3.486927795410156,
      "step": 15340
    },
    {
      "epoch": 0.5115,
      "grad_norm": 1.734375,
      "learning_rate": 0.00037844067796610173,
      "loss": 4.509296417236328,
      "step": 15345
    },
    {
      "epoch": 0.5116666666666667,
      "grad_norm": 1.875,
      "learning_rate": 0.0003783983050847458,
      "loss": 3.609507369995117,
      "step": 15350
    },
    {
      "epoch": 0.5118333333333334,
      "grad_norm": 1.4375,
      "learning_rate": 0.0003783559322033898,
      "loss": 3.72764892578125,
      "step": 15355
    },
    {
      "epoch": 0.512,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0003783135593220339,
      "loss": 3.3226898193359373,
      "step": 15360
    },
    {
      "epoch": 0.5121666666666667,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00037827118644067796,
      "loss": 2.757552719116211,
      "step": 15365
    },
    {
      "epoch": 0.5123333333333333,
      "grad_norm": 1.609375,
      "learning_rate": 0.00037822881355932205,
      "loss": 4.317387390136719,
      "step": 15370
    },
    {
      "epoch": 0.5125,
      "grad_norm": 1.578125,
      "learning_rate": 0.0003781864406779661,
      "loss": 3.9546882629394533,
      "step": 15375
    },
    {
      "epoch": 0.5126666666666667,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0003781440677966102,
      "loss": 3.858074951171875,
      "step": 15380
    },
    {
      "epoch": 0.5128333333333334,
      "grad_norm": 1.9375,
      "learning_rate": 0.00037810169491525424,
      "loss": 4.113788223266601,
      "step": 15385
    },
    {
      "epoch": 0.513,
      "grad_norm": 1.2421875,
      "learning_rate": 0.00037805932203389833,
      "loss": 3.485026550292969,
      "step": 15390
    },
    {
      "epoch": 0.5131666666666667,
      "grad_norm": 1.3046875,
      "learning_rate": 0.0003780169491525424,
      "loss": 3.9887100219726563,
      "step": 15395
    },
    {
      "epoch": 0.5133333333333333,
      "grad_norm": 2.890625,
      "learning_rate": 0.0003779745762711864,
      "loss": 4.765140533447266,
      "step": 15400
    },
    {
      "epoch": 0.5135,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0003779322033898305,
      "loss": 4.047566986083984,
      "step": 15405
    },
    {
      "epoch": 0.5136666666666667,
      "grad_norm": 1.9296875,
      "learning_rate": 0.00037788983050847456,
      "loss": 2.6122806549072264,
      "step": 15410
    },
    {
      "epoch": 0.5138333333333334,
      "grad_norm": 1.328125,
      "learning_rate": 0.00037784745762711866,
      "loss": 3.362308883666992,
      "step": 15415
    },
    {
      "epoch": 0.514,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0003778050847457627,
      "loss": 3.6442401885986326,
      "step": 15420
    },
    {
      "epoch": 0.5141666666666667,
      "grad_norm": 2.734375,
      "learning_rate": 0.0003777627118644068,
      "loss": 4.035936737060547,
      "step": 15425
    },
    {
      "epoch": 0.5143333333333333,
      "grad_norm": 3.1875,
      "learning_rate": 0.00037772033898305084,
      "loss": 3.744873809814453,
      "step": 15430
    },
    {
      "epoch": 0.5145,
      "grad_norm": 2.203125,
      "learning_rate": 0.00037767796610169494,
      "loss": 4.053387069702149,
      "step": 15435
    },
    {
      "epoch": 0.5146666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.000377635593220339,
      "loss": 4.3095848083496096,
      "step": 15440
    },
    {
      "epoch": 0.5148333333333334,
      "grad_norm": 1.53125,
      "learning_rate": 0.0003775932203389831,
      "loss": 3.8227203369140623,
      "step": 15445
    },
    {
      "epoch": 0.515,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003775508474576271,
      "loss": 4.399474334716797,
      "step": 15450
    },
    {
      "epoch": 0.5151666666666667,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00037750847457627116,
      "loss": 3.6806804656982424,
      "step": 15455
    },
    {
      "epoch": 0.5153333333333333,
      "grad_norm": 1.234375,
      "learning_rate": 0.00037746610169491526,
      "loss": 3.6477993011474608,
      "step": 15460
    },
    {
      "epoch": 0.5155,
      "grad_norm": 2.140625,
      "learning_rate": 0.00037742372881355936,
      "loss": 4.337255477905273,
      "step": 15465
    },
    {
      "epoch": 0.5156666666666667,
      "grad_norm": 1.3359375,
      "learning_rate": 0.0003773813559322034,
      "loss": 3.1449317932128906,
      "step": 15470
    },
    {
      "epoch": 0.5158333333333334,
      "grad_norm": 3.3125,
      "learning_rate": 0.00037733898305084744,
      "loss": 4.769260406494141,
      "step": 15475
    },
    {
      "epoch": 0.516,
      "grad_norm": 1.65625,
      "learning_rate": 0.00037729661016949154,
      "loss": 3.8240074157714843,
      "step": 15480
    },
    {
      "epoch": 0.5161666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00037725423728813564,
      "loss": 4.103054809570312,
      "step": 15485
    },
    {
      "epoch": 0.5163333333333333,
      "grad_norm": 2.359375,
      "learning_rate": 0.0003772118644067797,
      "loss": 3.627206039428711,
      "step": 15490
    },
    {
      "epoch": 0.5165,
      "grad_norm": 3.265625,
      "learning_rate": 0.0003771694915254237,
      "loss": 3.6833248138427734,
      "step": 15495
    },
    {
      "epoch": 0.5166666666666667,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00037712711864406777,
      "loss": 3.9778587341308596,
      "step": 15500
    },
    {
      "epoch": 0.5168333333333334,
      "grad_norm": 2.234375,
      "learning_rate": 0.00037708474576271186,
      "loss": 3.9666748046875,
      "step": 15505
    },
    {
      "epoch": 0.517,
      "grad_norm": 2.640625,
      "learning_rate": 0.00037704237288135596,
      "loss": 3.391012954711914,
      "step": 15510
    },
    {
      "epoch": 0.5171666666666667,
      "grad_norm": 1.8671875,
      "learning_rate": 0.000377,
      "loss": 4.171459197998047,
      "step": 15515
    },
    {
      "epoch": 0.5173333333333333,
      "grad_norm": 1.5625,
      "learning_rate": 0.00037695762711864405,
      "loss": 3.409018707275391,
      "step": 15520
    },
    {
      "epoch": 0.5175,
      "grad_norm": 1.546875,
      "learning_rate": 0.00037691525423728814,
      "loss": 3.4271316528320312,
      "step": 15525
    },
    {
      "epoch": 0.5176666666666667,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00037687288135593224,
      "loss": 4.460323715209961,
      "step": 15530
    },
    {
      "epoch": 0.5178333333333334,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0003768305084745763,
      "loss": 4.645083618164063,
      "step": 15535
    },
    {
      "epoch": 0.518,
      "grad_norm": 1.546875,
      "learning_rate": 0.0003767881355932203,
      "loss": 3.8317760467529296,
      "step": 15540
    },
    {
      "epoch": 0.5181666666666667,
      "grad_norm": 1.3671875,
      "learning_rate": 0.00037674576271186437,
      "loss": 3.797772216796875,
      "step": 15545
    },
    {
      "epoch": 0.5183333333333333,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0003767033898305085,
      "loss": 3.5315567016601563,
      "step": 15550
    },
    {
      "epoch": 0.5185,
      "grad_norm": 1.546875,
      "learning_rate": 0.00037666101694915256,
      "loss": 3.947721481323242,
      "step": 15555
    },
    {
      "epoch": 0.5186666666666667,
      "grad_norm": 1.296875,
      "learning_rate": 0.0003766186440677966,
      "loss": 3.0145288467407227,
      "step": 15560
    },
    {
      "epoch": 0.5188333333333334,
      "grad_norm": 2.640625,
      "learning_rate": 0.00037657627118644065,
      "loss": 3.516360855102539,
      "step": 15565
    },
    {
      "epoch": 0.519,
      "grad_norm": 1.578125,
      "learning_rate": 0.0003765338983050848,
      "loss": 3.712668228149414,
      "step": 15570
    },
    {
      "epoch": 0.5191666666666667,
      "grad_norm": 1.40625,
      "learning_rate": 0.00037649152542372884,
      "loss": 3.193373680114746,
      "step": 15575
    },
    {
      "epoch": 0.5193333333333333,
      "grad_norm": 2.609375,
      "learning_rate": 0.0003764491525423729,
      "loss": 4.388214111328125,
      "step": 15580
    },
    {
      "epoch": 0.5195,
      "grad_norm": 1.609375,
      "learning_rate": 0.00037640677966101693,
      "loss": 2.8867382049560546,
      "step": 15585
    },
    {
      "epoch": 0.5196666666666667,
      "grad_norm": 1.4765625,
      "learning_rate": 0.000376364406779661,
      "loss": 2.802924919128418,
      "step": 15590
    },
    {
      "epoch": 0.5198333333333334,
      "grad_norm": 1.328125,
      "learning_rate": 0.0003763220338983051,
      "loss": 4.035836029052734,
      "step": 15595
    },
    {
      "epoch": 0.52,
      "grad_norm": 2.5625,
      "learning_rate": 0.00037627966101694916,
      "loss": 3.9210792541503907,
      "step": 15600
    },
    {
      "epoch": 0.5201666666666667,
      "grad_norm": 1.890625,
      "learning_rate": 0.0003762372881355932,
      "loss": 4.4818275451660154,
      "step": 15605
    },
    {
      "epoch": 0.5203333333333333,
      "grad_norm": 1.3984375,
      "learning_rate": 0.00037619491525423725,
      "loss": 3.6273155212402344,
      "step": 15610
    },
    {
      "epoch": 0.5205,
      "grad_norm": 1.84375,
      "learning_rate": 0.0003761525423728814,
      "loss": 4.15445556640625,
      "step": 15615
    },
    {
      "epoch": 0.5206666666666667,
      "grad_norm": 2.390625,
      "learning_rate": 0.00037611016949152544,
      "loss": 3.727115249633789,
      "step": 15620
    },
    {
      "epoch": 0.5208333333333334,
      "grad_norm": 1.953125,
      "learning_rate": 0.0003760677966101695,
      "loss": 3.5384494781494142,
      "step": 15625
    },
    {
      "epoch": 0.521,
      "grad_norm": 1.3125,
      "learning_rate": 0.00037602542372881353,
      "loss": 3.9180126190185547,
      "step": 15630
    },
    {
      "epoch": 0.5211666666666667,
      "grad_norm": 1.515625,
      "learning_rate": 0.00037598305084745763,
      "loss": 2.919403648376465,
      "step": 15635
    },
    {
      "epoch": 0.5213333333333333,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0003759406779661017,
      "loss": 3.344440460205078,
      "step": 15640
    },
    {
      "epoch": 0.5215,
      "grad_norm": 1.625,
      "learning_rate": 0.00037589830508474577,
      "loss": 4.3545387268066404,
      "step": 15645
    },
    {
      "epoch": 0.5216666666666666,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0003758559322033898,
      "loss": 3.8208988189697264,
      "step": 15650
    },
    {
      "epoch": 0.5218333333333334,
      "grad_norm": 2.4375,
      "learning_rate": 0.0003758135593220339,
      "loss": 3.6993072509765623,
      "step": 15655
    },
    {
      "epoch": 0.522,
      "grad_norm": 2.265625,
      "learning_rate": 0.000375771186440678,
      "loss": 3.9095779418945313,
      "step": 15660
    },
    {
      "epoch": 0.5221666666666667,
      "grad_norm": 1.9921875,
      "learning_rate": 0.00037572881355932205,
      "loss": 3.8157379150390627,
      "step": 15665
    },
    {
      "epoch": 0.5223333333333333,
      "grad_norm": 1.9375,
      "learning_rate": 0.0003756864406779661,
      "loss": 3.0554018020629883,
      "step": 15670
    },
    {
      "epoch": 0.5225,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003756440677966102,
      "loss": 3.764191818237305,
      "step": 15675
    },
    {
      "epoch": 0.5226666666666666,
      "grad_norm": 4.15625,
      "learning_rate": 0.00037560169491525423,
      "loss": 3.7875511169433596,
      "step": 15680
    },
    {
      "epoch": 0.5228333333333334,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00037555932203389833,
      "loss": 3.42666015625,
      "step": 15685
    },
    {
      "epoch": 0.523,
      "grad_norm": 1.25,
      "learning_rate": 0.00037551694915254237,
      "loss": 3.680160140991211,
      "step": 15690
    },
    {
      "epoch": 0.5231666666666667,
      "grad_norm": 1.4921875,
      "learning_rate": 0.00037547457627118647,
      "loss": 4.049093627929688,
      "step": 15695
    },
    {
      "epoch": 0.5233333333333333,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0003754322033898305,
      "loss": 4.004052734375,
      "step": 15700
    },
    {
      "epoch": 0.5235,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0003753898305084746,
      "loss": 3.7660961151123047,
      "step": 15705
    },
    {
      "epoch": 0.5236666666666666,
      "grad_norm": 1.640625,
      "learning_rate": 0.00037534745762711865,
      "loss": 3.8057857513427735,
      "step": 15710
    },
    {
      "epoch": 0.5238333333333334,
      "grad_norm": 2.203125,
      "learning_rate": 0.0003753050847457627,
      "loss": 4.110952377319336,
      "step": 15715
    },
    {
      "epoch": 0.524,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0003752627118644068,
      "loss": 4.4818977355957035,
      "step": 15720
    },
    {
      "epoch": 0.5241666666666667,
      "grad_norm": 2.921875,
      "learning_rate": 0.00037522033898305083,
      "loss": 4.059056091308594,
      "step": 15725
    },
    {
      "epoch": 0.5243333333333333,
      "grad_norm": 1.96875,
      "learning_rate": 0.00037517796610169493,
      "loss": 4.242478561401367,
      "step": 15730
    },
    {
      "epoch": 0.5245,
      "grad_norm": 2.203125,
      "learning_rate": 0.000375135593220339,
      "loss": 4.134152221679687,
      "step": 15735
    },
    {
      "epoch": 0.5246666666666666,
      "grad_norm": 1.78125,
      "learning_rate": 0.00037509322033898307,
      "loss": 4.349593734741211,
      "step": 15740
    },
    {
      "epoch": 0.5248333333333334,
      "grad_norm": 1.6875,
      "learning_rate": 0.0003750508474576271,
      "loss": 3.118229293823242,
      "step": 15745
    },
    {
      "epoch": 0.525,
      "grad_norm": 1.421875,
      "learning_rate": 0.0003750084745762712,
      "loss": 4.133788299560547,
      "step": 15750
    },
    {
      "epoch": 0.5251666666666667,
      "grad_norm": 1.828125,
      "learning_rate": 0.00037496610169491525,
      "loss": 3.8219841003417967,
      "step": 15755
    },
    {
      "epoch": 0.5253333333333333,
      "grad_norm": 1.25,
      "learning_rate": 0.00037492372881355935,
      "loss": 3.940346908569336,
      "step": 15760
    },
    {
      "epoch": 0.5255,
      "grad_norm": 2.234375,
      "learning_rate": 0.0003748813559322034,
      "loss": 3.392171859741211,
      "step": 15765
    },
    {
      "epoch": 0.5256666666666666,
      "grad_norm": 2.109375,
      "learning_rate": 0.00037483898305084744,
      "loss": 2.9302509307861326,
      "step": 15770
    },
    {
      "epoch": 0.5258333333333334,
      "grad_norm": 2.21875,
      "learning_rate": 0.00037479661016949153,
      "loss": 4.359599304199219,
      "step": 15775
    },
    {
      "epoch": 0.526,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00037475423728813563,
      "loss": 3.9800369262695314,
      "step": 15780
    },
    {
      "epoch": 0.5261666666666667,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00037471186440677967,
      "loss": 3.559439849853516,
      "step": 15785
    },
    {
      "epoch": 0.5263333333333333,
      "grad_norm": 2.078125,
      "learning_rate": 0.0003746694915254237,
      "loss": 4.155190277099609,
      "step": 15790
    },
    {
      "epoch": 0.5265,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003746271186440678,
      "loss": 3.344411849975586,
      "step": 15795
    },
    {
      "epoch": 0.5266666666666666,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0003745847457627119,
      "loss": 3.9848785400390625,
      "step": 15800
    },
    {
      "epoch": 0.5268333333333334,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00037454237288135595,
      "loss": 3.972551727294922,
      "step": 15805
    },
    {
      "epoch": 0.527,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0003745,
      "loss": 4.048007202148438,
      "step": 15810
    },
    {
      "epoch": 0.5271666666666667,
      "grad_norm": 1.5,
      "learning_rate": 0.00037445762711864404,
      "loss": 4.121565246582032,
      "step": 15815
    },
    {
      "epoch": 0.5273333333333333,
      "grad_norm": 1.703125,
      "learning_rate": 0.00037441525423728814,
      "loss": 3.0157087326049803,
      "step": 15820
    },
    {
      "epoch": 0.5275,
      "grad_norm": 2.09375,
      "learning_rate": 0.00037437288135593223,
      "loss": 4.153548812866211,
      "step": 15825
    },
    {
      "epoch": 0.5276666666666666,
      "grad_norm": 2.15625,
      "learning_rate": 0.0003743305084745763,
      "loss": 3.9078407287597656,
      "step": 15830
    },
    {
      "epoch": 0.5278333333333334,
      "grad_norm": 1.71875,
      "learning_rate": 0.0003742881355932203,
      "loss": 2.9474510192871093,
      "step": 15835
    },
    {
      "epoch": 0.528,
      "grad_norm": 3.640625,
      "learning_rate": 0.0003742457627118644,
      "loss": 3.981662368774414,
      "step": 15840
    },
    {
      "epoch": 0.5281666666666667,
      "grad_norm": 2.0,
      "learning_rate": 0.0003742033898305085,
      "loss": 4.1622661590576175,
      "step": 15845
    },
    {
      "epoch": 0.5283333333333333,
      "grad_norm": 1.6875,
      "learning_rate": 0.00037416101694915256,
      "loss": 4.181911849975586,
      "step": 15850
    },
    {
      "epoch": 0.5285,
      "grad_norm": 3.453125,
      "learning_rate": 0.0003741186440677966,
      "loss": 4.21521224975586,
      "step": 15855
    },
    {
      "epoch": 0.5286666666666666,
      "grad_norm": 1.71875,
      "learning_rate": 0.00037407627118644064,
      "loss": 4.083013916015625,
      "step": 15860
    },
    {
      "epoch": 0.5288333333333334,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003740338983050848,
      "loss": 3.8829696655273436,
      "step": 15865
    },
    {
      "epoch": 0.529,
      "grad_norm": 2.109375,
      "learning_rate": 0.00037399152542372884,
      "loss": 3.956922912597656,
      "step": 15870
    },
    {
      "epoch": 0.5291666666666667,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0003739491525423729,
      "loss": 4.061254501342773,
      "step": 15875
    },
    {
      "epoch": 0.5293333333333333,
      "grad_norm": 1.515625,
      "learning_rate": 0.0003739067796610169,
      "loss": 3.4467613220214846,
      "step": 15880
    },
    {
      "epoch": 0.5295,
      "grad_norm": 2.640625,
      "learning_rate": 0.00037386440677966107,
      "loss": 3.968222808837891,
      "step": 15885
    },
    {
      "epoch": 0.5296666666666666,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0003738220338983051,
      "loss": 4.021969985961914,
      "step": 15890
    },
    {
      "epoch": 0.5298333333333334,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00037377966101694916,
      "loss": 3.7881649017333983,
      "step": 15895
    },
    {
      "epoch": 0.53,
      "grad_norm": 1.9765625,
      "learning_rate": 0.0003737372881355932,
      "loss": 4.848828506469727,
      "step": 15900
    },
    {
      "epoch": 0.5301666666666667,
      "grad_norm": 2.28125,
      "learning_rate": 0.0003736949152542373,
      "loss": 3.6402938842773436,
      "step": 15905
    },
    {
      "epoch": 0.5303333333333333,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0003736525423728814,
      "loss": 3.919418716430664,
      "step": 15910
    },
    {
      "epoch": 0.5305,
      "grad_norm": 1.4296875,
      "learning_rate": 0.00037361016949152544,
      "loss": 3.9083763122558595,
      "step": 15915
    },
    {
      "epoch": 0.5306666666666666,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0003735677966101695,
      "loss": 3.006146049499512,
      "step": 15920
    },
    {
      "epoch": 0.5308333333333334,
      "grad_norm": 1.78125,
      "learning_rate": 0.0003735254237288135,
      "loss": 4.258720779418946,
      "step": 15925
    },
    {
      "epoch": 0.531,
      "grad_norm": 2.265625,
      "learning_rate": 0.0003734830508474577,
      "loss": 4.122966766357422,
      "step": 15930
    },
    {
      "epoch": 0.5311666666666667,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003734406779661017,
      "loss": 3.88209228515625,
      "step": 15935
    },
    {
      "epoch": 0.5313333333333333,
      "grad_norm": 1.46875,
      "learning_rate": 0.00037339830508474576,
      "loss": 3.8840316772460937,
      "step": 15940
    },
    {
      "epoch": 0.5315,
      "grad_norm": 2.125,
      "learning_rate": 0.0003733559322033898,
      "loss": 4.132945251464844,
      "step": 15945
    },
    {
      "epoch": 0.5316666666666666,
      "grad_norm": 2.0625,
      "learning_rate": 0.0003733135593220339,
      "loss": 3.6598587036132812,
      "step": 15950
    },
    {
      "epoch": 0.5318333333333334,
      "grad_norm": 1.921875,
      "learning_rate": 0.000373271186440678,
      "loss": 3.7947769165039062,
      "step": 15955
    },
    {
      "epoch": 0.532,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00037322881355932204,
      "loss": 3.909868621826172,
      "step": 15960
    },
    {
      "epoch": 0.5321666666666667,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0003731864406779661,
      "loss": 3.5621574401855467,
      "step": 15965
    },
    {
      "epoch": 0.5323333333333333,
      "grad_norm": 1.703125,
      "learning_rate": 0.0003731440677966102,
      "loss": 3.518487548828125,
      "step": 15970
    },
    {
      "epoch": 0.5325,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003731016949152543,
      "loss": 3.743247222900391,
      "step": 15975
    },
    {
      "epoch": 0.5326666666666666,
      "grad_norm": 1.765625,
      "learning_rate": 0.0003730593220338983,
      "loss": 4.187071990966797,
      "step": 15980
    },
    {
      "epoch": 0.5328333333333334,
      "grad_norm": 1.65625,
      "learning_rate": 0.00037301694915254236,
      "loss": 3.859364318847656,
      "step": 15985
    },
    {
      "epoch": 0.533,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00037297457627118646,
      "loss": 3.9935794830322267,
      "step": 15990
    },
    {
      "epoch": 0.5331666666666667,
      "grad_norm": 2.296875,
      "learning_rate": 0.0003729322033898305,
      "loss": 4.001865386962891,
      "step": 15995
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 2.1875,
      "learning_rate": 0.0003728898305084746,
      "loss": 4.234801483154297,
      "step": 16000
    },
    {
      "epoch": 0.5335,
      "grad_norm": 1.828125,
      "learning_rate": 0.00037284745762711864,
      "loss": 4.181366729736328,
      "step": 16005
    },
    {
      "epoch": 0.5336666666666666,
      "grad_norm": 2.1875,
      "learning_rate": 0.00037280508474576274,
      "loss": 3.473468017578125,
      "step": 16010
    },
    {
      "epoch": 0.5338333333333334,
      "grad_norm": 2.1875,
      "learning_rate": 0.0003727627118644068,
      "loss": 3.9192657470703125,
      "step": 16015
    },
    {
      "epoch": 0.534,
      "grad_norm": 2.203125,
      "learning_rate": 0.0003727203389830509,
      "loss": 4.463508605957031,
      "step": 16020
    },
    {
      "epoch": 0.5341666666666667,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0003726779661016949,
      "loss": 3.9847034454345702,
      "step": 16025
    },
    {
      "epoch": 0.5343333333333333,
      "grad_norm": 2.15625,
      "learning_rate": 0.00037263559322033897,
      "loss": 3.8515567779541016,
      "step": 16030
    },
    {
      "epoch": 0.5345,
      "grad_norm": 1.625,
      "learning_rate": 0.00037259322033898306,
      "loss": 3.7355846405029296,
      "step": 16035
    },
    {
      "epoch": 0.5346666666666666,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0003725508474576271,
      "loss": 3.7911773681640626,
      "step": 16040
    },
    {
      "epoch": 0.5348333333333334,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0003725084745762712,
      "loss": 3.9295997619628906,
      "step": 16045
    },
    {
      "epoch": 0.535,
      "grad_norm": 1.859375,
      "learning_rate": 0.00037246610169491525,
      "loss": 3.7502193450927734,
      "step": 16050
    },
    {
      "epoch": 0.5351666666666667,
      "grad_norm": 1.671875,
      "learning_rate": 0.00037242372881355934,
      "loss": 5.051464080810547,
      "step": 16055
    },
    {
      "epoch": 0.5353333333333333,
      "grad_norm": 2.125,
      "learning_rate": 0.0003723813559322034,
      "loss": 3.613300323486328,
      "step": 16060
    },
    {
      "epoch": 0.5355,
      "grad_norm": 2.09375,
      "learning_rate": 0.0003723389830508475,
      "loss": 3.2995555877685545,
      "step": 16065
    },
    {
      "epoch": 0.5356666666666666,
      "grad_norm": 2.09375,
      "learning_rate": 0.0003722966101694915,
      "loss": 3.5702468872070314,
      "step": 16070
    },
    {
      "epoch": 0.5358333333333334,
      "grad_norm": 1.71875,
      "learning_rate": 0.0003722542372881356,
      "loss": 3.8749954223632814,
      "step": 16075
    },
    {
      "epoch": 0.536,
      "grad_norm": 1.53125,
      "learning_rate": 0.00037221186440677967,
      "loss": 4.215848159790039,
      "step": 16080
    },
    {
      "epoch": 0.5361666666666667,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0003721694915254237,
      "loss": 3.617158126831055,
      "step": 16085
    },
    {
      "epoch": 0.5363333333333333,
      "grad_norm": 1.3125,
      "learning_rate": 0.0003721271186440678,
      "loss": 3.902523422241211,
      "step": 16090
    },
    {
      "epoch": 0.5365,
      "grad_norm": 1.3984375,
      "learning_rate": 0.0003720847457627119,
      "loss": 3.469732666015625,
      "step": 16095
    },
    {
      "epoch": 0.5366666666666666,
      "grad_norm": 1.65625,
      "learning_rate": 0.00037204237288135595,
      "loss": 3.3129814147949217,
      "step": 16100
    },
    {
      "epoch": 0.5368333333333334,
      "grad_norm": 2.8125,
      "learning_rate": 0.000372,
      "loss": 3.823139953613281,
      "step": 16105
    },
    {
      "epoch": 0.537,
      "grad_norm": 1.90625,
      "learning_rate": 0.0003719576271186441,
      "loss": 4.743514633178711,
      "step": 16110
    },
    {
      "epoch": 0.5371666666666667,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0003719152542372882,
      "loss": 3.126651382446289,
      "step": 16115
    },
    {
      "epoch": 0.5373333333333333,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003718728813559322,
      "loss": 3.877728271484375,
      "step": 16120
    },
    {
      "epoch": 0.5375,
      "grad_norm": 2.75,
      "learning_rate": 0.00037183050847457627,
      "loss": 4.38213882446289,
      "step": 16125
    },
    {
      "epoch": 0.5376666666666666,
      "grad_norm": 1.625,
      "learning_rate": 0.0003717881355932203,
      "loss": 4.373177719116211,
      "step": 16130
    },
    {
      "epoch": 0.5378333333333334,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003717457627118644,
      "loss": 4.092800903320312,
      "step": 16135
    },
    {
      "epoch": 0.538,
      "grad_norm": 1.9765625,
      "learning_rate": 0.0003717033898305085,
      "loss": 3.7938774108886717,
      "step": 16140
    },
    {
      "epoch": 0.5381666666666667,
      "grad_norm": 1.765625,
      "learning_rate": 0.00037166101694915255,
      "loss": 3.739796829223633,
      "step": 16145
    },
    {
      "epoch": 0.5383333333333333,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0003716186440677966,
      "loss": 4.119052124023438,
      "step": 16150
    },
    {
      "epoch": 0.5385,
      "grad_norm": 2.75,
      "learning_rate": 0.0003715762711864407,
      "loss": 3.5707191467285155,
      "step": 16155
    },
    {
      "epoch": 0.5386666666666666,
      "grad_norm": 1.890625,
      "learning_rate": 0.0003715338983050848,
      "loss": 4.026771163940429,
      "step": 16160
    },
    {
      "epoch": 0.5388333333333334,
      "grad_norm": 2.5625,
      "learning_rate": 0.00037149152542372883,
      "loss": 4.525923538208008,
      "step": 16165
    },
    {
      "epoch": 0.539,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00037144915254237287,
      "loss": 3.291363525390625,
      "step": 16170
    },
    {
      "epoch": 0.5391666666666667,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003714067796610169,
      "loss": 3.6283946990966798,
      "step": 16175
    },
    {
      "epoch": 0.5393333333333333,
      "grad_norm": 1.75,
      "learning_rate": 0.00037136440677966107,
      "loss": 3.8919261932373046,
      "step": 16180
    },
    {
      "epoch": 0.5395,
      "grad_norm": 2.96875,
      "learning_rate": 0.0003713220338983051,
      "loss": 3.66741943359375,
      "step": 16185
    },
    {
      "epoch": 0.5396666666666666,
      "grad_norm": 2.109375,
      "learning_rate": 0.00037127966101694915,
      "loss": 4.035452651977539,
      "step": 16190
    },
    {
      "epoch": 0.5398333333333334,
      "grad_norm": 1.9453125,
      "learning_rate": 0.0003712372881355932,
      "loss": 4.322752380371094,
      "step": 16195
    },
    {
      "epoch": 0.54,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00037119491525423735,
      "loss": 3.132269096374512,
      "step": 16200
    },
    {
      "epoch": 0.5401666666666667,
      "grad_norm": 2.171875,
      "learning_rate": 0.0003711525423728814,
      "loss": 4.100996398925782,
      "step": 16205
    },
    {
      "epoch": 0.5403333333333333,
      "grad_norm": 1.765625,
      "learning_rate": 0.00037111016949152543,
      "loss": 3.519051742553711,
      "step": 16210
    },
    {
      "epoch": 0.5405,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0003710677966101695,
      "loss": 3.6999191284179687,
      "step": 16215
    },
    {
      "epoch": 0.5406666666666666,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00037102542372881357,
      "loss": 4.094255828857422,
      "step": 16220
    },
    {
      "epoch": 0.5408333333333334,
      "grad_norm": 1.609375,
      "learning_rate": 0.00037098305084745767,
      "loss": 3.8297050476074217,
      "step": 16225
    },
    {
      "epoch": 0.541,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0003709406779661017,
      "loss": 4.54773178100586,
      "step": 16230
    },
    {
      "epoch": 0.5411666666666667,
      "grad_norm": 1.71875,
      "learning_rate": 0.00037089830508474575,
      "loss": 3.756327819824219,
      "step": 16235
    },
    {
      "epoch": 0.5413333333333333,
      "grad_norm": 4.125,
      "learning_rate": 0.0003708559322033898,
      "loss": 4.156198501586914,
      "step": 16240
    },
    {
      "epoch": 0.5415,
      "grad_norm": 1.890625,
      "learning_rate": 0.00037081355932203395,
      "loss": 3.7011722564697265,
      "step": 16245
    },
    {
      "epoch": 0.5416666666666666,
      "grad_norm": 1.703125,
      "learning_rate": 0.000370771186440678,
      "loss": 3.544962692260742,
      "step": 16250
    },
    {
      "epoch": 0.5418333333333333,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00037072881355932203,
      "loss": 2.835365867614746,
      "step": 16255
    },
    {
      "epoch": 0.542,
      "grad_norm": 2.203125,
      "learning_rate": 0.0003706864406779661,
      "loss": 3.7708892822265625,
      "step": 16260
    },
    {
      "epoch": 0.5421666666666667,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0003706440677966102,
      "loss": 4.608103561401367,
      "step": 16265
    },
    {
      "epoch": 0.5423333333333333,
      "grad_norm": 2.296875,
      "learning_rate": 0.00037060169491525427,
      "loss": 3.950815200805664,
      "step": 16270
    },
    {
      "epoch": 0.5425,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0003705593220338983,
      "loss": 4.332194519042969,
      "step": 16275
    },
    {
      "epoch": 0.5426666666666666,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00037051694915254236,
      "loss": 3.914772796630859,
      "step": 16280
    },
    {
      "epoch": 0.5428333333333333,
      "grad_norm": 2.359375,
      "learning_rate": 0.00037047457627118645,
      "loss": 4.399076843261719,
      "step": 16285
    },
    {
      "epoch": 0.543,
      "grad_norm": 1.765625,
      "learning_rate": 0.00037043220338983055,
      "loss": 3.5834861755371095,
      "step": 16290
    },
    {
      "epoch": 0.5431666666666667,
      "grad_norm": 2.0625,
      "learning_rate": 0.0003703898305084746,
      "loss": 3.4029510498046873,
      "step": 16295
    },
    {
      "epoch": 0.5433333333333333,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00037034745762711864,
      "loss": 3.9089466094970704,
      "step": 16300
    },
    {
      "epoch": 0.5435,
      "grad_norm": 1.765625,
      "learning_rate": 0.00037030508474576273,
      "loss": 4.3999378204345705,
      "step": 16305
    },
    {
      "epoch": 0.5436666666666666,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0003702627118644068,
      "loss": 3.210560989379883,
      "step": 16310
    },
    {
      "epoch": 0.5438333333333333,
      "grad_norm": 1.546875,
      "learning_rate": 0.0003702203389830509,
      "loss": 3.982579803466797,
      "step": 16315
    },
    {
      "epoch": 0.544,
      "grad_norm": 2.578125,
      "learning_rate": 0.0003701779661016949,
      "loss": 3.4119319915771484,
      "step": 16320
    },
    {
      "epoch": 0.5441666666666667,
      "grad_norm": 1.859375,
      "learning_rate": 0.000370135593220339,
      "loss": 4.479096221923828,
      "step": 16325
    },
    {
      "epoch": 0.5443333333333333,
      "grad_norm": 2.046875,
      "learning_rate": 0.00037009322033898306,
      "loss": 3.930428695678711,
      "step": 16330
    },
    {
      "epoch": 0.5445,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003700508474576271,
      "loss": 4.238669204711914,
      "step": 16335
    },
    {
      "epoch": 0.5446666666666666,
      "grad_norm": 1.984375,
      "learning_rate": 0.0003700084745762712,
      "loss": 4.29130859375,
      "step": 16340
    },
    {
      "epoch": 0.5448333333333333,
      "grad_norm": 1.640625,
      "learning_rate": 0.00036996610169491524,
      "loss": 3.9907291412353514,
      "step": 16345
    },
    {
      "epoch": 0.545,
      "grad_norm": 2.078125,
      "learning_rate": 0.00036992372881355934,
      "loss": 4.190805816650391,
      "step": 16350
    },
    {
      "epoch": 0.5451666666666667,
      "grad_norm": 2.546875,
      "learning_rate": 0.0003698813559322034,
      "loss": 4.313527679443359,
      "step": 16355
    },
    {
      "epoch": 0.5453333333333333,
      "grad_norm": 1.640625,
      "learning_rate": 0.0003698389830508475,
      "loss": 4.388153457641602,
      "step": 16360
    },
    {
      "epoch": 0.5455,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0003697966101694915,
      "loss": 3.3947093963623045,
      "step": 16365
    },
    {
      "epoch": 0.5456666666666666,
      "grad_norm": 1.765625,
      "learning_rate": 0.0003697542372881356,
      "loss": 4.2341461181640625,
      "step": 16370
    },
    {
      "epoch": 0.5458333333333333,
      "grad_norm": 1.578125,
      "learning_rate": 0.00036971186440677966,
      "loss": 4.080784606933594,
      "step": 16375
    },
    {
      "epoch": 0.546,
      "grad_norm": 2.28125,
      "learning_rate": 0.0003696694915254237,
      "loss": 3.7928092956542967,
      "step": 16380
    },
    {
      "epoch": 0.5461666666666667,
      "grad_norm": 2.390625,
      "learning_rate": 0.0003696271186440678,
      "loss": 3.7762889862060547,
      "step": 16385
    },
    {
      "epoch": 0.5463333333333333,
      "grad_norm": 2.421875,
      "learning_rate": 0.0003695847457627119,
      "loss": 3.889487457275391,
      "step": 16390
    },
    {
      "epoch": 0.5465,
      "grad_norm": 1.46875,
      "learning_rate": 0.00036954237288135594,
      "loss": 3.3473674774169924,
      "step": 16395
    },
    {
      "epoch": 0.5466666666666666,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0003695,
      "loss": 3.9680862426757812,
      "step": 16400
    },
    {
      "epoch": 0.5468333333333333,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0003694576271186441,
      "loss": 4.133588409423828,
      "step": 16405
    },
    {
      "epoch": 0.547,
      "grad_norm": 1.5625,
      "learning_rate": 0.0003694152542372882,
      "loss": 4.445046997070312,
      "step": 16410
    },
    {
      "epoch": 0.5471666666666667,
      "grad_norm": 2.4375,
      "learning_rate": 0.0003693728813559322,
      "loss": 3.7148868560791017,
      "step": 16415
    },
    {
      "epoch": 0.5473333333333333,
      "grad_norm": 1.796875,
      "learning_rate": 0.00036933050847457626,
      "loss": 3.8680496215820312,
      "step": 16420
    },
    {
      "epoch": 0.5475,
      "grad_norm": 2.671875,
      "learning_rate": 0.0003692881355932203,
      "loss": 4.561180877685547,
      "step": 16425
    },
    {
      "epoch": 0.5476666666666666,
      "grad_norm": 2.234375,
      "learning_rate": 0.00036924576271186446,
      "loss": 3.9043296813964843,
      "step": 16430
    },
    {
      "epoch": 0.5478333333333333,
      "grad_norm": 1.609375,
      "learning_rate": 0.0003692033898305085,
      "loss": 3.6102752685546875,
      "step": 16435
    },
    {
      "epoch": 0.548,
      "grad_norm": 4.8125,
      "learning_rate": 0.00036916101694915254,
      "loss": 4.263167190551758,
      "step": 16440
    },
    {
      "epoch": 0.5481666666666667,
      "grad_norm": 1.3203125,
      "learning_rate": 0.0003691186440677966,
      "loss": 3.247787094116211,
      "step": 16445
    },
    {
      "epoch": 0.5483333333333333,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0003690762711864407,
      "loss": 3.781891632080078,
      "step": 16450
    },
    {
      "epoch": 0.5485,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003690338983050848,
      "loss": 3.691912841796875,
      "step": 16455
    },
    {
      "epoch": 0.5486666666666666,
      "grad_norm": 2.96875,
      "learning_rate": 0.0003689915254237288,
      "loss": 3.4292274475097657,
      "step": 16460
    },
    {
      "epoch": 0.5488333333333333,
      "grad_norm": 1.9453125,
      "learning_rate": 0.00036894915254237287,
      "loss": 3.753313446044922,
      "step": 16465
    },
    {
      "epoch": 0.549,
      "grad_norm": 2.84375,
      "learning_rate": 0.0003689067796610169,
      "loss": 3.929754638671875,
      "step": 16470
    },
    {
      "epoch": 0.5491666666666667,
      "grad_norm": 1.5625,
      "learning_rate": 0.00036886440677966106,
      "loss": 2.880718803405762,
      "step": 16475
    },
    {
      "epoch": 0.5493333333333333,
      "grad_norm": 4.90625,
      "learning_rate": 0.0003688220338983051,
      "loss": 3.8215187072753904,
      "step": 16480
    },
    {
      "epoch": 0.5495,
      "grad_norm": 1.421875,
      "learning_rate": 0.00036877966101694915,
      "loss": 3.9274974822998048,
      "step": 16485
    },
    {
      "epoch": 0.5496666666666666,
      "grad_norm": 1.6875,
      "learning_rate": 0.0003687372881355932,
      "loss": 4.107738494873047,
      "step": 16490
    },
    {
      "epoch": 0.5498333333333333,
      "grad_norm": 1.9921875,
      "learning_rate": 0.00036869491525423734,
      "loss": 3.6911247253417967,
      "step": 16495
    },
    {
      "epoch": 0.55,
      "grad_norm": 1.671875,
      "learning_rate": 0.0003686525423728814,
      "loss": 4.034333801269531,
      "step": 16500
    },
    {
      "epoch": 0.5501666666666667,
      "grad_norm": 1.515625,
      "learning_rate": 0.0003686101694915254,
      "loss": 3.223105621337891,
      "step": 16505
    },
    {
      "epoch": 0.5503333333333333,
      "grad_norm": 1.4375,
      "learning_rate": 0.00036856779661016947,
      "loss": 4.062339019775391,
      "step": 16510
    },
    {
      "epoch": 0.5505,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00036852542372881357,
      "loss": 3.4957237243652344,
      "step": 16515
    },
    {
      "epoch": 0.5506666666666666,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00036848305084745766,
      "loss": 3.951856994628906,
      "step": 16520
    },
    {
      "epoch": 0.5508333333333333,
      "grad_norm": 1.6875,
      "learning_rate": 0.0003684406779661017,
      "loss": 4.2048194885253904,
      "step": 16525
    },
    {
      "epoch": 0.551,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00036839830508474575,
      "loss": 3.655564880371094,
      "step": 16530
    },
    {
      "epoch": 0.5511666666666667,
      "grad_norm": 1.1015625,
      "learning_rate": 0.00036835593220338984,
      "loss": 3.5440292358398438,
      "step": 16535
    },
    {
      "epoch": 0.5513333333333333,
      "grad_norm": 2.515625,
      "learning_rate": 0.00036831355932203394,
      "loss": 4.103913497924805,
      "step": 16540
    },
    {
      "epoch": 0.5515,
      "grad_norm": 2.15625,
      "learning_rate": 0.000368271186440678,
      "loss": 3.53826904296875,
      "step": 16545
    },
    {
      "epoch": 0.5516666666666666,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00036822881355932203,
      "loss": 4.231412506103515,
      "step": 16550
    },
    {
      "epoch": 0.5518333333333333,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00036818644067796607,
      "loss": 3.987574005126953,
      "step": 16555
    },
    {
      "epoch": 0.552,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00036814406779661017,
      "loss": 3.611806869506836,
      "step": 16560
    },
    {
      "epoch": 0.5521666666666667,
      "grad_norm": 2.28125,
      "learning_rate": 0.00036810169491525426,
      "loss": 4.3332664489746096,
      "step": 16565
    },
    {
      "epoch": 0.5523333333333333,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003680593220338983,
      "loss": 4.360065078735351,
      "step": 16570
    },
    {
      "epoch": 0.5525,
      "grad_norm": 1.59375,
      "learning_rate": 0.00036801694915254235,
      "loss": 4.264302825927734,
      "step": 16575
    },
    {
      "epoch": 0.5526666666666666,
      "grad_norm": 3.171875,
      "learning_rate": 0.00036797457627118645,
      "loss": 4.146623992919922,
      "step": 16580
    },
    {
      "epoch": 0.5528333333333333,
      "grad_norm": 1.3984375,
      "learning_rate": 0.00036793220338983054,
      "loss": 4.2565559387207035,
      "step": 16585
    },
    {
      "epoch": 0.553,
      "grad_norm": 1.734375,
      "learning_rate": 0.0003678898305084746,
      "loss": 3.4921310424804686,
      "step": 16590
    },
    {
      "epoch": 0.5531666666666667,
      "grad_norm": 1.625,
      "learning_rate": 0.00036784745762711863,
      "loss": 4.117956161499023,
      "step": 16595
    },
    {
      "epoch": 0.5533333333333333,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00036780508474576273,
      "loss": 4.617800521850586,
      "step": 16600
    },
    {
      "epoch": 0.5535,
      "grad_norm": 1.078125,
      "learning_rate": 0.00036776271186440677,
      "loss": 3.8787204742431642,
      "step": 16605
    },
    {
      "epoch": 0.5536666666666666,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00036772033898305087,
      "loss": 3.8054458618164064,
      "step": 16610
    },
    {
      "epoch": 0.5538333333333333,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0003676779661016949,
      "loss": 3.6772846221923827,
      "step": 16615
    },
    {
      "epoch": 0.554,
      "grad_norm": 1.625,
      "learning_rate": 0.000367635593220339,
      "loss": 4.170847320556641,
      "step": 16620
    },
    {
      "epoch": 0.5541666666666667,
      "grad_norm": 2.1875,
      "learning_rate": 0.00036759322033898305,
      "loss": 3.2110267639160157,
      "step": 16625
    },
    {
      "epoch": 0.5543333333333333,
      "grad_norm": 1.640625,
      "learning_rate": 0.00036755084745762715,
      "loss": 3.8193439483642577,
      "step": 16630
    },
    {
      "epoch": 0.5545,
      "grad_norm": 2.3125,
      "learning_rate": 0.0003675084745762712,
      "loss": 3.868606185913086,
      "step": 16635
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 2.0,
      "learning_rate": 0.0003674661016949153,
      "loss": 3.851817321777344,
      "step": 16640
    },
    {
      "epoch": 0.5548333333333333,
      "grad_norm": 1.890625,
      "learning_rate": 0.00036742372881355933,
      "loss": 3.8163421630859373,
      "step": 16645
    },
    {
      "epoch": 0.555,
      "grad_norm": 4.21875,
      "learning_rate": 0.0003673813559322034,
      "loss": 3.3513072967529296,
      "step": 16650
    },
    {
      "epoch": 0.5551666666666667,
      "grad_norm": 1.796875,
      "learning_rate": 0.00036733898305084747,
      "loss": 4.163859176635742,
      "step": 16655
    },
    {
      "epoch": 0.5553333333333333,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0003672966101694915,
      "loss": 3.9783424377441405,
      "step": 16660
    },
    {
      "epoch": 0.5555,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0003672542372881356,
      "loss": 4.040314865112305,
      "step": 16665
    },
    {
      "epoch": 0.5556666666666666,
      "grad_norm": 1.71875,
      "learning_rate": 0.00036721186440677965,
      "loss": 3.93438720703125,
      "step": 16670
    },
    {
      "epoch": 0.5558333333333333,
      "grad_norm": 2.03125,
      "learning_rate": 0.00036716949152542375,
      "loss": 3.687799835205078,
      "step": 16675
    },
    {
      "epoch": 0.556,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0003671271186440678,
      "loss": 4.041651916503906,
      "step": 16680
    },
    {
      "epoch": 0.5561666666666667,
      "grad_norm": 1.3828125,
      "learning_rate": 0.0003670847457627119,
      "loss": 3.6447685241699217,
      "step": 16685
    },
    {
      "epoch": 0.5563333333333333,
      "grad_norm": 2.265625,
      "learning_rate": 0.00036704237288135593,
      "loss": 4.237504577636718,
      "step": 16690
    },
    {
      "epoch": 0.5565,
      "grad_norm": 2.046875,
      "learning_rate": 0.000367,
      "loss": 3.7186763763427733,
      "step": 16695
    },
    {
      "epoch": 0.5566666666666666,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0003669576271186441,
      "loss": 3.472173309326172,
      "step": 16700
    },
    {
      "epoch": 0.5568333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00036691525423728817,
      "loss": 4.162265014648438,
      "step": 16705
    },
    {
      "epoch": 0.557,
      "grad_norm": 1.875,
      "learning_rate": 0.0003668728813559322,
      "loss": 3.9834842681884766,
      "step": 16710
    },
    {
      "epoch": 0.5571666666666667,
      "grad_norm": 1.46875,
      "learning_rate": 0.00036683050847457626,
      "loss": 4.298404693603516,
      "step": 16715
    },
    {
      "epoch": 0.5573333333333333,
      "grad_norm": 1.4375,
      "learning_rate": 0.00036678813559322035,
      "loss": 3.9162391662597655,
      "step": 16720
    },
    {
      "epoch": 0.5575,
      "grad_norm": 1.84375,
      "learning_rate": 0.00036674576271186445,
      "loss": 3.884238433837891,
      "step": 16725
    },
    {
      "epoch": 0.5576666666666666,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003667033898305085,
      "loss": 3.9335098266601562,
      "step": 16730
    },
    {
      "epoch": 0.5578333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.00036666101694915254,
      "loss": 3.1337825775146486,
      "step": 16735
    },
    {
      "epoch": 0.558,
      "grad_norm": 2.234375,
      "learning_rate": 0.0003666186440677966,
      "loss": 3.712931823730469,
      "step": 16740
    },
    {
      "epoch": 0.5581666666666667,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00036657627118644073,
      "loss": 4.356510162353516,
      "step": 16745
    },
    {
      "epoch": 0.5583333333333333,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00036653389830508477,
      "loss": 4.571167755126953,
      "step": 16750
    },
    {
      "epoch": 0.5585,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0003664915254237288,
      "loss": 3.611296844482422,
      "step": 16755
    },
    {
      "epoch": 0.5586666666666666,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00036644915254237286,
      "loss": 3.7915012359619142,
      "step": 16760
    },
    {
      "epoch": 0.5588333333333333,
      "grad_norm": 2.65625,
      "learning_rate": 0.00036640677966101696,
      "loss": 4.217192077636719,
      "step": 16765
    },
    {
      "epoch": 0.559,
      "grad_norm": 2.265625,
      "learning_rate": 0.00036636440677966105,
      "loss": 4.556214904785156,
      "step": 16770
    },
    {
      "epoch": 0.5591666666666667,
      "grad_norm": 1.421875,
      "learning_rate": 0.0003663220338983051,
      "loss": 3.586597442626953,
      "step": 16775
    },
    {
      "epoch": 0.5593333333333333,
      "grad_norm": 2.03125,
      "learning_rate": 0.00036627966101694914,
      "loss": 4.139985275268555,
      "step": 16780
    },
    {
      "epoch": 0.5595,
      "grad_norm": 1.625,
      "learning_rate": 0.0003662372881355932,
      "loss": 4.468344879150391,
      "step": 16785
    },
    {
      "epoch": 0.5596666666666666,
      "grad_norm": 2.234375,
      "learning_rate": 0.00036619491525423733,
      "loss": 4.33580207824707,
      "step": 16790
    },
    {
      "epoch": 0.5598333333333333,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0003661525423728814,
      "loss": 3.4223602294921873,
      "step": 16795
    },
    {
      "epoch": 0.56,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003661101694915254,
      "loss": 3.962752914428711,
      "step": 16800
    },
    {
      "epoch": 0.5601666666666667,
      "grad_norm": 1.90625,
      "learning_rate": 0.00036606779661016946,
      "loss": 3.946411895751953,
      "step": 16805
    },
    {
      "epoch": 0.5603333333333333,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0003660254237288136,
      "loss": 3.614453887939453,
      "step": 16810
    },
    {
      "epoch": 0.5605,
      "grad_norm": 4.15625,
      "learning_rate": 0.00036598305084745766,
      "loss": 4.056143951416016,
      "step": 16815
    },
    {
      "epoch": 0.5606666666666666,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0003659406779661017,
      "loss": 3.5120121002197267,
      "step": 16820
    },
    {
      "epoch": 0.5608333333333333,
      "grad_norm": 1.796875,
      "learning_rate": 0.00036589830508474574,
      "loss": 3.5854568481445312,
      "step": 16825
    },
    {
      "epoch": 0.561,
      "grad_norm": 1.703125,
      "learning_rate": 0.00036585593220338984,
      "loss": 3.991345977783203,
      "step": 16830
    },
    {
      "epoch": 0.5611666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00036581355932203394,
      "loss": 3.762322998046875,
      "step": 16835
    },
    {
      "epoch": 0.5613333333333334,
      "grad_norm": 1.765625,
      "learning_rate": 0.000365771186440678,
      "loss": 4.632496643066406,
      "step": 16840
    },
    {
      "epoch": 0.5615,
      "grad_norm": 1.7421875,
      "learning_rate": 0.000365728813559322,
      "loss": 4.654125213623047,
      "step": 16845
    },
    {
      "epoch": 0.5616666666666666,
      "grad_norm": 1.671875,
      "learning_rate": 0.0003656864406779661,
      "loss": 4.049091720581055,
      "step": 16850
    },
    {
      "epoch": 0.5618333333333333,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0003656440677966102,
      "loss": 3.7761268615722656,
      "step": 16855
    },
    {
      "epoch": 0.562,
      "grad_norm": 2.046875,
      "learning_rate": 0.00036560169491525426,
      "loss": 4.003897857666016,
      "step": 16860
    },
    {
      "epoch": 0.5621666666666667,
      "grad_norm": 1.71875,
      "learning_rate": 0.0003655593220338983,
      "loss": 4.348628234863281,
      "step": 16865
    },
    {
      "epoch": 0.5623333333333334,
      "grad_norm": 1.828125,
      "learning_rate": 0.00036551694915254234,
      "loss": 4.2102008819580075,
      "step": 16870
    },
    {
      "epoch": 0.5625,
      "grad_norm": 1.9765625,
      "learning_rate": 0.00036547457627118644,
      "loss": 4.237092208862305,
      "step": 16875
    },
    {
      "epoch": 0.5626666666666666,
      "grad_norm": 1.609375,
      "learning_rate": 0.00036543220338983054,
      "loss": 4.012638092041016,
      "step": 16880
    },
    {
      "epoch": 0.5628333333333333,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003653898305084746,
      "loss": 3.5391460418701173,
      "step": 16885
    },
    {
      "epoch": 0.563,
      "grad_norm": 2.0,
      "learning_rate": 0.0003653474576271186,
      "loss": 4.167207717895508,
      "step": 16890
    },
    {
      "epoch": 0.5631666666666667,
      "grad_norm": 2.0,
      "learning_rate": 0.0003653050847457627,
      "loss": 3.4309043884277344,
      "step": 16895
    },
    {
      "epoch": 0.5633333333333334,
      "grad_norm": 1.640625,
      "learning_rate": 0.0003652627118644068,
      "loss": 3.73541259765625,
      "step": 16900
    },
    {
      "epoch": 0.5635,
      "grad_norm": 1.9375,
      "learning_rate": 0.00036522033898305086,
      "loss": 4.235321807861328,
      "step": 16905
    },
    {
      "epoch": 0.5636666666666666,
      "grad_norm": 1.390625,
      "learning_rate": 0.0003651779661016949,
      "loss": 3.3723369598388673,
      "step": 16910
    },
    {
      "epoch": 0.5638333333333333,
      "grad_norm": 1.40625,
      "learning_rate": 0.000365135593220339,
      "loss": 3.7437210083007812,
      "step": 16915
    },
    {
      "epoch": 0.564,
      "grad_norm": 1.9375,
      "learning_rate": 0.00036509322033898304,
      "loss": 4.015906524658203,
      "step": 16920
    },
    {
      "epoch": 0.5641666666666667,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00036505084745762714,
      "loss": 3.241756820678711,
      "step": 16925
    },
    {
      "epoch": 0.5643333333333334,
      "grad_norm": 1.3203125,
      "learning_rate": 0.0003650084745762712,
      "loss": 3.368651580810547,
      "step": 16930
    },
    {
      "epoch": 0.5645,
      "grad_norm": 1.53125,
      "learning_rate": 0.0003649661016949153,
      "loss": 3.7549720764160157,
      "step": 16935
    },
    {
      "epoch": 0.5646666666666667,
      "grad_norm": 1.6875,
      "learning_rate": 0.0003649237288135593,
      "loss": 3.8345867156982423,
      "step": 16940
    },
    {
      "epoch": 0.5648333333333333,
      "grad_norm": 1.59375,
      "learning_rate": 0.0003648813559322034,
      "loss": 3.851624298095703,
      "step": 16945
    },
    {
      "epoch": 0.565,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00036483898305084746,
      "loss": 3.7022415161132813,
      "step": 16950
    },
    {
      "epoch": 0.5651666666666667,
      "grad_norm": 2.09375,
      "learning_rate": 0.00036479661016949156,
      "loss": 4.010671234130859,
      "step": 16955
    },
    {
      "epoch": 0.5653333333333334,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0003647542372881356,
      "loss": 3.3228900909423826,
      "step": 16960
    },
    {
      "epoch": 0.5655,
      "grad_norm": 2.3125,
      "learning_rate": 0.00036471186440677965,
      "loss": 3.895665740966797,
      "step": 16965
    },
    {
      "epoch": 0.5656666666666667,
      "grad_norm": 1.921875,
      "learning_rate": 0.00036466949152542374,
      "loss": 4.071373367309571,
      "step": 16970
    },
    {
      "epoch": 0.5658333333333333,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003646271186440678,
      "loss": 3.2927883148193358,
      "step": 16975
    },
    {
      "epoch": 0.566,
      "grad_norm": 2.078125,
      "learning_rate": 0.0003645847457627119,
      "loss": 3.741712951660156,
      "step": 16980
    },
    {
      "epoch": 0.5661666666666667,
      "grad_norm": 2.796875,
      "learning_rate": 0.0003645423728813559,
      "loss": 3.5922225952148437,
      "step": 16985
    },
    {
      "epoch": 0.5663333333333334,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0003645,
      "loss": 3.8439590454101564,
      "step": 16990
    },
    {
      "epoch": 0.5665,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00036445762711864407,
      "loss": 4.668122100830078,
      "step": 16995
    },
    {
      "epoch": 0.5666666666666667,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00036441525423728816,
      "loss": 3.5845088958740234,
      "step": 17000
    },
    {
      "epoch": 0.5668333333333333,
      "grad_norm": 1.890625,
      "learning_rate": 0.0003643728813559322,
      "loss": 4.1347393035888675,
      "step": 17005
    },
    {
      "epoch": 0.567,
      "grad_norm": 2.796875,
      "learning_rate": 0.00036433050847457625,
      "loss": 3.85643310546875,
      "step": 17010
    },
    {
      "epoch": 0.5671666666666667,
      "grad_norm": 2.03125,
      "learning_rate": 0.00036428813559322035,
      "loss": 3.723215866088867,
      "step": 17015
    },
    {
      "epoch": 0.5673333333333334,
      "grad_norm": 1.953125,
      "learning_rate": 0.00036424576271186444,
      "loss": 3.3341861724853517,
      "step": 17020
    },
    {
      "epoch": 0.5675,
      "grad_norm": 1.546875,
      "learning_rate": 0.0003642033898305085,
      "loss": 2.834764289855957,
      "step": 17025
    },
    {
      "epoch": 0.5676666666666667,
      "grad_norm": 2.5,
      "learning_rate": 0.00036416101694915253,
      "loss": 3.701712799072266,
      "step": 17030
    },
    {
      "epoch": 0.5678333333333333,
      "grad_norm": 1.2890625,
      "learning_rate": 0.0003641186440677966,
      "loss": 3.369721221923828,
      "step": 17035
    },
    {
      "epoch": 0.568,
      "grad_norm": 4.0,
      "learning_rate": 0.0003640762711864407,
      "loss": 3.786729431152344,
      "step": 17040
    },
    {
      "epoch": 0.5681666666666667,
      "grad_norm": 2.03125,
      "learning_rate": 0.00036403389830508477,
      "loss": 4.0343067169189455,
      "step": 17045
    },
    {
      "epoch": 0.5683333333333334,
      "grad_norm": 2.96875,
      "learning_rate": 0.0003639915254237288,
      "loss": 4.372285079956055,
      "step": 17050
    },
    {
      "epoch": 0.5685,
      "grad_norm": 1.625,
      "learning_rate": 0.00036394915254237285,
      "loss": 3.813612365722656,
      "step": 17055
    },
    {
      "epoch": 0.5686666666666667,
      "grad_norm": 1.546875,
      "learning_rate": 0.00036390677966101695,
      "loss": 3.5172332763671874,
      "step": 17060
    },
    {
      "epoch": 0.5688333333333333,
      "grad_norm": 2.734375,
      "learning_rate": 0.00036386440677966105,
      "loss": 3.9855010986328123,
      "step": 17065
    },
    {
      "epoch": 0.569,
      "grad_norm": 1.4140625,
      "learning_rate": 0.0003638220338983051,
      "loss": 3.231232452392578,
      "step": 17070
    },
    {
      "epoch": 0.5691666666666667,
      "grad_norm": 2.0,
      "learning_rate": 0.00036377966101694913,
      "loss": 4.177272796630859,
      "step": 17075
    },
    {
      "epoch": 0.5693333333333334,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00036373728813559323,
      "loss": 3.977727508544922,
      "step": 17080
    },
    {
      "epoch": 0.5695,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0003636949152542373,
      "loss": 3.947050857543945,
      "step": 17085
    },
    {
      "epoch": 0.5696666666666667,
      "grad_norm": 2.03125,
      "learning_rate": 0.00036365254237288137,
      "loss": 3.8243267059326174,
      "step": 17090
    },
    {
      "epoch": 0.5698333333333333,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0003636101694915254,
      "loss": 4.0351707458496096,
      "step": 17095
    },
    {
      "epoch": 0.57,
      "grad_norm": 1.9921875,
      "learning_rate": 0.00036356779661016945,
      "loss": 3.441304397583008,
      "step": 17100
    },
    {
      "epoch": 0.5701666666666667,
      "grad_norm": 1.78125,
      "learning_rate": 0.0003635254237288136,
      "loss": 4.3544456481933596,
      "step": 17105
    },
    {
      "epoch": 0.5703333333333334,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00036348305084745765,
      "loss": 4.158224868774414,
      "step": 17110
    },
    {
      "epoch": 0.5705,
      "grad_norm": 1.4375,
      "learning_rate": 0.0003634406779661017,
      "loss": 3.6743770599365235,
      "step": 17115
    },
    {
      "epoch": 0.5706666666666667,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00036339830508474573,
      "loss": 4.419522476196289,
      "step": 17120
    },
    {
      "epoch": 0.5708333333333333,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0003633559322033899,
      "loss": 4.043666839599609,
      "step": 17125
    },
    {
      "epoch": 0.571,
      "grad_norm": 2.921875,
      "learning_rate": 0.00036331355932203393,
      "loss": 3.4998554229736327,
      "step": 17130
    },
    {
      "epoch": 0.5711666666666667,
      "grad_norm": 1.890625,
      "learning_rate": 0.00036327118644067797,
      "loss": 3.906982421875,
      "step": 17135
    },
    {
      "epoch": 0.5713333333333334,
      "grad_norm": 1.7578125,
      "learning_rate": 0.000363228813559322,
      "loss": 4.374914169311523,
      "step": 17140
    },
    {
      "epoch": 0.5715,
      "grad_norm": 1.9375,
      "learning_rate": 0.0003631864406779661,
      "loss": 4.066811370849609,
      "step": 17145
    },
    {
      "epoch": 0.5716666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0003631440677966102,
      "loss": 4.459351348876953,
      "step": 17150
    },
    {
      "epoch": 0.5718333333333333,
      "grad_norm": 1.203125,
      "learning_rate": 0.00036310169491525425,
      "loss": 3.5799419403076174,
      "step": 17155
    },
    {
      "epoch": 0.572,
      "grad_norm": 2.53125,
      "learning_rate": 0.0003630593220338983,
      "loss": 3.5034584045410155,
      "step": 17160
    },
    {
      "epoch": 0.5721666666666667,
      "grad_norm": 2.125,
      "learning_rate": 0.00036301694915254234,
      "loss": 4.201862716674805,
      "step": 17165
    },
    {
      "epoch": 0.5723333333333334,
      "grad_norm": 2.328125,
      "learning_rate": 0.0003629745762711865,
      "loss": 4.2287952423095705,
      "step": 17170
    },
    {
      "epoch": 0.5725,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00036293220338983053,
      "loss": 3.98450927734375,
      "step": 17175
    },
    {
      "epoch": 0.5726666666666667,
      "grad_norm": 1.359375,
      "learning_rate": 0.0003628898305084746,
      "loss": 2.472657585144043,
      "step": 17180
    },
    {
      "epoch": 0.5728333333333333,
      "grad_norm": 2.25,
      "learning_rate": 0.0003628474576271186,
      "loss": 3.976962661743164,
      "step": 17185
    },
    {
      "epoch": 0.573,
      "grad_norm": 1.5625,
      "learning_rate": 0.0003628050847457627,
      "loss": 3.359209442138672,
      "step": 17190
    },
    {
      "epoch": 0.5731666666666667,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0003627627118644068,
      "loss": 4.120425415039063,
      "step": 17195
    },
    {
      "epoch": 0.5733333333333334,
      "grad_norm": 1.9140625,
      "learning_rate": 0.00036272033898305085,
      "loss": 4.091570281982422,
      "step": 17200
    },
    {
      "epoch": 0.5735,
      "grad_norm": 1.4140625,
      "learning_rate": 0.0003626779661016949,
      "loss": 3.4967517852783203,
      "step": 17205
    },
    {
      "epoch": 0.5736666666666667,
      "grad_norm": 1.7578125,
      "learning_rate": 0.000362635593220339,
      "loss": 3.64677734375,
      "step": 17210
    },
    {
      "epoch": 0.5738333333333333,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0003625932203389831,
      "loss": 4.448359680175781,
      "step": 17215
    },
    {
      "epoch": 0.574,
      "grad_norm": 1.546875,
      "learning_rate": 0.00036255084745762713,
      "loss": 4.155490112304688,
      "step": 17220
    },
    {
      "epoch": 0.5741666666666667,
      "grad_norm": 2.0,
      "learning_rate": 0.0003625084745762712,
      "loss": 3.733984375,
      "step": 17225
    },
    {
      "epoch": 0.5743333333333334,
      "grad_norm": 1.796875,
      "learning_rate": 0.0003624661016949153,
      "loss": 3.819527816772461,
      "step": 17230
    },
    {
      "epoch": 0.5745,
      "grad_norm": 2.0,
      "learning_rate": 0.0003624237288135593,
      "loss": 3.777840423583984,
      "step": 17235
    },
    {
      "epoch": 0.5746666666666667,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0003623813559322034,
      "loss": 4.156866455078125,
      "step": 17240
    },
    {
      "epoch": 0.5748333333333333,
      "grad_norm": 1.984375,
      "learning_rate": 0.00036233898305084746,
      "loss": 4.419147872924805,
      "step": 17245
    },
    {
      "epoch": 0.575,
      "grad_norm": 1.4609375,
      "learning_rate": 0.00036229661016949155,
      "loss": 3.4871715545654296,
      "step": 17250
    },
    {
      "epoch": 0.5751666666666667,
      "grad_norm": 2.5,
      "learning_rate": 0.0003622542372881356,
      "loss": 4.527478790283203,
      "step": 17255
    },
    {
      "epoch": 0.5753333333333334,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0003622118644067797,
      "loss": 3.6953296661376953,
      "step": 17260
    },
    {
      "epoch": 0.5755,
      "grad_norm": 1.4296875,
      "learning_rate": 0.00036216949152542374,
      "loss": 3.556102752685547,
      "step": 17265
    },
    {
      "epoch": 0.5756666666666667,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0003621271186440678,
      "loss": 3.815233612060547,
      "step": 17270
    },
    {
      "epoch": 0.5758333333333333,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0003620847457627119,
      "loss": 4.326526260375976,
      "step": 17275
    },
    {
      "epoch": 0.576,
      "grad_norm": 2.21875,
      "learning_rate": 0.0003620423728813559,
      "loss": 3.203235626220703,
      "step": 17280
    },
    {
      "epoch": 0.5761666666666667,
      "grad_norm": 1.53125,
      "learning_rate": 0.000362,
      "loss": 3.2201446533203124,
      "step": 17285
    },
    {
      "epoch": 0.5763333333333334,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00036195762711864406,
      "loss": 3.5917396545410156,
      "step": 17290
    },
    {
      "epoch": 0.5765,
      "grad_norm": 2.078125,
      "learning_rate": 0.00036191525423728816,
      "loss": 3.9395301818847654,
      "step": 17295
    },
    {
      "epoch": 0.5766666666666667,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0003618728813559322,
      "loss": 3.9998836517333984,
      "step": 17300
    },
    {
      "epoch": 0.5768333333333333,
      "grad_norm": 1.828125,
      "learning_rate": 0.00036183050847457624,
      "loss": 3.199376678466797,
      "step": 17305
    },
    {
      "epoch": 0.577,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00036178813559322034,
      "loss": 4.073207855224609,
      "step": 17310
    },
    {
      "epoch": 0.5771666666666667,
      "grad_norm": 1.8125,
      "learning_rate": 0.00036174576271186444,
      "loss": 3.1035959243774416,
      "step": 17315
    },
    {
      "epoch": 0.5773333333333334,
      "grad_norm": 2.84375,
      "learning_rate": 0.0003617033898305085,
      "loss": 3.610800933837891,
      "step": 17320
    },
    {
      "epoch": 0.5775,
      "grad_norm": 2.109375,
      "learning_rate": 0.0003616610169491525,
      "loss": 4.078407287597656,
      "step": 17325
    },
    {
      "epoch": 0.5776666666666667,
      "grad_norm": 1.578125,
      "learning_rate": 0.0003616186440677966,
      "loss": 3.015476036071777,
      "step": 17330
    },
    {
      "epoch": 0.5778333333333333,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003615762711864407,
      "loss": 3.8818641662597657,
      "step": 17335
    },
    {
      "epoch": 0.578,
      "grad_norm": 1.5,
      "learning_rate": 0.00036153389830508476,
      "loss": 3.1580436706542967,
      "step": 17340
    },
    {
      "epoch": 0.5781666666666667,
      "grad_norm": 1.96875,
      "learning_rate": 0.0003614915254237288,
      "loss": 4.3666847229003904,
      "step": 17345
    },
    {
      "epoch": 0.5783333333333334,
      "grad_norm": 2.5,
      "learning_rate": 0.00036144915254237285,
      "loss": 4.19459228515625,
      "step": 17350
    },
    {
      "epoch": 0.5785,
      "grad_norm": 3.34375,
      "learning_rate": 0.000361406779661017,
      "loss": 4.506703948974609,
      "step": 17355
    },
    {
      "epoch": 0.5786666666666667,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00036136440677966104,
      "loss": 4.003006362915039,
      "step": 17360
    },
    {
      "epoch": 0.5788333333333333,
      "grad_norm": 2.421875,
      "learning_rate": 0.0003613220338983051,
      "loss": 3.649307632446289,
      "step": 17365
    },
    {
      "epoch": 0.579,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0003612796610169491,
      "loss": 3.163228416442871,
      "step": 17370
    },
    {
      "epoch": 0.5791666666666667,
      "grad_norm": 1.625,
      "learning_rate": 0.0003612372881355932,
      "loss": 3.750288391113281,
      "step": 17375
    },
    {
      "epoch": 0.5793333333333334,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003611949152542373,
      "loss": 3.866904067993164,
      "step": 17380
    },
    {
      "epoch": 0.5795,
      "grad_norm": 1.765625,
      "learning_rate": 0.00036115254237288136,
      "loss": 3.2801666259765625,
      "step": 17385
    },
    {
      "epoch": 0.5796666666666667,
      "grad_norm": 1.765625,
      "learning_rate": 0.0003611101694915254,
      "loss": 3.7465892791748048,
      "step": 17390
    },
    {
      "epoch": 0.5798333333333333,
      "grad_norm": 2.40625,
      "learning_rate": 0.00036106779661016945,
      "loss": 4.321895980834961,
      "step": 17395
    },
    {
      "epoch": 0.58,
      "grad_norm": 2.53125,
      "learning_rate": 0.0003610254237288136,
      "loss": 3.4796680450439452,
      "step": 17400
    },
    {
      "epoch": 0.5801666666666667,
      "grad_norm": 1.578125,
      "learning_rate": 0.00036098305084745764,
      "loss": 3.499684143066406,
      "step": 17405
    },
    {
      "epoch": 0.5803333333333334,
      "grad_norm": 1.484375,
      "learning_rate": 0.0003609406779661017,
      "loss": 4.0069232940673825,
      "step": 17410
    },
    {
      "epoch": 0.5805,
      "grad_norm": 1.4921875,
      "learning_rate": 0.00036089830508474573,
      "loss": 3.4860252380371093,
      "step": 17415
    },
    {
      "epoch": 0.5806666666666667,
      "grad_norm": 1.90625,
      "learning_rate": 0.0003608559322033899,
      "loss": 4.193997192382812,
      "step": 17420
    },
    {
      "epoch": 0.5808333333333333,
      "grad_norm": 1.765625,
      "learning_rate": 0.0003608135593220339,
      "loss": 4.229867172241211,
      "step": 17425
    },
    {
      "epoch": 0.581,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00036077118644067797,
      "loss": 3.746474838256836,
      "step": 17430
    },
    {
      "epoch": 0.5811666666666667,
      "grad_norm": 1.3984375,
      "learning_rate": 0.000360728813559322,
      "loss": 4.191660308837891,
      "step": 17435
    },
    {
      "epoch": 0.5813333333333334,
      "grad_norm": 1.390625,
      "learning_rate": 0.0003606864406779661,
      "loss": 4.068427276611328,
      "step": 17440
    },
    {
      "epoch": 0.5815,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003606440677966102,
      "loss": 3.6765235900878905,
      "step": 17445
    },
    {
      "epoch": 0.5816666666666667,
      "grad_norm": 2.125,
      "learning_rate": 0.00036060169491525425,
      "loss": 4.032714080810547,
      "step": 17450
    },
    {
      "epoch": 0.5818333333333333,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0003605593220338983,
      "loss": 3.584292984008789,
      "step": 17455
    },
    {
      "epoch": 0.582,
      "grad_norm": 1.796875,
      "learning_rate": 0.0003605169491525424,
      "loss": 3.1828052520751955,
      "step": 17460
    },
    {
      "epoch": 0.5821666666666667,
      "grad_norm": 2.34375,
      "learning_rate": 0.0003604745762711865,
      "loss": 3.9302825927734375,
      "step": 17465
    },
    {
      "epoch": 0.5823333333333334,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0003604322033898305,
      "loss": 3.7194713592529296,
      "step": 17470
    },
    {
      "epoch": 0.5825,
      "grad_norm": 2.890625,
      "learning_rate": 0.00036038983050847457,
      "loss": 3.6469585418701174,
      "step": 17475
    },
    {
      "epoch": 0.5826666666666667,
      "grad_norm": 3.109375,
      "learning_rate": 0.0003603474576271186,
      "loss": 3.9704448699951174,
      "step": 17480
    },
    {
      "epoch": 0.5828333333333333,
      "grad_norm": 2.203125,
      "learning_rate": 0.0003603050847457627,
      "loss": 4.6381782531738285,
      "step": 17485
    },
    {
      "epoch": 0.583,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003602627118644068,
      "loss": 3.6090011596679688,
      "step": 17490
    },
    {
      "epoch": 0.5831666666666667,
      "grad_norm": 2.125,
      "learning_rate": 0.00036022033898305085,
      "loss": 3.9185245513916014,
      "step": 17495
    },
    {
      "epoch": 0.5833333333333334,
      "grad_norm": 1.5,
      "learning_rate": 0.0003601779661016949,
      "loss": 3.609929656982422,
      "step": 17500
    },
    {
      "epoch": 0.5835,
      "grad_norm": 1.8359375,
      "learning_rate": 0.000360135593220339,
      "loss": 3.8531322479248047,
      "step": 17505
    },
    {
      "epoch": 0.5836666666666667,
      "grad_norm": 1.4140625,
      "learning_rate": 0.0003600932203389831,
      "loss": 3.6173641204833986,
      "step": 17510
    },
    {
      "epoch": 0.5838333333333333,
      "grad_norm": 1.9140625,
      "learning_rate": 0.00036005084745762713,
      "loss": 4.099047470092773,
      "step": 17515
    },
    {
      "epoch": 0.584,
      "grad_norm": 1.1328125,
      "learning_rate": 0.00036000847457627117,
      "loss": 3.6978565216064454,
      "step": 17520
    },
    {
      "epoch": 0.5841666666666666,
      "grad_norm": 4.65625,
      "learning_rate": 0.00035996610169491527,
      "loss": 3.321758270263672,
      "step": 17525
    },
    {
      "epoch": 0.5843333333333334,
      "grad_norm": 4.53125,
      "learning_rate": 0.0003599237288135593,
      "loss": 4.3374176025390625,
      "step": 17530
    },
    {
      "epoch": 0.5845,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003598813559322034,
      "loss": 3.740247344970703,
      "step": 17535
    },
    {
      "epoch": 0.5846666666666667,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00035983898305084745,
      "loss": 3.950235366821289,
      "step": 17540
    },
    {
      "epoch": 0.5848333333333333,
      "grad_norm": 1.890625,
      "learning_rate": 0.00035979661016949155,
      "loss": 3.074544143676758,
      "step": 17545
    },
    {
      "epoch": 0.585,
      "grad_norm": 1.59375,
      "learning_rate": 0.0003597542372881356,
      "loss": 3.4794921875,
      "step": 17550
    },
    {
      "epoch": 0.5851666666666666,
      "grad_norm": 1.625,
      "learning_rate": 0.0003597118644067797,
      "loss": 3.908315658569336,
      "step": 17555
    },
    {
      "epoch": 0.5853333333333334,
      "grad_norm": 2.4375,
      "learning_rate": 0.00035966949152542373,
      "loss": 2.3765296936035156,
      "step": 17560
    },
    {
      "epoch": 0.5855,
      "grad_norm": 1.703125,
      "learning_rate": 0.00035962711864406783,
      "loss": 3.7386314392089846,
      "step": 17565
    },
    {
      "epoch": 0.5856666666666667,
      "grad_norm": 4.8125,
      "learning_rate": 0.00035958474576271187,
      "loss": 4.244871139526367,
      "step": 17570
    },
    {
      "epoch": 0.5858333333333333,
      "grad_norm": 2.390625,
      "learning_rate": 0.0003595423728813559,
      "loss": 4.128638076782226,
      "step": 17575
    },
    {
      "epoch": 0.586,
      "grad_norm": 3.78125,
      "learning_rate": 0.0003595,
      "loss": 3.908883285522461,
      "step": 17580
    },
    {
      "epoch": 0.5861666666666666,
      "grad_norm": 3.390625,
      "learning_rate": 0.00035945762711864405,
      "loss": 3.231749725341797,
      "step": 17585
    },
    {
      "epoch": 0.5863333333333334,
      "grad_norm": 1.890625,
      "learning_rate": 0.00035941525423728815,
      "loss": 3.4699069976806642,
      "step": 17590
    },
    {
      "epoch": 0.5865,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0003593728813559322,
      "loss": 4.122446823120117,
      "step": 17595
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 1.4609375,
      "learning_rate": 0.0003593305084745763,
      "loss": 3.8099884033203124,
      "step": 17600
    },
    {
      "epoch": 0.5868333333333333,
      "grad_norm": 1.9765625,
      "learning_rate": 0.00035928813559322033,
      "loss": 3.829494094848633,
      "step": 17605
    },
    {
      "epoch": 0.587,
      "grad_norm": 1.65625,
      "learning_rate": 0.00035924576271186443,
      "loss": 3.998423385620117,
      "step": 17610
    },
    {
      "epoch": 0.5871666666666666,
      "grad_norm": 2.078125,
      "learning_rate": 0.0003592033898305085,
      "loss": 4.36218032836914,
      "step": 17615
    },
    {
      "epoch": 0.5873333333333334,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0003591610169491525,
      "loss": 3.7478466033935547,
      "step": 17620
    },
    {
      "epoch": 0.5875,
      "grad_norm": 2.40625,
      "learning_rate": 0.0003591186440677966,
      "loss": 4.120818328857422,
      "step": 17625
    },
    {
      "epoch": 0.5876666666666667,
      "grad_norm": 2.84375,
      "learning_rate": 0.0003590762711864407,
      "loss": 4.260398864746094,
      "step": 17630
    },
    {
      "epoch": 0.5878333333333333,
      "grad_norm": 2.109375,
      "learning_rate": 0.00035903389830508475,
      "loss": 4.173577880859375,
      "step": 17635
    },
    {
      "epoch": 0.588,
      "grad_norm": 1.578125,
      "learning_rate": 0.0003589915254237288,
      "loss": 2.9996578216552736,
      "step": 17640
    },
    {
      "epoch": 0.5881666666666666,
      "grad_norm": 2.265625,
      "learning_rate": 0.0003589491525423729,
      "loss": 4.237953948974609,
      "step": 17645
    },
    {
      "epoch": 0.5883333333333334,
      "grad_norm": 1.9296875,
      "learning_rate": 0.000358906779661017,
      "loss": 3.8662532806396483,
      "step": 17650
    },
    {
      "epoch": 0.5885,
      "grad_norm": 2.203125,
      "learning_rate": 0.00035886440677966103,
      "loss": 3.6556507110595704,
      "step": 17655
    },
    {
      "epoch": 0.5886666666666667,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003588220338983051,
      "loss": 4.157794570922851,
      "step": 17660
    },
    {
      "epoch": 0.5888333333333333,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003587796610169491,
      "loss": 3.563446807861328,
      "step": 17665
    },
    {
      "epoch": 0.589,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00035873728813559327,
      "loss": 4.031061172485352,
      "step": 17670
    },
    {
      "epoch": 0.5891666666666666,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003586949152542373,
      "loss": 4.2876708984375,
      "step": 17675
    },
    {
      "epoch": 0.5893333333333334,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00035865254237288136,
      "loss": 3.381069564819336,
      "step": 17680
    },
    {
      "epoch": 0.5895,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003586101694915254,
      "loss": 4.373210906982422,
      "step": 17685
    },
    {
      "epoch": 0.5896666666666667,
      "grad_norm": 2.46875,
      "learning_rate": 0.0003585677966101695,
      "loss": 3.8727222442626954,
      "step": 17690
    },
    {
      "epoch": 0.5898333333333333,
      "grad_norm": 1.46875,
      "learning_rate": 0.0003585254237288136,
      "loss": 3.892201614379883,
      "step": 17695
    },
    {
      "epoch": 0.59,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00035848305084745764,
      "loss": 3.728087615966797,
      "step": 17700
    },
    {
      "epoch": 0.5901666666666666,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0003584406779661017,
      "loss": 4.083319091796875,
      "step": 17705
    },
    {
      "epoch": 0.5903333333333334,
      "grad_norm": 1.4375,
      "learning_rate": 0.0003583983050847457,
      "loss": 3.564230728149414,
      "step": 17710
    },
    {
      "epoch": 0.5905,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0003583559322033899,
      "loss": 3.628203201293945,
      "step": 17715
    },
    {
      "epoch": 0.5906666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0003583135593220339,
      "loss": 4.0679370880126955,
      "step": 17720
    },
    {
      "epoch": 0.5908333333333333,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00035827118644067796,
      "loss": 4.18377571105957,
      "step": 17725
    },
    {
      "epoch": 0.591,
      "grad_norm": 1.5078125,
      "learning_rate": 0.000358228813559322,
      "loss": 3.6320709228515624,
      "step": 17730
    },
    {
      "epoch": 0.5911666666666666,
      "grad_norm": 2.21875,
      "learning_rate": 0.00035818644067796615,
      "loss": 4.548230361938477,
      "step": 17735
    },
    {
      "epoch": 0.5913333333333334,
      "grad_norm": 1.640625,
      "learning_rate": 0.0003581440677966102,
      "loss": 3.3804359436035156,
      "step": 17740
    },
    {
      "epoch": 0.5915,
      "grad_norm": 1.75,
      "learning_rate": 0.00035810169491525424,
      "loss": 3.793439483642578,
      "step": 17745
    },
    {
      "epoch": 0.5916666666666667,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0003580593220338983,
      "loss": 3.9310073852539062,
      "step": 17750
    },
    {
      "epoch": 0.5918333333333333,
      "grad_norm": 2.28125,
      "learning_rate": 0.0003580169491525424,
      "loss": 3.8382869720458985,
      "step": 17755
    },
    {
      "epoch": 0.592,
      "grad_norm": 4.0625,
      "learning_rate": 0.0003579745762711865,
      "loss": 3.251824951171875,
      "step": 17760
    },
    {
      "epoch": 0.5921666666666666,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0003579322033898305,
      "loss": 4.361751556396484,
      "step": 17765
    },
    {
      "epoch": 0.5923333333333334,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00035788983050847456,
      "loss": 4.453770446777344,
      "step": 17770
    },
    {
      "epoch": 0.5925,
      "grad_norm": 1.515625,
      "learning_rate": 0.00035784745762711866,
      "loss": 3.8136276245117187,
      "step": 17775
    },
    {
      "epoch": 0.5926666666666667,
      "grad_norm": 3.25,
      "learning_rate": 0.00035780508474576276,
      "loss": 3.9022167205810545,
      "step": 17780
    },
    {
      "epoch": 0.5928333333333333,
      "grad_norm": 1.453125,
      "learning_rate": 0.0003577627118644068,
      "loss": 3.8099361419677735,
      "step": 17785
    },
    {
      "epoch": 0.593,
      "grad_norm": 1.625,
      "learning_rate": 0.00035772033898305084,
      "loss": 4.177476501464843,
      "step": 17790
    },
    {
      "epoch": 0.5931666666666666,
      "grad_norm": 1.703125,
      "learning_rate": 0.0003576779661016949,
      "loss": 3.825572204589844,
      "step": 17795
    },
    {
      "epoch": 0.5933333333333334,
      "grad_norm": 1.859375,
      "learning_rate": 0.000357635593220339,
      "loss": 3.718365478515625,
      "step": 17800
    },
    {
      "epoch": 0.5935,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003575932203389831,
      "loss": 4.127685928344727,
      "step": 17805
    },
    {
      "epoch": 0.5936666666666667,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0003575508474576271,
      "loss": 3.8345016479492187,
      "step": 17810
    },
    {
      "epoch": 0.5938333333333333,
      "grad_norm": 1.5,
      "learning_rate": 0.00035750847457627116,
      "loss": 3.2639209747314455,
      "step": 17815
    },
    {
      "epoch": 0.594,
      "grad_norm": 3.0625,
      "learning_rate": 0.00035746610169491526,
      "loss": 3.746094512939453,
      "step": 17820
    },
    {
      "epoch": 0.5941666666666666,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00035742372881355936,
      "loss": 4.230897521972656,
      "step": 17825
    },
    {
      "epoch": 0.5943333333333334,
      "grad_norm": 1.546875,
      "learning_rate": 0.0003573813559322034,
      "loss": 4.388771820068359,
      "step": 17830
    },
    {
      "epoch": 0.5945,
      "grad_norm": 3.25,
      "learning_rate": 0.00035733898305084744,
      "loss": 4.115329742431641,
      "step": 17835
    },
    {
      "epoch": 0.5946666666666667,
      "grad_norm": 1.9921875,
      "learning_rate": 0.00035729661016949154,
      "loss": 4.039408111572266,
      "step": 17840
    },
    {
      "epoch": 0.5948333333333333,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0003572542372881356,
      "loss": 4.1823280334472654,
      "step": 17845
    },
    {
      "epoch": 0.595,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003572118644067797,
      "loss": 4.657421875,
      "step": 17850
    },
    {
      "epoch": 0.5951666666666666,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003571694915254237,
      "loss": 4.049801635742187,
      "step": 17855
    },
    {
      "epoch": 0.5953333333333334,
      "grad_norm": 1.59375,
      "learning_rate": 0.0003571271186440678,
      "loss": 4.0660247802734375,
      "step": 17860
    },
    {
      "epoch": 0.5955,
      "grad_norm": 4.90625,
      "learning_rate": 0.00035708474576271186,
      "loss": 4.33978042602539,
      "step": 17865
    },
    {
      "epoch": 0.5956666666666667,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00035704237288135596,
      "loss": 3.980907440185547,
      "step": 17870
    },
    {
      "epoch": 0.5958333333333333,
      "grad_norm": 1.7421875,
      "learning_rate": 0.000357,
      "loss": 4.255072784423828,
      "step": 17875
    },
    {
      "epoch": 0.596,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0003569576271186441,
      "loss": 3.967366409301758,
      "step": 17880
    },
    {
      "epoch": 0.5961666666666666,
      "grad_norm": 1.8125,
      "learning_rate": 0.00035691525423728814,
      "loss": 3.649384307861328,
      "step": 17885
    },
    {
      "epoch": 0.5963333333333334,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0003568728813559322,
      "loss": 4.2497100830078125,
      "step": 17890
    },
    {
      "epoch": 0.5965,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003568305084745763,
      "loss": 4.1364494323730465,
      "step": 17895
    },
    {
      "epoch": 0.5966666666666667,
      "grad_norm": 4.125,
      "learning_rate": 0.0003567881355932203,
      "loss": 3.949423980712891,
      "step": 17900
    },
    {
      "epoch": 0.5968333333333333,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003567457627118644,
      "loss": 3.904857635498047,
      "step": 17905
    },
    {
      "epoch": 0.597,
      "grad_norm": 2.671875,
      "learning_rate": 0.00035670338983050847,
      "loss": 4.540793609619141,
      "step": 17910
    },
    {
      "epoch": 0.5971666666666666,
      "grad_norm": 3.265625,
      "learning_rate": 0.00035666101694915256,
      "loss": 3.8793846130371095,
      "step": 17915
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 1.71875,
      "learning_rate": 0.0003566186440677966,
      "loss": 3.389931869506836,
      "step": 17920
    },
    {
      "epoch": 0.5975,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0003565762711864407,
      "loss": 3.958929443359375,
      "step": 17925
    },
    {
      "epoch": 0.5976666666666667,
      "grad_norm": 2.09375,
      "learning_rate": 0.00035653389830508475,
      "loss": 4.346492004394531,
      "step": 17930
    },
    {
      "epoch": 0.5978333333333333,
      "grad_norm": 1.59375,
      "learning_rate": 0.0003564915254237288,
      "loss": 2.9389673233032227,
      "step": 17935
    },
    {
      "epoch": 0.598,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0003564491525423729,
      "loss": 3.6502742767333984,
      "step": 17940
    },
    {
      "epoch": 0.5981666666666666,
      "grad_norm": 1.7109375,
      "learning_rate": 0.000356406779661017,
      "loss": 4.009392547607422,
      "step": 17945
    },
    {
      "epoch": 0.5983333333333334,
      "grad_norm": 1.875,
      "learning_rate": 0.000356364406779661,
      "loss": 3.392245864868164,
      "step": 17950
    },
    {
      "epoch": 0.5985,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00035632203389830507,
      "loss": 4.638759613037109,
      "step": 17955
    },
    {
      "epoch": 0.5986666666666667,
      "grad_norm": 2.015625,
      "learning_rate": 0.00035627966101694917,
      "loss": 4.186185455322265,
      "step": 17960
    },
    {
      "epoch": 0.5988333333333333,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00035623728813559326,
      "loss": 4.346458053588867,
      "step": 17965
    },
    {
      "epoch": 0.599,
      "grad_norm": 1.265625,
      "learning_rate": 0.0003561949152542373,
      "loss": 2.7895761489868165,
      "step": 17970
    },
    {
      "epoch": 0.5991666666666666,
      "grad_norm": 2.140625,
      "learning_rate": 0.00035615254237288135,
      "loss": 3.798650360107422,
      "step": 17975
    },
    {
      "epoch": 0.5993333333333334,
      "grad_norm": 2.359375,
      "learning_rate": 0.0003561101694915254,
      "loss": 4.174147033691407,
      "step": 17980
    },
    {
      "epoch": 0.5995,
      "grad_norm": 2.015625,
      "learning_rate": 0.00035606779661016954,
      "loss": 4.064051818847656,
      "step": 17985
    },
    {
      "epoch": 0.5996666666666667,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0003560254237288136,
      "loss": 4.229193115234375,
      "step": 17990
    },
    {
      "epoch": 0.5998333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00035598305084745763,
      "loss": 4.5897468566894535,
      "step": 17995
    },
    {
      "epoch": 0.6,
      "grad_norm": 2.953125,
      "learning_rate": 0.00035594067796610167,
      "loss": 3.5541828155517576,
      "step": 18000
    },
    {
      "epoch": 0.6001666666666666,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00035589830508474577,
      "loss": 3.846630096435547,
      "step": 18005
    },
    {
      "epoch": 0.6003333333333334,
      "grad_norm": 1.875,
      "learning_rate": 0.00035585593220338987,
      "loss": 3.9933181762695313,
      "step": 18010
    },
    {
      "epoch": 0.6005,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003558135593220339,
      "loss": 3.8422836303710937,
      "step": 18015
    },
    {
      "epoch": 0.6006666666666667,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00035577118644067795,
      "loss": 4.452488708496094,
      "step": 18020
    },
    {
      "epoch": 0.6008333333333333,
      "grad_norm": 1.8828125,
      "learning_rate": 0.000355728813559322,
      "loss": 3.988172912597656,
      "step": 18025
    },
    {
      "epoch": 0.601,
      "grad_norm": 1.6875,
      "learning_rate": 0.00035568644067796615,
      "loss": 4.39532585144043,
      "step": 18030
    },
    {
      "epoch": 0.6011666666666666,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0003556440677966102,
      "loss": 3.6822063446044924,
      "step": 18035
    },
    {
      "epoch": 0.6013333333333334,
      "grad_norm": 1.859375,
      "learning_rate": 0.00035560169491525423,
      "loss": 3.951858901977539,
      "step": 18040
    },
    {
      "epoch": 0.6015,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003555593220338983,
      "loss": 4.366644287109375,
      "step": 18045
    },
    {
      "epoch": 0.6016666666666667,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003555169491525424,
      "loss": 3.1481559753417967,
      "step": 18050
    },
    {
      "epoch": 0.6018333333333333,
      "grad_norm": 1.53125,
      "learning_rate": 0.00035547457627118647,
      "loss": 3.7168552398681642,
      "step": 18055
    },
    {
      "epoch": 0.602,
      "grad_norm": 2.25,
      "learning_rate": 0.0003554322033898305,
      "loss": 3.9643630981445312,
      "step": 18060
    },
    {
      "epoch": 0.6021666666666666,
      "grad_norm": 2.25,
      "learning_rate": 0.00035538983050847455,
      "loss": 4.494467163085938,
      "step": 18065
    },
    {
      "epoch": 0.6023333333333334,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00035534745762711865,
      "loss": 4.328614807128906,
      "step": 18070
    },
    {
      "epoch": 0.6025,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00035530508474576275,
      "loss": 4.232510757446289,
      "step": 18075
    },
    {
      "epoch": 0.6026666666666667,
      "grad_norm": 1.734375,
      "learning_rate": 0.0003552627118644068,
      "loss": 4.328253173828125,
      "step": 18080
    },
    {
      "epoch": 0.6028333333333333,
      "grad_norm": 2.421875,
      "learning_rate": 0.00035522033898305083,
      "loss": 3.8402969360351564,
      "step": 18085
    },
    {
      "epoch": 0.603,
      "grad_norm": 1.9921875,
      "learning_rate": 0.00035517796610169493,
      "loss": 4.336412811279297,
      "step": 18090
    },
    {
      "epoch": 0.6031666666666666,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00035513559322033903,
      "loss": 4.402685928344726,
      "step": 18095
    },
    {
      "epoch": 0.6033333333333334,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00035509322033898307,
      "loss": 3.9328338623046877,
      "step": 18100
    },
    {
      "epoch": 0.6035,
      "grad_norm": 1.3359375,
      "learning_rate": 0.0003550508474576271,
      "loss": 3.0037466049194337,
      "step": 18105
    },
    {
      "epoch": 0.6036666666666667,
      "grad_norm": 1.3203125,
      "learning_rate": 0.00035500847457627116,
      "loss": 3.821242904663086,
      "step": 18110
    },
    {
      "epoch": 0.6038333333333333,
      "grad_norm": 1.734375,
      "learning_rate": 0.00035496610169491525,
      "loss": 4.327798843383789,
      "step": 18115
    },
    {
      "epoch": 0.604,
      "grad_norm": 2.90625,
      "learning_rate": 0.00035492372881355935,
      "loss": 3.8489616394042967,
      "step": 18120
    },
    {
      "epoch": 0.6041666666666666,
      "grad_norm": 2.359375,
      "learning_rate": 0.0003548813559322034,
      "loss": 4.484715270996094,
      "step": 18125
    },
    {
      "epoch": 0.6043333333333333,
      "grad_norm": 1.9921875,
      "learning_rate": 0.00035483898305084744,
      "loss": 4.0786388397216795,
      "step": 18130
    },
    {
      "epoch": 0.6045,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00035479661016949153,
      "loss": 3.8447322845458984,
      "step": 18135
    },
    {
      "epoch": 0.6046666666666667,
      "grad_norm": 3.4375,
      "learning_rate": 0.00035475423728813563,
      "loss": 3.5023502349853515,
      "step": 18140
    },
    {
      "epoch": 0.6048333333333333,
      "grad_norm": 1.9453125,
      "learning_rate": 0.0003547118644067797,
      "loss": 3.9536685943603516,
      "step": 18145
    },
    {
      "epoch": 0.605,
      "grad_norm": 1.890625,
      "learning_rate": 0.0003546694915254237,
      "loss": 3.445740509033203,
      "step": 18150
    },
    {
      "epoch": 0.6051666666666666,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003546271186440678,
      "loss": 4.1178020477294925,
      "step": 18155
    },
    {
      "epoch": 0.6053333333333333,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00035458474576271186,
      "loss": 4.297411346435547,
      "step": 18160
    },
    {
      "epoch": 0.6055,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00035454237288135595,
      "loss": 3.93380126953125,
      "step": 18165
    },
    {
      "epoch": 0.6056666666666667,
      "grad_norm": 3.671875,
      "learning_rate": 0.0003545,
      "loss": 3.8529796600341797,
      "step": 18170
    },
    {
      "epoch": 0.6058333333333333,
      "grad_norm": 1.3046875,
      "learning_rate": 0.0003544576271186441,
      "loss": 3.9923912048339845,
      "step": 18175
    },
    {
      "epoch": 0.606,
      "grad_norm": 1.4296875,
      "learning_rate": 0.00035441525423728814,
      "loss": 3.8140682220458983,
      "step": 18180
    },
    {
      "epoch": 0.6061666666666666,
      "grad_norm": 1.703125,
      "learning_rate": 0.00035437288135593223,
      "loss": 3.9541656494140627,
      "step": 18185
    },
    {
      "epoch": 0.6063333333333333,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003543305084745763,
      "loss": 4.0422111511230465,
      "step": 18190
    },
    {
      "epoch": 0.6065,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0003542881355932204,
      "loss": 4.051023864746094,
      "step": 18195
    },
    {
      "epoch": 0.6066666666666667,
      "grad_norm": 1.890625,
      "learning_rate": 0.0003542457627118644,
      "loss": 3.5230728149414063,
      "step": 18200
    },
    {
      "epoch": 0.6068333333333333,
      "grad_norm": 1.90625,
      "learning_rate": 0.00035420338983050846,
      "loss": 3.652365875244141,
      "step": 18205
    },
    {
      "epoch": 0.607,
      "grad_norm": 1.578125,
      "learning_rate": 0.00035416101694915256,
      "loss": 4.117831802368164,
      "step": 18210
    },
    {
      "epoch": 0.6071666666666666,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0003541186440677966,
      "loss": 3.7811622619628906,
      "step": 18215
    },
    {
      "epoch": 0.6073333333333333,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0003540762711864407,
      "loss": 3.127005386352539,
      "step": 18220
    },
    {
      "epoch": 0.6075,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00035403389830508474,
      "loss": 4.512959289550781,
      "step": 18225
    },
    {
      "epoch": 0.6076666666666667,
      "grad_norm": 3.3125,
      "learning_rate": 0.00035399152542372884,
      "loss": 3.6954940795898437,
      "step": 18230
    },
    {
      "epoch": 0.6078333333333333,
      "grad_norm": 1.25,
      "learning_rate": 0.0003539491525423729,
      "loss": 3.623830795288086,
      "step": 18235
    },
    {
      "epoch": 0.608,
      "grad_norm": 1.6875,
      "learning_rate": 0.000353906779661017,
      "loss": 4.34959602355957,
      "step": 18240
    },
    {
      "epoch": 0.6081666666666666,
      "grad_norm": 1.53125,
      "learning_rate": 0.000353864406779661,
      "loss": 3.9214122772216795,
      "step": 18245
    },
    {
      "epoch": 0.6083333333333333,
      "grad_norm": 1.90625,
      "learning_rate": 0.00035382203389830506,
      "loss": 3.84212646484375,
      "step": 18250
    },
    {
      "epoch": 0.6085,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00035377966101694916,
      "loss": 4.1514019012451175,
      "step": 18255
    },
    {
      "epoch": 0.6086666666666667,
      "grad_norm": 1.421875,
      "learning_rate": 0.00035373728813559326,
      "loss": 3.7837554931640627,
      "step": 18260
    },
    {
      "epoch": 0.6088333333333333,
      "grad_norm": 2.109375,
      "learning_rate": 0.0003536949152542373,
      "loss": 3.613995361328125,
      "step": 18265
    },
    {
      "epoch": 0.609,
      "grad_norm": 3.59375,
      "learning_rate": 0.00035365254237288134,
      "loss": 4.337992858886719,
      "step": 18270
    },
    {
      "epoch": 0.6091666666666666,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00035361016949152544,
      "loss": 4.307542037963867,
      "step": 18275
    },
    {
      "epoch": 0.6093333333333333,
      "grad_norm": 2.265625,
      "learning_rate": 0.00035356779661016954,
      "loss": 4.260403442382812,
      "step": 18280
    },
    {
      "epoch": 0.6095,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0003535254237288136,
      "loss": 4.116127777099609,
      "step": 18285
    },
    {
      "epoch": 0.6096666666666667,
      "grad_norm": 1.1640625,
      "learning_rate": 0.0003534830508474576,
      "loss": 3.328715515136719,
      "step": 18290
    },
    {
      "epoch": 0.6098333333333333,
      "grad_norm": 1.734375,
      "learning_rate": 0.00035344067796610167,
      "loss": 3.8021308898925783,
      "step": 18295
    },
    {
      "epoch": 0.61,
      "grad_norm": 2.96875,
      "learning_rate": 0.0003533983050847458,
      "loss": 4.151061248779297,
      "step": 18300
    },
    {
      "epoch": 0.6101666666666666,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00035335593220338986,
      "loss": 4.262969970703125,
      "step": 18305
    },
    {
      "epoch": 0.6103333333333333,
      "grad_norm": 2.09375,
      "learning_rate": 0.0003533135593220339,
      "loss": 4.1219024658203125,
      "step": 18310
    },
    {
      "epoch": 0.6105,
      "grad_norm": 1.453125,
      "learning_rate": 0.00035327118644067795,
      "loss": 3.0789857864379884,
      "step": 18315
    },
    {
      "epoch": 0.6106666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.000353228813559322,
      "loss": 3.735647964477539,
      "step": 18320
    },
    {
      "epoch": 0.6108333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.00035318644067796614,
      "loss": 3.6638160705566407,
      "step": 18325
    },
    {
      "epoch": 0.611,
      "grad_norm": 1.625,
      "learning_rate": 0.0003531440677966102,
      "loss": 3.5809322357177735,
      "step": 18330
    },
    {
      "epoch": 0.6111666666666666,
      "grad_norm": 2.5,
      "learning_rate": 0.0003531016949152542,
      "loss": 4.284089660644531,
      "step": 18335
    },
    {
      "epoch": 0.6113333333333333,
      "grad_norm": 2.125,
      "learning_rate": 0.00035305932203389827,
      "loss": 3.3972442626953123,
      "step": 18340
    },
    {
      "epoch": 0.6115,
      "grad_norm": 2.109375,
      "learning_rate": 0.0003530169491525424,
      "loss": 4.319470977783203,
      "step": 18345
    },
    {
      "epoch": 0.6116666666666667,
      "grad_norm": 1.796875,
      "learning_rate": 0.00035297457627118646,
      "loss": 3.923503112792969,
      "step": 18350
    },
    {
      "epoch": 0.6118333333333333,
      "grad_norm": 1.6875,
      "learning_rate": 0.0003529322033898305,
      "loss": 4.300197601318359,
      "step": 18355
    },
    {
      "epoch": 0.612,
      "grad_norm": 1.40625,
      "learning_rate": 0.00035288983050847455,
      "loss": 4.273843383789062,
      "step": 18360
    },
    {
      "epoch": 0.6121666666666666,
      "grad_norm": 2.640625,
      "learning_rate": 0.0003528474576271187,
      "loss": 3.57060546875,
      "step": 18365
    },
    {
      "epoch": 0.6123333333333333,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00035280508474576274,
      "loss": 3.969293212890625,
      "step": 18370
    },
    {
      "epoch": 0.6125,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003527627118644068,
      "loss": 4.142732238769531,
      "step": 18375
    },
    {
      "epoch": 0.6126666666666667,
      "grad_norm": 2.3125,
      "learning_rate": 0.00035272033898305083,
      "loss": 4.359172058105469,
      "step": 18380
    },
    {
      "epoch": 0.6128333333333333,
      "grad_norm": 2.265625,
      "learning_rate": 0.0003526779661016949,
      "loss": 4.191308975219727,
      "step": 18385
    },
    {
      "epoch": 0.613,
      "grad_norm": 1.1015625,
      "learning_rate": 0.000352635593220339,
      "loss": 3.3078609466552735,
      "step": 18390
    },
    {
      "epoch": 0.6131666666666666,
      "grad_norm": 2.28125,
      "learning_rate": 0.00035259322033898307,
      "loss": 3.8451541900634765,
      "step": 18395
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 1.71875,
      "learning_rate": 0.0003525508474576271,
      "loss": 4.104271316528321,
      "step": 18400
    },
    {
      "epoch": 0.6135,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0003525084745762712,
      "loss": 3.133163261413574,
      "step": 18405
    },
    {
      "epoch": 0.6136666666666667,
      "grad_norm": 2.578125,
      "learning_rate": 0.0003524661016949153,
      "loss": 3.7045177459716796,
      "step": 18410
    },
    {
      "epoch": 0.6138333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00035242372881355935,
      "loss": 3.5797698974609373,
      "step": 18415
    },
    {
      "epoch": 0.614,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003523813559322034,
      "loss": 4.093021011352539,
      "step": 18420
    },
    {
      "epoch": 0.6141666666666666,
      "grad_norm": 1.859375,
      "learning_rate": 0.00035233898305084743,
      "loss": 3.424378204345703,
      "step": 18425
    },
    {
      "epoch": 0.6143333333333333,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00035229661016949153,
      "loss": 5.141111755371094,
      "step": 18430
    },
    {
      "epoch": 0.6145,
      "grad_norm": 1.953125,
      "learning_rate": 0.0003522542372881356,
      "loss": 3.382180023193359,
      "step": 18435
    },
    {
      "epoch": 0.6146666666666667,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00035221186440677967,
      "loss": 4.192383193969727,
      "step": 18440
    },
    {
      "epoch": 0.6148333333333333,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0003521694915254237,
      "loss": 3.7196094512939455,
      "step": 18445
    },
    {
      "epoch": 0.615,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003521271186440678,
      "loss": 3.1798274993896483,
      "step": 18450
    },
    {
      "epoch": 0.6151666666666666,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00035208474576271185,
      "loss": 3.4881622314453127,
      "step": 18455
    },
    {
      "epoch": 0.6153333333333333,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00035204237288135595,
      "loss": 4.26250991821289,
      "step": 18460
    },
    {
      "epoch": 0.6155,
      "grad_norm": 1.65625,
      "learning_rate": 0.000352,
      "loss": 3.410395050048828,
      "step": 18465
    },
    {
      "epoch": 0.6156666666666667,
      "grad_norm": 2.390625,
      "learning_rate": 0.0003519576271186441,
      "loss": 4.210066223144532,
      "step": 18470
    },
    {
      "epoch": 0.6158333333333333,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00035191525423728813,
      "loss": 3.80159912109375,
      "step": 18475
    },
    {
      "epoch": 0.616,
      "grad_norm": 1.53125,
      "learning_rate": 0.00035187288135593223,
      "loss": 3.959980773925781,
      "step": 18480
    },
    {
      "epoch": 0.6161666666666666,
      "grad_norm": 2.078125,
      "learning_rate": 0.00035183050847457627,
      "loss": 3.8770370483398438,
      "step": 18485
    },
    {
      "epoch": 0.6163333333333333,
      "grad_norm": 1.75,
      "learning_rate": 0.00035178813559322037,
      "loss": 4.007615661621093,
      "step": 18490
    },
    {
      "epoch": 0.6165,
      "grad_norm": 2.140625,
      "learning_rate": 0.0003517457627118644,
      "loss": 3.891001892089844,
      "step": 18495
    },
    {
      "epoch": 0.6166666666666667,
      "grad_norm": 1.546875,
      "learning_rate": 0.00035170338983050845,
      "loss": 3.0840984344482423,
      "step": 18500
    },
    {
      "epoch": 0.6168333333333333,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00035166101694915255,
      "loss": 3.4032745361328125,
      "step": 18505
    },
    {
      "epoch": 0.617,
      "grad_norm": 1.96875,
      "learning_rate": 0.00035161864406779665,
      "loss": 3.1216762542724608,
      "step": 18510
    },
    {
      "epoch": 0.6171666666666666,
      "grad_norm": 1.890625,
      "learning_rate": 0.0003515762711864407,
      "loss": 4.003085708618164,
      "step": 18515
    },
    {
      "epoch": 0.6173333333333333,
      "grad_norm": 2.15625,
      "learning_rate": 0.00035153389830508473,
      "loss": 4.515460968017578,
      "step": 18520
    },
    {
      "epoch": 0.6175,
      "grad_norm": 2.328125,
      "learning_rate": 0.00035149152542372883,
      "loss": 3.590951919555664,
      "step": 18525
    },
    {
      "epoch": 0.6176666666666667,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0003514491525423729,
      "loss": 3.2354034423828124,
      "step": 18530
    },
    {
      "epoch": 0.6178333333333333,
      "grad_norm": 2.21875,
      "learning_rate": 0.00035140677966101697,
      "loss": 4.566230773925781,
      "step": 18535
    },
    {
      "epoch": 0.618,
      "grad_norm": 1.3515625,
      "learning_rate": 0.000351364406779661,
      "loss": 3.213995361328125,
      "step": 18540
    },
    {
      "epoch": 0.6181666666666666,
      "grad_norm": 2.234375,
      "learning_rate": 0.00035132203389830506,
      "loss": 3.5648250579833984,
      "step": 18545
    },
    {
      "epoch": 0.6183333333333333,
      "grad_norm": 1.2421875,
      "learning_rate": 0.00035127966101694915,
      "loss": 2.5395626068115233,
      "step": 18550
    },
    {
      "epoch": 0.6185,
      "grad_norm": 1.90625,
      "learning_rate": 0.00035123728813559325,
      "loss": 3.7209182739257813,
      "step": 18555
    },
    {
      "epoch": 0.6186666666666667,
      "grad_norm": 1.765625,
      "learning_rate": 0.0003511949152542373,
      "loss": 4.502342987060547,
      "step": 18560
    },
    {
      "epoch": 0.6188333333333333,
      "grad_norm": 3.84375,
      "learning_rate": 0.00035115254237288134,
      "loss": 3.8330894470214845,
      "step": 18565
    },
    {
      "epoch": 0.619,
      "grad_norm": 2.25,
      "learning_rate": 0.00035111016949152543,
      "loss": 4.067088317871094,
      "step": 18570
    },
    {
      "epoch": 0.6191666666666666,
      "grad_norm": 1.65625,
      "learning_rate": 0.00035106779661016953,
      "loss": 2.7449565887451173,
      "step": 18575
    },
    {
      "epoch": 0.6193333333333333,
      "grad_norm": 2.25,
      "learning_rate": 0.0003510254237288136,
      "loss": 4.016608428955078,
      "step": 18580
    },
    {
      "epoch": 0.6195,
      "grad_norm": 1.703125,
      "learning_rate": 0.0003509830508474576,
      "loss": 3.5101428985595704,
      "step": 18585
    },
    {
      "epoch": 0.6196666666666667,
      "grad_norm": 1.4921875,
      "learning_rate": 0.00035094067796610166,
      "loss": 4.196429061889648,
      "step": 18590
    },
    {
      "epoch": 0.6198333333333333,
      "grad_norm": 1.59375,
      "learning_rate": 0.0003508983050847458,
      "loss": 4.201545715332031,
      "step": 18595
    },
    {
      "epoch": 0.62,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00035085593220338985,
      "loss": 4.286552429199219,
      "step": 18600
    },
    {
      "epoch": 0.6201666666666666,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003508135593220339,
      "loss": 4.285981369018555,
      "step": 18605
    },
    {
      "epoch": 0.6203333333333333,
      "grad_norm": 1.953125,
      "learning_rate": 0.00035077118644067794,
      "loss": 3.5202972412109377,
      "step": 18610
    },
    {
      "epoch": 0.6205,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003507288135593221,
      "loss": 4.0869598388671875,
      "step": 18615
    },
    {
      "epoch": 0.6206666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00035068644067796613,
      "loss": 3.6142669677734376,
      "step": 18620
    },
    {
      "epoch": 0.6208333333333333,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0003506440677966102,
      "loss": 4.251034927368164,
      "step": 18625
    },
    {
      "epoch": 0.621,
      "grad_norm": 2.09375,
      "learning_rate": 0.0003506016949152542,
      "loss": 3.8137645721435547,
      "step": 18630
    },
    {
      "epoch": 0.6211666666666666,
      "grad_norm": 1.765625,
      "learning_rate": 0.00035055932203389826,
      "loss": 3.3579673767089844,
      "step": 18635
    },
    {
      "epoch": 0.6213333333333333,
      "grad_norm": 1.875,
      "learning_rate": 0.0003505169491525424,
      "loss": 4.499734115600586,
      "step": 18640
    },
    {
      "epoch": 0.6215,
      "grad_norm": 2.546875,
      "learning_rate": 0.00035047457627118646,
      "loss": 2.891250228881836,
      "step": 18645
    },
    {
      "epoch": 0.6216666666666667,
      "grad_norm": 2.375,
      "learning_rate": 0.0003504322033898305,
      "loss": 3.3267669677734375,
      "step": 18650
    },
    {
      "epoch": 0.6218333333333333,
      "grad_norm": 1.546875,
      "learning_rate": 0.00035038983050847454,
      "loss": 3.9030292510986326,
      "step": 18655
    },
    {
      "epoch": 0.622,
      "grad_norm": 2.546875,
      "learning_rate": 0.0003503474576271187,
      "loss": 4.042818450927735,
      "step": 18660
    },
    {
      "epoch": 0.6221666666666666,
      "grad_norm": 1.890625,
      "learning_rate": 0.00035030508474576274,
      "loss": 4.48992919921875,
      "step": 18665
    },
    {
      "epoch": 0.6223333333333333,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003502627118644068,
      "loss": 4.215071487426758,
      "step": 18670
    },
    {
      "epoch": 0.6225,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0003502203389830508,
      "loss": 4.133029937744141,
      "step": 18675
    },
    {
      "epoch": 0.6226666666666667,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0003501779661016949,
      "loss": 3.5826793670654298,
      "step": 18680
    },
    {
      "epoch": 0.6228333333333333,
      "grad_norm": 1.765625,
      "learning_rate": 0.000350135593220339,
      "loss": 4.149318695068359,
      "step": 18685
    },
    {
      "epoch": 0.623,
      "grad_norm": 1.890625,
      "learning_rate": 0.00035009322033898306,
      "loss": 3.329330825805664,
      "step": 18690
    },
    {
      "epoch": 0.6231666666666666,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0003500508474576271,
      "loss": 4.395033645629883,
      "step": 18695
    },
    {
      "epoch": 0.6233333333333333,
      "grad_norm": 1.6875,
      "learning_rate": 0.0003500084745762712,
      "loss": 4.217768859863281,
      "step": 18700
    },
    {
      "epoch": 0.6235,
      "grad_norm": 1.109375,
      "learning_rate": 0.0003499661016949153,
      "loss": 3.322981262207031,
      "step": 18705
    },
    {
      "epoch": 0.6236666666666667,
      "grad_norm": 3.796875,
      "learning_rate": 0.00034992372881355934,
      "loss": 3.505143737792969,
      "step": 18710
    },
    {
      "epoch": 0.6238333333333334,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0003498813559322034,
      "loss": 3.2832176208496096,
      "step": 18715
    },
    {
      "epoch": 0.624,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0003498389830508475,
      "loss": 3.7125587463378906,
      "step": 18720
    },
    {
      "epoch": 0.6241666666666666,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0003497966101694915,
      "loss": 3.994709777832031,
      "step": 18725
    },
    {
      "epoch": 0.6243333333333333,
      "grad_norm": 1.921875,
      "learning_rate": 0.0003497542372881356,
      "loss": 4.3089958190917965,
      "step": 18730
    },
    {
      "epoch": 0.6245,
      "grad_norm": 2.09375,
      "learning_rate": 0.00034971186440677966,
      "loss": 3.852744293212891,
      "step": 18735
    },
    {
      "epoch": 0.6246666666666667,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0003496694915254237,
      "loss": 4.349072265625,
      "step": 18740
    },
    {
      "epoch": 0.6248333333333334,
      "grad_norm": 2.046875,
      "learning_rate": 0.0003496271186440678,
      "loss": 3.7223854064941406,
      "step": 18745
    },
    {
      "epoch": 0.625,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003495847457627119,
      "loss": 3.5933399200439453,
      "step": 18750
    },
    {
      "epoch": 0.6251666666666666,
      "grad_norm": 1.59375,
      "learning_rate": 0.00034954237288135594,
      "loss": 4.268226242065429,
      "step": 18755
    },
    {
      "epoch": 0.6253333333333333,
      "grad_norm": 3.640625,
      "learning_rate": 0.0003495,
      "loss": 4.401557159423828,
      "step": 18760
    },
    {
      "epoch": 0.6255,
      "grad_norm": 1.4140625,
      "learning_rate": 0.0003494576271186441,
      "loss": 3.6220317840576173,
      "step": 18765
    },
    {
      "epoch": 0.6256666666666667,
      "grad_norm": 1.9375,
      "learning_rate": 0.0003494152542372881,
      "loss": 3.7141204833984376,
      "step": 18770
    },
    {
      "epoch": 0.6258333333333334,
      "grad_norm": 1.34375,
      "learning_rate": 0.0003493728813559322,
      "loss": 3.659598159790039,
      "step": 18775
    },
    {
      "epoch": 0.626,
      "grad_norm": 7.125,
      "learning_rate": 0.00034933050847457626,
      "loss": 3.546131134033203,
      "step": 18780
    },
    {
      "epoch": 0.6261666666666666,
      "grad_norm": 2.515625,
      "learning_rate": 0.00034928813559322036,
      "loss": 3.8063400268554686,
      "step": 18785
    },
    {
      "epoch": 0.6263333333333333,
      "grad_norm": 2.1875,
      "learning_rate": 0.0003492457627118644,
      "loss": 3.696178436279297,
      "step": 18790
    },
    {
      "epoch": 0.6265,
      "grad_norm": 1.75,
      "learning_rate": 0.0003492033898305085,
      "loss": 3.3696483612060546,
      "step": 18795
    },
    {
      "epoch": 0.6266666666666667,
      "grad_norm": 1.4609375,
      "learning_rate": 0.00034916101694915254,
      "loss": 3.257553482055664,
      "step": 18800
    },
    {
      "epoch": 0.6268333333333334,
      "grad_norm": 1.71875,
      "learning_rate": 0.00034911864406779664,
      "loss": 3.732434844970703,
      "step": 18805
    },
    {
      "epoch": 0.627,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003490762711864407,
      "loss": 4.182791900634766,
      "step": 18810
    },
    {
      "epoch": 0.6271666666666667,
      "grad_norm": 2.265625,
      "learning_rate": 0.0003490338983050847,
      "loss": 3.3253875732421876,
      "step": 18815
    },
    {
      "epoch": 0.6273333333333333,
      "grad_norm": 1.3125,
      "learning_rate": 0.0003489915254237288,
      "loss": 3.3737133026123045,
      "step": 18820
    },
    {
      "epoch": 0.6275,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0003489491525423729,
      "loss": 3.748566436767578,
      "step": 18825
    },
    {
      "epoch": 0.6276666666666667,
      "grad_norm": 2.296875,
      "learning_rate": 0.00034890677966101696,
      "loss": 3.7161163330078124,
      "step": 18830
    },
    {
      "epoch": 0.6278333333333334,
      "grad_norm": 1.765625,
      "learning_rate": 0.000348864406779661,
      "loss": 4.283009719848633,
      "step": 18835
    },
    {
      "epoch": 0.628,
      "grad_norm": 2.0,
      "learning_rate": 0.0003488220338983051,
      "loss": 3.578745651245117,
      "step": 18840
    },
    {
      "epoch": 0.6281666666666667,
      "grad_norm": 1.78125,
      "learning_rate": 0.00034877966101694915,
      "loss": 3.745137023925781,
      "step": 18845
    },
    {
      "epoch": 0.6283333333333333,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00034873728813559324,
      "loss": 3.684315872192383,
      "step": 18850
    },
    {
      "epoch": 0.6285,
      "grad_norm": 2.484375,
      "learning_rate": 0.0003486949152542373,
      "loss": 4.317199325561523,
      "step": 18855
    },
    {
      "epoch": 0.6286666666666667,
      "grad_norm": 2.5,
      "learning_rate": 0.00034865254237288133,
      "loss": 4.5101676940917965,
      "step": 18860
    },
    {
      "epoch": 0.6288333333333334,
      "grad_norm": 1.84375,
      "learning_rate": 0.0003486101694915254,
      "loss": 3.8231536865234377,
      "step": 18865
    },
    {
      "epoch": 0.629,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0003485677966101695,
      "loss": 4.378513336181641,
      "step": 18870
    },
    {
      "epoch": 0.6291666666666667,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00034852542372881357,
      "loss": 3.854167175292969,
      "step": 18875
    },
    {
      "epoch": 0.6293333333333333,
      "grad_norm": 2.359375,
      "learning_rate": 0.0003484830508474576,
      "loss": 3.8811614990234373,
      "step": 18880
    },
    {
      "epoch": 0.6295,
      "grad_norm": 1.828125,
      "learning_rate": 0.0003484406779661017,
      "loss": 3.488838958740234,
      "step": 18885
    },
    {
      "epoch": 0.6296666666666667,
      "grad_norm": 1.9453125,
      "learning_rate": 0.0003483983050847458,
      "loss": 4.219991302490234,
      "step": 18890
    },
    {
      "epoch": 0.6298333333333334,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00034835593220338985,
      "loss": 3.2157943725585936,
      "step": 18895
    },
    {
      "epoch": 0.63,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0003483135593220339,
      "loss": 3.37498779296875,
      "step": 18900
    },
    {
      "epoch": 0.6301666666666667,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00034827118644067793,
      "loss": 3.925489807128906,
      "step": 18905
    },
    {
      "epoch": 0.6303333333333333,
      "grad_norm": 1.875,
      "learning_rate": 0.0003482288135593221,
      "loss": 4.158552551269532,
      "step": 18910
    },
    {
      "epoch": 0.6305,
      "grad_norm": 1.5625,
      "learning_rate": 0.0003481864406779661,
      "loss": 4.079956817626953,
      "step": 18915
    },
    {
      "epoch": 0.6306666666666667,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00034814406779661017,
      "loss": 3.16589298248291,
      "step": 18920
    },
    {
      "epoch": 0.6308333333333334,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0003481016949152542,
      "loss": 4.184740829467773,
      "step": 18925
    },
    {
      "epoch": 0.631,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003480593220338983,
      "loss": 3.7568843841552733,
      "step": 18930
    },
    {
      "epoch": 0.6311666666666667,
      "grad_norm": 4.5,
      "learning_rate": 0.0003480169491525424,
      "loss": 3.2296188354492186,
      "step": 18935
    },
    {
      "epoch": 0.6313333333333333,
      "grad_norm": 2.6875,
      "learning_rate": 0.00034797457627118645,
      "loss": 3.0971946716308594,
      "step": 18940
    },
    {
      "epoch": 0.6315,
      "grad_norm": 1.3203125,
      "learning_rate": 0.0003479322033898305,
      "loss": 3.411671447753906,
      "step": 18945
    },
    {
      "epoch": 0.6316666666666667,
      "grad_norm": 2.40625,
      "learning_rate": 0.00034788983050847454,
      "loss": 3.0896677017211913,
      "step": 18950
    },
    {
      "epoch": 0.6318333333333334,
      "grad_norm": 2.859375,
      "learning_rate": 0.0003478474576271187,
      "loss": 4.443447113037109,
      "step": 18955
    },
    {
      "epoch": 0.632,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00034780508474576273,
      "loss": 3.5290668487548826,
      "step": 18960
    },
    {
      "epoch": 0.6321666666666667,
      "grad_norm": 1.4921875,
      "learning_rate": 0.00034776271186440677,
      "loss": 3.949496841430664,
      "step": 18965
    },
    {
      "epoch": 0.6323333333333333,
      "grad_norm": 2.828125,
      "learning_rate": 0.0003477203389830508,
      "loss": 4.163623046875,
      "step": 18970
    },
    {
      "epoch": 0.6325,
      "grad_norm": 6.8125,
      "learning_rate": 0.00034767796610169497,
      "loss": 4.506157302856446,
      "step": 18975
    },
    {
      "epoch": 0.6326666666666667,
      "grad_norm": 1.7421875,
      "learning_rate": 0.000347635593220339,
      "loss": 4.222436904907227,
      "step": 18980
    },
    {
      "epoch": 0.6328333333333334,
      "grad_norm": 1.3046875,
      "learning_rate": 0.00034759322033898305,
      "loss": 3.5188362121582033,
      "step": 18985
    },
    {
      "epoch": 0.633,
      "grad_norm": 1.5,
      "learning_rate": 0.0003475508474576271,
      "loss": 3.5738224029541015,
      "step": 18990
    },
    {
      "epoch": 0.6331666666666667,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0003475084745762712,
      "loss": 4.500334167480469,
      "step": 18995
    },
    {
      "epoch": 0.6333333333333333,
      "grad_norm": 2.53125,
      "learning_rate": 0.0003474661016949153,
      "loss": 4.063127136230468,
      "step": 19000
    },
    {
      "epoch": 0.6335,
      "grad_norm": 1.609375,
      "learning_rate": 0.00034742372881355933,
      "loss": 3.609496307373047,
      "step": 19005
    },
    {
      "epoch": 0.6336666666666667,
      "grad_norm": 1.296875,
      "learning_rate": 0.0003473813559322034,
      "loss": 4.075684356689453,
      "step": 19010
    },
    {
      "epoch": 0.6338333333333334,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00034733898305084747,
      "loss": 3.6288448333740235,
      "step": 19015
    },
    {
      "epoch": 0.634,
      "grad_norm": 1.78125,
      "learning_rate": 0.00034729661016949157,
      "loss": 4.4276893615722654,
      "step": 19020
    },
    {
      "epoch": 0.6341666666666667,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0003472542372881356,
      "loss": 3.141484832763672,
      "step": 19025
    },
    {
      "epoch": 0.6343333333333333,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00034721186440677965,
      "loss": 4.405571746826172,
      "step": 19030
    },
    {
      "epoch": 0.6345,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0003471694915254237,
      "loss": 3.9991588592529297,
      "step": 19035
    },
    {
      "epoch": 0.6346666666666667,
      "grad_norm": 1.671875,
      "learning_rate": 0.0003471271186440678,
      "loss": 4.07607421875,
      "step": 19040
    },
    {
      "epoch": 0.6348333333333334,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0003470847457627119,
      "loss": 3.4764732360839843,
      "step": 19045
    },
    {
      "epoch": 0.635,
      "grad_norm": 1.859375,
      "learning_rate": 0.00034704237288135593,
      "loss": 3.44873046875,
      "step": 19050
    },
    {
      "epoch": 0.6351666666666667,
      "grad_norm": 2.40625,
      "learning_rate": 0.000347,
      "loss": 3.2928741455078123,
      "step": 19055
    },
    {
      "epoch": 0.6353333333333333,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003469576271186441,
      "loss": 4.043392181396484,
      "step": 19060
    },
    {
      "epoch": 0.6355,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00034691525423728817,
      "loss": 4.072374725341797,
      "step": 19065
    },
    {
      "epoch": 0.6356666666666667,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0003468728813559322,
      "loss": 3.6990402221679686,
      "step": 19070
    },
    {
      "epoch": 0.6358333333333334,
      "grad_norm": 2.40625,
      "learning_rate": 0.00034683050847457626,
      "loss": 4.031861877441406,
      "step": 19075
    },
    {
      "epoch": 0.636,
      "grad_norm": 1.546875,
      "learning_rate": 0.00034678813559322035,
      "loss": 3.926207733154297,
      "step": 19080
    },
    {
      "epoch": 0.6361666666666667,
      "grad_norm": 3.078125,
      "learning_rate": 0.0003467457627118644,
      "loss": 3.477532958984375,
      "step": 19085
    },
    {
      "epoch": 0.6363333333333333,
      "grad_norm": 2.140625,
      "learning_rate": 0.0003467033898305085,
      "loss": 3.7485282897949217,
      "step": 19090
    },
    {
      "epoch": 0.6365,
      "grad_norm": 1.8125,
      "learning_rate": 0.00034666101694915254,
      "loss": 3.891825485229492,
      "step": 19095
    },
    {
      "epoch": 0.6366666666666667,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00034661864406779663,
      "loss": 3.7814239501953124,
      "step": 19100
    },
    {
      "epoch": 0.6368333333333334,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0003465762711864407,
      "loss": 2.990889549255371,
      "step": 19105
    },
    {
      "epoch": 0.637,
      "grad_norm": 1.640625,
      "learning_rate": 0.0003465338983050848,
      "loss": 3.2337261199951173,
      "step": 19110
    },
    {
      "epoch": 0.6371666666666667,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0003464915254237288,
      "loss": 3.6157772064208986,
      "step": 19115
    },
    {
      "epoch": 0.6373333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.0003464491525423729,
      "loss": 4.639397430419922,
      "step": 19120
    },
    {
      "epoch": 0.6375,
      "grad_norm": 1.765625,
      "learning_rate": 0.00034640677966101696,
      "loss": 4.142643737792969,
      "step": 19125
    },
    {
      "epoch": 0.6376666666666667,
      "grad_norm": 2.21875,
      "learning_rate": 0.000346364406779661,
      "loss": 3.834430694580078,
      "step": 19130
    },
    {
      "epoch": 0.6378333333333334,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0003463220338983051,
      "loss": 4.342560958862305,
      "step": 19135
    },
    {
      "epoch": 0.638,
      "grad_norm": 2.5625,
      "learning_rate": 0.00034627966101694914,
      "loss": 4.262493133544922,
      "step": 19140
    },
    {
      "epoch": 0.6381666666666667,
      "grad_norm": 3.125,
      "learning_rate": 0.00034623728813559324,
      "loss": 3.9626232147216798,
      "step": 19145
    },
    {
      "epoch": 0.6383333333333333,
      "grad_norm": 1.765625,
      "learning_rate": 0.0003461949152542373,
      "loss": 3.920764923095703,
      "step": 19150
    },
    {
      "epoch": 0.6385,
      "grad_norm": 1.984375,
      "learning_rate": 0.0003461525423728814,
      "loss": 4.261885452270508,
      "step": 19155
    },
    {
      "epoch": 0.6386666666666667,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003461101694915254,
      "loss": 3.2292705535888673,
      "step": 19160
    },
    {
      "epoch": 0.6388333333333334,
      "grad_norm": 1.765625,
      "learning_rate": 0.0003460677966101695,
      "loss": 3.796660614013672,
      "step": 19165
    },
    {
      "epoch": 0.639,
      "grad_norm": 1.5625,
      "learning_rate": 0.00034602542372881356,
      "loss": 3.373789596557617,
      "step": 19170
    },
    {
      "epoch": 0.6391666666666667,
      "grad_norm": 1.9453125,
      "learning_rate": 0.0003459830508474576,
      "loss": 3.1977827072143556,
      "step": 19175
    },
    {
      "epoch": 0.6393333333333333,
      "grad_norm": 1.46875,
      "learning_rate": 0.0003459406779661017,
      "loss": 4.384844970703125,
      "step": 19180
    },
    {
      "epoch": 0.6395,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0003458983050847458,
      "loss": 3.616659927368164,
      "step": 19185
    },
    {
      "epoch": 0.6396666666666667,
      "grad_norm": 2.875,
      "learning_rate": 0.00034585593220338984,
      "loss": 3.9765625,
      "step": 19190
    },
    {
      "epoch": 0.6398333333333334,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0003458135593220339,
      "loss": 3.2992435455322267,
      "step": 19195
    },
    {
      "epoch": 0.64,
      "grad_norm": 1.9609375,
      "learning_rate": 0.000345771186440678,
      "loss": 3.9651527404785156,
      "step": 19200
    },
    {
      "epoch": 0.6401666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 0.0003457288135593221,
      "loss": 3.8711402893066404,
      "step": 19205
    },
    {
      "epoch": 0.6403333333333333,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003456864406779661,
      "loss": 4.03779296875,
      "step": 19210
    },
    {
      "epoch": 0.6405,
      "grad_norm": 2.078125,
      "learning_rate": 0.00034564406779661016,
      "loss": 4.167282485961914,
      "step": 19215
    },
    {
      "epoch": 0.6406666666666667,
      "grad_norm": 2.828125,
      "learning_rate": 0.0003456016949152542,
      "loss": 3.7810558319091796,
      "step": 19220
    },
    {
      "epoch": 0.6408333333333334,
      "grad_norm": 1.890625,
      "learning_rate": 0.00034555932203389836,
      "loss": 3.5416149139404296,
      "step": 19225
    },
    {
      "epoch": 0.641,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0003455169491525424,
      "loss": 3.5625160217285154,
      "step": 19230
    },
    {
      "epoch": 0.6411666666666667,
      "grad_norm": 1.703125,
      "learning_rate": 0.00034547457627118644,
      "loss": 4.172855377197266,
      "step": 19235
    },
    {
      "epoch": 0.6413333333333333,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0003454322033898305,
      "loss": 4.2643791198730465,
      "step": 19240
    },
    {
      "epoch": 0.6415,
      "grad_norm": 1.734375,
      "learning_rate": 0.0003453898305084746,
      "loss": 3.8756195068359376,
      "step": 19245
    },
    {
      "epoch": 0.6416666666666667,
      "grad_norm": 4.09375,
      "learning_rate": 0.0003453474576271187,
      "loss": 4.266193771362305,
      "step": 19250
    },
    {
      "epoch": 0.6418333333333334,
      "grad_norm": 2.609375,
      "learning_rate": 0.0003453050847457627,
      "loss": 4.16758918762207,
      "step": 19255
    },
    {
      "epoch": 0.642,
      "grad_norm": 3.34375,
      "learning_rate": 0.00034526271186440677,
      "loss": 3.8728717803955077,
      "step": 19260
    },
    {
      "epoch": 0.6421666666666667,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0003452203389830508,
      "loss": 3.314625549316406,
      "step": 19265
    },
    {
      "epoch": 0.6423333333333333,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00034517796610169496,
      "loss": 2.9712337493896483,
      "step": 19270
    },
    {
      "epoch": 0.6425,
      "grad_norm": 1.5234375,
      "learning_rate": 0.000345135593220339,
      "loss": 3.216317367553711,
      "step": 19275
    },
    {
      "epoch": 0.6426666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00034509322033898305,
      "loss": 2.9939554214477537,
      "step": 19280
    },
    {
      "epoch": 0.6428333333333334,
      "grad_norm": 1.421875,
      "learning_rate": 0.0003450508474576271,
      "loss": 3.9377891540527346,
      "step": 19285
    },
    {
      "epoch": 0.643,
      "grad_norm": 4.53125,
      "learning_rate": 0.00034500847457627124,
      "loss": 3.7347129821777343,
      "step": 19290
    },
    {
      "epoch": 0.6431666666666667,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003449661016949153,
      "loss": 3.2432132720947267,
      "step": 19295
    },
    {
      "epoch": 0.6433333333333333,
      "grad_norm": 2.421875,
      "learning_rate": 0.0003449237288135593,
      "loss": 4.140547180175782,
      "step": 19300
    },
    {
      "epoch": 0.6435,
      "grad_norm": 2.359375,
      "learning_rate": 0.00034488135593220337,
      "loss": 4.559764862060547,
      "step": 19305
    },
    {
      "epoch": 0.6436666666666667,
      "grad_norm": 4.09375,
      "learning_rate": 0.00034483898305084747,
      "loss": 3.4513473510742188,
      "step": 19310
    },
    {
      "epoch": 0.6438333333333334,
      "grad_norm": 2.578125,
      "learning_rate": 0.00034479661016949156,
      "loss": 4.219278717041016,
      "step": 19315
    },
    {
      "epoch": 0.644,
      "grad_norm": 1.3203125,
      "learning_rate": 0.0003447542372881356,
      "loss": 3.7591270446777343,
      "step": 19320
    },
    {
      "epoch": 0.6441666666666667,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00034471186440677965,
      "loss": 3.592326354980469,
      "step": 19325
    },
    {
      "epoch": 0.6443333333333333,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00034466949152542375,
      "loss": 4.127662658691406,
      "step": 19330
    },
    {
      "epoch": 0.6445,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00034462711864406784,
      "loss": 3.8526123046875,
      "step": 19335
    },
    {
      "epoch": 0.6446666666666667,
      "grad_norm": 6.59375,
      "learning_rate": 0.0003445847457627119,
      "loss": 4.171194839477539,
      "step": 19340
    },
    {
      "epoch": 0.6448333333333334,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00034454237288135593,
      "loss": 4.227919006347657,
      "step": 19345
    },
    {
      "epoch": 0.645,
      "grad_norm": 1.53125,
      "learning_rate": 0.00034449999999999997,
      "loss": 3.1716629028320313,
      "step": 19350
    },
    {
      "epoch": 0.6451666666666667,
      "grad_norm": 3.3125,
      "learning_rate": 0.00034445762711864407,
      "loss": 3.8728668212890627,
      "step": 19355
    },
    {
      "epoch": 0.6453333333333333,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00034441525423728817,
      "loss": 3.534563446044922,
      "step": 19360
    },
    {
      "epoch": 0.6455,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003443728813559322,
      "loss": 3.771685791015625,
      "step": 19365
    },
    {
      "epoch": 0.6456666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00034433050847457625,
      "loss": 4.219987487792968,
      "step": 19370
    },
    {
      "epoch": 0.6458333333333334,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00034428813559322035,
      "loss": 4.260705184936524,
      "step": 19375
    },
    {
      "epoch": 0.646,
      "grad_norm": 2.859375,
      "learning_rate": 0.00034424576271186445,
      "loss": 3.650166702270508,
      "step": 19380
    },
    {
      "epoch": 0.6461666666666667,
      "grad_norm": 5.40625,
      "learning_rate": 0.0003442033898305085,
      "loss": 4.4262348175048825,
      "step": 19385
    },
    {
      "epoch": 0.6463333333333333,
      "grad_norm": 1.46875,
      "learning_rate": 0.00034416101694915253,
      "loss": 3.792035675048828,
      "step": 19390
    },
    {
      "epoch": 0.6465,
      "grad_norm": 2.03125,
      "learning_rate": 0.00034411864406779663,
      "loss": 3.39473876953125,
      "step": 19395
    },
    {
      "epoch": 0.6466666666666666,
      "grad_norm": 2.03125,
      "learning_rate": 0.00034407627118644067,
      "loss": 4.254510879516602,
      "step": 19400
    },
    {
      "epoch": 0.6468333333333334,
      "grad_norm": 2.328125,
      "learning_rate": 0.00034403389830508477,
      "loss": 3.1114780426025392,
      "step": 19405
    },
    {
      "epoch": 0.647,
      "grad_norm": 2.265625,
      "learning_rate": 0.0003439915254237288,
      "loss": 3.3417224884033203,
      "step": 19410
    },
    {
      "epoch": 0.6471666666666667,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0003439491525423729,
      "loss": 4.053486251831055,
      "step": 19415
    },
    {
      "epoch": 0.6473333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00034390677966101695,
      "loss": 3.368986892700195,
      "step": 19420
    },
    {
      "epoch": 0.6475,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00034386440677966105,
      "loss": 3.48428955078125,
      "step": 19425
    },
    {
      "epoch": 0.6476666666666666,
      "grad_norm": 2.09375,
      "learning_rate": 0.0003438220338983051,
      "loss": 4.2143302917480465,
      "step": 19430
    },
    {
      "epoch": 0.6478333333333334,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003437796610169492,
      "loss": 4.433749008178711,
      "step": 19435
    },
    {
      "epoch": 0.648,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00034373728813559323,
      "loss": 3.4300457000732423,
      "step": 19440
    },
    {
      "epoch": 0.6481666666666667,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003436949152542373,
      "loss": 4.0872962951660154,
      "step": 19445
    },
    {
      "epoch": 0.6483333333333333,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00034365254237288137,
      "loss": 3.8427001953125,
      "step": 19450
    },
    {
      "epoch": 0.6485,
      "grad_norm": 3.53125,
      "learning_rate": 0.0003436101694915254,
      "loss": 4.552643203735352,
      "step": 19455
    },
    {
      "epoch": 0.6486666666666666,
      "grad_norm": 1.75,
      "learning_rate": 0.0003435677966101695,
      "loss": 3.1638132095336915,
      "step": 19460
    },
    {
      "epoch": 0.6488333333333334,
      "grad_norm": 2.3125,
      "learning_rate": 0.00034352542372881355,
      "loss": 4.230268859863282,
      "step": 19465
    },
    {
      "epoch": 0.649,
      "grad_norm": 2.6875,
      "learning_rate": 0.0003434830508474576,
      "loss": 3.4611892700195312,
      "step": 19470
    },
    {
      "epoch": 0.6491666666666667,
      "grad_norm": 5.5,
      "learning_rate": 0.0003434406779661017,
      "loss": 4.504666519165039,
      "step": 19475
    },
    {
      "epoch": 0.6493333333333333,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003433983050847458,
      "loss": 4.079876708984375,
      "step": 19480
    },
    {
      "epoch": 0.6495,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00034335593220338983,
      "loss": 3.79443473815918,
      "step": 19485
    },
    {
      "epoch": 0.6496666666666666,
      "grad_norm": 1.890625,
      "learning_rate": 0.0003433135593220339,
      "loss": 3.8217193603515627,
      "step": 19490
    },
    {
      "epoch": 0.6498333333333334,
      "grad_norm": 1.7578125,
      "learning_rate": 0.000343271186440678,
      "loss": 4.139434432983398,
      "step": 19495
    },
    {
      "epoch": 0.65,
      "grad_norm": 2.328125,
      "learning_rate": 0.00034322881355932207,
      "loss": 4.577949523925781,
      "step": 19500
    },
    {
      "epoch": 0.6501666666666667,
      "grad_norm": 2.09375,
      "learning_rate": 0.0003431864406779661,
      "loss": 3.594756317138672,
      "step": 19505
    },
    {
      "epoch": 0.6503333333333333,
      "grad_norm": 1.78125,
      "learning_rate": 0.00034314406779661016,
      "loss": 4.305941390991211,
      "step": 19510
    },
    {
      "epoch": 0.6505,
      "grad_norm": 1.953125,
      "learning_rate": 0.0003431016949152542,
      "loss": 4.054638290405274,
      "step": 19515
    },
    {
      "epoch": 0.6506666666666666,
      "grad_norm": 1.2421875,
      "learning_rate": 0.00034305932203389835,
      "loss": 3.507466506958008,
      "step": 19520
    },
    {
      "epoch": 0.6508333333333334,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0003430169491525424,
      "loss": 3.67620735168457,
      "step": 19525
    },
    {
      "epoch": 0.651,
      "grad_norm": 1.546875,
      "learning_rate": 0.00034297457627118644,
      "loss": 3.4497909545898438,
      "step": 19530
    },
    {
      "epoch": 0.6511666666666667,
      "grad_norm": 2.21875,
      "learning_rate": 0.0003429322033898305,
      "loss": 4.542456436157226,
      "step": 19535
    },
    {
      "epoch": 0.6513333333333333,
      "grad_norm": 2.125,
      "learning_rate": 0.00034288983050847463,
      "loss": 4.086352920532226,
      "step": 19540
    },
    {
      "epoch": 0.6515,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0003428474576271187,
      "loss": 3.153493118286133,
      "step": 19545
    },
    {
      "epoch": 0.6516666666666666,
      "grad_norm": 2.140625,
      "learning_rate": 0.0003428050847457627,
      "loss": 4.084156799316406,
      "step": 19550
    },
    {
      "epoch": 0.6518333333333334,
      "grad_norm": 1.59375,
      "learning_rate": 0.00034276271186440676,
      "loss": 3.1522567749023436,
      "step": 19555
    },
    {
      "epoch": 0.652,
      "grad_norm": 2.390625,
      "learning_rate": 0.0003427203389830508,
      "loss": 3.6561912536621093,
      "step": 19560
    },
    {
      "epoch": 0.6521666666666667,
      "grad_norm": 1.953125,
      "learning_rate": 0.00034267796610169495,
      "loss": 3.8401557922363283,
      "step": 19565
    },
    {
      "epoch": 0.6523333333333333,
      "grad_norm": 1.71875,
      "learning_rate": 0.000342635593220339,
      "loss": 3.906565475463867,
      "step": 19570
    },
    {
      "epoch": 0.6525,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00034259322033898304,
      "loss": 3.6253150939941405,
      "step": 19575
    },
    {
      "epoch": 0.6526666666666666,
      "grad_norm": 1.296875,
      "learning_rate": 0.0003425508474576271,
      "loss": 3.689820098876953,
      "step": 19580
    },
    {
      "epoch": 0.6528333333333334,
      "grad_norm": 2.515625,
      "learning_rate": 0.00034250847457627123,
      "loss": 4.687750244140625,
      "step": 19585
    },
    {
      "epoch": 0.653,
      "grad_norm": 1.3046875,
      "learning_rate": 0.0003424661016949153,
      "loss": 3.6206092834472656,
      "step": 19590
    },
    {
      "epoch": 0.6531666666666667,
      "grad_norm": 2.046875,
      "learning_rate": 0.0003424237288135593,
      "loss": 4.217572021484375,
      "step": 19595
    },
    {
      "epoch": 0.6533333333333333,
      "grad_norm": 1.6875,
      "learning_rate": 0.00034238135593220336,
      "loss": 4.512328338623047,
      "step": 19600
    },
    {
      "epoch": 0.6535,
      "grad_norm": 1.78125,
      "learning_rate": 0.00034233898305084746,
      "loss": 4.577871704101563,
      "step": 19605
    },
    {
      "epoch": 0.6536666666666666,
      "grad_norm": 2.234375,
      "learning_rate": 0.00034229661016949156,
      "loss": 4.505573272705078,
      "step": 19610
    },
    {
      "epoch": 0.6538333333333334,
      "grad_norm": 2.015625,
      "learning_rate": 0.0003422542372881356,
      "loss": 4.3266654968261715,
      "step": 19615
    },
    {
      "epoch": 0.654,
      "grad_norm": 1.640625,
      "learning_rate": 0.00034221186440677964,
      "loss": 3.4561859130859376,
      "step": 19620
    },
    {
      "epoch": 0.6541666666666667,
      "grad_norm": 2.75,
      "learning_rate": 0.00034216949152542374,
      "loss": 3.6404300689697267,
      "step": 19625
    },
    {
      "epoch": 0.6543333333333333,
      "grad_norm": 2.546875,
      "learning_rate": 0.00034212711864406784,
      "loss": 3.5247344970703125,
      "step": 19630
    },
    {
      "epoch": 0.6545,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0003420847457627119,
      "loss": 4.372221374511719,
      "step": 19635
    },
    {
      "epoch": 0.6546666666666666,
      "grad_norm": 1.75,
      "learning_rate": 0.0003420423728813559,
      "loss": 3.3240001678466795,
      "step": 19640
    },
    {
      "epoch": 0.6548333333333334,
      "grad_norm": 2.078125,
      "learning_rate": 0.000342,
      "loss": 3.7395309448242187,
      "step": 19645
    },
    {
      "epoch": 0.655,
      "grad_norm": 2.125,
      "learning_rate": 0.00034195762711864406,
      "loss": 4.1776176452636715,
      "step": 19650
    },
    {
      "epoch": 0.6551666666666667,
      "grad_norm": 2.015625,
      "learning_rate": 0.00034191525423728816,
      "loss": 4.545599365234375,
      "step": 19655
    },
    {
      "epoch": 0.6553333333333333,
      "grad_norm": 1.390625,
      "learning_rate": 0.0003418728813559322,
      "loss": 3.430048370361328,
      "step": 19660
    },
    {
      "epoch": 0.6555,
      "grad_norm": 1.671875,
      "learning_rate": 0.00034183050847457624,
      "loss": 4.138154220581055,
      "step": 19665
    },
    {
      "epoch": 0.6556666666666666,
      "grad_norm": 1.0546875,
      "learning_rate": 0.00034178813559322034,
      "loss": 2.8606098175048826,
      "step": 19670
    },
    {
      "epoch": 0.6558333333333334,
      "grad_norm": 2.875,
      "learning_rate": 0.00034174576271186444,
      "loss": 4.388285446166992,
      "step": 19675
    },
    {
      "epoch": 0.656,
      "grad_norm": 2.390625,
      "learning_rate": 0.0003417033898305085,
      "loss": 3.4702594757080076,
      "step": 19680
    },
    {
      "epoch": 0.6561666666666667,
      "grad_norm": 1.453125,
      "learning_rate": 0.0003416610169491525,
      "loss": 3.968553161621094,
      "step": 19685
    },
    {
      "epoch": 0.6563333333333333,
      "grad_norm": 2.171875,
      "learning_rate": 0.0003416186440677966,
      "loss": 3.711384582519531,
      "step": 19690
    },
    {
      "epoch": 0.6565,
      "grad_norm": 2.9375,
      "learning_rate": 0.00034157627118644066,
      "loss": 3.8277000427246093,
      "step": 19695
    },
    {
      "epoch": 0.6566666666666666,
      "grad_norm": 1.390625,
      "learning_rate": 0.00034153389830508476,
      "loss": 3.596986770629883,
      "step": 19700
    },
    {
      "epoch": 0.6568333333333334,
      "grad_norm": 1.84375,
      "learning_rate": 0.0003414915254237288,
      "loss": 3.038972854614258,
      "step": 19705
    },
    {
      "epoch": 0.657,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003414491525423729,
      "loss": 3.770023727416992,
      "step": 19710
    },
    {
      "epoch": 0.6571666666666667,
      "grad_norm": 1.5,
      "learning_rate": 0.00034140677966101694,
      "loss": 3.4800506591796876,
      "step": 19715
    },
    {
      "epoch": 0.6573333333333333,
      "grad_norm": 3.984375,
      "learning_rate": 0.00034136440677966104,
      "loss": 4.249325942993164,
      "step": 19720
    },
    {
      "epoch": 0.6575,
      "grad_norm": 1.78125,
      "learning_rate": 0.0003413220338983051,
      "loss": 3.9831573486328127,
      "step": 19725
    },
    {
      "epoch": 0.6576666666666666,
      "grad_norm": 1.578125,
      "learning_rate": 0.0003412796610169492,
      "loss": 4.323507308959961,
      "step": 19730
    },
    {
      "epoch": 0.6578333333333334,
      "grad_norm": 2.515625,
      "learning_rate": 0.0003412372881355932,
      "loss": 3.463671875,
      "step": 19735
    },
    {
      "epoch": 0.658,
      "grad_norm": 2.046875,
      "learning_rate": 0.00034119491525423727,
      "loss": 3.869000244140625,
      "step": 19740
    },
    {
      "epoch": 0.6581666666666667,
      "grad_norm": 1.171875,
      "learning_rate": 0.00034115254237288136,
      "loss": 3.4519615173339844,
      "step": 19745
    },
    {
      "epoch": 0.6583333333333333,
      "grad_norm": 2.265625,
      "learning_rate": 0.00034111016949152546,
      "loss": 3.6388519287109373,
      "step": 19750
    },
    {
      "epoch": 0.6585,
      "grad_norm": 2.21875,
      "learning_rate": 0.0003410677966101695,
      "loss": 4.027936172485352,
      "step": 19755
    },
    {
      "epoch": 0.6586666666666666,
      "grad_norm": 1.703125,
      "learning_rate": 0.00034102542372881355,
      "loss": 4.127745819091797,
      "step": 19760
    },
    {
      "epoch": 0.6588333333333334,
      "grad_norm": 2.875,
      "learning_rate": 0.00034098305084745764,
      "loss": 3.6178871154785157,
      "step": 19765
    },
    {
      "epoch": 0.659,
      "grad_norm": 2.1875,
      "learning_rate": 0.0003409406779661017,
      "loss": 3.8834182739257814,
      "step": 19770
    },
    {
      "epoch": 0.6591666666666667,
      "grad_norm": 1.796875,
      "learning_rate": 0.0003408983050847458,
      "loss": 3.8641635894775392,
      "step": 19775
    },
    {
      "epoch": 0.6593333333333333,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0003408559322033898,
      "loss": 4.04028434753418,
      "step": 19780
    },
    {
      "epoch": 0.6595,
      "grad_norm": 1.375,
      "learning_rate": 0.00034081355932203387,
      "loss": 3.213184356689453,
      "step": 19785
    },
    {
      "epoch": 0.6596666666666666,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00034077118644067797,
      "loss": 3.9283111572265623,
      "step": 19790
    },
    {
      "epoch": 0.6598333333333334,
      "grad_norm": 2.265625,
      "learning_rate": 0.00034072881355932206,
      "loss": 3.4800994873046873,
      "step": 19795
    },
    {
      "epoch": 0.66,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003406864406779661,
      "loss": 4.5359962463378904,
      "step": 19800
    },
    {
      "epoch": 0.6601666666666667,
      "grad_norm": 1.640625,
      "learning_rate": 0.00034064406779661015,
      "loss": 3.971901702880859,
      "step": 19805
    },
    {
      "epoch": 0.6603333333333333,
      "grad_norm": 4.15625,
      "learning_rate": 0.00034060169491525425,
      "loss": 4.329010772705078,
      "step": 19810
    },
    {
      "epoch": 0.6605,
      "grad_norm": 1.625,
      "learning_rate": 0.00034055932203389834,
      "loss": 3.7217540740966797,
      "step": 19815
    },
    {
      "epoch": 0.6606666666666666,
      "grad_norm": 2.25,
      "learning_rate": 0.0003405169491525424,
      "loss": 3.915116882324219,
      "step": 19820
    },
    {
      "epoch": 0.6608333333333334,
      "grad_norm": 2.796875,
      "learning_rate": 0.00034047457627118643,
      "loss": 3.9208274841308595,
      "step": 19825
    },
    {
      "epoch": 0.661,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00034043220338983047,
      "loss": 4.01190071105957,
      "step": 19830
    },
    {
      "epoch": 0.6611666666666667,
      "grad_norm": 3.328125,
      "learning_rate": 0.0003403898305084746,
      "loss": 3.251291275024414,
      "step": 19835
    },
    {
      "epoch": 0.6613333333333333,
      "grad_norm": 2.46875,
      "learning_rate": 0.00034034745762711867,
      "loss": 4.107542419433594,
      "step": 19840
    },
    {
      "epoch": 0.6615,
      "grad_norm": 2.28125,
      "learning_rate": 0.0003403050847457627,
      "loss": 4.391116333007813,
      "step": 19845
    },
    {
      "epoch": 0.6616666666666666,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00034026271186440675,
      "loss": 4.2033439636230465,
      "step": 19850
    },
    {
      "epoch": 0.6618333333333334,
      "grad_norm": 1.609375,
      "learning_rate": 0.0003402203389830509,
      "loss": 4.038728332519531,
      "step": 19855
    },
    {
      "epoch": 0.662,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00034017796610169495,
      "loss": 3.9208328247070314,
      "step": 19860
    },
    {
      "epoch": 0.6621666666666667,
      "grad_norm": 1.5546875,
      "learning_rate": 0.000340135593220339,
      "loss": 4.237018203735351,
      "step": 19865
    },
    {
      "epoch": 0.6623333333333333,
      "grad_norm": 2.15625,
      "learning_rate": 0.00034009322033898303,
      "loss": 3.6560802459716797,
      "step": 19870
    },
    {
      "epoch": 0.6625,
      "grad_norm": 1.3828125,
      "learning_rate": 0.0003400508474576271,
      "loss": 3.3284969329833984,
      "step": 19875
    },
    {
      "epoch": 0.6626666666666666,
      "grad_norm": 3.046875,
      "learning_rate": 0.0003400084745762712,
      "loss": 3.4371952056884765,
      "step": 19880
    },
    {
      "epoch": 0.6628333333333334,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00033996610169491527,
      "loss": 4.05657844543457,
      "step": 19885
    },
    {
      "epoch": 0.663,
      "grad_norm": 1.890625,
      "learning_rate": 0.0003399237288135593,
      "loss": 4.1830902099609375,
      "step": 19890
    },
    {
      "epoch": 0.6631666666666667,
      "grad_norm": 3.0,
      "learning_rate": 0.00033988135593220336,
      "loss": 3.3706912994384766,
      "step": 19895
    },
    {
      "epoch": 0.6633333333333333,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0003398389830508475,
      "loss": 3.5015377044677733,
      "step": 19900
    },
    {
      "epoch": 0.6635,
      "grad_norm": 1.78125,
      "learning_rate": 0.00033979661016949155,
      "loss": 3.9580978393554687,
      "step": 19905
    },
    {
      "epoch": 0.6636666666666666,
      "grad_norm": 1.78125,
      "learning_rate": 0.0003397542372881356,
      "loss": 3.9400402069091798,
      "step": 19910
    },
    {
      "epoch": 0.6638333333333334,
      "grad_norm": 2.71875,
      "learning_rate": 0.00033971186440677964,
      "loss": 4.485684585571289,
      "step": 19915
    },
    {
      "epoch": 0.664,
      "grad_norm": 3.765625,
      "learning_rate": 0.00033966949152542373,
      "loss": 3.4505851745605467,
      "step": 19920
    },
    {
      "epoch": 0.6641666666666667,
      "grad_norm": 2.34375,
      "learning_rate": 0.00033962711864406783,
      "loss": 3.5209629058837892,
      "step": 19925
    },
    {
      "epoch": 0.6643333333333333,
      "grad_norm": 1.78125,
      "learning_rate": 0.00033958474576271187,
      "loss": 3.703960418701172,
      "step": 19930
    },
    {
      "epoch": 0.6645,
      "grad_norm": 1.515625,
      "learning_rate": 0.0003395423728813559,
      "loss": 3.0967828750610353,
      "step": 19935
    },
    {
      "epoch": 0.6646666666666666,
      "grad_norm": 1.296875,
      "learning_rate": 0.0003395,
      "loss": 3.280122756958008,
      "step": 19940
    },
    {
      "epoch": 0.6648333333333334,
      "grad_norm": 2.125,
      "learning_rate": 0.0003394576271186441,
      "loss": 2.7226844787597657,
      "step": 19945
    },
    {
      "epoch": 0.665,
      "grad_norm": 2.015625,
      "learning_rate": 0.00033941525423728815,
      "loss": 3.903583526611328,
      "step": 19950
    },
    {
      "epoch": 0.6651666666666667,
      "grad_norm": 2.21875,
      "learning_rate": 0.0003393728813559322,
      "loss": 4.411517333984375,
      "step": 19955
    },
    {
      "epoch": 0.6653333333333333,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0003393305084745763,
      "loss": 3.807575225830078,
      "step": 19960
    },
    {
      "epoch": 0.6655,
      "grad_norm": 3.40625,
      "learning_rate": 0.00033928813559322034,
      "loss": 3.9027084350585937,
      "step": 19965
    },
    {
      "epoch": 0.6656666666666666,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00033924576271186443,
      "loss": 3.1984663009643555,
      "step": 19970
    },
    {
      "epoch": 0.6658333333333334,
      "grad_norm": 1.515625,
      "learning_rate": 0.0003392033898305085,
      "loss": 3.597637176513672,
      "step": 19975
    },
    {
      "epoch": 0.666,
      "grad_norm": 1.796875,
      "learning_rate": 0.0003391610169491525,
      "loss": 3.4587711334228515,
      "step": 19980
    },
    {
      "epoch": 0.6661666666666667,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0003391186440677966,
      "loss": 3.9799633026123047,
      "step": 19985
    },
    {
      "epoch": 0.6663333333333333,
      "grad_norm": 1.3515625,
      "learning_rate": 0.0003390762711864407,
      "loss": 3.4866058349609377,
      "step": 19990
    },
    {
      "epoch": 0.6665,
      "grad_norm": 1.4296875,
      "learning_rate": 0.00033903389830508475,
      "loss": 3.7391582489013673,
      "step": 19995
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 2.234375,
      "learning_rate": 0.0003389915254237288,
      "loss": 3.075689697265625,
      "step": 20000
    },
    {
      "epoch": 0.6668333333333333,
      "grad_norm": 1.671875,
      "learning_rate": 0.0003389491525423729,
      "loss": 3.8271133422851564,
      "step": 20005
    },
    {
      "epoch": 0.667,
      "grad_norm": 4.3125,
      "learning_rate": 0.00033890677966101694,
      "loss": 4.0965618133544925,
      "step": 20010
    },
    {
      "epoch": 0.6671666666666667,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00033886440677966103,
      "loss": 4.371009826660156,
      "step": 20015
    },
    {
      "epoch": 0.6673333333333333,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0003388220338983051,
      "loss": 3.252278137207031,
      "step": 20020
    },
    {
      "epoch": 0.6675,
      "grad_norm": 2.484375,
      "learning_rate": 0.0003387796610169492,
      "loss": 3.8713897705078124,
      "step": 20025
    },
    {
      "epoch": 0.6676666666666666,
      "grad_norm": 1.765625,
      "learning_rate": 0.0003387372881355932,
      "loss": 2.872861862182617,
      "step": 20030
    },
    {
      "epoch": 0.6678333333333333,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0003386949152542373,
      "loss": 4.440876007080078,
      "step": 20035
    },
    {
      "epoch": 0.668,
      "grad_norm": 2.25,
      "learning_rate": 0.00033865254237288136,
      "loss": 4.175866317749024,
      "step": 20040
    },
    {
      "epoch": 0.6681666666666667,
      "grad_norm": 1.921875,
      "learning_rate": 0.00033861016949152545,
      "loss": 3.781681442260742,
      "step": 20045
    },
    {
      "epoch": 0.6683333333333333,
      "grad_norm": 1.765625,
      "learning_rate": 0.0003385677966101695,
      "loss": 3.935008239746094,
      "step": 20050
    },
    {
      "epoch": 0.6685,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00033852542372881354,
      "loss": 4.041932678222656,
      "step": 20055
    },
    {
      "epoch": 0.6686666666666666,
      "grad_norm": 1.140625,
      "learning_rate": 0.00033848305084745764,
      "loss": 3.0836666107177733,
      "step": 20060
    },
    {
      "epoch": 0.6688333333333333,
      "grad_norm": 1.671875,
      "learning_rate": 0.00033844067796610173,
      "loss": 4.205432510375976,
      "step": 20065
    },
    {
      "epoch": 0.669,
      "grad_norm": 1.59375,
      "learning_rate": 0.0003383983050847458,
      "loss": 3.7342788696289064,
      "step": 20070
    },
    {
      "epoch": 0.6691666666666667,
      "grad_norm": 2.3125,
      "learning_rate": 0.0003383559322033898,
      "loss": 3.878921890258789,
      "step": 20075
    },
    {
      "epoch": 0.6693333333333333,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0003383135593220339,
      "loss": 4.544510269165039,
      "step": 20080
    },
    {
      "epoch": 0.6695,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00033827118644067796,
      "loss": 3.9322860717773436,
      "step": 20085
    },
    {
      "epoch": 0.6696666666666666,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00033822881355932206,
      "loss": 3.9741352081298826,
      "step": 20090
    },
    {
      "epoch": 0.6698333333333333,
      "grad_norm": 2.21875,
      "learning_rate": 0.0003381864406779661,
      "loss": 3.221100997924805,
      "step": 20095
    },
    {
      "epoch": 0.67,
      "grad_norm": 1.53125,
      "learning_rate": 0.00033814406779661014,
      "loss": 3.655017852783203,
      "step": 20100
    },
    {
      "epoch": 0.6701666666666667,
      "grad_norm": 1.59375,
      "learning_rate": 0.00033810169491525424,
      "loss": 3.9171043395996095,
      "step": 20105
    },
    {
      "epoch": 0.6703333333333333,
      "grad_norm": 1.765625,
      "learning_rate": 0.00033805932203389834,
      "loss": 3.7266178131103516,
      "step": 20110
    },
    {
      "epoch": 0.6705,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0003380169491525424,
      "loss": 4.5694725036621096,
      "step": 20115
    },
    {
      "epoch": 0.6706666666666666,
      "grad_norm": 2.0,
      "learning_rate": 0.0003379745762711864,
      "loss": 4.246236038208008,
      "step": 20120
    },
    {
      "epoch": 0.6708333333333333,
      "grad_norm": 1.2578125,
      "learning_rate": 0.0003379322033898305,
      "loss": 2.3431396484375,
      "step": 20125
    },
    {
      "epoch": 0.671,
      "grad_norm": 1.703125,
      "learning_rate": 0.0003378898305084746,
      "loss": 4.465971374511719,
      "step": 20130
    },
    {
      "epoch": 0.6711666666666667,
      "grad_norm": 3.25,
      "learning_rate": 0.00033784745762711866,
      "loss": 3.325804901123047,
      "step": 20135
    },
    {
      "epoch": 0.6713333333333333,
      "grad_norm": 1.984375,
      "learning_rate": 0.0003378050847457627,
      "loss": 4.693209457397461,
      "step": 20140
    },
    {
      "epoch": 0.6715,
      "grad_norm": 1.484375,
      "learning_rate": 0.00033776271186440675,
      "loss": 3.3509368896484375,
      "step": 20145
    },
    {
      "epoch": 0.6716666666666666,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0003377203389830509,
      "loss": 4.255781173706055,
      "step": 20150
    },
    {
      "epoch": 0.6718333333333333,
      "grad_norm": 2.21875,
      "learning_rate": 0.00033767796610169494,
      "loss": 3.9853275299072264,
      "step": 20155
    },
    {
      "epoch": 0.672,
      "grad_norm": 1.9375,
      "learning_rate": 0.000337635593220339,
      "loss": 3.947846221923828,
      "step": 20160
    },
    {
      "epoch": 0.6721666666666667,
      "grad_norm": 3.53125,
      "learning_rate": 0.000337593220338983,
      "loss": 3.9849430084228517,
      "step": 20165
    },
    {
      "epoch": 0.6723333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0003375508474576272,
      "loss": 3.6467514038085938,
      "step": 20170
    },
    {
      "epoch": 0.6725,
      "grad_norm": 1.671875,
      "learning_rate": 0.0003375084745762712,
      "loss": 3.725739288330078,
      "step": 20175
    },
    {
      "epoch": 0.6726666666666666,
      "grad_norm": 1.5,
      "learning_rate": 0.00033746610169491526,
      "loss": 3.621998977661133,
      "step": 20180
    },
    {
      "epoch": 0.6728333333333333,
      "grad_norm": 1.578125,
      "learning_rate": 0.0003374237288135593,
      "loss": 4.14765510559082,
      "step": 20185
    },
    {
      "epoch": 0.673,
      "grad_norm": 2.515625,
      "learning_rate": 0.00033738135593220335,
      "loss": 4.019124603271484,
      "step": 20190
    },
    {
      "epoch": 0.6731666666666667,
      "grad_norm": 1.671875,
      "learning_rate": 0.0003373389830508475,
      "loss": 4.288170623779297,
      "step": 20195
    },
    {
      "epoch": 0.6733333333333333,
      "grad_norm": 1.90625,
      "learning_rate": 0.00033729661016949154,
      "loss": 3.7393150329589844,
      "step": 20200
    },
    {
      "epoch": 0.6735,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0003372542372881356,
      "loss": 3.506818389892578,
      "step": 20205
    },
    {
      "epoch": 0.6736666666666666,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00033721186440677963,
      "loss": 3.80480842590332,
      "step": 20210
    },
    {
      "epoch": 0.6738333333333333,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0003371694915254238,
      "loss": 3.9279190063476563,
      "step": 20215
    },
    {
      "epoch": 0.674,
      "grad_norm": 1.875,
      "learning_rate": 0.0003371271186440678,
      "loss": 3.74133186340332,
      "step": 20220
    },
    {
      "epoch": 0.6741666666666667,
      "grad_norm": 2.171875,
      "learning_rate": 0.00033708474576271187,
      "loss": 3.6361057281494142,
      "step": 20225
    },
    {
      "epoch": 0.6743333333333333,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0003370423728813559,
      "loss": 3.6415679931640623,
      "step": 20230
    },
    {
      "epoch": 0.6745,
      "grad_norm": 1.6640625,
      "learning_rate": 0.000337,
      "loss": 4.6366455078125,
      "step": 20235
    },
    {
      "epoch": 0.6746666666666666,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0003369576271186441,
      "loss": 3.872492218017578,
      "step": 20240
    },
    {
      "epoch": 0.6748333333333333,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00033691525423728815,
      "loss": 3.579957962036133,
      "step": 20245
    },
    {
      "epoch": 0.675,
      "grad_norm": 1.6875,
      "learning_rate": 0.0003368728813559322,
      "loss": 3.9668113708496096,
      "step": 20250
    },
    {
      "epoch": 0.6751666666666667,
      "grad_norm": 1.953125,
      "learning_rate": 0.0003368305084745763,
      "loss": 4.219590759277343,
      "step": 20255
    },
    {
      "epoch": 0.6753333333333333,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0003367881355932204,
      "loss": 3.57850341796875,
      "step": 20260
    },
    {
      "epoch": 0.6755,
      "grad_norm": 1.546875,
      "learning_rate": 0.0003367457627118644,
      "loss": 3.4506011962890626,
      "step": 20265
    },
    {
      "epoch": 0.6756666666666666,
      "grad_norm": 1.828125,
      "learning_rate": 0.00033670338983050847,
      "loss": 3.0010372161865235,
      "step": 20270
    },
    {
      "epoch": 0.6758333333333333,
      "grad_norm": 2.0625,
      "learning_rate": 0.00033666101694915257,
      "loss": 3.927459716796875,
      "step": 20275
    },
    {
      "epoch": 0.676,
      "grad_norm": 1.9375,
      "learning_rate": 0.0003366186440677966,
      "loss": 3.9766769409179688,
      "step": 20280
    },
    {
      "epoch": 0.6761666666666667,
      "grad_norm": 2.1875,
      "learning_rate": 0.0003365762711864407,
      "loss": 4.249665451049805,
      "step": 20285
    },
    {
      "epoch": 0.6763333333333333,
      "grad_norm": 1.46875,
      "learning_rate": 0.00033653389830508475,
      "loss": 3.848054885864258,
      "step": 20290
    },
    {
      "epoch": 0.6765,
      "grad_norm": 2.390625,
      "learning_rate": 0.0003364915254237288,
      "loss": 3.5210430145263674,
      "step": 20295
    },
    {
      "epoch": 0.6766666666666666,
      "grad_norm": 2.328125,
      "learning_rate": 0.0003364491525423729,
      "loss": 4.708385467529297,
      "step": 20300
    },
    {
      "epoch": 0.6768333333333333,
      "grad_norm": 1.796875,
      "learning_rate": 0.000336406779661017,
      "loss": 3.72862548828125,
      "step": 20305
    },
    {
      "epoch": 0.677,
      "grad_norm": 1.4609375,
      "learning_rate": 0.00033636440677966103,
      "loss": 3.0840080261230467,
      "step": 20310
    },
    {
      "epoch": 0.6771666666666667,
      "grad_norm": 1.625,
      "learning_rate": 0.00033632203389830507,
      "loss": 3.7188671112060545,
      "step": 20315
    },
    {
      "epoch": 0.6773333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.00033627966101694917,
      "loss": 4.178255462646485,
      "step": 20320
    },
    {
      "epoch": 0.6775,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003362372881355932,
      "loss": 3.9462100982666017,
      "step": 20325
    },
    {
      "epoch": 0.6776666666666666,
      "grad_norm": 2.109375,
      "learning_rate": 0.0003361949152542373,
      "loss": 4.217010498046875,
      "step": 20330
    },
    {
      "epoch": 0.6778333333333333,
      "grad_norm": 4.78125,
      "learning_rate": 0.00033615254237288135,
      "loss": 3.79835205078125,
      "step": 20335
    },
    {
      "epoch": 0.678,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00033611016949152545,
      "loss": 4.273365020751953,
      "step": 20340
    },
    {
      "epoch": 0.6781666666666667,
      "grad_norm": 3.390625,
      "learning_rate": 0.0003360677966101695,
      "loss": 3.314091110229492,
      "step": 20345
    },
    {
      "epoch": 0.6783333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0003360254237288136,
      "loss": 3.8129913330078127,
      "step": 20350
    },
    {
      "epoch": 0.6785,
      "grad_norm": 1.1796875,
      "learning_rate": 0.00033598305084745763,
      "loss": 3.044002151489258,
      "step": 20355
    },
    {
      "epoch": 0.6786666666666666,
      "grad_norm": 1.640625,
      "learning_rate": 0.00033594067796610173,
      "loss": 3.542733383178711,
      "step": 20360
    },
    {
      "epoch": 0.6788333333333333,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00033589830508474577,
      "loss": 3.5678695678710937,
      "step": 20365
    },
    {
      "epoch": 0.679,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0003358559322033898,
      "loss": 4.191203308105469,
      "step": 20370
    },
    {
      "epoch": 0.6791666666666667,
      "grad_norm": 2.625,
      "learning_rate": 0.0003358135593220339,
      "loss": 4.186637115478516,
      "step": 20375
    },
    {
      "epoch": 0.6793333333333333,
      "grad_norm": 2.21875,
      "learning_rate": 0.000335771186440678,
      "loss": 3.2651729583740234,
      "step": 20380
    },
    {
      "epoch": 0.6795,
      "grad_norm": 1.8125,
      "learning_rate": 0.00033572881355932205,
      "loss": 3.2036739349365235,
      "step": 20385
    },
    {
      "epoch": 0.6796666666666666,
      "grad_norm": 3.1875,
      "learning_rate": 0.0003356864406779661,
      "loss": 3.8974056243896484,
      "step": 20390
    },
    {
      "epoch": 0.6798333333333333,
      "grad_norm": 1.53125,
      "learning_rate": 0.0003356440677966102,
      "loss": 3.958797073364258,
      "step": 20395
    },
    {
      "epoch": 0.68,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00033560169491525423,
      "loss": 3.451187515258789,
      "step": 20400
    },
    {
      "epoch": 0.6801666666666667,
      "grad_norm": 1.6875,
      "learning_rate": 0.00033555932203389833,
      "loss": 3.8818294525146486,
      "step": 20405
    },
    {
      "epoch": 0.6803333333333333,
      "grad_norm": 1.40625,
      "learning_rate": 0.0003355169491525424,
      "loss": 4.09113655090332,
      "step": 20410
    },
    {
      "epoch": 0.6805,
      "grad_norm": 2.46875,
      "learning_rate": 0.0003354745762711864,
      "loss": 4.275485992431641,
      "step": 20415
    },
    {
      "epoch": 0.6806666666666666,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003354322033898305,
      "loss": 3.451702117919922,
      "step": 20420
    },
    {
      "epoch": 0.6808333333333333,
      "grad_norm": 1.796875,
      "learning_rate": 0.0003353898305084746,
      "loss": 2.801319122314453,
      "step": 20425
    },
    {
      "epoch": 0.681,
      "grad_norm": 2.203125,
      "learning_rate": 0.00033534745762711865,
      "loss": 4.187995147705078,
      "step": 20430
    },
    {
      "epoch": 0.6811666666666667,
      "grad_norm": 1.75,
      "learning_rate": 0.0003353050847457627,
      "loss": 3.8088340759277344,
      "step": 20435
    },
    {
      "epoch": 0.6813333333333333,
      "grad_norm": 2.09375,
      "learning_rate": 0.00033526271186440674,
      "loss": 4.132230377197265,
      "step": 20440
    },
    {
      "epoch": 0.6815,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0003352203389830509,
      "loss": 4.356291198730469,
      "step": 20445
    },
    {
      "epoch": 0.6816666666666666,
      "grad_norm": 1.796875,
      "learning_rate": 0.00033517796610169493,
      "loss": 3.7935535430908205,
      "step": 20450
    },
    {
      "epoch": 0.6818333333333333,
      "grad_norm": 1.6328125,
      "learning_rate": 0.000335135593220339,
      "loss": 3.853221893310547,
      "step": 20455
    },
    {
      "epoch": 0.682,
      "grad_norm": 1.984375,
      "learning_rate": 0.000335093220338983,
      "loss": 3.566767120361328,
      "step": 20460
    },
    {
      "epoch": 0.6821666666666667,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00033505084745762717,
      "loss": 3.878331756591797,
      "step": 20465
    },
    {
      "epoch": 0.6823333333333333,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0003350084745762712,
      "loss": 4.1200508117675785,
      "step": 20470
    },
    {
      "epoch": 0.6825,
      "grad_norm": 1.5625,
      "learning_rate": 0.00033496610169491526,
      "loss": 3.9780277252197265,
      "step": 20475
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 1.671875,
      "learning_rate": 0.0003349237288135593,
      "loss": 3.6073753356933596,
      "step": 20480
    },
    {
      "epoch": 0.6828333333333333,
      "grad_norm": 2.03125,
      "learning_rate": 0.00033488135593220345,
      "loss": 4.123470306396484,
      "step": 20485
    },
    {
      "epoch": 0.683,
      "grad_norm": 2.125,
      "learning_rate": 0.0003348389830508475,
      "loss": 3.682394790649414,
      "step": 20490
    },
    {
      "epoch": 0.6831666666666667,
      "grad_norm": 2.171875,
      "learning_rate": 0.00033479661016949154,
      "loss": 4.171869277954102,
      "step": 20495
    },
    {
      "epoch": 0.6833333333333333,
      "grad_norm": 2.140625,
      "learning_rate": 0.0003347542372881356,
      "loss": 3.985228729248047,
      "step": 20500
    },
    {
      "epoch": 0.6835,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003347118644067796,
      "loss": 3.8020557403564452,
      "step": 20505
    },
    {
      "epoch": 0.6836666666666666,
      "grad_norm": 1.546875,
      "learning_rate": 0.0003346694915254238,
      "loss": 3.9429718017578126,
      "step": 20510
    },
    {
      "epoch": 0.6838333333333333,
      "grad_norm": 1.796875,
      "learning_rate": 0.0003346271186440678,
      "loss": 4.253260803222656,
      "step": 20515
    },
    {
      "epoch": 0.684,
      "grad_norm": 1.875,
      "learning_rate": 0.00033458474576271186,
      "loss": 4.042501068115234,
      "step": 20520
    },
    {
      "epoch": 0.6841666666666667,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0003345423728813559,
      "loss": 3.963672637939453,
      "step": 20525
    },
    {
      "epoch": 0.6843333333333333,
      "grad_norm": 1.609375,
      "learning_rate": 0.00033450000000000005,
      "loss": 3.926388168334961,
      "step": 20530
    },
    {
      "epoch": 0.6845,
      "grad_norm": 1.625,
      "learning_rate": 0.0003344576271186441,
      "loss": 4.610220336914063,
      "step": 20535
    },
    {
      "epoch": 0.6846666666666666,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00033441525423728814,
      "loss": 3.4241737365722655,
      "step": 20540
    },
    {
      "epoch": 0.6848333333333333,
      "grad_norm": 1.9453125,
      "learning_rate": 0.0003343728813559322,
      "loss": 4.31513671875,
      "step": 20545
    },
    {
      "epoch": 0.685,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0003343305084745763,
      "loss": 3.935291290283203,
      "step": 20550
    },
    {
      "epoch": 0.6851666666666667,
      "grad_norm": 2.078125,
      "learning_rate": 0.0003342881355932204,
      "loss": 3.6198680877685545,
      "step": 20555
    },
    {
      "epoch": 0.6853333333333333,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0003342457627118644,
      "loss": 3.0682422637939455,
      "step": 20560
    },
    {
      "epoch": 0.6855,
      "grad_norm": 2.0,
      "learning_rate": 0.00033420338983050846,
      "loss": 3.7505172729492187,
      "step": 20565
    },
    {
      "epoch": 0.6856666666666666,
      "grad_norm": 1.703125,
      "learning_rate": 0.00033416101694915256,
      "loss": 3.15435791015625,
      "step": 20570
    },
    {
      "epoch": 0.6858333333333333,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0003341186440677966,
      "loss": 4.025615692138672,
      "step": 20575
    },
    {
      "epoch": 0.686,
      "grad_norm": 4.125,
      "learning_rate": 0.0003340762711864407,
      "loss": 4.080802154541016,
      "step": 20580
    },
    {
      "epoch": 0.6861666666666667,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00033403389830508474,
      "loss": 4.629558563232422,
      "step": 20585
    },
    {
      "epoch": 0.6863333333333334,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00033399152542372884,
      "loss": 4.263593292236328,
      "step": 20590
    },
    {
      "epoch": 0.6865,
      "grad_norm": 1.578125,
      "learning_rate": 0.0003339491525423729,
      "loss": 3.375466537475586,
      "step": 20595
    },
    {
      "epoch": 0.6866666666666666,
      "grad_norm": 2.046875,
      "learning_rate": 0.000333906779661017,
      "loss": 3.3114608764648437,
      "step": 20600
    },
    {
      "epoch": 0.6868333333333333,
      "grad_norm": 1.484375,
      "learning_rate": 0.000333864406779661,
      "loss": 4.405221176147461,
      "step": 20605
    },
    {
      "epoch": 0.687,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00033382203389830506,
      "loss": 4.303656387329101,
      "step": 20610
    },
    {
      "epoch": 0.6871666666666667,
      "grad_norm": 2.078125,
      "learning_rate": 0.00033377966101694916,
      "loss": 4.18612060546875,
      "step": 20615
    },
    {
      "epoch": 0.6873333333333334,
      "grad_norm": 2.375,
      "learning_rate": 0.0003337372881355932,
      "loss": 4.092713928222656,
      "step": 20620
    },
    {
      "epoch": 0.6875,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003336949152542373,
      "loss": 4.043361663818359,
      "step": 20625
    },
    {
      "epoch": 0.6876666666666666,
      "grad_norm": 1.84375,
      "learning_rate": 0.00033365254237288134,
      "loss": 4.143756866455078,
      "step": 20630
    },
    {
      "epoch": 0.6878333333333333,
      "grad_norm": 1.625,
      "learning_rate": 0.00033361016949152544,
      "loss": 3.6350780487060548,
      "step": 20635
    },
    {
      "epoch": 0.688,
      "grad_norm": 3.015625,
      "learning_rate": 0.0003335677966101695,
      "loss": 2.8881084442138674,
      "step": 20640
    },
    {
      "epoch": 0.6881666666666667,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0003335254237288136,
      "loss": 4.009962463378907,
      "step": 20645
    },
    {
      "epoch": 0.6883333333333334,
      "grad_norm": 1.4609375,
      "learning_rate": 0.0003334830508474576,
      "loss": 3.489593505859375,
      "step": 20650
    },
    {
      "epoch": 0.6885,
      "grad_norm": 2.0,
      "learning_rate": 0.0003334406779661017,
      "loss": 3.4709541320800783,
      "step": 20655
    },
    {
      "epoch": 0.6886666666666666,
      "grad_norm": 3.765625,
      "learning_rate": 0.00033339830508474576,
      "loss": 4.262046813964844,
      "step": 20660
    },
    {
      "epoch": 0.6888333333333333,
      "grad_norm": 2.0,
      "learning_rate": 0.0003333559322033898,
      "loss": 3.689209747314453,
      "step": 20665
    },
    {
      "epoch": 0.689,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0003333135593220339,
      "loss": 3.3891475677490233,
      "step": 20670
    },
    {
      "epoch": 0.6891666666666667,
      "grad_norm": 1.2265625,
      "learning_rate": 0.000333271186440678,
      "loss": 3.277507019042969,
      "step": 20675
    },
    {
      "epoch": 0.6893333333333334,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00033322881355932204,
      "loss": 3.0135061264038088,
      "step": 20680
    },
    {
      "epoch": 0.6895,
      "grad_norm": 3.390625,
      "learning_rate": 0.0003331864406779661,
      "loss": 3.7914215087890626,
      "step": 20685
    },
    {
      "epoch": 0.6896666666666667,
      "grad_norm": 2.265625,
      "learning_rate": 0.0003331440677966102,
      "loss": 3.7763099670410156,
      "step": 20690
    },
    {
      "epoch": 0.6898333333333333,
      "grad_norm": 2.765625,
      "learning_rate": 0.0003331016949152543,
      "loss": 3.7929454803466798,
      "step": 20695
    },
    {
      "epoch": 0.69,
      "grad_norm": 1.484375,
      "learning_rate": 0.0003330593220338983,
      "loss": 3.2714488983154295,
      "step": 20700
    },
    {
      "epoch": 0.6901666666666667,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00033301694915254237,
      "loss": 3.5943702697753905,
      "step": 20705
    },
    {
      "epoch": 0.6903333333333334,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0003329745762711864,
      "loss": 4.29481315612793,
      "step": 20710
    },
    {
      "epoch": 0.6905,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003329322033898305,
      "loss": 3.9044158935546873,
      "step": 20715
    },
    {
      "epoch": 0.6906666666666667,
      "grad_norm": 2.015625,
      "learning_rate": 0.0003328898305084746,
      "loss": 3.4089969635009765,
      "step": 20720
    },
    {
      "epoch": 0.6908333333333333,
      "grad_norm": 3.328125,
      "learning_rate": 0.00033284745762711865,
      "loss": 4.280652618408203,
      "step": 20725
    },
    {
      "epoch": 0.691,
      "grad_norm": 2.15625,
      "learning_rate": 0.0003328050847457627,
      "loss": 4.0274608612060545,
      "step": 20730
    },
    {
      "epoch": 0.6911666666666667,
      "grad_norm": 1.921875,
      "learning_rate": 0.0003327627118644068,
      "loss": 3.923442840576172,
      "step": 20735
    },
    {
      "epoch": 0.6913333333333334,
      "grad_norm": 2.046875,
      "learning_rate": 0.0003327203389830509,
      "loss": 4.047779083251953,
      "step": 20740
    },
    {
      "epoch": 0.6915,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0003326779661016949,
      "loss": 4.126659393310547,
      "step": 20745
    },
    {
      "epoch": 0.6916666666666667,
      "grad_norm": 1.546875,
      "learning_rate": 0.00033263559322033897,
      "loss": 3.9907474517822266,
      "step": 20750
    },
    {
      "epoch": 0.6918333333333333,
      "grad_norm": 1.6953125,
      "learning_rate": 0.000332593220338983,
      "loss": 3.572518539428711,
      "step": 20755
    },
    {
      "epoch": 0.692,
      "grad_norm": 1.9375,
      "learning_rate": 0.00033255084745762716,
      "loss": 3.7721771240234374,
      "step": 20760
    },
    {
      "epoch": 0.6921666666666667,
      "grad_norm": 1.421875,
      "learning_rate": 0.0003325084745762712,
      "loss": 3.5767135620117188,
      "step": 20765
    },
    {
      "epoch": 0.6923333333333334,
      "grad_norm": 3.125,
      "learning_rate": 0.00033246610169491525,
      "loss": 4.035050582885742,
      "step": 20770
    },
    {
      "epoch": 0.6925,
      "grad_norm": 2.859375,
      "learning_rate": 0.0003324237288135593,
      "loss": 3.5660587310791017,
      "step": 20775
    },
    {
      "epoch": 0.6926666666666667,
      "grad_norm": 1.9765625,
      "learning_rate": 0.00033238135593220344,
      "loss": 4.303302001953125,
      "step": 20780
    },
    {
      "epoch": 0.6928333333333333,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0003323389830508475,
      "loss": 5.075664520263672,
      "step": 20785
    },
    {
      "epoch": 0.693,
      "grad_norm": 1.59375,
      "learning_rate": 0.00033229661016949153,
      "loss": 4.177227401733399,
      "step": 20790
    },
    {
      "epoch": 0.6931666666666667,
      "grad_norm": 3.515625,
      "learning_rate": 0.00033225423728813557,
      "loss": 3.479684829711914,
      "step": 20795
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 2.484375,
      "learning_rate": 0.0003322118644067796,
      "loss": 4.025929641723633,
      "step": 20800
    },
    {
      "epoch": 0.6935,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00033216949152542377,
      "loss": 3.7143001556396484,
      "step": 20805
    },
    {
      "epoch": 0.6936666666666667,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003321271186440678,
      "loss": 3.2378555297851563,
      "step": 20810
    },
    {
      "epoch": 0.6938333333333333,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00033208474576271185,
      "loss": 3.2743682861328125,
      "step": 20815
    },
    {
      "epoch": 0.694,
      "grad_norm": 2.3125,
      "learning_rate": 0.0003320423728813559,
      "loss": 4.064118194580078,
      "step": 20820
    },
    {
      "epoch": 0.6941666666666667,
      "grad_norm": 1.65625,
      "learning_rate": 0.00033200000000000005,
      "loss": 3.210870361328125,
      "step": 20825
    },
    {
      "epoch": 0.6943333333333334,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0003319576271186441,
      "loss": 3.655927276611328,
      "step": 20830
    },
    {
      "epoch": 0.6945,
      "grad_norm": 2.3125,
      "learning_rate": 0.00033191525423728813,
      "loss": 3.7558082580566405,
      "step": 20835
    },
    {
      "epoch": 0.6946666666666667,
      "grad_norm": 2.203125,
      "learning_rate": 0.0003318728813559322,
      "loss": 3.9440723419189454,
      "step": 20840
    },
    {
      "epoch": 0.6948333333333333,
      "grad_norm": 2.484375,
      "learning_rate": 0.00033183050847457627,
      "loss": 3.8370094299316406,
      "step": 20845
    },
    {
      "epoch": 0.695,
      "grad_norm": 1.9296875,
      "learning_rate": 0.00033178813559322037,
      "loss": 4.090496444702149,
      "step": 20850
    },
    {
      "epoch": 0.6951666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0003317457627118644,
      "loss": 4.609928131103516,
      "step": 20855
    },
    {
      "epoch": 0.6953333333333334,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00033170338983050846,
      "loss": 4.330609130859375,
      "step": 20860
    },
    {
      "epoch": 0.6955,
      "grad_norm": 2.40625,
      "learning_rate": 0.00033166101694915255,
      "loss": 4.5006462097167965,
      "step": 20865
    },
    {
      "epoch": 0.6956666666666667,
      "grad_norm": 1.8125,
      "learning_rate": 0.00033161864406779665,
      "loss": 3.8711822509765623,
      "step": 20870
    },
    {
      "epoch": 0.6958333333333333,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003315762711864407,
      "loss": 4.481072998046875,
      "step": 20875
    },
    {
      "epoch": 0.696,
      "grad_norm": 2.03125,
      "learning_rate": 0.00033153389830508474,
      "loss": 3.9295280456542967,
      "step": 20880
    },
    {
      "epoch": 0.6961666666666667,
      "grad_norm": 2.40625,
      "learning_rate": 0.00033149152542372883,
      "loss": 4.098707580566407,
      "step": 20885
    },
    {
      "epoch": 0.6963333333333334,
      "grad_norm": 1.953125,
      "learning_rate": 0.0003314491525423729,
      "loss": 4.5033519744873045,
      "step": 20890
    },
    {
      "epoch": 0.6965,
      "grad_norm": 1.828125,
      "learning_rate": 0.00033140677966101697,
      "loss": 3.1847517013549806,
      "step": 20895
    },
    {
      "epoch": 0.6966666666666667,
      "grad_norm": 2.078125,
      "learning_rate": 0.000331364406779661,
      "loss": 4.447806549072266,
      "step": 20900
    },
    {
      "epoch": 0.6968333333333333,
      "grad_norm": 2.015625,
      "learning_rate": 0.00033132203389830506,
      "loss": 4.479806518554687,
      "step": 20905
    },
    {
      "epoch": 0.697,
      "grad_norm": 1.859375,
      "learning_rate": 0.00033127966101694916,
      "loss": 3.664931869506836,
      "step": 20910
    },
    {
      "epoch": 0.6971666666666667,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00033123728813559325,
      "loss": 3.8719120025634766,
      "step": 20915
    },
    {
      "epoch": 0.6973333333333334,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0003311949152542373,
      "loss": 4.2403606414794925,
      "step": 20920
    },
    {
      "epoch": 0.6975,
      "grad_norm": 1.5625,
      "learning_rate": 0.00033115254237288134,
      "loss": 3.963003158569336,
      "step": 20925
    },
    {
      "epoch": 0.6976666666666667,
      "grad_norm": 1.671875,
      "learning_rate": 0.00033111016949152544,
      "loss": 3.818431854248047,
      "step": 20930
    },
    {
      "epoch": 0.6978333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0003310677966101695,
      "loss": 3.8498298645019533,
      "step": 20935
    },
    {
      "epoch": 0.698,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0003310254237288136,
      "loss": 3.481279754638672,
      "step": 20940
    },
    {
      "epoch": 0.6981666666666667,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0003309830508474576,
      "loss": 3.836537170410156,
      "step": 20945
    },
    {
      "epoch": 0.6983333333333334,
      "grad_norm": 1.546875,
      "learning_rate": 0.0003309406779661017,
      "loss": 3.681158447265625,
      "step": 20950
    },
    {
      "epoch": 0.6985,
      "grad_norm": 1.90625,
      "learning_rate": 0.00033089830508474576,
      "loss": 4.451965713500977,
      "step": 20955
    },
    {
      "epoch": 0.6986666666666667,
      "grad_norm": 3.796875,
      "learning_rate": 0.00033085593220338986,
      "loss": 4.3381904602050785,
      "step": 20960
    },
    {
      "epoch": 0.6988333333333333,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0003308135593220339,
      "loss": 4.2309112548828125,
      "step": 20965
    },
    {
      "epoch": 0.699,
      "grad_norm": 1.8125,
      "learning_rate": 0.000330771186440678,
      "loss": 3.9623008728027345,
      "step": 20970
    },
    {
      "epoch": 0.6991666666666667,
      "grad_norm": 1.9765625,
      "learning_rate": 0.00033072881355932204,
      "loss": 4.281807327270508,
      "step": 20975
    },
    {
      "epoch": 0.6993333333333334,
      "grad_norm": 2.21875,
      "learning_rate": 0.0003306864406779661,
      "loss": 3.8209339141845704,
      "step": 20980
    },
    {
      "epoch": 0.6995,
      "grad_norm": 1.9453125,
      "learning_rate": 0.0003306440677966102,
      "loss": 4.491740417480469,
      "step": 20985
    },
    {
      "epoch": 0.6996666666666667,
      "grad_norm": 1.6875,
      "learning_rate": 0.0003306016949152543,
      "loss": 3.1897560119628907,
      "step": 20990
    },
    {
      "epoch": 0.6998333333333333,
      "grad_norm": 2.0625,
      "learning_rate": 0.0003305593220338983,
      "loss": 4.193346786499023,
      "step": 20995
    },
    {
      "epoch": 0.7,
      "grad_norm": 1.859375,
      "learning_rate": 0.00033051694915254236,
      "loss": 3.459598159790039,
      "step": 21000
    },
    {
      "epoch": 0.7001666666666667,
      "grad_norm": 2.484375,
      "learning_rate": 0.00033047457627118646,
      "loss": 4.337891387939453,
      "step": 21005
    },
    {
      "epoch": 0.7003333333333334,
      "grad_norm": 2.25,
      "learning_rate": 0.0003304322033898305,
      "loss": 4.170926666259765,
      "step": 21010
    },
    {
      "epoch": 0.7005,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0003303898305084746,
      "loss": 4.396517181396485,
      "step": 21015
    },
    {
      "epoch": 0.7006666666666667,
      "grad_norm": 2.453125,
      "learning_rate": 0.00033034745762711864,
      "loss": 2.9440887451171873,
      "step": 21020
    },
    {
      "epoch": 0.7008333333333333,
      "grad_norm": 2.234375,
      "learning_rate": 0.0003303050847457627,
      "loss": 3.0983001708984377,
      "step": 21025
    },
    {
      "epoch": 0.701,
      "grad_norm": 2.6875,
      "learning_rate": 0.0003302627118644068,
      "loss": 3.5737918853759765,
      "step": 21030
    },
    {
      "epoch": 0.7011666666666667,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0003302203389830509,
      "loss": 4.425239562988281,
      "step": 21035
    },
    {
      "epoch": 0.7013333333333334,
      "grad_norm": 2.546875,
      "learning_rate": 0.0003301779661016949,
      "loss": 4.077412414550781,
      "step": 21040
    },
    {
      "epoch": 0.7015,
      "grad_norm": 1.296875,
      "learning_rate": 0.00033013559322033896,
      "loss": 3.3568328857421874,
      "step": 21045
    },
    {
      "epoch": 0.7016666666666667,
      "grad_norm": 4.3125,
      "learning_rate": 0.00033009322033898306,
      "loss": 3.5308822631835937,
      "step": 21050
    },
    {
      "epoch": 0.7018333333333333,
      "grad_norm": 2.296875,
      "learning_rate": 0.00033005084745762716,
      "loss": 3.880656051635742,
      "step": 21055
    },
    {
      "epoch": 0.702,
      "grad_norm": 1.640625,
      "learning_rate": 0.0003300084745762712,
      "loss": 3.872878646850586,
      "step": 21060
    },
    {
      "epoch": 0.7021666666666667,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00032996610169491524,
      "loss": 3.807210159301758,
      "step": 21065
    },
    {
      "epoch": 0.7023333333333334,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003299237288135593,
      "loss": 4.130266952514648,
      "step": 21070
    },
    {
      "epoch": 0.7025,
      "grad_norm": 5.125,
      "learning_rate": 0.00032988135593220344,
      "loss": 3.6368381500244142,
      "step": 21075
    },
    {
      "epoch": 0.7026666666666667,
      "grad_norm": 3.0625,
      "learning_rate": 0.0003298389830508475,
      "loss": 4.121600723266601,
      "step": 21080
    },
    {
      "epoch": 0.7028333333333333,
      "grad_norm": 1.4375,
      "learning_rate": 0.0003297966101694915,
      "loss": 3.4173213958740236,
      "step": 21085
    },
    {
      "epoch": 0.703,
      "grad_norm": 1.71875,
      "learning_rate": 0.00032975423728813557,
      "loss": 3.584109878540039,
      "step": 21090
    },
    {
      "epoch": 0.7031666666666667,
      "grad_norm": 2.25,
      "learning_rate": 0.0003297118644067797,
      "loss": 3.7789596557617187,
      "step": 21095
    },
    {
      "epoch": 0.7033333333333334,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00032966949152542376,
      "loss": 3.7070098876953126,
      "step": 21100
    },
    {
      "epoch": 0.7035,
      "grad_norm": 2.46875,
      "learning_rate": 0.0003296271186440678,
      "loss": 3.859357452392578,
      "step": 21105
    },
    {
      "epoch": 0.7036666666666667,
      "grad_norm": 2.34375,
      "learning_rate": 0.00032958474576271185,
      "loss": 3.3905929565429687,
      "step": 21110
    },
    {
      "epoch": 0.7038333333333333,
      "grad_norm": 1.796875,
      "learning_rate": 0.0003295423728813559,
      "loss": 3.5755340576171877,
      "step": 21115
    },
    {
      "epoch": 0.704,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00032950000000000004,
      "loss": 3.7005916595458985,
      "step": 21120
    },
    {
      "epoch": 0.7041666666666667,
      "grad_norm": 1.625,
      "learning_rate": 0.0003294576271186441,
      "loss": 3.37780647277832,
      "step": 21125
    },
    {
      "epoch": 0.7043333333333334,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0003294152542372881,
      "loss": 3.459564208984375,
      "step": 21130
    },
    {
      "epoch": 0.7045,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00032937288135593217,
      "loss": 4.036261367797851,
      "step": 21135
    },
    {
      "epoch": 0.7046666666666667,
      "grad_norm": 1.703125,
      "learning_rate": 0.0003293305084745763,
      "loss": 3.3935680389404297,
      "step": 21140
    },
    {
      "epoch": 0.7048333333333333,
      "grad_norm": 2.796875,
      "learning_rate": 0.00032928813559322036,
      "loss": 3.8402786254882812,
      "step": 21145
    },
    {
      "epoch": 0.705,
      "grad_norm": 10.8125,
      "learning_rate": 0.0003292457627118644,
      "loss": 4.215390014648437,
      "step": 21150
    },
    {
      "epoch": 0.7051666666666667,
      "grad_norm": 1.75,
      "learning_rate": 0.00032920338983050845,
      "loss": 4.257210922241211,
      "step": 21155
    },
    {
      "epoch": 0.7053333333333334,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00032916101694915255,
      "loss": 3.587760162353516,
      "step": 21160
    },
    {
      "epoch": 0.7055,
      "grad_norm": 1.2578125,
      "learning_rate": 0.00032911864406779664,
      "loss": 4.0045219421386715,
      "step": 21165
    },
    {
      "epoch": 0.7056666666666667,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003290762711864407,
      "loss": 4.295335006713867,
      "step": 21170
    },
    {
      "epoch": 0.7058333333333333,
      "grad_norm": 1.390625,
      "learning_rate": 0.00032903389830508473,
      "loss": 3.6629051208496093,
      "step": 21175
    },
    {
      "epoch": 0.706,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0003289915254237288,
      "loss": 4.095822525024414,
      "step": 21180
    },
    {
      "epoch": 0.7061666666666667,
      "grad_norm": 1.625,
      "learning_rate": 0.0003289491525423729,
      "loss": 3.8070632934570314,
      "step": 21185
    },
    {
      "epoch": 0.7063333333333334,
      "grad_norm": 3.828125,
      "learning_rate": 0.00032890677966101697,
      "loss": 4.29241943359375,
      "step": 21190
    },
    {
      "epoch": 0.7065,
      "grad_norm": 2.15625,
      "learning_rate": 0.000328864406779661,
      "loss": 4.2791706085205075,
      "step": 21195
    },
    {
      "epoch": 0.7066666666666667,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0003288220338983051,
      "loss": 3.9358219146728515,
      "step": 21200
    },
    {
      "epoch": 0.7068333333333333,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00032877966101694915,
      "loss": 3.6766593933105467,
      "step": 21205
    },
    {
      "epoch": 0.707,
      "grad_norm": 1.796875,
      "learning_rate": 0.00032873728813559325,
      "loss": 3.9355800628662108,
      "step": 21210
    },
    {
      "epoch": 0.7071666666666667,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0003286949152542373,
      "loss": 4.061546325683594,
      "step": 21215
    },
    {
      "epoch": 0.7073333333333334,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00032865254237288133,
      "loss": 3.1170581817626952,
      "step": 21220
    },
    {
      "epoch": 0.7075,
      "grad_norm": 2.015625,
      "learning_rate": 0.00032861016949152543,
      "loss": 4.622505569458008,
      "step": 21225
    },
    {
      "epoch": 0.7076666666666667,
      "grad_norm": 1.3203125,
      "learning_rate": 0.0003285677966101695,
      "loss": 3.4810901641845704,
      "step": 21230
    },
    {
      "epoch": 0.7078333333333333,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00032852542372881357,
      "loss": 4.0208488464355465,
      "step": 21235
    },
    {
      "epoch": 0.708,
      "grad_norm": 1.625,
      "learning_rate": 0.0003284830508474576,
      "loss": 2.6612403869628904,
      "step": 21240
    },
    {
      "epoch": 0.7081666666666667,
      "grad_norm": 7.0625,
      "learning_rate": 0.0003284406779661017,
      "loss": 3.977461242675781,
      "step": 21245
    },
    {
      "epoch": 0.7083333333333334,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00032839830508474575,
      "loss": 4.059195709228516,
      "step": 21250
    },
    {
      "epoch": 0.7085,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00032835593220338985,
      "loss": 3.808360290527344,
      "step": 21255
    },
    {
      "epoch": 0.7086666666666667,
      "grad_norm": 3.125,
      "learning_rate": 0.0003283135593220339,
      "loss": 3.5883712768554688,
      "step": 21260
    },
    {
      "epoch": 0.7088333333333333,
      "grad_norm": 2.828125,
      "learning_rate": 0.000328271186440678,
      "loss": 4.321455383300782,
      "step": 21265
    },
    {
      "epoch": 0.709,
      "grad_norm": 1.640625,
      "learning_rate": 0.00032822881355932203,
      "loss": 3.366982269287109,
      "step": 21270
    },
    {
      "epoch": 0.7091666666666666,
      "grad_norm": 2.203125,
      "learning_rate": 0.00032818644067796613,
      "loss": 3.8044784545898436,
      "step": 21275
    },
    {
      "epoch": 0.7093333333333334,
      "grad_norm": 1.90625,
      "learning_rate": 0.00032814406779661017,
      "loss": 3.380135345458984,
      "step": 21280
    },
    {
      "epoch": 0.7095,
      "grad_norm": 1.609375,
      "learning_rate": 0.00032810169491525427,
      "loss": 3.549654006958008,
      "step": 21285
    },
    {
      "epoch": 0.7096666666666667,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003280593220338983,
      "loss": 3.9405216217041015,
      "step": 21290
    },
    {
      "epoch": 0.7098333333333333,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00032801694915254235,
      "loss": 4.279437255859375,
      "step": 21295
    },
    {
      "epoch": 0.71,
      "grad_norm": 1.875,
      "learning_rate": 0.00032797457627118645,
      "loss": 3.994244384765625,
      "step": 21300
    },
    {
      "epoch": 0.7101666666666666,
      "grad_norm": 1.65625,
      "learning_rate": 0.00032793220338983055,
      "loss": 2.8596302032470704,
      "step": 21305
    },
    {
      "epoch": 0.7103333333333334,
      "grad_norm": 1.921875,
      "learning_rate": 0.0003278898305084746,
      "loss": 4.216373443603516,
      "step": 21310
    },
    {
      "epoch": 0.7105,
      "grad_norm": 1.875,
      "learning_rate": 0.00032784745762711863,
      "loss": 3.524333190917969,
      "step": 21315
    },
    {
      "epoch": 0.7106666666666667,
      "grad_norm": 3.546875,
      "learning_rate": 0.00032780508474576273,
      "loss": 3.431909942626953,
      "step": 21320
    },
    {
      "epoch": 0.7108333333333333,
      "grad_norm": 1.34375,
      "learning_rate": 0.0003277627118644068,
      "loss": 3.7480884552001954,
      "step": 21325
    },
    {
      "epoch": 0.711,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00032772033898305087,
      "loss": 2.7005279541015623,
      "step": 21330
    },
    {
      "epoch": 0.7111666666666666,
      "grad_norm": 2.203125,
      "learning_rate": 0.0003276779661016949,
      "loss": 4.405173492431641,
      "step": 21335
    },
    {
      "epoch": 0.7113333333333334,
      "grad_norm": 2.1875,
      "learning_rate": 0.00032763559322033896,
      "loss": 4.210761260986328,
      "step": 21340
    },
    {
      "epoch": 0.7115,
      "grad_norm": 1.96875,
      "learning_rate": 0.00032759322033898305,
      "loss": 4.279336547851562,
      "step": 21345
    },
    {
      "epoch": 0.7116666666666667,
      "grad_norm": 2.109375,
      "learning_rate": 0.00032755084745762715,
      "loss": 4.338330078125,
      "step": 21350
    },
    {
      "epoch": 0.7118333333333333,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003275084745762712,
      "loss": 3.9729557037353516,
      "step": 21355
    },
    {
      "epoch": 0.712,
      "grad_norm": 1.703125,
      "learning_rate": 0.00032746610169491524,
      "loss": 3.603375244140625,
      "step": 21360
    },
    {
      "epoch": 0.7121666666666666,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00032742372881355933,
      "loss": 3.011353874206543,
      "step": 21365
    },
    {
      "epoch": 0.7123333333333334,
      "grad_norm": 3.296875,
      "learning_rate": 0.00032738135593220343,
      "loss": 3.5459686279296876,
      "step": 21370
    },
    {
      "epoch": 0.7125,
      "grad_norm": 2.15625,
      "learning_rate": 0.0003273389830508475,
      "loss": 4.029092407226562,
      "step": 21375
    },
    {
      "epoch": 0.7126666666666667,
      "grad_norm": 1.703125,
      "learning_rate": 0.0003272966101694915,
      "loss": 3.5209503173828125,
      "step": 21380
    },
    {
      "epoch": 0.7128333333333333,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00032725423728813556,
      "loss": 3.772291564941406,
      "step": 21385
    },
    {
      "epoch": 0.713,
      "grad_norm": 2.6875,
      "learning_rate": 0.0003272118644067797,
      "loss": 3.624078369140625,
      "step": 21390
    },
    {
      "epoch": 0.7131666666666666,
      "grad_norm": 2.09375,
      "learning_rate": 0.00032716949152542375,
      "loss": 3.8683204650878906,
      "step": 21395
    },
    {
      "epoch": 0.7133333333333334,
      "grad_norm": 2.40625,
      "learning_rate": 0.0003271271186440678,
      "loss": 3.6811267852783205,
      "step": 21400
    },
    {
      "epoch": 0.7135,
      "grad_norm": 1.2578125,
      "learning_rate": 0.00032708474576271184,
      "loss": 2.626956748962402,
      "step": 21405
    },
    {
      "epoch": 0.7136666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.000327042372881356,
      "loss": 4.149832153320313,
      "step": 21410
    },
    {
      "epoch": 0.7138333333333333,
      "grad_norm": 1.546875,
      "learning_rate": 0.00032700000000000003,
      "loss": 4.4835868835449215,
      "step": 21415
    },
    {
      "epoch": 0.714,
      "grad_norm": 1.796875,
      "learning_rate": 0.0003269576271186441,
      "loss": 4.470122146606445,
      "step": 21420
    },
    {
      "epoch": 0.7141666666666666,
      "grad_norm": 2.109375,
      "learning_rate": 0.0003269152542372881,
      "loss": 4.156930541992187,
      "step": 21425
    },
    {
      "epoch": 0.7143333333333334,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00032687288135593216,
      "loss": 3.936707305908203,
      "step": 21430
    },
    {
      "epoch": 0.7145,
      "grad_norm": 2.109375,
      "learning_rate": 0.0003268305084745763,
      "loss": 3.9696632385253907,
      "step": 21435
    },
    {
      "epoch": 0.7146666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 0.00032678813559322036,
      "loss": 3.6701560974121095,
      "step": 21440
    },
    {
      "epoch": 0.7148333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0003267457627118644,
      "loss": 3.4537166595458983,
      "step": 21445
    },
    {
      "epoch": 0.715,
      "grad_norm": 2.6875,
      "learning_rate": 0.00032670338983050844,
      "loss": 4.035739517211914,
      "step": 21450
    },
    {
      "epoch": 0.7151666666666666,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0003266610169491526,
      "loss": 3.6160911560058593,
      "step": 21455
    },
    {
      "epoch": 0.7153333333333334,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00032661864406779664,
      "loss": 3.6947792053222654,
      "step": 21460
    },
    {
      "epoch": 0.7155,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003265762711864407,
      "loss": 3.816736602783203,
      "step": 21465
    },
    {
      "epoch": 0.7156666666666667,
      "grad_norm": 2.328125,
      "learning_rate": 0.0003265338983050847,
      "loss": 3.5222957611083983,
      "step": 21470
    },
    {
      "epoch": 0.7158333333333333,
      "grad_norm": 1.4921875,
      "learning_rate": 0.0003264915254237288,
      "loss": 4.4204051971435545,
      "step": 21475
    },
    {
      "epoch": 0.716,
      "grad_norm": 1.3984375,
      "learning_rate": 0.0003264491525423729,
      "loss": 3.870714569091797,
      "step": 21480
    },
    {
      "epoch": 0.7161666666666666,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00032640677966101696,
      "loss": 3.5212677001953123,
      "step": 21485
    },
    {
      "epoch": 0.7163333333333334,
      "grad_norm": 3.296875,
      "learning_rate": 0.000326364406779661,
      "loss": 3.6498477935791014,
      "step": 21490
    },
    {
      "epoch": 0.7165,
      "grad_norm": 3.890625,
      "learning_rate": 0.0003263220338983051,
      "loss": 4.236573791503906,
      "step": 21495
    },
    {
      "epoch": 0.7166666666666667,
      "grad_norm": 1.90625,
      "learning_rate": 0.0003262796610169492,
      "loss": 3.987683868408203,
      "step": 21500
    },
    {
      "epoch": 0.7168333333333333,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00032623728813559324,
      "loss": 3.3382999420166017,
      "step": 21505
    },
    {
      "epoch": 0.717,
      "grad_norm": 2.8125,
      "learning_rate": 0.0003261949152542373,
      "loss": 3.834711456298828,
      "step": 21510
    },
    {
      "epoch": 0.7171666666666666,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003261525423728814,
      "loss": 3.9736873626708986,
      "step": 21515
    },
    {
      "epoch": 0.7173333333333334,
      "grad_norm": 3.015625,
      "learning_rate": 0.0003261101694915254,
      "loss": 3.5663116455078123,
      "step": 21520
    },
    {
      "epoch": 0.7175,
      "grad_norm": 2.515625,
      "learning_rate": 0.0003260677966101695,
      "loss": 4.042864227294922,
      "step": 21525
    },
    {
      "epoch": 0.7176666666666667,
      "grad_norm": 1.921875,
      "learning_rate": 0.00032602542372881356,
      "loss": 3.4378265380859374,
      "step": 21530
    },
    {
      "epoch": 0.7178333333333333,
      "grad_norm": 3.09375,
      "learning_rate": 0.0003259830508474576,
      "loss": 4.470227432250977,
      "step": 21535
    },
    {
      "epoch": 0.718,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003259406779661017,
      "loss": 4.462381744384766,
      "step": 21540
    },
    {
      "epoch": 0.7181666666666666,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0003258983050847458,
      "loss": 4.111844253540039,
      "step": 21545
    },
    {
      "epoch": 0.7183333333333334,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00032585593220338984,
      "loss": 3.491444778442383,
      "step": 21550
    },
    {
      "epoch": 0.7185,
      "grad_norm": 1.75,
      "learning_rate": 0.0003258135593220339,
      "loss": 3.5191192626953125,
      "step": 21555
    },
    {
      "epoch": 0.7186666666666667,
      "grad_norm": 2.125,
      "learning_rate": 0.000325771186440678,
      "loss": 4.10330810546875,
      "step": 21560
    },
    {
      "epoch": 0.7188333333333333,
      "grad_norm": 1.671875,
      "learning_rate": 0.000325728813559322,
      "loss": 4.06477165222168,
      "step": 21565
    },
    {
      "epoch": 0.719,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0003256864406779661,
      "loss": 3.7071823120117187,
      "step": 21570
    },
    {
      "epoch": 0.7191666666666666,
      "grad_norm": 3.78125,
      "learning_rate": 0.00032564406779661016,
      "loss": 3.4517181396484373,
      "step": 21575
    },
    {
      "epoch": 0.7193333333333334,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00032560169491525426,
      "loss": 3.984532928466797,
      "step": 21580
    },
    {
      "epoch": 0.7195,
      "grad_norm": 2.390625,
      "learning_rate": 0.0003255593220338983,
      "loss": 3.7449432373046876,
      "step": 21585
    },
    {
      "epoch": 0.7196666666666667,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00032551694915254235,
      "loss": 4.138685989379883,
      "step": 21590
    },
    {
      "epoch": 0.7198333333333333,
      "grad_norm": 2.046875,
      "learning_rate": 0.00032547457627118644,
      "loss": 3.7095428466796876,
      "step": 21595
    },
    {
      "epoch": 0.72,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00032543220338983054,
      "loss": 3.995669937133789,
      "step": 21600
    },
    {
      "epoch": 0.7201666666666666,
      "grad_norm": 1.6875,
      "learning_rate": 0.0003253898305084746,
      "loss": 4.0238502502441404,
      "step": 21605
    },
    {
      "epoch": 0.7203333333333334,
      "grad_norm": 3.046875,
      "learning_rate": 0.00032534745762711863,
      "loss": 3.8645023345947265,
      "step": 21610
    },
    {
      "epoch": 0.7205,
      "grad_norm": 1.640625,
      "learning_rate": 0.0003253050847457627,
      "loss": 4.405749130249023,
      "step": 21615
    },
    {
      "epoch": 0.7206666666666667,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0003252627118644068,
      "loss": 3.4096195220947267,
      "step": 21620
    },
    {
      "epoch": 0.7208333333333333,
      "grad_norm": 1.765625,
      "learning_rate": 0.00032522033898305086,
      "loss": 4.009479141235351,
      "step": 21625
    },
    {
      "epoch": 0.721,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003251779661016949,
      "loss": 4.250442123413086,
      "step": 21630
    },
    {
      "epoch": 0.7211666666666666,
      "grad_norm": 1.5,
      "learning_rate": 0.00032513559322033895,
      "loss": 3.886946105957031,
      "step": 21635
    },
    {
      "epoch": 0.7213333333333334,
      "grad_norm": 1.96875,
      "learning_rate": 0.00032509322033898305,
      "loss": 3.9881492614746095,
      "step": 21640
    },
    {
      "epoch": 0.7215,
      "grad_norm": 1.46875,
      "learning_rate": 0.00032505084745762714,
      "loss": 3.7296875,
      "step": 21645
    },
    {
      "epoch": 0.7216666666666667,
      "grad_norm": 1.8125,
      "learning_rate": 0.0003250084745762712,
      "loss": 2.88472957611084,
      "step": 21650
    },
    {
      "epoch": 0.7218333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00032496610169491523,
      "loss": 4.1254020690917965,
      "step": 21655
    },
    {
      "epoch": 0.722,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00032492372881355933,
      "loss": 4.116091918945313,
      "step": 21660
    },
    {
      "epoch": 0.7221666666666666,
      "grad_norm": 2.421875,
      "learning_rate": 0.0003248813559322034,
      "loss": 4.024908447265625,
      "step": 21665
    },
    {
      "epoch": 0.7223333333333334,
      "grad_norm": 1.625,
      "learning_rate": 0.00032483898305084747,
      "loss": 3.665113830566406,
      "step": 21670
    },
    {
      "epoch": 0.7225,
      "grad_norm": 2.671875,
      "learning_rate": 0.0003247966101694915,
      "loss": 3.8746994018554686,
      "step": 21675
    },
    {
      "epoch": 0.7226666666666667,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00032475423728813555,
      "loss": 4.608798599243164,
      "step": 21680
    },
    {
      "epoch": 0.7228333333333333,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003247118644067797,
      "loss": 4.089514541625976,
      "step": 21685
    },
    {
      "epoch": 0.723,
      "grad_norm": 1.984375,
      "learning_rate": 0.00032466949152542375,
      "loss": 3.894937515258789,
      "step": 21690
    },
    {
      "epoch": 0.7231666666666666,
      "grad_norm": 1.96875,
      "learning_rate": 0.0003246271186440678,
      "loss": 2.279216766357422,
      "step": 21695
    },
    {
      "epoch": 0.7233333333333334,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00032458474576271183,
      "loss": 3.871916961669922,
      "step": 21700
    },
    {
      "epoch": 0.7235,
      "grad_norm": 2.390625,
      "learning_rate": 0.000324542372881356,
      "loss": 4.246458053588867,
      "step": 21705
    },
    {
      "epoch": 0.7236666666666667,
      "grad_norm": 1.9375,
      "learning_rate": 0.00032450000000000003,
      "loss": 3.566266632080078,
      "step": 21710
    },
    {
      "epoch": 0.7238333333333333,
      "grad_norm": 1.9453125,
      "learning_rate": 0.00032445762711864407,
      "loss": 3.9846012115478517,
      "step": 21715
    },
    {
      "epoch": 0.724,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0003244152542372881,
      "loss": 3.257454681396484,
      "step": 21720
    },
    {
      "epoch": 0.7241666666666666,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0003243728813559322,
      "loss": 3.9314876556396485,
      "step": 21725
    },
    {
      "epoch": 0.7243333333333334,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003243305084745763,
      "loss": 3.5713096618652345,
      "step": 21730
    },
    {
      "epoch": 0.7245,
      "grad_norm": 1.890625,
      "learning_rate": 0.00032428813559322035,
      "loss": 3.4060855865478517,
      "step": 21735
    },
    {
      "epoch": 0.7246666666666667,
      "grad_norm": 1.6875,
      "learning_rate": 0.0003242457627118644,
      "loss": 3.8514938354492188,
      "step": 21740
    },
    {
      "epoch": 0.7248333333333333,
      "grad_norm": 1.6875,
      "learning_rate": 0.00032420338983050844,
      "loss": 3.6887779235839844,
      "step": 21745
    },
    {
      "epoch": 0.725,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0003241610169491526,
      "loss": 3.9473751068115233,
      "step": 21750
    },
    {
      "epoch": 0.7251666666666666,
      "grad_norm": 2.5625,
      "learning_rate": 0.00032411864406779663,
      "loss": 3.732023239135742,
      "step": 21755
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 1.484375,
      "learning_rate": 0.00032407627118644067,
      "loss": 3.896113967895508,
      "step": 21760
    },
    {
      "epoch": 0.7255,
      "grad_norm": 1.265625,
      "learning_rate": 0.0003240338983050847,
      "loss": 2.3364749908447267,
      "step": 21765
    },
    {
      "epoch": 0.7256666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0003239915254237288,
      "loss": 3.660292053222656,
      "step": 21770
    },
    {
      "epoch": 0.7258333333333333,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0003239491525423729,
      "loss": 3.8844810485839845,
      "step": 21775
    },
    {
      "epoch": 0.726,
      "grad_norm": 2.734375,
      "learning_rate": 0.00032390677966101695,
      "loss": 4.291269302368164,
      "step": 21780
    },
    {
      "epoch": 0.7261666666666666,
      "grad_norm": 2.484375,
      "learning_rate": 0.000323864406779661,
      "loss": 3.2051040649414064,
      "step": 21785
    },
    {
      "epoch": 0.7263333333333334,
      "grad_norm": 2.0625,
      "learning_rate": 0.0003238220338983051,
      "loss": 4.30352897644043,
      "step": 21790
    },
    {
      "epoch": 0.7265,
      "grad_norm": 1.71875,
      "learning_rate": 0.0003237796610169492,
      "loss": 4.236470031738281,
      "step": 21795
    },
    {
      "epoch": 0.7266666666666667,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00032373728813559323,
      "loss": 3.997727966308594,
      "step": 21800
    },
    {
      "epoch": 0.7268333333333333,
      "grad_norm": 2.34375,
      "learning_rate": 0.0003236949152542373,
      "loss": 3.6149269104003907,
      "step": 21805
    },
    {
      "epoch": 0.727,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00032365254237288137,
      "loss": 3.9943988800048826,
      "step": 21810
    },
    {
      "epoch": 0.7271666666666666,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003236101694915254,
      "loss": 3.626983642578125,
      "step": 21815
    },
    {
      "epoch": 0.7273333333333334,
      "grad_norm": 1.296875,
      "learning_rate": 0.0003235677966101695,
      "loss": 2.8614601135253905,
      "step": 21820
    },
    {
      "epoch": 0.7275,
      "grad_norm": 1.734375,
      "learning_rate": 0.00032352542372881356,
      "loss": 3.3202816009521485,
      "step": 21825
    },
    {
      "epoch": 0.7276666666666667,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00032348305084745765,
      "loss": 3.9865718841552735,
      "step": 21830
    },
    {
      "epoch": 0.7278333333333333,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0003234406779661017,
      "loss": 4.812548065185547,
      "step": 21835
    },
    {
      "epoch": 0.728,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0003233983050847458,
      "loss": 3.6103515625,
      "step": 21840
    },
    {
      "epoch": 0.7281666666666666,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00032335593220338984,
      "loss": 4.236478424072265,
      "step": 21845
    },
    {
      "epoch": 0.7283333333333334,
      "grad_norm": 1.671875,
      "learning_rate": 0.0003233135593220339,
      "loss": 3.3672149658203123,
      "step": 21850
    },
    {
      "epoch": 0.7285,
      "grad_norm": 2.40625,
      "learning_rate": 0.000323271186440678,
      "loss": 3.9258655548095702,
      "step": 21855
    },
    {
      "epoch": 0.7286666666666667,
      "grad_norm": 1.7578125,
      "learning_rate": 0.000323228813559322,
      "loss": 3.308766174316406,
      "step": 21860
    },
    {
      "epoch": 0.7288333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.0003231864406779661,
      "loss": 3.9655811309814455,
      "step": 21865
    },
    {
      "epoch": 0.729,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00032314406779661016,
      "loss": 4.184478759765625,
      "step": 21870
    },
    {
      "epoch": 0.7291666666666666,
      "grad_norm": 1.4296875,
      "learning_rate": 0.00032310169491525426,
      "loss": 3.2010440826416016,
      "step": 21875
    },
    {
      "epoch": 0.7293333333333333,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0003230593220338983,
      "loss": 3.743133544921875,
      "step": 21880
    },
    {
      "epoch": 0.7295,
      "grad_norm": 2.21875,
      "learning_rate": 0.0003230169491525424,
      "loss": 4.434112930297852,
      "step": 21885
    },
    {
      "epoch": 0.7296666666666667,
      "grad_norm": 2.046875,
      "learning_rate": 0.00032297457627118644,
      "loss": 3.4829505920410155,
      "step": 21890
    },
    {
      "epoch": 0.7298333333333333,
      "grad_norm": 2.359375,
      "learning_rate": 0.00032293220338983054,
      "loss": 3.4854625701904296,
      "step": 21895
    },
    {
      "epoch": 0.73,
      "grad_norm": 1.4609375,
      "learning_rate": 0.0003228898305084746,
      "loss": 3.5259674072265623,
      "step": 21900
    },
    {
      "epoch": 0.7301666666666666,
      "grad_norm": 2.359375,
      "learning_rate": 0.0003228474576271186,
      "loss": 3.4802555084228515,
      "step": 21905
    },
    {
      "epoch": 0.7303333333333333,
      "grad_norm": 1.9375,
      "learning_rate": 0.0003228050847457627,
      "loss": 3.612646484375,
      "step": 21910
    },
    {
      "epoch": 0.7305,
      "grad_norm": 3.03125,
      "learning_rate": 0.0003227627118644068,
      "loss": 3.0242599487304687,
      "step": 21915
    },
    {
      "epoch": 0.7306666666666667,
      "grad_norm": 2.046875,
      "learning_rate": 0.00032272033898305086,
      "loss": 3.441470718383789,
      "step": 21920
    },
    {
      "epoch": 0.7308333333333333,
      "grad_norm": 1.765625,
      "learning_rate": 0.0003226779661016949,
      "loss": 4.159870147705078,
      "step": 21925
    },
    {
      "epoch": 0.731,
      "grad_norm": 1.5,
      "learning_rate": 0.000322635593220339,
      "loss": 3.8255191802978517,
      "step": 21930
    },
    {
      "epoch": 0.7311666666666666,
      "grad_norm": 2.21875,
      "learning_rate": 0.0003225932203389831,
      "loss": 3.684368133544922,
      "step": 21935
    },
    {
      "epoch": 0.7313333333333333,
      "grad_norm": 1.9140625,
      "learning_rate": 0.00032255084745762714,
      "loss": 3.5090587615966795,
      "step": 21940
    },
    {
      "epoch": 0.7315,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0003225084745762712,
      "loss": 3.3900829315185548,
      "step": 21945
    },
    {
      "epoch": 0.7316666666666667,
      "grad_norm": 5.625,
      "learning_rate": 0.0003224661016949152,
      "loss": 3.117134857177734,
      "step": 21950
    },
    {
      "epoch": 0.7318333333333333,
      "grad_norm": 4.21875,
      "learning_rate": 0.0003224237288135593,
      "loss": 3.3398422241210937,
      "step": 21955
    },
    {
      "epoch": 0.732,
      "grad_norm": 1.828125,
      "learning_rate": 0.0003223813559322034,
      "loss": 4.644740295410156,
      "step": 21960
    },
    {
      "epoch": 0.7321666666666666,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00032233898305084746,
      "loss": 4.134871292114258,
      "step": 21965
    },
    {
      "epoch": 0.7323333333333333,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0003222966101694915,
      "loss": 4.019071960449219,
      "step": 21970
    },
    {
      "epoch": 0.7325,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003222542372881356,
      "loss": 3.7732059478759767,
      "step": 21975
    },
    {
      "epoch": 0.7326666666666667,
      "grad_norm": 2.234375,
      "learning_rate": 0.0003222118644067797,
      "loss": 4.096702575683594,
      "step": 21980
    },
    {
      "epoch": 0.7328333333333333,
      "grad_norm": 1.65625,
      "learning_rate": 0.00032216949152542374,
      "loss": 3.7666397094726562,
      "step": 21985
    },
    {
      "epoch": 0.733,
      "grad_norm": 2.046875,
      "learning_rate": 0.0003221271186440678,
      "loss": 3.2372314453125,
      "step": 21990
    },
    {
      "epoch": 0.7331666666666666,
      "grad_norm": 3.6875,
      "learning_rate": 0.0003220847457627118,
      "loss": 3.63275146484375,
      "step": 21995
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.000322042372881356,
      "loss": 4.049058151245117,
      "step": 22000
    },
    {
      "epoch": 0.7335,
      "grad_norm": 1.9296875,
      "learning_rate": 0.000322,
      "loss": 3.7359222412109374,
      "step": 22005
    },
    {
      "epoch": 0.7336666666666667,
      "grad_norm": 2.578125,
      "learning_rate": 0.00032195762711864406,
      "loss": 3.8811264038085938,
      "step": 22010
    },
    {
      "epoch": 0.7338333333333333,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0003219152542372881,
      "loss": 3.827432632446289,
      "step": 22015
    },
    {
      "epoch": 0.734,
      "grad_norm": 2.046875,
      "learning_rate": 0.00032187288135593226,
      "loss": 4.11473388671875,
      "step": 22020
    },
    {
      "epoch": 0.7341666666666666,
      "grad_norm": 2.140625,
      "learning_rate": 0.0003218305084745763,
      "loss": 3.9945968627929687,
      "step": 22025
    },
    {
      "epoch": 0.7343333333333333,
      "grad_norm": 2.25,
      "learning_rate": 0.00032178813559322034,
      "loss": 4.382773971557617,
      "step": 22030
    },
    {
      "epoch": 0.7345,
      "grad_norm": 1.71875,
      "learning_rate": 0.0003217457627118644,
      "loss": 4.42396240234375,
      "step": 22035
    },
    {
      "epoch": 0.7346666666666667,
      "grad_norm": 1.9375,
      "learning_rate": 0.0003217033898305085,
      "loss": 3.4912487030029298,
      "step": 22040
    },
    {
      "epoch": 0.7348333333333333,
      "grad_norm": 2.140625,
      "learning_rate": 0.0003216610169491526,
      "loss": 3.8627460479736326,
      "step": 22045
    },
    {
      "epoch": 0.735,
      "grad_norm": 3.390625,
      "learning_rate": 0.0003216186440677966,
      "loss": 4.1776786804199215,
      "step": 22050
    },
    {
      "epoch": 0.7351666666666666,
      "grad_norm": 1.53125,
      "learning_rate": 0.00032157627118644067,
      "loss": 4.221884155273438,
      "step": 22055
    },
    {
      "epoch": 0.7353333333333333,
      "grad_norm": 2.046875,
      "learning_rate": 0.0003215338983050847,
      "loss": 3.925061798095703,
      "step": 22060
    },
    {
      "epoch": 0.7355,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00032149152542372886,
      "loss": 3.2529979705810548,
      "step": 22065
    },
    {
      "epoch": 0.7356666666666667,
      "grad_norm": 1.953125,
      "learning_rate": 0.0003214491525423729,
      "loss": 4.208442306518554,
      "step": 22070
    },
    {
      "epoch": 0.7358333333333333,
      "grad_norm": 4.0,
      "learning_rate": 0.00032140677966101695,
      "loss": 3.79755859375,
      "step": 22075
    },
    {
      "epoch": 0.736,
      "grad_norm": 2.171875,
      "learning_rate": 0.000321364406779661,
      "loss": 3.348688507080078,
      "step": 22080
    },
    {
      "epoch": 0.7361666666666666,
      "grad_norm": 1.46875,
      "learning_rate": 0.0003213220338983051,
      "loss": 3.7654350280761717,
      "step": 22085
    },
    {
      "epoch": 0.7363333333333333,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0003212796610169492,
      "loss": 4.379169845581055,
      "step": 22090
    },
    {
      "epoch": 0.7365,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0003212372881355932,
      "loss": 3.6951457977294924,
      "step": 22095
    },
    {
      "epoch": 0.7366666666666667,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00032119491525423727,
      "loss": 3.872625732421875,
      "step": 22100
    },
    {
      "epoch": 0.7368333333333333,
      "grad_norm": 2.46875,
      "learning_rate": 0.00032115254237288137,
      "loss": 3.567582702636719,
      "step": 22105
    },
    {
      "epoch": 0.737,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00032111016949152546,
      "loss": 3.231004333496094,
      "step": 22110
    },
    {
      "epoch": 0.7371666666666666,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0003210677966101695,
      "loss": 3.6475971221923826,
      "step": 22115
    },
    {
      "epoch": 0.7373333333333333,
      "grad_norm": 1.9765625,
      "learning_rate": 0.00032102542372881355,
      "loss": 4.167381286621094,
      "step": 22120
    },
    {
      "epoch": 0.7375,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00032098305084745765,
      "loss": 2.596938705444336,
      "step": 22125
    },
    {
      "epoch": 0.7376666666666667,
      "grad_norm": 2.875,
      "learning_rate": 0.0003209406779661017,
      "loss": 4.175942993164062,
      "step": 22130
    },
    {
      "epoch": 0.7378333333333333,
      "grad_norm": 3.25,
      "learning_rate": 0.0003208983050847458,
      "loss": 4.386882019042969,
      "step": 22135
    },
    {
      "epoch": 0.738,
      "grad_norm": 1.546875,
      "learning_rate": 0.00032085593220338983,
      "loss": 3.7809001922607424,
      "step": 22140
    },
    {
      "epoch": 0.7381666666666666,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0003208135593220339,
      "loss": 3.848678970336914,
      "step": 22145
    },
    {
      "epoch": 0.7383333333333333,
      "grad_norm": 1.53125,
      "learning_rate": 0.00032077118644067797,
      "loss": 3.5958229064941407,
      "step": 22150
    },
    {
      "epoch": 0.7385,
      "grad_norm": 2.703125,
      "learning_rate": 0.00032072881355932207,
      "loss": 3.621465301513672,
      "step": 22155
    },
    {
      "epoch": 0.7386666666666667,
      "grad_norm": 2.296875,
      "learning_rate": 0.0003206864406779661,
      "loss": 4.107138061523438,
      "step": 22160
    },
    {
      "epoch": 0.7388333333333333,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00032064406779661015,
      "loss": 3.881503677368164,
      "step": 22165
    },
    {
      "epoch": 0.739,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00032060169491525425,
      "loss": 4.075680541992187,
      "step": 22170
    },
    {
      "epoch": 0.7391666666666666,
      "grad_norm": 2.0,
      "learning_rate": 0.0003205593220338983,
      "loss": 4.2179107666015625,
      "step": 22175
    },
    {
      "epoch": 0.7393333333333333,
      "grad_norm": 1.3125,
      "learning_rate": 0.0003205169491525424,
      "loss": 3.170911407470703,
      "step": 22180
    },
    {
      "epoch": 0.7395,
      "grad_norm": 1.609375,
      "learning_rate": 0.00032047457627118643,
      "loss": 3.8268142700195313,
      "step": 22185
    },
    {
      "epoch": 0.7396666666666667,
      "grad_norm": 2.8125,
      "learning_rate": 0.00032043220338983053,
      "loss": 3.18945426940918,
      "step": 22190
    },
    {
      "epoch": 0.7398333333333333,
      "grad_norm": 1.734375,
      "learning_rate": 0.00032038983050847457,
      "loss": 2.895206069946289,
      "step": 22195
    },
    {
      "epoch": 0.74,
      "grad_norm": 1.859375,
      "learning_rate": 0.00032034745762711867,
      "loss": 3.9568832397460936,
      "step": 22200
    },
    {
      "epoch": 0.7401666666666666,
      "grad_norm": 2.46875,
      "learning_rate": 0.0003203050847457627,
      "loss": 3.716525650024414,
      "step": 22205
    },
    {
      "epoch": 0.7403333333333333,
      "grad_norm": 1.625,
      "learning_rate": 0.0003202627118644068,
      "loss": 2.810124969482422,
      "step": 22210
    },
    {
      "epoch": 0.7405,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00032022033898305085,
      "loss": 4.838144683837891,
      "step": 22215
    },
    {
      "epoch": 0.7406666666666667,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0003201779661016949,
      "loss": 3.779833984375,
      "step": 22220
    },
    {
      "epoch": 0.7408333333333333,
      "grad_norm": 2.15625,
      "learning_rate": 0.000320135593220339,
      "loss": 4.133854675292969,
      "step": 22225
    },
    {
      "epoch": 0.741,
      "grad_norm": 2.09375,
      "learning_rate": 0.0003200932203389831,
      "loss": 3.881564712524414,
      "step": 22230
    },
    {
      "epoch": 0.7411666666666666,
      "grad_norm": 1.9296875,
      "learning_rate": 0.00032005084745762713,
      "loss": 3.69593505859375,
      "step": 22235
    },
    {
      "epoch": 0.7413333333333333,
      "grad_norm": 1.75,
      "learning_rate": 0.0003200084745762712,
      "loss": 4.3279060363769535,
      "step": 22240
    },
    {
      "epoch": 0.7415,
      "grad_norm": 2.078125,
      "learning_rate": 0.00031996610169491527,
      "loss": 3.9007339477539062,
      "step": 22245
    },
    {
      "epoch": 0.7416666666666667,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00031992372881355937,
      "loss": 3.9735557556152346,
      "step": 22250
    },
    {
      "epoch": 0.7418333333333333,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0003198813559322034,
      "loss": 3.5811740875244142,
      "step": 22255
    },
    {
      "epoch": 0.742,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00031983898305084745,
      "loss": 3.202789306640625,
      "step": 22260
    },
    {
      "epoch": 0.7421666666666666,
      "grad_norm": 2.0,
      "learning_rate": 0.0003197966101694915,
      "loss": 3.5210334777832033,
      "step": 22265
    },
    {
      "epoch": 0.7423333333333333,
      "grad_norm": 1.9375,
      "learning_rate": 0.0003197542372881356,
      "loss": 4.226494979858399,
      "step": 22270
    },
    {
      "epoch": 0.7425,
      "grad_norm": 1.9765625,
      "learning_rate": 0.0003197118644067797,
      "loss": 3.0594240188598634,
      "step": 22275
    },
    {
      "epoch": 0.7426666666666667,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00031966949152542373,
      "loss": 4.172512817382812,
      "step": 22280
    },
    {
      "epoch": 0.7428333333333333,
      "grad_norm": 1.578125,
      "learning_rate": 0.0003196271186440678,
      "loss": 3.6642417907714844,
      "step": 22285
    },
    {
      "epoch": 0.743,
      "grad_norm": 2.390625,
      "learning_rate": 0.0003195847457627119,
      "loss": 4.244506454467773,
      "step": 22290
    },
    {
      "epoch": 0.7431666666666666,
      "grad_norm": 3.34375,
      "learning_rate": 0.00031954237288135597,
      "loss": 4.107594680786133,
      "step": 22295
    },
    {
      "epoch": 0.7433333333333333,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0003195,
      "loss": 3.2654354095458986,
      "step": 22300
    },
    {
      "epoch": 0.7435,
      "grad_norm": 3.328125,
      "learning_rate": 0.00031945762711864406,
      "loss": 3.7905719757080076,
      "step": 22305
    },
    {
      "epoch": 0.7436666666666667,
      "grad_norm": 1.828125,
      "learning_rate": 0.0003194152542372881,
      "loss": 4.4643901824951175,
      "step": 22310
    },
    {
      "epoch": 0.7438333333333333,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00031937288135593225,
      "loss": 3.780549240112305,
      "step": 22315
    },
    {
      "epoch": 0.744,
      "grad_norm": 3.09375,
      "learning_rate": 0.0003193305084745763,
      "loss": 3.733201599121094,
      "step": 22320
    },
    {
      "epoch": 0.7441666666666666,
      "grad_norm": 1.96875,
      "learning_rate": 0.00031928813559322034,
      "loss": 2.9757484436035155,
      "step": 22325
    },
    {
      "epoch": 0.7443333333333333,
      "grad_norm": 1.78125,
      "learning_rate": 0.0003192457627118644,
      "loss": 4.017388916015625,
      "step": 22330
    },
    {
      "epoch": 0.7445,
      "grad_norm": 2.015625,
      "learning_rate": 0.00031920338983050853,
      "loss": 4.268188858032227,
      "step": 22335
    },
    {
      "epoch": 0.7446666666666667,
      "grad_norm": 1.703125,
      "learning_rate": 0.0003191610169491526,
      "loss": 4.099971771240234,
      "step": 22340
    },
    {
      "epoch": 0.7448333333333333,
      "grad_norm": 5.78125,
      "learning_rate": 0.0003191186440677966,
      "loss": 3.7142295837402344,
      "step": 22345
    },
    {
      "epoch": 0.745,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00031907627118644066,
      "loss": 4.302282333374023,
      "step": 22350
    },
    {
      "epoch": 0.7451666666666666,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00031903389830508476,
      "loss": 3.612900161743164,
      "step": 22355
    },
    {
      "epoch": 0.7453333333333333,
      "grad_norm": 1.8125,
      "learning_rate": 0.00031899152542372885,
      "loss": 3.868106460571289,
      "step": 22360
    },
    {
      "epoch": 0.7455,
      "grad_norm": 1.421875,
      "learning_rate": 0.0003189491525423729,
      "loss": 3.407926559448242,
      "step": 22365
    },
    {
      "epoch": 0.7456666666666667,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00031890677966101694,
      "loss": 3.554896926879883,
      "step": 22370
    },
    {
      "epoch": 0.7458333333333333,
      "grad_norm": 1.703125,
      "learning_rate": 0.000318864406779661,
      "loss": 3.7988685607910155,
      "step": 22375
    },
    {
      "epoch": 0.746,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00031882203389830513,
      "loss": 3.602456283569336,
      "step": 22380
    },
    {
      "epoch": 0.7461666666666666,
      "grad_norm": 2.140625,
      "learning_rate": 0.0003187796610169492,
      "loss": 4.346696090698242,
      "step": 22385
    },
    {
      "epoch": 0.7463333333333333,
      "grad_norm": 2.390625,
      "learning_rate": 0.0003187372881355932,
      "loss": 3.838543701171875,
      "step": 22390
    },
    {
      "epoch": 0.7465,
      "grad_norm": 1.84375,
      "learning_rate": 0.00031869491525423726,
      "loss": 3.8554943084716795,
      "step": 22395
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 4.75,
      "learning_rate": 0.00031865254237288136,
      "loss": 3.2608875274658202,
      "step": 22400
    },
    {
      "epoch": 0.7468333333333333,
      "grad_norm": 4.5625,
      "learning_rate": 0.00031861016949152546,
      "loss": 3.2567825317382812,
      "step": 22405
    },
    {
      "epoch": 0.747,
      "grad_norm": 1.90625,
      "learning_rate": 0.0003185677966101695,
      "loss": 4.306668853759765,
      "step": 22410
    },
    {
      "epoch": 0.7471666666666666,
      "grad_norm": 1.96875,
      "learning_rate": 0.00031852542372881354,
      "loss": 3.6137710571289063,
      "step": 22415
    },
    {
      "epoch": 0.7473333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.00031848305084745764,
      "loss": 3.9607330322265626,
      "step": 22420
    },
    {
      "epoch": 0.7475,
      "grad_norm": 2.0625,
      "learning_rate": 0.00031844067796610174,
      "loss": 3.490371322631836,
      "step": 22425
    },
    {
      "epoch": 0.7476666666666667,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0003183983050847458,
      "loss": 4.1476177215576175,
      "step": 22430
    },
    {
      "epoch": 0.7478333333333333,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0003183559322033898,
      "loss": 3.7882453918457033,
      "step": 22435
    },
    {
      "epoch": 0.748,
      "grad_norm": 2.53125,
      "learning_rate": 0.0003183135593220339,
      "loss": 3.8666351318359373,
      "step": 22440
    },
    {
      "epoch": 0.7481666666666666,
      "grad_norm": 2.3125,
      "learning_rate": 0.00031827118644067796,
      "loss": 3.637201690673828,
      "step": 22445
    },
    {
      "epoch": 0.7483333333333333,
      "grad_norm": 2.1875,
      "learning_rate": 0.00031822881355932206,
      "loss": 3.988374710083008,
      "step": 22450
    },
    {
      "epoch": 0.7485,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003181864406779661,
      "loss": 3.3746753692626954,
      "step": 22455
    },
    {
      "epoch": 0.7486666666666667,
      "grad_norm": 1.59375,
      "learning_rate": 0.0003181440677966102,
      "loss": 3.9114524841308596,
      "step": 22460
    },
    {
      "epoch": 0.7488333333333334,
      "grad_norm": 1.3359375,
      "learning_rate": 0.00031810169491525424,
      "loss": 3.715232086181641,
      "step": 22465
    },
    {
      "epoch": 0.749,
      "grad_norm": 1.5234375,
      "learning_rate": 0.00031805932203389834,
      "loss": 4.1154335021972654,
      "step": 22470
    },
    {
      "epoch": 0.7491666666666666,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0003180169491525424,
      "loss": 4.314922714233399,
      "step": 22475
    },
    {
      "epoch": 0.7493333333333333,
      "grad_norm": 1.90625,
      "learning_rate": 0.0003179745762711864,
      "loss": 3.390890121459961,
      "step": 22480
    },
    {
      "epoch": 0.7495,
      "grad_norm": 1.5625,
      "learning_rate": 0.0003179322033898305,
      "loss": 4.3864585876464846,
      "step": 22485
    },
    {
      "epoch": 0.7496666666666667,
      "grad_norm": 1.71875,
      "learning_rate": 0.00031788983050847456,
      "loss": 3.899106979370117,
      "step": 22490
    },
    {
      "epoch": 0.7498333333333334,
      "grad_norm": 2.265625,
      "learning_rate": 0.00031784745762711866,
      "loss": 3.5839710235595703,
      "step": 22495
    },
    {
      "epoch": 0.75,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003178050847457627,
      "loss": 3.9484580993652343,
      "step": 22500
    },
    {
      "epoch": 0.7501666666666666,
      "grad_norm": 2.75,
      "learning_rate": 0.0003177627118644068,
      "loss": 3.693597412109375,
      "step": 22505
    },
    {
      "epoch": 0.7503333333333333,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00031772033898305084,
      "loss": 3.500177001953125,
      "step": 22510
    },
    {
      "epoch": 0.7505,
      "grad_norm": 1.953125,
      "learning_rate": 0.00031767796610169494,
      "loss": 4.120975494384766,
      "step": 22515
    },
    {
      "epoch": 0.7506666666666667,
      "grad_norm": 1.6484375,
      "learning_rate": 0.000317635593220339,
      "loss": 4.053180694580078,
      "step": 22520
    },
    {
      "epoch": 0.7508333333333334,
      "grad_norm": 2.28125,
      "learning_rate": 0.0003175932203389831,
      "loss": 3.86185302734375,
      "step": 22525
    },
    {
      "epoch": 0.751,
      "grad_norm": 2.015625,
      "learning_rate": 0.0003175508474576271,
      "loss": 4.002087783813477,
      "step": 22530
    },
    {
      "epoch": 0.7511666666666666,
      "grad_norm": 2.5625,
      "learning_rate": 0.00031750847457627117,
      "loss": 4.032270050048828,
      "step": 22535
    },
    {
      "epoch": 0.7513333333333333,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00031746610169491526,
      "loss": 4.107403945922852,
      "step": 22540
    },
    {
      "epoch": 0.7515,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00031742372881355936,
      "loss": 4.082132720947266,
      "step": 22545
    },
    {
      "epoch": 0.7516666666666667,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003173813559322034,
      "loss": 4.075466156005859,
      "step": 22550
    },
    {
      "epoch": 0.7518333333333334,
      "grad_norm": 1.75,
      "learning_rate": 0.00031733898305084745,
      "loss": 4.139619445800781,
      "step": 22555
    },
    {
      "epoch": 0.752,
      "grad_norm": 1.453125,
      "learning_rate": 0.0003172966101694915,
      "loss": 4.044708251953125,
      "step": 22560
    },
    {
      "epoch": 0.7521666666666667,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00031725423728813564,
      "loss": 4.017826843261719,
      "step": 22565
    },
    {
      "epoch": 0.7523333333333333,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0003172118644067797,
      "loss": 3.9846118927001952,
      "step": 22570
    },
    {
      "epoch": 0.7525,
      "grad_norm": 1.3984375,
      "learning_rate": 0.00031716949152542373,
      "loss": 3.3365806579589843,
      "step": 22575
    },
    {
      "epoch": 0.7526666666666667,
      "grad_norm": 2.421875,
      "learning_rate": 0.00031712711864406777,
      "loss": 3.4788658142089846,
      "step": 22580
    },
    {
      "epoch": 0.7528333333333334,
      "grad_norm": 2.171875,
      "learning_rate": 0.00031708474576271187,
      "loss": 3.4807464599609377,
      "step": 22585
    },
    {
      "epoch": 0.753,
      "grad_norm": 1.953125,
      "learning_rate": 0.00031704237288135596,
      "loss": 3.555841064453125,
      "step": 22590
    },
    {
      "epoch": 0.7531666666666667,
      "grad_norm": 1.65625,
      "learning_rate": 0.000317,
      "loss": 3.7017677307128904,
      "step": 22595
    },
    {
      "epoch": 0.7533333333333333,
      "grad_norm": 1.46875,
      "learning_rate": 0.00031695762711864405,
      "loss": 3.7236995697021484,
      "step": 22600
    },
    {
      "epoch": 0.7535,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0003169152542372881,
      "loss": 4.078840637207032,
      "step": 22605
    },
    {
      "epoch": 0.7536666666666667,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00031687288135593224,
      "loss": 4.112248229980469,
      "step": 22610
    },
    {
      "epoch": 0.7538333333333334,
      "grad_norm": 2.171875,
      "learning_rate": 0.0003168305084745763,
      "loss": 4.313824462890625,
      "step": 22615
    },
    {
      "epoch": 0.754,
      "grad_norm": 1.890625,
      "learning_rate": 0.00031678813559322033,
      "loss": 4.362123107910156,
      "step": 22620
    },
    {
      "epoch": 0.7541666666666667,
      "grad_norm": 1.484375,
      "learning_rate": 0.0003167457627118644,
      "loss": 3.687503433227539,
      "step": 22625
    },
    {
      "epoch": 0.7543333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0003167033898305085,
      "loss": 4.25478515625,
      "step": 22630
    },
    {
      "epoch": 0.7545,
      "grad_norm": 3.328125,
      "learning_rate": 0.00031666101694915257,
      "loss": 4.049337005615234,
      "step": 22635
    },
    {
      "epoch": 0.7546666666666667,
      "grad_norm": 1.796875,
      "learning_rate": 0.0003166186440677966,
      "loss": 3.187762641906738,
      "step": 22640
    },
    {
      "epoch": 0.7548333333333334,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00031657627118644065,
      "loss": 3.8586578369140625,
      "step": 22645
    },
    {
      "epoch": 0.755,
      "grad_norm": 1.796875,
      "learning_rate": 0.0003165338983050848,
      "loss": 3.805480194091797,
      "step": 22650
    },
    {
      "epoch": 0.7551666666666667,
      "grad_norm": 2.71875,
      "learning_rate": 0.00031649152542372885,
      "loss": 4.0230865478515625,
      "step": 22655
    },
    {
      "epoch": 0.7553333333333333,
      "grad_norm": 1.78125,
      "learning_rate": 0.0003164491525423729,
      "loss": 3.842469024658203,
      "step": 22660
    },
    {
      "epoch": 0.7555,
      "grad_norm": 1.578125,
      "learning_rate": 0.00031640677966101693,
      "loss": 3.789131927490234,
      "step": 22665
    },
    {
      "epoch": 0.7556666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 0.000316364406779661,
      "loss": 4.0115478515625,
      "step": 22670
    },
    {
      "epoch": 0.7558333333333334,
      "grad_norm": 2.1875,
      "learning_rate": 0.00031632203389830513,
      "loss": 4.55035171508789,
      "step": 22675
    },
    {
      "epoch": 0.756,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00031627966101694917,
      "loss": 3.6827049255371094,
      "step": 22680
    },
    {
      "epoch": 0.7561666666666667,
      "grad_norm": 1.71875,
      "learning_rate": 0.0003162372881355932,
      "loss": 3.7144748687744142,
      "step": 22685
    },
    {
      "epoch": 0.7563333333333333,
      "grad_norm": 1.9375,
      "learning_rate": 0.00031619491525423726,
      "loss": 3.5396881103515625,
      "step": 22690
    },
    {
      "epoch": 0.7565,
      "grad_norm": 1.96875,
      "learning_rate": 0.00031615254237288135,
      "loss": 3.7964630126953125,
      "step": 22695
    },
    {
      "epoch": 0.7566666666666667,
      "grad_norm": 6.75,
      "learning_rate": 0.00031611016949152545,
      "loss": 4.154758071899414,
      "step": 22700
    },
    {
      "epoch": 0.7568333333333334,
      "grad_norm": 1.84375,
      "learning_rate": 0.0003160677966101695,
      "loss": 3.6894062042236326,
      "step": 22705
    },
    {
      "epoch": 0.757,
      "grad_norm": 2.078125,
      "learning_rate": 0.00031602542372881354,
      "loss": 3.4168983459472657,
      "step": 22710
    },
    {
      "epoch": 0.7571666666666667,
      "grad_norm": 2.625,
      "learning_rate": 0.00031598305084745763,
      "loss": 3.9016845703125,
      "step": 22715
    },
    {
      "epoch": 0.7573333333333333,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00031594067796610173,
      "loss": 3.901288604736328,
      "step": 22720
    },
    {
      "epoch": 0.7575,
      "grad_norm": 1.59375,
      "learning_rate": 0.00031589830508474577,
      "loss": 4.091284942626953,
      "step": 22725
    },
    {
      "epoch": 0.7576666666666667,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003158559322033898,
      "loss": 3.9941375732421873,
      "step": 22730
    },
    {
      "epoch": 0.7578333333333334,
      "grad_norm": 15.9375,
      "learning_rate": 0.0003158135593220339,
      "loss": 2.5539262771606444,
      "step": 22735
    },
    {
      "epoch": 0.758,
      "grad_norm": 1.78125,
      "learning_rate": 0.00031577118644067796,
      "loss": 3.2508872985839843,
      "step": 22740
    },
    {
      "epoch": 0.7581666666666667,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00031572881355932205,
      "loss": 3.984406661987305,
      "step": 22745
    },
    {
      "epoch": 0.7583333333333333,
      "grad_norm": 3.265625,
      "learning_rate": 0.0003156864406779661,
      "loss": 3.2413970947265627,
      "step": 22750
    },
    {
      "epoch": 0.7585,
      "grad_norm": 3.0,
      "learning_rate": 0.0003156440677966102,
      "loss": 3.2808189392089844,
      "step": 22755
    },
    {
      "epoch": 0.7586666666666667,
      "grad_norm": 1.78125,
      "learning_rate": 0.00031560169491525424,
      "loss": 3.064443588256836,
      "step": 22760
    },
    {
      "epoch": 0.7588333333333334,
      "grad_norm": 2.890625,
      "learning_rate": 0.00031555932203389833,
      "loss": 3.4592681884765626,
      "step": 22765
    },
    {
      "epoch": 0.759,
      "grad_norm": 2.703125,
      "learning_rate": 0.0003155169491525424,
      "loss": 4.354637145996094,
      "step": 22770
    },
    {
      "epoch": 0.7591666666666667,
      "grad_norm": 1.96875,
      "learning_rate": 0.0003154745762711864,
      "loss": 4.328520202636719,
      "step": 22775
    },
    {
      "epoch": 0.7593333333333333,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0003154322033898305,
      "loss": 3.9913105010986327,
      "step": 22780
    },
    {
      "epoch": 0.7595,
      "grad_norm": 2.03125,
      "learning_rate": 0.00031538983050847456,
      "loss": 3.786153793334961,
      "step": 22785
    },
    {
      "epoch": 0.7596666666666667,
      "grad_norm": 2.359375,
      "learning_rate": 0.00031534745762711866,
      "loss": 3.5231040954589843,
      "step": 22790
    },
    {
      "epoch": 0.7598333333333334,
      "grad_norm": 5.5625,
      "learning_rate": 0.0003153050847457627,
      "loss": 3.4699947357177736,
      "step": 22795
    },
    {
      "epoch": 0.76,
      "grad_norm": 2.265625,
      "learning_rate": 0.0003152627118644068,
      "loss": 2.7817306518554688,
      "step": 22800
    },
    {
      "epoch": 0.7601666666666667,
      "grad_norm": 2.1875,
      "learning_rate": 0.00031522033898305084,
      "loss": 3.1281002044677733,
      "step": 22805
    },
    {
      "epoch": 0.7603333333333333,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00031517796610169494,
      "loss": 4.134349060058594,
      "step": 22810
    },
    {
      "epoch": 0.7605,
      "grad_norm": 2.078125,
      "learning_rate": 0.000315135593220339,
      "loss": 4.251179885864258,
      "step": 22815
    },
    {
      "epoch": 0.7606666666666667,
      "grad_norm": 2.171875,
      "learning_rate": 0.0003150932203389831,
      "loss": 3.758649444580078,
      "step": 22820
    },
    {
      "epoch": 0.7608333333333334,
      "grad_norm": 1.921875,
      "learning_rate": 0.0003150508474576271,
      "loss": 3.5424373626708983,
      "step": 22825
    },
    {
      "epoch": 0.761,
      "grad_norm": 1.765625,
      "learning_rate": 0.00031500847457627116,
      "loss": 3.9128948211669923,
      "step": 22830
    },
    {
      "epoch": 0.7611666666666667,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00031496610169491526,
      "loss": 3.9950469970703124,
      "step": 22835
    },
    {
      "epoch": 0.7613333333333333,
      "grad_norm": 1.421875,
      "learning_rate": 0.00031492372881355936,
      "loss": 3.629812240600586,
      "step": 22840
    },
    {
      "epoch": 0.7615,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0003148813559322034,
      "loss": 3.658425521850586,
      "step": 22845
    },
    {
      "epoch": 0.7616666666666667,
      "grad_norm": 2.234375,
      "learning_rate": 0.00031483898305084744,
      "loss": 3.8941986083984377,
      "step": 22850
    },
    {
      "epoch": 0.7618333333333334,
      "grad_norm": 4.53125,
      "learning_rate": 0.00031479661016949154,
      "loss": 3.3238636016845704,
      "step": 22855
    },
    {
      "epoch": 0.762,
      "grad_norm": 1.4921875,
      "learning_rate": 0.00031475423728813564,
      "loss": 4.015868377685547,
      "step": 22860
    },
    {
      "epoch": 0.7621666666666667,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003147118644067797,
      "loss": 4.138020706176758,
      "step": 22865
    },
    {
      "epoch": 0.7623333333333333,
      "grad_norm": 3.28125,
      "learning_rate": 0.0003146694915254237,
      "loss": 3.958408737182617,
      "step": 22870
    },
    {
      "epoch": 0.7625,
      "grad_norm": 2.140625,
      "learning_rate": 0.00031462711864406776,
      "loss": 3.233807373046875,
      "step": 22875
    },
    {
      "epoch": 0.7626666666666667,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00031458474576271186,
      "loss": 4.051875305175781,
      "step": 22880
    },
    {
      "epoch": 0.7628333333333334,
      "grad_norm": 1.921875,
      "learning_rate": 0.00031454237288135596,
      "loss": 3.563401794433594,
      "step": 22885
    },
    {
      "epoch": 0.763,
      "grad_norm": 1.640625,
      "learning_rate": 0.0003145,
      "loss": 3.5191509246826174,
      "step": 22890
    },
    {
      "epoch": 0.7631666666666667,
      "grad_norm": 1.6875,
      "learning_rate": 0.00031445762711864404,
      "loss": 4.106954193115234,
      "step": 22895
    },
    {
      "epoch": 0.7633333333333333,
      "grad_norm": 1.828125,
      "learning_rate": 0.00031441525423728814,
      "loss": 3.6789630889892577,
      "step": 22900
    },
    {
      "epoch": 0.7635,
      "grad_norm": 3.0,
      "learning_rate": 0.00031437288135593224,
      "loss": 3.9249893188476563,
      "step": 22905
    },
    {
      "epoch": 0.7636666666666667,
      "grad_norm": 1.90625,
      "learning_rate": 0.0003143305084745763,
      "loss": 3.75765380859375,
      "step": 22910
    },
    {
      "epoch": 0.7638333333333334,
      "grad_norm": 2.171875,
      "learning_rate": 0.0003142881355932203,
      "loss": 3.6932411193847656,
      "step": 22915
    },
    {
      "epoch": 0.764,
      "grad_norm": 1.9296875,
      "learning_rate": 0.00031424576271186437,
      "loss": 4.194142150878906,
      "step": 22920
    },
    {
      "epoch": 0.7641666666666667,
      "grad_norm": 1.71875,
      "learning_rate": 0.0003142033898305085,
      "loss": 3.579341506958008,
      "step": 22925
    },
    {
      "epoch": 0.7643333333333333,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00031416101694915256,
      "loss": 4.557274246215821,
      "step": 22930
    },
    {
      "epoch": 0.7645,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003141186440677966,
      "loss": 3.624494934082031,
      "step": 22935
    },
    {
      "epoch": 0.7646666666666667,
      "grad_norm": 2.0,
      "learning_rate": 0.00031407627118644065,
      "loss": 3.759877014160156,
      "step": 22940
    },
    {
      "epoch": 0.7648333333333334,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0003140338983050848,
      "loss": 4.09014892578125,
      "step": 22945
    },
    {
      "epoch": 0.765,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00031399152542372884,
      "loss": 3.340566635131836,
      "step": 22950
    },
    {
      "epoch": 0.7651666666666667,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0003139491525423729,
      "loss": 3.3259212493896486,
      "step": 22955
    },
    {
      "epoch": 0.7653333333333333,
      "grad_norm": 1.5625,
      "learning_rate": 0.0003139067796610169,
      "loss": 3.8255104064941405,
      "step": 22960
    },
    {
      "epoch": 0.7655,
      "grad_norm": 1.75,
      "learning_rate": 0.000313864406779661,
      "loss": 3.8246089935302736,
      "step": 22965
    },
    {
      "epoch": 0.7656666666666667,
      "grad_norm": 1.78125,
      "learning_rate": 0.0003138220338983051,
      "loss": 3.391286087036133,
      "step": 22970
    },
    {
      "epoch": 0.7658333333333334,
      "grad_norm": 5.40625,
      "learning_rate": 0.00031377966101694916,
      "loss": 3.8518436431884764,
      "step": 22975
    },
    {
      "epoch": 0.766,
      "grad_norm": 1.65625,
      "learning_rate": 0.0003137372881355932,
      "loss": 3.785076141357422,
      "step": 22980
    },
    {
      "epoch": 0.7661666666666667,
      "grad_norm": 2.921875,
      "learning_rate": 0.00031369491525423725,
      "loss": 4.2802276611328125,
      "step": 22985
    },
    {
      "epoch": 0.7663333333333333,
      "grad_norm": 1.953125,
      "learning_rate": 0.0003136525423728814,
      "loss": 3.750792694091797,
      "step": 22990
    },
    {
      "epoch": 0.7665,
      "grad_norm": 1.53125,
      "learning_rate": 0.00031361016949152544,
      "loss": 2.906998634338379,
      "step": 22995
    },
    {
      "epoch": 0.7666666666666667,
      "grad_norm": 1.9765625,
      "learning_rate": 0.0003135677966101695,
      "loss": 3.9472904205322266,
      "step": 23000
    },
    {
      "epoch": 0.7668333333333334,
      "grad_norm": 3.234375,
      "learning_rate": 0.00031352542372881353,
      "loss": 3.745238494873047,
      "step": 23005
    },
    {
      "epoch": 0.767,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003134830508474576,
      "loss": 4.01119384765625,
      "step": 23010
    },
    {
      "epoch": 0.7671666666666667,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0003134406779661017,
      "loss": 3.9622840881347656,
      "step": 23015
    },
    {
      "epoch": 0.7673333333333333,
      "grad_norm": 1.703125,
      "learning_rate": 0.00031339830508474577,
      "loss": 3.4648685455322266,
      "step": 23020
    },
    {
      "epoch": 0.7675,
      "grad_norm": 4.34375,
      "learning_rate": 0.0003133559322033898,
      "loss": 3.996637725830078,
      "step": 23025
    },
    {
      "epoch": 0.7676666666666667,
      "grad_norm": 1.796875,
      "learning_rate": 0.0003133135593220339,
      "loss": 3.9235912322998048,
      "step": 23030
    },
    {
      "epoch": 0.7678333333333334,
      "grad_norm": 1.4609375,
      "learning_rate": 0.000313271186440678,
      "loss": 2.9321041107177734,
      "step": 23035
    },
    {
      "epoch": 0.768,
      "grad_norm": 2.078125,
      "learning_rate": 0.00031322881355932205,
      "loss": 3.1848758697509765,
      "step": 23040
    },
    {
      "epoch": 0.7681666666666667,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0003131864406779661,
      "loss": 4.205989074707031,
      "step": 23045
    },
    {
      "epoch": 0.7683333333333333,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0003131440677966102,
      "loss": 4.433245849609375,
      "step": 23050
    },
    {
      "epoch": 0.7685,
      "grad_norm": 2.078125,
      "learning_rate": 0.00031310169491525423,
      "loss": 4.351963043212891,
      "step": 23055
    },
    {
      "epoch": 0.7686666666666667,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0003130593220338983,
      "loss": 3.970018768310547,
      "step": 23060
    },
    {
      "epoch": 0.7688333333333334,
      "grad_norm": 1.78125,
      "learning_rate": 0.00031301694915254237,
      "loss": 4.121307754516602,
      "step": 23065
    },
    {
      "epoch": 0.769,
      "grad_norm": 2.40625,
      "learning_rate": 0.00031297457627118647,
      "loss": 4.5182044982910154,
      "step": 23070
    },
    {
      "epoch": 0.7691666666666667,
      "grad_norm": 1.90625,
      "learning_rate": 0.0003129322033898305,
      "loss": 4.173616027832031,
      "step": 23075
    },
    {
      "epoch": 0.7693333333333333,
      "grad_norm": 2.8125,
      "learning_rate": 0.0003128898305084746,
      "loss": 3.4158855438232423,
      "step": 23080
    },
    {
      "epoch": 0.7695,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00031284745762711865,
      "loss": 4.241986083984375,
      "step": 23085
    },
    {
      "epoch": 0.7696666666666667,
      "grad_norm": 1.734375,
      "learning_rate": 0.0003128050847457627,
      "loss": 3.727625274658203,
      "step": 23090
    },
    {
      "epoch": 0.7698333333333334,
      "grad_norm": 1.71875,
      "learning_rate": 0.0003127627118644068,
      "loss": 3.656777572631836,
      "step": 23095
    },
    {
      "epoch": 0.77,
      "grad_norm": 2.421875,
      "learning_rate": 0.00031272033898305083,
      "loss": 3.764571762084961,
      "step": 23100
    },
    {
      "epoch": 0.7701666666666667,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00031267796610169493,
      "loss": 3.580027770996094,
      "step": 23105
    },
    {
      "epoch": 0.7703333333333333,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00031263559322033897,
      "loss": 4.715158843994141,
      "step": 23110
    },
    {
      "epoch": 0.7705,
      "grad_norm": 2.09375,
      "learning_rate": 0.00031259322033898307,
      "loss": 3.744681167602539,
      "step": 23115
    },
    {
      "epoch": 0.7706666666666667,
      "grad_norm": 3.296875,
      "learning_rate": 0.0003125508474576271,
      "loss": 4.181453704833984,
      "step": 23120
    },
    {
      "epoch": 0.7708333333333334,
      "grad_norm": 2.0,
      "learning_rate": 0.0003125084745762712,
      "loss": 3.8915733337402343,
      "step": 23125
    },
    {
      "epoch": 0.771,
      "grad_norm": 1.6875,
      "learning_rate": 0.00031246610169491525,
      "loss": 3.557357406616211,
      "step": 23130
    },
    {
      "epoch": 0.7711666666666667,
      "grad_norm": 1.65625,
      "learning_rate": 0.00031242372881355935,
      "loss": 4.299411773681641,
      "step": 23135
    },
    {
      "epoch": 0.7713333333333333,
      "grad_norm": 2.65625,
      "learning_rate": 0.0003123813559322034,
      "loss": 4.249041748046875,
      "step": 23140
    },
    {
      "epoch": 0.7715,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00031233898305084743,
      "loss": 3.3749263763427733,
      "step": 23145
    },
    {
      "epoch": 0.7716666666666666,
      "grad_norm": 2.75,
      "learning_rate": 0.00031229661016949153,
      "loss": 4.341299057006836,
      "step": 23150
    },
    {
      "epoch": 0.7718333333333334,
      "grad_norm": 2.0,
      "learning_rate": 0.00031225423728813563,
      "loss": 3.882898712158203,
      "step": 23155
    },
    {
      "epoch": 0.772,
      "grad_norm": 1.5,
      "learning_rate": 0.00031221186440677967,
      "loss": 3.1370380401611326,
      "step": 23160
    },
    {
      "epoch": 0.7721666666666667,
      "grad_norm": 2.875,
      "learning_rate": 0.0003121694915254237,
      "loss": 4.371492767333985,
      "step": 23165
    },
    {
      "epoch": 0.7723333333333333,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0003121271186440678,
      "loss": 2.730338287353516,
      "step": 23170
    },
    {
      "epoch": 0.7725,
      "grad_norm": 2.171875,
      "learning_rate": 0.0003120847457627119,
      "loss": 3.821816253662109,
      "step": 23175
    },
    {
      "epoch": 0.7726666666666666,
      "grad_norm": 1.90625,
      "learning_rate": 0.00031204237288135595,
      "loss": 3.879296875,
      "step": 23180
    },
    {
      "epoch": 0.7728333333333334,
      "grad_norm": 1.71875,
      "learning_rate": 0.000312,
      "loss": 3.788159942626953,
      "step": 23185
    },
    {
      "epoch": 0.773,
      "grad_norm": 2.21875,
      "learning_rate": 0.00031195762711864404,
      "loss": 3.844392013549805,
      "step": 23190
    },
    {
      "epoch": 0.7731666666666667,
      "grad_norm": 4.46875,
      "learning_rate": 0.00031191525423728813,
      "loss": 3.2003814697265627,
      "step": 23195
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00031187288135593223,
      "loss": 4.022704315185547,
      "step": 23200
    },
    {
      "epoch": 0.7735,
      "grad_norm": 3.328125,
      "learning_rate": 0.0003118305084745763,
      "loss": 3.8123699188232423,
      "step": 23205
    },
    {
      "epoch": 0.7736666666666666,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0003117881355932203,
      "loss": 4.196679306030274,
      "step": 23210
    },
    {
      "epoch": 0.7738333333333334,
      "grad_norm": 2.1875,
      "learning_rate": 0.0003117457627118644,
      "loss": 3.489470672607422,
      "step": 23215
    },
    {
      "epoch": 0.774,
      "grad_norm": 4.875,
      "learning_rate": 0.0003117033898305085,
      "loss": 3.916382598876953,
      "step": 23220
    },
    {
      "epoch": 0.7741666666666667,
      "grad_norm": 1.3046875,
      "learning_rate": 0.00031166101694915255,
      "loss": 3.3386856079101563,
      "step": 23225
    },
    {
      "epoch": 0.7743333333333333,
      "grad_norm": 1.953125,
      "learning_rate": 0.0003116186440677966,
      "loss": 4.069383239746093,
      "step": 23230
    },
    {
      "epoch": 0.7745,
      "grad_norm": 1.828125,
      "learning_rate": 0.00031157627118644064,
      "loss": 4.064881134033203,
      "step": 23235
    },
    {
      "epoch": 0.7746666666666666,
      "grad_norm": 1.421875,
      "learning_rate": 0.0003115338983050848,
      "loss": 3.6321582794189453,
      "step": 23240
    },
    {
      "epoch": 0.7748333333333334,
      "grad_norm": 1.9296875,
      "learning_rate": 0.00031149152542372883,
      "loss": 4.122386169433594,
      "step": 23245
    },
    {
      "epoch": 0.775,
      "grad_norm": 2.515625,
      "learning_rate": 0.0003114491525423729,
      "loss": 3.422162628173828,
      "step": 23250
    },
    {
      "epoch": 0.7751666666666667,
      "grad_norm": 2.640625,
      "learning_rate": 0.0003114067796610169,
      "loss": 4.376798629760742,
      "step": 23255
    },
    {
      "epoch": 0.7753333333333333,
      "grad_norm": 2.203125,
      "learning_rate": 0.00031136440677966107,
      "loss": 4.162804031372071,
      "step": 23260
    },
    {
      "epoch": 0.7755,
      "grad_norm": 2.640625,
      "learning_rate": 0.0003113220338983051,
      "loss": 3.6662330627441406,
      "step": 23265
    },
    {
      "epoch": 0.7756666666666666,
      "grad_norm": 1.96875,
      "learning_rate": 0.00031127966101694916,
      "loss": 3.935230255126953,
      "step": 23270
    },
    {
      "epoch": 0.7758333333333334,
      "grad_norm": 2.546875,
      "learning_rate": 0.0003112372881355932,
      "loss": 4.3327476501464846,
      "step": 23275
    },
    {
      "epoch": 0.776,
      "grad_norm": 2.421875,
      "learning_rate": 0.0003111949152542373,
      "loss": 3.8099864959716796,
      "step": 23280
    },
    {
      "epoch": 0.7761666666666667,
      "grad_norm": 2.3125,
      "learning_rate": 0.0003111525423728814,
      "loss": 3.3414859771728516,
      "step": 23285
    },
    {
      "epoch": 0.7763333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00031111016949152544,
      "loss": 3.145384979248047,
      "step": 23290
    },
    {
      "epoch": 0.7765,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0003110677966101695,
      "loss": 2.985917663574219,
      "step": 23295
    },
    {
      "epoch": 0.7766666666666666,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0003110254237288135,
      "loss": 3.6507781982421874,
      "step": 23300
    },
    {
      "epoch": 0.7768333333333334,
      "grad_norm": 2.921875,
      "learning_rate": 0.0003109830508474577,
      "loss": 3.9448150634765624,
      "step": 23305
    },
    {
      "epoch": 0.777,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0003109406779661017,
      "loss": 3.967821502685547,
      "step": 23310
    },
    {
      "epoch": 0.7771666666666667,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00031089830508474576,
      "loss": 3.3262657165527343,
      "step": 23315
    },
    {
      "epoch": 0.7773333333333333,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0003108559322033898,
      "loss": 4.368569946289062,
      "step": 23320
    },
    {
      "epoch": 0.7775,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0003108135593220339,
      "loss": 3.4456504821777343,
      "step": 23325
    },
    {
      "epoch": 0.7776666666666666,
      "grad_norm": 1.7734375,
      "learning_rate": 0.000310771186440678,
      "loss": 4.126249694824219,
      "step": 23330
    },
    {
      "epoch": 0.7778333333333334,
      "grad_norm": 2.890625,
      "learning_rate": 0.00031072881355932204,
      "loss": 3.8814563751220703,
      "step": 23335
    },
    {
      "epoch": 0.778,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003106864406779661,
      "loss": 4.153018188476563,
      "step": 23340
    },
    {
      "epoch": 0.7781666666666667,
      "grad_norm": 1.75,
      "learning_rate": 0.0003106440677966102,
      "loss": 3.8417732238769533,
      "step": 23345
    },
    {
      "epoch": 0.7783333333333333,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003106016949152543,
      "loss": 4.217176818847657,
      "step": 23350
    },
    {
      "epoch": 0.7785,
      "grad_norm": 2.546875,
      "learning_rate": 0.0003105593220338983,
      "loss": 3.7616851806640623,
      "step": 23355
    },
    {
      "epoch": 0.7786666666666666,
      "grad_norm": 2.9375,
      "learning_rate": 0.00031051694915254236,
      "loss": 3.8263320922851562,
      "step": 23360
    },
    {
      "epoch": 0.7788333333333334,
      "grad_norm": 1.0546875,
      "learning_rate": 0.00031047457627118646,
      "loss": 3.367353057861328,
      "step": 23365
    },
    {
      "epoch": 0.779,
      "grad_norm": 2.078125,
      "learning_rate": 0.0003104322033898305,
      "loss": 3.534645843505859,
      "step": 23370
    },
    {
      "epoch": 0.7791666666666667,
      "grad_norm": 2.171875,
      "learning_rate": 0.0003103898305084746,
      "loss": 4.643988037109375,
      "step": 23375
    },
    {
      "epoch": 0.7793333333333333,
      "grad_norm": 2.046875,
      "learning_rate": 0.00031034745762711864,
      "loss": 3.5746826171875,
      "step": 23380
    },
    {
      "epoch": 0.7795,
      "grad_norm": 1.5625,
      "learning_rate": 0.00031030508474576274,
      "loss": 4.504573822021484,
      "step": 23385
    },
    {
      "epoch": 0.7796666666666666,
      "grad_norm": 1.890625,
      "learning_rate": 0.0003102627118644068,
      "loss": 3.746227264404297,
      "step": 23390
    },
    {
      "epoch": 0.7798333333333334,
      "grad_norm": 5.625,
      "learning_rate": 0.0003102203389830509,
      "loss": 3.116557312011719,
      "step": 23395
    },
    {
      "epoch": 0.78,
      "grad_norm": 2.28125,
      "learning_rate": 0.0003101779661016949,
      "loss": 3.9189781188964843,
      "step": 23400
    },
    {
      "epoch": 0.7801666666666667,
      "grad_norm": 2.234375,
      "learning_rate": 0.00031013559322033897,
      "loss": 3.7321025848388674,
      "step": 23405
    },
    {
      "epoch": 0.7803333333333333,
      "grad_norm": 2.6875,
      "learning_rate": 0.00031009322033898306,
      "loss": 3.608856201171875,
      "step": 23410
    },
    {
      "epoch": 0.7805,
      "grad_norm": 2.234375,
      "learning_rate": 0.0003100508474576271,
      "loss": 3.9062965393066404,
      "step": 23415
    },
    {
      "epoch": 0.7806666666666666,
      "grad_norm": 4.59375,
      "learning_rate": 0.0003100084745762712,
      "loss": 3.793878173828125,
      "step": 23420
    },
    {
      "epoch": 0.7808333333333334,
      "grad_norm": 1.875,
      "learning_rate": 0.00030996610169491525,
      "loss": 3.4470027923583983,
      "step": 23425
    },
    {
      "epoch": 0.781,
      "grad_norm": 2.53125,
      "learning_rate": 0.00030992372881355934,
      "loss": 3.007997512817383,
      "step": 23430
    },
    {
      "epoch": 0.7811666666666667,
      "grad_norm": 1.59375,
      "learning_rate": 0.0003098813559322034,
      "loss": 3.6166145324707033,
      "step": 23435
    },
    {
      "epoch": 0.7813333333333333,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003098389830508475,
      "loss": 3.1475593566894533,
      "step": 23440
    },
    {
      "epoch": 0.7815,
      "grad_norm": 2.65625,
      "learning_rate": 0.0003097966101694915,
      "loss": 3.6467517852783202,
      "step": 23445
    },
    {
      "epoch": 0.7816666666666666,
      "grad_norm": 2.140625,
      "learning_rate": 0.0003097542372881356,
      "loss": 4.3437034606933596,
      "step": 23450
    },
    {
      "epoch": 0.7818333333333334,
      "grad_norm": 1.75,
      "learning_rate": 0.00030971186440677966,
      "loss": 3.7047050476074217,
      "step": 23455
    },
    {
      "epoch": 0.782,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0003096694915254237,
      "loss": 3.555438995361328,
      "step": 23460
    },
    {
      "epoch": 0.7821666666666667,
      "grad_norm": 2.21875,
      "learning_rate": 0.0003096271186440678,
      "loss": 3.609470748901367,
      "step": 23465
    },
    {
      "epoch": 0.7823333333333333,
      "grad_norm": 1.3046875,
      "learning_rate": 0.0003095847457627119,
      "loss": 3.3352291107177736,
      "step": 23470
    },
    {
      "epoch": 0.7825,
      "grad_norm": 1.734375,
      "learning_rate": 0.00030954237288135594,
      "loss": 3.856227493286133,
      "step": 23475
    },
    {
      "epoch": 0.7826666666666666,
      "grad_norm": 2.53125,
      "learning_rate": 0.0003095,
      "loss": 3.2090328216552733,
      "step": 23480
    },
    {
      "epoch": 0.7828333333333334,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0003094576271186441,
      "loss": 4.009351348876953,
      "step": 23485
    },
    {
      "epoch": 0.783,
      "grad_norm": 1.9765625,
      "learning_rate": 0.0003094152542372882,
      "loss": 3.6685752868652344,
      "step": 23490
    },
    {
      "epoch": 0.7831666666666667,
      "grad_norm": 1.96875,
      "learning_rate": 0.0003093728813559322,
      "loss": 3.7789440155029297,
      "step": 23495
    },
    {
      "epoch": 0.7833333333333333,
      "grad_norm": 2.0,
      "learning_rate": 0.00030933050847457627,
      "loss": 3.9160911560058596,
      "step": 23500
    },
    {
      "epoch": 0.7835,
      "grad_norm": 2.421875,
      "learning_rate": 0.0003092881355932203,
      "loss": 3.2521472930908204,
      "step": 23505
    },
    {
      "epoch": 0.7836666666666666,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0003092457627118644,
      "loss": 3.8238773345947266,
      "step": 23510
    },
    {
      "epoch": 0.7838333333333334,
      "grad_norm": 1.6875,
      "learning_rate": 0.0003092033898305085,
      "loss": 4.060929489135742,
      "step": 23515
    },
    {
      "epoch": 0.784,
      "grad_norm": 2.0625,
      "learning_rate": 0.00030916101694915255,
      "loss": 3.892150115966797,
      "step": 23520
    },
    {
      "epoch": 0.7841666666666667,
      "grad_norm": 3.421875,
      "learning_rate": 0.0003091186440677966,
      "loss": 4.374870300292969,
      "step": 23525
    },
    {
      "epoch": 0.7843333333333333,
      "grad_norm": 1.765625,
      "learning_rate": 0.0003090762711864407,
      "loss": 3.8413726806640627,
      "step": 23530
    },
    {
      "epoch": 0.7845,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0003090338983050848,
      "loss": 3.292346954345703,
      "step": 23535
    },
    {
      "epoch": 0.7846666666666666,
      "grad_norm": 1.546875,
      "learning_rate": 0.00030899152542372883,
      "loss": 4.076409912109375,
      "step": 23540
    },
    {
      "epoch": 0.7848333333333334,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00030894915254237287,
      "loss": 3.0186017990112304,
      "step": 23545
    },
    {
      "epoch": 0.785,
      "grad_norm": 1.609375,
      "learning_rate": 0.0003089067796610169,
      "loss": 2.6311527252197267,
      "step": 23550
    },
    {
      "epoch": 0.7851666666666667,
      "grad_norm": 3.125,
      "learning_rate": 0.00030886440677966106,
      "loss": 3.640224075317383,
      "step": 23555
    },
    {
      "epoch": 0.7853333333333333,
      "grad_norm": 1.640625,
      "learning_rate": 0.0003088220338983051,
      "loss": 3.4026039123535154,
      "step": 23560
    },
    {
      "epoch": 0.7855,
      "grad_norm": 1.609375,
      "learning_rate": 0.00030877966101694915,
      "loss": 2.499120903015137,
      "step": 23565
    },
    {
      "epoch": 0.7856666666666666,
      "grad_norm": 2.984375,
      "learning_rate": 0.0003087372881355932,
      "loss": 4.385302734375,
      "step": 23570
    },
    {
      "epoch": 0.7858333333333334,
      "grad_norm": 1.890625,
      "learning_rate": 0.00030869491525423734,
      "loss": 4.056443786621093,
      "step": 23575
    },
    {
      "epoch": 0.786,
      "grad_norm": 1.6875,
      "learning_rate": 0.0003086525423728814,
      "loss": 4.089485931396484,
      "step": 23580
    },
    {
      "epoch": 0.7861666666666667,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00030861016949152543,
      "loss": 3.6747390747070314,
      "step": 23585
    },
    {
      "epoch": 0.7863333333333333,
      "grad_norm": 2.078125,
      "learning_rate": 0.0003085677966101695,
      "loss": 4.36756591796875,
      "step": 23590
    },
    {
      "epoch": 0.7865,
      "grad_norm": 2.078125,
      "learning_rate": 0.00030852542372881357,
      "loss": 3.6957115173339843,
      "step": 23595
    },
    {
      "epoch": 0.7866666666666666,
      "grad_norm": 2.515625,
      "learning_rate": 0.00030848305084745767,
      "loss": 3.904440689086914,
      "step": 23600
    },
    {
      "epoch": 0.7868333333333334,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0003084406779661017,
      "loss": 3.882589340209961,
      "step": 23605
    },
    {
      "epoch": 0.787,
      "grad_norm": 2.28125,
      "learning_rate": 0.00030839830508474575,
      "loss": 3.2949073791503904,
      "step": 23610
    },
    {
      "epoch": 0.7871666666666667,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0003083559322033898,
      "loss": 3.6717060089111326,
      "step": 23615
    },
    {
      "epoch": 0.7873333333333333,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00030831355932203395,
      "loss": 4.0246227264404295,
      "step": 23620
    },
    {
      "epoch": 0.7875,
      "grad_norm": 1.546875,
      "learning_rate": 0.000308271186440678,
      "loss": 3.5970958709716796,
      "step": 23625
    },
    {
      "epoch": 0.7876666666666666,
      "grad_norm": 2.734375,
      "learning_rate": 0.00030822881355932203,
      "loss": 4.250825500488281,
      "step": 23630
    },
    {
      "epoch": 0.7878333333333334,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0003081864406779661,
      "loss": 4.463533401489258,
      "step": 23635
    },
    {
      "epoch": 0.788,
      "grad_norm": 2.671875,
      "learning_rate": 0.0003081440677966102,
      "loss": 4.112556457519531,
      "step": 23640
    },
    {
      "epoch": 0.7881666666666667,
      "grad_norm": 2.09375,
      "learning_rate": 0.00030810169491525427,
      "loss": 3.467229461669922,
      "step": 23645
    },
    {
      "epoch": 0.7883333333333333,
      "grad_norm": 1.625,
      "learning_rate": 0.0003080593220338983,
      "loss": 4.142747497558593,
      "step": 23650
    },
    {
      "epoch": 0.7885,
      "grad_norm": 1.671875,
      "learning_rate": 0.00030801694915254236,
      "loss": 4.088474273681641,
      "step": 23655
    },
    {
      "epoch": 0.7886666666666666,
      "grad_norm": 1.9765625,
      "learning_rate": 0.00030797457627118645,
      "loss": 4.617159271240235,
      "step": 23660
    },
    {
      "epoch": 0.7888333333333334,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00030793220338983055,
      "loss": 3.4073974609375,
      "step": 23665
    },
    {
      "epoch": 0.789,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0003078898305084746,
      "loss": 3.9028587341308594,
      "step": 23670
    },
    {
      "epoch": 0.7891666666666667,
      "grad_norm": 1.59375,
      "learning_rate": 0.00030784745762711864,
      "loss": 3.6146026611328126,
      "step": 23675
    },
    {
      "epoch": 0.7893333333333333,
      "grad_norm": 2.015625,
      "learning_rate": 0.00030780508474576273,
      "loss": 4.134249114990235,
      "step": 23680
    },
    {
      "epoch": 0.7895,
      "grad_norm": 3.71875,
      "learning_rate": 0.0003077627118644068,
      "loss": 4.098060607910156,
      "step": 23685
    },
    {
      "epoch": 0.7896666666666666,
      "grad_norm": 2.109375,
      "learning_rate": 0.00030772033898305087,
      "loss": 3.321561813354492,
      "step": 23690
    },
    {
      "epoch": 0.7898333333333334,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0003076779661016949,
      "loss": 3.022336006164551,
      "step": 23695
    },
    {
      "epoch": 0.79,
      "grad_norm": 1.9453125,
      "learning_rate": 0.000307635593220339,
      "loss": 3.7003963470458983,
      "step": 23700
    },
    {
      "epoch": 0.7901666666666667,
      "grad_norm": 1.9375,
      "learning_rate": 0.00030759322033898306,
      "loss": 3.5132659912109374,
      "step": 23705
    },
    {
      "epoch": 0.7903333333333333,
      "grad_norm": 1.6875,
      "learning_rate": 0.0003075508474576271,
      "loss": 4.465952301025391,
      "step": 23710
    },
    {
      "epoch": 0.7905,
      "grad_norm": 2.125,
      "learning_rate": 0.0003075084745762712,
      "loss": 4.26856575012207,
      "step": 23715
    },
    {
      "epoch": 0.7906666666666666,
      "grad_norm": 2.125,
      "learning_rate": 0.00030746610169491524,
      "loss": 3.67578239440918,
      "step": 23720
    },
    {
      "epoch": 0.7908333333333334,
      "grad_norm": 2.78125,
      "learning_rate": 0.00030742372881355934,
      "loss": 4.204298400878907,
      "step": 23725
    },
    {
      "epoch": 0.791,
      "grad_norm": 2.09375,
      "learning_rate": 0.0003073813559322034,
      "loss": 3.593941879272461,
      "step": 23730
    },
    {
      "epoch": 0.7911666666666667,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0003073389830508475,
      "loss": 3.3684539794921875,
      "step": 23735
    },
    {
      "epoch": 0.7913333333333333,
      "grad_norm": 2.640625,
      "learning_rate": 0.0003072966101694915,
      "loss": 3.9409656524658203,
      "step": 23740
    },
    {
      "epoch": 0.7915,
      "grad_norm": 2.15625,
      "learning_rate": 0.0003072542372881356,
      "loss": 3.6144718170166015,
      "step": 23745
    },
    {
      "epoch": 0.7916666666666666,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00030721186440677966,
      "loss": 3.6854583740234377,
      "step": 23750
    },
    {
      "epoch": 0.7918333333333333,
      "grad_norm": 1.78125,
      "learning_rate": 0.0003071694915254237,
      "loss": 4.064649963378907,
      "step": 23755
    },
    {
      "epoch": 0.792,
      "grad_norm": 1.9765625,
      "learning_rate": 0.0003071271186440678,
      "loss": 3.7125732421875,
      "step": 23760
    },
    {
      "epoch": 0.7921666666666667,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0003070847457627119,
      "loss": 3.7938522338867187,
      "step": 23765
    },
    {
      "epoch": 0.7923333333333333,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00030704237288135594,
      "loss": 3.2878997802734373,
      "step": 23770
    },
    {
      "epoch": 0.7925,
      "grad_norm": 1.203125,
      "learning_rate": 0.000307,
      "loss": 3.37286376953125,
      "step": 23775
    },
    {
      "epoch": 0.7926666666666666,
      "grad_norm": 2.15625,
      "learning_rate": 0.0003069576271186441,
      "loss": 4.229839324951172,
      "step": 23780
    },
    {
      "epoch": 0.7928333333333333,
      "grad_norm": 2.4375,
      "learning_rate": 0.0003069152542372882,
      "loss": 4.403129196166992,
      "step": 23785
    },
    {
      "epoch": 0.793,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0003068728813559322,
      "loss": 4.160596084594727,
      "step": 23790
    },
    {
      "epoch": 0.7931666666666667,
      "grad_norm": 2.53125,
      "learning_rate": 0.00030683050847457626,
      "loss": 4.652604675292968,
      "step": 23795
    },
    {
      "epoch": 0.7933333333333333,
      "grad_norm": 2.78125,
      "learning_rate": 0.0003067881355932203,
      "loss": 4.0882209777832035,
      "step": 23800
    },
    {
      "epoch": 0.7935,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00030674576271186446,
      "loss": 4.458299255371093,
      "step": 23805
    },
    {
      "epoch": 0.7936666666666666,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0003067033898305085,
      "loss": 3.658894348144531,
      "step": 23810
    },
    {
      "epoch": 0.7938333333333333,
      "grad_norm": 3.96875,
      "learning_rate": 0.00030666101694915254,
      "loss": 3.958715057373047,
      "step": 23815
    },
    {
      "epoch": 0.794,
      "grad_norm": 1.984375,
      "learning_rate": 0.0003066186440677966,
      "loss": 3.9318992614746096,
      "step": 23820
    },
    {
      "epoch": 0.7941666666666667,
      "grad_norm": 1.2421875,
      "learning_rate": 0.0003065762711864407,
      "loss": 2.6116863250732423,
      "step": 23825
    },
    {
      "epoch": 0.7943333333333333,
      "grad_norm": 1.71875,
      "learning_rate": 0.0003065338983050848,
      "loss": 3.915232849121094,
      "step": 23830
    },
    {
      "epoch": 0.7945,
      "grad_norm": 1.6953125,
      "learning_rate": 0.0003064915254237288,
      "loss": 3.1822540283203127,
      "step": 23835
    },
    {
      "epoch": 0.7946666666666666,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00030644915254237286,
      "loss": 3.289713668823242,
      "step": 23840
    },
    {
      "epoch": 0.7948333333333333,
      "grad_norm": 2.125,
      "learning_rate": 0.0003064067796610169,
      "loss": 3.4906158447265625,
      "step": 23845
    },
    {
      "epoch": 0.795,
      "grad_norm": 1.78125,
      "learning_rate": 0.00030636440677966106,
      "loss": 3.2949604034423827,
      "step": 23850
    },
    {
      "epoch": 0.7951666666666667,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0003063220338983051,
      "loss": 3.685955047607422,
      "step": 23855
    },
    {
      "epoch": 0.7953333333333333,
      "grad_norm": 1.640625,
      "learning_rate": 0.00030627966101694914,
      "loss": 4.254181289672852,
      "step": 23860
    },
    {
      "epoch": 0.7955,
      "grad_norm": 1.5234375,
      "learning_rate": 0.0003062372881355932,
      "loss": 4.286565780639648,
      "step": 23865
    },
    {
      "epoch": 0.7956666666666666,
      "grad_norm": 1.2734375,
      "learning_rate": 0.00030619491525423734,
      "loss": 2.9281742095947267,
      "step": 23870
    },
    {
      "epoch": 0.7958333333333333,
      "grad_norm": 1.203125,
      "learning_rate": 0.0003061525423728814,
      "loss": 3.4147193908691404,
      "step": 23875
    },
    {
      "epoch": 0.796,
      "grad_norm": 5.15625,
      "learning_rate": 0.0003061101694915254,
      "loss": 3.538365936279297,
      "step": 23880
    },
    {
      "epoch": 0.7961666666666667,
      "grad_norm": 1.59375,
      "learning_rate": 0.00030606779661016947,
      "loss": 3.63604850769043,
      "step": 23885
    },
    {
      "epoch": 0.7963333333333333,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00030602542372881356,
      "loss": 3.8075523376464844,
      "step": 23890
    },
    {
      "epoch": 0.7965,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00030598305084745766,
      "loss": 4.2265777587890625,
      "step": 23895
    },
    {
      "epoch": 0.7966666666666666,
      "grad_norm": 1.84375,
      "learning_rate": 0.0003059406779661017,
      "loss": 2.8646860122680664,
      "step": 23900
    },
    {
      "epoch": 0.7968333333333333,
      "grad_norm": 1.8125,
      "learning_rate": 0.00030589830508474575,
      "loss": 3.5710380554199217,
      "step": 23905
    },
    {
      "epoch": 0.797,
      "grad_norm": 2.15625,
      "learning_rate": 0.00030585593220338984,
      "loss": 3.62805290222168,
      "step": 23910
    },
    {
      "epoch": 0.7971666666666667,
      "grad_norm": 1.84375,
      "learning_rate": 0.00030581355932203394,
      "loss": 3.8029315948486326,
      "step": 23915
    },
    {
      "epoch": 0.7973333333333333,
      "grad_norm": 1.1640625,
      "learning_rate": 0.000305771186440678,
      "loss": 2.7072673797607423,
      "step": 23920
    },
    {
      "epoch": 0.7975,
      "grad_norm": 4.46875,
      "learning_rate": 0.000305728813559322,
      "loss": 3.922542953491211,
      "step": 23925
    },
    {
      "epoch": 0.7976666666666666,
      "grad_norm": 3.0625,
      "learning_rate": 0.00030568644067796607,
      "loss": 3.2026336669921873,
      "step": 23930
    },
    {
      "epoch": 0.7978333333333333,
      "grad_norm": 1.59375,
      "learning_rate": 0.00030564406779661017,
      "loss": 3.653497314453125,
      "step": 23935
    },
    {
      "epoch": 0.798,
      "grad_norm": 1.9375,
      "learning_rate": 0.00030560169491525426,
      "loss": 3.893482208251953,
      "step": 23940
    },
    {
      "epoch": 0.7981666666666667,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0003055593220338983,
      "loss": 4.0960346221923825,
      "step": 23945
    },
    {
      "epoch": 0.7983333333333333,
      "grad_norm": 2.0,
      "learning_rate": 0.00030551694915254235,
      "loss": 4.219153594970703,
      "step": 23950
    },
    {
      "epoch": 0.7985,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00030547457627118645,
      "loss": 3.425497055053711,
      "step": 23955
    },
    {
      "epoch": 0.7986666666666666,
      "grad_norm": 2.109375,
      "learning_rate": 0.00030543220338983054,
      "loss": 3.3524173736572265,
      "step": 23960
    },
    {
      "epoch": 0.7988333333333333,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003053898305084746,
      "loss": 4.111120223999023,
      "step": 23965
    },
    {
      "epoch": 0.799,
      "grad_norm": 2.171875,
      "learning_rate": 0.00030534745762711863,
      "loss": 4.29912109375,
      "step": 23970
    },
    {
      "epoch": 0.7991666666666667,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0003053050847457627,
      "loss": 3.511090850830078,
      "step": 23975
    },
    {
      "epoch": 0.7993333333333333,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00030526271186440677,
      "loss": 4.230072784423828,
      "step": 23980
    },
    {
      "epoch": 0.7995,
      "grad_norm": 3.390625,
      "learning_rate": 0.00030522033898305087,
      "loss": 3.5265457153320314,
      "step": 23985
    },
    {
      "epoch": 0.7996666666666666,
      "grad_norm": 2.453125,
      "learning_rate": 0.0003051779661016949,
      "loss": 3.5540313720703125,
      "step": 23990
    },
    {
      "epoch": 0.7998333333333333,
      "grad_norm": 1.5859375,
      "learning_rate": 0.000305135593220339,
      "loss": 4.063462829589843,
      "step": 23995
    },
    {
      "epoch": 0.8,
      "grad_norm": 1.265625,
      "learning_rate": 0.00030509322033898305,
      "loss": 3.4375919342041015,
      "step": 24000
    },
    {
      "epoch": 0.8001666666666667,
      "grad_norm": 1.46875,
      "learning_rate": 0.00030505084745762715,
      "loss": 3.184762191772461,
      "step": 24005
    },
    {
      "epoch": 0.8003333333333333,
      "grad_norm": 1.2578125,
      "learning_rate": 0.0003050084745762712,
      "loss": 2.835832405090332,
      "step": 24010
    },
    {
      "epoch": 0.8005,
      "grad_norm": 1.71875,
      "learning_rate": 0.0003049661016949153,
      "loss": 3.368325424194336,
      "step": 24015
    },
    {
      "epoch": 0.8006666666666666,
      "grad_norm": 1.21875,
      "learning_rate": 0.00030492372881355933,
      "loss": 3.693544387817383,
      "step": 24020
    },
    {
      "epoch": 0.8008333333333333,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00030488135593220337,
      "loss": 3.7933258056640624,
      "step": 24025
    },
    {
      "epoch": 0.801,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00030483898305084747,
      "loss": 3.2173675537109374,
      "step": 24030
    },
    {
      "epoch": 0.8011666666666667,
      "grad_norm": 5.875,
      "learning_rate": 0.0003047966101694915,
      "loss": 3.49407844543457,
      "step": 24035
    },
    {
      "epoch": 0.8013333333333333,
      "grad_norm": 2.28125,
      "learning_rate": 0.0003047542372881356,
      "loss": 3.9239410400390624,
      "step": 24040
    },
    {
      "epoch": 0.8015,
      "grad_norm": 1.9453125,
      "learning_rate": 0.00030471186440677965,
      "loss": 3.4090171813964845,
      "step": 24045
    },
    {
      "epoch": 0.8016666666666666,
      "grad_norm": 2.578125,
      "learning_rate": 0.00030466949152542375,
      "loss": 3.877793884277344,
      "step": 24050
    },
    {
      "epoch": 0.8018333333333333,
      "grad_norm": 1.71875,
      "learning_rate": 0.0003046271186440678,
      "loss": 2.8532506942749025,
      "step": 24055
    },
    {
      "epoch": 0.802,
      "grad_norm": 2.390625,
      "learning_rate": 0.0003045847457627119,
      "loss": 3.7241329193115233,
      "step": 24060
    },
    {
      "epoch": 0.8021666666666667,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00030454237288135593,
      "loss": 3.6687950134277343,
      "step": 24065
    },
    {
      "epoch": 0.8023333333333333,
      "grad_norm": 2.390625,
      "learning_rate": 0.0003045,
      "loss": 3.6518394470214846,
      "step": 24070
    },
    {
      "epoch": 0.8025,
      "grad_norm": 1.9453125,
      "learning_rate": 0.00030445762711864407,
      "loss": 4.194897842407227,
      "step": 24075
    },
    {
      "epoch": 0.8026666666666666,
      "grad_norm": 2.65625,
      "learning_rate": 0.00030441525423728817,
      "loss": 4.120906829833984,
      "step": 24080
    },
    {
      "epoch": 0.8028333333333333,
      "grad_norm": 1.1484375,
      "learning_rate": 0.0003043728813559322,
      "loss": 3.3431629180908202,
      "step": 24085
    },
    {
      "epoch": 0.803,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00030433050847457625,
      "loss": 4.121746826171875,
      "step": 24090
    },
    {
      "epoch": 0.8031666666666667,
      "grad_norm": 1.84375,
      "learning_rate": 0.00030428813559322035,
      "loss": 3.9577411651611327,
      "step": 24095
    },
    {
      "epoch": 0.8033333333333333,
      "grad_norm": 1.4140625,
      "learning_rate": 0.00030424576271186445,
      "loss": 3.2236255645751952,
      "step": 24100
    },
    {
      "epoch": 0.8035,
      "grad_norm": 1.546875,
      "learning_rate": 0.0003042033898305085,
      "loss": 3.6245609283447267,
      "step": 24105
    },
    {
      "epoch": 0.8036666666666666,
      "grad_norm": 1.2421875,
      "learning_rate": 0.00030416101694915253,
      "loss": 3.326569747924805,
      "step": 24110
    },
    {
      "epoch": 0.8038333333333333,
      "grad_norm": 2.09375,
      "learning_rate": 0.0003041186440677966,
      "loss": 3.77038688659668,
      "step": 24115
    },
    {
      "epoch": 0.804,
      "grad_norm": 1.9375,
      "learning_rate": 0.00030407627118644073,
      "loss": 4.049720382690429,
      "step": 24120
    },
    {
      "epoch": 0.8041666666666667,
      "grad_norm": 3.15625,
      "learning_rate": 0.00030403389830508477,
      "loss": 3.7186946868896484,
      "step": 24125
    },
    {
      "epoch": 0.8043333333333333,
      "grad_norm": 2.0625,
      "learning_rate": 0.0003039915254237288,
      "loss": 3.6781646728515627,
      "step": 24130
    },
    {
      "epoch": 0.8045,
      "grad_norm": 1.515625,
      "learning_rate": 0.00030394915254237286,
      "loss": 4.188258361816406,
      "step": 24135
    },
    {
      "epoch": 0.8046666666666666,
      "grad_norm": 2.453125,
      "learning_rate": 0.00030390677966101695,
      "loss": 2.836370086669922,
      "step": 24140
    },
    {
      "epoch": 0.8048333333333333,
      "grad_norm": 2.234375,
      "learning_rate": 0.00030386440677966105,
      "loss": 3.083302307128906,
      "step": 24145
    },
    {
      "epoch": 0.805,
      "grad_norm": 1.859375,
      "learning_rate": 0.0003038220338983051,
      "loss": 4.042010879516601,
      "step": 24150
    },
    {
      "epoch": 0.8051666666666667,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00030377966101694914,
      "loss": 4.237883758544922,
      "step": 24155
    },
    {
      "epoch": 0.8053333333333333,
      "grad_norm": 1.875,
      "learning_rate": 0.0003037372881355932,
      "loss": 4.591758346557617,
      "step": 24160
    },
    {
      "epoch": 0.8055,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00030369491525423733,
      "loss": 3.1849002838134766,
      "step": 24165
    },
    {
      "epoch": 0.8056666666666666,
      "grad_norm": 2.15625,
      "learning_rate": 0.0003036525423728814,
      "loss": 3.8146488189697267,
      "step": 24170
    },
    {
      "epoch": 0.8058333333333333,
      "grad_norm": 2.25,
      "learning_rate": 0.0003036101694915254,
      "loss": 4.1176513671875,
      "step": 24175
    },
    {
      "epoch": 0.806,
      "grad_norm": 2.078125,
      "learning_rate": 0.00030356779661016946,
      "loss": 3.9972434997558595,
      "step": 24180
    },
    {
      "epoch": 0.8061666666666667,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0003035254237288136,
      "loss": 3.8847862243652345,
      "step": 24185
    },
    {
      "epoch": 0.8063333333333333,
      "grad_norm": 1.9921875,
      "learning_rate": 0.00030348305084745765,
      "loss": 4.5505523681640625,
      "step": 24190
    },
    {
      "epoch": 0.8065,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003034406779661017,
      "loss": 3.2114917755126955,
      "step": 24195
    },
    {
      "epoch": 0.8066666666666666,
      "grad_norm": 2.09375,
      "learning_rate": 0.00030339830508474574,
      "loss": 3.9475032806396486,
      "step": 24200
    },
    {
      "epoch": 0.8068333333333333,
      "grad_norm": 2.828125,
      "learning_rate": 0.00030335593220338984,
      "loss": 4.128282928466797,
      "step": 24205
    },
    {
      "epoch": 0.807,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00030331355932203393,
      "loss": 3.9420799255371093,
      "step": 24210
    },
    {
      "epoch": 0.8071666666666667,
      "grad_norm": 3.125,
      "learning_rate": 0.000303271186440678,
      "loss": 3.55981559753418,
      "step": 24215
    },
    {
      "epoch": 0.8073333333333333,
      "grad_norm": 1.4609375,
      "learning_rate": 0.000303228813559322,
      "loss": 3.7700061798095703,
      "step": 24220
    },
    {
      "epoch": 0.8075,
      "grad_norm": 1.84375,
      "learning_rate": 0.0003031864406779661,
      "loss": 3.716197967529297,
      "step": 24225
    },
    {
      "epoch": 0.8076666666666666,
      "grad_norm": 1.40625,
      "learning_rate": 0.0003031440677966102,
      "loss": 3.8001049041748045,
      "step": 24230
    },
    {
      "epoch": 0.8078333333333333,
      "grad_norm": 2.265625,
      "learning_rate": 0.00030310169491525426,
      "loss": 3.361711120605469,
      "step": 24235
    },
    {
      "epoch": 0.808,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0003030593220338983,
      "loss": 3.4800846099853517,
      "step": 24240
    },
    {
      "epoch": 0.8081666666666667,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00030301694915254234,
      "loss": 3.7495773315429686,
      "step": 24245
    },
    {
      "epoch": 0.8083333333333333,
      "grad_norm": 1.28125,
      "learning_rate": 0.00030297457627118644,
      "loss": 3.300535202026367,
      "step": 24250
    },
    {
      "epoch": 0.8085,
      "grad_norm": 1.65625,
      "learning_rate": 0.00030293220338983054,
      "loss": 3.126529312133789,
      "step": 24255
    },
    {
      "epoch": 0.8086666666666666,
      "grad_norm": 2.53125,
      "learning_rate": 0.0003028898305084746,
      "loss": 3.1215227127075194,
      "step": 24260
    },
    {
      "epoch": 0.8088333333333333,
      "grad_norm": 2.734375,
      "learning_rate": 0.0003028474576271186,
      "loss": 3.365207290649414,
      "step": 24265
    },
    {
      "epoch": 0.809,
      "grad_norm": 1.640625,
      "learning_rate": 0.0003028050847457627,
      "loss": 3.8007144927978516,
      "step": 24270
    },
    {
      "epoch": 0.8091666666666667,
      "grad_norm": 2.109375,
      "learning_rate": 0.0003027627118644068,
      "loss": 4.510417175292969,
      "step": 24275
    },
    {
      "epoch": 0.8093333333333333,
      "grad_norm": 1.4140625,
      "learning_rate": 0.00030272033898305086,
      "loss": 3.4401523590087892,
      "step": 24280
    },
    {
      "epoch": 0.8095,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003026779661016949,
      "loss": 3.9910011291503906,
      "step": 24285
    },
    {
      "epoch": 0.8096666666666666,
      "grad_norm": 2.859375,
      "learning_rate": 0.000302635593220339,
      "loss": 3.6245437622070313,
      "step": 24290
    },
    {
      "epoch": 0.8098333333333333,
      "grad_norm": 1.6875,
      "learning_rate": 0.00030259322033898304,
      "loss": 3.8775508880615233,
      "step": 24295
    },
    {
      "epoch": 0.81,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00030255084745762714,
      "loss": 3.433736801147461,
      "step": 24300
    },
    {
      "epoch": 0.8101666666666667,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0003025084745762712,
      "loss": 4.021173477172852,
      "step": 24305
    },
    {
      "epoch": 0.8103333333333333,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0003024661016949153,
      "loss": 3.696092987060547,
      "step": 24310
    },
    {
      "epoch": 0.8105,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0003024237288135593,
      "loss": 4.116954803466797,
      "step": 24315
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 2.953125,
      "learning_rate": 0.0003023813559322034,
      "loss": 3.46846923828125,
      "step": 24320
    },
    {
      "epoch": 0.8108333333333333,
      "grad_norm": 1.9296875,
      "learning_rate": 0.00030233898305084746,
      "loss": 3.6961437225341798,
      "step": 24325
    },
    {
      "epoch": 0.811,
      "grad_norm": 2.421875,
      "learning_rate": 0.00030229661016949156,
      "loss": 4.538031005859375,
      "step": 24330
    },
    {
      "epoch": 0.8111666666666667,
      "grad_norm": 1.59375,
      "learning_rate": 0.0003022542372881356,
      "loss": 3.3176948547363283,
      "step": 24335
    },
    {
      "epoch": 0.8113333333333334,
      "grad_norm": 2.03125,
      "learning_rate": 0.00030221186440677965,
      "loss": 3.539949417114258,
      "step": 24340
    },
    {
      "epoch": 0.8115,
      "grad_norm": 1.6875,
      "learning_rate": 0.00030216949152542374,
      "loss": 3.7695945739746093,
      "step": 24345
    },
    {
      "epoch": 0.8116666666666666,
      "grad_norm": 1.71875,
      "learning_rate": 0.0003021271186440678,
      "loss": 3.967263412475586,
      "step": 24350
    },
    {
      "epoch": 0.8118333333333333,
      "grad_norm": 2.359375,
      "learning_rate": 0.0003020847457627119,
      "loss": 3.605236053466797,
      "step": 24355
    },
    {
      "epoch": 0.812,
      "grad_norm": 2.671875,
      "learning_rate": 0.0003020423728813559,
      "loss": 3.519989013671875,
      "step": 24360
    },
    {
      "epoch": 0.8121666666666667,
      "grad_norm": 1.8359375,
      "learning_rate": 0.000302,
      "loss": 3.137990188598633,
      "step": 24365
    },
    {
      "epoch": 0.8123333333333334,
      "grad_norm": 1.71875,
      "learning_rate": 0.00030195762711864407,
      "loss": 3.1521862030029295,
      "step": 24370
    },
    {
      "epoch": 0.8125,
      "grad_norm": 2.0625,
      "learning_rate": 0.00030191525423728816,
      "loss": 4.268907165527343,
      "step": 24375
    },
    {
      "epoch": 0.8126666666666666,
      "grad_norm": 1.765625,
      "learning_rate": 0.0003018728813559322,
      "loss": 3.836412811279297,
      "step": 24380
    },
    {
      "epoch": 0.8128333333333333,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00030183050847457625,
      "loss": 3.84326057434082,
      "step": 24385
    },
    {
      "epoch": 0.813,
      "grad_norm": 1.9453125,
      "learning_rate": 0.00030178813559322035,
      "loss": 3.0128860473632812,
      "step": 24390
    },
    {
      "epoch": 0.8131666666666667,
      "grad_norm": 2.0625,
      "learning_rate": 0.00030174576271186444,
      "loss": 3.65133056640625,
      "step": 24395
    },
    {
      "epoch": 0.8133333333333334,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0003017033898305085,
      "loss": 3.5296138763427733,
      "step": 24400
    },
    {
      "epoch": 0.8135,
      "grad_norm": 1.4375,
      "learning_rate": 0.00030166101694915253,
      "loss": 3.6355331420898436,
      "step": 24405
    },
    {
      "epoch": 0.8136666666666666,
      "grad_norm": 1.4609375,
      "learning_rate": 0.0003016186440677966,
      "loss": 3.677233123779297,
      "step": 24410
    },
    {
      "epoch": 0.8138333333333333,
      "grad_norm": 5.875,
      "learning_rate": 0.0003015762711864407,
      "loss": 3.9175437927246093,
      "step": 24415
    },
    {
      "epoch": 0.814,
      "grad_norm": 5.15625,
      "learning_rate": 0.00030153389830508477,
      "loss": 3.9521034240722654,
      "step": 24420
    },
    {
      "epoch": 0.8141666666666667,
      "grad_norm": 3.296875,
      "learning_rate": 0.0003014915254237288,
      "loss": 3.9015129089355467,
      "step": 24425
    },
    {
      "epoch": 0.8143333333333334,
      "grad_norm": 2.453125,
      "learning_rate": 0.00030144915254237285,
      "loss": 3.56189079284668,
      "step": 24430
    },
    {
      "epoch": 0.8145,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00030140677966101695,
      "loss": 3.331536865234375,
      "step": 24435
    },
    {
      "epoch": 0.8146666666666667,
      "grad_norm": 1.84375,
      "learning_rate": 0.00030136440677966104,
      "loss": 3.374614715576172,
      "step": 24440
    },
    {
      "epoch": 0.8148333333333333,
      "grad_norm": 2.03125,
      "learning_rate": 0.0003013220338983051,
      "loss": 3.797698211669922,
      "step": 24445
    },
    {
      "epoch": 0.815,
      "grad_norm": 1.921875,
      "learning_rate": 0.00030127966101694913,
      "loss": 3.6325965881347657,
      "step": 24450
    },
    {
      "epoch": 0.8151666666666667,
      "grad_norm": 2.65625,
      "learning_rate": 0.00030123728813559323,
      "loss": 3.5827770233154297,
      "step": 24455
    },
    {
      "epoch": 0.8153333333333334,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003011949152542373,
      "loss": 4.024824523925782,
      "step": 24460
    },
    {
      "epoch": 0.8155,
      "grad_norm": 3.328125,
      "learning_rate": 0.00030115254237288137,
      "loss": 3.4804683685302735,
      "step": 24465
    },
    {
      "epoch": 0.8156666666666667,
      "grad_norm": 2.046875,
      "learning_rate": 0.0003011101694915254,
      "loss": 3.678940200805664,
      "step": 24470
    },
    {
      "epoch": 0.8158333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.00030106779661016945,
      "loss": 3.366298294067383,
      "step": 24475
    },
    {
      "epoch": 0.816,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0003010254237288136,
      "loss": 4.44552001953125,
      "step": 24480
    },
    {
      "epoch": 0.8161666666666667,
      "grad_norm": 1.9140625,
      "learning_rate": 0.00030098305084745765,
      "loss": 4.018448257446289,
      "step": 24485
    },
    {
      "epoch": 0.8163333333333334,
      "grad_norm": 2.46875,
      "learning_rate": 0.0003009406779661017,
      "loss": 4.178363418579101,
      "step": 24490
    },
    {
      "epoch": 0.8165,
      "grad_norm": 2.28125,
      "learning_rate": 0.00030089830508474573,
      "loss": 4.498645782470703,
      "step": 24495
    },
    {
      "epoch": 0.8166666666666667,
      "grad_norm": 1.703125,
      "learning_rate": 0.0003008559322033899,
      "loss": 4.1731616973876955,
      "step": 24500
    },
    {
      "epoch": 0.8168333333333333,
      "grad_norm": 1.3359375,
      "learning_rate": 0.00030081355932203393,
      "loss": 3.267902374267578,
      "step": 24505
    },
    {
      "epoch": 0.817,
      "grad_norm": 1.953125,
      "learning_rate": 0.00030077118644067797,
      "loss": 3.3318130493164064,
      "step": 24510
    },
    {
      "epoch": 0.8171666666666667,
      "grad_norm": 1.9140625,
      "learning_rate": 0.000300728813559322,
      "loss": 4.6138252258300785,
      "step": 24515
    },
    {
      "epoch": 0.8173333333333334,
      "grad_norm": 1.9453125,
      "learning_rate": 0.0003006864406779661,
      "loss": 4.241944885253906,
      "step": 24520
    },
    {
      "epoch": 0.8175,
      "grad_norm": 3.1875,
      "learning_rate": 0.0003006440677966102,
      "loss": 3.8276100158691406,
      "step": 24525
    },
    {
      "epoch": 0.8176666666666667,
      "grad_norm": 1.9375,
      "learning_rate": 0.00030060169491525425,
      "loss": 3.773070526123047,
      "step": 24530
    },
    {
      "epoch": 0.8178333333333333,
      "grad_norm": 1.828125,
      "learning_rate": 0.0003005593220338983,
      "loss": 3.4848983764648436,
      "step": 24535
    },
    {
      "epoch": 0.818,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00030051694915254234,
      "loss": 3.564966583251953,
      "step": 24540
    },
    {
      "epoch": 0.8181666666666667,
      "grad_norm": 1.28125,
      "learning_rate": 0.0003004745762711865,
      "loss": 3.652566909790039,
      "step": 24545
    },
    {
      "epoch": 0.8183333333333334,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00030043220338983053,
      "loss": 3.8472023010253906,
      "step": 24550
    },
    {
      "epoch": 0.8185,
      "grad_norm": 2.28125,
      "learning_rate": 0.0003003898305084746,
      "loss": 4.197145080566406,
      "step": 24555
    },
    {
      "epoch": 0.8186666666666667,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0003003474576271186,
      "loss": 3.0535348892211913,
      "step": 24560
    },
    {
      "epoch": 0.8188333333333333,
      "grad_norm": 1.875,
      "learning_rate": 0.0003003050847457627,
      "loss": 3.7729812622070313,
      "step": 24565
    },
    {
      "epoch": 0.819,
      "grad_norm": 2.359375,
      "learning_rate": 0.0003002627118644068,
      "loss": 3.845867919921875,
      "step": 24570
    },
    {
      "epoch": 0.8191666666666667,
      "grad_norm": 1.9296875,
      "learning_rate": 0.00030022033898305085,
      "loss": 4.043838882446289,
      "step": 24575
    },
    {
      "epoch": 0.8193333333333334,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0003001779661016949,
      "loss": 3.8733734130859374,
      "step": 24580
    },
    {
      "epoch": 0.8195,
      "grad_norm": 2.78125,
      "learning_rate": 0.000300135593220339,
      "loss": 4.30684814453125,
      "step": 24585
    },
    {
      "epoch": 0.8196666666666667,
      "grad_norm": 2.125,
      "learning_rate": 0.0003000932203389831,
      "loss": 3.7929222106933596,
      "step": 24590
    },
    {
      "epoch": 0.8198333333333333,
      "grad_norm": 1.96875,
      "learning_rate": 0.00030005084745762713,
      "loss": 3.9660057067871093,
      "step": 24595
    },
    {
      "epoch": 0.82,
      "grad_norm": 1.578125,
      "learning_rate": 0.0003000084745762712,
      "loss": 3.190827178955078,
      "step": 24600
    },
    {
      "epoch": 0.8201666666666667,
      "grad_norm": 1.359375,
      "learning_rate": 0.0002999661016949153,
      "loss": 2.736153793334961,
      "step": 24605
    },
    {
      "epoch": 0.8203333333333334,
      "grad_norm": 1.78125,
      "learning_rate": 0.0002999237288135593,
      "loss": 3.958084487915039,
      "step": 24610
    },
    {
      "epoch": 0.8205,
      "grad_norm": 1.9765625,
      "learning_rate": 0.0002998813559322034,
      "loss": 2.7964756011962892,
      "step": 24615
    },
    {
      "epoch": 0.8206666666666667,
      "grad_norm": 3.125,
      "learning_rate": 0.00029983898305084746,
      "loss": 3.8450428009033204,
      "step": 24620
    },
    {
      "epoch": 0.8208333333333333,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00029979661016949155,
      "loss": 4.008179473876953,
      "step": 24625
    },
    {
      "epoch": 0.821,
      "grad_norm": 2.125,
      "learning_rate": 0.0002997542372881356,
      "loss": 3.3208038330078127,
      "step": 24630
    },
    {
      "epoch": 0.8211666666666667,
      "grad_norm": 1.765625,
      "learning_rate": 0.0002997118644067797,
      "loss": 3.978596496582031,
      "step": 24635
    },
    {
      "epoch": 0.8213333333333334,
      "grad_norm": 2.390625,
      "learning_rate": 0.00029966949152542374,
      "loss": 3.2758350372314453,
      "step": 24640
    },
    {
      "epoch": 0.8215,
      "grad_norm": 1.875,
      "learning_rate": 0.0002996271186440678,
      "loss": 4.139863204956055,
      "step": 24645
    },
    {
      "epoch": 0.8216666666666667,
      "grad_norm": 3.921875,
      "learning_rate": 0.0002995847457627119,
      "loss": 3.945697784423828,
      "step": 24650
    },
    {
      "epoch": 0.8218333333333333,
      "grad_norm": 1.78125,
      "learning_rate": 0.0002995423728813559,
      "loss": 3.653705596923828,
      "step": 24655
    },
    {
      "epoch": 0.822,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0002995,
      "loss": 3.340437316894531,
      "step": 24660
    },
    {
      "epoch": 0.8221666666666667,
      "grad_norm": 6.03125,
      "learning_rate": 0.00029945762711864406,
      "loss": 3.767903137207031,
      "step": 24665
    },
    {
      "epoch": 0.8223333333333334,
      "grad_norm": 4.40625,
      "learning_rate": 0.00029941525423728816,
      "loss": 4.018263626098633,
      "step": 24670
    },
    {
      "epoch": 0.8225,
      "grad_norm": 3.15625,
      "learning_rate": 0.0002993728813559322,
      "loss": 3.559082794189453,
      "step": 24675
    },
    {
      "epoch": 0.8226666666666667,
      "grad_norm": 1.796875,
      "learning_rate": 0.00029933050847457624,
      "loss": 4.070217514038086,
      "step": 24680
    },
    {
      "epoch": 0.8228333333333333,
      "grad_norm": 3.109375,
      "learning_rate": 0.00029928813559322034,
      "loss": 3.701456832885742,
      "step": 24685
    },
    {
      "epoch": 0.823,
      "grad_norm": 2.125,
      "learning_rate": 0.00029924576271186444,
      "loss": 4.09466323852539,
      "step": 24690
    },
    {
      "epoch": 0.8231666666666667,
      "grad_norm": 1.8125,
      "learning_rate": 0.0002992033898305085,
      "loss": 3.895416259765625,
      "step": 24695
    },
    {
      "epoch": 0.8233333333333334,
      "grad_norm": 1.59375,
      "learning_rate": 0.0002991610169491525,
      "loss": 3.5094482421875,
      "step": 24700
    },
    {
      "epoch": 0.8235,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0002991186440677966,
      "loss": 3.8666717529296877,
      "step": 24705
    },
    {
      "epoch": 0.8236666666666667,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0002990762711864407,
      "loss": 3.8352737426757812,
      "step": 24710
    },
    {
      "epoch": 0.8238333333333333,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00029903389830508476,
      "loss": 3.6310604095458983,
      "step": 24715
    },
    {
      "epoch": 0.824,
      "grad_norm": 2.484375,
      "learning_rate": 0.0002989915254237288,
      "loss": 4.408183288574219,
      "step": 24720
    },
    {
      "epoch": 0.8241666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00029894915254237284,
      "loss": 4.07606086730957,
      "step": 24725
    },
    {
      "epoch": 0.8243333333333334,
      "grad_norm": 2.296875,
      "learning_rate": 0.000298906779661017,
      "loss": 4.028953170776367,
      "step": 24730
    },
    {
      "epoch": 0.8245,
      "grad_norm": 3.265625,
      "learning_rate": 0.00029886440677966104,
      "loss": 3.596150207519531,
      "step": 24735
    },
    {
      "epoch": 0.8246666666666667,
      "grad_norm": 3.234375,
      "learning_rate": 0.0002988220338983051,
      "loss": 3.7519371032714846,
      "step": 24740
    },
    {
      "epoch": 0.8248333333333333,
      "grad_norm": 1.6875,
      "learning_rate": 0.0002987796610169491,
      "loss": 4.027361297607422,
      "step": 24745
    },
    {
      "epoch": 0.825,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0002987372881355932,
      "loss": 3.627763366699219,
      "step": 24750
    },
    {
      "epoch": 0.8251666666666667,
      "grad_norm": 2.171875,
      "learning_rate": 0.0002986949152542373,
      "loss": 4.033974456787109,
      "step": 24755
    },
    {
      "epoch": 0.8253333333333334,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00029865254237288136,
      "loss": 3.8408504486083985,
      "step": 24760
    },
    {
      "epoch": 0.8255,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0002986101694915254,
      "loss": 3.454560470581055,
      "step": 24765
    },
    {
      "epoch": 0.8256666666666667,
      "grad_norm": 1.859375,
      "learning_rate": 0.00029856779661016945,
      "loss": 3.258926010131836,
      "step": 24770
    },
    {
      "epoch": 0.8258333333333333,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0002985254237288136,
      "loss": 3.8069244384765626,
      "step": 24775
    },
    {
      "epoch": 0.826,
      "grad_norm": 1.84375,
      "learning_rate": 0.00029848305084745764,
      "loss": 3.0092676162719725,
      "step": 24780
    },
    {
      "epoch": 0.8261666666666667,
      "grad_norm": 2.671875,
      "learning_rate": 0.0002984406779661017,
      "loss": 4.116151809692383,
      "step": 24785
    },
    {
      "epoch": 0.8263333333333334,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0002983983050847457,
      "loss": 3.6430953979492187,
      "step": 24790
    },
    {
      "epoch": 0.8265,
      "grad_norm": 1.671875,
      "learning_rate": 0.0002983559322033899,
      "loss": 4.150716400146484,
      "step": 24795
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 3.0625,
      "learning_rate": 0.0002983135593220339,
      "loss": 4.076664733886719,
      "step": 24800
    },
    {
      "epoch": 0.8268333333333333,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00029827118644067796,
      "loss": 3.7225112915039062,
      "step": 24805
    },
    {
      "epoch": 0.827,
      "grad_norm": 5.375,
      "learning_rate": 0.000298228813559322,
      "loss": 3.424124908447266,
      "step": 24810
    },
    {
      "epoch": 0.8271666666666667,
      "grad_norm": 1.578125,
      "learning_rate": 0.0002981864406779661,
      "loss": 3.600305938720703,
      "step": 24815
    },
    {
      "epoch": 0.8273333333333334,
      "grad_norm": 1.8125,
      "learning_rate": 0.0002981440677966102,
      "loss": 4.212051773071289,
      "step": 24820
    },
    {
      "epoch": 0.8275,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00029810169491525424,
      "loss": 3.700963592529297,
      "step": 24825
    },
    {
      "epoch": 0.8276666666666667,
      "grad_norm": 2.296875,
      "learning_rate": 0.0002980593220338983,
      "loss": 3.9934162139892577,
      "step": 24830
    },
    {
      "epoch": 0.8278333333333333,
      "grad_norm": 1.6875,
      "learning_rate": 0.0002980169491525424,
      "loss": 3.8052513122558596,
      "step": 24835
    },
    {
      "epoch": 0.828,
      "grad_norm": 1.796875,
      "learning_rate": 0.0002979745762711865,
      "loss": 3.214757537841797,
      "step": 24840
    },
    {
      "epoch": 0.8281666666666667,
      "grad_norm": 1.703125,
      "learning_rate": 0.0002979322033898305,
      "loss": 3.9453285217285154,
      "step": 24845
    },
    {
      "epoch": 0.8283333333333334,
      "grad_norm": 2.8125,
      "learning_rate": 0.00029788983050847457,
      "loss": 4.124361038208008,
      "step": 24850
    },
    {
      "epoch": 0.8285,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0002978474576271186,
      "loss": 4.061607360839844,
      "step": 24855
    },
    {
      "epoch": 0.8286666666666667,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0002978050847457627,
      "loss": 2.691013717651367,
      "step": 24860
    },
    {
      "epoch": 0.8288333333333333,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0002977627118644068,
      "loss": 4.255972290039063,
      "step": 24865
    },
    {
      "epoch": 0.829,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00029772033898305085,
      "loss": 3.4281280517578123,
      "step": 24870
    },
    {
      "epoch": 0.8291666666666667,
      "grad_norm": 2.359375,
      "learning_rate": 0.0002976779661016949,
      "loss": 3.5046108245849608,
      "step": 24875
    },
    {
      "epoch": 0.8293333333333334,
      "grad_norm": 1.8671875,
      "learning_rate": 0.000297635593220339,
      "loss": 3.5575935363769533,
      "step": 24880
    },
    {
      "epoch": 0.8295,
      "grad_norm": 1.46875,
      "learning_rate": 0.0002975932203389831,
      "loss": 3.656676483154297,
      "step": 24885
    },
    {
      "epoch": 0.8296666666666667,
      "grad_norm": 2.796875,
      "learning_rate": 0.0002975508474576271,
      "loss": 3.845328140258789,
      "step": 24890
    },
    {
      "epoch": 0.8298333333333333,
      "grad_norm": 2.15625,
      "learning_rate": 0.00029750847457627117,
      "loss": 4.021474456787109,
      "step": 24895
    },
    {
      "epoch": 0.83,
      "grad_norm": 2.140625,
      "learning_rate": 0.00029746610169491527,
      "loss": 3.6397415161132813,
      "step": 24900
    },
    {
      "epoch": 0.8301666666666667,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0002974237288135593,
      "loss": 3.7843273162841795,
      "step": 24905
    },
    {
      "epoch": 0.8303333333333334,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0002973813559322034,
      "loss": 2.9538145065307617,
      "step": 24910
    },
    {
      "epoch": 0.8305,
      "grad_norm": 1.9765625,
      "learning_rate": 0.00029733898305084745,
      "loss": 3.9848655700683593,
      "step": 24915
    },
    {
      "epoch": 0.8306666666666667,
      "grad_norm": 1.71875,
      "learning_rate": 0.00029729661016949155,
      "loss": 4.42517204284668,
      "step": 24920
    },
    {
      "epoch": 0.8308333333333333,
      "grad_norm": 2.1875,
      "learning_rate": 0.0002972542372881356,
      "loss": 4.335358047485352,
      "step": 24925
    },
    {
      "epoch": 0.831,
      "grad_norm": 3.140625,
      "learning_rate": 0.0002972118644067797,
      "loss": 3.6057491302490234,
      "step": 24930
    },
    {
      "epoch": 0.8311666666666667,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00029716949152542373,
      "loss": 3.889987564086914,
      "step": 24935
    },
    {
      "epoch": 0.8313333333333334,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0002971271186440678,
      "loss": 4.000101470947266,
      "step": 24940
    },
    {
      "epoch": 0.8315,
      "grad_norm": 2.390625,
      "learning_rate": 0.00029708474576271187,
      "loss": 3.2548904418945312,
      "step": 24945
    },
    {
      "epoch": 0.8316666666666667,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0002970423728813559,
      "loss": 4.112471389770508,
      "step": 24950
    },
    {
      "epoch": 0.8318333333333333,
      "grad_norm": 1.7578125,
      "learning_rate": 0.000297,
      "loss": 3.986131286621094,
      "step": 24955
    },
    {
      "epoch": 0.832,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00029695762711864405,
      "loss": 3.6429744720458985,
      "step": 24960
    },
    {
      "epoch": 0.8321666666666667,
      "grad_norm": 2.578125,
      "learning_rate": 0.00029691525423728815,
      "loss": 3.647875213623047,
      "step": 24965
    },
    {
      "epoch": 0.8323333333333334,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0002968728813559322,
      "loss": 3.858756256103516,
      "step": 24970
    },
    {
      "epoch": 0.8325,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0002968305084745763,
      "loss": 3.969521331787109,
      "step": 24975
    },
    {
      "epoch": 0.8326666666666667,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00029678813559322033,
      "loss": 4.133413696289063,
      "step": 24980
    },
    {
      "epoch": 0.8328333333333333,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00029674576271186443,
      "loss": 4.106930541992187,
      "step": 24985
    },
    {
      "epoch": 0.833,
      "grad_norm": 2.015625,
      "learning_rate": 0.00029670338983050847,
      "loss": 3.7231136322021485,
      "step": 24990
    },
    {
      "epoch": 0.8331666666666667,
      "grad_norm": 1.875,
      "learning_rate": 0.0002966610169491525,
      "loss": 4.104758453369141,
      "step": 24995
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 3.578125,
      "learning_rate": 0.0002966186440677966,
      "loss": 3.8693885803222656,
      "step": 25000
    },
    {
      "epoch": 0.8335,
      "grad_norm": 1.90625,
      "learning_rate": 0.0002965762711864407,
      "loss": 3.3113525390625,
      "step": 25005
    },
    {
      "epoch": 0.8336666666666667,
      "grad_norm": 2.125,
      "learning_rate": 0.00029653389830508475,
      "loss": 3.9196403503417967,
      "step": 25010
    },
    {
      "epoch": 0.8338333333333333,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0002964915254237288,
      "loss": 3.8548412322998047,
      "step": 25015
    },
    {
      "epoch": 0.834,
      "grad_norm": 2.078125,
      "learning_rate": 0.0002964491525423729,
      "loss": 3.8304595947265625,
      "step": 25020
    },
    {
      "epoch": 0.8341666666666666,
      "grad_norm": 1.9609375,
      "learning_rate": 0.000296406779661017,
      "loss": 3.313981628417969,
      "step": 25025
    },
    {
      "epoch": 0.8343333333333334,
      "grad_norm": 2.28125,
      "learning_rate": 0.00029636440677966103,
      "loss": 3.5265548706054686,
      "step": 25030
    },
    {
      "epoch": 0.8345,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0002963220338983051,
      "loss": 3.994920349121094,
      "step": 25035
    },
    {
      "epoch": 0.8346666666666667,
      "grad_norm": 1.2421875,
      "learning_rate": 0.0002962796610169491,
      "loss": 3.339122772216797,
      "step": 25040
    },
    {
      "epoch": 0.8348333333333333,
      "grad_norm": 2.203125,
      "learning_rate": 0.00029623728813559327,
      "loss": 3.7248905181884764,
      "step": 25045
    },
    {
      "epoch": 0.835,
      "grad_norm": 2.203125,
      "learning_rate": 0.0002961949152542373,
      "loss": 5.133195877075195,
      "step": 25050
    },
    {
      "epoch": 0.8351666666666666,
      "grad_norm": 2.078125,
      "learning_rate": 0.00029615254237288135,
      "loss": 4.473187255859375,
      "step": 25055
    },
    {
      "epoch": 0.8353333333333334,
      "grad_norm": 2.0625,
      "learning_rate": 0.0002961101694915254,
      "loss": 2.8765878677368164,
      "step": 25060
    },
    {
      "epoch": 0.8355,
      "grad_norm": 2.203125,
      "learning_rate": 0.0002960677966101695,
      "loss": 3.5997859954833986,
      "step": 25065
    },
    {
      "epoch": 0.8356666666666667,
      "grad_norm": 3.765625,
      "learning_rate": 0.0002960254237288136,
      "loss": 3.0334280014038084,
      "step": 25070
    },
    {
      "epoch": 0.8358333333333333,
      "grad_norm": 1.9765625,
      "learning_rate": 0.00029598305084745763,
      "loss": 3.712291717529297,
      "step": 25075
    },
    {
      "epoch": 0.836,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0002959406779661017,
      "loss": 3.2745948791503907,
      "step": 25080
    },
    {
      "epoch": 0.8361666666666666,
      "grad_norm": 2.15625,
      "learning_rate": 0.0002958983050847457,
      "loss": 3.759524917602539,
      "step": 25085
    },
    {
      "epoch": 0.8363333333333334,
      "grad_norm": 2.15625,
      "learning_rate": 0.00029585593220338987,
      "loss": 3.9007286071777343,
      "step": 25090
    },
    {
      "epoch": 0.8365,
      "grad_norm": 1.4296875,
      "learning_rate": 0.0002958135593220339,
      "loss": 3.3546516418457033,
      "step": 25095
    },
    {
      "epoch": 0.8366666666666667,
      "grad_norm": 2.25,
      "learning_rate": 0.00029577118644067796,
      "loss": 4.371079635620117,
      "step": 25100
    },
    {
      "epoch": 0.8368333333333333,
      "grad_norm": 4.4375,
      "learning_rate": 0.000295728813559322,
      "loss": 4.288515853881836,
      "step": 25105
    },
    {
      "epoch": 0.837,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00029568644067796615,
      "loss": 3.790850067138672,
      "step": 25110
    },
    {
      "epoch": 0.8371666666666666,
      "grad_norm": 1.609375,
      "learning_rate": 0.0002956440677966102,
      "loss": 3.7603408813476564,
      "step": 25115
    },
    {
      "epoch": 0.8373333333333334,
      "grad_norm": 1.546875,
      "learning_rate": 0.00029560169491525424,
      "loss": 3.1177085876464843,
      "step": 25120
    },
    {
      "epoch": 0.8375,
      "grad_norm": 3.84375,
      "learning_rate": 0.0002955593220338983,
      "loss": 3.953764724731445,
      "step": 25125
    },
    {
      "epoch": 0.8376666666666667,
      "grad_norm": 1.4609375,
      "learning_rate": 0.0002955169491525424,
      "loss": 3.972275161743164,
      "step": 25130
    },
    {
      "epoch": 0.8378333333333333,
      "grad_norm": 1.5625,
      "learning_rate": 0.0002954745762711865,
      "loss": 3.6717220306396485,
      "step": 25135
    },
    {
      "epoch": 0.838,
      "grad_norm": 2.296875,
      "learning_rate": 0.0002954322033898305,
      "loss": 3.3392669677734377,
      "step": 25140
    },
    {
      "epoch": 0.8381666666666666,
      "grad_norm": 2.203125,
      "learning_rate": 0.00029538983050847456,
      "loss": 3.416608428955078,
      "step": 25145
    },
    {
      "epoch": 0.8383333333333334,
      "grad_norm": 2.0,
      "learning_rate": 0.00029534745762711866,
      "loss": 4.079318618774414,
      "step": 25150
    },
    {
      "epoch": 0.8385,
      "grad_norm": 3.421875,
      "learning_rate": 0.00029530508474576275,
      "loss": 3.1903594970703124,
      "step": 25155
    },
    {
      "epoch": 0.8386666666666667,
      "grad_norm": 2.84375,
      "learning_rate": 0.0002952627118644068,
      "loss": 4.394166564941406,
      "step": 25160
    },
    {
      "epoch": 0.8388333333333333,
      "grad_norm": 2.078125,
      "learning_rate": 0.00029522033898305084,
      "loss": 3.7537139892578124,
      "step": 25165
    },
    {
      "epoch": 0.839,
      "grad_norm": 1.6875,
      "learning_rate": 0.0002951779661016949,
      "loss": 4.0128837585449215,
      "step": 25170
    },
    {
      "epoch": 0.8391666666666666,
      "grad_norm": 1.78125,
      "learning_rate": 0.000295135593220339,
      "loss": 3.811933898925781,
      "step": 25175
    },
    {
      "epoch": 0.8393333333333334,
      "grad_norm": 2.1875,
      "learning_rate": 0.0002950932203389831,
      "loss": 3.6570198059082033,
      "step": 25180
    },
    {
      "epoch": 0.8395,
      "grad_norm": 1.75,
      "learning_rate": 0.0002950508474576271,
      "loss": 3.3834774017333986,
      "step": 25185
    },
    {
      "epoch": 0.8396666666666667,
      "grad_norm": 1.578125,
      "learning_rate": 0.00029500847457627116,
      "loss": 3.9280067443847657,
      "step": 25190
    },
    {
      "epoch": 0.8398333333333333,
      "grad_norm": 1.796875,
      "learning_rate": 0.00029496610169491526,
      "loss": 2.879946708679199,
      "step": 25195
    },
    {
      "epoch": 0.84,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00029492372881355936,
      "loss": 3.9171287536621096,
      "step": 25200
    },
    {
      "epoch": 0.8401666666666666,
      "grad_norm": 1.9375,
      "learning_rate": 0.0002948813559322034,
      "loss": 4.19566650390625,
      "step": 25205
    },
    {
      "epoch": 0.8403333333333334,
      "grad_norm": 2.1875,
      "learning_rate": 0.00029483898305084744,
      "loss": 4.658138656616211,
      "step": 25210
    },
    {
      "epoch": 0.8405,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00029479661016949154,
      "loss": 3.4976421356201173,
      "step": 25215
    },
    {
      "epoch": 0.8406666666666667,
      "grad_norm": 1.5625,
      "learning_rate": 0.0002947542372881356,
      "loss": 3.461234283447266,
      "step": 25220
    },
    {
      "epoch": 0.8408333333333333,
      "grad_norm": 2.3125,
      "learning_rate": 0.0002947118644067797,
      "loss": 3.6810993194580077,
      "step": 25225
    },
    {
      "epoch": 0.841,
      "grad_norm": 2.796875,
      "learning_rate": 0.0002946694915254237,
      "loss": 4.199843215942383,
      "step": 25230
    },
    {
      "epoch": 0.8411666666666666,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0002946271186440678,
      "loss": 3.901646041870117,
      "step": 25235
    },
    {
      "epoch": 0.8413333333333334,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00029458474576271186,
      "loss": 4.713052368164062,
      "step": 25240
    },
    {
      "epoch": 0.8415,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00029454237288135596,
      "loss": 4.109991836547851,
      "step": 25245
    },
    {
      "epoch": 0.8416666666666667,
      "grad_norm": 6.78125,
      "learning_rate": 0.0002945,
      "loss": 2.995035171508789,
      "step": 25250
    },
    {
      "epoch": 0.8418333333333333,
      "grad_norm": 2.15625,
      "learning_rate": 0.0002944576271186441,
      "loss": 2.621149253845215,
      "step": 25255
    },
    {
      "epoch": 0.842,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00029441525423728814,
      "loss": 4.4588359832763675,
      "step": 25260
    },
    {
      "epoch": 0.8421666666666666,
      "grad_norm": 1.640625,
      "learning_rate": 0.0002943728813559322,
      "loss": 3.9198272705078123,
      "step": 25265
    },
    {
      "epoch": 0.8423333333333334,
      "grad_norm": 4.28125,
      "learning_rate": 0.0002943305084745763,
      "loss": 4.177059173583984,
      "step": 25270
    },
    {
      "epoch": 0.8425,
      "grad_norm": 2.390625,
      "learning_rate": 0.0002942881355932203,
      "loss": 3.4233783721923827,
      "step": 25275
    },
    {
      "epoch": 0.8426666666666667,
      "grad_norm": 1.65625,
      "learning_rate": 0.0002942457627118644,
      "loss": 3.6325149536132812,
      "step": 25280
    },
    {
      "epoch": 0.8428333333333333,
      "grad_norm": 1.96875,
      "learning_rate": 0.00029420338983050847,
      "loss": 2.9711414337158204,
      "step": 25285
    },
    {
      "epoch": 0.843,
      "grad_norm": 3.796875,
      "learning_rate": 0.00029416101694915256,
      "loss": 3.7558853149414064,
      "step": 25290
    },
    {
      "epoch": 0.8431666666666666,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0002941186440677966,
      "loss": 3.7847869873046873,
      "step": 25295
    },
    {
      "epoch": 0.8433333333333334,
      "grad_norm": 1.734375,
      "learning_rate": 0.0002940762711864407,
      "loss": 3.9536651611328124,
      "step": 25300
    },
    {
      "epoch": 0.8435,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00029403389830508475,
      "loss": 3.7683685302734373,
      "step": 25305
    },
    {
      "epoch": 0.8436666666666667,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0002939915254237288,
      "loss": 3.1347496032714846,
      "step": 25310
    },
    {
      "epoch": 0.8438333333333333,
      "grad_norm": 1.3359375,
      "learning_rate": 0.0002939491525423729,
      "loss": 2.8014434814453124,
      "step": 25315
    },
    {
      "epoch": 0.844,
      "grad_norm": 1.75,
      "learning_rate": 0.000293906779661017,
      "loss": 3.8524101257324217,
      "step": 25320
    },
    {
      "epoch": 0.8441666666666666,
      "grad_norm": 1.8046875,
      "learning_rate": 0.000293864406779661,
      "loss": 4.2194358825683596,
      "step": 25325
    },
    {
      "epoch": 0.8443333333333334,
      "grad_norm": 1.5625,
      "learning_rate": 0.00029382203389830507,
      "loss": 3.8083850860595705,
      "step": 25330
    },
    {
      "epoch": 0.8445,
      "grad_norm": 1.7734375,
      "learning_rate": 0.00029377966101694917,
      "loss": 3.4919105529785157,
      "step": 25335
    },
    {
      "epoch": 0.8446666666666667,
      "grad_norm": 1.640625,
      "learning_rate": 0.00029373728813559326,
      "loss": 3.6621212005615233,
      "step": 25340
    },
    {
      "epoch": 0.8448333333333333,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0002936949152542373,
      "loss": 3.357771301269531,
      "step": 25345
    },
    {
      "epoch": 0.845,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00029365254237288135,
      "loss": 3.7897666931152343,
      "step": 25350
    },
    {
      "epoch": 0.8451666666666666,
      "grad_norm": 2.71875,
      "learning_rate": 0.0002936101694915254,
      "loss": 3.4313446044921876,
      "step": 25355
    },
    {
      "epoch": 0.8453333333333334,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00029356779661016954,
      "loss": 4.098675918579102,
      "step": 25360
    },
    {
      "epoch": 0.8455,
      "grad_norm": 2.171875,
      "learning_rate": 0.0002935254237288136,
      "loss": 3.541082000732422,
      "step": 25365
    },
    {
      "epoch": 0.8456666666666667,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00029348305084745763,
      "loss": 3.170396614074707,
      "step": 25370
    },
    {
      "epoch": 0.8458333333333333,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00029344067796610167,
      "loss": 3.697677993774414,
      "step": 25375
    },
    {
      "epoch": 0.846,
      "grad_norm": 1.3984375,
      "learning_rate": 0.00029339830508474577,
      "loss": 3.233756256103516,
      "step": 25380
    },
    {
      "epoch": 0.8461666666666666,
      "grad_norm": 2.03125,
      "learning_rate": 0.00029335593220338987,
      "loss": 4.1738838195800785,
      "step": 25385
    },
    {
      "epoch": 0.8463333333333334,
      "grad_norm": 1.65625,
      "learning_rate": 0.0002933135593220339,
      "loss": 3.331793212890625,
      "step": 25390
    },
    {
      "epoch": 0.8465,
      "grad_norm": 2.03125,
      "learning_rate": 0.00029327118644067795,
      "loss": 4.126903533935547,
      "step": 25395
    },
    {
      "epoch": 0.8466666666666667,
      "grad_norm": 2.109375,
      "learning_rate": 0.000293228813559322,
      "loss": 3.5850311279296876,
      "step": 25400
    },
    {
      "epoch": 0.8468333333333333,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00029318644067796615,
      "loss": 4.069071960449219,
      "step": 25405
    },
    {
      "epoch": 0.847,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0002931440677966102,
      "loss": 4.346042633056641,
      "step": 25410
    },
    {
      "epoch": 0.8471666666666666,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00029310169491525423,
      "loss": 3.5272308349609376,
      "step": 25415
    },
    {
      "epoch": 0.8473333333333334,
      "grad_norm": 1.734375,
      "learning_rate": 0.0002930593220338983,
      "loss": 4.053915786743164,
      "step": 25420
    },
    {
      "epoch": 0.8475,
      "grad_norm": 1.75,
      "learning_rate": 0.0002930169491525424,
      "loss": 3.595426559448242,
      "step": 25425
    },
    {
      "epoch": 0.8476666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 0.00029297457627118647,
      "loss": 3.8562152862548826,
      "step": 25430
    },
    {
      "epoch": 0.8478333333333333,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0002929322033898305,
      "loss": 3.8728328704833985,
      "step": 25435
    },
    {
      "epoch": 0.848,
      "grad_norm": 2.453125,
      "learning_rate": 0.00029288983050847455,
      "loss": 2.728720474243164,
      "step": 25440
    },
    {
      "epoch": 0.8481666666666666,
      "grad_norm": 1.890625,
      "learning_rate": 0.00029284745762711865,
      "loss": 4.205152893066407,
      "step": 25445
    },
    {
      "epoch": 0.8483333333333334,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00029280508474576275,
      "loss": 3.611280822753906,
      "step": 25450
    },
    {
      "epoch": 0.8485,
      "grad_norm": 2.3125,
      "learning_rate": 0.0002927627118644068,
      "loss": 3.4773239135742187,
      "step": 25455
    },
    {
      "epoch": 0.8486666666666667,
      "grad_norm": 1.921875,
      "learning_rate": 0.00029272033898305083,
      "loss": 4.064442443847656,
      "step": 25460
    },
    {
      "epoch": 0.8488333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.00029267796610169493,
      "loss": 4.142294311523438,
      "step": 25465
    },
    {
      "epoch": 0.849,
      "grad_norm": 1.2421875,
      "learning_rate": 0.00029263559322033903,
      "loss": 2.9775108337402343,
      "step": 25470
    },
    {
      "epoch": 0.8491666666666666,
      "grad_norm": 2.40625,
      "learning_rate": 0.00029259322033898307,
      "loss": 4.348582077026367,
      "step": 25475
    },
    {
      "epoch": 0.8493333333333334,
      "grad_norm": 1.84375,
      "learning_rate": 0.0002925508474576271,
      "loss": 3.528468704223633,
      "step": 25480
    },
    {
      "epoch": 0.8495,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00029250847457627116,
      "loss": 3.2148967742919923,
      "step": 25485
    },
    {
      "epoch": 0.8496666666666667,
      "grad_norm": 2.21875,
      "learning_rate": 0.00029246610169491525,
      "loss": 4.26805419921875,
      "step": 25490
    },
    {
      "epoch": 0.8498333333333333,
      "grad_norm": 1.4375,
      "learning_rate": 0.00029242372881355935,
      "loss": 3.194140815734863,
      "step": 25495
    },
    {
      "epoch": 0.85,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0002923813559322034,
      "loss": 3.358464813232422,
      "step": 25500
    },
    {
      "epoch": 0.8501666666666666,
      "grad_norm": 2.109375,
      "learning_rate": 0.00029233898305084744,
      "loss": 3.207599639892578,
      "step": 25505
    },
    {
      "epoch": 0.8503333333333334,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00029229661016949153,
      "loss": 4.103420257568359,
      "step": 25510
    },
    {
      "epoch": 0.8505,
      "grad_norm": 2.15625,
      "learning_rate": 0.00029225423728813563,
      "loss": 4.134761047363281,
      "step": 25515
    },
    {
      "epoch": 0.8506666666666667,
      "grad_norm": 2.40625,
      "learning_rate": 0.0002922118644067797,
      "loss": 4.004191589355469,
      "step": 25520
    },
    {
      "epoch": 0.8508333333333333,
      "grad_norm": 1.734375,
      "learning_rate": 0.0002921694915254237,
      "loss": 4.212859344482422,
      "step": 25525
    },
    {
      "epoch": 0.851,
      "grad_norm": 1.9765625,
      "learning_rate": 0.0002921271186440678,
      "loss": 3.6102783203125,
      "step": 25530
    },
    {
      "epoch": 0.8511666666666666,
      "grad_norm": 2.171875,
      "learning_rate": 0.00029208474576271186,
      "loss": 3.6760826110839844,
      "step": 25535
    },
    {
      "epoch": 0.8513333333333334,
      "grad_norm": 1.640625,
      "learning_rate": 0.00029204237288135595,
      "loss": 3.3434684753417967,
      "step": 25540
    },
    {
      "epoch": 0.8515,
      "grad_norm": 1.7890625,
      "learning_rate": 0.000292,
      "loss": 3.2600730895996093,
      "step": 25545
    },
    {
      "epoch": 0.8516666666666667,
      "grad_norm": 2.703125,
      "learning_rate": 0.0002919576271186441,
      "loss": 3.1288646697998046,
      "step": 25550
    },
    {
      "epoch": 0.8518333333333333,
      "grad_norm": 1.8125,
      "learning_rate": 0.00029191525423728814,
      "loss": 3.976618194580078,
      "step": 25555
    },
    {
      "epoch": 0.852,
      "grad_norm": 1.546875,
      "learning_rate": 0.00029187288135593223,
      "loss": 4.150673675537109,
      "step": 25560
    },
    {
      "epoch": 0.8521666666666666,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0002918305084745763,
      "loss": 4.07428207397461,
      "step": 25565
    },
    {
      "epoch": 0.8523333333333334,
      "grad_norm": 5.53125,
      "learning_rate": 0.0002917881355932204,
      "loss": 4.316210174560547,
      "step": 25570
    },
    {
      "epoch": 0.8525,
      "grad_norm": 2.59375,
      "learning_rate": 0.0002917457627118644,
      "loss": 4.030291748046875,
      "step": 25575
    },
    {
      "epoch": 0.8526666666666667,
      "grad_norm": 1.9921875,
      "learning_rate": 0.00029170338983050846,
      "loss": 3.2080810546875,
      "step": 25580
    },
    {
      "epoch": 0.8528333333333333,
      "grad_norm": 3.15625,
      "learning_rate": 0.00029166101694915256,
      "loss": 3.643102264404297,
      "step": 25585
    },
    {
      "epoch": 0.853,
      "grad_norm": 6.375,
      "learning_rate": 0.0002916186440677966,
      "loss": 4.349444198608398,
      "step": 25590
    },
    {
      "epoch": 0.8531666666666666,
      "grad_norm": 2.546875,
      "learning_rate": 0.0002915762711864407,
      "loss": 4.565295028686523,
      "step": 25595
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 1.4375,
      "learning_rate": 0.00029153389830508474,
      "loss": 3.98583984375,
      "step": 25600
    },
    {
      "epoch": 0.8535,
      "grad_norm": 2.953125,
      "learning_rate": 0.00029149152542372884,
      "loss": 4.231090927124024,
      "step": 25605
    },
    {
      "epoch": 0.8536666666666667,
      "grad_norm": 2.3125,
      "learning_rate": 0.0002914491525423729,
      "loss": 3.660723114013672,
      "step": 25610
    },
    {
      "epoch": 0.8538333333333333,
      "grad_norm": 1.6875,
      "learning_rate": 0.000291406779661017,
      "loss": 3.8849510192871093,
      "step": 25615
    },
    {
      "epoch": 0.854,
      "grad_norm": 2.1875,
      "learning_rate": 0.000291364406779661,
      "loss": 3.496259307861328,
      "step": 25620
    },
    {
      "epoch": 0.8541666666666666,
      "grad_norm": 2.046875,
      "learning_rate": 0.00029132203389830506,
      "loss": 3.9211597442626953,
      "step": 25625
    },
    {
      "epoch": 0.8543333333333333,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00029127966101694916,
      "loss": 4.097005081176758,
      "step": 25630
    },
    {
      "epoch": 0.8545,
      "grad_norm": 1.96875,
      "learning_rate": 0.00029123728813559326,
      "loss": 3.3937519073486326,
      "step": 25635
    },
    {
      "epoch": 0.8546666666666667,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0002911949152542373,
      "loss": 4.297512435913086,
      "step": 25640
    },
    {
      "epoch": 0.8548333333333333,
      "grad_norm": 3.421875,
      "learning_rate": 0.00029115254237288134,
      "loss": 4.159230041503906,
      "step": 25645
    },
    {
      "epoch": 0.855,
      "grad_norm": 1.28125,
      "learning_rate": 0.00029111016949152544,
      "loss": 2.7741390228271485,
      "step": 25650
    },
    {
      "epoch": 0.8551666666666666,
      "grad_norm": 3.90625,
      "learning_rate": 0.00029106779661016954,
      "loss": 3.7190345764160155,
      "step": 25655
    },
    {
      "epoch": 0.8553333333333333,
      "grad_norm": 1.828125,
      "learning_rate": 0.0002910254237288136,
      "loss": 3.030248260498047,
      "step": 25660
    },
    {
      "epoch": 0.8555,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0002909830508474576,
      "loss": 3.795469284057617,
      "step": 25665
    },
    {
      "epoch": 0.8556666666666667,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00029094067796610166,
      "loss": 4.026457214355469,
      "step": 25670
    },
    {
      "epoch": 0.8558333333333333,
      "grad_norm": 2.578125,
      "learning_rate": 0.0002908983050847458,
      "loss": 4.475801086425781,
      "step": 25675
    },
    {
      "epoch": 0.856,
      "grad_norm": 1.515625,
      "learning_rate": 0.00029085593220338986,
      "loss": 4.1392662048339846,
      "step": 25680
    },
    {
      "epoch": 0.8561666666666666,
      "grad_norm": 2.59375,
      "learning_rate": 0.0002908135593220339,
      "loss": 3.6913055419921874,
      "step": 25685
    },
    {
      "epoch": 0.8563333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00029077118644067794,
      "loss": 3.2696361541748047,
      "step": 25690
    },
    {
      "epoch": 0.8565,
      "grad_norm": 1.7890625,
      "learning_rate": 0.000290728813559322,
      "loss": 4.479463195800781,
      "step": 25695
    },
    {
      "epoch": 0.8566666666666667,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00029068644067796614,
      "loss": 3.76412353515625,
      "step": 25700
    },
    {
      "epoch": 0.8568333333333333,
      "grad_norm": 3.234375,
      "learning_rate": 0.0002906440677966102,
      "loss": 3.2632671356201173,
      "step": 25705
    },
    {
      "epoch": 0.857,
      "grad_norm": 1.546875,
      "learning_rate": 0.0002906016949152542,
      "loss": 3.901894378662109,
      "step": 25710
    },
    {
      "epoch": 0.8571666666666666,
      "grad_norm": 2.546875,
      "learning_rate": 0.00029055932203389827,
      "loss": 4.159348678588867,
      "step": 25715
    },
    {
      "epoch": 0.8573333333333333,
      "grad_norm": 1.9765625,
      "learning_rate": 0.0002905169491525424,
      "loss": 3.724112701416016,
      "step": 25720
    },
    {
      "epoch": 0.8575,
      "grad_norm": 1.296875,
      "learning_rate": 0.00029047457627118646,
      "loss": 3.531632995605469,
      "step": 25725
    },
    {
      "epoch": 0.8576666666666667,
      "grad_norm": 2.6875,
      "learning_rate": 0.0002904322033898305,
      "loss": 3.9784400939941404,
      "step": 25730
    },
    {
      "epoch": 0.8578333333333333,
      "grad_norm": 1.90625,
      "learning_rate": 0.00029038983050847455,
      "loss": 4.081014251708984,
      "step": 25735
    },
    {
      "epoch": 0.858,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0002903474576271187,
      "loss": 3.7280555725097657,
      "step": 25740
    },
    {
      "epoch": 0.8581666666666666,
      "grad_norm": 2.09375,
      "learning_rate": 0.00029030508474576274,
      "loss": 3.3892372131347654,
      "step": 25745
    },
    {
      "epoch": 0.8583333333333333,
      "grad_norm": 2.71875,
      "learning_rate": 0.0002902627118644068,
      "loss": 4.2502799987792965,
      "step": 25750
    },
    {
      "epoch": 0.8585,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0002902203389830508,
      "loss": 3.5159488677978517,
      "step": 25755
    },
    {
      "epoch": 0.8586666666666667,
      "grad_norm": 2.78125,
      "learning_rate": 0.0002901779661016949,
      "loss": 3.926508331298828,
      "step": 25760
    },
    {
      "epoch": 0.8588333333333333,
      "grad_norm": 1.4375,
      "learning_rate": 0.000290135593220339,
      "loss": 3.0516437530517577,
      "step": 25765
    },
    {
      "epoch": 0.859,
      "grad_norm": 1.609375,
      "learning_rate": 0.00029009322033898306,
      "loss": 4.440785217285156,
      "step": 25770
    },
    {
      "epoch": 0.8591666666666666,
      "grad_norm": 1.78125,
      "learning_rate": 0.0002900508474576271,
      "loss": 4.337171173095703,
      "step": 25775
    },
    {
      "epoch": 0.8593333333333333,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0002900084745762712,
      "loss": 3.6446205139160157,
      "step": 25780
    },
    {
      "epoch": 0.8595,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0002899661016949153,
      "loss": 3.9897476196289063,
      "step": 25785
    },
    {
      "epoch": 0.8596666666666667,
      "grad_norm": 1.765625,
      "learning_rate": 0.00028992372881355934,
      "loss": 3.7628368377685546,
      "step": 25790
    },
    {
      "epoch": 0.8598333333333333,
      "grad_norm": 2.84375,
      "learning_rate": 0.0002898813559322034,
      "loss": 3.8768157958984375,
      "step": 25795
    },
    {
      "epoch": 0.86,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00028983898305084743,
      "loss": 3.5388519287109377,
      "step": 25800
    },
    {
      "epoch": 0.8601666666666666,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0002897966101694915,
      "loss": 3.3989589691162108,
      "step": 25805
    },
    {
      "epoch": 0.8603333333333333,
      "grad_norm": 3.546875,
      "learning_rate": 0.0002897542372881356,
      "loss": 4.1035316467285154,
      "step": 25810
    },
    {
      "epoch": 0.8605,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00028971186440677967,
      "loss": 4.672439956665039,
      "step": 25815
    },
    {
      "epoch": 0.8606666666666667,
      "grad_norm": 2.015625,
      "learning_rate": 0.0002896694915254237,
      "loss": 3.0301212310791015,
      "step": 25820
    },
    {
      "epoch": 0.8608333333333333,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0002896271186440678,
      "loss": 4.064566040039063,
      "step": 25825
    },
    {
      "epoch": 0.861,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00028958474576271185,
      "loss": 3.5872447967529295,
      "step": 25830
    },
    {
      "epoch": 0.8611666666666666,
      "grad_norm": 1.4375,
      "learning_rate": 0.00028954237288135595,
      "loss": 3.7318172454833984,
      "step": 25835
    },
    {
      "epoch": 0.8613333333333333,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0002895,
      "loss": 3.3918167114257813,
      "step": 25840
    },
    {
      "epoch": 0.8615,
      "grad_norm": 2.421875,
      "learning_rate": 0.0002894576271186441,
      "loss": 3.86627082824707,
      "step": 25845
    },
    {
      "epoch": 0.8616666666666667,
      "grad_norm": 2.25,
      "learning_rate": 0.00028941525423728813,
      "loss": 4.0133201599121096,
      "step": 25850
    },
    {
      "epoch": 0.8618333333333333,
      "grad_norm": 3.921875,
      "learning_rate": 0.0002893728813559322,
      "loss": 3.302542495727539,
      "step": 25855
    },
    {
      "epoch": 0.862,
      "grad_norm": 1.734375,
      "learning_rate": 0.00028933050847457627,
      "loss": 3.4606224060058595,
      "step": 25860
    },
    {
      "epoch": 0.8621666666666666,
      "grad_norm": 2.453125,
      "learning_rate": 0.00028928813559322037,
      "loss": 4.287688064575195,
      "step": 25865
    },
    {
      "epoch": 0.8623333333333333,
      "grad_norm": 1.90625,
      "learning_rate": 0.0002892457627118644,
      "loss": 3.741608810424805,
      "step": 25870
    },
    {
      "epoch": 0.8625,
      "grad_norm": 2.375,
      "learning_rate": 0.00028920338983050845,
      "loss": 4.063839721679687,
      "step": 25875
    },
    {
      "epoch": 0.8626666666666667,
      "grad_norm": 1.59375,
      "learning_rate": 0.00028916101694915255,
      "loss": 4.287110900878906,
      "step": 25880
    },
    {
      "epoch": 0.8628333333333333,
      "grad_norm": 3.109375,
      "learning_rate": 0.00028911864406779665,
      "loss": 4.041223526000977,
      "step": 25885
    },
    {
      "epoch": 0.863,
      "grad_norm": 1.4375,
      "learning_rate": 0.0002890762711864407,
      "loss": 4.089138031005859,
      "step": 25890
    },
    {
      "epoch": 0.8631666666666666,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00028903389830508473,
      "loss": 3.2876068115234376,
      "step": 25895
    },
    {
      "epoch": 0.8633333333333333,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00028899152542372883,
      "loss": 4.120083236694336,
      "step": 25900
    },
    {
      "epoch": 0.8635,
      "grad_norm": 1.453125,
      "learning_rate": 0.00028894915254237287,
      "loss": 3.768563079833984,
      "step": 25905
    },
    {
      "epoch": 0.8636666666666667,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00028890677966101697,
      "loss": 4.1203666687011715,
      "step": 25910
    },
    {
      "epoch": 0.8638333333333333,
      "grad_norm": 1.8671875,
      "learning_rate": 0.000288864406779661,
      "loss": 3.412959671020508,
      "step": 25915
    },
    {
      "epoch": 0.864,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00028882203389830506,
      "loss": 3.188589096069336,
      "step": 25920
    },
    {
      "epoch": 0.8641666666666666,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00028877966101694915,
      "loss": 4.110849761962891,
      "step": 25925
    },
    {
      "epoch": 0.8643333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00028873728813559325,
      "loss": 3.401688003540039,
      "step": 25930
    },
    {
      "epoch": 0.8645,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0002886949152542373,
      "loss": 3.6314777374267577,
      "step": 25935
    },
    {
      "epoch": 0.8646666666666667,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00028865254237288133,
      "loss": 3.6683429718017577,
      "step": 25940
    },
    {
      "epoch": 0.8648333333333333,
      "grad_norm": 2.6875,
      "learning_rate": 0.00028861016949152543,
      "loss": 3.8624187469482423,
      "step": 25945
    },
    {
      "epoch": 0.865,
      "grad_norm": 3.046875,
      "learning_rate": 0.00028856779661016953,
      "loss": 3.0880455017089843,
      "step": 25950
    },
    {
      "epoch": 0.8651666666666666,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00028852542372881357,
      "loss": 4.165120697021484,
      "step": 25955
    },
    {
      "epoch": 0.8653333333333333,
      "grad_norm": 1.671875,
      "learning_rate": 0.0002884830508474576,
      "loss": 4.086357879638672,
      "step": 25960
    },
    {
      "epoch": 0.8655,
      "grad_norm": 2.203125,
      "learning_rate": 0.00028844067796610166,
      "loss": 3.672527313232422,
      "step": 25965
    },
    {
      "epoch": 0.8656666666666667,
      "grad_norm": 1.9375,
      "learning_rate": 0.0002883983050847458,
      "loss": 3.6791473388671876,
      "step": 25970
    },
    {
      "epoch": 0.8658333333333333,
      "grad_norm": 1.4375,
      "learning_rate": 0.00028835593220338985,
      "loss": 3.0224817276000975,
      "step": 25975
    },
    {
      "epoch": 0.866,
      "grad_norm": 3.140625,
      "learning_rate": 0.0002883135593220339,
      "loss": 3.3305171966552733,
      "step": 25980
    },
    {
      "epoch": 0.8661666666666666,
      "grad_norm": 2.078125,
      "learning_rate": 0.00028827118644067794,
      "loss": 4.130580902099609,
      "step": 25985
    },
    {
      "epoch": 0.8663333333333333,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0002882288135593221,
      "loss": 3.7416656494140623,
      "step": 25990
    },
    {
      "epoch": 0.8665,
      "grad_norm": 2.140625,
      "learning_rate": 0.00028818644067796613,
      "loss": 3.7503700256347656,
      "step": 25995
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0002881440677966102,
      "loss": 4.059291839599609,
      "step": 26000
    },
    {
      "epoch": 0.8668333333333333,
      "grad_norm": 1.671875,
      "learning_rate": 0.0002881016949152542,
      "loss": 3.4846683502197267,
      "step": 26005
    },
    {
      "epoch": 0.867,
      "grad_norm": 1.8125,
      "learning_rate": 0.00028805932203389826,
      "loss": 4.19384994506836,
      "step": 26010
    },
    {
      "epoch": 0.8671666666666666,
      "grad_norm": 1.84375,
      "learning_rate": 0.0002880169491525424,
      "loss": 4.487982559204101,
      "step": 26015
    },
    {
      "epoch": 0.8673333333333333,
      "grad_norm": 2.1875,
      "learning_rate": 0.00028797457627118645,
      "loss": 4.353543472290039,
      "step": 26020
    },
    {
      "epoch": 0.8675,
      "grad_norm": 1.53125,
      "learning_rate": 0.0002879322033898305,
      "loss": 3.5355300903320312,
      "step": 26025
    },
    {
      "epoch": 0.8676666666666667,
      "grad_norm": 1.84375,
      "learning_rate": 0.00028788983050847454,
      "loss": 3.7517326354980467,
      "step": 26030
    },
    {
      "epoch": 0.8678333333333333,
      "grad_norm": 1.375,
      "learning_rate": 0.0002878474576271187,
      "loss": 3.2248455047607423,
      "step": 26035
    },
    {
      "epoch": 0.868,
      "grad_norm": 3.46875,
      "learning_rate": 0.00028780508474576273,
      "loss": 3.8287891387939452,
      "step": 26040
    },
    {
      "epoch": 0.8681666666666666,
      "grad_norm": 1.9140625,
      "learning_rate": 0.0002877627118644068,
      "loss": 4.0781105041503904,
      "step": 26045
    },
    {
      "epoch": 0.8683333333333333,
      "grad_norm": 1.5,
      "learning_rate": 0.0002877203389830508,
      "loss": 3.1032352447509766,
      "step": 26050
    },
    {
      "epoch": 0.8685,
      "grad_norm": 1.671875,
      "learning_rate": 0.0002876779661016949,
      "loss": 3.2447978973388674,
      "step": 26055
    },
    {
      "epoch": 0.8686666666666667,
      "grad_norm": 2.453125,
      "learning_rate": 0.000287635593220339,
      "loss": 3.5157394409179688,
      "step": 26060
    },
    {
      "epoch": 0.8688333333333333,
      "grad_norm": 2.15625,
      "learning_rate": 0.00028759322033898306,
      "loss": 3.938407135009766,
      "step": 26065
    },
    {
      "epoch": 0.869,
      "grad_norm": 1.625,
      "learning_rate": 0.0002875508474576271,
      "loss": 3.8906181335449217,
      "step": 26070
    },
    {
      "epoch": 0.8691666666666666,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0002875084745762712,
      "loss": 4.25732192993164,
      "step": 26075
    },
    {
      "epoch": 0.8693333333333333,
      "grad_norm": 2.125,
      "learning_rate": 0.0002874661016949153,
      "loss": 3.6241851806640626,
      "step": 26080
    },
    {
      "epoch": 0.8695,
      "grad_norm": 1.515625,
      "learning_rate": 0.00028742372881355934,
      "loss": 4.34216079711914,
      "step": 26085
    },
    {
      "epoch": 0.8696666666666667,
      "grad_norm": 1.25,
      "learning_rate": 0.0002873813559322034,
      "loss": 1.949502944946289,
      "step": 26090
    },
    {
      "epoch": 0.8698333333333333,
      "grad_norm": 2.0,
      "learning_rate": 0.0002873389830508475,
      "loss": 3.5079463958740233,
      "step": 26095
    },
    {
      "epoch": 0.87,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0002872966101694915,
      "loss": 3.400457000732422,
      "step": 26100
    },
    {
      "epoch": 0.8701666666666666,
      "grad_norm": 1.734375,
      "learning_rate": 0.0002872542372881356,
      "loss": 3.9165569305419923,
      "step": 26105
    },
    {
      "epoch": 0.8703333333333333,
      "grad_norm": 1.4296875,
      "learning_rate": 0.00028721186440677966,
      "loss": 3.537937545776367,
      "step": 26110
    },
    {
      "epoch": 0.8705,
      "grad_norm": 2.703125,
      "learning_rate": 0.0002871694915254237,
      "loss": 4.252129745483399,
      "step": 26115
    },
    {
      "epoch": 0.8706666666666667,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0002871271186440678,
      "loss": 3.317236328125,
      "step": 26120
    },
    {
      "epoch": 0.8708333333333333,
      "grad_norm": 2.09375,
      "learning_rate": 0.0002870847457627119,
      "loss": 3.580147933959961,
      "step": 26125
    },
    {
      "epoch": 0.871,
      "grad_norm": 1.8125,
      "learning_rate": 0.00028704237288135594,
      "loss": 3.182476043701172,
      "step": 26130
    },
    {
      "epoch": 0.8711666666666666,
      "grad_norm": 1.9453125,
      "learning_rate": 0.000287,
      "loss": 3.3758148193359374,
      "step": 26135
    },
    {
      "epoch": 0.8713333333333333,
      "grad_norm": 1.5078125,
      "learning_rate": 0.0002869576271186441,
      "loss": 3.342843246459961,
      "step": 26140
    },
    {
      "epoch": 0.8715,
      "grad_norm": 1.78125,
      "learning_rate": 0.0002869152542372881,
      "loss": 3.6433300018310546,
      "step": 26145
    },
    {
      "epoch": 0.8716666666666667,
      "grad_norm": 2.140625,
      "learning_rate": 0.0002868728813559322,
      "loss": 3.5975620269775392,
      "step": 26150
    },
    {
      "epoch": 0.8718333333333333,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00028683050847457626,
      "loss": 3.849098968505859,
      "step": 26155
    },
    {
      "epoch": 0.872,
      "grad_norm": 2.1875,
      "learning_rate": 0.00028678813559322036,
      "loss": 3.4122650146484377,
      "step": 26160
    },
    {
      "epoch": 0.8721666666666666,
      "grad_norm": 2.265625,
      "learning_rate": 0.0002867457627118644,
      "loss": 2.665828323364258,
      "step": 26165
    },
    {
      "epoch": 0.8723333333333333,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0002867033898305085,
      "loss": 3.6561630249023436,
      "step": 26170
    },
    {
      "epoch": 0.8725,
      "grad_norm": 2.0625,
      "learning_rate": 0.00028666101694915254,
      "loss": 3.274794006347656,
      "step": 26175
    },
    {
      "epoch": 0.8726666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 0.00028661864406779664,
      "loss": 4.208788681030273,
      "step": 26180
    },
    {
      "epoch": 0.8728333333333333,
      "grad_norm": 2.0625,
      "learning_rate": 0.0002865762711864407,
      "loss": 3.5331546783447267,
      "step": 26185
    },
    {
      "epoch": 0.873,
      "grad_norm": 1.78125,
      "learning_rate": 0.0002865338983050847,
      "loss": 4.178592681884766,
      "step": 26190
    },
    {
      "epoch": 0.8731666666666666,
      "grad_norm": 2.40625,
      "learning_rate": 0.0002864915254237288,
      "loss": 4.225667572021484,
      "step": 26195
    },
    {
      "epoch": 0.8733333333333333,
      "grad_norm": 2.125,
      "learning_rate": 0.0002864491525423729,
      "loss": 4.102620697021484,
      "step": 26200
    },
    {
      "epoch": 0.8735,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00028640677966101696,
      "loss": 3.5642166137695312,
      "step": 26205
    },
    {
      "epoch": 0.8736666666666667,
      "grad_norm": 1.28125,
      "learning_rate": 0.000286364406779661,
      "loss": 2.616763687133789,
      "step": 26210
    },
    {
      "epoch": 0.8738333333333334,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0002863220338983051,
      "loss": 3.900768280029297,
      "step": 26215
    },
    {
      "epoch": 0.874,
      "grad_norm": 5.125,
      "learning_rate": 0.00028627966101694915,
      "loss": 3.419699478149414,
      "step": 26220
    },
    {
      "epoch": 0.8741666666666666,
      "grad_norm": 2.0,
      "learning_rate": 0.00028623728813559324,
      "loss": 2.5624011993408202,
      "step": 26225
    },
    {
      "epoch": 0.8743333333333333,
      "grad_norm": 2.03125,
      "learning_rate": 0.0002861949152542373,
      "loss": 3.9156707763671874,
      "step": 26230
    },
    {
      "epoch": 0.8745,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00028615254237288133,
      "loss": 4.3892864227294925,
      "step": 26235
    },
    {
      "epoch": 0.8746666666666667,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0002861101694915254,
      "loss": 4.1624908447265625,
      "step": 26240
    },
    {
      "epoch": 0.8748333333333334,
      "grad_norm": 2.25,
      "learning_rate": 0.0002860677966101695,
      "loss": 3.348960113525391,
      "step": 26245
    },
    {
      "epoch": 0.875,
      "grad_norm": 1.765625,
      "learning_rate": 0.00028602542372881357,
      "loss": 3.1617353439331053,
      "step": 26250
    },
    {
      "epoch": 0.8751666666666666,
      "grad_norm": 1.859375,
      "learning_rate": 0.0002859830508474576,
      "loss": 3.5858741760253907,
      "step": 26255
    },
    {
      "epoch": 0.8753333333333333,
      "grad_norm": 2.859375,
      "learning_rate": 0.0002859406779661017,
      "loss": 4.5423847198486325,
      "step": 26260
    },
    {
      "epoch": 0.8755,
      "grad_norm": 3.09375,
      "learning_rate": 0.0002858983050847458,
      "loss": 4.2678977966308596,
      "step": 26265
    },
    {
      "epoch": 0.8756666666666667,
      "grad_norm": 7.34375,
      "learning_rate": 0.00028585593220338985,
      "loss": 3.872427749633789,
      "step": 26270
    },
    {
      "epoch": 0.8758333333333334,
      "grad_norm": 2.046875,
      "learning_rate": 0.0002858135593220339,
      "loss": 4.254593276977539,
      "step": 26275
    },
    {
      "epoch": 0.876,
      "grad_norm": 2.359375,
      "learning_rate": 0.00028577118644067793,
      "loss": 4.581552124023437,
      "step": 26280
    },
    {
      "epoch": 0.8761666666666666,
      "grad_norm": 2.234375,
      "learning_rate": 0.0002857288135593221,
      "loss": 4.2438194274902346,
      "step": 26285
    },
    {
      "epoch": 0.8763333333333333,
      "grad_norm": 1.53125,
      "learning_rate": 0.0002856864406779661,
      "loss": 3.2523658752441404,
      "step": 26290
    },
    {
      "epoch": 0.8765,
      "grad_norm": 1.828125,
      "learning_rate": 0.00028564406779661017,
      "loss": 3.8834781646728516,
      "step": 26295
    },
    {
      "epoch": 0.8766666666666667,
      "grad_norm": 1.96875,
      "learning_rate": 0.0002856016949152542,
      "loss": 3.7051517486572267,
      "step": 26300
    },
    {
      "epoch": 0.8768333333333334,
      "grad_norm": 2.171875,
      "learning_rate": 0.0002855593220338983,
      "loss": 3.1711709976196287,
      "step": 26305
    },
    {
      "epoch": 0.877,
      "grad_norm": 2.625,
      "learning_rate": 0.0002855169491525424,
      "loss": 3.8935577392578127,
      "step": 26310
    },
    {
      "epoch": 0.8771666666666667,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00028547457627118645,
      "loss": 3.4361167907714845,
      "step": 26315
    },
    {
      "epoch": 0.8773333333333333,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0002854322033898305,
      "loss": 3.3704959869384767,
      "step": 26320
    },
    {
      "epoch": 0.8775,
      "grad_norm": 2.5,
      "learning_rate": 0.00028538983050847453,
      "loss": 3.2134868621826174,
      "step": 26325
    },
    {
      "epoch": 0.8776666666666667,
      "grad_norm": 7.875,
      "learning_rate": 0.0002853474576271187,
      "loss": 4.071268844604492,
      "step": 26330
    },
    {
      "epoch": 0.8778333333333334,
      "grad_norm": 2.578125,
      "learning_rate": 0.00028530508474576273,
      "loss": 3.4465099334716798,
      "step": 26335
    },
    {
      "epoch": 0.878,
      "grad_norm": 2.78125,
      "learning_rate": 0.00028526271186440677,
      "loss": 4.549323272705078,
      "step": 26340
    },
    {
      "epoch": 0.8781666666666667,
      "grad_norm": 1.78125,
      "learning_rate": 0.0002852203389830508,
      "loss": 3.9505935668945313,
      "step": 26345
    },
    {
      "epoch": 0.8783333333333333,
      "grad_norm": 1.453125,
      "learning_rate": 0.00028517796610169497,
      "loss": 3.7159427642822265,
      "step": 26350
    },
    {
      "epoch": 0.8785,
      "grad_norm": 1.3125,
      "learning_rate": 0.000285135593220339,
      "loss": 3.0992572784423826,
      "step": 26355
    },
    {
      "epoch": 0.8786666666666667,
      "grad_norm": 1.703125,
      "learning_rate": 0.00028509322033898305,
      "loss": 4.000447845458984,
      "step": 26360
    },
    {
      "epoch": 0.8788333333333334,
      "grad_norm": 1.734375,
      "learning_rate": 0.0002850508474576271,
      "loss": 3.4177345275878905,
      "step": 26365
    },
    {
      "epoch": 0.879,
      "grad_norm": 2.21875,
      "learning_rate": 0.0002850084745762712,
      "loss": 3.7050811767578127,
      "step": 26370
    },
    {
      "epoch": 0.8791666666666667,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0002849661016949153,
      "loss": 4.166797256469726,
      "step": 26375
    },
    {
      "epoch": 0.8793333333333333,
      "grad_norm": 1.8125,
      "learning_rate": 0.00028492372881355933,
      "loss": 3.678958511352539,
      "step": 26380
    },
    {
      "epoch": 0.8795,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0002848813559322034,
      "loss": 3.6100833892822264,
      "step": 26385
    },
    {
      "epoch": 0.8796666666666667,
      "grad_norm": 4.34375,
      "learning_rate": 0.00028483898305084747,
      "loss": 3.5495632171630858,
      "step": 26390
    },
    {
      "epoch": 0.8798333333333334,
      "grad_norm": 2.265625,
      "learning_rate": 0.00028479661016949157,
      "loss": 3.791366958618164,
      "step": 26395
    },
    {
      "epoch": 0.88,
      "grad_norm": 2.171875,
      "learning_rate": 0.0002847542372881356,
      "loss": 4.717217636108399,
      "step": 26400
    },
    {
      "epoch": 0.8801666666666667,
      "grad_norm": 1.640625,
      "learning_rate": 0.00028471186440677965,
      "loss": 3.7609691619873047,
      "step": 26405
    },
    {
      "epoch": 0.8803333333333333,
      "grad_norm": 5.34375,
      "learning_rate": 0.0002846694915254237,
      "loss": 3.959605026245117,
      "step": 26410
    },
    {
      "epoch": 0.8805,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0002846271186440678,
      "loss": 3.643756103515625,
      "step": 26415
    },
    {
      "epoch": 0.8806666666666667,
      "grad_norm": 2.15625,
      "learning_rate": 0.0002845847457627119,
      "loss": 3.797657775878906,
      "step": 26420
    },
    {
      "epoch": 0.8808333333333334,
      "grad_norm": 1.9375,
      "learning_rate": 0.00028454237288135593,
      "loss": 4.104398727416992,
      "step": 26425
    },
    {
      "epoch": 0.881,
      "grad_norm": 2.84375,
      "learning_rate": 0.0002845,
      "loss": 3.467593765258789,
      "step": 26430
    },
    {
      "epoch": 0.8811666666666667,
      "grad_norm": 2.09375,
      "learning_rate": 0.0002844576271186441,
      "loss": 4.110173034667969,
      "step": 26435
    },
    {
      "epoch": 0.8813333333333333,
      "grad_norm": 1.671875,
      "learning_rate": 0.00028441525423728817,
      "loss": 4.23988037109375,
      "step": 26440
    },
    {
      "epoch": 0.8815,
      "grad_norm": 3.1875,
      "learning_rate": 0.0002843728813559322,
      "loss": 3.634292221069336,
      "step": 26445
    },
    {
      "epoch": 0.8816666666666667,
      "grad_norm": 2.21875,
      "learning_rate": 0.00028433050847457626,
      "loss": 3.803318405151367,
      "step": 26450
    },
    {
      "epoch": 0.8818333333333334,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00028428813559322035,
      "loss": 4.001441192626953,
      "step": 26455
    },
    {
      "epoch": 0.882,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0002842457627118644,
      "loss": 3.7971641540527346,
      "step": 26460
    },
    {
      "epoch": 0.8821666666666667,
      "grad_norm": 2.984375,
      "learning_rate": 0.0002842033898305085,
      "loss": 3.695233917236328,
      "step": 26465
    },
    {
      "epoch": 0.8823333333333333,
      "grad_norm": 2.109375,
      "learning_rate": 0.00028416101694915254,
      "loss": 4.948067855834961,
      "step": 26470
    },
    {
      "epoch": 0.8825,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00028411864406779663,
      "loss": 3.725019073486328,
      "step": 26475
    },
    {
      "epoch": 0.8826666666666667,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0002840762711864407,
      "loss": 4.4542900085449215,
      "step": 26480
    },
    {
      "epoch": 0.8828333333333334,
      "grad_norm": 4.15625,
      "learning_rate": 0.0002840338983050848,
      "loss": 3.58692626953125,
      "step": 26485
    },
    {
      "epoch": 0.883,
      "grad_norm": 2.03125,
      "learning_rate": 0.0002839915254237288,
      "loss": 3.6284088134765624,
      "step": 26490
    },
    {
      "epoch": 0.8831666666666667,
      "grad_norm": 5.59375,
      "learning_rate": 0.0002839491525423729,
      "loss": 3.6206432342529298,
      "step": 26495
    },
    {
      "epoch": 0.8833333333333333,
      "grad_norm": 2.609375,
      "learning_rate": 0.00028390677966101696,
      "loss": 3.374644088745117,
      "step": 26500
    },
    {
      "epoch": 0.8835,
      "grad_norm": 2.453125,
      "learning_rate": 0.000283864406779661,
      "loss": 3.481535720825195,
      "step": 26505
    },
    {
      "epoch": 0.8836666666666667,
      "grad_norm": 1.953125,
      "learning_rate": 0.0002838220338983051,
      "loss": 4.151327514648438,
      "step": 26510
    },
    {
      "epoch": 0.8838333333333334,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00028377966101694914,
      "loss": 3.0954025268554686,
      "step": 26515
    },
    {
      "epoch": 0.884,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00028373728813559324,
      "loss": 3.921782684326172,
      "step": 26520
    },
    {
      "epoch": 0.8841666666666667,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0002836949152542373,
      "loss": 3.7146263122558594,
      "step": 26525
    },
    {
      "epoch": 0.8843333333333333,
      "grad_norm": 2.046875,
      "learning_rate": 0.0002836525423728814,
      "loss": 3.7443012237548827,
      "step": 26530
    },
    {
      "epoch": 0.8845,
      "grad_norm": 4.15625,
      "learning_rate": 0.0002836101694915254,
      "loss": 3.996377182006836,
      "step": 26535
    },
    {
      "epoch": 0.8846666666666667,
      "grad_norm": 2.09375,
      "learning_rate": 0.0002835677966101695,
      "loss": 3.853158950805664,
      "step": 26540
    },
    {
      "epoch": 0.8848333333333334,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00028352542372881356,
      "loss": 3.6779579162597655,
      "step": 26545
    },
    {
      "epoch": 0.885,
      "grad_norm": 2.546875,
      "learning_rate": 0.0002834830508474576,
      "loss": 2.9983360290527346,
      "step": 26550
    },
    {
      "epoch": 0.8851666666666667,
      "grad_norm": 4.6875,
      "learning_rate": 0.0002834406779661017,
      "loss": 3.4916492462158204,
      "step": 26555
    },
    {
      "epoch": 0.8853333333333333,
      "grad_norm": 1.5,
      "learning_rate": 0.0002833983050847458,
      "loss": 3.340494155883789,
      "step": 26560
    },
    {
      "epoch": 0.8855,
      "grad_norm": 1.484375,
      "learning_rate": 0.00028335593220338984,
      "loss": 3.610958480834961,
      "step": 26565
    },
    {
      "epoch": 0.8856666666666667,
      "grad_norm": 1.59375,
      "learning_rate": 0.0002833135593220339,
      "loss": 3.9256874084472657,
      "step": 26570
    },
    {
      "epoch": 0.8858333333333334,
      "grad_norm": 1.7734375,
      "learning_rate": 0.000283271186440678,
      "loss": 3.4700248718261717,
      "step": 26575
    },
    {
      "epoch": 0.886,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0002832288135593221,
      "loss": 3.396326446533203,
      "step": 26580
    },
    {
      "epoch": 0.8861666666666667,
      "grad_norm": 1.59375,
      "learning_rate": 0.0002831864406779661,
      "loss": 3.596261215209961,
      "step": 26585
    },
    {
      "epoch": 0.8863333333333333,
      "grad_norm": 1.9375,
      "learning_rate": 0.00028314406779661016,
      "loss": 3.3168312072753907,
      "step": 26590
    },
    {
      "epoch": 0.8865,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0002831016949152542,
      "loss": 3.4115673065185548,
      "step": 26595
    },
    {
      "epoch": 0.8866666666666667,
      "grad_norm": 1.765625,
      "learning_rate": 0.00028305932203389836,
      "loss": 4.297587966918945,
      "step": 26600
    },
    {
      "epoch": 0.8868333333333334,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0002830169491525424,
      "loss": 3.0574386596679686,
      "step": 26605
    },
    {
      "epoch": 0.887,
      "grad_norm": 1.3515625,
      "learning_rate": 0.00028297457627118644,
      "loss": 3.5361186981201174,
      "step": 26610
    },
    {
      "epoch": 0.8871666666666667,
      "grad_norm": 2.734375,
      "learning_rate": 0.0002829322033898305,
      "loss": 3.47955436706543,
      "step": 26615
    },
    {
      "epoch": 0.8873333333333333,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0002828898305084746,
      "loss": 4.5001976013183596,
      "step": 26620
    },
    {
      "epoch": 0.8875,
      "grad_norm": 1.859375,
      "learning_rate": 0.0002828474576271187,
      "loss": 3.85247688293457,
      "step": 26625
    },
    {
      "epoch": 0.8876666666666667,
      "grad_norm": 2.453125,
      "learning_rate": 0.0002828050847457627,
      "loss": 4.358371353149414,
      "step": 26630
    },
    {
      "epoch": 0.8878333333333334,
      "grad_norm": 1.609375,
      "learning_rate": 0.00028276271186440676,
      "loss": 3.641203689575195,
      "step": 26635
    },
    {
      "epoch": 0.888,
      "grad_norm": 3.328125,
      "learning_rate": 0.0002827203389830508,
      "loss": 4.153206253051758,
      "step": 26640
    },
    {
      "epoch": 0.8881666666666667,
      "grad_norm": 1.671875,
      "learning_rate": 0.00028267796610169496,
      "loss": 3.2729949951171875,
      "step": 26645
    },
    {
      "epoch": 0.8883333333333333,
      "grad_norm": 2.09375,
      "learning_rate": 0.000282635593220339,
      "loss": 3.8068241119384765,
      "step": 26650
    },
    {
      "epoch": 0.8885,
      "grad_norm": 1.8125,
      "learning_rate": 0.00028259322033898304,
      "loss": 3.5044200897216795,
      "step": 26655
    },
    {
      "epoch": 0.8886666666666667,
      "grad_norm": 1.265625,
      "learning_rate": 0.0002825508474576271,
      "loss": 3.2114124298095703,
      "step": 26660
    },
    {
      "epoch": 0.8888333333333334,
      "grad_norm": 1.265625,
      "learning_rate": 0.00028250847457627124,
      "loss": 2.671895408630371,
      "step": 26665
    },
    {
      "epoch": 0.889,
      "grad_norm": 2.015625,
      "learning_rate": 0.0002824661016949153,
      "loss": 4.096253204345703,
      "step": 26670
    },
    {
      "epoch": 0.8891666666666667,
      "grad_norm": 1.734375,
      "learning_rate": 0.0002824237288135593,
      "loss": 3.581221008300781,
      "step": 26675
    },
    {
      "epoch": 0.8893333333333333,
      "grad_norm": 1.671875,
      "learning_rate": 0.00028238135593220337,
      "loss": 3.7318092346191407,
      "step": 26680
    },
    {
      "epoch": 0.8895,
      "grad_norm": 1.96875,
      "learning_rate": 0.00028233898305084746,
      "loss": 3.462297821044922,
      "step": 26685
    },
    {
      "epoch": 0.8896666666666667,
      "grad_norm": 2.25,
      "learning_rate": 0.00028229661016949156,
      "loss": 3.3801040649414062,
      "step": 26690
    },
    {
      "epoch": 0.8898333333333334,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0002822542372881356,
      "loss": 3.5226749420166015,
      "step": 26695
    },
    {
      "epoch": 0.89,
      "grad_norm": 2.1875,
      "learning_rate": 0.00028221186440677965,
      "loss": 4.443761825561523,
      "step": 26700
    },
    {
      "epoch": 0.8901666666666667,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00028216949152542374,
      "loss": 3.6706096649169924,
      "step": 26705
    },
    {
      "epoch": 0.8903333333333333,
      "grad_norm": 1.375,
      "learning_rate": 0.00028212711864406784,
      "loss": 3.539101791381836,
      "step": 26710
    },
    {
      "epoch": 0.8905,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0002820847457627119,
      "loss": 4.220333099365234,
      "step": 26715
    },
    {
      "epoch": 0.8906666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 0.0002820423728813559,
      "loss": 3.5179725646972657,
      "step": 26720
    },
    {
      "epoch": 0.8908333333333334,
      "grad_norm": 1.921875,
      "learning_rate": 0.00028199999999999997,
      "loss": 4.179716491699219,
      "step": 26725
    },
    {
      "epoch": 0.891,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00028195762711864407,
      "loss": 3.7567363739013673,
      "step": 26730
    },
    {
      "epoch": 0.8911666666666667,
      "grad_norm": 1.765625,
      "learning_rate": 0.00028191525423728816,
      "loss": 4.246825790405273,
      "step": 26735
    },
    {
      "epoch": 0.8913333333333333,
      "grad_norm": 4.09375,
      "learning_rate": 0.0002818728813559322,
      "loss": 3.1176342010498046,
      "step": 26740
    },
    {
      "epoch": 0.8915,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00028183050847457625,
      "loss": 4.030251693725586,
      "step": 26745
    },
    {
      "epoch": 0.8916666666666667,
      "grad_norm": 1.84375,
      "learning_rate": 0.00028178813559322035,
      "loss": 3.7396263122558593,
      "step": 26750
    },
    {
      "epoch": 0.8918333333333334,
      "grad_norm": 2.296875,
      "learning_rate": 0.00028174576271186444,
      "loss": 3.460420608520508,
      "step": 26755
    },
    {
      "epoch": 0.892,
      "grad_norm": 1.671875,
      "learning_rate": 0.0002817033898305085,
      "loss": 3.6578025817871094,
      "step": 26760
    },
    {
      "epoch": 0.8921666666666667,
      "grad_norm": 1.328125,
      "learning_rate": 0.00028166101694915253,
      "loss": 3.030421829223633,
      "step": 26765
    },
    {
      "epoch": 0.8923333333333333,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0002816186440677966,
      "loss": 3.1141212463378904,
      "step": 26770
    },
    {
      "epoch": 0.8925,
      "grad_norm": 5.25,
      "learning_rate": 0.00028157627118644067,
      "loss": 3.6643753051757812,
      "step": 26775
    },
    {
      "epoch": 0.8926666666666667,
      "grad_norm": 1.640625,
      "learning_rate": 0.00028153389830508477,
      "loss": 3.2905300140380858,
      "step": 26780
    },
    {
      "epoch": 0.8928333333333334,
      "grad_norm": 2.015625,
      "learning_rate": 0.0002814915254237288,
      "loss": 3.5162704467773436,
      "step": 26785
    },
    {
      "epoch": 0.893,
      "grad_norm": 2.0,
      "learning_rate": 0.0002814491525423729,
      "loss": 3.497233581542969,
      "step": 26790
    },
    {
      "epoch": 0.8931666666666667,
      "grad_norm": 1.578125,
      "learning_rate": 0.00028140677966101695,
      "loss": 3.2232303619384766,
      "step": 26795
    },
    {
      "epoch": 0.8933333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00028136440677966105,
      "loss": 3.3878738403320314,
      "step": 26800
    },
    {
      "epoch": 0.8935,
      "grad_norm": 2.296875,
      "learning_rate": 0.0002813220338983051,
      "loss": 3.929875946044922,
      "step": 26805
    },
    {
      "epoch": 0.8936666666666667,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0002812796610169492,
      "loss": 3.5428787231445313,
      "step": 26810
    },
    {
      "epoch": 0.8938333333333334,
      "grad_norm": 1.90625,
      "learning_rate": 0.00028123728813559323,
      "loss": 3.4245540618896486,
      "step": 26815
    },
    {
      "epoch": 0.894,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00028119491525423727,
      "loss": 4.317236328125,
      "step": 26820
    },
    {
      "epoch": 0.8941666666666667,
      "grad_norm": 2.5625,
      "learning_rate": 0.00028115254237288137,
      "loss": 4.369800567626953,
      "step": 26825
    },
    {
      "epoch": 0.8943333333333333,
      "grad_norm": 2.09375,
      "learning_rate": 0.0002811101694915254,
      "loss": 2.977366065979004,
      "step": 26830
    },
    {
      "epoch": 0.8945,
      "grad_norm": 1.953125,
      "learning_rate": 0.0002810677966101695,
      "loss": 4.29626579284668,
      "step": 26835
    },
    {
      "epoch": 0.8946666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 0.00028102542372881355,
      "loss": 2.99979190826416,
      "step": 26840
    },
    {
      "epoch": 0.8948333333333334,
      "grad_norm": 2.28125,
      "learning_rate": 0.0002809830508474576,
      "loss": 4.050188827514648,
      "step": 26845
    },
    {
      "epoch": 0.895,
      "grad_norm": 1.90625,
      "learning_rate": 0.0002809406779661017,
      "loss": 3.5532432556152345,
      "step": 26850
    },
    {
      "epoch": 0.8951666666666667,
      "grad_norm": 2.453125,
      "learning_rate": 0.0002808983050847458,
      "loss": 4.266989898681641,
      "step": 26855
    },
    {
      "epoch": 0.8953333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.00028085593220338983,
      "loss": 4.056335067749023,
      "step": 26860
    },
    {
      "epoch": 0.8955,
      "grad_norm": 2.046875,
      "learning_rate": 0.0002808135593220339,
      "loss": 3.51121826171875,
      "step": 26865
    },
    {
      "epoch": 0.8956666666666667,
      "grad_norm": 1.828125,
      "learning_rate": 0.00028077118644067797,
      "loss": 4.167827987670899,
      "step": 26870
    },
    {
      "epoch": 0.8958333333333334,
      "grad_norm": 1.3359375,
      "learning_rate": 0.00028072881355932207,
      "loss": 2.8291885375976564,
      "step": 26875
    },
    {
      "epoch": 0.896,
      "grad_norm": 1.890625,
      "learning_rate": 0.0002806864406779661,
      "loss": 3.598532867431641,
      "step": 26880
    },
    {
      "epoch": 0.8961666666666667,
      "grad_norm": 1.4453125,
      "learning_rate": 0.00028064406779661016,
      "loss": 3.275106430053711,
      "step": 26885
    },
    {
      "epoch": 0.8963333333333333,
      "grad_norm": 2.15625,
      "learning_rate": 0.0002806016949152542,
      "loss": 3.8190879821777344,
      "step": 26890
    },
    {
      "epoch": 0.8965,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00028055932203389835,
      "loss": 4.246223831176758,
      "step": 26895
    },
    {
      "epoch": 0.8966666666666666,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0002805169491525424,
      "loss": 4.197781753540039,
      "step": 26900
    },
    {
      "epoch": 0.8968333333333334,
      "grad_norm": 1.8125,
      "learning_rate": 0.00028047457627118644,
      "loss": 3.771030807495117,
      "step": 26905
    },
    {
      "epoch": 0.897,
      "grad_norm": 1.6875,
      "learning_rate": 0.0002804322033898305,
      "loss": 4.099612426757813,
      "step": 26910
    },
    {
      "epoch": 0.8971666666666667,
      "grad_norm": 2.265625,
      "learning_rate": 0.00028038983050847463,
      "loss": 3.8089530944824217,
      "step": 26915
    },
    {
      "epoch": 0.8973333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00028034745762711867,
      "loss": 4.170370864868164,
      "step": 26920
    },
    {
      "epoch": 0.8975,
      "grad_norm": 2.015625,
      "learning_rate": 0.0002803050847457627,
      "loss": 3.76817626953125,
      "step": 26925
    },
    {
      "epoch": 0.8976666666666666,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00028026271186440676,
      "loss": 3.5543704986572267,
      "step": 26930
    },
    {
      "epoch": 0.8978333333333334,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0002802203389830508,
      "loss": 3.678958511352539,
      "step": 26935
    },
    {
      "epoch": 0.898,
      "grad_norm": 2.046875,
      "learning_rate": 0.00028017796610169495,
      "loss": 3.498146820068359,
      "step": 26940
    },
    {
      "epoch": 0.8981666666666667,
      "grad_norm": 1.5546875,
      "learning_rate": 0.000280135593220339,
      "loss": 3.430330276489258,
      "step": 26945
    },
    {
      "epoch": 0.8983333333333333,
      "grad_norm": 1.765625,
      "learning_rate": 0.00028009322033898304,
      "loss": 3.8687759399414063,
      "step": 26950
    },
    {
      "epoch": 0.8985,
      "grad_norm": 1.953125,
      "learning_rate": 0.0002800508474576271,
      "loss": 3.6629146575927733,
      "step": 26955
    },
    {
      "epoch": 0.8986666666666666,
      "grad_norm": 2.390625,
      "learning_rate": 0.00028000847457627123,
      "loss": 3.096261978149414,
      "step": 26960
    },
    {
      "epoch": 0.8988333333333334,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0002799661016949153,
      "loss": 3.4730850219726563,
      "step": 26965
    },
    {
      "epoch": 0.899,
      "grad_norm": 2.171875,
      "learning_rate": 0.0002799237288135593,
      "loss": 3.6444774627685548,
      "step": 26970
    },
    {
      "epoch": 0.8991666666666667,
      "grad_norm": 1.8125,
      "learning_rate": 0.00027988135593220336,
      "loss": 3.7597671508789063,
      "step": 26975
    },
    {
      "epoch": 0.8993333333333333,
      "grad_norm": 2.5,
      "learning_rate": 0.00027983898305084746,
      "loss": 3.820870208740234,
      "step": 26980
    },
    {
      "epoch": 0.8995,
      "grad_norm": 2.125,
      "learning_rate": 0.00027979661016949155,
      "loss": 3.265100860595703,
      "step": 26985
    },
    {
      "epoch": 0.8996666666666666,
      "grad_norm": 8.375,
      "learning_rate": 0.0002797542372881356,
      "loss": 3.9576622009277345,
      "step": 26990
    },
    {
      "epoch": 0.8998333333333334,
      "grad_norm": 1.75,
      "learning_rate": 0.00027971186440677964,
      "loss": 4.114253997802734,
      "step": 26995
    },
    {
      "epoch": 0.9,
      "grad_norm": 2.015625,
      "learning_rate": 0.00027966949152542374,
      "loss": 3.8370643615722657,
      "step": 27000
    },
    {
      "epoch": 0.9001666666666667,
      "grad_norm": 1.4140625,
      "learning_rate": 0.00027962711864406783,
      "loss": 3.929853057861328,
      "step": 27005
    },
    {
      "epoch": 0.9003333333333333,
      "grad_norm": 1.875,
      "learning_rate": 0.0002795847457627119,
      "loss": 3.9546329498291017,
      "step": 27010
    },
    {
      "epoch": 0.9005,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0002795423728813559,
      "loss": 3.746442413330078,
      "step": 27015
    },
    {
      "epoch": 0.9006666666666666,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0002795,
      "loss": 3.6818305969238283,
      "step": 27020
    },
    {
      "epoch": 0.9008333333333334,
      "grad_norm": 2.375,
      "learning_rate": 0.00027945762711864406,
      "loss": 3.4903949737548827,
      "step": 27025
    },
    {
      "epoch": 0.901,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00027941525423728816,
      "loss": 4.102175521850586,
      "step": 27030
    },
    {
      "epoch": 0.9011666666666667,
      "grad_norm": 1.96875,
      "learning_rate": 0.0002793728813559322,
      "loss": 3.4177486419677736,
      "step": 27035
    },
    {
      "epoch": 0.9013333333333333,
      "grad_norm": 1.4609375,
      "learning_rate": 0.00027933050847457624,
      "loss": 2.763538360595703,
      "step": 27040
    },
    {
      "epoch": 0.9015,
      "grad_norm": 2.28125,
      "learning_rate": 0.00027928813559322034,
      "loss": 3.7098670959472657,
      "step": 27045
    },
    {
      "epoch": 0.9016666666666666,
      "grad_norm": 2.46875,
      "learning_rate": 0.00027924576271186444,
      "loss": 3.461560821533203,
      "step": 27050
    },
    {
      "epoch": 0.9018333333333334,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0002792033898305085,
      "loss": 3.8937023162841795,
      "step": 27055
    },
    {
      "epoch": 0.902,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0002791610169491525,
      "loss": 2.7819936752319334,
      "step": 27060
    },
    {
      "epoch": 0.9021666666666667,
      "grad_norm": 1.890625,
      "learning_rate": 0.0002791186440677966,
      "loss": 3.434923553466797,
      "step": 27065
    },
    {
      "epoch": 0.9023333333333333,
      "grad_norm": 2.1875,
      "learning_rate": 0.00027907627118644066,
      "loss": 3.702931213378906,
      "step": 27070
    },
    {
      "epoch": 0.9025,
      "grad_norm": 1.65625,
      "learning_rate": 0.00027903389830508476,
      "loss": 2.7689619064331055,
      "step": 27075
    },
    {
      "epoch": 0.9026666666666666,
      "grad_norm": 1.171875,
      "learning_rate": 0.0002789915254237288,
      "loss": 3.4538299560546877,
      "step": 27080
    },
    {
      "epoch": 0.9028333333333334,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0002789491525423729,
      "loss": 4.383350372314453,
      "step": 27085
    },
    {
      "epoch": 0.903,
      "grad_norm": 4.28125,
      "learning_rate": 0.00027890677966101694,
      "loss": 4.008140563964844,
      "step": 27090
    },
    {
      "epoch": 0.9031666666666667,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00027886440677966104,
      "loss": 3.3429023742675783,
      "step": 27095
    },
    {
      "epoch": 0.9033333333333333,
      "grad_norm": 1.65625,
      "learning_rate": 0.0002788220338983051,
      "loss": 3.688496398925781,
      "step": 27100
    },
    {
      "epoch": 0.9035,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0002787796610169492,
      "loss": 4.098812103271484,
      "step": 27105
    },
    {
      "epoch": 0.9036666666666666,
      "grad_norm": 2.265625,
      "learning_rate": 0.0002787372881355932,
      "loss": 3.814000701904297,
      "step": 27110
    },
    {
      "epoch": 0.9038333333333334,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00027869491525423727,
      "loss": 3.4072132110595703,
      "step": 27115
    },
    {
      "epoch": 0.904,
      "grad_norm": 1.546875,
      "learning_rate": 0.00027865254237288136,
      "loss": 3.8026451110839843,
      "step": 27120
    },
    {
      "epoch": 0.9041666666666667,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00027861016949152546,
      "loss": 3.7154586791992186,
      "step": 27125
    },
    {
      "epoch": 0.9043333333333333,
      "grad_norm": 2.671875,
      "learning_rate": 0.0002785677966101695,
      "loss": 4.045048522949219,
      "step": 27130
    },
    {
      "epoch": 0.9045,
      "grad_norm": 1.875,
      "learning_rate": 0.00027852542372881355,
      "loss": 3.339375686645508,
      "step": 27135
    },
    {
      "epoch": 0.9046666666666666,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00027848305084745764,
      "loss": 3.4830799102783203,
      "step": 27140
    },
    {
      "epoch": 0.9048333333333334,
      "grad_norm": 1.5625,
      "learning_rate": 0.0002784406779661017,
      "loss": 3.9532299041748047,
      "step": 27145
    },
    {
      "epoch": 0.905,
      "grad_norm": 2.265625,
      "learning_rate": 0.0002783983050847458,
      "loss": 2.988599395751953,
      "step": 27150
    },
    {
      "epoch": 0.9051666666666667,
      "grad_norm": 2.390625,
      "learning_rate": 0.0002783559322033898,
      "loss": 2.347979736328125,
      "step": 27155
    },
    {
      "epoch": 0.9053333333333333,
      "grad_norm": 1.734375,
      "learning_rate": 0.00027831355932203387,
      "loss": 3.1316036224365233,
      "step": 27160
    },
    {
      "epoch": 0.9055,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00027827118644067797,
      "loss": 3.5976272583007813,
      "step": 27165
    },
    {
      "epoch": 0.9056666666666666,
      "grad_norm": 2.84375,
      "learning_rate": 0.00027822881355932206,
      "loss": 3.4687374114990233,
      "step": 27170
    },
    {
      "epoch": 0.9058333333333334,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0002781864406779661,
      "loss": 4.4436687469482425,
      "step": 27175
    },
    {
      "epoch": 0.906,
      "grad_norm": 1.234375,
      "learning_rate": 0.00027814406779661015,
      "loss": 2.998642158508301,
      "step": 27180
    },
    {
      "epoch": 0.9061666666666667,
      "grad_norm": 1.75,
      "learning_rate": 0.00027810169491525425,
      "loss": 3.29853515625,
      "step": 27185
    },
    {
      "epoch": 0.9063333333333333,
      "grad_norm": 1.4921875,
      "learning_rate": 0.00027805932203389834,
      "loss": 3.9331619262695314,
      "step": 27190
    },
    {
      "epoch": 0.9065,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0002780169491525424,
      "loss": 3.7342803955078123,
      "step": 27195
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00027797457627118643,
      "loss": 2.6168891906738283,
      "step": 27200
    },
    {
      "epoch": 0.9068333333333334,
      "grad_norm": 1.1953125,
      "learning_rate": 0.00027793220338983047,
      "loss": 2.6917726516723635,
      "step": 27205
    },
    {
      "epoch": 0.907,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0002778898305084746,
      "loss": 3.5365333557128906,
      "step": 27210
    },
    {
      "epoch": 0.9071666666666667,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00027784745762711867,
      "loss": 4.146976470947266,
      "step": 27215
    },
    {
      "epoch": 0.9073333333333333,
      "grad_norm": 2.546875,
      "learning_rate": 0.0002778050847457627,
      "loss": 3.8157684326171877,
      "step": 27220
    },
    {
      "epoch": 0.9075,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00027776271186440675,
      "loss": 3.7234542846679686,
      "step": 27225
    },
    {
      "epoch": 0.9076666666666666,
      "grad_norm": 2.0625,
      "learning_rate": 0.0002777203389830509,
      "loss": 4.202299118041992,
      "step": 27230
    },
    {
      "epoch": 0.9078333333333334,
      "grad_norm": 2.390625,
      "learning_rate": 0.00027767796610169495,
      "loss": 4.007057571411133,
      "step": 27235
    },
    {
      "epoch": 0.908,
      "grad_norm": 2.46875,
      "learning_rate": 0.000277635593220339,
      "loss": 3.929988479614258,
      "step": 27240
    },
    {
      "epoch": 0.9081666666666667,
      "grad_norm": 1.84375,
      "learning_rate": 0.00027759322033898303,
      "loss": 3.7418975830078125,
      "step": 27245
    },
    {
      "epoch": 0.9083333333333333,
      "grad_norm": 3.890625,
      "learning_rate": 0.0002775508474576271,
      "loss": 3.880305862426758,
      "step": 27250
    },
    {
      "epoch": 0.9085,
      "grad_norm": 2.125,
      "learning_rate": 0.0002775084745762712,
      "loss": 3.729512405395508,
      "step": 27255
    },
    {
      "epoch": 0.9086666666666666,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00027746610169491527,
      "loss": 3.7329547882080076,
      "step": 27260
    },
    {
      "epoch": 0.9088333333333334,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0002774237288135593,
      "loss": 2.381985664367676,
      "step": 27265
    },
    {
      "epoch": 0.909,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00027738135593220335,
      "loss": 3.3745262145996096,
      "step": 27270
    },
    {
      "epoch": 0.9091666666666667,
      "grad_norm": 1.96875,
      "learning_rate": 0.0002773389830508475,
      "loss": 3.643820953369141,
      "step": 27275
    },
    {
      "epoch": 0.9093333333333333,
      "grad_norm": 2.65625,
      "learning_rate": 0.00027729661016949155,
      "loss": 4.1728870391845705,
      "step": 27280
    },
    {
      "epoch": 0.9095,
      "grad_norm": 1.8828125,
      "learning_rate": 0.0002772542372881356,
      "loss": 3.6572498321533202,
      "step": 27285
    },
    {
      "epoch": 0.9096666666666666,
      "grad_norm": 2.59375,
      "learning_rate": 0.00027721186440677963,
      "loss": 3.3385269165039064,
      "step": 27290
    },
    {
      "epoch": 0.9098333333333334,
      "grad_norm": 1.2109375,
      "learning_rate": 0.00027716949152542373,
      "loss": 2.4045669555664064,
      "step": 27295
    },
    {
      "epoch": 0.91,
      "grad_norm": 1.9765625,
      "learning_rate": 0.00027712711864406783,
      "loss": 3.9430259704589843,
      "step": 27300
    },
    {
      "epoch": 0.9101666666666667,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00027708474576271187,
      "loss": 3.858042526245117,
      "step": 27305
    },
    {
      "epoch": 0.9103333333333333,
      "grad_norm": 1.953125,
      "learning_rate": 0.0002770423728813559,
      "loss": 4.074942016601563,
      "step": 27310
    },
    {
      "epoch": 0.9105,
      "grad_norm": 4.34375,
      "learning_rate": 0.000277,
      "loss": 4.208332061767578,
      "step": 27315
    },
    {
      "epoch": 0.9106666666666666,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0002769576271186441,
      "loss": 4.408793640136719,
      "step": 27320
    },
    {
      "epoch": 0.9108333333333334,
      "grad_norm": 1.84375,
      "learning_rate": 0.00027691525423728815,
      "loss": 3.6093257904052733,
      "step": 27325
    },
    {
      "epoch": 0.911,
      "grad_norm": 3.671875,
      "learning_rate": 0.0002768728813559322,
      "loss": 3.8494205474853516,
      "step": 27330
    },
    {
      "epoch": 0.9111666666666667,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0002768305084745763,
      "loss": 2.676776885986328,
      "step": 27335
    },
    {
      "epoch": 0.9113333333333333,
      "grad_norm": 3.453125,
      "learning_rate": 0.00027678813559322033,
      "loss": 3.6235206604003904,
      "step": 27340
    },
    {
      "epoch": 0.9115,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00027674576271186443,
      "loss": 4.103227996826172,
      "step": 27345
    },
    {
      "epoch": 0.9116666666666666,
      "grad_norm": 1.6875,
      "learning_rate": 0.0002767033898305085,
      "loss": 4.281042098999023,
      "step": 27350
    },
    {
      "epoch": 0.9118333333333334,
      "grad_norm": 1.8046875,
      "learning_rate": 0.0002766610169491525,
      "loss": 3.986033630371094,
      "step": 27355
    },
    {
      "epoch": 0.912,
      "grad_norm": 1.953125,
      "learning_rate": 0.0002766186440677966,
      "loss": 2.8123071670532225,
      "step": 27360
    },
    {
      "epoch": 0.9121666666666667,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0002765762711864407,
      "loss": 3.4344478607177735,
      "step": 27365
    },
    {
      "epoch": 0.9123333333333333,
      "grad_norm": 1.359375,
      "learning_rate": 0.00027653389830508475,
      "loss": 3.25414924621582,
      "step": 27370
    },
    {
      "epoch": 0.9125,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0002764915254237288,
      "loss": 3.6537712097167967,
      "step": 27375
    },
    {
      "epoch": 0.9126666666666666,
      "grad_norm": 2.3125,
      "learning_rate": 0.0002764491525423729,
      "loss": 3.9102737426757814,
      "step": 27380
    },
    {
      "epoch": 0.9128333333333334,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00027640677966101694,
      "loss": 2.76849422454834,
      "step": 27385
    },
    {
      "epoch": 0.913,
      "grad_norm": 1.9765625,
      "learning_rate": 0.00027636440677966103,
      "loss": 2.5549388885498048,
      "step": 27390
    },
    {
      "epoch": 0.9131666666666667,
      "grad_norm": 1.859375,
      "learning_rate": 0.0002763220338983051,
      "loss": 3.6256919860839845,
      "step": 27395
    },
    {
      "epoch": 0.9133333333333333,
      "grad_norm": 2.890625,
      "learning_rate": 0.0002762796610169492,
      "loss": 4.3443443298339846,
      "step": 27400
    },
    {
      "epoch": 0.9135,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0002762372881355932,
      "loss": 3.7091552734375,
      "step": 27405
    },
    {
      "epoch": 0.9136666666666666,
      "grad_norm": 3.265625,
      "learning_rate": 0.0002761949152542373,
      "loss": 3.9163433074951173,
      "step": 27410
    },
    {
      "epoch": 0.9138333333333334,
      "grad_norm": 2.03125,
      "learning_rate": 0.00027615254237288136,
      "loss": 3.990400695800781,
      "step": 27415
    },
    {
      "epoch": 0.914,
      "grad_norm": 2.625,
      "learning_rate": 0.00027611016949152545,
      "loss": 3.9162322998046877,
      "step": 27420
    },
    {
      "epoch": 0.9141666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0002760677966101695,
      "loss": 3.4658817291259765,
      "step": 27425
    },
    {
      "epoch": 0.9143333333333333,
      "grad_norm": 1.9375,
      "learning_rate": 0.00027602542372881354,
      "loss": 2.9662498474121093,
      "step": 27430
    },
    {
      "epoch": 0.9145,
      "grad_norm": 2.234375,
      "learning_rate": 0.00027598305084745764,
      "loss": 3.670828628540039,
      "step": 27435
    },
    {
      "epoch": 0.9146666666666666,
      "grad_norm": 2.390625,
      "learning_rate": 0.00027594067796610173,
      "loss": 3.5253890991210937,
      "step": 27440
    },
    {
      "epoch": 0.9148333333333334,
      "grad_norm": 1.796875,
      "learning_rate": 0.0002758983050847458,
      "loss": 4.0603069305419925,
      "step": 27445
    },
    {
      "epoch": 0.915,
      "grad_norm": 2.359375,
      "learning_rate": 0.0002758559322033898,
      "loss": 4.062999725341797,
      "step": 27450
    },
    {
      "epoch": 0.9151666666666667,
      "grad_norm": 1.59375,
      "learning_rate": 0.0002758135593220339,
      "loss": 3.777703857421875,
      "step": 27455
    },
    {
      "epoch": 0.9153333333333333,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00027577118644067796,
      "loss": 3.975382614135742,
      "step": 27460
    },
    {
      "epoch": 0.9155,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00027572881355932206,
      "loss": 4.099957275390625,
      "step": 27465
    },
    {
      "epoch": 0.9156666666666666,
      "grad_norm": 1.65625,
      "learning_rate": 0.0002756864406779661,
      "loss": 3.673928451538086,
      "step": 27470
    },
    {
      "epoch": 0.9158333333333334,
      "grad_norm": 1.9921875,
      "learning_rate": 0.00027564406779661014,
      "loss": 3.477843475341797,
      "step": 27475
    },
    {
      "epoch": 0.916,
      "grad_norm": 1.9453125,
      "learning_rate": 0.00027560169491525424,
      "loss": 3.615568923950195,
      "step": 27480
    },
    {
      "epoch": 0.9161666666666667,
      "grad_norm": 3.828125,
      "learning_rate": 0.00027555932203389834,
      "loss": 3.9920902252197266,
      "step": 27485
    },
    {
      "epoch": 0.9163333333333333,
      "grad_norm": 1.75,
      "learning_rate": 0.0002755169491525424,
      "loss": 2.8149545669555662,
      "step": 27490
    },
    {
      "epoch": 0.9165,
      "grad_norm": 2.0625,
      "learning_rate": 0.0002754745762711864,
      "loss": 3.663330078125,
      "step": 27495
    },
    {
      "epoch": 0.9166666666666666,
      "grad_norm": 2.015625,
      "learning_rate": 0.0002754322033898305,
      "loss": 3.9976642608642576,
      "step": 27500
    },
    {
      "epoch": 0.9168333333333333,
      "grad_norm": 1.75,
      "learning_rate": 0.0002753898305084746,
      "loss": 3.8577362060546876,
      "step": 27505
    },
    {
      "epoch": 0.917,
      "grad_norm": 3.328125,
      "learning_rate": 0.00027534745762711866,
      "loss": 3.9743213653564453,
      "step": 27510
    },
    {
      "epoch": 0.9171666666666667,
      "grad_norm": 3.59375,
      "learning_rate": 0.0002753050847457627,
      "loss": 3.5241580963134767,
      "step": 27515
    },
    {
      "epoch": 0.9173333333333333,
      "grad_norm": 1.921875,
      "learning_rate": 0.00027526271186440674,
      "loss": 4.091589736938476,
      "step": 27520
    },
    {
      "epoch": 0.9175,
      "grad_norm": 1.703125,
      "learning_rate": 0.0002752203389830509,
      "loss": 3.8451080322265625,
      "step": 27525
    },
    {
      "epoch": 0.9176666666666666,
      "grad_norm": 2.796875,
      "learning_rate": 0.00027517796610169494,
      "loss": 3.560009765625,
      "step": 27530
    },
    {
      "epoch": 0.9178333333333333,
      "grad_norm": 1.90625,
      "learning_rate": 0.000275135593220339,
      "loss": 4.259561920166016,
      "step": 27535
    },
    {
      "epoch": 0.918,
      "grad_norm": 1.7890625,
      "learning_rate": 0.000275093220338983,
      "loss": 3.5239852905273437,
      "step": 27540
    },
    {
      "epoch": 0.9181666666666667,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0002750508474576272,
      "loss": 3.861650848388672,
      "step": 27545
    },
    {
      "epoch": 0.9183333333333333,
      "grad_norm": 2.03125,
      "learning_rate": 0.0002750084745762712,
      "loss": 4.2150920867919925,
      "step": 27550
    },
    {
      "epoch": 0.9185,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00027496610169491526,
      "loss": 3.49722900390625,
      "step": 27555
    },
    {
      "epoch": 0.9186666666666666,
      "grad_norm": 2.390625,
      "learning_rate": 0.0002749237288135593,
      "loss": 4.3444465637207035,
      "step": 27560
    },
    {
      "epoch": 0.9188333333333333,
      "grad_norm": 3.484375,
      "learning_rate": 0.00027488135593220335,
      "loss": 3.8946571350097656,
      "step": 27565
    },
    {
      "epoch": 0.919,
      "grad_norm": 1.828125,
      "learning_rate": 0.0002748389830508475,
      "loss": 4.342200088500976,
      "step": 27570
    },
    {
      "epoch": 0.9191666666666667,
      "grad_norm": 3.453125,
      "learning_rate": 0.00027479661016949154,
      "loss": 3.830065155029297,
      "step": 27575
    },
    {
      "epoch": 0.9193333333333333,
      "grad_norm": 2.953125,
      "learning_rate": 0.0002747542372881356,
      "loss": 4.078654861450195,
      "step": 27580
    },
    {
      "epoch": 0.9195,
      "grad_norm": 2.0,
      "learning_rate": 0.00027471186440677963,
      "loss": 4.358700180053711,
      "step": 27585
    },
    {
      "epoch": 0.9196666666666666,
      "grad_norm": 4.28125,
      "learning_rate": 0.0002746694915254238,
      "loss": 2.89080696105957,
      "step": 27590
    },
    {
      "epoch": 0.9198333333333333,
      "grad_norm": 1.890625,
      "learning_rate": 0.0002746271186440678,
      "loss": 3.3314285278320312,
      "step": 27595
    },
    {
      "epoch": 0.92,
      "grad_norm": 1.921875,
      "learning_rate": 0.00027458474576271186,
      "loss": 3.7602462768554688,
      "step": 27600
    },
    {
      "epoch": 0.9201666666666667,
      "grad_norm": 2.96875,
      "learning_rate": 0.0002745423728813559,
      "loss": 3.8521778106689455,
      "step": 27605
    },
    {
      "epoch": 0.9203333333333333,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0002745,
      "loss": 3.5529296875,
      "step": 27610
    },
    {
      "epoch": 0.9205,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0002744576271186441,
      "loss": 4.243815994262695,
      "step": 27615
    },
    {
      "epoch": 0.9206666666666666,
      "grad_norm": 2.328125,
      "learning_rate": 0.00027441525423728814,
      "loss": 3.3918075561523438,
      "step": 27620
    },
    {
      "epoch": 0.9208333333333333,
      "grad_norm": 1.375,
      "learning_rate": 0.0002743728813559322,
      "loss": 3.4655582427978517,
      "step": 27625
    },
    {
      "epoch": 0.921,
      "grad_norm": 1.828125,
      "learning_rate": 0.0002743305084745763,
      "loss": 3.564482879638672,
      "step": 27630
    },
    {
      "epoch": 0.9211666666666667,
      "grad_norm": 2.46875,
      "learning_rate": 0.0002742881355932204,
      "loss": 3.647853469848633,
      "step": 27635
    },
    {
      "epoch": 0.9213333333333333,
      "grad_norm": 2.59375,
      "learning_rate": 0.0002742457627118644,
      "loss": 4.3318737030029295,
      "step": 27640
    },
    {
      "epoch": 0.9215,
      "grad_norm": 1.640625,
      "learning_rate": 0.00027420338983050847,
      "loss": 3.380537414550781,
      "step": 27645
    },
    {
      "epoch": 0.9216666666666666,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00027416101694915256,
      "loss": 3.366136169433594,
      "step": 27650
    },
    {
      "epoch": 0.9218333333333333,
      "grad_norm": 2.453125,
      "learning_rate": 0.0002741186440677966,
      "loss": 2.6861209869384766,
      "step": 27655
    },
    {
      "epoch": 0.922,
      "grad_norm": 1.4375,
      "learning_rate": 0.0002740762711864407,
      "loss": 3.157922554016113,
      "step": 27660
    },
    {
      "epoch": 0.9221666666666667,
      "grad_norm": 2.125,
      "learning_rate": 0.00027403389830508475,
      "loss": 4.045381927490235,
      "step": 27665
    },
    {
      "epoch": 0.9223333333333333,
      "grad_norm": 1.609375,
      "learning_rate": 0.0002739915254237288,
      "loss": 3.8998554229736326,
      "step": 27670
    },
    {
      "epoch": 0.9225,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0002739491525423729,
      "loss": 4.182220840454102,
      "step": 27675
    },
    {
      "epoch": 0.9226666666666666,
      "grad_norm": 1.9375,
      "learning_rate": 0.000273906779661017,
      "loss": 3.3995174407958983,
      "step": 27680
    },
    {
      "epoch": 0.9228333333333333,
      "grad_norm": 1.5546875,
      "learning_rate": 0.000273864406779661,
      "loss": 3.7689895629882812,
      "step": 27685
    },
    {
      "epoch": 0.923,
      "grad_norm": 2.359375,
      "learning_rate": 0.00027382203389830507,
      "loss": 3.9453540802001954,
      "step": 27690
    },
    {
      "epoch": 0.9231666666666667,
      "grad_norm": 1.546875,
      "learning_rate": 0.00027377966101694917,
      "loss": 3.8219547271728516,
      "step": 27695
    },
    {
      "epoch": 0.9233333333333333,
      "grad_norm": 1.484375,
      "learning_rate": 0.0002737372881355932,
      "loss": 3.188040351867676,
      "step": 27700
    },
    {
      "epoch": 0.9235,
      "grad_norm": 1.734375,
      "learning_rate": 0.0002736949152542373,
      "loss": 3.708448791503906,
      "step": 27705
    },
    {
      "epoch": 0.9236666666666666,
      "grad_norm": 2.328125,
      "learning_rate": 0.00027365254237288135,
      "loss": 3.4270980834960936,
      "step": 27710
    },
    {
      "epoch": 0.9238333333333333,
      "grad_norm": 2.046875,
      "learning_rate": 0.00027361016949152545,
      "loss": 4.1039794921875,
      "step": 27715
    },
    {
      "epoch": 0.924,
      "grad_norm": 1.8125,
      "learning_rate": 0.0002735677966101695,
      "loss": 3.916451644897461,
      "step": 27720
    },
    {
      "epoch": 0.9241666666666667,
      "grad_norm": 1.96875,
      "learning_rate": 0.0002735254237288136,
      "loss": 3.8939834594726563,
      "step": 27725
    },
    {
      "epoch": 0.9243333333333333,
      "grad_norm": 1.78125,
      "learning_rate": 0.00027348305084745763,
      "loss": 3.758325958251953,
      "step": 27730
    },
    {
      "epoch": 0.9245,
      "grad_norm": 2.484375,
      "learning_rate": 0.0002734406779661017,
      "loss": 3.7767528533935546,
      "step": 27735
    },
    {
      "epoch": 0.9246666666666666,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00027339830508474577,
      "loss": 4.416860198974609,
      "step": 27740
    },
    {
      "epoch": 0.9248333333333333,
      "grad_norm": 1.671875,
      "learning_rate": 0.0002733559322033898,
      "loss": 3.5407676696777344,
      "step": 27745
    },
    {
      "epoch": 0.925,
      "grad_norm": 1.65625,
      "learning_rate": 0.0002733135593220339,
      "loss": 4.2459663391113285,
      "step": 27750
    },
    {
      "epoch": 0.9251666666666667,
      "grad_norm": 2.09375,
      "learning_rate": 0.000273271186440678,
      "loss": 3.7960830688476563,
      "step": 27755
    },
    {
      "epoch": 0.9253333333333333,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00027322881355932205,
      "loss": 4.009237670898438,
      "step": 27760
    },
    {
      "epoch": 0.9255,
      "grad_norm": 1.59375,
      "learning_rate": 0.0002731864406779661,
      "loss": 3.554484558105469,
      "step": 27765
    },
    {
      "epoch": 0.9256666666666666,
      "grad_norm": 1.84375,
      "learning_rate": 0.0002731440677966102,
      "loss": 3.320151519775391,
      "step": 27770
    },
    {
      "epoch": 0.9258333333333333,
      "grad_norm": 2.609375,
      "learning_rate": 0.00027310169491525423,
      "loss": 3.319710922241211,
      "step": 27775
    },
    {
      "epoch": 0.926,
      "grad_norm": 3.25,
      "learning_rate": 0.00027305932203389833,
      "loss": 3.02866268157959,
      "step": 27780
    },
    {
      "epoch": 0.9261666666666667,
      "grad_norm": 2.015625,
      "learning_rate": 0.00027301694915254237,
      "loss": 3.602762985229492,
      "step": 27785
    },
    {
      "epoch": 0.9263333333333333,
      "grad_norm": 1.5390625,
      "learning_rate": 0.0002729745762711864,
      "loss": 3.1643182754516603,
      "step": 27790
    },
    {
      "epoch": 0.9265,
      "grad_norm": 2.15625,
      "learning_rate": 0.0002729322033898305,
      "loss": 3.5354026794433593,
      "step": 27795
    },
    {
      "epoch": 0.9266666666666666,
      "grad_norm": 2.109375,
      "learning_rate": 0.0002728898305084746,
      "loss": 4.189941787719727,
      "step": 27800
    },
    {
      "epoch": 0.9268333333333333,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00027284745762711865,
      "loss": 4.24078140258789,
      "step": 27805
    },
    {
      "epoch": 0.927,
      "grad_norm": 2.078125,
      "learning_rate": 0.0002728050847457627,
      "loss": 3.3183746337890625,
      "step": 27810
    },
    {
      "epoch": 0.9271666666666667,
      "grad_norm": 2.203125,
      "learning_rate": 0.00027276271186440674,
      "loss": 3.8413352966308594,
      "step": 27815
    },
    {
      "epoch": 0.9273333333333333,
      "grad_norm": 2.234375,
      "learning_rate": 0.0002727203389830509,
      "loss": 3.0801723480224608,
      "step": 27820
    },
    {
      "epoch": 0.9275,
      "grad_norm": 1.9921875,
      "learning_rate": 0.00027267796610169493,
      "loss": 2.981709289550781,
      "step": 27825
    },
    {
      "epoch": 0.9276666666666666,
      "grad_norm": 2.703125,
      "learning_rate": 0.000272635593220339,
      "loss": 3.836015319824219,
      "step": 27830
    },
    {
      "epoch": 0.9278333333333333,
      "grad_norm": 1.78125,
      "learning_rate": 0.000272593220338983,
      "loss": 3.658477020263672,
      "step": 27835
    },
    {
      "epoch": 0.928,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00027255084745762717,
      "loss": 3.440135192871094,
      "step": 27840
    },
    {
      "epoch": 0.9281666666666667,
      "grad_norm": 2.03125,
      "learning_rate": 0.0002725084745762712,
      "loss": 3.486219787597656,
      "step": 27845
    },
    {
      "epoch": 0.9283333333333333,
      "grad_norm": 1.65625,
      "learning_rate": 0.00027246610169491526,
      "loss": 4.150711441040039,
      "step": 27850
    },
    {
      "epoch": 0.9285,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0002724237288135593,
      "loss": 4.047411346435547,
      "step": 27855
    },
    {
      "epoch": 0.9286666666666666,
      "grad_norm": 1.6328125,
      "learning_rate": 0.00027238135593220345,
      "loss": 3.665191650390625,
      "step": 27860
    },
    {
      "epoch": 0.9288333333333333,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0002723389830508475,
      "loss": 4.077196502685547,
      "step": 27865
    },
    {
      "epoch": 0.929,
      "grad_norm": 2.09375,
      "learning_rate": 0.00027229661016949154,
      "loss": 3.9508827209472654,
      "step": 27870
    },
    {
      "epoch": 0.9291666666666667,
      "grad_norm": 1.484375,
      "learning_rate": 0.0002722542372881356,
      "loss": 3.819362258911133,
      "step": 27875
    },
    {
      "epoch": 0.9293333333333333,
      "grad_norm": 1.8125,
      "learning_rate": 0.0002722118644067796,
      "loss": 3.1211503982543944,
      "step": 27880
    },
    {
      "epoch": 0.9295,
      "grad_norm": 1.75,
      "learning_rate": 0.00027216949152542377,
      "loss": 3.637800598144531,
      "step": 27885
    },
    {
      "epoch": 0.9296666666666666,
      "grad_norm": 7.1875,
      "learning_rate": 0.0002721271186440678,
      "loss": 3.2918487548828126,
      "step": 27890
    },
    {
      "epoch": 0.9298333333333333,
      "grad_norm": 5.5625,
      "learning_rate": 0.00027208474576271186,
      "loss": 4.078841781616211,
      "step": 27895
    },
    {
      "epoch": 0.93,
      "grad_norm": 2.234375,
      "learning_rate": 0.0002720423728813559,
      "loss": 3.3281528472900392,
      "step": 27900
    },
    {
      "epoch": 0.9301666666666667,
      "grad_norm": 3.34375,
      "learning_rate": 0.00027200000000000005,
      "loss": 3.9162261962890623,
      "step": 27905
    },
    {
      "epoch": 0.9303333333333333,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0002719576271186441,
      "loss": 3.630807113647461,
      "step": 27910
    },
    {
      "epoch": 0.9305,
      "grad_norm": 2.84375,
      "learning_rate": 0.00027191525423728814,
      "loss": 3.456161117553711,
      "step": 27915
    },
    {
      "epoch": 0.9306666666666666,
      "grad_norm": 2.796875,
      "learning_rate": 0.0002718728813559322,
      "loss": 3.689833068847656,
      "step": 27920
    },
    {
      "epoch": 0.9308333333333333,
      "grad_norm": 2.140625,
      "learning_rate": 0.0002718305084745763,
      "loss": 3.999574661254883,
      "step": 27925
    },
    {
      "epoch": 0.931,
      "grad_norm": 2.046875,
      "learning_rate": 0.0002717881355932204,
      "loss": 4.171607971191406,
      "step": 27930
    },
    {
      "epoch": 0.9311666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.0002717457627118644,
      "loss": 4.116354370117188,
      "step": 27935
    },
    {
      "epoch": 0.9313333333333333,
      "grad_norm": 1.671875,
      "learning_rate": 0.00027170338983050846,
      "loss": 3.7719436645507813,
      "step": 27940
    },
    {
      "epoch": 0.9315,
      "grad_norm": 2.953125,
      "learning_rate": 0.00027166101694915256,
      "loss": 3.721013641357422,
      "step": 27945
    },
    {
      "epoch": 0.9316666666666666,
      "grad_norm": 1.75,
      "learning_rate": 0.0002716186440677966,
      "loss": 3.754742431640625,
      "step": 27950
    },
    {
      "epoch": 0.9318333333333333,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0002715762711864407,
      "loss": 4.369529724121094,
      "step": 27955
    },
    {
      "epoch": 0.932,
      "grad_norm": 2.296875,
      "learning_rate": 0.00027153389830508474,
      "loss": 3.8585906982421876,
      "step": 27960
    },
    {
      "epoch": 0.9321666666666667,
      "grad_norm": 1.6171875,
      "learning_rate": 0.00027149152542372884,
      "loss": 3.344466781616211,
      "step": 27965
    },
    {
      "epoch": 0.9323333333333333,
      "grad_norm": 1.953125,
      "learning_rate": 0.0002714491525423729,
      "loss": 3.939830780029297,
      "step": 27970
    },
    {
      "epoch": 0.9325,
      "grad_norm": 4.625,
      "learning_rate": 0.000271406779661017,
      "loss": 4.45501480102539,
      "step": 27975
    },
    {
      "epoch": 0.9326666666666666,
      "grad_norm": 1.5625,
      "learning_rate": 0.000271364406779661,
      "loss": 2.9489850997924805,
      "step": 27980
    },
    {
      "epoch": 0.9328333333333333,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00027132203389830506,
      "loss": 3.3925186157226563,
      "step": 27985
    },
    {
      "epoch": 0.933,
      "grad_norm": 1.890625,
      "learning_rate": 0.00027127966101694916,
      "loss": 3.1991748809814453,
      "step": 27990
    },
    {
      "epoch": 0.9331666666666667,
      "grad_norm": 1.765625,
      "learning_rate": 0.0002712372881355932,
      "loss": 3.9329299926757812,
      "step": 27995
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 1.84375,
      "learning_rate": 0.0002711949152542373,
      "loss": 3.7460247039794923,
      "step": 28000
    },
    {
      "epoch": 0.9335,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00027115254237288134,
      "loss": 3.868613052368164,
      "step": 28005
    },
    {
      "epoch": 0.9336666666666666,
      "grad_norm": 2.03125,
      "learning_rate": 0.00027111016949152544,
      "loss": 3.8784374237060546,
      "step": 28010
    },
    {
      "epoch": 0.9338333333333333,
      "grad_norm": 1.640625,
      "learning_rate": 0.0002710677966101695,
      "loss": 3.3996376037597655,
      "step": 28015
    },
    {
      "epoch": 0.934,
      "grad_norm": 2.296875,
      "learning_rate": 0.0002710254237288136,
      "loss": 4.282368469238281,
      "step": 28020
    },
    {
      "epoch": 0.9341666666666667,
      "grad_norm": 2.4375,
      "learning_rate": 0.0002709830508474576,
      "loss": 4.005311584472656,
      "step": 28025
    },
    {
      "epoch": 0.9343333333333333,
      "grad_norm": 1.96875,
      "learning_rate": 0.0002709406779661017,
      "loss": 3.660004806518555,
      "step": 28030
    },
    {
      "epoch": 0.9345,
      "grad_norm": 2.203125,
      "learning_rate": 0.00027089830508474576,
      "loss": 3.933371734619141,
      "step": 28035
    },
    {
      "epoch": 0.9346666666666666,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0002708559322033898,
      "loss": 4.051392364501953,
      "step": 28040
    },
    {
      "epoch": 0.9348333333333333,
      "grad_norm": 1.53125,
      "learning_rate": 0.0002708135593220339,
      "loss": 3.6520320892333986,
      "step": 28045
    },
    {
      "epoch": 0.935,
      "grad_norm": 1.7890625,
      "learning_rate": 0.000270771186440678,
      "loss": 3.4963523864746096,
      "step": 28050
    },
    {
      "epoch": 0.9351666666666667,
      "grad_norm": 2.484375,
      "learning_rate": 0.00027072881355932204,
      "loss": 3.6914791107177733,
      "step": 28055
    },
    {
      "epoch": 0.9353333333333333,
      "grad_norm": 2.375,
      "learning_rate": 0.0002706864406779661,
      "loss": 3.8512176513671874,
      "step": 28060
    },
    {
      "epoch": 0.9355,
      "grad_norm": 1.6875,
      "learning_rate": 0.0002706440677966102,
      "loss": 3.6747257232666017,
      "step": 28065
    },
    {
      "epoch": 0.9356666666666666,
      "grad_norm": 1.28125,
      "learning_rate": 0.0002706016949152543,
      "loss": 3.504022216796875,
      "step": 28070
    },
    {
      "epoch": 0.9358333333333333,
      "grad_norm": 2.171875,
      "learning_rate": 0.0002705593220338983,
      "loss": 3.3194610595703127,
      "step": 28075
    },
    {
      "epoch": 0.936,
      "grad_norm": 1.2578125,
      "learning_rate": 0.00027051694915254237,
      "loss": 2.914152908325195,
      "step": 28080
    },
    {
      "epoch": 0.9361666666666667,
      "grad_norm": 2.546875,
      "learning_rate": 0.0002704745762711864,
      "loss": 3.5411510467529297,
      "step": 28085
    },
    {
      "epoch": 0.9363333333333334,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0002704322033898305,
      "loss": 4.144133758544922,
      "step": 28090
    },
    {
      "epoch": 0.9365,
      "grad_norm": 1.859375,
      "learning_rate": 0.0002703898305084746,
      "loss": 4.124226760864258,
      "step": 28095
    },
    {
      "epoch": 0.9366666666666666,
      "grad_norm": 2.078125,
      "learning_rate": 0.00027034745762711865,
      "loss": 3.7321804046630858,
      "step": 28100
    },
    {
      "epoch": 0.9368333333333333,
      "grad_norm": 2.0,
      "learning_rate": 0.0002703050847457627,
      "loss": 3.490264129638672,
      "step": 28105
    },
    {
      "epoch": 0.937,
      "grad_norm": 2.84375,
      "learning_rate": 0.0002702627118644068,
      "loss": 4.183346176147461,
      "step": 28110
    },
    {
      "epoch": 0.9371666666666667,
      "grad_norm": 4.9375,
      "learning_rate": 0.0002702203389830509,
      "loss": 3.9855140686035155,
      "step": 28115
    },
    {
      "epoch": 0.9373333333333334,
      "grad_norm": 1.59375,
      "learning_rate": 0.0002701779661016949,
      "loss": 4.193200302124024,
      "step": 28120
    },
    {
      "epoch": 0.9375,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00027013559322033897,
      "loss": 3.7692047119140626,
      "step": 28125
    },
    {
      "epoch": 0.9376666666666666,
      "grad_norm": 1.4921875,
      "learning_rate": 0.000270093220338983,
      "loss": 3.961173248291016,
      "step": 28130
    },
    {
      "epoch": 0.9378333333333333,
      "grad_norm": 1.984375,
      "learning_rate": 0.00027005084745762716,
      "loss": 3.9827919006347656,
      "step": 28135
    },
    {
      "epoch": 0.938,
      "grad_norm": 2.09375,
      "learning_rate": 0.0002700084745762712,
      "loss": 3.056284713745117,
      "step": 28140
    },
    {
      "epoch": 0.9381666666666667,
      "grad_norm": 1.7578125,
      "learning_rate": 0.00026996610169491525,
      "loss": 3.995914077758789,
      "step": 28145
    },
    {
      "epoch": 0.9383333333333334,
      "grad_norm": 2.5,
      "learning_rate": 0.0002699237288135593,
      "loss": 3.8364177703857423,
      "step": 28150
    },
    {
      "epoch": 0.9385,
      "grad_norm": 1.6015625,
      "learning_rate": 0.00026988135593220344,
      "loss": 3.081191635131836,
      "step": 28155
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 1.4765625,
      "learning_rate": 0.0002698389830508475,
      "loss": 3.3078163146972654,
      "step": 28160
    },
    {
      "epoch": 0.9388333333333333,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00026979661016949153,
      "loss": 4.176783752441406,
      "step": 28165
    },
    {
      "epoch": 0.939,
      "grad_norm": 2.5,
      "learning_rate": 0.00026975423728813557,
      "loss": 3.3648937225341795,
      "step": 28170
    },
    {
      "epoch": 0.9391666666666667,
      "grad_norm": 2.265625,
      "learning_rate": 0.0002697118644067796,
      "loss": 3.623308563232422,
      "step": 28175
    },
    {
      "epoch": 0.9393333333333334,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00026966949152542377,
      "loss": 4.008747863769531,
      "step": 28180
    },
    {
      "epoch": 0.9395,
      "grad_norm": 2.25,
      "learning_rate": 0.0002696271186440678,
      "loss": 3.127543640136719,
      "step": 28185
    },
    {
      "epoch": 0.9396666666666667,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00026958474576271185,
      "loss": 3.1945621490478517,
      "step": 28190
    },
    {
      "epoch": 0.9398333333333333,
      "grad_norm": 2.15625,
      "learning_rate": 0.0002695423728813559,
      "loss": 3.6891242980957033,
      "step": 28195
    },
    {
      "epoch": 0.94,
      "grad_norm": 1.3828125,
      "learning_rate": 0.00026950000000000005,
      "loss": 3.2003105163574217,
      "step": 28200
    },
    {
      "epoch": 0.9401666666666667,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0002694576271186441,
      "loss": 3.681532287597656,
      "step": 28205
    },
    {
      "epoch": 0.9403333333333334,
      "grad_norm": 1.640625,
      "learning_rate": 0.00026941525423728813,
      "loss": 3.494292068481445,
      "step": 28210
    },
    {
      "epoch": 0.9405,
      "grad_norm": 2.046875,
      "learning_rate": 0.0002693728813559322,
      "loss": 4.503869247436524,
      "step": 28215
    },
    {
      "epoch": 0.9406666666666667,
      "grad_norm": 2.25,
      "learning_rate": 0.00026933050847457627,
      "loss": 4.021446228027344,
      "step": 28220
    },
    {
      "epoch": 0.9408333333333333,
      "grad_norm": 1.921875,
      "learning_rate": 0.00026928813559322037,
      "loss": 3.888599395751953,
      "step": 28225
    },
    {
      "epoch": 0.941,
      "grad_norm": 1.359375,
      "learning_rate": 0.0002692457627118644,
      "loss": 2.950905609130859,
      "step": 28230
    },
    {
      "epoch": 0.9411666666666667,
      "grad_norm": 1.890625,
      "learning_rate": 0.00026920338983050845,
      "loss": 4.098827743530274,
      "step": 28235
    },
    {
      "epoch": 0.9413333333333334,
      "grad_norm": 2.703125,
      "learning_rate": 0.00026916101694915255,
      "loss": 4.192680358886719,
      "step": 28240
    },
    {
      "epoch": 0.9415,
      "grad_norm": 3.6875,
      "learning_rate": 0.00026911864406779665,
      "loss": 4.543288040161133,
      "step": 28245
    },
    {
      "epoch": 0.9416666666666667,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0002690762711864407,
      "loss": 3.833506774902344,
      "step": 28250
    },
    {
      "epoch": 0.9418333333333333,
      "grad_norm": 1.671875,
      "learning_rate": 0.00026903389830508473,
      "loss": 4.29176139831543,
      "step": 28255
    },
    {
      "epoch": 0.942,
      "grad_norm": 1.78125,
      "learning_rate": 0.00026899152542372883,
      "loss": 3.570964050292969,
      "step": 28260
    },
    {
      "epoch": 0.9421666666666667,
      "grad_norm": 2.25,
      "learning_rate": 0.0002689491525423729,
      "loss": 3.7203330993652344,
      "step": 28265
    },
    {
      "epoch": 0.9423333333333334,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00026890677966101697,
      "loss": 3.1807308197021484,
      "step": 28270
    },
    {
      "epoch": 0.9425,
      "grad_norm": 1.9453125,
      "learning_rate": 0.000268864406779661,
      "loss": 3.9447093963623048,
      "step": 28275
    },
    {
      "epoch": 0.9426666666666667,
      "grad_norm": 2.25,
      "learning_rate": 0.00026882203389830506,
      "loss": 4.351390838623047,
      "step": 28280
    },
    {
      "epoch": 0.9428333333333333,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00026877966101694915,
      "loss": 3.883841705322266,
      "step": 28285
    },
    {
      "epoch": 0.943,
      "grad_norm": 2.109375,
      "learning_rate": 0.00026873728813559325,
      "loss": 3.308216094970703,
      "step": 28290
    },
    {
      "epoch": 0.9431666666666667,
      "grad_norm": 2.46875,
      "learning_rate": 0.0002686949152542373,
      "loss": 4.2707679748535154,
      "step": 28295
    },
    {
      "epoch": 0.9433333333333334,
      "grad_norm": 2.28125,
      "learning_rate": 0.00026865254237288134,
      "loss": 4.149789047241211,
      "step": 28300
    },
    {
      "epoch": 0.9435,
      "grad_norm": 2.0625,
      "learning_rate": 0.00026861016949152543,
      "loss": 3.3824703216552736,
      "step": 28305
    },
    {
      "epoch": 0.9436666666666667,
      "grad_norm": 1.765625,
      "learning_rate": 0.0002685677966101695,
      "loss": 3.2911216735839846,
      "step": 28310
    },
    {
      "epoch": 0.9438333333333333,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0002685254237288136,
      "loss": 4.009360122680664,
      "step": 28315
    },
    {
      "epoch": 0.944,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0002684830508474576,
      "loss": 3.0995410919189452,
      "step": 28320
    },
    {
      "epoch": 0.9441666666666667,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0002684406779661017,
      "loss": 3.4256057739257812,
      "step": 28325
    },
    {
      "epoch": 0.9443333333333334,
      "grad_norm": 1.7265625,
      "learning_rate": 0.00026839830508474576,
      "loss": 4.0705829620361325,
      "step": 28330
    },
    {
      "epoch": 0.9445,
      "grad_norm": 1.6953125,
      "learning_rate": 0.00026835593220338985,
      "loss": 3.768229293823242,
      "step": 28335
    },
    {
      "epoch": 0.9446666666666667,
      "grad_norm": 2.84375,
      "learning_rate": 0.0002683135593220339,
      "loss": 4.432551574707031,
      "step": 28340
    },
    {
      "epoch": 0.9448333333333333,
      "grad_norm": 2.046875,
      "learning_rate": 0.000268271186440678,
      "loss": 3.774605560302734,
      "step": 28345
    },
    {
      "epoch": 0.945,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00026822881355932204,
      "loss": 3.80233154296875,
      "step": 28350
    },
    {
      "epoch": 0.9451666666666667,
      "grad_norm": 2.03125,
      "learning_rate": 0.0002681864406779661,
      "loss": 4.301462554931641,
      "step": 28355
    },
    {
      "epoch": 0.9453333333333334,
      "grad_norm": 2.125,
      "learning_rate": 0.0002681440677966102,
      "loss": 3.7624568939208984,
      "step": 28360
    },
    {
      "epoch": 0.9455,
      "grad_norm": 2.15625,
      "learning_rate": 0.0002681016949152543,
      "loss": 3.1319936752319335,
      "step": 28365
    },
    {
      "epoch": 0.9456666666666667,
      "grad_norm": 2.75,
      "learning_rate": 0.0002680593220338983,
      "loss": 3.803486633300781,
      "step": 28370
    },
    {
      "epoch": 0.9458333333333333,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00026801694915254236,
      "loss": 4.169277954101562,
      "step": 28375
    },
    {
      "epoch": 0.946,
      "grad_norm": 2.140625,
      "learning_rate": 0.00026797457627118646,
      "loss": 3.810411071777344,
      "step": 28380
    },
    {
      "epoch": 0.9461666666666667,
      "grad_norm": 1.828125,
      "learning_rate": 0.0002679322033898305,
      "loss": 4.1198478698730465,
      "step": 28385
    },
    {
      "epoch": 0.9463333333333334,
      "grad_norm": 4.09375,
      "learning_rate": 0.0002678898305084746,
      "loss": 3.7815059661865233,
      "step": 28390
    },
    {
      "epoch": 0.9465,
      "grad_norm": 1.734375,
      "learning_rate": 0.00026784745762711864,
      "loss": 3.506056213378906,
      "step": 28395
    },
    {
      "epoch": 0.9466666666666667,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0002678050847457627,
      "loss": 3.858875274658203,
      "step": 28400
    },
    {
      "epoch": 0.9468333333333333,
      "grad_norm": 1.875,
      "learning_rate": 0.0002677627118644068,
      "loss": 3.7068939208984375,
      "step": 28405
    },
    {
      "epoch": 0.947,
      "grad_norm": 1.765625,
      "learning_rate": 0.0002677203389830509,
      "loss": 3.944915771484375,
      "step": 28410
    },
    {
      "epoch": 0.9471666666666667,
      "grad_norm": 2.46875,
      "learning_rate": 0.0002676779661016949,
      "loss": 3.730724334716797,
      "step": 28415
    },
    {
      "epoch": 0.9473333333333334,
      "grad_norm": 4.25,
      "learning_rate": 0.00026763559322033896,
      "loss": 4.330199432373047,
      "step": 28420
    },
    {
      "epoch": 0.9475,
      "grad_norm": 3.90625,
      "learning_rate": 0.00026759322033898306,
      "loss": 3.44246826171875,
      "step": 28425
    },
    {
      "epoch": 0.9476666666666667,
      "grad_norm": 3.5625,
      "learning_rate": 0.00026755084745762716,
      "loss": 3.2115638732910154,
      "step": 28430
    },
    {
      "epoch": 0.9478333333333333,
      "grad_norm": 2.1875,
      "learning_rate": 0.0002675084745762712,
      "loss": 3.726276397705078,
      "step": 28435
    },
    {
      "epoch": 0.948,
      "grad_norm": 1.96875,
      "learning_rate": 0.00026746610169491524,
      "loss": 3.72738037109375,
      "step": 28440
    },
    {
      "epoch": 0.9481666666666667,
      "grad_norm": 2.390625,
      "learning_rate": 0.0002674237288135593,
      "loss": 3.8013290405273437,
      "step": 28445
    },
    {
      "epoch": 0.9483333333333334,
      "grad_norm": 1.75,
      "learning_rate": 0.00026738135593220344,
      "loss": 3.0200502395629885,
      "step": 28450
    },
    {
      "epoch": 0.9485,
      "grad_norm": 1.5625,
      "learning_rate": 0.0002673389830508475,
      "loss": 3.4530265808105467,
      "step": 28455
    },
    {
      "epoch": 0.9486666666666667,
      "grad_norm": 1.984375,
      "learning_rate": 0.0002672966101694915,
      "loss": 3.876825714111328,
      "step": 28460
    },
    {
      "epoch": 0.9488333333333333,
      "grad_norm": 2.78125,
      "learning_rate": 0.00026725423728813556,
      "loss": 3.962588882446289,
      "step": 28465
    },
    {
      "epoch": 0.949,
      "grad_norm": 2.03125,
      "learning_rate": 0.0002672118644067797,
      "loss": 3.7259864807128906,
      "step": 28470
    },
    {
      "epoch": 0.9491666666666667,
      "grad_norm": 1.8984375,
      "learning_rate": 0.00026716949152542376,
      "loss": 3.8047008514404297,
      "step": 28475
    },
    {
      "epoch": 0.9493333333333334,
      "grad_norm": 1.453125,
      "learning_rate": 0.0002671271186440678,
      "loss": 4.050941085815429,
      "step": 28480
    },
    {
      "epoch": 0.9495,
      "grad_norm": 2.1875,
      "learning_rate": 0.00026708474576271184,
      "loss": 2.9580760955810548,
      "step": 28485
    },
    {
      "epoch": 0.9496666666666667,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0002670423728813559,
      "loss": 3.63509521484375,
      "step": 28490
    },
    {
      "epoch": 0.9498333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00026700000000000004,
      "loss": 3.748118591308594,
      "step": 28495
    },
    {
      "epoch": 0.95,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0002669576271186441,
      "loss": 3.26002197265625,
      "step": 28500
    },
    {
      "epoch": 0.9501666666666667,
      "grad_norm": 1.390625,
      "learning_rate": 0.0002669152542372881,
      "loss": 2.8351083755493165,
      "step": 28505
    },
    {
      "epoch": 0.9503333333333334,
      "grad_norm": 1.84375,
      "learning_rate": 0.00026687288135593217,
      "loss": 3.2151790618896485,
      "step": 28510
    },
    {
      "epoch": 0.9505,
      "grad_norm": 2.0625,
      "learning_rate": 0.0002668305084745763,
      "loss": 4.180633926391602,
      "step": 28515
    },
    {
      "epoch": 0.9506666666666667,
      "grad_norm": 1.71875,
      "learning_rate": 0.00026678813559322036,
      "loss": 3.012343978881836,
      "step": 28520
    },
    {
      "epoch": 0.9508333333333333,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0002667457627118644,
      "loss": 4.481108856201172,
      "step": 28525
    },
    {
      "epoch": 0.951,
      "grad_norm": 1.859375,
      "learning_rate": 0.00026670338983050845,
      "loss": 3.5417949676513674,
      "step": 28530
    },
    {
      "epoch": 0.9511666666666667,
      "grad_norm": 3.96875,
      "learning_rate": 0.00026666101694915254,
      "loss": 4.155487060546875,
      "step": 28535
    },
    {
      "epoch": 0.9513333333333334,
      "grad_norm": 1.5,
      "learning_rate": 0.00026661864406779664,
      "loss": 4.138298416137696,
      "step": 28540
    },
    {
      "epoch": 0.9515,
      "grad_norm": 2.640625,
      "learning_rate": 0.0002665762711864407,
      "loss": 4.221101760864258,
      "step": 28545
    },
    {
      "epoch": 0.9516666666666667,
      "grad_norm": 2.0,
      "learning_rate": 0.00026653389830508473,
      "loss": 4.2477874755859375,
      "step": 28550
    },
    {
      "epoch": 0.9518333333333333,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0002664915254237288,
      "loss": 3.961191940307617,
      "step": 28555
    },
    {
      "epoch": 0.952,
      "grad_norm": 1.21875,
      "learning_rate": 0.0002664491525423729,
      "loss": 2.4284030914306642,
      "step": 28560
    },
    {
      "epoch": 0.9521666666666667,
      "grad_norm": 2.21875,
      "learning_rate": 0.00026640677966101696,
      "loss": 3.7318752288818358,
      "step": 28565
    },
    {
      "epoch": 0.9523333333333334,
      "grad_norm": 2.03125,
      "learning_rate": 0.000266364406779661,
      "loss": 4.187397384643555,
      "step": 28570
    },
    {
      "epoch": 0.9525,
      "grad_norm": 1.953125,
      "learning_rate": 0.0002663220338983051,
      "loss": 3.676707458496094,
      "step": 28575
    },
    {
      "epoch": 0.9526666666666667,
      "grad_norm": 2.265625,
      "learning_rate": 0.00026627966101694915,
      "loss": 3.816603088378906,
      "step": 28580
    },
    {
      "epoch": 0.9528333333333333,
      "grad_norm": 1.75,
      "learning_rate": 0.00026623728813559324,
      "loss": 4.352723693847656,
      "step": 28585
    },
    {
      "epoch": 0.953,
      "grad_norm": 1.59375,
      "learning_rate": 0.0002661949152542373,
      "loss": 4.068037033081055,
      "step": 28590
    },
    {
      "epoch": 0.9531666666666667,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00026615254237288133,
      "loss": 3.7173187255859377,
      "step": 28595
    },
    {
      "epoch": 0.9533333333333334,
      "grad_norm": 1.8203125,
      "learning_rate": 0.00026611016949152543,
      "loss": 3.690336990356445,
      "step": 28600
    },
    {
      "epoch": 0.9535,
      "grad_norm": 2.15625,
      "learning_rate": 0.0002660677966101695,
      "loss": 3.9469367980957033,
      "step": 28605
    },
    {
      "epoch": 0.9536666666666667,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00026602542372881357,
      "loss": 3.5888206481933596,
      "step": 28610
    },
    {
      "epoch": 0.9538333333333333,
      "grad_norm": 1.5625,
      "learning_rate": 0.0002659830508474576,
      "loss": 3.6488010406494142,
      "step": 28615
    },
    {
      "epoch": 0.954,
      "grad_norm": 1.828125,
      "learning_rate": 0.0002659406779661017,
      "loss": 4.017463302612304,
      "step": 28620
    },
    {
      "epoch": 0.9541666666666667,
      "grad_norm": 1.734375,
      "learning_rate": 0.00026589830508474575,
      "loss": 3.074033737182617,
      "step": 28625
    },
    {
      "epoch": 0.9543333333333334,
      "grad_norm": 1.859375,
      "learning_rate": 0.00026585593220338985,
      "loss": 3.2595760345458986,
      "step": 28630
    },
    {
      "epoch": 0.9545,
      "grad_norm": 1.8203125,
      "learning_rate": 0.0002658135593220339,
      "loss": 3.8211589813232423,
      "step": 28635
    },
    {
      "epoch": 0.9546666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 0.000265771186440678,
      "loss": 3.9309043884277344,
      "step": 28640
    },
    {
      "epoch": 0.9548333333333333,
      "grad_norm": 1.75,
      "learning_rate": 0.00026572881355932203,
      "loss": 3.915050506591797,
      "step": 28645
    },
    {
      "epoch": 0.955,
      "grad_norm": 1.796875,
      "learning_rate": 0.0002656864406779661,
      "loss": 3.4570167541503904,
      "step": 28650
    },
    {
      "epoch": 0.9551666666666667,
      "grad_norm": 2.15625,
      "learning_rate": 0.00026564406779661017,
      "loss": 3.627287673950195,
      "step": 28655
    },
    {
      "epoch": 0.9553333333333334,
      "grad_norm": 4.8125,
      "learning_rate": 0.00026560169491525427,
      "loss": 3.999727249145508,
      "step": 28660
    },
    {
      "epoch": 0.9555,
      "grad_norm": 2.296875,
      "learning_rate": 0.0002655593220338983,
      "loss": 3.023701477050781,
      "step": 28665
    },
    {
      "epoch": 0.9556666666666667,
      "grad_norm": 1.8046875,
      "learning_rate": 0.00026551694915254235,
      "loss": 3.0220176696777346,
      "step": 28670
    },
    {
      "epoch": 0.9558333333333333,
      "grad_norm": 1.3046875,
      "learning_rate": 0.00026547457627118645,
      "loss": 3.744512939453125,
      "step": 28675
    },
    {
      "epoch": 0.956,
      "grad_norm": 1.6875,
      "learning_rate": 0.00026543220338983055,
      "loss": 3.2847976684570312,
      "step": 28680
    },
    {
      "epoch": 0.9561666666666667,
      "grad_norm": 2.125,
      "learning_rate": 0.0002653898305084746,
      "loss": 3.8615013122558595,
      "step": 28685
    },
    {
      "epoch": 0.9563333333333334,
      "grad_norm": 1.625,
      "learning_rate": 0.00026534745762711863,
      "loss": 3.7085525512695314,
      "step": 28690
    },
    {
      "epoch": 0.9565,
      "grad_norm": 1.875,
      "learning_rate": 0.00026530508474576273,
      "loss": 4.148321533203125,
      "step": 28695
    },
    {
      "epoch": 0.9566666666666667,
      "grad_norm": 2.453125,
      "learning_rate": 0.00026526271186440677,
      "loss": 3.3501399993896483,
      "step": 28700
    },
    {
      "epoch": 0.9568333333333333,
      "grad_norm": 2.109375,
      "learning_rate": 0.00026522033898305087,
      "loss": 4.493473052978516,
      "step": 28705
    },
    {
      "epoch": 0.957,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0002651779661016949,
      "loss": 4.359096908569336,
      "step": 28710
    },
    {
      "epoch": 0.9571666666666667,
      "grad_norm": 1.859375,
      "learning_rate": 0.00026513559322033896,
      "loss": 4.199017333984375,
      "step": 28715
    },
    {
      "epoch": 0.9573333333333334,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00026509322033898305,
      "loss": 3.7317176818847657,
      "step": 28720
    },
    {
      "epoch": 0.9575,
      "grad_norm": 2.546875,
      "learning_rate": 0.00026505084745762715,
      "loss": 3.8921524047851563,
      "step": 28725
    },
    {
      "epoch": 0.9576666666666667,
      "grad_norm": 2.109375,
      "learning_rate": 0.0002650084745762712,
      "loss": 4.225151443481446,
      "step": 28730
    },
    {
      "epoch": 0.9578333333333333,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00026496610169491524,
      "loss": 3.8228363037109374,
      "step": 28735
    },
    {
      "epoch": 0.958,
      "grad_norm": 2.65625,
      "learning_rate": 0.00026492372881355933,
      "loss": 3.96795539855957,
      "step": 28740
    },
    {
      "epoch": 0.9581666666666667,
      "grad_norm": 2.046875,
      "learning_rate": 0.00026488135593220343,
      "loss": 3.0988449096679687,
      "step": 28745
    },
    {
      "epoch": 0.9583333333333334,
      "grad_norm": 1.59375,
      "learning_rate": 0.00026483898305084747,
      "loss": 3.687836456298828,
      "step": 28750
    },
    {
      "epoch": 0.9585,
      "grad_norm": 3.40625,
      "learning_rate": 0.0002647966101694915,
      "loss": 3.695752716064453,
      "step": 28755
    },
    {
      "epoch": 0.9586666666666667,
      "grad_norm": 2.203125,
      "learning_rate": 0.00026475423728813556,
      "loss": 4.039944076538086,
      "step": 28760
    },
    {
      "epoch": 0.9588333333333333,
      "grad_norm": 3.515625,
      "learning_rate": 0.0002647118644067797,
      "loss": 4.188453674316406,
      "step": 28765
    },
    {
      "epoch": 0.959,
      "grad_norm": 1.4375,
      "learning_rate": 0.00026466949152542375,
      "loss": 3.2918369293212892,
      "step": 28770
    },
    {
      "epoch": 0.9591666666666666,
      "grad_norm": 1.84375,
      "learning_rate": 0.0002646271186440678,
      "loss": 3.8932540893554686,
      "step": 28775
    },
    {
      "epoch": 0.9593333333333334,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00026458474576271184,
      "loss": 3.573733901977539,
      "step": 28780
    },
    {
      "epoch": 0.9595,
      "grad_norm": 5.6875,
      "learning_rate": 0.000264542372881356,
      "loss": 3.37335205078125,
      "step": 28785
    },
    {
      "epoch": 0.9596666666666667,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00026450000000000003,
      "loss": 3.7641460418701174,
      "step": 28790
    },
    {
      "epoch": 0.9598333333333333,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0002644576271186441,
      "loss": 4.298685455322266,
      "step": 28795
    },
    {
      "epoch": 0.96,
      "grad_norm": 1.828125,
      "learning_rate": 0.0002644152542372881,
      "loss": 3.5004772186279296,
      "step": 28800
    },
    {
      "epoch": 0.9601666666666666,
      "grad_norm": 5.3125,
      "learning_rate": 0.00026437288135593216,
      "loss": 4.33037109375,
      "step": 28805
    },
    {
      "epoch": 0.9603333333333334,
      "grad_norm": 1.7734375,
      "learning_rate": 0.0002643305084745763,
      "loss": 4.0324867248535154,
      "step": 28810
    },
    {
      "epoch": 0.9605,
      "grad_norm": 1.9765625,
      "learning_rate": 0.00026428813559322036,
      "loss": 3.2302040100097655,
      "step": 28815
    },
    {
      "epoch": 0.9606666666666667,
      "grad_norm": 1.765625,
      "learning_rate": 0.0002642457627118644,
      "loss": 3.7241416931152345,
      "step": 28820
    },
    {
      "epoch": 0.9608333333333333,
      "grad_norm": 2.078125,
      "learning_rate": 0.00026420338983050844,
      "loss": 3.642779541015625,
      "step": 28825
    },
    {
      "epoch": 0.961,
      "grad_norm": 1.921875,
      "learning_rate": 0.0002641610169491526,
      "loss": 3.5891658782958986,
      "step": 28830
    },
    {
      "epoch": 0.9611666666666666,
      "grad_norm": 1.9375,
      "learning_rate": 0.00026411864406779664,
      "loss": 3.5836761474609373,
      "step": 28835
    },
    {
      "epoch": 0.9613333333333334,
      "grad_norm": 1.84375,
      "learning_rate": 0.0002640762711864407,
      "loss": 3.9343616485595705,
      "step": 28840
    },
    {
      "epoch": 0.9615,
      "grad_norm": 1.703125,
      "learning_rate": 0.0002640338983050847,
      "loss": 3.6590293884277343,
      "step": 28845
    },
    {
      "epoch": 0.9616666666666667,
      "grad_norm": 6.8125,
      "learning_rate": 0.0002639915254237288,
      "loss": 4.046487808227539,
      "step": 28850
    },
    {
      "epoch": 0.9618333333333333,
      "grad_norm": 1.3125,
      "learning_rate": 0.0002639491525423729,
      "loss": 3.023457908630371,
      "step": 28855
    },
    {
      "epoch": 0.962,
      "grad_norm": 2.125,
      "learning_rate": 0.00026390677966101696,
      "loss": 3.0663705825805665,
      "step": 28860
    },
    {
      "epoch": 0.9621666666666666,
      "grad_norm": 1.5859375,
      "learning_rate": 0.000263864406779661,
      "loss": 3.353741455078125,
      "step": 28865
    },
    {
      "epoch": 0.9623333333333334,
      "grad_norm": 2.1875,
      "learning_rate": 0.0002638220338983051,
      "loss": 3.6308082580566405,
      "step": 28870
    },
    {
      "epoch": 0.9625,
      "grad_norm": 1.921875,
      "learning_rate": 0.0002637796610169492,
      "loss": 3.6709320068359377,
      "step": 28875
    },
    {
      "epoch": 0.9626666666666667,
      "grad_norm": 1.828125,
      "learning_rate": 0.00026373728813559324,
      "loss": 3.510755920410156,
      "step": 28880
    },
    {
      "epoch": 0.9628333333333333,
      "grad_norm": 1.71875,
      "learning_rate": 0.0002636949152542373,
      "loss": 3.216691589355469,
      "step": 28885
    },
    {
      "epoch": 0.963,
      "grad_norm": 4.75,
      "learning_rate": 0.0002636525423728814,
      "loss": 3.2030025482177735,
      "step": 28890
    },
    {
      "epoch": 0.9631666666666666,
      "grad_norm": 2.03125,
      "learning_rate": 0.0002636101694915254,
      "loss": 3.99405517578125,
      "step": 28895
    },
    {
      "epoch": 0.9633333333333334,
      "grad_norm": 2.078125,
      "learning_rate": 0.0002635677966101695,
      "loss": 3.9435157775878906,
      "step": 28900
    },
    {
      "epoch": 0.9635,
      "grad_norm": 1.84375,
      "learning_rate": 0.00026352542372881356,
      "loss": 4.138806533813477,
      "step": 28905
    },
    {
      "epoch": 0.9636666666666667,
      "grad_norm": 1.5859375,
      "learning_rate": 0.0002634830508474576,
      "loss": 3.7121131896972654,
      "step": 28910
    },
    {
      "epoch": 0.9638333333333333,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0002634406779661017,
      "loss": 3.831813430786133,
      "step": 28915
    },
    {
      "epoch": 0.964,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0002633983050847458,
      "loss": 3.235912322998047,
      "step": 28920
    },
    {
      "epoch": 0.9641666666666666,
      "grad_norm": 3.90625,
      "learning_rate": 0.00026335593220338984,
      "loss": 3.4276283264160154,
      "step": 28925
    },
    {
      "epoch": 0.9643333333333334,
      "grad_norm": 7.0,
      "learning_rate": 0.0002633135593220339,
      "loss": 3.733911895751953,
      "step": 28930
    },
    {
      "epoch": 0.9645,
      "grad_norm": 1.6484375,
      "learning_rate": 0.000263271186440678,
      "loss": 3.4666820526123048,
      "step": 28935
    },
    {
      "epoch": 0.9646666666666667,
      "grad_norm": 2.703125,
      "learning_rate": 0.000263228813559322,
      "loss": 3.7045265197753907,
      "step": 28940
    },
    {
      "epoch": 0.9648333333333333,
      "grad_norm": 2.125,
      "learning_rate": 0.0002631864406779661,
      "loss": 4.259067535400391,
      "step": 28945
    },
    {
      "epoch": 0.965,
      "grad_norm": 2.234375,
      "learning_rate": 0.00026314406779661016,
      "loss": 4.134883880615234,
      "step": 28950
    },
    {
      "epoch": 0.9651666666666666,
      "grad_norm": 1.328125,
      "learning_rate": 0.00026310169491525426,
      "loss": 3.1306474685668944,
      "step": 28955
    },
    {
      "epoch": 0.9653333333333334,
      "grad_norm": 2.265625,
      "learning_rate": 0.0002630593220338983,
      "loss": 3.4902244567871095,
      "step": 28960
    },
    {
      "epoch": 0.9655,
      "grad_norm": 2.0625,
      "learning_rate": 0.00026301694915254235,
      "loss": 3.8410064697265627,
      "step": 28965
    },
    {
      "epoch": 0.9656666666666667,
      "grad_norm": 2.34375,
      "learning_rate": 0.00026297457627118644,
      "loss": 3.155197334289551,
      "step": 28970
    },
    {
      "epoch": 0.9658333333333333,
      "grad_norm": 1.78125,
      "learning_rate": 0.00026293220338983054,
      "loss": 4.026554870605469,
      "step": 28975
    },
    {
      "epoch": 0.966,
      "grad_norm": 2.15625,
      "learning_rate": 0.0002628898305084746,
      "loss": 3.324055480957031,
      "step": 28980
    },
    {
      "epoch": 0.9661666666666666,
      "grad_norm": 1.875,
      "learning_rate": 0.0002628474576271186,
      "loss": 4.15081787109375,
      "step": 28985
    },
    {
      "epoch": 0.9663333333333334,
      "grad_norm": 1.8125,
      "learning_rate": 0.0002628050847457627,
      "loss": 3.6920806884765627,
      "step": 28990
    },
    {
      "epoch": 0.9665,
      "grad_norm": 1.4140625,
      "learning_rate": 0.0002627627118644068,
      "loss": 2.54882755279541,
      "step": 28995
    },
    {
      "epoch": 0.9666666666666667,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00026272033898305086,
      "loss": 4.1017711639404295,
      "step": 29000
    },
    {
      "epoch": 0.9668333333333333,
      "grad_norm": 1.828125,
      "learning_rate": 0.0002626779661016949,
      "loss": 3.906132125854492,
      "step": 29005
    },
    {
      "epoch": 0.967,
      "grad_norm": 2.390625,
      "learning_rate": 0.00026263559322033895,
      "loss": 3.8977317810058594,
      "step": 29010
    },
    {
      "epoch": 0.9671666666666666,
      "grad_norm": 2.34375,
      "learning_rate": 0.00026259322033898305,
      "loss": 4.349230575561523,
      "step": 29015
    },
    {
      "epoch": 0.9673333333333334,
      "grad_norm": 1.9453125,
      "learning_rate": 0.00026255084745762714,
      "loss": 3.5136547088623047,
      "step": 29020
    },
    {
      "epoch": 0.9675,
      "grad_norm": 1.703125,
      "learning_rate": 0.0002625084745762712,
      "loss": 3.787158966064453,
      "step": 29025
    },
    {
      "epoch": 0.9676666666666667,
      "grad_norm": 1.7109375,
      "learning_rate": 0.00026246610169491523,
      "loss": 3.66591796875,
      "step": 29030
    },
    {
      "epoch": 0.9678333333333333,
      "grad_norm": 2.09375,
      "learning_rate": 0.0002624237288135593,
      "loss": 4.0336143493652346,
      "step": 29035
    },
    {
      "epoch": 0.968,
      "grad_norm": 1.734375,
      "learning_rate": 0.0002623813559322034,
      "loss": 3.8265052795410157,
      "step": 29040
    },
    {
      "epoch": 0.9681666666666666,
      "grad_norm": 1.8828125,
      "learning_rate": 0.00026233898305084747,
      "loss": 3.4237876892089845,
      "step": 29045
    },
    {
      "epoch": 0.9683333333333334,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0002622966101694915,
      "loss": 3.5393306732177736,
      "step": 29050
    },
    {
      "epoch": 0.9685,
      "grad_norm": 2.125,
      "learning_rate": 0.00026225423728813555,
      "loss": 3.370346450805664,
      "step": 29055
    },
    {
      "epoch": 0.9686666666666667,
      "grad_norm": 2.28125,
      "learning_rate": 0.0002622118644067797,
      "loss": 3.8572357177734373,
      "step": 29060
    },
    {
      "epoch": 0.9688333333333333,
      "grad_norm": 1.546875,
      "learning_rate": 0.00026216949152542375,
      "loss": 3.231890869140625,
      "step": 29065
    },
    {
      "epoch": 0.969,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0002621271186440678,
      "loss": 4.182259750366211,
      "step": 29070
    },
    {
      "epoch": 0.9691666666666666,
      "grad_norm": 2.171875,
      "learning_rate": 0.00026208474576271183,
      "loss": 4.117031860351562,
      "step": 29075
    },
    {
      "epoch": 0.9693333333333334,
      "grad_norm": 2.125,
      "learning_rate": 0.000262042372881356,
      "loss": 3.847899627685547,
      "step": 29080
    },
    {
      "epoch": 0.9695,
      "grad_norm": 1.8828125,
      "learning_rate": 0.000262,
      "loss": 3.1755895614624023,
      "step": 29085
    },
    {
      "epoch": 0.9696666666666667,
      "grad_norm": 1.8125,
      "learning_rate": 0.00026195762711864407,
      "loss": 3.3764339447021485,
      "step": 29090
    },
    {
      "epoch": 0.9698333333333333,
      "grad_norm": 1.734375,
      "learning_rate": 0.0002619152542372881,
      "loss": 3.9664932250976563,
      "step": 29095
    },
    {
      "epoch": 0.97,
      "grad_norm": 1.6796875,
      "learning_rate": 0.0002618728813559322,
      "loss": 4.251961517333984,
      "step": 29100
    },
    {
      "epoch": 0.9701666666666666,
      "grad_norm": 6.625,
      "learning_rate": 0.0002618305084745763,
      "loss": 4.02471694946289,
      "step": 29105
    },
    {
      "epoch": 0.9703333333333334,
      "grad_norm": 1.453125,
      "learning_rate": 0.00026178813559322035,
      "loss": 3.4893203735351563,
      "step": 29110
    },
    {
      "epoch": 0.9705,
      "grad_norm": 1.703125,
      "learning_rate": 0.0002617457627118644,
      "loss": 4.514139556884766,
      "step": 29115
    },
    {
      "epoch": 0.9706666666666667,
      "grad_norm": 1.8515625,
      "learning_rate": 0.00026170338983050843,
      "loss": 3.8573448181152346,
      "step": 29120
    },
    {
      "epoch": 0.9708333333333333,
      "grad_norm": 2.96875,
      "learning_rate": 0.0002616610169491526,
      "loss": 3.9311920166015626,
      "step": 29125
    },
    {
      "epoch": 0.971,
      "grad_norm": 2.109375,
      "learning_rate": 0.00026161864406779663,
      "loss": 3.493846893310547,
      "step": 29130
    },
    {
      "epoch": 0.9711666666666666,
      "grad_norm": 3.578125,
      "learning_rate": 0.00026157627118644067,
      "loss": 3.1193199157714844,
      "step": 29135
    },
    {
      "epoch": 0.9713333333333334,
      "grad_norm": 1.7109375,
      "learning_rate": 0.0002615338983050847,
      "loss": 3.764670562744141,
      "step": 29140
    },
    {
      "epoch": 0.9715,
      "grad_norm": 1.359375,
      "learning_rate": 0.0002614915254237288,
      "loss": 3.663777542114258,
      "step": 29145
    },
    {
      "epoch": 0.9716666666666667,
      "grad_norm": 2.328125,
      "learning_rate": 0.0002614491525423729,
      "loss": 3.6671096801757814,
      "step": 29150
    },
    {
      "epoch": 0.9718333333333333,
      "grad_norm": 1.9453125,
      "learning_rate": 0.00026140677966101695,
      "loss": 4.2175640106201175,
      "step": 29155
    },
    {
      "epoch": 0.972,
      "grad_norm": 1.71875,
      "learning_rate": 0.000261364406779661,
      "loss": 3.5081760406494142,
      "step": 29160
    },
    {
      "epoch": 0.9721666666666666,
      "grad_norm": 1.9453125,
      "learning_rate": 0.0002613220338983051,
      "loss": 3.8284317016601563,
      "step": 29165
    },
    {
      "epoch": 0.9723333333333334,
      "grad_norm": 4.875,
      "learning_rate": 0.0002612796610169492,
      "loss": 3.789971923828125,
      "step": 29170
    },
    {
      "epoch": 0.9725,
      "grad_norm": 1.9375,
      "learning_rate": 0.00026123728813559323,
      "loss": 4.1901695251464846,
      "step": 29175
    },
    {
      "epoch": 0.9726666666666667,
      "grad_norm": 2.453125,
      "learning_rate": 0.0002611949152542373,
      "loss": 2.877178955078125,
      "step": 29180
    },
    {
      "epoch": 0.9728333333333333,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00026115254237288137,
      "loss": 3.738520050048828,
      "step": 29185
    },
    {
      "epoch": 0.973,
      "grad_norm": 2.03125,
      "learning_rate": 0.0002611101694915254,
      "loss": 3.6143978118896483,
      "step": 29190
    },
    {
      "epoch": 0.9731666666666666,
      "grad_norm": 1.4140625,
      "learning_rate": 0.0002610677966101695,
      "loss": 3.591932678222656,
      "step": 29195
    },
    {
      "epoch": 0.9733333333333334,
      "grad_norm": 1.625,
      "learning_rate": 0.00026102542372881355,
      "loss": 3.7185020446777344,
      "step": 29200
    },
    {
      "epoch": 0.9735,
      "grad_norm": 2.875,
      "learning_rate": 0.00026098305084745765,
      "loss": 3.8466865539550783,
      "step": 29205
    },
    {
      "epoch": 0.9736666666666667,
      "grad_norm": 1.6640625,
      "learning_rate": 0.0002609406779661017,
      "loss": 4.0529632568359375,
      "step": 29210
    },
    {
      "epoch": 0.9738333333333333,
      "grad_norm": 4.15625,
      "learning_rate": 0.0002608983050847458,
      "loss": 4.246346282958984,
      "step": 29215
    },
    {
      "epoch": 0.974,
      "grad_norm": 1.375,
      "learning_rate": 0.00026085593220338983,
      "loss": 2.222821044921875,
      "step": 29220
    },
    {
      "epoch": 0.9741666666666666,
      "grad_norm": 2.765625,
      "learning_rate": 0.0002608135593220339,
      "loss": 4.033820724487304,
      "step": 29225
    },
    {
      "epoch": 0.9743333333333334,
      "grad_norm": 2.046875,
      "learning_rate": 0.000260771186440678,
      "loss": 4.028438568115234,
      "step": 29230
    },
    {
      "epoch": 0.9745,
      "grad_norm": 2.65625,
      "learning_rate": 0.000260728813559322,
      "loss": 4.156584930419922,
      "step": 29235
    },
    {
      "epoch": 0.9746666666666667,
      "grad_norm": 1.65625,
      "learning_rate": 0.0002606864406779661,
      "loss": 3.5560340881347656,
      "step": 29240
    },
    {
      "epoch": 0.9748333333333333,
      "grad_norm": 1.859375,
      "learning_rate": 0.00026064406779661016,
      "loss": 3.2871322631835938,
      "step": 29245
    },
    {
      "epoch": 0.975,
      "grad_norm": 1.6640625,
      "learning_rate": 0.00026060169491525425,
      "loss": 3.296875762939453,
      "step": 29250
    },
    {
      "epoch": 0.9751666666666666,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0002605593220338983,
      "loss": 3.315184783935547,
      "step": 29255
    },
    {
      "epoch": 0.9753333333333334,
      "grad_norm": 2.109375,
      "learning_rate": 0.0002605169491525424,
      "loss": 3.658263397216797,
      "step": 29260
    },
    {
      "epoch": 0.9755,
      "grad_norm": 2.09375,
      "learning_rate": 0.00026047457627118644,
      "loss": 4.020061492919922,
      "step": 29265
    },
    {
      "epoch": 0.9756666666666667,
      "grad_norm": 1.734375,
      "learning_rate": 0.00026043220338983053,
      "loss": 3.987224578857422,
      "step": 29270
    },
    {
      "epoch": 0.9758333333333333,
      "grad_norm": 1.8515625,
      "learning_rate": 0.0002603898305084746,
      "loss": 3.2594314575195313,
      "step": 29275
    },
    {
      "epoch": 0.976,
      "grad_norm": 1.8984375,
      "learning_rate": 0.0002603474576271186,
      "loss": 4.0806926727294925,
      "step": 29280
    },
    {
      "epoch": 0.9761666666666666,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0002603050847457627,
      "loss": 4.265625762939453,
      "step": 29285
    },
    {
      "epoch": 0.9763333333333334,
      "grad_norm": 1.8125,
      "learning_rate": 0.0002602627118644068,
      "loss": 4.658470916748047,
      "step": 29290
    },
    {
      "epoch": 0.9765,
      "grad_norm": 2.21875,
      "learning_rate": 0.00026022033898305086,
      "loss": 4.257112121582031,
      "step": 29295
    },
    {
      "epoch": 0.9766666666666667,
      "grad_norm": 1.9609375,
      "learning_rate": 0.0002601779661016949,
      "loss": 4.332392883300781,
      "step": 29300
    },
    {
      "epoch": 0.9768333333333333,
      "grad_norm": 1.125,
      "learning_rate": 0.000260135593220339,
      "loss": 2.8061485290527344,
      "step": 29305
    },
    {
      "epoch": 0.977,
      "grad_norm": 1.796875,
      "learning_rate": 0.0002600932203389831,
      "loss": 3.550110626220703,
      "step": 29310
    },
    {
      "epoch": 0.9771666666666666,
      "grad_norm": 1.4765625,
      "learning_rate": 0.00026005084745762714,
      "loss": 3.3688194274902346,
      "step": 29315
    },
    {
      "epoch": 0.9773333333333334,
      "grad_norm": 1.65625,
      "learning_rate": 0.0002600084745762712,
      "loss": 3.370757293701172,
      "step": 29320
    },
    {
      "epoch": 0.9775,
      "grad_norm": 1.40625,
      "learning_rate": 0.0002599661016949152,
      "loss": 3.1431365966796876,
      "step": 29325
    },
    {
      "epoch": 0.9776666666666667,
      "grad_norm": 1.5625,
      "learning_rate": 0.0002599237288135593,
      "loss": 2.9493953704833986,
      "step": 29330
    },
    {
      "epoch": 0.9778333333333333,
      "grad_norm": 2.078125,
      "learning_rate": 0.0002598813559322034,
      "loss": 3.1669288635253907,
      "step": 29335
    },
    {
      "epoch": 0.978,
      "grad_norm": 1.65625,
      "learning_rate": 0.00025983898305084746,
      "loss": 3.39842529296875,
      "step": 29340
    },
    {
      "epoch": 0.9781666666666666,
      "grad_norm": 2.625,
      "learning_rate": 0.0002597966101694915,
      "loss": 2.9372705459594726,
      "step": 29345
    },
    {
      "epoch": 0.9783333333333334,
      "grad_norm": 1.9296875,
      "learning_rate": 0.0002597542372881356,
      "loss": 3.613625717163086,
      "step": 29350
    },
    {
      "epoch": 0.9785,
      "grad_norm": 1.796875,
      "learning_rate": 0.0002597118644067797,
      "loss": 3.6628002166748046,
      "step": 29355
    },
    {
      "epoch": 0.9786666666666667,
      "grad_norm": 2.28125,
      "learning_rate": 0.00025966949152542374,
      "loss": 4.0696361541748045,
      "step": 29360
    },
    {
      "epoch": 0.9788333333333333,
      "grad_norm": 3.171875,
      "learning_rate": 0.0002596271186440678,
      "loss": 3.8541633605957033,
      "step": 29365
    },
    {
      "epoch": 0.979,
      "grad_norm": 1.5703125,
      "learning_rate": 0.0002595847457627118,
      "loss": 3.5534473419189454,
      "step": 29370
    },
    {
      "epoch": 0.9791666666666666,
      "grad_norm": 1.4921875,
      "learning_rate": 0.000259542372881356,
      "loss": 3.9143062591552735,
      "step": 29375
    },
    {
      "epoch": 0.9793333333333333,
      "grad_norm": 2.0625,
      "learning_rate": 0.0002595,
      "loss": 3.849702072143555,
      "step": 29380
    },
    {
      "epoch": 0.9795,
      "grad_norm": 1.5078125,
      "learning_rate": 0.00025945762711864406,
      "loss": 3.502501678466797,
      "step": 29385
    },
    {
      "epoch": 0.9796666666666667,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0002594152542372881,
      "loss": 4.2808784484863285,
      "step": 29390
    },
    {
      "epoch": 0.9798333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 0.00025937288135593226,
      "loss": 4.048577880859375,
      "step": 29395
    },
    {
      "epoch": 0.98,
      "grad_norm": 1.9453125,
      "learning_rate": 0.0002593305084745763,
      "loss": 3.339246368408203,
      "step": 29400
    },
    {
      "epoch": 0.9801666666666666,
      "grad_norm": 2.03125,
      "learning_rate": 0.00025928813559322034,
      "loss": 4.235342788696289,
      "step": 29405
    },
    {
      "epoch": 0.9803333333333333,
      "grad_norm": 1.953125,
      "learning_rate": 0.0002592457627118644,
      "loss": 3.470876693725586,
      "step": 29410
    },
    {
      "epoch": 0.9805,
      "grad_norm": 1.78125,
      "learning_rate": 0.0002592033898305085,
      "loss": 3.346063995361328,
      "step": 29415
    },
    {
      "epoch": 0.9806666666666667,
      "grad_norm": 2.125,
      "learning_rate": 0.0002591610169491526,
      "loss": 4.205035781860351,
      "step": 29420
    },
    {
      "epoch": 0.9808333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 0.0002591186440677966,
      "loss": 4.080700302124024,
      "step": 29425
    },
    {
      "epoch": 0.981,
      "grad_norm": 2.171875,
      "learning_rate": 0.00025907627118644066,
      "loss": 4.022826385498047,
      "step": 29430
    },
    {
      "epoch": 0.9811666666666666,
      "grad_norm": 1.5546875,
      "learning_rate": 0.0002590338983050847,
      "loss": 3.977962875366211,
      "step": 29435
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 2.859375,
      "learning_rate": 0.00025899152542372886,
      "loss": 3.570817565917969,
      "step": 29440
    },
    {
      "epoch": 0.9815,
      "grad_norm": 3.03125,
      "learning_rate": 0.0002589491525423729,
      "loss": 4.135494232177734,
      "step": 29445
    },
    {
      "epoch": 0.9816666666666667,
      "grad_norm": 2.53125,
      "learning_rate": 0.00025890677966101694,
      "loss": 4.350348281860351,
      "step": 29450
    },
    {
      "epoch": 0.9818333333333333,
      "grad_norm": 2.015625,
      "learning_rate": 0.000258864406779661,
      "loss": 2.454959487915039,
      "step": 29455
    },
    {
      "epoch": 0.982,
      "grad_norm": 2.53125,
      "learning_rate": 0.0002588220338983051,
      "loss": 3.588379669189453,
      "step": 29460
    },
    {
      "epoch": 0.9821666666666666,
      "grad_norm": 6.5625,
      "learning_rate": 0.0002587796610169492,
      "loss": 4.140096282958984,
      "step": 29465
    },
    {
      "epoch": 0.9823333333333333,
      "grad_norm": 1.6015625,
      "learning_rate": 0.0002587372881355932,
      "loss": 4.22532958984375,
      "step": 29470
    },
    {
      "epoch": 0.9825,
      "grad_norm": 1.296875,
      "learning_rate": 0.00025869491525423727,
      "loss": 3.1587602615356447,
      "step": 29475
    },
    {
      "epoch": 0.9826666666666667,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00025865254237288136,
      "loss": 3.9570781707763674,
      "step": 29480
    },
    {
      "epoch": 0.9828333333333333,
      "grad_norm": 1.9140625,
      "learning_rate": 0.00025861016949152546,
      "loss": 3.3529727935791014,
      "step": 29485
    },
    {
      "epoch": 0.983,
      "grad_norm": 2.859375,
      "learning_rate": 0.0002585677966101695,
      "loss": 3.534571075439453,
      "step": 29490
    },
    {
      "epoch": 0.9831666666666666,
      "grad_norm": 1.671875,
      "learning_rate": 0.00025852542372881355,
      "loss": 3.708698272705078,
      "step": 29495
    },
    {
      "epoch": 0.9833333333333333,
      "grad_norm": 1.4609375,
      "learning_rate": 0.00025848305084745764,
      "loss": 3.2962345123291015,
      "step": 29500
    },
    {
      "epoch": 0.9835,
      "grad_norm": 1.578125,
      "learning_rate": 0.0002584406779661017,
      "loss": 3.5288772583007812,
      "step": 29505
    },
    {
      "epoch": 0.9836666666666667,
      "grad_norm": 1.453125,
      "learning_rate": 0.0002583983050847458,
      "loss": 3.7055679321289063,
      "step": 29510
    },
    {
      "epoch": 0.9838333333333333,
      "grad_norm": 3.015625,
      "learning_rate": 0.00025835593220338983,
      "loss": 3.7834194183349608,
      "step": 29515
    },
    {
      "epoch": 0.984,
      "grad_norm": 1.6484375,
      "learning_rate": 0.0002583135593220339,
      "loss": 3.7084754943847655,
      "step": 29520
    },
    {
      "epoch": 0.9841666666666666,
      "grad_norm": 1.6484375,
      "learning_rate": 0.00025827118644067797,
      "loss": 3.9601055145263673,
      "step": 29525
    },
    {
      "epoch": 0.9843333333333333,
      "grad_norm": 2.0625,
      "learning_rate": 0.00025822881355932206,
      "loss": 4.216411590576172,
      "step": 29530
    },
    {
      "epoch": 0.9845,
      "grad_norm": 2.046875,
      "learning_rate": 0.0002581864406779661,
      "loss": 3.826442337036133,
      "step": 29535
    },
    {
      "epoch": 0.9846666666666667,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00025814406779661015,
      "loss": 3.4188911437988283,
      "step": 29540
    },
    {
      "epoch": 0.9848333333333333,
      "grad_norm": 2.5625,
      "learning_rate": 0.00025810169491525425,
      "loss": 3.7714664459228517,
      "step": 29545
    },
    {
      "epoch": 0.985,
      "grad_norm": 1.890625,
      "learning_rate": 0.0002580593220338983,
      "loss": 3.7179161071777345,
      "step": 29550
    },
    {
      "epoch": 0.9851666666666666,
      "grad_norm": 1.78125,
      "learning_rate": 0.0002580169491525424,
      "loss": 3.680039978027344,
      "step": 29555
    },
    {
      "epoch": 0.9853333333333333,
      "grad_norm": 2.25,
      "learning_rate": 0.00025797457627118643,
      "loss": 3.9287742614746093,
      "step": 29560
    },
    {
      "epoch": 0.9855,
      "grad_norm": 2.125,
      "learning_rate": 0.00025793220338983053,
      "loss": 4.259321594238282,
      "step": 29565
    },
    {
      "epoch": 0.9856666666666667,
      "grad_norm": 1.65625,
      "learning_rate": 0.00025788983050847457,
      "loss": 4.132069778442383,
      "step": 29570
    },
    {
      "epoch": 0.9858333333333333,
      "grad_norm": 2.625,
      "learning_rate": 0.00025784745762711867,
      "loss": 3.6998863220214844,
      "step": 29575
    },
    {
      "epoch": 0.986,
      "grad_norm": 2.375,
      "learning_rate": 0.0002578050847457627,
      "loss": 3.5919509887695313,
      "step": 29580
    },
    {
      "epoch": 0.9861666666666666,
      "grad_norm": 1.4453125,
      "learning_rate": 0.0002577627118644068,
      "loss": 3.6753890991210936,
      "step": 29585
    },
    {
      "epoch": 0.9863333333333333,
      "grad_norm": 3.28125,
      "learning_rate": 0.00025772033898305085,
      "loss": 2.9889339447021483,
      "step": 29590
    },
    {
      "epoch": 0.9865,
      "grad_norm": 2.015625,
      "learning_rate": 0.0002576779661016949,
      "loss": 4.091127014160156,
      "step": 29595
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 1.3046875,
      "learning_rate": 0.000257635593220339,
      "loss": 3.1086809158325197,
      "step": 29600
    },
    {
      "epoch": 0.9868333333333333,
      "grad_norm": 4.34375,
      "learning_rate": 0.0002575932203389831,
      "loss": 3.4595741271972655,
      "step": 29605
    },
    {
      "epoch": 0.987,
      "grad_norm": 2.125,
      "learning_rate": 0.00025755084745762713,
      "loss": 3.5868980407714846,
      "step": 29610
    },
    {
      "epoch": 0.9871666666666666,
      "grad_norm": 2.78125,
      "learning_rate": 0.0002575084745762712,
      "loss": 3.5800617218017576,
      "step": 29615
    },
    {
      "epoch": 0.9873333333333333,
      "grad_norm": 2.015625,
      "learning_rate": 0.00025746610169491527,
      "loss": 3.472352981567383,
      "step": 29620
    },
    {
      "epoch": 0.9875,
      "grad_norm": 1.6875,
      "learning_rate": 0.00025742372881355937,
      "loss": 3.0488414764404297,
      "step": 29625
    },
    {
      "epoch": 0.9876666666666667,
      "grad_norm": 1.6875,
      "learning_rate": 0.0002573813559322034,
      "loss": 2.9164724349975586,
      "step": 29630
    },
    {
      "epoch": 0.9878333333333333,
      "grad_norm": 2.203125,
      "learning_rate": 0.00025733898305084745,
      "loss": 3.8216880798339843,
      "step": 29635
    },
    {
      "epoch": 0.988,
      "grad_norm": 1.6875,
      "learning_rate": 0.0002572966101694915,
      "loss": 2.535387420654297,
      "step": 29640
    },
    {
      "epoch": 0.9881666666666666,
      "grad_norm": 1.953125,
      "learning_rate": 0.0002572542372881356,
      "loss": 3.4559497833251953,
      "step": 29645
    },
    {
      "epoch": 0.9883333333333333,
      "grad_norm": 1.90625,
      "learning_rate": 0.0002572118644067797,
      "loss": 3.8266921997070313,
      "step": 29650
    },
    {
      "epoch": 0.9885,
      "grad_norm": 2.21875,
      "learning_rate": 0.00025716949152542373,
      "loss": 4.116030883789063,
      "step": 29655
    },
    {
      "epoch": 0.9886666666666667,
      "grad_norm": 1.8359375,
      "learning_rate": 0.0002571271186440678,
      "loss": 3.845987319946289,
      "step": 29660
    },
    {
      "epoch": 0.9888333333333333,
      "grad_norm": 2.09375,
      "learning_rate": 0.00025708474576271187,
      "loss": 4.046755981445313,
      "step": 29665
    },
    {
      "epoch": 0.989,
      "grad_norm": 1.5859375,
      "learning_rate": 0.00025704237288135597,
      "loss": 3.1996833801269533,
      "step": 29670
    },
    {
      "epoch": 0.9891666666666666,
      "grad_norm": 1.59375,
      "learning_rate": 0.000257,
      "loss": 2.9187652587890627,
      "step": 29675
    },
    {
      "epoch": 0.9893333333333333,
      "grad_norm": 1.6796875,
      "learning_rate": 0.00025695762711864406,
      "loss": 2.936372756958008,
      "step": 29680
    },
    {
      "epoch": 0.9895,
      "grad_norm": 1.8671875,
      "learning_rate": 0.0002569152542372881,
      "loss": 3.5670433044433594,
      "step": 29685
    },
    {
      "epoch": 0.9896666666666667,
      "grad_norm": 3.0625,
      "learning_rate": 0.00025687288135593225,
      "loss": 3.446904754638672,
      "step": 29690
    },
    {
      "epoch": 0.9898333333333333,
      "grad_norm": 3.03125,
      "learning_rate": 0.0002568305084745763,
      "loss": 2.3516845703125,
      "step": 29695
    },
    {
      "epoch": 0.99,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00025678813559322034,
      "loss": 4.258201980590821,
      "step": 29700
    },
    {
      "epoch": 0.9901666666666666,
      "grad_norm": 1.84375,
      "learning_rate": 0.0002567457627118644,
      "loss": 3.044753646850586,
      "step": 29705
    },
    {
      "epoch": 0.9903333333333333,
      "grad_norm": 1.609375,
      "learning_rate": 0.00025670338983050853,
      "loss": 3.410439682006836,
      "step": 29710
    },
    {
      "epoch": 0.9905,
      "grad_norm": 2.5625,
      "learning_rate": 0.00025666101694915257,
      "loss": 4.061095809936523,
      "step": 29715
    },
    {
      "epoch": 0.9906666666666667,
      "grad_norm": 2.859375,
      "learning_rate": 0.0002566186440677966,
      "loss": 3.3287578582763673,
      "step": 29720
    },
    {
      "epoch": 0.9908333333333333,
      "grad_norm": 2.125,
      "learning_rate": 0.00025657627118644066,
      "loss": 3.7649166107177736,
      "step": 29725
    },
    {
      "epoch": 0.991,
      "grad_norm": 1.7421875,
      "learning_rate": 0.00025653389830508476,
      "loss": 3.7655612945556642,
      "step": 29730
    },
    {
      "epoch": 0.9911666666666666,
      "grad_norm": 1.84375,
      "learning_rate": 0.00025649152542372885,
      "loss": 3.880078125,
      "step": 29735
    },
    {
      "epoch": 0.9913333333333333,
      "grad_norm": 1.96875,
      "learning_rate": 0.0002564491525423729,
      "loss": 3.509693145751953,
      "step": 29740
    },
    {
      "epoch": 0.9915,
      "grad_norm": 2.0625,
      "learning_rate": 0.00025640677966101694,
      "loss": 4.049535751342773,
      "step": 29745
    },
    {
      "epoch": 0.9916666666666667,
      "grad_norm": 2.875,
      "learning_rate": 0.000256364406779661,
      "loss": 4.35816650390625,
      "step": 29750
    },
    {
      "epoch": 0.9918333333333333,
      "grad_norm": 1.75,
      "learning_rate": 0.00025632203389830513,
      "loss": 3.605150604248047,
      "step": 29755
    },
    {
      "epoch": 0.992,
      "grad_norm": 1.7578125,
      "learning_rate": 0.0002562796610169492,
      "loss": 3.640238952636719,
      "step": 29760
    },
    {
      "epoch": 0.9921666666666666,
      "grad_norm": 2.046875,
      "learning_rate": 0.0002562372881355932,
      "loss": 3.9335052490234377,
      "step": 29765
    },
    {
      "epoch": 0.9923333333333333,
      "grad_norm": 1.5390625,
      "learning_rate": 0.00025619491525423726,
      "loss": 3.1044422149658204,
      "step": 29770
    },
    {
      "epoch": 0.9925,
      "grad_norm": 1.9453125,
      "learning_rate": 0.00025615254237288136,
      "loss": 3.20621337890625,
      "step": 29775
    },
    {
      "epoch": 0.9926666666666667,
      "grad_norm": 1.640625,
      "learning_rate": 0.00025611016949152546,
      "loss": 3.130989646911621,
      "step": 29780
    },
    {
      "epoch": 0.9928333333333333,
      "grad_norm": 2.078125,
      "learning_rate": 0.0002560677966101695,
      "loss": 3.8886032104492188,
      "step": 29785
    },
    {
      "epoch": 0.993,
      "grad_norm": 2.015625,
      "learning_rate": 0.00025602542372881354,
      "loss": 4.158042526245117,
      "step": 29790
    },
    {
      "epoch": 0.9931666666666666,
      "grad_norm": 1.96875,
      "learning_rate": 0.00025598305084745764,
      "loss": 2.6480905532836916,
      "step": 29795
    },
    {
      "epoch": 0.9933333333333333,
      "grad_norm": 2.078125,
      "learning_rate": 0.00025594067796610174,
      "loss": 3.790178680419922,
      "step": 29800
    },
    {
      "epoch": 0.9935,
      "grad_norm": 2.53125,
      "learning_rate": 0.0002558983050847458,
      "loss": 3.922425079345703,
      "step": 29805
    },
    {
      "epoch": 0.9936666666666667,
      "grad_norm": 1.875,
      "learning_rate": 0.0002558559322033898,
      "loss": 3.374367904663086,
      "step": 29810
    },
    {
      "epoch": 0.9938333333333333,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0002558135593220339,
      "loss": 3.303243637084961,
      "step": 29815
    },
    {
      "epoch": 0.994,
      "grad_norm": 2.546875,
      "learning_rate": 0.00025577118644067796,
      "loss": 3.9344505310058593,
      "step": 29820
    },
    {
      "epoch": 0.9941666666666666,
      "grad_norm": 1.828125,
      "learning_rate": 0.00025572881355932206,
      "loss": 3.500933074951172,
      "step": 29825
    },
    {
      "epoch": 0.9943333333333333,
      "grad_norm": 2.296875,
      "learning_rate": 0.0002556864406779661,
      "loss": 4.377698516845703,
      "step": 29830
    },
    {
      "epoch": 0.9945,
      "grad_norm": 1.8125,
      "learning_rate": 0.0002556440677966102,
      "loss": 3.5975746154785155,
      "step": 29835
    },
    {
      "epoch": 0.9946666666666667,
      "grad_norm": 2.1875,
      "learning_rate": 0.00025560169491525424,
      "loss": 4.103008651733399,
      "step": 29840
    },
    {
      "epoch": 0.9948333333333333,
      "grad_norm": 1.8359375,
      "learning_rate": 0.00025555932203389834,
      "loss": 4.1306884765625,
      "step": 29845
    },
    {
      "epoch": 0.995,
      "grad_norm": 1.953125,
      "learning_rate": 0.0002555169491525424,
      "loss": 3.6298892974853514,
      "step": 29850
    },
    {
      "epoch": 0.9951666666666666,
      "grad_norm": 2.09375,
      "learning_rate": 0.0002554745762711864,
      "loss": 3.8994377136230467,
      "step": 29855
    },
    {
      "epoch": 0.9953333333333333,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0002554322033898305,
      "loss": 3.732364273071289,
      "step": 29860
    },
    {
      "epoch": 0.9955,
      "grad_norm": 1.90625,
      "learning_rate": 0.00025538983050847456,
      "loss": 3.7999462127685546,
      "step": 29865
    },
    {
      "epoch": 0.9956666666666667,
      "grad_norm": 1.96875,
      "learning_rate": 0.00025534745762711866,
      "loss": 3.3374046325683593,
      "step": 29870
    },
    {
      "epoch": 0.9958333333333333,
      "grad_norm": 1.6171875,
      "learning_rate": 0.0002553050847457627,
      "loss": 3.6538055419921873,
      "step": 29875
    },
    {
      "epoch": 0.996,
      "grad_norm": 1.3359375,
      "learning_rate": 0.0002552627118644068,
      "loss": 2.753139114379883,
      "step": 29880
    },
    {
      "epoch": 0.9961666666666666,
      "grad_norm": 1.5546875,
      "learning_rate": 0.00025522033898305084,
      "loss": 3.814006805419922,
      "step": 29885
    },
    {
      "epoch": 0.9963333333333333,
      "grad_norm": 1.4140625,
      "learning_rate": 0.00025517796610169494,
      "loss": 3.9203956604003904,
      "step": 29890
    },
    {
      "epoch": 0.9965,
      "grad_norm": 2.0625,
      "learning_rate": 0.000255135593220339,
      "loss": 3.1111728668212892,
      "step": 29895
    },
    {
      "epoch": 0.9966666666666667,
      "grad_norm": 3.296875,
      "learning_rate": 0.0002550932203389831,
      "loss": 4.502642059326172,
      "step": 29900
    },
    {
      "epoch": 0.9968333333333333,
      "grad_norm": 1.9921875,
      "learning_rate": 0.0002550508474576271,
      "loss": 3.6601295471191406,
      "step": 29905
    },
    {
      "epoch": 0.997,
      "grad_norm": 1.84375,
      "learning_rate": 0.00025500847457627117,
      "loss": 3.5687721252441404,
      "step": 29910
    },
    {
      "epoch": 0.9971666666666666,
      "grad_norm": 1.9609375,
      "learning_rate": 0.00025496610169491526,
      "loss": 3.9489952087402345,
      "step": 29915
    },
    {
      "epoch": 0.9973333333333333,
      "grad_norm": 1.703125,
      "learning_rate": 0.00025492372881355936,
      "loss": 3.4780941009521484,
      "step": 29920
    },
    {
      "epoch": 0.9975,
      "grad_norm": 1.84375,
      "learning_rate": 0.0002548813559322034,
      "loss": 4.514889526367187,
      "step": 29925
    },
    {
      "epoch": 0.9976666666666667,
      "grad_norm": 1.8671875,
      "learning_rate": 0.00025483898305084745,
      "loss": 3.7455650329589845,
      "step": 29930
    },
    {
      "epoch": 0.9978333333333333,
      "grad_norm": 2.453125,
      "learning_rate": 0.0002547966101694915,
      "loss": 3.920824432373047,
      "step": 29935
    },
    {
      "epoch": 0.998,
      "grad_norm": 2.421875,
      "learning_rate": 0.00025475423728813564,
      "loss": 3.268706130981445,
      "step": 29940
    },
    {
      "epoch": 0.9981666666666666,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0002547118644067797,
      "loss": 4.004006195068359,
      "step": 29945
    },
    {
      "epoch": 0.9983333333333333,
      "grad_norm": 1.7421875,
      "learning_rate": 0.0002546694915254237,
      "loss": 3.367818069458008,
      "step": 29950
    },
    {
      "epoch": 0.9985,
      "grad_norm": 1.640625,
      "learning_rate": 0.00025462711864406777,
      "loss": 3.9600452423095702,
      "step": 29955
    },
    {
      "epoch": 0.9986666666666667,
      "grad_norm": 1.5703125,
      "learning_rate": 0.00025458474576271187,
      "loss": 3.3878013610839846,
      "step": 29960
    },
    {
      "epoch": 0.9988333333333334,
      "grad_norm": 1.78125,
      "learning_rate": 0.00025454237288135596,
      "loss": 3.407154846191406,
      "step": 29965
    },
    {
      "epoch": 0.999,
      "grad_norm": 1.75,
      "learning_rate": 0.0002545,
      "loss": 4.375560760498047,
      "step": 29970
    },
    {
      "epoch": 0.9991666666666666,
      "grad_norm": 1.4140625,
      "learning_rate": 0.00025445762711864405,
      "loss": 3.577473449707031,
      "step": 29975
    },
    {
      "epoch": 0.9993333333333333,
      "grad_norm": 1.6328125,
      "learning_rate": 0.0002544152542372881,
      "loss": 3.1750732421875,
      "step": 29980
    },
    {
      "epoch": 0.9995,
      "grad_norm": 1.328125,
      "learning_rate": 0.00025437288135593224,
      "loss": 3.014640045166016,
      "step": 29985
    },
    {
      "epoch": 0.9996666666666667,
      "grad_norm": 2.609375,
      "learning_rate": 0.0002543305084745763,
      "loss": 3.6509265899658203,
      "step": 29990
    },
    {
      "epoch": 0.9998333333333334,
      "grad_norm": 1.71875,
      "learning_rate": 0.00025428813559322033,
      "loss": 3.9523941040039063,
      "step": 29995
    },
    {
      "epoch": 1.0,
      "grad_norm": 6.03125,
      "learning_rate": 0.00025424576271186437,
      "loss": 3.17877254486084,
      "step": 30000
    }
  ],
  "logging_steps": 5,
  "max_steps": 60000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 2,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 2431948084068096.0,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}