{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 5.0,
  "eval_steps": 500,
  "global_step": 960,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.005208333333333333,
      "grad_norm": 5.525024825392629,
      "learning_rate": 8.333333333333333e-07,
      "loss": 0.9534,
      "step": 1
    },
    {
      "epoch": 0.010416666666666666,
      "grad_norm": 5.551648274390938,
      "learning_rate": 1.6666666666666667e-06,
      "loss": 0.9629,
      "step": 2
    },
    {
      "epoch": 0.015625,
      "grad_norm": 5.509542445845226,
      "learning_rate": 2.5e-06,
      "loss": 0.9508,
      "step": 3
    },
    {
      "epoch": 0.020833333333333332,
      "grad_norm": 5.1927233541832445,
      "learning_rate": 3.3333333333333333e-06,
      "loss": 0.9385,
      "step": 4
    },
    {
      "epoch": 0.026041666666666668,
      "grad_norm": 4.119699702130654,
      "learning_rate": 4.166666666666667e-06,
      "loss": 0.9103,
      "step": 5
    },
    {
      "epoch": 0.03125,
      "grad_norm": 2.3672930783065,
      "learning_rate": 5e-06,
      "loss": 0.8662,
      "step": 6
    },
    {
      "epoch": 0.036458333333333336,
      "grad_norm": 2.03868625019881,
      "learning_rate": 5.833333333333334e-06,
      "loss": 0.8597,
      "step": 7
    },
    {
      "epoch": 0.041666666666666664,
      "grad_norm": 3.5015619573526857,
      "learning_rate": 6.666666666666667e-06,
      "loss": 0.8405,
      "step": 8
    },
    {
      "epoch": 0.046875,
      "grad_norm": 3.688077401315301,
      "learning_rate": 7.500000000000001e-06,
      "loss": 0.8365,
      "step": 9
    },
    {
      "epoch": 0.052083333333333336,
      "grad_norm": 3.7377496159509866,
      "learning_rate": 8.333333333333334e-06,
      "loss": 0.8405,
      "step": 10
    },
    {
      "epoch": 0.057291666666666664,
      "grad_norm": 3.3767514472240854,
      "learning_rate": 9.166666666666666e-06,
      "loss": 0.7926,
      "step": 11
    },
    {
      "epoch": 0.0625,
      "grad_norm": 2.9413894106372225,
      "learning_rate": 1e-05,
      "loss": 0.7778,
      "step": 12
    },
    {
      "epoch": 0.06770833333333333,
      "grad_norm": 2.0483525134110954,
      "learning_rate": 1.0833333333333334e-05,
      "loss": 0.7608,
      "step": 13
    },
    {
      "epoch": 0.07291666666666667,
      "grad_norm": 1.7902123857830758,
      "learning_rate": 1.1666666666666668e-05,
      "loss": 0.7433,
      "step": 14
    },
    {
      "epoch": 0.078125,
      "grad_norm": 2.154040734713134,
      "learning_rate": 1.25e-05,
      "loss": 0.7313,
      "step": 15
    },
    {
      "epoch": 0.08333333333333333,
      "grad_norm": 1.7415156228578583,
      "learning_rate": 1.3333333333333333e-05,
      "loss": 0.7256,
      "step": 16
    },
    {
      "epoch": 0.08854166666666667,
      "grad_norm": 1.3929654688846236,
      "learning_rate": 1.416666666666667e-05,
      "loss": 0.7283,
      "step": 17
    },
    {
      "epoch": 0.09375,
      "grad_norm": 1.3951473311188842,
      "learning_rate": 1.5000000000000002e-05,
      "loss": 0.7067,
      "step": 18
    },
    {
      "epoch": 0.09895833333333333,
      "grad_norm": 1.169086981212658,
      "learning_rate": 1.5833333333333333e-05,
      "loss": 0.6999,
      "step": 19
    },
    {
      "epoch": 0.10416666666666667,
      "grad_norm": 1.0762339298811598,
      "learning_rate": 1.6666666666666667e-05,
      "loss": 0.6896,
      "step": 20
    },
    {
      "epoch": 0.109375,
      "grad_norm": 0.9738815466587011,
      "learning_rate": 1.7500000000000002e-05,
      "loss": 0.6706,
      "step": 21
    },
    {
      "epoch": 0.11458333333333333,
      "grad_norm": 0.9996629105194931,
      "learning_rate": 1.8333333333333333e-05,
      "loss": 0.6684,
      "step": 22
    },
    {
      "epoch": 0.11979166666666667,
      "grad_norm": 0.8186627736447165,
      "learning_rate": 1.916666666666667e-05,
      "loss": 0.6609,
      "step": 23
    },
    {
      "epoch": 0.125,
      "grad_norm": 0.7974481317118651,
      "learning_rate": 2e-05,
      "loss": 0.6558,
      "step": 24
    },
    {
      "epoch": 0.13020833333333334,
      "grad_norm": 0.8381166333015055,
      "learning_rate": 2.0833333333333336e-05,
      "loss": 0.6505,
      "step": 25
    },
    {
      "epoch": 0.13541666666666666,
      "grad_norm": 0.6867670094262708,
      "learning_rate": 2.1666666666666667e-05,
      "loss": 0.6317,
      "step": 26
    },
    {
      "epoch": 0.140625,
      "grad_norm": 0.7822189502494895,
      "learning_rate": 2.25e-05,
      "loss": 0.6449,
      "step": 27
    },
    {
      "epoch": 0.14583333333333334,
      "grad_norm": 0.6558238755632805,
      "learning_rate": 2.3333333333333336e-05,
      "loss": 0.6447,
      "step": 28
    },
    {
      "epoch": 0.15104166666666666,
      "grad_norm": 0.6474856126820125,
      "learning_rate": 2.4166666666666667e-05,
      "loss": 0.6319,
      "step": 29
    },
    {
      "epoch": 0.15625,
      "grad_norm": 0.7177744461106961,
      "learning_rate": 2.5e-05,
      "loss": 0.6244,
      "step": 30
    },
    {
      "epoch": 0.16145833333333334,
      "grad_norm": 0.7009492854462016,
      "learning_rate": 2.5833333333333336e-05,
      "loss": 0.6209,
      "step": 31
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 0.8366662666049973,
      "learning_rate": 2.6666666666666667e-05,
      "loss": 0.6259,
      "step": 32
    },
    {
      "epoch": 0.171875,
      "grad_norm": 0.7120999856190574,
      "learning_rate": 2.75e-05,
      "loss": 0.6197,
      "step": 33
    },
    {
      "epoch": 0.17708333333333334,
      "grad_norm": 0.7439607533194146,
      "learning_rate": 2.833333333333334e-05,
      "loss": 0.6273,
      "step": 34
    },
    {
      "epoch": 0.18229166666666666,
      "grad_norm": 0.8256135694180483,
      "learning_rate": 2.9166666666666666e-05,
      "loss": 0.616,
      "step": 35
    },
    {
      "epoch": 0.1875,
      "grad_norm": 1.0419123996679769,
      "learning_rate": 3.0000000000000004e-05,
      "loss": 0.6136,
      "step": 36
    },
    {
      "epoch": 0.19270833333333334,
      "grad_norm": 1.0161402351295794,
      "learning_rate": 3.0833333333333335e-05,
      "loss": 0.6041,
      "step": 37
    },
    {
      "epoch": 0.19791666666666666,
      "grad_norm": 0.8110880660712807,
      "learning_rate": 3.1666666666666666e-05,
      "loss": 0.6065,
      "step": 38
    },
    {
      "epoch": 0.203125,
      "grad_norm": 0.9092931735544441,
      "learning_rate": 3.2500000000000004e-05,
      "loss": 0.5983,
      "step": 39
    },
    {
      "epoch": 0.20833333333333334,
      "grad_norm": 1.297161226964139,
      "learning_rate": 3.3333333333333335e-05,
      "loss": 0.5957,
      "step": 40
    },
    {
      "epoch": 0.21354166666666666,
      "grad_norm": 0.9065908896110595,
      "learning_rate": 3.4166666666666666e-05,
      "loss": 0.5999,
      "step": 41
    },
    {
      "epoch": 0.21875,
      "grad_norm": 1.199832224228208,
      "learning_rate": 3.5000000000000004e-05,
      "loss": 0.6022,
      "step": 42
    },
    {
      "epoch": 0.22395833333333334,
      "grad_norm": 0.8528354350000252,
      "learning_rate": 3.5833333333333335e-05,
      "loss": 0.5939,
      "step": 43
    },
    {
      "epoch": 0.22916666666666666,
      "grad_norm": 0.9835040548718635,
      "learning_rate": 3.6666666666666666e-05,
      "loss": 0.597,
      "step": 44
    },
    {
      "epoch": 0.234375,
      "grad_norm": 1.7523484775548723,
      "learning_rate": 3.7500000000000003e-05,
      "loss": 0.6063,
      "step": 45
    },
    {
      "epoch": 0.23958333333333334,
      "grad_norm": 1.0628059715241025,
      "learning_rate": 3.833333333333334e-05,
      "loss": 0.5876,
      "step": 46
    },
    {
      "epoch": 0.24479166666666666,
      "grad_norm": 2.0206748045583858,
      "learning_rate": 3.9166666666666665e-05,
      "loss": 0.5997,
      "step": 47
    },
    {
      "epoch": 0.25,
      "grad_norm": 1.6972410921372278,
      "learning_rate": 4e-05,
      "loss": 0.5894,
      "step": 48
    },
    {
      "epoch": 0.2552083333333333,
      "grad_norm": 1.494304955329122,
      "learning_rate": 4.0833333333333334e-05,
      "loss": 0.5908,
      "step": 49
    },
    {
      "epoch": 0.2604166666666667,
      "grad_norm": 2.1147912320359907,
      "learning_rate": 4.166666666666667e-05,
      "loss": 0.5951,
      "step": 50
    },
    {
      "epoch": 0.265625,
      "grad_norm": 1.5515981356339004,
      "learning_rate": 4.25e-05,
      "loss": 0.5917,
      "step": 51
    },
    {
      "epoch": 0.2708333333333333,
      "grad_norm": 2.311620905925207,
      "learning_rate": 4.3333333333333334e-05,
      "loss": 0.5877,
      "step": 52
    },
    {
      "epoch": 0.2760416666666667,
      "grad_norm": 2.3683022786063,
      "learning_rate": 4.416666666666667e-05,
      "loss": 0.5885,
      "step": 53
    },
    {
      "epoch": 0.28125,
      "grad_norm": 1.191792930609075,
      "learning_rate": 4.5e-05,
      "loss": 0.584,
      "step": 54
    },
    {
      "epoch": 0.2864583333333333,
      "grad_norm": 1.4564679143392056,
      "learning_rate": 4.5833333333333334e-05,
      "loss": 0.574,
      "step": 55
    },
    {
      "epoch": 0.2916666666666667,
      "grad_norm": 1.3035860621313111,
      "learning_rate": 4.666666666666667e-05,
      "loss": 0.5827,
      "step": 56
    },
    {
      "epoch": 0.296875,
      "grad_norm": 1.2096245035368207,
      "learning_rate": 4.75e-05,
      "loss": 0.5839,
      "step": 57
    },
    {
      "epoch": 0.3020833333333333,
      "grad_norm": 1.7755049175095443,
      "learning_rate": 4.8333333333333334e-05,
      "loss": 0.5822,
      "step": 58
    },
    {
      "epoch": 0.3072916666666667,
      "grad_norm": 0.8797467728629509,
      "learning_rate": 4.916666666666667e-05,
      "loss": 0.5869,
      "step": 59
    },
    {
      "epoch": 0.3125,
      "grad_norm": 1.6056153382680485,
      "learning_rate": 5e-05,
      "loss": 0.5812,
      "step": 60
    },
    {
      "epoch": 0.3177083333333333,
      "grad_norm": 1.2698116058810207,
      "learning_rate": 5.0833333333333333e-05,
      "loss": 0.5868,
      "step": 61
    },
    {
      "epoch": 0.3229166666666667,
      "grad_norm": 1.5463150685099472,
      "learning_rate": 5.166666666666667e-05,
      "loss": 0.5749,
      "step": 62
    },
    {
      "epoch": 0.328125,
      "grad_norm": 0.9828995510734341,
      "learning_rate": 5.25e-05,
      "loss": 0.5776,
      "step": 63
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 1.3805667189972306,
      "learning_rate": 5.333333333333333e-05,
      "loss": 0.5739,
      "step": 64
    },
    {
      "epoch": 0.3385416666666667,
      "grad_norm": 1.5926110127047943,
      "learning_rate": 5.416666666666667e-05,
      "loss": 0.5846,
      "step": 65
    },
    {
      "epoch": 0.34375,
      "grad_norm": 1.4636941655068967,
      "learning_rate": 5.5e-05,
      "loss": 0.5732,
      "step": 66
    },
    {
      "epoch": 0.3489583333333333,
      "grad_norm": 1.4458707197431357,
      "learning_rate": 5.583333333333333e-05,
      "loss": 0.5788,
      "step": 67
    },
    {
      "epoch": 0.3541666666666667,
      "grad_norm": 1.3273554370688572,
      "learning_rate": 5.666666666666668e-05,
      "loss": 0.5722,
      "step": 68
    },
    {
      "epoch": 0.359375,
      "grad_norm": 1.487033700716078,
      "learning_rate": 5.75e-05,
      "loss": 0.5727,
      "step": 69
    },
    {
      "epoch": 0.3645833333333333,
      "grad_norm": 1.3944914938186193,
      "learning_rate": 5.833333333333333e-05,
      "loss": 0.5717,
      "step": 70
    },
    {
      "epoch": 0.3697916666666667,
      "grad_norm": 1.7758627634459798,
      "learning_rate": 5.916666666666668e-05,
      "loss": 0.5744,
      "step": 71
    },
    {
      "epoch": 0.375,
      "grad_norm": 1.1865248938773965,
      "learning_rate": 6.000000000000001e-05,
      "loss": 0.5663,
      "step": 72
    },
    {
      "epoch": 0.3802083333333333,
      "grad_norm": 0.8614048693332552,
      "learning_rate": 6.083333333333333e-05,
      "loss": 0.5612,
      "step": 73
    },
    {
      "epoch": 0.3854166666666667,
      "grad_norm": 2.177973125390105,
      "learning_rate": 6.166666666666667e-05,
      "loss": 0.5789,
      "step": 74
    },
    {
      "epoch": 0.390625,
      "grad_norm": 1.0200522950521007,
      "learning_rate": 6.25e-05,
      "loss": 0.5807,
      "step": 75
    },
    {
      "epoch": 0.3958333333333333,
      "grad_norm": 1.7944802536511104,
      "learning_rate": 6.333333333333333e-05,
      "loss": 0.5926,
      "step": 76
    },
    {
      "epoch": 0.4010416666666667,
      "grad_norm": 1.5688920620861333,
      "learning_rate": 6.416666666666668e-05,
      "loss": 0.5737,
      "step": 77
    },
    {
      "epoch": 0.40625,
      "grad_norm": 1.4156745308032102,
      "learning_rate": 6.500000000000001e-05,
      "loss": 0.5569,
      "step": 78
    },
    {
      "epoch": 0.4114583333333333,
      "grad_norm": 1.2197256375353176,
      "learning_rate": 6.583333333333334e-05,
      "loss": 0.5619,
      "step": 79
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 1.3259423152821694,
      "learning_rate": 6.666666666666667e-05,
      "loss": 0.5654,
      "step": 80
    },
    {
      "epoch": 0.421875,
      "grad_norm": 1.2961313816217923,
      "learning_rate": 6.75e-05,
      "loss": 0.5792,
      "step": 81
    },
    {
      "epoch": 0.4270833333333333,
      "grad_norm": 1.6536659750641138,
      "learning_rate": 6.833333333333333e-05,
      "loss": 0.5739,
      "step": 82
    },
    {
      "epoch": 0.4322916666666667,
      "grad_norm": 1.3270096351194463,
      "learning_rate": 6.916666666666668e-05,
      "loss": 0.5766,
      "step": 83
    },
    {
      "epoch": 0.4375,
      "grad_norm": 1.5480425878783268,
      "learning_rate": 7.000000000000001e-05,
      "loss": 0.5693,
      "step": 84
    },
    {
      "epoch": 0.4427083333333333,
      "grad_norm": 1.1209116395231447,
      "learning_rate": 7.083333333333334e-05,
      "loss": 0.5543,
      "step": 85
    },
    {
      "epoch": 0.4479166666666667,
      "grad_norm": 1.7489730530818102,
      "learning_rate": 7.166666666666667e-05,
      "loss": 0.5724,
      "step": 86
    },
    {
      "epoch": 0.453125,
      "grad_norm": 1.3203910481711116,
      "learning_rate": 7.25e-05,
      "loss": 0.5591,
      "step": 87
    },
    {
      "epoch": 0.4583333333333333,
      "grad_norm": 1.7223000826655632,
      "learning_rate": 7.333333333333333e-05,
      "loss": 0.5689,
      "step": 88
    },
    {
      "epoch": 0.4635416666666667,
      "grad_norm": 1.7312015813762924,
      "learning_rate": 7.416666666666668e-05,
      "loss": 0.5735,
      "step": 89
    },
    {
      "epoch": 0.46875,
      "grad_norm": 1.0429184512036973,
      "learning_rate": 7.500000000000001e-05,
      "loss": 0.5555,
      "step": 90
    },
    {
      "epoch": 0.4739583333333333,
      "grad_norm": 1.5347114485549012,
      "learning_rate": 7.583333333333334e-05,
      "loss": 0.5659,
      "step": 91
    },
    {
      "epoch": 0.4791666666666667,
      "grad_norm": 1.7029481756945268,
      "learning_rate": 7.666666666666668e-05,
      "loss": 0.5671,
      "step": 92
    },
    {
      "epoch": 0.484375,
      "grad_norm": 1.6966174300946235,
      "learning_rate": 7.75e-05,
      "loss": 0.5622,
      "step": 93
    },
    {
      "epoch": 0.4895833333333333,
      "grad_norm": 1.1739360580265428,
      "learning_rate": 7.833333333333333e-05,
      "loss": 0.5611,
      "step": 94
    },
    {
      "epoch": 0.4947916666666667,
      "grad_norm": 2.8761656042205557,
      "learning_rate": 7.916666666666668e-05,
      "loss": 0.5684,
      "step": 95
    },
    {
      "epoch": 0.5,
      "grad_norm": 1.7784007475686137,
      "learning_rate": 8e-05,
      "loss": 0.5727,
      "step": 96
    },
    {
      "epoch": 0.5052083333333334,
      "grad_norm": 2.851992835602455,
      "learning_rate": 7.999973557544778e-05,
      "loss": 0.574,
      "step": 97
    },
    {
      "epoch": 0.5104166666666666,
      "grad_norm": 2.684522879113019,
      "learning_rate": 7.99989423052871e-05,
      "loss": 0.5825,
      "step": 98
    },
    {
      "epoch": 0.515625,
      "grad_norm": 1.5779371179265465,
      "learning_rate": 7.9997620200006e-05,
      "loss": 0.5609,
      "step": 99
    },
    {
      "epoch": 0.5208333333333334,
      "grad_norm": 1.42585860826464,
      "learning_rate": 7.99957692770843e-05,
      "loss": 0.5742,
      "step": 100
    },
    {
      "epoch": 0.5260416666666666,
      "grad_norm": 1.2438115559079366,
      "learning_rate": 7.999338956099351e-05,
      "loss": 0.5594,
      "step": 101
    },
    {
      "epoch": 0.53125,
      "grad_norm": 1.6661142967150164,
      "learning_rate": 7.999048108319636e-05,
      "loss": 0.5654,
      "step": 102
    },
    {
      "epoch": 0.5364583333333334,
      "grad_norm": 1.4956870080415396,
      "learning_rate": 7.998704388214654e-05,
      "loss": 0.5716,
      "step": 103
    },
    {
      "epoch": 0.5416666666666666,
      "grad_norm": 1.3392587197393766,
      "learning_rate": 7.998307800328803e-05,
      "loss": 0.5597,
      "step": 104
    },
    {
      "epoch": 0.546875,
      "grad_norm": 1.0185916312986056,
      "learning_rate": 7.997858349905463e-05,
      "loss": 0.5612,
      "step": 105
    },
    {
      "epoch": 0.5520833333333334,
      "grad_norm": 1.54246152837971,
      "learning_rate": 7.997356042886921e-05,
      "loss": 0.5651,
      "step": 106
    },
    {
      "epoch": 0.5572916666666666,
      "grad_norm": 1.82349674990167,
      "learning_rate": 7.996800885914292e-05,
      "loss": 0.5539,
      "step": 107
    },
    {
      "epoch": 0.5625,
      "grad_norm": 1.085880728986976,
      "learning_rate": 7.996192886327432e-05,
      "loss": 0.5587,
      "step": 108
    },
    {
      "epoch": 0.5677083333333334,
      "grad_norm": 1.341531509903906,
      "learning_rate": 7.995532052164842e-05,
      "loss": 0.5583,
      "step": 109
    },
    {
      "epoch": 0.5729166666666666,
      "grad_norm": 1.3783447184527489,
      "learning_rate": 7.994818392163563e-05,
      "loss": 0.5599,
      "step": 110
    },
    {
      "epoch": 0.578125,
      "grad_norm": 1.2101323812201854,
      "learning_rate": 7.994051915759053e-05,
      "loss": 0.5645,
      "step": 111
    },
    {
      "epoch": 0.5833333333333334,
      "grad_norm": 1.3507075505089365,
      "learning_rate": 7.993232633085074e-05,
      "loss": 0.5596,
      "step": 112
    },
    {
      "epoch": 0.5885416666666666,
      "grad_norm": 1.2509285607975507,
      "learning_rate": 7.992360554973546e-05,
      "loss": 0.5587,
      "step": 113
    },
    {
      "epoch": 0.59375,
      "grad_norm": 1.6685276924931145,
      "learning_rate": 7.991435692954414e-05,
      "loss": 0.5575,
      "step": 114
    },
    {
      "epoch": 0.5989583333333334,
      "grad_norm": 0.9511648935776236,
      "learning_rate": 7.990458059255491e-05,
      "loss": 0.5421,
      "step": 115
    },
    {
      "epoch": 0.6041666666666666,
      "grad_norm": 1.0235558907246938,
      "learning_rate": 7.98942766680229e-05,
      "loss": 0.549,
      "step": 116
    },
    {
      "epoch": 0.609375,
      "grad_norm": 2.2660610341575884,
      "learning_rate": 7.988344529217867e-05,
      "loss": 0.5647,
      "step": 117
    },
    {
      "epoch": 0.6145833333333334,
      "grad_norm": 1.0224722980301695,
      "learning_rate": 7.987208660822631e-05,
      "loss": 0.5506,
      "step": 118
    },
    {
      "epoch": 0.6197916666666666,
      "grad_norm": 2.942812911161336,
      "learning_rate": 7.986020076634155e-05,
      "loss": 0.5849,
      "step": 119
    },
    {
      "epoch": 0.625,
      "grad_norm": 2.1472520060397007,
      "learning_rate": 7.984778792366983e-05,
      "loss": 0.5884,
      "step": 120
    },
    {
      "epoch": 0.6302083333333334,
      "grad_norm": 1.916584017031497,
      "learning_rate": 7.983484824432415e-05,
      "loss": 0.5667,
      "step": 121
    },
    {
      "epoch": 0.6354166666666666,
      "grad_norm": 1.4887721389600779,
      "learning_rate": 7.982138189938296e-05,
      "loss": 0.5694,
      "step": 122
    },
    {
      "epoch": 0.640625,
      "grad_norm": 1.7701572064104816,
      "learning_rate": 7.980738906688788e-05,
      "loss": 0.5687,
      "step": 123
    },
    {
      "epoch": 0.6458333333333334,
      "grad_norm": 1.1211210972228678,
      "learning_rate": 7.979286993184134e-05,
      "loss": 0.5609,
      "step": 124
    },
    {
      "epoch": 0.6510416666666666,
      "grad_norm": 1.4633439891638926,
      "learning_rate": 7.97778246862041e-05,
      "loss": 0.5596,
      "step": 125
    },
    {
      "epoch": 0.65625,
      "grad_norm": 1.000492532758377,
      "learning_rate": 7.976225352889278e-05,
      "loss": 0.5676,
      "step": 126
    },
    {
      "epoch": 0.6614583333333334,
      "grad_norm": 1.8173558242937013,
      "learning_rate": 7.974615666577724e-05,
      "loss": 0.5726,
      "step": 127
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 1.5734204868847563,
      "learning_rate": 7.972953430967773e-05,
      "loss": 0.5749,
      "step": 128
    },
    {
      "epoch": 0.671875,
      "grad_norm": 1.164572077957698,
      "learning_rate": 7.971238668036221e-05,
      "loss": 0.5605,
      "step": 129
    },
    {
      "epoch": 0.6770833333333334,
      "grad_norm": 1.2103690284978952,
      "learning_rate": 7.96947140045434e-05,
      "loss": 0.5568,
      "step": 130
    },
    {
      "epoch": 0.6822916666666666,
      "grad_norm": 0.9419398387192408,
      "learning_rate": 7.967651651587575e-05,
      "loss": 0.5561,
      "step": 131
    },
    {
      "epoch": 0.6875,
      "grad_norm": 0.9138815639719821,
      "learning_rate": 7.965779445495243e-05,
      "loss": 0.5544,
      "step": 132
    },
    {
      "epoch": 0.6927083333333334,
      "grad_norm": 1.0267196995331782,
      "learning_rate": 7.963854806930203e-05,
      "loss": 0.5523,
      "step": 133
    },
    {
      "epoch": 0.6979166666666666,
      "grad_norm": 1.3862421746170037,
      "learning_rate": 7.961877761338545e-05,
      "loss": 0.5551,
      "step": 134
    },
    {
      "epoch": 0.703125,
      "grad_norm": 0.7622133802068947,
      "learning_rate": 7.959848334859232e-05,
      "loss": 0.5595,
      "step": 135
    },
    {
      "epoch": 0.7083333333333334,
      "grad_norm": 0.8483888956218579,
      "learning_rate": 7.957766554323778e-05,
      "loss": 0.5474,
      "step": 136
    },
    {
      "epoch": 0.7135416666666666,
      "grad_norm": 0.8754586735922941,
      "learning_rate": 7.955632447255877e-05,
      "loss": 0.5503,
      "step": 137
    },
    {
      "epoch": 0.71875,
      "grad_norm": 0.9960234485791135,
      "learning_rate": 7.953446041871044e-05,
      "loss": 0.544,
      "step": 138
    },
    {
      "epoch": 0.7239583333333334,
      "grad_norm": 0.9500957832886411,
      "learning_rate": 7.951207367076241e-05,
      "loss": 0.5464,
      "step": 139
    },
    {
      "epoch": 0.7291666666666666,
      "grad_norm": 1.1274854019551035,
      "learning_rate": 7.948916452469497e-05,
      "loss": 0.5473,
      "step": 140
    },
    {
      "epoch": 0.734375,
      "grad_norm": 1.238492354593374,
      "learning_rate": 7.946573328339517e-05,
      "loss": 0.5358,
      "step": 141
    },
    {
      "epoch": 0.7395833333333334,
      "grad_norm": 1.1704741368892715,
      "learning_rate": 7.944178025665277e-05,
      "loss": 0.5548,
      "step": 142
    },
    {
      "epoch": 0.7447916666666666,
      "grad_norm": 1.2032369756254688,
      "learning_rate": 7.94173057611562e-05,
      "loss": 0.5443,
      "step": 143
    },
    {
      "epoch": 0.75,
      "grad_norm": 1.0385908588589732,
      "learning_rate": 7.939231012048833e-05,
      "loss": 0.5408,
      "step": 144
    },
    {
      "epoch": 0.7552083333333334,
      "grad_norm": 1.3193490291920786,
      "learning_rate": 7.936679366512221e-05,
      "loss": 0.5526,
      "step": 145
    },
    {
      "epoch": 0.7604166666666666,
      "grad_norm": 0.6589476306202492,
      "learning_rate": 7.934075673241672e-05,
      "loss": 0.5483,
      "step": 146
    },
    {
      "epoch": 0.765625,
      "grad_norm": 0.7818808310674856,
      "learning_rate": 7.931419966661205e-05,
      "loss": 0.5407,
      "step": 147
    },
    {
      "epoch": 0.7708333333333334,
      "grad_norm": 1.0563527305874982,
      "learning_rate": 7.928712281882523e-05,
      "loss": 0.5404,
      "step": 148
    },
    {
      "epoch": 0.7760416666666666,
      "grad_norm": 1.0317176937745496,
      "learning_rate": 7.925952654704542e-05,
      "loss": 0.5365,
      "step": 149
    },
    {
      "epoch": 0.78125,
      "grad_norm": 1.1053548207046533,
      "learning_rate": 7.923141121612922e-05,
      "loss": 0.5277,
      "step": 150
    },
    {
      "epoch": 0.7864583333333334,
      "grad_norm": 1.1304341667223765,
      "learning_rate": 7.92027771977958e-05,
      "loss": 0.5418,
      "step": 151
    },
    {
      "epoch": 0.7916666666666666,
      "grad_norm": 0.7388022078056695,
      "learning_rate": 7.917362487062207e-05,
      "loss": 0.5392,
      "step": 152
    },
    {
      "epoch": 0.796875,
      "grad_norm": 0.65405254743629,
      "learning_rate": 7.914395462003754e-05,
      "loss": 0.537,
      "step": 153
    },
    {
      "epoch": 0.8020833333333334,
      "grad_norm": 0.9338030265819395,
      "learning_rate": 7.911376683831937e-05,
      "loss": 0.5384,
      "step": 154
    },
    {
      "epoch": 0.8072916666666666,
      "grad_norm": 1.3953156184501903,
      "learning_rate": 7.908306192458708e-05,
      "loss": 0.5431,
      "step": 155
    },
    {
      "epoch": 0.8125,
      "grad_norm": 0.9152911855686328,
      "learning_rate": 7.905184028479734e-05,
      "loss": 0.54,
      "step": 156
    },
    {
      "epoch": 0.8177083333333334,
      "grad_norm": 1.751841622593592,
      "learning_rate": 7.902010233173855e-05,
      "loss": 0.5396,
      "step": 157
    },
    {
      "epoch": 0.8229166666666666,
      "grad_norm": 0.7370589263704954,
      "learning_rate": 7.89878484850254e-05,
      "loss": 0.5369,
      "step": 158
    },
    {
      "epoch": 0.828125,
      "grad_norm": 1.437864009789909,
      "learning_rate": 7.895507917109335e-05,
      "loss": 0.5408,
      "step": 159
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 1.2676603663278814,
      "learning_rate": 7.892179482319297e-05,
      "loss": 0.5331,
      "step": 160
    },
    {
      "epoch": 0.8385416666666666,
      "grad_norm": 1.3704701636357663,
      "learning_rate": 7.888799588138416e-05,
      "loss": 0.5417,
      "step": 161
    },
    {
      "epoch": 0.84375,
      "grad_norm": 0.9372727767118003,
      "learning_rate": 7.885368279253045e-05,
      "loss": 0.5372,
      "step": 162
    },
    {
      "epoch": 0.8489583333333334,
      "grad_norm": 1.3702828927558108,
      "learning_rate": 7.881885601029302e-05,
      "loss": 0.5441,
      "step": 163
    },
    {
      "epoch": 0.8541666666666666,
      "grad_norm": 0.8224658017119121,
      "learning_rate": 7.878351599512465e-05,
      "loss": 0.5382,
      "step": 164
    },
    {
      "epoch": 0.859375,
      "grad_norm": 0.926375232728879,
      "learning_rate": 7.874766321426374e-05,
      "loss": 0.5433,
      "step": 165
    },
    {
      "epoch": 0.8645833333333334,
      "grad_norm": 1.2420555449126782,
      "learning_rate": 7.871129814172805e-05,
      "loss": 0.5403,
      "step": 166
    },
    {
      "epoch": 0.8697916666666666,
      "grad_norm": 1.1635925786171029,
      "learning_rate": 7.86744212583085e-05,
      "loss": 0.5308,
      "step": 167
    },
    {
      "epoch": 0.875,
      "grad_norm": 1.3222480838707142,
      "learning_rate": 7.863703305156273e-05,
      "loss": 0.537,
      "step": 168
    },
    {
      "epoch": 0.8802083333333334,
      "grad_norm": 0.9168359977420527,
      "learning_rate": 7.859913401580878e-05,
      "loss": 0.5313,
      "step": 169
    },
    {
      "epoch": 0.8854166666666666,
      "grad_norm": 0.7590102414362895,
      "learning_rate": 7.856072465211839e-05,
      "loss": 0.5373,
      "step": 170
    },
    {
      "epoch": 0.890625,
      "grad_norm": 0.8125878972860396,
      "learning_rate": 7.852180546831051e-05,
      "loss": 0.5385,
      "step": 171
    },
    {
      "epoch": 0.8958333333333334,
      "grad_norm": 1.1028428644582091,
      "learning_rate": 7.848237697894453e-05,
      "loss": 0.543,
      "step": 172
    },
    {
      "epoch": 0.9010416666666666,
      "grad_norm": 1.100220928299769,
      "learning_rate": 7.844243970531349e-05,
      "loss": 0.5288,
      "step": 173
    },
    {
      "epoch": 0.90625,
      "grad_norm": 0.8786910668247114,
      "learning_rate": 7.840199417543716e-05,
      "loss": 0.5301,
      "step": 174
    },
    {
      "epoch": 0.9114583333333334,
      "grad_norm": 1.048627261779482,
      "learning_rate": 7.83610409240551e-05,
      "loss": 0.5297,
      "step": 175
    },
    {
      "epoch": 0.9166666666666666,
      "grad_norm": 1.479836814429015,
      "learning_rate": 7.831958049261956e-05,
      "loss": 0.5399,
      "step": 176
    },
    {
      "epoch": 0.921875,
      "grad_norm": 0.6308219513232427,
      "learning_rate": 7.827761342928836e-05,
      "loss": 0.5238,
      "step": 177
    },
    {
      "epoch": 0.9270833333333334,
      "grad_norm": 1.1887756366495739,
      "learning_rate": 7.823514028891758e-05,
      "loss": 0.5312,
      "step": 178
    },
    {
      "epoch": 0.9322916666666666,
      "grad_norm": 0.8679989677184273,
      "learning_rate": 7.81921616330543e-05,
      "loss": 0.5289,
      "step": 179
    },
    {
      "epoch": 0.9375,
      "grad_norm": 0.9202081319104132,
      "learning_rate": 7.814867802992907e-05,
      "loss": 0.5358,
      "step": 180
    },
    {
      "epoch": 0.9427083333333334,
      "grad_norm": 1.3044913544422119,
      "learning_rate": 7.810469005444856e-05,
      "loss": 0.5375,
      "step": 181
    },
    {
      "epoch": 0.9479166666666666,
      "grad_norm": 0.8994044866505717,
      "learning_rate": 7.806019828818776e-05,
      "loss": 0.5228,
      "step": 182
    },
    {
      "epoch": 0.953125,
      "grad_norm": 1.0464037506429866,
      "learning_rate": 7.801520331938245e-05,
      "loss": 0.5299,
      "step": 183
    },
    {
      "epoch": 0.9583333333333334,
      "grad_norm": 1.3809738119070947,
      "learning_rate": 7.796970574292136e-05,
      "loss": 0.5378,
      "step": 184
    },
    {
      "epoch": 0.9635416666666666,
      "grad_norm": 0.8780270910933871,
      "learning_rate": 7.792370616033831e-05,
      "loss": 0.5267,
      "step": 185
    },
    {
      "epoch": 0.96875,
      "grad_norm": 0.8818443823332579,
      "learning_rate": 7.787720517980424e-05,
      "loss": 0.5277,
      "step": 186
    },
    {
      "epoch": 0.9739583333333334,
      "grad_norm": 0.8145966548232281,
      "learning_rate": 7.783020341611919e-05,
      "loss": 0.5235,
      "step": 187
    },
    {
      "epoch": 0.9791666666666666,
      "grad_norm": 0.9294227001595794,
      "learning_rate": 7.77827014907042e-05,
      "loss": 0.536,
      "step": 188
    },
    {
      "epoch": 0.984375,
      "grad_norm": 1.207282074581327,
      "learning_rate": 7.773470003159302e-05,
      "loss": 0.5276,
      "step": 189
    },
    {
      "epoch": 0.9895833333333334,
      "grad_norm": 0.906259128314231,
      "learning_rate": 7.768619967342386e-05,
      "loss": 0.5296,
      "step": 190
    },
    {
      "epoch": 0.9947916666666666,
      "grad_norm": 1.0499963710628741,
      "learning_rate": 7.763720105743103e-05,
      "loss": 0.5402,
      "step": 191
    },
    {
      "epoch": 1.0,
      "grad_norm": 1.0182978748978522,
      "learning_rate": 7.758770483143634e-05,
      "loss": 0.5257,
      "step": 192
    },
    {
      "epoch": 1.0052083333333333,
      "grad_norm": 1.2192308043140652,
      "learning_rate": 7.753771164984069e-05,
      "loss": 0.5123,
      "step": 193
    },
    {
      "epoch": 1.0104166666666667,
      "grad_norm": 0.8484238785749331,
      "learning_rate": 7.74872221736153e-05,
      "loss": 0.5072,
      "step": 194
    },
    {
      "epoch": 1.015625,
      "grad_norm": 1.0220503713422204,
      "learning_rate": 7.743623707029304e-05,
      "loss": 0.5017,
      "step": 195
    },
    {
      "epoch": 1.0208333333333333,
      "grad_norm": 1.1121166208745248,
      "learning_rate": 7.738475701395955e-05,
      "loss": 0.5084,
      "step": 196
    },
    {
      "epoch": 1.0260416666666667,
      "grad_norm": 0.8629950990470284,
      "learning_rate": 7.733278268524437e-05,
      "loss": 0.5014,
      "step": 197
    },
    {
      "epoch": 1.03125,
      "grad_norm": 1.0485069105945037,
      "learning_rate": 7.728031477131195e-05,
      "loss": 0.5091,
      "step": 198
    },
    {
      "epoch": 1.0364583333333333,
      "grad_norm": 1.0180024492068125,
      "learning_rate": 7.72273539658525e-05,
      "loss": 0.5065,
      "step": 199
    },
    {
      "epoch": 1.0416666666666667,
      "grad_norm": 0.9846569766098462,
      "learning_rate": 7.71739009690729e-05,
      "loss": 0.5054,
      "step": 200
    },
    {
      "epoch": 1.046875,
      "grad_norm": 1.1887116344257411,
      "learning_rate": 7.711995648768738e-05,
      "loss": 0.5206,
      "step": 201
    },
    {
      "epoch": 1.0520833333333333,
      "grad_norm": 0.9147970668408477,
      "learning_rate": 7.706552123490822e-05,
      "loss": 0.5172,
      "step": 202
    },
    {
      "epoch": 1.0572916666666667,
      "grad_norm": 1.115568701422811,
      "learning_rate": 7.701059593043626e-05,
      "loss": 0.4976,
      "step": 203
    },
    {
      "epoch": 1.0625,
      "grad_norm": 1.0966907492982425,
      "learning_rate": 7.695518130045147e-05,
      "loss": 0.5011,
      "step": 204
    },
    {
      "epoch": 1.0677083333333333,
      "grad_norm": 0.9322320833480543,
      "learning_rate": 7.68992780776033e-05,
      "loss": 0.5174,
      "step": 205
    },
    {
      "epoch": 1.0729166666666667,
      "grad_norm": 0.7238798882393226,
      "learning_rate": 7.684288700100095e-05,
      "loss": 0.5022,
      "step": 206
    },
    {
      "epoch": 1.078125,
      "grad_norm": 0.635076033802958,
      "learning_rate": 7.67860088162037e-05,
      "loss": 0.5025,
      "step": 207
    },
    {
      "epoch": 1.0833333333333333,
      "grad_norm": 0.7966229919474522,
      "learning_rate": 7.672864427521097e-05,
      "loss": 0.509,
      "step": 208
    },
    {
      "epoch": 1.0885416666666667,
      "grad_norm": 0.48107408344053304,
      "learning_rate": 7.667079413645242e-05,
      "loss": 0.5089,
      "step": 209
    },
    {
      "epoch": 1.09375,
      "grad_norm": 0.649231872061981,
      "learning_rate": 7.66124591647779e-05,
      "loss": 0.5109,
      "step": 210
    },
    {
      "epoch": 1.0989583333333333,
      "grad_norm": 0.7596929443413531,
      "learning_rate": 7.655364013144733e-05,
      "loss": 0.5081,
      "step": 211
    },
    {
      "epoch": 1.1041666666666667,
      "grad_norm": 0.6898331957999168,
      "learning_rate": 7.649433781412058e-05,
      "loss": 0.5078,
      "step": 212
    },
    {
      "epoch": 1.109375,
      "grad_norm": 0.858174978616354,
      "learning_rate": 7.643455299684704e-05,
      "loss": 0.501,
      "step": 213
    },
    {
      "epoch": 1.1145833333333333,
      "grad_norm": 1.1236021883438616,
      "learning_rate": 7.637428647005541e-05,
      "loss": 0.5052,
      "step": 214
    },
    {
      "epoch": 1.1197916666666667,
      "grad_norm": 1.0846989308125154,
      "learning_rate": 7.631353903054315e-05,
      "loss": 0.5058,
      "step": 215
    },
    {
      "epoch": 1.125,
      "grad_norm": 0.8385175958732827,
      "learning_rate": 7.625231148146601e-05,
      "loss": 0.4976,
      "step": 216
    },
    {
      "epoch": 1.1302083333333333,
      "grad_norm": 0.7250905713469294,
      "learning_rate": 7.61906046323273e-05,
      "loss": 0.5057,
      "step": 217
    },
    {
      "epoch": 1.1354166666666667,
      "grad_norm": 0.7422050331833504,
      "learning_rate": 7.612841929896737e-05,
      "loss": 0.5034,
      "step": 218
    },
    {
      "epoch": 1.140625,
      "grad_norm": 0.880257118268936,
      "learning_rate": 7.606575630355265e-05,
      "loss": 0.5032,
      "step": 219
    },
    {
      "epoch": 1.1458333333333333,
      "grad_norm": 1.1619194381133358,
      "learning_rate": 7.600261647456485e-05,
      "loss": 0.496,
      "step": 220
    },
    {
      "epoch": 1.1510416666666667,
      "grad_norm": 0.9024821863314176,
      "learning_rate": 7.593900064679004e-05,
      "loss": 0.5021,
      "step": 221
    },
    {
      "epoch": 1.15625,
      "grad_norm": 0.7000641633218678,
      "learning_rate": 7.587490966130754e-05,
      "loss": 0.5031,
      "step": 222
    },
    {
      "epoch": 1.1614583333333333,
      "grad_norm": 0.5406754725793794,
      "learning_rate": 7.581034436547888e-05,
      "loss": 0.5063,
      "step": 223
    },
    {
      "epoch": 1.1666666666666667,
      "grad_norm": 0.6133748391684409,
      "learning_rate": 7.57453056129365e-05,
      "loss": 0.4975,
      "step": 224
    },
    {
      "epoch": 1.171875,
      "grad_norm": 0.626214785297223,
      "learning_rate": 7.567979426357257e-05,
      "loss": 0.5023,
      "step": 225
    },
    {
      "epoch": 1.1770833333333333,
      "grad_norm": 0.842255952382036,
      "learning_rate": 7.561381118352757e-05,
      "loss": 0.5108,
      "step": 226
    },
    {
      "epoch": 1.1822916666666667,
      "grad_norm": 0.8360877060497087,
      "learning_rate": 7.554735724517878e-05,
      "loss": 0.4995,
      "step": 227
    },
    {
      "epoch": 1.1875,
      "grad_norm": 0.9210302988967454,
      "learning_rate": 7.548043332712887e-05,
      "loss": 0.5015,
      "step": 228
    },
    {
      "epoch": 1.1927083333333333,
      "grad_norm": 1.1389815829518366,
      "learning_rate": 7.54130403141942e-05,
      "loss": 0.5074,
      "step": 229
    },
    {
      "epoch": 1.1979166666666667,
      "grad_norm": 0.9442138536684355,
      "learning_rate": 7.534517909739312e-05,
      "loss": 0.5012,
      "step": 230
    },
    {
      "epoch": 1.203125,
      "grad_norm": 1.0192341307964887,
      "learning_rate": 7.52768505739342e-05,
      "loss": 0.502,
      "step": 231
    },
    {
      "epoch": 1.2083333333333333,
      "grad_norm": 1.250986036357133,
      "learning_rate": 7.520805564720444e-05,
      "loss": 0.4979,
      "step": 232
    },
    {
      "epoch": 1.2135416666666667,
      "grad_norm": 0.6613418845623689,
      "learning_rate": 7.513879522675723e-05,
      "loss": 0.4913,
      "step": 233
    },
    {
      "epoch": 1.21875,
      "grad_norm": 0.5763562501279441,
      "learning_rate": 7.506907022830032e-05,
      "loss": 0.4987,
      "step": 234
    },
    {
      "epoch": 1.2239583333333333,
      "grad_norm": 0.8086247596655097,
      "learning_rate": 7.499888157368379e-05,
      "loss": 0.5131,
      "step": 235
    },
    {
      "epoch": 1.2291666666666667,
      "grad_norm": 1.0550585890533988,
      "learning_rate": 7.492823019088785e-05,
      "loss": 0.5027,
      "step": 236
    },
    {
      "epoch": 1.234375,
      "grad_norm": 1.209924955393805,
      "learning_rate": 7.485711701401047e-05,
      "loss": 0.5052,
      "step": 237
    },
    {
      "epoch": 1.2395833333333333,
      "grad_norm": 0.6262391634002076,
      "learning_rate": 7.478554298325517e-05,
      "loss": 0.4939,
      "step": 238
    },
    {
      "epoch": 1.2447916666666667,
      "grad_norm": 0.671427704354005,
      "learning_rate": 7.47135090449185e-05,
      "loss": 0.5016,
      "step": 239
    },
    {
      "epoch": 1.25,
      "grad_norm": 1.1300412783206868,
      "learning_rate": 7.464101615137756e-05,
      "loss": 0.5041,
      "step": 240
    },
    {
      "epoch": 1.2552083333333333,
      "grad_norm": 0.9508928317819645,
      "learning_rate": 7.456806526107738e-05,
      "loss": 0.4986,
      "step": 241
    },
    {
      "epoch": 1.2604166666666667,
      "grad_norm": 0.7527546180721427,
      "learning_rate": 7.44946573385183e-05,
      "loss": 0.5041,
      "step": 242
    },
    {
      "epoch": 1.265625,
      "grad_norm": 0.5851059913618161,
      "learning_rate": 7.442079335424316e-05,
      "loss": 0.5029,
      "step": 243
    },
    {
      "epoch": 1.2708333333333333,
      "grad_norm": 0.5751873614762941,
      "learning_rate": 7.434647428482453e-05,
      "loss": 0.4966,
      "step": 244
    },
    {
      "epoch": 1.2760416666666667,
      "grad_norm": 0.7002214141747195,
      "learning_rate": 7.427170111285172e-05,
      "loss": 0.4996,
      "step": 245
    },
    {
      "epoch": 1.28125,
      "grad_norm": 0.7668546988083055,
      "learning_rate": 7.419647482691788e-05,
      "loss": 0.4932,
      "step": 246
    },
    {
      "epoch": 1.2864583333333333,
      "grad_norm": 0.7971881421685344,
      "learning_rate": 7.412079642160682e-05,
      "loss": 0.4968,
      "step": 247
    },
    {
      "epoch": 1.2916666666666667,
      "grad_norm": 0.7583542865180388,
      "learning_rate": 7.404466689747999e-05,
      "loss": 0.4978,
      "step": 248
    },
    {
      "epoch": 1.296875,
      "grad_norm": 0.732115720681143,
      "learning_rate": 7.396808726106316e-05,
      "loss": 0.4936,
      "step": 249
    },
    {
      "epoch": 1.3020833333333333,
      "grad_norm": 0.7000415469644298,
      "learning_rate": 7.389105852483312e-05,
      "loss": 0.5013,
      "step": 250
    },
    {
      "epoch": 1.3072916666666667,
      "grad_norm": 0.6828708181583161,
      "learning_rate": 7.381358170720433e-05,
      "loss": 0.5041,
      "step": 251
    },
    {
      "epoch": 1.3125,
      "grad_norm": 0.8415121654234353,
      "learning_rate": 7.373565783251544e-05,
      "loss": 0.49,
      "step": 252
    },
    {
      "epoch": 1.3177083333333333,
      "grad_norm": 1.168216571492733,
      "learning_rate": 7.365728793101572e-05,
      "loss": 0.5016,
      "step": 253
    },
    {
      "epoch": 1.3229166666666667,
      "grad_norm": 1.0425416219846109,
      "learning_rate": 7.357847303885146e-05,
      "loss": 0.5043,
      "step": 254
    },
    {
      "epoch": 1.328125,
      "grad_norm": 0.8931892400200739,
      "learning_rate": 7.349921419805232e-05,
      "loss": 0.5037,
      "step": 255
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 0.8647395928766429,
      "learning_rate": 7.341951245651747e-05,
      "loss": 0.4942,
      "step": 256
    },
    {
      "epoch": 1.3385416666666667,
      "grad_norm": 0.9042633302239824,
      "learning_rate": 7.333936886800176e-05,
      "loss": 0.5011,
      "step": 257
    },
    {
      "epoch": 1.34375,
      "grad_norm": 0.9221254236572886,
      "learning_rate": 7.325878449210182e-05,
      "loss": 0.4974,
      "step": 258
    },
    {
      "epoch": 1.3489583333333333,
      "grad_norm": 0.8390474833404314,
      "learning_rate": 7.317776039424203e-05,
      "loss": 0.4981,
      "step": 259
    },
    {
      "epoch": 1.3541666666666667,
      "grad_norm": 0.7981399703401414,
      "learning_rate": 7.309629764566042e-05,
      "loss": 0.5004,
      "step": 260
    },
    {
      "epoch": 1.359375,
      "grad_norm": 0.8392581698694256,
      "learning_rate": 7.301439732339455e-05,
      "loss": 0.4949,
      "step": 261
    },
    {
      "epoch": 1.3645833333333333,
      "grad_norm": 0.7823224222818352,
      "learning_rate": 7.293206051026722e-05,
      "loss": 0.4968,
      "step": 262
    },
    {
      "epoch": 1.3697916666666667,
      "grad_norm": 0.8017692135629535,
      "learning_rate": 7.284928829487217e-05,
      "loss": 0.5053,
      "step": 263
    },
    {
      "epoch": 1.375,
      "grad_norm": 0.7324200319980715,
      "learning_rate": 7.276608177155968e-05,
      "loss": 0.495,
      "step": 264
    },
    {
      "epoch": 1.3802083333333333,
      "grad_norm": 0.4996732572283791,
      "learning_rate": 7.268244204042216e-05,
      "loss": 0.4962,
      "step": 265
    },
    {
      "epoch": 1.3854166666666667,
      "grad_norm": 0.43532541929296104,
      "learning_rate": 7.259837020727953e-05,
      "loss": 0.494,
      "step": 266
    },
    {
      "epoch": 1.390625,
      "grad_norm": 0.570782728408672,
      "learning_rate": 7.251386738366462e-05,
      "loss": 0.4927,
      "step": 267
    },
    {
      "epoch": 1.3958333333333333,
      "grad_norm": 0.5295296398336008,
      "learning_rate": 7.242893468680849e-05,
      "loss": 0.4939,
      "step": 268
    },
    {
      "epoch": 1.4010416666666667,
      "grad_norm": 0.43446791190394013,
      "learning_rate": 7.234357323962568e-05,
      "loss": 0.4939,
      "step": 269
    },
    {
      "epoch": 1.40625,
      "grad_norm": 0.6106355547877224,
      "learning_rate": 7.225778417069932e-05,
      "loss": 0.4944,
      "step": 270
    },
    {
      "epoch": 1.4114583333333333,
      "grad_norm": 0.8009507925932422,
      "learning_rate": 7.217156861426617e-05,
      "loss": 0.4931,
      "step": 271
    },
    {
      "epoch": 1.4166666666666667,
      "grad_norm": 0.7814985473095897,
      "learning_rate": 7.208492771020176e-05,
      "loss": 0.5018,
      "step": 272
    },
    {
      "epoch": 1.421875,
      "grad_norm": 0.7748936341228726,
      "learning_rate": 7.199786260400519e-05,
      "loss": 0.4985,
      "step": 273
    },
    {
      "epoch": 1.4270833333333333,
      "grad_norm": 1.009702649349085,
      "learning_rate": 7.191037444678407e-05,
      "loss": 0.4979,
      "step": 274
    },
    {
      "epoch": 1.4322916666666667,
      "grad_norm": 1.3237999818959025,
      "learning_rate": 7.18224643952392e-05,
      "loss": 0.5027,
      "step": 275
    },
    {
      "epoch": 1.4375,
      "grad_norm": 0.582222831831399,
      "learning_rate": 7.173413361164941e-05,
      "loss": 0.5071,
      "step": 276
    },
    {
      "epoch": 1.4427083333333333,
      "grad_norm": 0.67541474323196,
      "learning_rate": 7.164538326385609e-05,
      "loss": 0.4937,
      "step": 277
    },
    {
      "epoch": 1.4479166666666667,
      "grad_norm": 0.9930795195011805,
      "learning_rate": 7.155621452524779e-05,
      "loss": 0.4989,
      "step": 278
    },
    {
      "epoch": 1.453125,
      "grad_norm": 1.11541724201922,
      "learning_rate": 7.146662857474469e-05,
      "loss": 0.4926,
      "step": 279
    },
    {
      "epoch": 1.4583333333333333,
      "grad_norm": 0.8868673841435026,
      "learning_rate": 7.137662659678303e-05,
      "loss": 0.5085,
      "step": 280
    },
    {
      "epoch": 1.4635416666666667,
      "grad_norm": 0.8351130573692784,
      "learning_rate": 7.128620978129948e-05,
      "loss": 0.4921,
      "step": 281
    },
    {
      "epoch": 1.46875,
      "grad_norm": 0.7046288773910411,
      "learning_rate": 7.119537932371527e-05,
      "loss": 0.4886,
      "step": 282
    },
    {
      "epoch": 1.4739583333333333,
      "grad_norm": 0.527796288357637,
      "learning_rate": 7.110413642492062e-05,
      "loss": 0.4964,
      "step": 283
    },
    {
      "epoch": 1.4791666666666667,
      "grad_norm": 0.7436441022455063,
      "learning_rate": 7.101248229125864e-05,
      "loss": 0.4898,
      "step": 284
    },
    {
      "epoch": 1.484375,
      "grad_norm": 1.0655442246724,
      "learning_rate": 7.092041813450948e-05,
      "loss": 0.4935,
      "step": 285
    },
    {
      "epoch": 1.4895833333333333,
      "grad_norm": 0.8541407040770957,
      "learning_rate": 7.082794517187432e-05,
      "loss": 0.5022,
      "step": 286
    },
    {
      "epoch": 1.4947916666666667,
      "grad_norm": 0.6903779774951218,
      "learning_rate": 7.073506462595927e-05,
      "loss": 0.4949,
      "step": 287
    },
    {
      "epoch": 1.5,
      "grad_norm": 0.5761899216056504,
      "learning_rate": 7.064177772475912e-05,
      "loss": 0.491,
      "step": 288
    },
    {
      "epoch": 1.5052083333333335,
      "grad_norm": 0.5679106352375722,
      "learning_rate": 7.054808570164128e-05,
      "loss": 0.4988,
      "step": 289
    },
    {
      "epoch": 1.5104166666666665,
      "grad_norm": 0.5410675059314889,
      "learning_rate": 7.045398979532925e-05,
      "loss": 0.4898,
      "step": 290
    },
    {
      "epoch": 1.515625,
      "grad_norm": 0.5221442561978819,
      "learning_rate": 7.035949124988648e-05,
      "loss": 0.4894,
      "step": 291
    },
    {
      "epoch": 1.5208333333333335,
      "grad_norm": 0.5774246559228747,
      "learning_rate": 7.026459131469972e-05,
      "loss": 0.4878,
      "step": 292
    },
    {
      "epoch": 1.5260416666666665,
      "grad_norm": 0.689151245468192,
      "learning_rate": 7.016929124446263e-05,
      "loss": 0.4971,
      "step": 293
    },
    {
      "epoch": 1.53125,
      "grad_norm": 0.751672835524228,
      "learning_rate": 7.00735922991591e-05,
      "loss": 0.4921,
      "step": 294
    },
    {
      "epoch": 1.5364583333333335,
      "grad_norm": 0.7415977594134251,
      "learning_rate": 6.99774957440467e-05,
      "loss": 0.4939,
      "step": 295
    },
    {
      "epoch": 1.5416666666666665,
      "grad_norm": 0.7001037531626477,
      "learning_rate": 6.988100284963985e-05,
      "loss": 0.4895,
      "step": 296
    },
    {
      "epoch": 1.546875,
      "grad_norm": 0.7076815263087778,
      "learning_rate": 6.978411489169306e-05,
      "loss": 0.4858,
      "step": 297
    },
    {
      "epoch": 1.5520833333333335,
      "grad_norm": 0.7342025124487715,
      "learning_rate": 6.968683315118407e-05,
      "loss": 0.4956,
      "step": 298
    },
    {
      "epoch": 1.5572916666666665,
      "grad_norm": 0.7937640374400549,
      "learning_rate": 6.958915891429694e-05,
      "loss": 0.4993,
      "step": 299
    },
    {
      "epoch": 1.5625,
      "grad_norm": 0.7686756024948311,
      "learning_rate": 6.949109347240496e-05,
      "loss": 0.4908,
      "step": 300
    },
    {
      "epoch": 1.5677083333333335,
      "grad_norm": 0.6287273621023766,
      "learning_rate": 6.93926381220537e-05,
      "loss": 0.4969,
      "step": 301
    },
    {
      "epoch": 1.5729166666666665,
      "grad_norm": 0.6279767560823692,
      "learning_rate": 6.929379416494369e-05,
      "loss": 0.4972,
      "step": 302
    },
    {
      "epoch": 1.578125,
      "grad_norm": 0.7508468264219003,
      "learning_rate": 6.919456290791343e-05,
      "loss": 0.4941,
      "step": 303
    },
    {
      "epoch": 1.5833333333333335,
      "grad_norm": 0.6525984883460901,
      "learning_rate": 6.909494566292195e-05,
      "loss": 0.4917,
      "step": 304
    },
    {
      "epoch": 1.5885416666666665,
      "grad_norm": 0.42206050850074744,
      "learning_rate": 6.899494374703153e-05,
      "loss": 0.4934,
      "step": 305
    },
    {
      "epoch": 1.59375,
      "grad_norm": 0.42095211553748485,
      "learning_rate": 6.889455848239022e-05,
      "loss": 0.492,
      "step": 306
    },
    {
      "epoch": 1.5989583333333335,
      "grad_norm": 0.5957207929916638,
      "learning_rate": 6.879379119621452e-05,
      "loss": 0.4977,
      "step": 307
    },
    {
      "epoch": 1.6041666666666665,
      "grad_norm": 0.6814511640179036,
      "learning_rate": 6.869264322077158e-05,
      "loss": 0.4875,
      "step": 308
    },
    {
      "epoch": 1.609375,
      "grad_norm": 0.6105672383116435,
      "learning_rate": 6.859111589336186e-05,
      "loss": 0.4831,
      "step": 309
    },
    {
      "epoch": 1.6145833333333335,
      "grad_norm": 0.48788458770162163,
      "learning_rate": 6.848921055630125e-05,
      "loss": 0.4932,
      "step": 310
    },
    {
      "epoch": 1.6197916666666665,
      "grad_norm": 0.5232704123346952,
      "learning_rate": 6.838692855690341e-05,
      "loss": 0.4989,
      "step": 311
    },
    {
      "epoch": 1.625,
      "grad_norm": 0.5770535346135687,
      "learning_rate": 6.828427124746191e-05,
      "loss": 0.496,
      "step": 312
    },
    {
      "epoch": 1.6302083333333335,
      "grad_norm": 0.5922358211541012,
      "learning_rate": 6.818123998523243e-05,
      "loss": 0.4935,
      "step": 313
    },
    {
      "epoch": 1.6354166666666665,
      "grad_norm": 0.7527203682320709,
      "learning_rate": 6.807783613241474e-05,
      "loss": 0.4862,
      "step": 314
    },
    {
      "epoch": 1.640625,
      "grad_norm": 1.0508674310560489,
      "learning_rate": 6.797406105613469e-05,
      "loss": 0.4969,
      "step": 315
    },
    {
      "epoch": 1.6458333333333335,
      "grad_norm": 1.1155867636277426,
      "learning_rate": 6.786991612842621e-05,
      "loss": 0.4971,
      "step": 316
    },
    {
      "epoch": 1.6510416666666665,
      "grad_norm": 0.8570853677346789,
      "learning_rate": 6.776540272621308e-05,
      "loss": 0.4969,
      "step": 317
    },
    {
      "epoch": 1.65625,
      "grad_norm": 0.701061190105873,
      "learning_rate": 6.766052223129079e-05,
      "loss": 0.4894,
      "step": 318
    },
    {
      "epoch": 1.6614583333333335,
      "grad_norm": 0.5380513890325732,
      "learning_rate": 6.755527603030822e-05,
      "loss": 0.4897,
      "step": 319
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 0.46140990412232036,
      "learning_rate": 6.744966551474936e-05,
      "loss": 0.4931,
      "step": 320
    },
    {
      "epoch": 1.671875,
      "grad_norm": 0.47436754802159886,
      "learning_rate": 6.734369208091486e-05,
      "loss": 0.494,
      "step": 321
    },
    {
      "epoch": 1.6770833333333335,
      "grad_norm": 0.4544494153450699,
      "learning_rate": 6.723735712990362e-05,
      "loss": 0.493,
      "step": 322
    },
    {
      "epoch": 1.6822916666666665,
      "grad_norm": 0.44973293636573164,
      "learning_rate": 6.713066206759425e-05,
      "loss": 0.4811,
      "step": 323
    },
    {
      "epoch": 1.6875,
      "grad_norm": 0.5138372344943894,
      "learning_rate": 6.702360830462642e-05,
      "loss": 0.4921,
      "step": 324
    },
    {
      "epoch": 1.6927083333333335,
      "grad_norm": 0.5611132380184927,
      "learning_rate": 6.691619725638231e-05,
      "loss": 0.4899,
      "step": 325
    },
    {
      "epoch": 1.6979166666666665,
      "grad_norm": 0.5998080460474164,
      "learning_rate": 6.680843034296785e-05,
      "loss": 0.487,
      "step": 326
    },
    {
      "epoch": 1.703125,
      "grad_norm": 0.7445238427952141,
      "learning_rate": 6.67003089891939e-05,
      "loss": 0.4893,
      "step": 327
    },
    {
      "epoch": 1.7083333333333335,
      "grad_norm": 0.9386082297991147,
      "learning_rate": 6.659183462455751e-05,
      "loss": 0.4869,
      "step": 328
    },
    {
      "epoch": 1.7135416666666665,
      "grad_norm": 1.079292457037503,
      "learning_rate": 6.648300868322296e-05,
      "loss": 0.4871,
      "step": 329
    },
    {
      "epoch": 1.71875,
      "grad_norm": 0.966808740418958,
      "learning_rate": 6.637383260400276e-05,
      "loss": 0.4944,
      "step": 330
    },
    {
      "epoch": 1.7239583333333335,
      "grad_norm": 0.9394924494690927,
      "learning_rate": 6.626430783033872e-05,
      "loss": 0.4937,
      "step": 331
    },
    {
      "epoch": 1.7291666666666665,
      "grad_norm": 0.8567073287805946,
      "learning_rate": 6.615443581028279e-05,
      "loss": 0.4945,
      "step": 332
    },
    {
      "epoch": 1.734375,
      "grad_norm": 0.7486498636782333,
      "learning_rate": 6.604421799647797e-05,
      "loss": 0.4898,
      "step": 333
    },
    {
      "epoch": 1.7395833333333335,
      "grad_norm": 0.5915996999278864,
      "learning_rate": 6.593365584613906e-05,
      "loss": 0.4893,
      "step": 334
    },
    {
      "epoch": 1.7447916666666665,
      "grad_norm": 0.5050165210382705,
      "learning_rate": 6.582275082103339e-05,
      "loss": 0.492,
      "step": 335
    },
    {
      "epoch": 1.75,
      "grad_norm": 0.4743298452210226,
      "learning_rate": 6.571150438746157e-05,
      "loss": 0.4851,
      "step": 336
    },
    {
      "epoch": 1.7552083333333335,
      "grad_norm": 0.5713246223447354,
      "learning_rate": 6.559991801623803e-05,
      "loss": 0.496,
      "step": 337
    },
    {
      "epoch": 1.7604166666666665,
      "grad_norm": 0.6942214120353599,
      "learning_rate": 6.548799318267154e-05,
      "loss": 0.4894,
      "step": 338
    },
    {
      "epoch": 1.765625,
      "grad_norm": 0.7541913237736387,
      "learning_rate": 6.537573136654582e-05,
      "loss": 0.4887,
      "step": 339
    },
    {
      "epoch": 1.7708333333333335,
      "grad_norm": 0.7577884797752904,
      "learning_rate": 6.526313405209991e-05,
      "loss": 0.4915,
      "step": 340
    },
    {
      "epoch": 1.7760416666666665,
      "grad_norm": 0.6648809363160618,
      "learning_rate": 6.51502027280085e-05,
      "loss": 0.5015,
      "step": 341
    },
    {
      "epoch": 1.78125,
      "grad_norm": 0.5477935873249855,
      "learning_rate": 6.503693888736238e-05,
      "loss": 0.49,
      "step": 342
    },
    {
      "epoch": 1.7864583333333335,
      "grad_norm": 0.4729446559134279,
      "learning_rate": 6.49233440276485e-05,
      "loss": 0.4904,
      "step": 343
    },
    {
      "epoch": 1.7916666666666665,
      "grad_norm": 0.4204155742670787,
      "learning_rate": 6.480941965073041e-05,
      "loss": 0.4878,
      "step": 344
    },
    {
      "epoch": 1.796875,
      "grad_norm": 0.5758988833590598,
      "learning_rate": 6.469516726282821e-05,
      "loss": 0.489,
      "step": 345
    },
    {
      "epoch": 1.8020833333333335,
      "grad_norm": 0.7710269745853453,
      "learning_rate": 6.458058837449871e-05,
      "loss": 0.4864,
      "step": 346
    },
    {
      "epoch": 1.8072916666666665,
      "grad_norm": 0.8228393905973377,
      "learning_rate": 6.44656845006155e-05,
      "loss": 0.4833,
      "step": 347
    },
    {
      "epoch": 1.8125,
      "grad_norm": 0.6071045219645795,
      "learning_rate": 6.435045716034883e-05,
      "loss": 0.4839,
      "step": 348
    },
    {
      "epoch": 1.8177083333333335,
      "grad_norm": 0.4482261852786489,
      "learning_rate": 6.42349078771456e-05,
      "loss": 0.4976,
      "step": 349
    },
    {
      "epoch": 1.8229166666666665,
      "grad_norm": 0.5532302099540851,
      "learning_rate": 6.411903817870919e-05,
      "loss": 0.4909,
      "step": 350
    },
    {
      "epoch": 1.828125,
      "grad_norm": 0.7002456440177397,
      "learning_rate": 6.400284959697925e-05,
      "loss": 0.4798,
      "step": 351
    },
    {
      "epoch": 1.8333333333333335,
      "grad_norm": 0.7177978055788352,
      "learning_rate": 6.388634366811146e-05,
      "loss": 0.4901,
      "step": 352
    },
    {
      "epoch": 1.8385416666666665,
      "grad_norm": 0.630989716321248,
      "learning_rate": 6.376952193245722e-05,
      "loss": 0.4915,
      "step": 353
    },
    {
      "epoch": 1.84375,
      "grad_norm": 0.6322251239307694,
      "learning_rate": 6.365238593454331e-05,
      "loss": 0.4865,
      "step": 354
    },
    {
      "epoch": 1.8489583333333335,
      "grad_norm": 0.718629171500273,
      "learning_rate": 6.353493722305138e-05,
      "loss": 0.4854,
      "step": 355
    },
    {
      "epoch": 1.8541666666666665,
      "grad_norm": 0.736229915399764,
      "learning_rate": 6.341717735079763e-05,
      "loss": 0.4888,
      "step": 356
    },
    {
      "epoch": 1.859375,
      "grad_norm": 0.7251258878030348,
      "learning_rate": 6.32991078747121e-05,
      "loss": 0.4901,
      "step": 357
    },
    {
      "epoch": 1.8645833333333335,
      "grad_norm": 0.6456406411901869,
      "learning_rate": 6.318073035581821e-05,
      "loss": 0.4895,
      "step": 358
    },
    {
      "epoch": 1.8697916666666665,
      "grad_norm": 0.5713921884660152,
      "learning_rate": 6.306204635921208e-05,
      "loss": 0.4951,
      "step": 359
    },
    {
      "epoch": 1.875,
      "grad_norm": 0.5262475366662891,
      "learning_rate": 6.294305745404185e-05,
      "loss": 0.4848,
      "step": 360
    },
    {
      "epoch": 1.8802083333333335,
      "grad_norm": 0.45642292916406163,
      "learning_rate": 6.282376521348693e-05,
      "loss": 0.4873,
      "step": 361
    },
    {
      "epoch": 1.8854166666666665,
      "grad_norm": 0.37513328733628226,
      "learning_rate": 6.270417121473716e-05,
      "loss": 0.4874,
      "step": 362
    },
    {
      "epoch": 1.890625,
      "grad_norm": 0.5634668639613679,
      "learning_rate": 6.258427703897203e-05,
      "loss": 0.4917,
      "step": 363
    },
    {
      "epoch": 1.8958333333333335,
      "grad_norm": 0.8113109774766251,
      "learning_rate": 6.246408427133972e-05,
      "loss": 0.4962,
      "step": 364
    },
    {
      "epoch": 1.9010416666666665,
      "grad_norm": 0.9115799633279007,
      "learning_rate": 6.234359450093619e-05,
      "loss": 0.4851,
      "step": 365
    },
    {
      "epoch": 1.90625,
      "grad_norm": 0.8939447255815374,
      "learning_rate": 6.22228093207841e-05,
      "loss": 0.485,
      "step": 366
    },
    {
      "epoch": 1.9114583333333335,
      "grad_norm": 0.7667139300284228,
      "learning_rate": 6.21017303278118e-05,
      "loss": 0.4917,
      "step": 367
    },
    {
      "epoch": 1.9166666666666665,
      "grad_norm": 0.564594690272177,
      "learning_rate": 6.198035912283225e-05,
      "loss": 0.4941,
      "step": 368
    },
    {
      "epoch": 1.921875,
      "grad_norm": 0.5008282103297402,
      "learning_rate": 6.185869731052175e-05,
      "loss": 0.492,
      "step": 369
    },
    {
      "epoch": 1.9270833333333335,
      "grad_norm": 0.5968776855652044,
      "learning_rate": 6.17367464993988e-05,
      "loss": 0.4964,
      "step": 370
    },
    {
      "epoch": 1.9322916666666665,
      "grad_norm": 0.6868984801833461,
      "learning_rate": 6.161450830180287e-05,
      "loss": 0.4894,
      "step": 371
    },
    {
      "epoch": 1.9375,
      "grad_norm": 0.6447723382259419,
      "learning_rate": 6.149198433387297e-05,
      "loss": 0.4909,
      "step": 372
    },
    {
      "epoch": 1.9427083333333335,
      "grad_norm": 0.525191494307917,
      "learning_rate": 6.136917621552636e-05,
      "loss": 0.4821,
      "step": 373
    },
    {
      "epoch": 1.9479166666666665,
      "grad_norm": 0.5085601952387305,
      "learning_rate": 6.124608557043713e-05,
      "loss": 0.4859,
      "step": 374
    },
    {
      "epoch": 1.953125,
      "grad_norm": 0.490044653991171,
      "learning_rate": 6.112271402601472e-05,
      "loss": 0.4896,
      "step": 375
    },
    {
      "epoch": 1.9583333333333335,
      "grad_norm": 0.40373357254941666,
      "learning_rate": 6.099906321338241e-05,
      "loss": 0.4849,
      "step": 376
    },
    {
      "epoch": 1.9635416666666665,
      "grad_norm": 0.4724394083897529,
      "learning_rate": 6.087513476735574e-05,
      "loss": 0.489,
      "step": 377
    },
    {
      "epoch": 1.96875,
      "grad_norm": 0.5475281172673292,
      "learning_rate": 6.075093032642087e-05,
      "loss": 0.4828,
      "step": 378
    },
    {
      "epoch": 1.9739583333333335,
      "grad_norm": 0.5493072439856015,
      "learning_rate": 6.0626451532713e-05,
      "loss": 0.4894,
      "step": 379
    },
    {
      "epoch": 1.9791666666666665,
      "grad_norm": 0.4756730250147157,
      "learning_rate": 6.0501700031994613e-05,
      "loss": 0.4854,
      "step": 380
    },
    {
      "epoch": 1.984375,
      "grad_norm": 0.38968632722772395,
      "learning_rate": 6.037667747363368e-05,
      "loss": 0.4879,
      "step": 381
    },
    {
      "epoch": 1.9895833333333335,
      "grad_norm": 0.39432119616071315,
      "learning_rate": 6.02513855105819e-05,
      "loss": 0.4905,
      "step": 382
    },
    {
      "epoch": 1.9947916666666665,
      "grad_norm": 0.43584861202203307,
      "learning_rate": 6.012582579935283e-05,
      "loss": 0.4886,
      "step": 383
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.4744901981846813,
      "learning_rate": 6.000000000000001e-05,
      "loss": 0.4733,
      "step": 384
    },
    {
      "epoch": 2.0052083333333335,
      "grad_norm": 0.55873565661809,
      "learning_rate": 5.9873909776094955e-05,
      "loss": 0.4611,
      "step": 385
    },
    {
      "epoch": 2.0104166666666665,
      "grad_norm": 0.6162030969133125,
      "learning_rate": 5.9747556794705213e-05,
      "loss": 0.4529,
      "step": 386
    },
    {
      "epoch": 2.015625,
      "grad_norm": 0.7712578446367252,
      "learning_rate": 5.9620942726372316e-05,
      "loss": 0.456,
      "step": 387
    },
    {
      "epoch": 2.0208333333333335,
      "grad_norm": 0.8438611350448391,
      "learning_rate": 5.94940692450897e-05,
      "loss": 0.4567,
      "step": 388
    },
    {
      "epoch": 2.0260416666666665,
      "grad_norm": 0.7857980638017752,
      "learning_rate": 5.936693802828052e-05,
      "loss": 0.4597,
      "step": 389
    },
    {
      "epoch": 2.03125,
      "grad_norm": 0.7769207363895306,
      "learning_rate": 5.923955075677551e-05,
      "loss": 0.4598,
      "step": 390
    },
    {
      "epoch": 2.0364583333333335,
      "grad_norm": 0.7669020634734772,
      "learning_rate": 5.911190911479082e-05,
      "loss": 0.4473,
      "step": 391
    },
    {
      "epoch": 2.0416666666666665,
      "grad_norm": 0.8426994152383089,
      "learning_rate": 5.8984014789905625e-05,
      "loss": 0.4569,
      "step": 392
    },
    {
      "epoch": 2.046875,
      "grad_norm": 0.642842582016102,
      "learning_rate": 5.8855869473039924e-05,
      "loss": 0.4525,
      "step": 393
    },
    {
      "epoch": 2.0520833333333335,
      "grad_norm": 0.437690318068986,
      "learning_rate": 5.8727474858432085e-05,
      "loss": 0.4587,
      "step": 394
    },
    {
      "epoch": 2.0572916666666665,
      "grad_norm": 0.6625122425931774,
      "learning_rate": 5.859883264361657e-05,
      "loss": 0.4474,
      "step": 395
    },
    {
      "epoch": 2.0625,
      "grad_norm": 0.6406304867836919,
      "learning_rate": 5.846994452940137e-05,
      "loss": 0.4553,
      "step": 396
    },
    {
      "epoch": 2.0677083333333335,
      "grad_norm": 0.43223393427412893,
      "learning_rate": 5.834081221984556e-05,
      "loss": 0.4439,
      "step": 397
    },
    {
      "epoch": 2.0729166666666665,
      "grad_norm": 0.5661187420231043,
      "learning_rate": 5.821143742223682e-05,
      "loss": 0.4615,
      "step": 398
    },
    {
      "epoch": 2.078125,
      "grad_norm": 0.5812168669774969,
      "learning_rate": 5.80818218470688e-05,
      "loss": 0.4555,
      "step": 399
    },
    {
      "epoch": 2.0833333333333335,
      "grad_norm": 0.4777623051228382,
      "learning_rate": 5.79519672080185e-05,
      "loss": 0.4576,
      "step": 400
    },
    {
      "epoch": 2.0885416666666665,
      "grad_norm": 0.37181435535917606,
      "learning_rate": 5.782187522192367e-05,
      "loss": 0.4569,
      "step": 401
    },
    {
      "epoch": 2.09375,
      "grad_norm": 0.5247654938798674,
      "learning_rate": 5.7691547608760055e-05,
      "loss": 0.4541,
      "step": 402
    },
    {
      "epoch": 2.0989583333333335,
      "grad_norm": 0.599505094836557,
      "learning_rate": 5.7560986091618724e-05,
      "loss": 0.447,
      "step": 403
    },
    {
      "epoch": 2.1041666666666665,
      "grad_norm": 0.4491728914292899,
      "learning_rate": 5.743019239668318e-05,
      "loss": 0.4546,
      "step": 404
    },
    {
      "epoch": 2.109375,
      "grad_norm": 0.44445425984336195,
      "learning_rate": 5.729916825320665e-05,
      "loss": 0.4536,
      "step": 405
    },
    {
      "epoch": 2.1145833333333335,
      "grad_norm": 0.610991999430527,
      "learning_rate": 5.716791539348917e-05,
      "loss": 0.4482,
      "step": 406
    },
    {
      "epoch": 2.1197916666666665,
      "grad_norm": 0.477357214515522,
      "learning_rate": 5.703643555285464e-05,
      "loss": 0.4438,
      "step": 407
    },
    {
      "epoch": 2.125,
      "grad_norm": 0.34160904717916657,
      "learning_rate": 5.6904730469627985e-05,
      "loss": 0.4455,
      "step": 408
    },
    {
      "epoch": 2.1302083333333335,
      "grad_norm": 0.48150289482326897,
      "learning_rate": 5.6772801885112075e-05,
      "loss": 0.4604,
      "step": 409
    },
    {
      "epoch": 2.1354166666666665,
      "grad_norm": 0.41103325697566667,
      "learning_rate": 5.664065154356477e-05,
      "loss": 0.4403,
      "step": 410
    },
    {
      "epoch": 2.140625,
      "grad_norm": 0.3354853282126088,
      "learning_rate": 5.6508281192175794e-05,
      "loss": 0.453,
      "step": 411
    },
    {
      "epoch": 2.1458333333333335,
      "grad_norm": 0.3343687038982333,
      "learning_rate": 5.6375692581043705e-05,
      "loss": 0.453,
      "step": 412
    },
    {
      "epoch": 2.1510416666666665,
      "grad_norm": 0.2970674436842917,
      "learning_rate": 5.624288746315271e-05,
      "loss": 0.4552,
      "step": 413
    },
    {
      "epoch": 2.15625,
      "grad_norm": 0.28397875254344884,
      "learning_rate": 5.61098675943495e-05,
      "loss": 0.4506,
      "step": 414
    },
    {
      "epoch": 2.1614583333333335,
      "grad_norm": 0.2917983717076994,
      "learning_rate": 5.597663473332002e-05,
      "loss": 0.4502,
      "step": 415
    },
    {
      "epoch": 2.1666666666666665,
      "grad_norm": 0.3116190269322562,
      "learning_rate": 5.584319064156628e-05,
      "loss": 0.4518,
      "step": 416
    },
    {
      "epoch": 2.171875,
      "grad_norm": 0.32036543535140277,
      "learning_rate": 5.5709537083382974e-05,
      "loss": 0.4501,
      "step": 417
    },
    {
      "epoch": 2.1770833333333335,
      "grad_norm": 0.3802249286209255,
      "learning_rate": 5.5575675825834215e-05,
      "loss": 0.4485,
      "step": 418
    },
    {
      "epoch": 2.1822916666666665,
      "grad_norm": 0.38278121485259464,
      "learning_rate": 5.544160863873014e-05,
      "loss": 0.4474,
      "step": 419
    },
    {
      "epoch": 2.1875,
      "grad_norm": 0.3689358694601874,
      "learning_rate": 5.5307337294603595e-05,
      "loss": 0.4522,
      "step": 420
    },
    {
      "epoch": 2.1927083333333335,
      "grad_norm": 0.3905688139846195,
      "learning_rate": 5.5172863568686544e-05,
      "loss": 0.4545,
      "step": 421
    },
    {
      "epoch": 2.1979166666666665,
      "grad_norm": 0.3063684538992762,
      "learning_rate": 5.5038189238886724e-05,
      "loss": 0.4542,
      "step": 422
    },
    {
      "epoch": 2.203125,
      "grad_norm": 0.2541031363762125,
      "learning_rate": 5.490331608576412e-05,
      "loss": 0.4564,
      "step": 423
    },
    {
      "epoch": 2.2083333333333335,
      "grad_norm": 0.3786919244356207,
      "learning_rate": 5.476824589250738e-05,
      "loss": 0.4509,
      "step": 424
    },
    {
      "epoch": 2.2135416666666665,
      "grad_norm": 0.3873426199476435,
      "learning_rate": 5.4632980444910285e-05,
      "loss": 0.4498,
      "step": 425
    },
    {
      "epoch": 2.21875,
      "grad_norm": 0.4376262663783527,
      "learning_rate": 5.4497521531348066e-05,
      "loss": 0.4602,
      "step": 426
    },
    {
      "epoch": 2.2239583333333335,
      "grad_norm": 0.4452377636866926,
      "learning_rate": 5.43618709427539e-05,
      "loss": 0.4435,
      "step": 427
    },
    {
      "epoch": 2.2291666666666665,
      "grad_norm": 0.42491148711197285,
      "learning_rate": 5.4226030472595075e-05,
      "loss": 0.4522,
      "step": 428
    },
    {
      "epoch": 2.234375,
      "grad_norm": 0.3597609609622282,
      "learning_rate": 5.409000191684935e-05,
      "loss": 0.4574,
      "step": 429
    },
    {
      "epoch": 2.2395833333333335,
      "grad_norm": 0.263127390246849,
      "learning_rate": 5.3953787073981236e-05,
      "loss": 0.452,
      "step": 430
    },
    {
      "epoch": 2.2447916666666665,
      "grad_norm": 0.24375578116399835,
      "learning_rate": 5.381738774491819e-05,
      "loss": 0.4492,
      "step": 431
    },
    {
      "epoch": 2.25,
      "grad_norm": 0.3332667128514618,
      "learning_rate": 5.368080573302676e-05,
      "loss": 0.4454,
      "step": 432
    },
    {
      "epoch": 2.2552083333333335,
      "grad_norm": 0.4099153930059742,
      "learning_rate": 5.3544042844088826e-05,
      "loss": 0.4513,
      "step": 433
    },
    {
      "epoch": 2.2604166666666665,
      "grad_norm": 0.3875534834472668,
      "learning_rate": 5.340710088627766e-05,
      "loss": 0.4496,
      "step": 434
    },
    {
      "epoch": 2.265625,
      "grad_norm": 0.30927751997827757,
      "learning_rate": 5.326998167013409e-05,
      "loss": 0.451,
      "step": 435
    },
    {
      "epoch": 2.2708333333333335,
      "grad_norm": 0.27412098731782414,
      "learning_rate": 5.3132687008542454e-05,
      "loss": 0.4551,
      "step": 436
    },
    {
      "epoch": 2.2760416666666665,
      "grad_norm": 0.275598538116117,
      "learning_rate": 5.2995218716706716e-05,
      "loss": 0.4582,
      "step": 437
    },
    {
      "epoch": 2.28125,
      "grad_norm": 0.35179334144231694,
      "learning_rate": 5.2857578612126466e-05,
      "loss": 0.4527,
      "step": 438
    },
    {
      "epoch": 2.2864583333333335,
      "grad_norm": 0.3864906350735343,
      "learning_rate": 5.271976851457286e-05,
      "loss": 0.4527,
      "step": 439
    },
    {
      "epoch": 2.2916666666666665,
      "grad_norm": 0.35576426936338756,
      "learning_rate": 5.258179024606455e-05,
      "loss": 0.4598,
      "step": 440
    },
    {
      "epoch": 2.296875,
      "grad_norm": 0.3036457402114626,
      "learning_rate": 5.2443645630843634e-05,
      "loss": 0.4531,
      "step": 441
    },
    {
      "epoch": 2.3020833333333335,
      "grad_norm": 0.34159429010479525,
      "learning_rate": 5.2305336495351536e-05,
      "loss": 0.4477,
      "step": 442
    },
    {
      "epoch": 2.3072916666666665,
      "grad_norm": 0.3165231741585495,
      "learning_rate": 5.216686466820479e-05,
      "loss": 0.4594,
      "step": 443
    },
    {
      "epoch": 2.3125,
      "grad_norm": 0.28504368635187927,
      "learning_rate": 5.202823198017092e-05,
      "loss": 0.4469,
      "step": 444
    },
    {
      "epoch": 2.3177083333333335,
      "grad_norm": 0.31641273800988096,
      "learning_rate": 5.188944026414431e-05,
      "loss": 0.4564,
      "step": 445
    },
    {
      "epoch": 2.3229166666666665,
      "grad_norm": 0.2919022410307984,
      "learning_rate": 5.1750491355121776e-05,
      "loss": 0.4524,
      "step": 446
    },
    {
      "epoch": 2.328125,
      "grad_norm": 0.2713740438607471,
      "learning_rate": 5.16113870901785e-05,
      "loss": 0.4552,
      "step": 447
    },
    {
      "epoch": 2.3333333333333335,
      "grad_norm": 0.2887166504008213,
      "learning_rate": 5.1472129308443616e-05,
      "loss": 0.4508,
      "step": 448
    },
    {
      "epoch": 2.3385416666666665,
      "grad_norm": 0.33912135543319033,
      "learning_rate": 5.133271985107595e-05,
      "loss": 0.4542,
      "step": 449
    },
    {
      "epoch": 2.34375,
      "grad_norm": 0.30453519312192345,
      "learning_rate": 5.1193160561239694e-05,
      "loss": 0.4504,
      "step": 450
    },
    {
      "epoch": 2.3489583333333335,
      "grad_norm": 0.2972585462068068,
      "learning_rate": 5.105345328407994e-05,
      "loss": 0.4529,
      "step": 451
    },
    {
      "epoch": 2.3541666666666665,
      "grad_norm": 0.36531796615856266,
      "learning_rate": 5.091359986669845e-05,
      "loss": 0.4446,
      "step": 452
    },
    {
      "epoch": 2.359375,
      "grad_norm": 0.34166256791569516,
      "learning_rate": 5.0773602158129054e-05,
      "loss": 0.4542,
      "step": 453
    },
    {
      "epoch": 2.3645833333333335,
      "grad_norm": 0.31694246847885665,
      "learning_rate": 5.0633462009313315e-05,
      "loss": 0.4457,
      "step": 454
    },
    {
      "epoch": 2.3697916666666665,
      "grad_norm": 0.3304985084306687,
      "learning_rate": 5.049318127307607e-05,
      "loss": 0.4547,
      "step": 455
    },
    {
      "epoch": 2.375,
      "grad_norm": 0.3400981834435102,
      "learning_rate": 5.0352761804100835e-05,
      "loss": 0.4416,
      "step": 456
    },
    {
      "epoch": 2.3802083333333335,
      "grad_norm": 0.3201239346128975,
      "learning_rate": 5.021220545890539e-05,
      "loss": 0.4471,
      "step": 457
    },
    {
      "epoch": 2.3854166666666665,
      "grad_norm": 0.2850855107772755,
      "learning_rate": 5.007151409581715e-05,
      "loss": 0.4602,
      "step": 458
    },
    {
      "epoch": 2.390625,
      "grad_norm": 0.2819310990288385,
      "learning_rate": 4.9930689574948654e-05,
      "loss": 0.4552,
      "step": 459
    },
    {
      "epoch": 2.3958333333333335,
      "grad_norm": 0.3290407541736708,
      "learning_rate": 4.9789733758172956e-05,
      "loss": 0.4468,
      "step": 460
    },
    {
      "epoch": 2.4010416666666665,
      "grad_norm": 0.3131895176610291,
      "learning_rate": 4.964864850909899e-05,
      "loss": 0.4574,
      "step": 461
    },
    {
      "epoch": 2.40625,
      "grad_norm": 0.3141916384709298,
      "learning_rate": 4.950743569304693e-05,
      "loss": 0.4528,
      "step": 462
    },
    {
      "epoch": 2.4114583333333335,
      "grad_norm": 0.27751224080774894,
      "learning_rate": 4.936609717702357e-05,
      "loss": 0.4455,
      "step": 463
    },
    {
      "epoch": 2.4166666666666665,
      "grad_norm": 0.3209700191538329,
      "learning_rate": 4.922463482969761e-05,
      "loss": 0.451,
      "step": 464
    },
    {
      "epoch": 2.421875,
      "grad_norm": 0.2682896645937339,
      "learning_rate": 4.9083050521374936e-05,
      "loss": 0.4567,
      "step": 465
    },
    {
      "epoch": 2.4270833333333335,
      "grad_norm": 0.23481907909219152,
      "learning_rate": 4.89413461239739e-05,
      "loss": 0.4558,
      "step": 466
    },
    {
      "epoch": 2.4322916666666665,
      "grad_norm": 0.2433020319381078,
      "learning_rate": 4.879952351100063e-05,
      "loss": 0.4586,
      "step": 467
    },
    {
      "epoch": 2.4375,
      "grad_norm": 0.25610146627935704,
      "learning_rate": 4.8657584557524116e-05,
      "loss": 0.4541,
      "step": 468
    },
    {
      "epoch": 2.4427083333333335,
      "grad_norm": 0.27332507368021985,
      "learning_rate": 4.851553114015162e-05,
      "loss": 0.4479,
      "step": 469
    },
    {
      "epoch": 2.4479166666666665,
      "grad_norm": 0.2502105066468416,
      "learning_rate": 4.837336513700369e-05,
      "loss": 0.4488,
      "step": 470
    },
    {
      "epoch": 2.453125,
      "grad_norm": 0.28310497721879135,
      "learning_rate": 4.82310884276894e-05,
      "loss": 0.4505,
      "step": 471
    },
    {
      "epoch": 2.4583333333333335,
      "grad_norm": 0.3053377357606682,
      "learning_rate": 4.808870289328153e-05,
      "loss": 0.456,
      "step": 472
    },
    {
      "epoch": 2.4635416666666665,
      "grad_norm": 0.2140634699417683,
      "learning_rate": 4.79462104162916e-05,
      "loss": 0.4453,
      "step": 473
    },
    {
      "epoch": 2.46875,
      "grad_norm": 0.27564533447240397,
      "learning_rate": 4.780361288064514e-05,
      "loss": 0.4508,
      "step": 474
    },
    {
      "epoch": 2.4739583333333335,
      "grad_norm": 0.2743908230031084,
      "learning_rate": 4.7660912171656576e-05,
      "loss": 0.4531,
      "step": 475
    },
    {
      "epoch": 2.4791666666666665,
      "grad_norm": 0.2071839729047595,
      "learning_rate": 4.751811017600448e-05,
      "loss": 0.4479,
      "step": 476
    },
    {
      "epoch": 2.484375,
      "grad_norm": 0.21741574455697213,
      "learning_rate": 4.7375208781706536e-05,
      "loss": 0.4558,
      "step": 477
    },
    {
      "epoch": 2.4895833333333335,
      "grad_norm": 0.2728580506450589,
      "learning_rate": 4.723220987809462e-05,
      "loss": 0.4625,
      "step": 478
    },
    {
      "epoch": 2.4947916666666665,
      "grad_norm": 0.28962503992213984,
      "learning_rate": 4.708911535578977e-05,
      "loss": 0.4547,
      "step": 479
    },
    {
      "epoch": 2.5,
      "grad_norm": 0.27337038181719875,
      "learning_rate": 4.694592710667723e-05,
      "loss": 0.4524,
      "step": 480
    },
    {
      "epoch": 2.5052083333333335,
      "grad_norm": 0.226712963037994,
      "learning_rate": 4.680264702388143e-05,
      "loss": 0.4553,
      "step": 481
    },
    {
      "epoch": 2.5104166666666665,
      "grad_norm": 0.2752700275579855,
      "learning_rate": 4.6659277001740984e-05,
      "loss": 0.4544,
      "step": 482
    },
    {
      "epoch": 2.515625,
      "grad_norm": 0.27662974468138407,
      "learning_rate": 4.651581893578356e-05,
      "loss": 0.459,
      "step": 483
    },
    {
      "epoch": 2.5208333333333335,
      "grad_norm": 0.2647572690044019,
      "learning_rate": 4.637227472270091e-05,
      "loss": 0.4444,
      "step": 484
    },
    {
      "epoch": 2.5260416666666665,
      "grad_norm": 0.2855773582007276,
      "learning_rate": 4.622864626032376e-05,
      "loss": 0.4473,
      "step": 485
    },
    {
      "epoch": 2.53125,
      "grad_norm": 0.22278688069700286,
      "learning_rate": 4.608493544759667e-05,
      "loss": 0.4474,
      "step": 486
    },
    {
      "epoch": 2.5364583333333335,
      "grad_norm": 0.26466883513110556,
      "learning_rate": 4.5941144184553036e-05,
      "loss": 0.4581,
      "step": 487
    },
    {
      "epoch": 2.5416666666666665,
      "grad_norm": 0.26958465224891065,
      "learning_rate": 4.579727437228987e-05,
      "loss": 0.4612,
      "step": 488
    },
    {
      "epoch": 2.546875,
      "grad_norm": 0.267382762532617,
      "learning_rate": 4.565332791294271e-05,
      "loss": 0.4491,
      "step": 489
    },
    {
      "epoch": 2.5520833333333335,
      "grad_norm": 0.32363518482193276,
      "learning_rate": 4.550930670966043e-05,
      "loss": 0.4573,
      "step": 490
    },
    {
      "epoch": 2.5572916666666665,
      "grad_norm": 0.2698814914138189,
      "learning_rate": 4.536521266658017e-05,
      "loss": 0.4566,
      "step": 491
    },
    {
      "epoch": 2.5625,
      "grad_norm": 0.2568406992029986,
      "learning_rate": 4.522104768880208e-05,
      "loss": 0.4479,
      "step": 492
    },
    {
      "epoch": 2.5677083333333335,
      "grad_norm": 0.32183252196678996,
      "learning_rate": 4.5076813682364095e-05,
      "loss": 0.4509,
      "step": 493
    },
    {
      "epoch": 2.5729166666666665,
      "grad_norm": 0.33550046375525555,
      "learning_rate": 4.4932512554216886e-05,
      "loss": 0.4478,
      "step": 494
    },
    {
      "epoch": 2.578125,
      "grad_norm": 0.2600002952224419,
      "learning_rate": 4.47881462121985e-05,
      "loss": 0.453,
      "step": 495
    },
    {
      "epoch": 2.5833333333333335,
      "grad_norm": 0.40899305705263794,
      "learning_rate": 4.464371656500921e-05,
      "loss": 0.4537,
      "step": 496
    },
    {
      "epoch": 2.5885416666666665,
      "grad_norm": 0.36170340148622154,
      "learning_rate": 4.4499225522186255e-05,
      "loss": 0.4487,
      "step": 497
    },
    {
      "epoch": 2.59375,
      "grad_norm": 0.32434219543771786,
      "learning_rate": 4.4354674994078585e-05,
      "loss": 0.4633,
      "step": 498
    },
    {
      "epoch": 2.5989583333333335,
      "grad_norm": 0.38172293630508747,
      "learning_rate": 4.421006689182165e-05,
      "loss": 0.457,
      "step": 499
    },
    {
      "epoch": 2.6041666666666665,
      "grad_norm": 0.2731081299554588,
      "learning_rate": 4.406540312731208e-05,
      "loss": 0.4502,
      "step": 500
    },
    {
      "epoch": 2.609375,
      "grad_norm": 0.3245280454542441,
      "learning_rate": 4.392068561318244e-05,
      "loss": 0.4517,
      "step": 501
    },
    {
      "epoch": 2.6145833333333335,
      "grad_norm": 0.43572425273132376,
      "learning_rate": 4.37759162627759e-05,
      "loss": 0.4504,
      "step": 502
    },
    {
      "epoch": 2.6197916666666665,
      "grad_norm": 0.37748769378579555,
      "learning_rate": 4.363109699012101e-05,
      "loss": 0.4526,
      "step": 503
    },
    {
      "epoch": 2.625,
      "grad_norm": 0.2821693851094929,
      "learning_rate": 4.348622970990634e-05,
      "loss": 0.449,
      "step": 504
    },
    {
      "epoch": 2.6302083333333335,
      "grad_norm": 0.317152312736462,
      "learning_rate": 4.334131633745515e-05,
      "loss": 0.4449,
      "step": 505
    },
    {
      "epoch": 2.6354166666666665,
      "grad_norm": 0.2801439643714161,
      "learning_rate": 4.3196358788700164e-05,
      "loss": 0.4556,
      "step": 506
    },
    {
      "epoch": 2.640625,
      "grad_norm": 0.26381290472552793,
      "learning_rate": 4.3051358980158104e-05,
      "loss": 0.4503,
      "step": 507
    },
    {
      "epoch": 2.6458333333333335,
      "grad_norm": 0.2733745106731695,
      "learning_rate": 4.290631882890443e-05,
      "loss": 0.4494,
      "step": 508
    },
    {
      "epoch": 2.6510416666666665,
      "grad_norm": 0.24419563504394842,
      "learning_rate": 4.276124025254801e-05,
      "loss": 0.4546,
      "step": 509
    },
    {
      "epoch": 2.65625,
      "grad_norm": 0.25353038177282894,
      "learning_rate": 4.261612516920573e-05,
      "loss": 0.4506,
      "step": 510
    },
    {
      "epoch": 2.6614583333333335,
      "grad_norm": 0.2863836488437528,
      "learning_rate": 4.2470975497477126e-05,
      "loss": 0.4491,
      "step": 511
    },
    {
      "epoch": 2.6666666666666665,
      "grad_norm": 0.2507610979090334,
      "learning_rate": 4.2325793156419035e-05,
      "loss": 0.4569,
      "step": 512
    },
    {
      "epoch": 2.671875,
      "grad_norm": 0.29365836719635163,
      "learning_rate": 4.218058006552026e-05,
      "loss": 0.4537,
      "step": 513
    },
    {
      "epoch": 2.6770833333333335,
      "grad_norm": 0.23535680735665146,
      "learning_rate": 4.203533814467611e-05,
      "loss": 0.4466,
      "step": 514
    },
    {
      "epoch": 2.6822916666666665,
      "grad_norm": 0.17516773951841155,
      "learning_rate": 4.189006931416308e-05,
      "loss": 0.4581,
      "step": 515
    },
    {
      "epoch": 2.6875,
      "grad_norm": 0.27284914053423037,
      "learning_rate": 4.174477549461345e-05,
      "loss": 0.4503,
      "step": 516
    },
    {
      "epoch": 2.6927083333333335,
      "grad_norm": 0.24075198772143525,
      "learning_rate": 4.159945860698987e-05,
      "loss": 0.4552,
      "step": 517
    },
    {
      "epoch": 2.6979166666666665,
      "grad_norm": 0.23115332473549804,
      "learning_rate": 4.145412057256e-05,
      "loss": 0.4609,
      "step": 518
    },
    {
      "epoch": 2.703125,
      "grad_norm": 0.2430520238017738,
      "learning_rate": 4.130876331287105e-05,
      "loss": 0.4531,
      "step": 519
    },
    {
      "epoch": 2.7083333333333335,
      "grad_norm": 0.2060892809968311,
      "learning_rate": 4.116338874972446e-05,
      "loss": 0.4451,
      "step": 520
    },
    {
      "epoch": 2.7135416666666665,
      "grad_norm": 0.23875995283433762,
      "learning_rate": 4.1017998805150414e-05,
      "loss": 0.4563,
      "step": 521
    },
    {
      "epoch": 2.71875,
      "grad_norm": 0.217940541645082,
      "learning_rate": 4.087259540138245e-05,
      "loss": 0.4511,
      "step": 522
    },
    {
      "epoch": 2.7239583333333335,
      "grad_norm": 0.22467507594690095,
      "learning_rate": 4.072718046083207e-05,
      "loss": 0.4566,
      "step": 523
    },
    {
      "epoch": 2.7291666666666665,
      "grad_norm": 0.25314613453543144,
      "learning_rate": 4.058175590606332e-05,
      "loss": 0.452,
      "step": 524
    },
    {
      "epoch": 2.734375,
      "grad_norm": 0.2786131525463468,
      "learning_rate": 4.04363236597673e-05,
      "loss": 0.4465,
      "step": 525
    },
    {
      "epoch": 2.7395833333333335,
      "grad_norm": 0.24145545234317506,
      "learning_rate": 4.029088564473688e-05,
      "loss": 0.4459,
      "step": 526
    },
    {
      "epoch": 2.7447916666666665,
      "grad_norm": 0.2510425603418942,
      "learning_rate": 4.014544378384112e-05,
      "loss": 0.4512,
      "step": 527
    },
    {
      "epoch": 2.75,
      "grad_norm": 0.24945291013391493,
      "learning_rate": 4e-05,
      "loss": 0.4504,
      "step": 528
    },
    {
      "epoch": 2.7552083333333335,
      "grad_norm": 0.27191483742740813,
      "learning_rate": 3.985455621615889e-05,
      "loss": 0.4576,
      "step": 529
    },
    {
      "epoch": 2.7604166666666665,
      "grad_norm": 0.24084342052781593,
      "learning_rate": 3.970911435526314e-05,
      "loss": 0.45,
      "step": 530
    },
    {
      "epoch": 2.765625,
      "grad_norm": 0.17747716819587414,
      "learning_rate": 3.9563676340232714e-05,
      "loss": 0.4418,
      "step": 531
    },
    {
      "epoch": 2.7708333333333335,
      "grad_norm": 0.24636626831275266,
      "learning_rate": 3.9418244093936694e-05,
      "loss": 0.4503,
      "step": 532
    },
    {
      "epoch": 2.7760416666666665,
      "grad_norm": 0.28401311914053784,
      "learning_rate": 3.927281953916793e-05,
      "loss": 0.4517,
      "step": 533
    },
    {
      "epoch": 2.78125,
      "grad_norm": 0.26408441780969916,
      "learning_rate": 3.912740459861756e-05,
      "loss": 0.4493,
      "step": 534
    },
    {
      "epoch": 2.7864583333333335,
      "grad_norm": 0.21907593909403092,
      "learning_rate": 3.89820011948496e-05,
      "loss": 0.4438,
      "step": 535
    },
    {
      "epoch": 2.7916666666666665,
      "grad_norm": 0.26149664644739284,
      "learning_rate": 3.8836611250275546e-05,
      "loss": 0.4549,
      "step": 536
    },
    {
      "epoch": 2.796875,
      "grad_norm": 0.3166477479854297,
      "learning_rate": 3.869123668712896e-05,
      "loss": 0.4568,
      "step": 537
    },
    {
      "epoch": 2.8020833333333335,
      "grad_norm": 0.2279722998028603,
      "learning_rate": 3.854587942744002e-05,
      "loss": 0.4546,
      "step": 538
    },
    {
      "epoch": 2.8072916666666665,
      "grad_norm": 0.19658184807651027,
      "learning_rate": 3.840054139301014e-05,
      "loss": 0.4463,
      "step": 539
    },
    {
      "epoch": 2.8125,
      "grad_norm": 0.25299931004053,
      "learning_rate": 3.825522450538657e-05,
      "loss": 0.4446,
      "step": 540
    },
    {
      "epoch": 2.8177083333333335,
      "grad_norm": 0.23810842033161025,
      "learning_rate": 3.8109930685836934e-05,
      "loss": 0.454,
      "step": 541
    },
    {
      "epoch": 2.8229166666666665,
      "grad_norm": 0.18831871470462158,
      "learning_rate": 3.79646618553239e-05,
      "loss": 0.4518,
      "step": 542
    },
    {
      "epoch": 2.828125,
      "grad_norm": 0.24686450588347258,
      "learning_rate": 3.7819419934479746e-05,
      "loss": 0.4568,
      "step": 543
    },
    {
      "epoch": 2.8333333333333335,
      "grad_norm": 0.22375136264771378,
      "learning_rate": 3.767420684358097e-05,
      "loss": 0.4548,
      "step": 544
    },
    {
      "epoch": 2.8385416666666665,
      "grad_norm": 0.20101170630574017,
      "learning_rate": 3.752902450252289e-05,
      "loss": 0.4512,
      "step": 545
    },
    {
      "epoch": 2.84375,
      "grad_norm": 0.21834233196081493,
      "learning_rate": 3.738387483079428e-05,
      "loss": 0.4429,
      "step": 546
    },
    {
      "epoch": 2.8489583333333335,
      "grad_norm": 0.20323009030948236,
      "learning_rate": 3.723875974745201e-05,
      "loss": 0.446,
      "step": 547
    },
    {
      "epoch": 2.8541666666666665,
      "grad_norm": 0.23606919760598086,
      "learning_rate": 3.709368117109558e-05,
      "loss": 0.4418,
      "step": 548
    },
    {
      "epoch": 2.859375,
      "grad_norm": 0.21575884168093368,
      "learning_rate": 3.694864101984191e-05,
      "loss": 0.4576,
      "step": 549
    },
    {
      "epoch": 2.8645833333333335,
      "grad_norm": 0.23206237907321625,
      "learning_rate": 3.6803641211299856e-05,
      "loss": 0.4521,
      "step": 550
    },
    {
      "epoch": 2.8697916666666665,
      "grad_norm": 0.2436759174474409,
      "learning_rate": 3.665868366254486e-05,
      "loss": 0.4437,
      "step": 551
    },
    {
      "epoch": 2.875,
      "grad_norm": 0.2521373480075379,
      "learning_rate": 3.6513770290093674e-05,
      "loss": 0.4536,
      "step": 552
    },
    {
      "epoch": 2.8802083333333335,
      "grad_norm": 0.2274096369569366,
      "learning_rate": 3.6368903009879e-05,
      "loss": 0.4497,
      "step": 553
    },
    {
      "epoch": 2.8854166666666665,
      "grad_norm": 0.285466072073871,
      "learning_rate": 3.622408373722412e-05,
      "loss": 0.4446,
      "step": 554
    },
    {
      "epoch": 2.890625,
      "grad_norm": 0.2948300698492334,
      "learning_rate": 3.6079314386817575e-05,
      "loss": 0.4543,
      "step": 555
    },
    {
      "epoch": 2.8958333333333335,
      "grad_norm": 0.24613901254999906,
      "learning_rate": 3.5934596872687924e-05,
      "loss": 0.4508,
      "step": 556
    },
    {
      "epoch": 2.9010416666666665,
      "grad_norm": 0.21798706739518828,
      "learning_rate": 3.578993310817837e-05,
      "loss": 0.4518,
      "step": 557
    },
    {
      "epoch": 2.90625,
      "grad_norm": 0.22117764380777205,
      "learning_rate": 3.564532500592143e-05,
      "loss": 0.4549,
      "step": 558
    },
    {
      "epoch": 2.9114583333333335,
      "grad_norm": 0.16252180732812832,
      "learning_rate": 3.550077447781375e-05,
      "loss": 0.4469,
      "step": 559
    },
    {
      "epoch": 2.9166666666666665,
      "grad_norm": 0.2427191452211775,
      "learning_rate": 3.535628343499079e-05,
      "loss": 0.4597,
      "step": 560
    },
    {
      "epoch": 2.921875,
      "grad_norm": 0.22411954087193323,
      "learning_rate": 3.521185378780151e-05,
      "loss": 0.4509,
      "step": 561
    },
    {
      "epoch": 2.9270833333333335,
      "grad_norm": 0.17509367306378307,
      "learning_rate": 3.506748744578312e-05,
      "loss": 0.4531,
      "step": 562
    },
    {
      "epoch": 2.9322916666666665,
      "grad_norm": 0.192579397975609,
      "learning_rate": 3.4923186317635905e-05,
      "loss": 0.4516,
      "step": 563
    },
    {
      "epoch": 2.9375,
      "grad_norm": 0.22591029230358622,
      "learning_rate": 3.477895231119795e-05,
      "loss": 0.4524,
      "step": 564
    },
    {
      "epoch": 2.9427083333333335,
      "grad_norm": 0.21478601034284883,
      "learning_rate": 3.4634787333419836e-05,
      "loss": 0.4573,
      "step": 565
    },
    {
      "epoch": 2.9479166666666665,
      "grad_norm": 0.21582561271254455,
      "learning_rate": 3.4490693290339576e-05,
      "loss": 0.4525,
      "step": 566
    },
    {
      "epoch": 2.953125,
      "grad_norm": 0.24656875101387005,
      "learning_rate": 3.434667208705731e-05,
      "loss": 0.4591,
      "step": 567
    },
    {
      "epoch": 2.9583333333333335,
      "grad_norm": 0.23489677568963058,
      "learning_rate": 3.4202725627710136e-05,
      "loss": 0.4482,
      "step": 568
    },
    {
      "epoch": 2.9635416666666665,
      "grad_norm": 0.24050992002615987,
      "learning_rate": 3.405885581544697e-05,
      "loss": 0.4485,
      "step": 569
    },
    {
      "epoch": 2.96875,
      "grad_norm": 0.25902746255303943,
      "learning_rate": 3.3915064552403336e-05,
      "loss": 0.4537,
      "step": 570
    },
    {
      "epoch": 2.9739583333333335,
      "grad_norm": 0.229343388911019,
      "learning_rate": 3.377135373967626e-05,
      "loss": 0.4457,
      "step": 571
    },
    {
      "epoch": 2.9791666666666665,
      "grad_norm": 0.24649056308299716,
      "learning_rate": 3.3627725277299103e-05,
      "loss": 0.4566,
      "step": 572
    },
    {
      "epoch": 2.984375,
      "grad_norm": 0.26355043835959246,
      "learning_rate": 3.3484181064216456e-05,
      "loss": 0.4494,
      "step": 573
    },
    {
      "epoch": 2.9895833333333335,
      "grad_norm": 0.22852954346477478,
      "learning_rate": 3.3340722998259036e-05,
      "loss": 0.4501,
      "step": 574
    },
    {
      "epoch": 2.9947916666666665,
      "grad_norm": 0.2632160947514986,
      "learning_rate": 3.3197352976118583e-05,
      "loss": 0.4534,
      "step": 575
    },
    {
      "epoch": 3.0,
      "grad_norm": 0.2738429393057102,
      "learning_rate": 3.305407289332279e-05,
      "loss": 0.4475,
      "step": 576
    },
    {
      "epoch": 3.0052083333333335,
      "grad_norm": 0.28491859503588146,
      "learning_rate": 3.291088464421026e-05,
      "loss": 0.4182,
      "step": 577
    },
    {
      "epoch": 3.0104166666666665,
      "grad_norm": 0.2807795518479234,
      "learning_rate": 3.2767790121905396e-05,
      "loss": 0.4173,
      "step": 578
    },
    {
      "epoch": 3.015625,
      "grad_norm": 0.26172408606370545,
      "learning_rate": 3.262479121829347e-05,
      "loss": 0.4161,
      "step": 579
    },
    {
      "epoch": 3.0208333333333335,
      "grad_norm": 0.32179646850977445,
      "learning_rate": 3.248188982399553e-05,
      "loss": 0.4209,
      "step": 580
    },
    {
      "epoch": 3.0260416666666665,
      "grad_norm": 0.3080496409126784,
      "learning_rate": 3.233908782834344e-05,
      "loss": 0.4188,
      "step": 581
    },
    {
      "epoch": 3.03125,
      "grad_norm": 0.27349308614695306,
      "learning_rate": 3.219638711935488e-05,
      "loss": 0.4207,
      "step": 582
    },
    {
      "epoch": 3.0364583333333335,
      "grad_norm": 0.3046633768967616,
      "learning_rate": 3.20537895837084e-05,
      "loss": 0.4232,
      "step": 583
    },
    {
      "epoch": 3.0416666666666665,
      "grad_norm": 0.25471654312431574,
      "learning_rate": 3.191129710671849e-05,
      "loss": 0.4145,
      "step": 584
    },
    {
      "epoch": 3.046875,
      "grad_norm": 0.2964811270172107,
      "learning_rate": 3.176891157231061e-05,
      "loss": 0.4166,
      "step": 585
    },
    {
      "epoch": 3.0520833333333335,
      "grad_norm": 0.24829569644080027,
      "learning_rate": 3.162663486299632e-05,
      "loss": 0.4155,
      "step": 586
    },
    {
      "epoch": 3.0572916666666665,
      "grad_norm": 0.26623858818993734,
      "learning_rate": 3.1484468859848385e-05,
      "loss": 0.4138,
      "step": 587
    },
    {
      "epoch": 3.0625,
      "grad_norm": 0.2584468094577521,
      "learning_rate": 3.134241544247589e-05,
      "loss": 0.4203,
      "step": 588
    },
    {
      "epoch": 3.0677083333333335,
      "grad_norm": 0.3024872409928606,
      "learning_rate": 3.1200476488999386e-05,
      "loss": 0.4175,
      "step": 589
    },
    {
      "epoch": 3.0729166666666665,
      "grad_norm": 0.25710727182009974,
      "learning_rate": 3.1058653876026105e-05,
      "loss": 0.4168,
      "step": 590
    },
    {
      "epoch": 3.078125,
      "grad_norm": 0.2591118921336895,
      "learning_rate": 3.091694947862508e-05,
      "loss": 0.4171,
      "step": 591
    },
    {
      "epoch": 3.0833333333333335,
      "grad_norm": 0.26161070790400337,
      "learning_rate": 3.07753651703024e-05,
      "loss": 0.4126,
      "step": 592
    },
    {
      "epoch": 3.0885416666666665,
      "grad_norm": 0.25166103519691146,
      "learning_rate": 3.0633902822976436e-05,
      "loss": 0.4137,
      "step": 593
    },
    {
      "epoch": 3.09375,
      "grad_norm": 0.25286155571906127,
      "learning_rate": 3.0492564306953083e-05,
      "loss": 0.4187,
      "step": 594
    },
    {
      "epoch": 3.0989583333333335,
      "grad_norm": 0.22782460876585586,
      "learning_rate": 3.0351351490901026e-05,
      "loss": 0.4143,
      "step": 595
    },
    {
      "epoch": 3.1041666666666665,
      "grad_norm": 0.22111823960972826,
      "learning_rate": 3.0210266241827047e-05,
      "loss": 0.4158,
      "step": 596
    },
    {
      "epoch": 3.109375,
      "grad_norm": 0.2280181334525875,
      "learning_rate": 3.0069310425051346e-05,
      "loss": 0.4158,
      "step": 597
    },
    {
      "epoch": 3.1145833333333335,
      "grad_norm": 0.20706760936102733,
      "learning_rate": 2.9928485904182865e-05,
      "loss": 0.4108,
      "step": 598
    },
    {
      "epoch": 3.1197916666666665,
      "grad_norm": 0.22480257374782053,
      "learning_rate": 2.978779454109462e-05,
      "loss": 0.4256,
      "step": 599
    },
    {
      "epoch": 3.125,
      "grad_norm": 0.23939515077401757,
      "learning_rate": 2.9647238195899168e-05,
      "loss": 0.4149,
      "step": 600
    },
    {
      "epoch": 3.1302083333333335,
      "grad_norm": 0.17456992872348015,
      "learning_rate": 2.9506818726923953e-05,
      "loss": 0.4149,
      "step": 601
    },
    {
      "epoch": 3.1354166666666665,
      "grad_norm": 0.21304744930259548,
      "learning_rate": 2.936653799068669e-05,
      "loss": 0.4125,
      "step": 602
    },
    {
      "epoch": 3.140625,
      "grad_norm": 0.18301595333358603,
      "learning_rate": 2.9226397841870963e-05,
      "loss": 0.4184,
      "step": 603
    },
    {
      "epoch": 3.1458333333333335,
      "grad_norm": 0.23450873925351787,
      "learning_rate": 2.9086400133301573e-05,
      "loss": 0.4129,
      "step": 604
    },
    {
      "epoch": 3.1510416666666665,
      "grad_norm": 0.21539007313064668,
      "learning_rate": 2.894654671592007e-05,
      "loss": 0.4201,
      "step": 605
    },
    {
      "epoch": 3.15625,
      "grad_norm": 0.1675366533632639,
      "learning_rate": 2.8806839438760322e-05,
      "loss": 0.4146,
      "step": 606
    },
    {
      "epoch": 3.1614583333333335,
      "grad_norm": 0.1927044347100303,
      "learning_rate": 2.866728014892405e-05,
      "loss": 0.4066,
      "step": 607
    },
    {
      "epoch": 3.1666666666666665,
      "grad_norm": 0.14306975018159754,
      "learning_rate": 2.8527870691556404e-05,
      "loss": 0.4174,
      "step": 608
    },
    {
      "epoch": 3.171875,
      "grad_norm": 0.15991300490884588,
      "learning_rate": 2.8388612909821515e-05,
      "loss": 0.4171,
      "step": 609
    },
    {
      "epoch": 3.1770833333333335,
      "grad_norm": 0.16271210686815982,
      "learning_rate": 2.8249508644878224e-05,
      "loss": 0.4112,
      "step": 610
    },
    {
      "epoch": 3.1822916666666665,
      "grad_norm": 0.15416111482216824,
      "learning_rate": 2.811055973585571e-05,
      "loss": 0.4186,
      "step": 611
    },
    {
      "epoch": 3.1875,
      "grad_norm": 0.1633889204995666,
      "learning_rate": 2.7971768019829083e-05,
      "loss": 0.4123,
      "step": 612
    },
    {
      "epoch": 3.1927083333333335,
      "grad_norm": 0.1508686030997112,
      "learning_rate": 2.783313533179523e-05,
      "loss": 0.4143,
      "step": 613
    },
    {
      "epoch": 3.1979166666666665,
      "grad_norm": 0.1653827367345216,
      "learning_rate": 2.769466350464847e-05,
      "loss": 0.4148,
      "step": 614
    },
    {
      "epoch": 3.203125,
      "grad_norm": 0.14575140162564396,
      "learning_rate": 2.755635436915637e-05,
      "loss": 0.4152,
      "step": 615
    },
    {
      "epoch": 3.2083333333333335,
      "grad_norm": 0.18141176512396068,
      "learning_rate": 2.7418209753935464e-05,
      "loss": 0.4232,
      "step": 616
    },
    {
      "epoch": 3.2135416666666665,
      "grad_norm": 0.1710773962842752,
      "learning_rate": 2.7280231485427143e-05,
      "loss": 0.4213,
      "step": 617
    },
    {
      "epoch": 3.21875,
      "grad_norm": 0.19523392780266202,
      "learning_rate": 2.7142421387873548e-05,
      "loss": 0.4182,
      "step": 618
    },
    {
      "epoch": 3.2239583333333335,
      "grad_norm": 0.19312809183976587,
      "learning_rate": 2.70047812832933e-05,
      "loss": 0.4257,
      "step": 619
    },
    {
      "epoch": 3.2291666666666665,
      "grad_norm": 0.1756156762884247,
      "learning_rate": 2.6867312991457563e-05,
      "loss": 0.4157,
      "step": 620
    },
    {
      "epoch": 3.234375,
      "grad_norm": 0.16748679081748216,
      "learning_rate": 2.673001832986593e-05,
      "loss": 0.4267,
      "step": 621
    },
    {
      "epoch": 3.2395833333333335,
      "grad_norm": 0.17792663773623071,
      "learning_rate": 2.659289911372234e-05,
      "loss": 0.4223,
      "step": 622
    },
    {
      "epoch": 3.2447916666666665,
      "grad_norm": 0.14441761729327057,
      "learning_rate": 2.645595715591119e-05,
      "loss": 0.4149,
      "step": 623
    },
    {
      "epoch": 3.25,
      "grad_norm": 0.1648776442231838,
      "learning_rate": 2.6319194266973256e-05,
      "loss": 0.4166,
      "step": 624
    },
    {
      "epoch": 3.2552083333333335,
      "grad_norm": 0.14526955777282594,
      "learning_rate": 2.6182612255081833e-05,
      "loss": 0.4084,
      "step": 625
    },
    {
      "epoch": 3.2604166666666665,
      "grad_norm": 0.15466272466107275,
      "learning_rate": 2.6046212926018774e-05,
      "loss": 0.4165,
      "step": 626
    },
    {
      "epoch": 3.265625,
      "grad_norm": 0.14227614845697972,
      "learning_rate": 2.5909998083150662e-05,
      "loss": 0.4132,
      "step": 627
    },
    {
      "epoch": 3.2708333333333335,
      "grad_norm": 0.1606246737077625,
      "learning_rate": 2.577396952740495e-05,
      "loss": 0.4183,
      "step": 628
    },
    {
      "epoch": 3.2760416666666665,
      "grad_norm": 0.15860706147682338,
      "learning_rate": 2.5638129057246116e-05,
      "loss": 0.4152,
      "step": 629
    },
    {
      "epoch": 3.28125,
      "grad_norm": 0.16859215182896237,
      "learning_rate": 2.550247846865194e-05,
      "loss": 0.4181,
      "step": 630
    },
    {
      "epoch": 3.2864583333333335,
      "grad_norm": 0.163403721843303,
      "learning_rate": 2.5367019555089742e-05,
      "loss": 0.4144,
      "step": 631
    },
    {
      "epoch": 3.2916666666666665,
      "grad_norm": 0.18558361962323933,
      "learning_rate": 2.523175410749263e-05,
      "loss": 0.4165,
      "step": 632
    },
    {
      "epoch": 3.296875,
      "grad_norm": 0.17457848823155608,
      "learning_rate": 2.5096683914235884e-05,
      "loss": 0.4097,
      "step": 633
    },
    {
      "epoch": 3.3020833333333335,
      "grad_norm": 0.14919244436892753,
      "learning_rate": 2.4961810761113282e-05,
      "loss": 0.4147,
      "step": 634
    },
    {
      "epoch": 3.3072916666666665,
      "grad_norm": 0.17843851639929606,
      "learning_rate": 2.482713643131347e-05,
      "loss": 0.4208,
      "step": 635
    },
    {
      "epoch": 3.3125,
      "grad_norm": 0.16405105758957236,
      "learning_rate": 2.4692662705396412e-05,
      "loss": 0.4138,
      "step": 636
    },
    {
      "epoch": 3.3177083333333335,
      "grad_norm": 0.15202752791075796,
      "learning_rate": 2.4558391361269856e-05,
      "loss": 0.421,
      "step": 637
    },
    {
      "epoch": 3.3229166666666665,
      "grad_norm": 0.17580673124142135,
      "learning_rate": 2.4424324174165808e-05,
      "loss": 0.4136,
      "step": 638
    },
    {
      "epoch": 3.328125,
      "grad_norm": 0.13302029062596274,
      "learning_rate": 2.4290462916617043e-05,
      "loss": 0.4147,
      "step": 639
    },
    {
      "epoch": 3.3333333333333335,
      "grad_norm": 0.16065794095128882,
      "learning_rate": 2.4156809358433728e-05,
      "loss": 0.4118,
      "step": 640
    },
    {
      "epoch": 3.3385416666666665,
      "grad_norm": 0.14830706139218164,
      "learning_rate": 2.4023365266679984e-05,
      "loss": 0.4083,
      "step": 641
    },
    {
      "epoch": 3.34375,
      "grad_norm": 0.15947393393327283,
      "learning_rate": 2.389013240565052e-05,
      "loss": 0.426,
      "step": 642
    },
    {
      "epoch": 3.3489583333333335,
      "grad_norm": 0.15670786913551477,
      "learning_rate": 2.3757112536847296e-05,
      "loss": 0.4122,
      "step": 643
    },
    {
      "epoch": 3.3541666666666665,
      "grad_norm": 0.15123493358826287,
      "learning_rate": 2.3624307418956298e-05,
      "loss": 0.4143,
      "step": 644
    },
    {
      "epoch": 3.359375,
      "grad_norm": 0.15787518914777796,
      "learning_rate": 2.3491718807824216e-05,
      "loss": 0.4226,
      "step": 645
    },
    {
      "epoch": 3.3645833333333335,
      "grad_norm": 0.1407544559499338,
      "learning_rate": 2.3359348456435243e-05,
      "loss": 0.4149,
      "step": 646
    },
    {
      "epoch": 3.3697916666666665,
      "grad_norm": 0.1581648481886214,
      "learning_rate": 2.322719811488794e-05,
      "loss": 0.4151,
      "step": 647
    },
    {
      "epoch": 3.375,
      "grad_norm": 0.1469905696417171,
      "learning_rate": 2.3095269530372032e-05,
      "loss": 0.4177,
      "step": 648
    },
    {
      "epoch": 3.3802083333333335,
      "grad_norm": 0.1506486393618422,
      "learning_rate": 2.296356444714537e-05,
      "loss": 0.4154,
      "step": 649
    },
    {
      "epoch": 3.3854166666666665,
      "grad_norm": 0.13971040152271555,
      "learning_rate": 2.2832084606510848e-05,
      "loss": 0.4237,
      "step": 650
    },
    {
      "epoch": 3.390625,
      "grad_norm": 0.14977415226709087,
      "learning_rate": 2.2700831746793346e-05,
      "loss": 0.4204,
      "step": 651
    },
    {
      "epoch": 3.3958333333333335,
      "grad_norm": 0.1279863638984086,
      "learning_rate": 2.2569807603316836e-05,
      "loss": 0.4112,
      "step": 652
    },
    {
      "epoch": 3.4010416666666665,
      "grad_norm": 0.16670824040888058,
      "learning_rate": 2.2439013908381296e-05,
      "loss": 0.4214,
      "step": 653
    },
    {
      "epoch": 3.40625,
      "grad_norm": 0.13048061345907816,
      "learning_rate": 2.2308452391239958e-05,
      "loss": 0.4214,
      "step": 654
    },
    {
      "epoch": 3.4114583333333335,
      "grad_norm": 0.18128286931431092,
      "learning_rate": 2.217812477807635e-05,
      "loss": 0.4126,
      "step": 655
    },
    {
      "epoch": 3.4166666666666665,
      "grad_norm": 0.1284871982068144,
      "learning_rate": 2.2048032791981515e-05,
      "loss": 0.4195,
      "step": 656
    },
    {
      "epoch": 3.421875,
      "grad_norm": 0.15799131894651652,
      "learning_rate": 2.1918178152931215e-05,
      "loss": 0.4201,
      "step": 657
    },
    {
      "epoch": 3.4270833333333335,
      "grad_norm": 0.1307117557914865,
      "learning_rate": 2.1788562577763192e-05,
      "loss": 0.413,
      "step": 658
    },
    {
      "epoch": 3.4322916666666665,
      "grad_norm": 0.14571259717412616,
      "learning_rate": 2.1659187780154457e-05,
      "loss": 0.4171,
      "step": 659
    },
    {
      "epoch": 3.4375,
      "grad_norm": 0.12941763651802551,
      "learning_rate": 2.1530055470598654e-05,
      "loss": 0.4164,
      "step": 660
    },
    {
      "epoch": 3.4427083333333335,
      "grad_norm": 0.14299962380710976,
      "learning_rate": 2.140116735638344e-05,
      "loss": 0.4165,
      "step": 661
    },
    {
      "epoch": 3.4479166666666665,
      "grad_norm": 0.13811757013699152,
      "learning_rate": 2.1272525141567925e-05,
      "loss": 0.4276,
      "step": 662
    },
    {
      "epoch": 3.453125,
      "grad_norm": 0.128677354634519,
      "learning_rate": 2.1144130526960093e-05,
      "loss": 0.4142,
      "step": 663
    },
    {
      "epoch": 3.4583333333333335,
      "grad_norm": 0.13602156866234685,
      "learning_rate": 2.1015985210094385e-05,
      "loss": 0.4155,
      "step": 664
    },
    {
      "epoch": 3.4635416666666665,
      "grad_norm": 0.13933027498675804,
      "learning_rate": 2.08880908852092e-05,
      "loss": 0.4223,
      "step": 665
    },
    {
      "epoch": 3.46875,
      "grad_norm": 0.1492265109407722,
      "learning_rate": 2.0760449243224504e-05,
      "loss": 0.4187,
      "step": 666
    },
    {
      "epoch": 3.4739583333333335,
      "grad_norm": 0.13712857642563353,
      "learning_rate": 2.0633061971719498e-05,
      "loss": 0.4178,
      "step": 667
    },
    {
      "epoch": 3.4791666666666665,
      "grad_norm": 0.149105600826208,
      "learning_rate": 2.050593075491031e-05,
      "loss": 0.4172,
      "step": 668
    },
    {
      "epoch": 3.484375,
      "grad_norm": 0.13804280525048446,
      "learning_rate": 2.0379057273627683e-05,
      "loss": 0.4139,
      "step": 669
    },
    {
      "epoch": 3.4895833333333335,
      "grad_norm": 0.13491058802438693,
      "learning_rate": 2.025244320529479e-05,
      "loss": 0.4143,
      "step": 670
    },
    {
      "epoch": 3.4947916666666665,
      "grad_norm": 0.131856779370611,
      "learning_rate": 2.012609022390505e-05,
      "loss": 0.4274,
      "step": 671
    },
    {
      "epoch": 3.5,
      "grad_norm": 0.13880621853954142,
      "learning_rate": 2.0000000000000012e-05,
      "loss": 0.4151,
      "step": 672
    },
    {
      "epoch": 3.5052083333333335,
      "grad_norm": 0.13963605223323874,
      "learning_rate": 1.987417420064718e-05,
      "loss": 0.4186,
      "step": 673
    },
    {
      "epoch": 3.5104166666666665,
      "grad_norm": 0.15160361793772806,
      "learning_rate": 1.9748614489418118e-05,
      "loss": 0.4163,
      "step": 674
    },
    {
      "epoch": 3.515625,
      "grad_norm": 0.14356430574819298,
      "learning_rate": 1.962332252636633e-05,
      "loss": 0.4157,
      "step": 675
    },
    {
      "epoch": 3.5208333333333335,
      "grad_norm": 0.13873666206717486,
      "learning_rate": 1.9498299968005393e-05,
      "loss": 0.4163,
      "step": 676
    },
    {
      "epoch": 3.5260416666666665,
      "grad_norm": 0.15321981890654965,
      "learning_rate": 1.9373548467286997e-05,
      "loss": 0.4152,
      "step": 677
    },
    {
      "epoch": 3.53125,
      "grad_norm": 0.1273821968040657,
      "learning_rate": 1.9249069673579136e-05,
      "loss": 0.4225,
      "step": 678
    },
    {
      "epoch": 3.5364583333333335,
      "grad_norm": 0.13468714881482768,
      "learning_rate": 1.912486523264429e-05,
      "loss": 0.413,
      "step": 679
    },
    {
      "epoch": 3.5416666666666665,
      "grad_norm": 0.151413677862611,
      "learning_rate": 1.90009367866176e-05,
      "loss": 0.419,
      "step": 680
    },
    {
      "epoch": 3.546875,
      "grad_norm": 0.11455008964444822,
      "learning_rate": 1.8877285973985282e-05,
      "loss": 0.4204,
      "step": 681
    },
    {
      "epoch": 3.5520833333333335,
      "grad_norm": 0.14408077633134836,
      "learning_rate": 1.875391442956289e-05,
      "loss": 0.4187,
      "step": 682
    },
    {
      "epoch": 3.5572916666666665,
      "grad_norm": 0.11874919499452374,
      "learning_rate": 1.8630823784473656e-05,
      "loss": 0.4099,
      "step": 683
    },
    {
      "epoch": 3.5625,
      "grad_norm": 0.12998689645690176,
      "learning_rate": 1.8508015666127043e-05,
      "loss": 0.4127,
      "step": 684
    },
    {
      "epoch": 3.5677083333333335,
      "grad_norm": 0.12324559926942688,
      "learning_rate": 1.838549169819715e-05,
      "loss": 0.4138,
      "step": 685
    },
    {
      "epoch": 3.5729166666666665,
      "grad_norm": 0.1383950918284176,
      "learning_rate": 1.826325350060121e-05,
      "loss": 0.4172,
      "step": 686
    },
    {
      "epoch": 3.578125,
      "grad_norm": 0.1194208629556308,
      "learning_rate": 1.8141302689478267e-05,
      "loss": 0.4265,
      "step": 687
    },
    {
      "epoch": 3.5833333333333335,
      "grad_norm": 0.1353093687393417,
      "learning_rate": 1.8019640877167763e-05,
      "loss": 0.4269,
      "step": 688
    },
    {
      "epoch": 3.5885416666666665,
      "grad_norm": 0.13119352020333014,
      "learning_rate": 1.7898269672188213e-05,
      "loss": 0.415,
      "step": 689
    },
    {
      "epoch": 3.59375,
      "grad_norm": 0.13757710403935858,
      "learning_rate": 1.7777190679215923e-05,
      "loss": 0.412,
      "step": 690
    },
    {
      "epoch": 3.5989583333333335,
      "grad_norm": 0.12768746422959298,
      "learning_rate": 1.7656405499063813e-05,
      "loss": 0.4203,
      "step": 691
    },
    {
      "epoch": 3.6041666666666665,
      "grad_norm": 0.12138584490288708,
      "learning_rate": 1.753591572866029e-05,
      "loss": 0.4203,
      "step": 692
    },
    {
      "epoch": 3.609375,
      "grad_norm": 0.13275602272738993,
      "learning_rate": 1.7415722961027987e-05,
      "loss": 0.4207,
      "step": 693
    },
    {
      "epoch": 3.6145833333333335,
      "grad_norm": 0.13791183627231737,
      "learning_rate": 1.7295828785262857e-05,
      "loss": 0.4151,
      "step": 694
    },
    {
      "epoch": 3.6197916666666665,
      "grad_norm": 0.13039758184155137,
      "learning_rate": 1.7176234786513087e-05,
      "loss": 0.4231,
      "step": 695
    },
    {
      "epoch": 3.625,
      "grad_norm": 0.13649119504269946,
      "learning_rate": 1.7056942545958167e-05,
      "loss": 0.42,
      "step": 696
    },
    {
      "epoch": 3.6302083333333335,
      "grad_norm": 0.13499903004936686,
      "learning_rate": 1.693795364078794e-05,
      "loss": 0.4153,
      "step": 697
    },
    {
      "epoch": 3.6354166666666665,
      "grad_norm": 0.15232542300702467,
      "learning_rate": 1.68192696441818e-05,
      "loss": 0.4116,
      "step": 698
    },
    {
      "epoch": 3.640625,
      "grad_norm": 0.12604696636711074,
      "learning_rate": 1.670089212528792e-05,
      "loss": 0.4232,
      "step": 699
    },
    {
      "epoch": 3.6458333333333335,
      "grad_norm": 0.13195231763197135,
      "learning_rate": 1.6582822649202382e-05,
      "loss": 0.4219,
      "step": 700
    },
    {
      "epoch": 3.6510416666666665,
      "grad_norm": 0.13035130703277115,
      "learning_rate": 1.646506277694862e-05,
      "loss": 0.4103,
      "step": 701
    },
    {
      "epoch": 3.65625,
      "grad_norm": 0.12295778796186425,
      "learning_rate": 1.6347614065456715e-05,
      "loss": 0.4151,
      "step": 702
    },
    {
      "epoch": 3.6614583333333335,
      "grad_norm": 0.1192965887849657,
      "learning_rate": 1.6230478067542797e-05,
      "loss": 0.4176,
      "step": 703
    },
    {
      "epoch": 3.6666666666666665,
      "grad_norm": 0.12246404456980604,
      "learning_rate": 1.6113656331888563e-05,
      "loss": 0.4126,
      "step": 704
    },
    {
      "epoch": 3.671875,
      "grad_norm": 0.1375859619055621,
      "learning_rate": 1.5997150403020766e-05,
      "loss": 0.4132,
      "step": 705
    },
    {
      "epoch": 3.6770833333333335,
      "grad_norm": 0.10956903548752424,
      "learning_rate": 1.588096182129082e-05,
      "loss": 0.4167,
      "step": 706
    },
    {
      "epoch": 3.6822916666666665,
      "grad_norm": 0.13084801145161873,
      "learning_rate": 1.57650921228544e-05,
      "loss": 0.4213,
      "step": 707
    },
    {
      "epoch": 3.6875,
      "grad_norm": 0.11816234771802438,
      "learning_rate": 1.5649542839651175e-05,
      "loss": 0.4166,
      "step": 708
    },
    {
      "epoch": 3.6927083333333335,
      "grad_norm": 0.11459047298216911,
      "learning_rate": 1.553431549938452e-05,
      "loss": 0.4152,
      "step": 709
    },
    {
      "epoch": 3.6979166666666665,
      "grad_norm": 0.12662117557235886,
      "learning_rate": 1.5419411625501302e-05,
      "loss": 0.4127,
      "step": 710
    },
    {
      "epoch": 3.703125,
      "grad_norm": 0.110833404443231,
      "learning_rate": 1.530483273717181e-05,
      "loss": 0.415,
      "step": 711
    },
    {
      "epoch": 3.7083333333333335,
      "grad_norm": 0.11400585673441407,
      "learning_rate": 1.5190580349269604e-05,
      "loss": 0.4079,
      "step": 712
    },
    {
      "epoch": 3.7135416666666665,
      "grad_norm": 0.11499137871226821,
      "learning_rate": 1.5076655972351507e-05,
      "loss": 0.4101,
      "step": 713
    },
    {
      "epoch": 3.71875,
      "grad_norm": 0.12982626593064933,
      "learning_rate": 1.4963061112637637e-05,
      "loss": 0.417,
      "step": 714
    },
    {
      "epoch": 3.7239583333333335,
      "grad_norm": 0.10837068390606402,
      "learning_rate": 1.4849797271991495e-05,
      "loss": 0.4135,
      "step": 715
    },
    {
      "epoch": 3.7291666666666665,
      "grad_norm": 0.11732800055425159,
      "learning_rate": 1.4736865947900106e-05,
      "loss": 0.4231,
      "step": 716
    },
    {
      "epoch": 3.734375,
      "grad_norm": 0.10764039158457943,
      "learning_rate": 1.4624268633454187e-05,
      "loss": 0.4247,
      "step": 717
    },
    {
      "epoch": 3.7395833333333335,
      "grad_norm": 0.12851195837331011,
      "learning_rate": 1.4512006817328472e-05,
      "loss": 0.4212,
      "step": 718
    },
    {
      "epoch": 3.7447916666666665,
      "grad_norm": 0.1155870694587358,
      "learning_rate": 1.4400081983761984e-05,
      "loss": 0.4146,
      "step": 719
    },
    {
      "epoch": 3.75,
      "grad_norm": 0.12106065935727812,
      "learning_rate": 1.4288495612538427e-05,
      "loss": 0.4209,
      "step": 720
    },
    {
      "epoch": 3.7552083333333335,
      "grad_norm": 0.12270699282467767,
      "learning_rate": 1.4177249178966608e-05,
      "loss": 0.4229,
      "step": 721
    },
    {
      "epoch": 3.7604166666666665,
      "grad_norm": 0.1267683507041968,
      "learning_rate": 1.406634415386095e-05,
      "loss": 0.425,
      "step": 722
    },
    {
      "epoch": 3.765625,
      "grad_norm": 0.11873425020651938,
      "learning_rate": 1.3955782003522043e-05,
      "loss": 0.4193,
      "step": 723
    },
    {
      "epoch": 3.7708333333333335,
      "grad_norm": 0.1250535698942927,
      "learning_rate": 1.3845564189717218e-05,
      "loss": 0.4209,
      "step": 724
    },
    {
      "epoch": 3.7760416666666665,
      "grad_norm": 0.12343112052356159,
      "learning_rate": 1.373569216966129e-05,
      "loss": 0.4196,
      "step": 725
    },
    {
      "epoch": 3.78125,
      "grad_norm": 0.12315740063163286,
      "learning_rate": 1.3626167395997247e-05,
      "loss": 0.4211,
      "step": 726
    },
    {
      "epoch": 3.7864583333333335,
      "grad_norm": 0.12332613537758451,
      "learning_rate": 1.351699131677705e-05,
      "loss": 0.4174,
      "step": 727
    },
    {
      "epoch": 3.7916666666666665,
      "grad_norm": 0.1152876228189935,
      "learning_rate": 1.3408165375442486e-05,
      "loss": 0.4165,
      "step": 728
    },
    {
      "epoch": 3.796875,
      "grad_norm": 0.11602662193035912,
      "learning_rate": 1.3299691010806112e-05,
      "loss": 0.4166,
      "step": 729
    },
    {
      "epoch": 3.8020833333333335,
      "grad_norm": 0.12451140051983674,
      "learning_rate": 1.319156965703217e-05,
      "loss": 0.4173,
      "step": 730
    },
    {
      "epoch": 3.8072916666666665,
      "grad_norm": 0.12541686133402594,
      "learning_rate": 1.3083802743617699e-05,
      "loss": 0.4194,
      "step": 731
    },
    {
      "epoch": 3.8125,
      "grad_norm": 0.12690944731043471,
      "learning_rate": 1.297639169537359e-05,
      "loss": 0.4201,
      "step": 732
    },
    {
      "epoch": 3.8177083333333335,
      "grad_norm": 0.12040322610732845,
      "learning_rate": 1.2869337932405764e-05,
      "loss": 0.4155,
      "step": 733
    },
    {
      "epoch": 3.8229166666666665,
      "grad_norm": 0.12058205613812571,
      "learning_rate": 1.2762642870096377e-05,
      "loss": 0.416,
      "step": 734
    },
    {
      "epoch": 3.828125,
      "grad_norm": 0.11878375864388548,
      "learning_rate": 1.2656307919085146e-05,
      "loss": 0.4193,
      "step": 735
    },
    {
      "epoch": 3.8333333333333335,
      "grad_norm": 0.11121140017945381,
      "learning_rate": 1.2550334485250661e-05,
      "loss": 0.4225,
      "step": 736
    },
    {
      "epoch": 3.8385416666666665,
      "grad_norm": 0.12707918357857953,
      "learning_rate": 1.24447239696918e-05,
      "loss": 0.4125,
      "step": 737
    },
    {
      "epoch": 3.84375,
      "grad_norm": 0.12001036957146603,
      "learning_rate": 1.233947776870923e-05,
      "loss": 0.4121,
      "step": 738
    },
    {
      "epoch": 3.8489583333333335,
      "grad_norm": 0.11535323017417397,
      "learning_rate": 1.2234597273786944e-05,
      "loss": 0.4168,
      "step": 739
    },
    {
      "epoch": 3.8541666666666665,
      "grad_norm": 0.1160191285731607,
      "learning_rate": 1.2130083871573812e-05,
      "loss": 0.4239,
      "step": 740
    },
    {
      "epoch": 3.859375,
      "grad_norm": 0.1100398521853248,
      "learning_rate": 1.2025938943865313e-05,
      "loss": 0.4185,
      "step": 741
    },
    {
      "epoch": 3.8645833333333335,
      "grad_norm": 0.12081765224099172,
      "learning_rate": 1.1922163867585268e-05,
      "loss": 0.4156,
      "step": 742
    },
    {
      "epoch": 3.8697916666666665,
      "grad_norm": 0.11417786400727832,
      "learning_rate": 1.1818760014767582e-05,
      "loss": 0.4247,
      "step": 743
    },
    {
      "epoch": 3.875,
      "grad_norm": 0.11489515833127817,
      "learning_rate": 1.1715728752538103e-05,
      "loss": 0.4218,
      "step": 744
    },
    {
      "epoch": 3.8802083333333335,
      "grad_norm": 0.12006460353944515,
      "learning_rate": 1.161307144309661e-05,
      "loss": 0.422,
      "step": 745
    },
    {
      "epoch": 3.8854166666666665,
      "grad_norm": 0.11271743321059714,
      "learning_rate": 1.1510789443698772e-05,
      "loss": 0.4212,
      "step": 746
    },
    {
      "epoch": 3.890625,
      "grad_norm": 0.11376383835941546,
      "learning_rate": 1.1408884106638155e-05,
      "loss": 0.4174,
      "step": 747
    },
    {
      "epoch": 3.8958333333333335,
      "grad_norm": 0.1154497351332016,
      "learning_rate": 1.130735677922842e-05,
      "loss": 0.4133,
      "step": 748
    },
    {
      "epoch": 3.9010416666666665,
      "grad_norm": 0.10473903189927368,
      "learning_rate": 1.1206208803785495e-05,
      "loss": 0.4151,
      "step": 749
    },
    {
      "epoch": 3.90625,
      "grad_norm": 0.11550329038411378,
      "learning_rate": 1.110544151760978e-05,
      "loss": 0.4185,
      "step": 750
    },
    {
      "epoch": 3.9114583333333335,
      "grad_norm": 0.11029213126940116,
      "learning_rate": 1.1005056252968487e-05,
      "loss": 0.4195,
      "step": 751
    },
    {
      "epoch": 3.9166666666666665,
      "grad_norm": 0.11340821627515668,
      "learning_rate": 1.0905054337078051e-05,
      "loss": 0.4254,
      "step": 752
    },
    {
      "epoch": 3.921875,
      "grad_norm": 0.117482369095359,
      "learning_rate": 1.0805437092086586e-05,
      "loss": 0.4139,
      "step": 753
    },
    {
      "epoch": 3.9270833333333335,
      "grad_norm": 0.11340448972529782,
      "learning_rate": 1.0706205835056326e-05,
      "loss": 0.4176,
      "step": 754
    },
    {
      "epoch": 3.9322916666666665,
      "grad_norm": 0.1311260920900554,
      "learning_rate": 1.0607361877946327e-05,
      "loss": 0.423,
      "step": 755
    },
    {
      "epoch": 3.9375,
      "grad_norm": 0.12808188667287435,
      "learning_rate": 1.0508906527595042e-05,
      "loss": 0.4141,
      "step": 756
    },
    {
      "epoch": 3.9427083333333335,
      "grad_norm": 0.11537958395935753,
      "learning_rate": 1.0410841085703067e-05,
      "loss": 0.4175,
      "step": 757
    },
    {
      "epoch": 3.9479166666666665,
      "grad_norm": 0.11701877748193842,
      "learning_rate": 1.0313166848815931e-05,
      "loss": 0.4117,
      "step": 758
    },
    {
      "epoch": 3.953125,
      "grad_norm": 0.12596071288004695,
      "learning_rate": 1.021588510830695e-05,
      "loss": 0.4126,
      "step": 759
    },
    {
      "epoch": 3.9583333333333335,
      "grad_norm": 0.12682827595144905,
      "learning_rate": 1.0118997150360169e-05,
      "loss": 0.4228,
      "step": 760
    },
    {
      "epoch": 3.9635416666666665,
      "grad_norm": 0.12546067240377218,
      "learning_rate": 1.0022504255953311e-05,
      "loss": 0.4247,
      "step": 761
    },
    {
      "epoch": 3.96875,
      "grad_norm": 0.11906822410046297,
      "learning_rate": 9.92640770084091e-06,
      "loss": 0.4219,
      "step": 762
    },
    {
      "epoch": 3.9739583333333335,
      "grad_norm": 0.11053191018998579,
      "learning_rate": 9.830708755537391e-06,
      "loss": 0.4157,
      "step": 763
    },
    {
      "epoch": 3.9791666666666665,
      "grad_norm": 0.14558302825927794,
      "learning_rate": 9.735408685300287e-06,
      "loss": 0.4192,
      "step": 764
    },
    {
      "epoch": 3.984375,
      "grad_norm": 0.1193348055688612,
      "learning_rate": 9.640508750113527e-06,
      "loss": 0.4229,
      "step": 765
    },
    {
      "epoch": 3.9895833333333335,
      "grad_norm": 0.11063504919656937,
      "learning_rate": 9.546010204670759e-06,
      "loss": 0.4207,
      "step": 766
    },
    {
      "epoch": 3.9947916666666665,
      "grad_norm": 0.10597030272270032,
      "learning_rate": 9.451914298358745e-06,
      "loss": 0.422,
      "step": 767
    },
    {
      "epoch": 4.0,
      "grad_norm": 0.1215806558643114,
      "learning_rate": 9.358222275240884e-06,
      "loss": 0.4076,
      "step": 768
    },
    {
      "epoch": 4.005208333333333,
      "grad_norm": 0.1656942325013044,
      "learning_rate": 9.264935374040745e-06,
      "loss": 0.3925,
      "step": 769
    },
    {
      "epoch": 4.010416666666667,
      "grad_norm": 0.12860022988820713,
      "learning_rate": 9.172054828125678e-06,
      "loss": 0.394,
      "step": 770
    },
    {
      "epoch": 4.015625,
      "grad_norm": 0.13928337732205442,
      "learning_rate": 9.07958186549052e-06,
      "loss": 0.3886,
      "step": 771
    },
    {
      "epoch": 4.020833333333333,
      "grad_norm": 0.1412872298773703,
      "learning_rate": 8.987517708741364e-06,
      "loss": 0.4001,
      "step": 772
    },
    {
      "epoch": 4.026041666666667,
      "grad_norm": 0.14827226984991548,
      "learning_rate": 8.895863575079389e-06,
      "loss": 0.4007,
      "step": 773
    },
    {
      "epoch": 4.03125,
      "grad_norm": 0.1448859228549532,
      "learning_rate": 8.804620676284736e-06,
      "loss": 0.3983,
      "step": 774
    },
    {
      "epoch": 4.036458333333333,
      "grad_norm": 0.1419217440734986,
      "learning_rate": 8.713790218700545e-06,
      "loss": 0.3909,
      "step": 775
    },
    {
      "epoch": 4.041666666666667,
      "grad_norm": 0.1330567169689568,
      "learning_rate": 8.623373403216972e-06,
      "loss": 0.3938,
      "step": 776
    },
    {
      "epoch": 4.046875,
      "grad_norm": 0.13638152150160032,
      "learning_rate": 8.533371425255321e-06,
      "loss": 0.3891,
      "step": 777
    },
    {
      "epoch": 4.052083333333333,
      "grad_norm": 0.14295588845838247,
      "learning_rate": 8.44378547475222e-06,
      "loss": 0.4022,
      "step": 778
    },
    {
      "epoch": 4.057291666666667,
      "grad_norm": 0.128838790883267,
      "learning_rate": 8.35461673614391e-06,
      "loss": 0.3882,
      "step": 779
    },
    {
      "epoch": 4.0625,
      "grad_norm": 0.13281154716497592,
      "learning_rate": 8.265866388350598e-06,
      "loss": 0.3956,
      "step": 780
    },
    {
      "epoch": 4.067708333333333,
      "grad_norm": 0.1380649667325227,
      "learning_rate": 8.17753560476081e-06,
      "loss": 0.3967,
      "step": 781
    },
    {
      "epoch": 4.072916666666667,
      "grad_norm": 0.1331234654273479,
      "learning_rate": 8.089625553215947e-06,
      "loss": 0.3979,
      "step": 782
    },
    {
      "epoch": 4.078125,
      "grad_norm": 0.1382455194661536,
      "learning_rate": 8.002137395994815e-06,
      "loss": 0.3967,
      "step": 783
    },
    {
      "epoch": 4.083333333333333,
      "grad_norm": 0.12791073908185438,
      "learning_rate": 7.915072289798247e-06,
      "loss": 0.3913,
      "step": 784
    },
    {
      "epoch": 4.088541666666667,
      "grad_norm": 0.13365732572439806,
      "learning_rate": 7.828431385733836e-06,
      "loss": 0.4014,
      "step": 785
    },
    {
      "epoch": 4.09375,
      "grad_norm": 0.13011805973279064,
      "learning_rate": 7.742215829300695e-06,
      "loss": 0.3944,
      "step": 786
    },
    {
      "epoch": 4.098958333333333,
      "grad_norm": 0.11317245264912544,
      "learning_rate": 7.656426760374324e-06,
      "loss": 0.3911,
      "step": 787
    },
    {
      "epoch": 4.104166666666667,
      "grad_norm": 0.11706285146739118,
      "learning_rate": 7.5710653131915125e-06,
      "loss": 0.3957,
      "step": 788
    },
    {
      "epoch": 4.109375,
      "grad_norm": 0.12253541643748803,
      "learning_rate": 7.486132616335395e-06,
      "loss": 0.4022,
      "step": 789
    },
    {
      "epoch": 4.114583333333333,
      "grad_norm": 0.12114088607184492,
      "learning_rate": 7.401629792720495e-06,
      "loss": 0.392,
      "step": 790
    },
    {
      "epoch": 4.119791666666667,
      "grad_norm": 0.1087797298993501,
      "learning_rate": 7.317557959577848e-06,
      "loss": 0.3919,
      "step": 791
    },
    {
      "epoch": 4.125,
      "grad_norm": 0.11696943205778443,
      "learning_rate": 7.233918228440324e-06,
      "loss": 0.4006,
      "step": 792
    },
    {
      "epoch": 4.130208333333333,
      "grad_norm": 0.12373716309535572,
      "learning_rate": 7.150711705127853e-06,
      "loss": 0.3934,
      "step": 793
    },
    {
      "epoch": 4.135416666666667,
      "grad_norm": 0.13086125328327972,
      "learning_rate": 7.067939489732794e-06,
      "loss": 0.3938,
      "step": 794
    },
    {
      "epoch": 4.140625,
      "grad_norm": 0.10868818429100814,
      "learning_rate": 6.9856026766054495e-06,
      "loss": 0.3924,
      "step": 795
    },
    {
      "epoch": 4.145833333333333,
      "grad_norm": 0.10584774013768088,
      "learning_rate": 6.903702354339578e-06,
      "loss": 0.3954,
      "step": 796
    },
    {
      "epoch": 4.151041666666667,
      "grad_norm": 0.11681334527802047,
      "learning_rate": 6.8222396057579895e-06,
      "loss": 0.3856,
      "step": 797
    },
    {
      "epoch": 4.15625,
      "grad_norm": 0.10594608306212117,
      "learning_rate": 6.7412155078981865e-06,
      "loss": 0.3894,
      "step": 798
    },
    {
      "epoch": 4.161458333333333,
      "grad_norm": 0.10867505569484845,
      "learning_rate": 6.66063113199825e-06,
      "loss": 0.3922,
      "step": 799
    },
    {
      "epoch": 4.166666666666667,
      "grad_norm": 0.10204127942004476,
      "learning_rate": 6.58048754348255e-06,
      "loss": 0.3956,
      "step": 800
    },
    {
      "epoch": 4.171875,
      "grad_norm": 0.10502116864697705,
      "learning_rate": 6.5007858019476886e-06,
      "loss": 0.3885,
      "step": 801
    },
    {
      "epoch": 4.177083333333333,
      "grad_norm": 0.11054542076846595,
      "learning_rate": 6.421526961148545e-06,
      "loss": 0.4008,
      "step": 802
    },
    {
      "epoch": 4.182291666666667,
      "grad_norm": 0.09241523513212094,
      "learning_rate": 6.3427120689843e-06,
      "loss": 0.3983,
      "step": 803
    },
    {
      "epoch": 4.1875,
      "grad_norm": 0.09668959743755173,
      "learning_rate": 6.26434216748458e-06,
      "loss": 0.3982,
      "step": 804
    },
    {
      "epoch": 4.192708333333333,
      "grad_norm": 0.10785432132837422,
      "learning_rate": 6.1864182927956795e-06,
      "loss": 0.3919,
      "step": 805
    },
    {
      "epoch": 4.197916666666667,
      "grad_norm": 0.10494968370948249,
      "learning_rate": 6.108941475166879e-06,
      "loss": 0.3971,
      "step": 806
    },
    {
      "epoch": 4.203125,
      "grad_norm": 0.0945210792391993,
      "learning_rate": 6.031912738936849e-06,
      "loss": 0.3983,
      "step": 807
    },
    {
      "epoch": 4.208333333333333,
      "grad_norm": 0.0950221535344714,
      "learning_rate": 5.955333102520011e-06,
      "loss": 0.3938,
      "step": 808
    },
    {
      "epoch": 4.213541666666667,
      "grad_norm": 0.10000872686290821,
      "learning_rate": 5.879203578393186e-06,
      "loss": 0.3936,
      "step": 809
    },
    {
      "epoch": 4.21875,
      "grad_norm": 0.11115666333674416,
      "learning_rate": 5.803525173082145e-06,
      "loss": 0.3902,
      "step": 810
    },
    {
      "epoch": 4.223958333333333,
      "grad_norm": 0.09674403027184789,
      "learning_rate": 5.728298887148289e-06,
      "loss": 0.3921,
      "step": 811
    },
    {
      "epoch": 4.229166666666667,
      "grad_norm": 0.09789584227005456,
      "learning_rate": 5.653525715175483e-06,
      "loss": 0.3933,
      "step": 812
    },
    {
      "epoch": 4.234375,
      "grad_norm": 0.10838306123465942,
      "learning_rate": 5.579206645756845e-06,
      "loss": 0.3963,
      "step": 813
    },
    {
      "epoch": 4.239583333333333,
      "grad_norm": 0.09699454184242541,
      "learning_rate": 5.5053426614817094e-06,
      "loss": 0.3952,
      "step": 814
    },
    {
      "epoch": 4.244791666666667,
      "grad_norm": 0.09354253214253051,
      "learning_rate": 5.431934738922628e-06,
      "loss": 0.3929,
      "step": 815
    },
    {
      "epoch": 4.25,
      "grad_norm": 0.09539173737871497,
      "learning_rate": 5.358983848622452e-06,
      "loss": 0.3897,
      "step": 816
    },
    {
      "epoch": 4.255208333333333,
      "grad_norm": 0.10068053915815088,
      "learning_rate": 5.286490955081518e-06,
      "loss": 0.4014,
      "step": 817
    },
    {
      "epoch": 4.260416666666667,
      "grad_norm": 0.09946991926317574,
      "learning_rate": 5.2144570167448475e-06,
      "loss": 0.3952,
      "step": 818
    },
    {
      "epoch": 4.265625,
      "grad_norm": 0.09185433712078238,
      "learning_rate": 5.14288298598955e-06,
      "loss": 0.395,
      "step": 819
    },
    {
      "epoch": 4.270833333333333,
      "grad_norm": 0.09908221224412832,
      "learning_rate": 5.07176980911217e-06,
      "loss": 0.3912,
      "step": 820
    },
    {
      "epoch": 4.276041666666667,
      "grad_norm": 0.10304354034084079,
      "learning_rate": 5.0011184263162135e-06,
      "loss": 0.3857,
      "step": 821
    },
    {
      "epoch": 4.28125,
      "grad_norm": 0.0999895888597769,
      "learning_rate": 4.930929771699693e-06,
      "loss": 0.4006,
      "step": 822
    },
    {
      "epoch": 4.286458333333333,
      "grad_norm": 0.09145588460216589,
      "learning_rate": 4.86120477324278e-06,
      "loss": 0.3986,
      "step": 823
    },
    {
      "epoch": 4.291666666666667,
      "grad_norm": 0.09831166733830275,
      "learning_rate": 4.791944352795561e-06,
      "loss": 0.3861,
      "step": 824
    },
    {
      "epoch": 4.296875,
      "grad_norm": 0.0927179463050325,
      "learning_rate": 4.723149426065803e-06,
      "loss": 0.3959,
      "step": 825
    },
    {
      "epoch": 4.302083333333333,
      "grad_norm": 0.08769893272489984,
      "learning_rate": 4.654820902606898e-06,
      "loss": 0.3954,
      "step": 826
    },
    {
      "epoch": 4.307291666666667,
      "grad_norm": 0.0971674906433509,
      "learning_rate": 4.586959685805812e-06,
      "loss": 0.3875,
      "step": 827
    },
    {
      "epoch": 4.3125,
      "grad_norm": 0.09414542197381501,
      "learning_rate": 4.519566672871132e-06,
      "loss": 0.3889,
      "step": 828
    },
    {
      "epoch": 4.317708333333333,
      "grad_norm": 0.09776469895449759,
      "learning_rate": 4.452642754821223e-06,
      "loss": 0.3925,
      "step": 829
    },
    {
      "epoch": 4.322916666666667,
      "grad_norm": 0.09061883427994111,
      "learning_rate": 4.386188816472441e-06,
      "loss": 0.3947,
      "step": 830
    },
    {
      "epoch": 4.328125,
      "grad_norm": 0.09026902996260563,
      "learning_rate": 4.320205736427437e-06,
      "loss": 0.3966,
      "step": 831
    },
    {
      "epoch": 4.333333333333333,
      "grad_norm": 0.08762611647102633,
      "learning_rate": 4.254694387063514e-06,
      "loss": 0.3918,
      "step": 832
    },
    {
      "epoch": 4.338541666666667,
      "grad_norm": 0.08751750765576291,
      "learning_rate": 4.189655634521139e-06,
      "loss": 0.392,
      "step": 833
    },
    {
      "epoch": 4.34375,
      "grad_norm": 0.09072151365062914,
      "learning_rate": 4.12509033869247e-06,
      "loss": 0.4008,
      "step": 834
    },
    {
      "epoch": 4.348958333333333,
      "grad_norm": 0.09128874110261515,
      "learning_rate": 4.060999353209969e-06,
      "loss": 0.395,
      "step": 835
    },
    {
      "epoch": 4.354166666666667,
      "grad_norm": 0.09135150901607471,
      "learning_rate": 3.997383525435154e-06,
      "loss": 0.3946,
      "step": 836
    },
    {
      "epoch": 4.359375,
      "grad_norm": 0.08601906791065461,
      "learning_rate": 3.934243696447362e-06,
      "loss": 0.3933,
      "step": 837
    },
    {
      "epoch": 4.364583333333333,
      "grad_norm": 0.0919906871373889,
      "learning_rate": 3.871580701032631e-06,
      "loss": 0.3976,
      "step": 838
    },
    {
      "epoch": 4.369791666666667,
      "grad_norm": 0.09386412289382641,
      "learning_rate": 3.8093953676726946e-06,
      "loss": 0.3888,
      "step": 839
    },
    {
      "epoch": 4.375,
      "grad_norm": 0.0902389992707011,
      "learning_rate": 3.747688518534003e-06,
      "loss": 0.3913,
      "step": 840
    },
    {
      "epoch": 4.380208333333333,
      "grad_norm": 0.09756242865548707,
      "learning_rate": 3.686460969456849e-06,
      "loss": 0.3919,
      "step": 841
    },
    {
      "epoch": 4.385416666666667,
      "grad_norm": 0.09623554359260661,
      "learning_rate": 3.6257135299445943e-06,
      "loss": 0.3948,
      "step": 842
    },
    {
      "epoch": 4.390625,
      "grad_norm": 0.09244273714793504,
      "learning_rate": 3.565447003152964e-06,
      "loss": 0.3956,
      "step": 843
    },
    {
      "epoch": 4.395833333333333,
      "grad_norm": 0.10105632412111062,
      "learning_rate": 3.5056621858794393e-06,
      "loss": 0.3955,
      "step": 844
    },
    {
      "epoch": 4.401041666666667,
      "grad_norm": 0.08624554702157261,
      "learning_rate": 3.4463598685526757e-06,
      "loss": 0.3904,
      "step": 845
    },
    {
      "epoch": 4.40625,
      "grad_norm": 0.09611954327094645,
      "learning_rate": 3.3875408352221164e-06,
      "loss": 0.4003,
      "step": 846
    },
    {
      "epoch": 4.411458333333333,
      "grad_norm": 0.09179933731575347,
      "learning_rate": 3.3292058635476e-06,
      "loss": 0.3938,
      "step": 847
    },
    {
      "epoch": 4.416666666666667,
      "grad_norm": 0.10244691533529773,
      "learning_rate": 3.2713557247890447e-06,
      "loss": 0.3976,
      "step": 848
    },
    {
      "epoch": 4.421875,
      "grad_norm": 0.09064451915218345,
      "learning_rate": 3.21399118379631e-06,
      "loss": 0.3978,
      "step": 849
    },
    {
      "epoch": 4.427083333333333,
      "grad_norm": 0.09030579454463528,
      "learning_rate": 3.157112998999057e-06,
      "loss": 0.3942,
      "step": 850
    },
    {
      "epoch": 4.432291666666667,
      "grad_norm": 0.09650315420802383,
      "learning_rate": 3.1007219223967167e-06,
      "loss": 0.3884,
      "step": 851
    },
    {
      "epoch": 4.4375,
      "grad_norm": 0.08945216729028628,
      "learning_rate": 3.0448186995485307e-06,
      "loss": 0.3928,
      "step": 852
    },
    {
      "epoch": 4.442708333333333,
      "grad_norm": 0.09037542028244394,
      "learning_rate": 2.989404069563744e-06,
      "loss": 0.392,
      "step": 853
    },
    {
      "epoch": 4.447916666666667,
      "grad_norm": 0.086012669249868,
      "learning_rate": 2.934478765091795e-06,
      "loss": 0.3941,
      "step": 854
    },
    {
      "epoch": 4.453125,
      "grad_norm": 0.09214978982722202,
      "learning_rate": 2.8800435123126223e-06,
      "loss": 0.3965,
      "step": 855
    },
    {
      "epoch": 4.458333333333333,
      "grad_norm": 0.09214829597512476,
      "learning_rate": 2.8260990309270987e-06,
      "loss": 0.3912,
      "step": 856
    },
    {
      "epoch": 4.463541666666667,
      "grad_norm": 0.09338576243090174,
      "learning_rate": 2.772646034147499e-06,
      "loss": 0.4022,
      "step": 857
    },
    {
      "epoch": 4.46875,
      "grad_norm": 0.0919737031038201,
      "learning_rate": 2.7196852286880624e-06,
      "loss": 0.3917,
      "step": 858
    },
    {
      "epoch": 4.473958333333333,
      "grad_norm": 0.08916649972490646,
      "learning_rate": 2.667217314755637e-06,
      "loss": 0.4032,
      "step": 859
    },
    {
      "epoch": 4.479166666666667,
      "grad_norm": 0.08250509760060573,
      "learning_rate": 2.6152429860404647e-06,
      "loss": 0.387,
      "step": 860
    },
    {
      "epoch": 4.484375,
      "grad_norm": 0.09000508424469188,
      "learning_rate": 2.563762929706979e-06,
      "loss": 0.3822,
      "step": 861
    },
    {
      "epoch": 4.489583333333333,
      "grad_norm": 0.08945016194531298,
      "learning_rate": 2.512777826384709e-06,
      "loss": 0.3989,
      "step": 862
    },
    {
      "epoch": 4.494791666666667,
      "grad_norm": 0.09193827700352884,
      "learning_rate": 2.462288350159319e-06,
      "loss": 0.3967,
      "step": 863
    },
    {
      "epoch": 4.5,
      "grad_norm": 0.08425314704554804,
      "learning_rate": 2.4122951685636674e-06,
      "loss": 0.3892,
      "step": 864
    },
    {
      "epoch": 4.505208333333333,
      "grad_norm": 0.08738199469034504,
      "learning_rate": 2.3627989425689845e-06,
      "loss": 0.3932,
      "step": 865
    },
    {
      "epoch": 4.510416666666667,
      "grad_norm": 0.09399570205486323,
      "learning_rate": 2.313800326576141e-06,
      "loss": 0.3861,
      "step": 866
    },
    {
      "epoch": 4.515625,
      "grad_norm": 0.0865633364995395,
      "learning_rate": 2.265299968406991e-06,
      "loss": 0.4009,
      "step": 867
    },
    {
      "epoch": 4.520833333333333,
      "grad_norm": 0.08977460743900595,
      "learning_rate": 2.217298509295813e-06,
      "loss": 0.3949,
      "step": 868
    },
    {
      "epoch": 4.526041666666667,
      "grad_norm": 0.08582299531490575,
      "learning_rate": 2.169796583880821e-06,
      "loss": 0.3942,
      "step": 869
    },
    {
      "epoch": 4.53125,
      "grad_norm": 0.08434744824385126,
      "learning_rate": 2.122794820195777e-06,
      "loss": 0.3994,
      "step": 870
    },
    {
      "epoch": 4.536458333333333,
      "grad_norm": 0.08721293954021221,
      "learning_rate": 2.0762938396617027e-06,
      "loss": 0.3926,
      "step": 871
    },
    {
      "epoch": 4.541666666666667,
      "grad_norm": 0.08816871978461861,
      "learning_rate": 2.0302942570786446e-06,
      "loss": 0.3969,
      "step": 872
    },
    {
      "epoch": 4.546875,
      "grad_norm": 0.09095578664884517,
      "learning_rate": 1.9847966806175555e-06,
      "loss": 0.3885,
      "step": 873
    },
    {
      "epoch": 4.552083333333333,
      "grad_norm": 0.08752621260642095,
      "learning_rate": 1.9398017118122546e-06,
      "loss": 0.3968,
      "step": 874
    },
    {
      "epoch": 4.557291666666667,
      "grad_norm": 0.08292570425406448,
      "learning_rate": 1.8953099455514534e-06,
      "loss": 0.3961,
      "step": 875
    },
    {
      "epoch": 4.5625,
      "grad_norm": 0.08337349308091234,
      "learning_rate": 1.8513219700709272e-06,
      "loss": 0.3914,
      "step": 876
    },
    {
      "epoch": 4.567708333333333,
      "grad_norm": 0.08084600035778357,
      "learning_rate": 1.8078383669457088e-06,
      "loss": 0.3941,
      "step": 877
    },
    {
      "epoch": 4.572916666666667,
      "grad_norm": 0.08579166690245793,
      "learning_rate": 1.7648597110824183e-06,
      "loss": 0.3906,
      "step": 878
    },
    {
      "epoch": 4.578125,
      "grad_norm": 0.08306187200706193,
      "learning_rate": 1.7223865707116472e-06,
      "loss": 0.4033,
      "step": 879
    },
    {
      "epoch": 4.583333333333333,
      "grad_norm": 0.08441646573031719,
      "learning_rate": 1.6804195073804442e-06,
      "loss": 0.386,
      "step": 880
    },
    {
      "epoch": 4.588541666666667,
      "grad_norm": 0.09149832593946057,
      "learning_rate": 1.638959075944917e-06,
      "loss": 0.3912,
      "step": 881
    },
    {
      "epoch": 4.59375,
      "grad_norm": 0.08710252146092032,
      "learning_rate": 1.598005824562856e-06,
      "loss": 0.4007,
      "step": 882
    },
    {
      "epoch": 4.598958333333333,
      "grad_norm": 0.08847947881905806,
      "learning_rate": 1.557560294686522e-06,
      "loss": 0.3939,
      "step": 883
    },
    {
      "epoch": 4.604166666666667,
      "grad_norm": 0.08625759178131728,
      "learning_rate": 1.5176230210554744e-06,
      "loss": 0.4014,
      "step": 884
    },
    {
      "epoch": 4.609375,
      "grad_norm": 0.08412424788679813,
      "learning_rate": 1.4781945316894919e-06,
      "loss": 0.3956,
      "step": 885
    },
    {
      "epoch": 4.614583333333333,
      "grad_norm": 0.08277541220168269,
      "learning_rate": 1.4392753478816145e-06,
      "loss": 0.3998,
      "step": 886
    },
    {
      "epoch": 4.619791666666667,
      "grad_norm": 0.08550643659169234,
      "learning_rate": 1.4008659841912286e-06,
      "loss": 0.392,
      "step": 887
    },
    {
      "epoch": 4.625,
      "grad_norm": 0.08657138485844833,
      "learning_rate": 1.3629669484372722e-06,
      "loss": 0.3907,
      "step": 888
    },
    {
      "epoch": 4.630208333333333,
      "grad_norm": 0.087698739440694,
      "learning_rate": 1.32557874169152e-06,
      "loss": 0.3904,
      "step": 889
    },
    {
      "epoch": 4.635416666666667,
      "grad_norm": 0.08567244135582919,
      "learning_rate": 1.2887018582719634e-06,
      "loss": 0.3906,
      "step": 890
    },
    {
      "epoch": 4.640625,
      "grad_norm": 0.08255169378612309,
      "learning_rate": 1.2523367857362766e-06,
      "loss": 0.4027,
      "step": 891
    },
    {
      "epoch": 4.645833333333333,
      "grad_norm": 0.0831562473021181,
      "learning_rate": 1.2164840048753602e-06,
      "loss": 0.394,
      "step": 892
    },
    {
      "epoch": 4.651041666666667,
      "grad_norm": 0.08489598819316653,
      "learning_rate": 1.1811439897069854e-06,
      "loss": 0.3936,
      "step": 893
    },
    {
      "epoch": 4.65625,
      "grad_norm": 0.08443684348894669,
      "learning_rate": 1.1463172074695428e-06,
      "loss": 0.3933,
      "step": 894
    },
    {
      "epoch": 4.661458333333333,
      "grad_norm": 0.08452841389601809,
      "learning_rate": 1.112004118615846e-06,
      "loss": 0.4003,
      "step": 895
    },
    {
      "epoch": 4.666666666666667,
      "grad_norm": 0.08477763590248036,
      "learning_rate": 1.0782051768070477e-06,
      "loss": 0.3868,
      "step": 896
    },
    {
      "epoch": 4.671875,
      "grad_norm": 0.0857428858024216,
      "learning_rate": 1.0449208289066549e-06,
      "loss": 0.391,
      "step": 897
    },
    {
      "epoch": 4.677083333333333,
      "grad_norm": 0.08447855952502306,
      "learning_rate": 1.0121515149746108e-06,
      "loss": 0.401,
      "step": 898
    },
    {
      "epoch": 4.682291666666667,
      "grad_norm": 0.08273889538384241,
      "learning_rate": 9.79897668261458e-07,
      "loss": 0.3958,
      "step": 899
    },
    {
      "epoch": 4.6875,
      "grad_norm": 0.08350833958040468,
      "learning_rate": 9.481597152026656e-07,
      "loss": 0.3933,
      "step": 900
    },
    {
      "epoch": 4.692708333333333,
      "grad_norm": 0.08214638960022978,
      "learning_rate": 9.169380754129232e-07,
      "loss": 0.3923,
      "step": 901
    },
    {
      "epoch": 4.697916666666667,
      "grad_norm": 0.08621840214993347,
      "learning_rate": 8.862331616806385e-07,
      "loss": 0.392,
      "step": 902
    },
    {
      "epoch": 4.703125,
      "grad_norm": 0.0843063277880386,
      "learning_rate": 8.560453799624668e-07,
      "loss": 0.3922,
      "step": 903
    },
    {
      "epoch": 4.708333333333333,
      "grad_norm": 0.08666619002069333,
      "learning_rate": 8.263751293779409e-07,
      "loss": 0.3948,
      "step": 904
    },
    {
      "epoch": 4.713541666666667,
      "grad_norm": 0.0832420124116426,
      "learning_rate": 7.972228022041961e-07,
      "loss": 0.3891,
      "step": 905
    },
    {
      "epoch": 4.71875,
      "grad_norm": 0.08150925475284133,
      "learning_rate": 7.685887838707828e-07,
      "loss": 0.3925,
      "step": 906
    },
    {
      "epoch": 4.723958333333333,
      "grad_norm": 0.08151688290317759,
      "learning_rate": 7.404734529545776e-07,
      "loss": 0.394,
      "step": 907
    },
    {
      "epoch": 4.729166666666667,
      "grad_norm": 0.08296906624359568,
      "learning_rate": 7.128771811747737e-07,
      "loss": 0.3952,
      "step": 908
    },
    {
      "epoch": 4.734375,
      "grad_norm": 0.08314073247348208,
      "learning_rate": 6.858003333879559e-07,
      "loss": 0.3914,
      "step": 909
    },
    {
      "epoch": 4.739583333333333,
      "grad_norm": 0.08205991830813991,
      "learning_rate": 6.592432675832916e-07,
      "loss": 0.3884,
      "step": 910
    },
    {
      "epoch": 4.744791666666667,
      "grad_norm": 0.08280034816739829,
      "learning_rate": 6.332063348777917e-07,
      "loss": 0.3933,
      "step": 911
    },
    {
      "epoch": 4.75,
      "grad_norm": 0.08323258988295332,
      "learning_rate": 6.076898795116792e-07,
      "loss": 0.3965,
      "step": 912
    },
    {
      "epoch": 4.755208333333333,
      "grad_norm": 0.08280538195700139,
      "learning_rate": 5.826942388438106e-07,
      "loss": 0.3998,
      "step": 913
    },
    {
      "epoch": 4.760416666666667,
      "grad_norm": 0.0824989607801187,
      "learning_rate": 5.582197433472348e-07,
      "loss": 0.392,
      "step": 914
    },
    {
      "epoch": 4.765625,
      "grad_norm": 0.08159335040502934,
      "learning_rate": 5.34266716604841e-07,
      "loss": 0.3976,
      "step": 915
    },
    {
      "epoch": 4.770833333333333,
      "grad_norm": 0.08522732125984829,
      "learning_rate": 5.108354753050381e-07,
      "loss": 0.3954,
      "step": 916
    },
    {
      "epoch": 4.776041666666667,
      "grad_norm": 0.08356602432030429,
      "learning_rate": 4.879263292376024e-07,
      "loss": 0.3892,
      "step": 917
    },
    {
      "epoch": 4.78125,
      "grad_norm": 0.07948746667269234,
      "learning_rate": 4.6553958128957355e-07,
      "loss": 0.3957,
      "step": 918
    },
    {
      "epoch": 4.786458333333333,
      "grad_norm": 0.08273696236518939,
      "learning_rate": 4.4367552744123634e-07,
      "loss": 0.3851,
      "step": 919
    },
    {
      "epoch": 4.791666666666667,
      "grad_norm": 0.08102000958621774,
      "learning_rate": 4.223344567622212e-07,
      "loss": 0.3943,
      "step": 920
    },
    {
      "epoch": 4.796875,
      "grad_norm": 0.08242075436669088,
      "learning_rate": 4.0151665140768515e-07,
      "loss": 0.3954,
      "step": 921
    },
    {
      "epoch": 4.802083333333333,
      "grad_norm": 0.08441147943339979,
      "learning_rate": 3.8122238661456814e-07,
      "loss": 0.3953,
      "step": 922
    },
    {
      "epoch": 4.807291666666667,
      "grad_norm": 0.0809629423971581,
      "learning_rate": 3.6145193069796913e-07,
      "loss": 0.3957,
      "step": 923
    },
    {
      "epoch": 4.8125,
      "grad_norm": 0.08228145613460655,
      "learning_rate": 3.4220554504758475e-07,
      "loss": 0.394,
      "step": 924
    },
    {
      "epoch": 4.817708333333333,
      "grad_norm": 0.08060702966144417,
      "learning_rate": 3.2348348412425843e-07,
      "loss": 0.3912,
      "step": 925
    },
    {
      "epoch": 4.822916666666667,
      "grad_norm": 0.08099014487187961,
      "learning_rate": 3.0528599545661453e-07,
      "loss": 0.3873,
      "step": 926
    },
    {
      "epoch": 4.828125,
      "grad_norm": 0.08214019761947426,
      "learning_rate": 2.876133196377984e-07,
      "loss": 0.4013,
      "step": 927
    },
    {
      "epoch": 4.833333333333333,
      "grad_norm": 0.07954679954877142,
      "learning_rate": 2.704656903222791e-07,
      "loss": 0.3869,
      "step": 928
    },
    {
      "epoch": 4.838541666666667,
      "grad_norm": 0.07991635344418388,
      "learning_rate": 2.538433342227675e-07,
      "loss": 0.3981,
      "step": 929
    },
    {
      "epoch": 4.84375,
      "grad_norm": 0.07899032180157718,
      "learning_rate": 2.3774647110721415e-07,
      "loss": 0.3873,
      "step": 930
    },
    {
      "epoch": 4.848958333333333,
      "grad_norm": 0.0788938880616526,
      "learning_rate": 2.2217531379591373e-07,
      "loss": 0.3947,
      "step": 931
    },
    {
      "epoch": 4.854166666666667,
      "grad_norm": 0.08174291579931124,
      "learning_rate": 2.0713006815868075e-07,
      "loss": 0.3949,
      "step": 932
    },
    {
      "epoch": 4.859375,
      "grad_norm": 0.07906577908146535,
      "learning_rate": 1.926109331121273e-07,
      "loss": 0.394,
      "step": 933
    },
    {
      "epoch": 4.864583333333333,
      "grad_norm": 0.08366776319880685,
      "learning_rate": 1.7861810061704287e-07,
      "loss": 0.3958,
      "step": 934
    },
    {
      "epoch": 4.869791666666667,
      "grad_norm": 0.08020915237590569,
      "learning_rate": 1.651517556758586e-07,
      "loss": 0.4023,
      "step": 935
    },
    {
      "epoch": 4.875,
      "grad_norm": 0.08579752661065375,
      "learning_rate": 1.522120763301782e-07,
      "loss": 0.3925,
      "step": 936
    },
    {
      "epoch": 4.880208333333333,
      "grad_norm": 0.08487447153391825,
      "learning_rate": 1.3979923365845082e-07,
      "loss": 0.3964,
      "step": 937
    },
    {
      "epoch": 4.885416666666667,
      "grad_norm": 0.08436433098900332,
      "learning_rate": 1.2791339177369745e-07,
      "loss": 0.393,
      "step": 938
    },
    {
      "epoch": 4.890625,
      "grad_norm": 0.08510911460787883,
      "learning_rate": 1.165547078213347e-07,
      "loss": 0.3992,
      "step": 939
    },
    {
      "epoch": 4.895833333333333,
      "grad_norm": 0.07989815672695387,
      "learning_rate": 1.0572333197711005e-07,
      "loss": 0.3934,
      "step": 940
    },
    {
      "epoch": 4.901041666666667,
      "grad_norm": 0.08029652065864201,
      "learning_rate": 9.541940744510758e-08,
      "loss": 0.3922,
      "step": 941
    },
    {
      "epoch": 4.90625,
      "grad_norm": 0.08645374822939045,
      "learning_rate": 8.564307045586085e-08,
      "loss": 0.3942,
      "step": 942
    },
    {
      "epoch": 4.911458333333333,
      "grad_norm": 0.0794117204722207,
      "learning_rate": 7.639445026454528e-08,
      "loss": 0.3904,
      "step": 943
    },
    {
      "epoch": 4.916666666666667,
      "grad_norm": 0.07986109848818665,
      "learning_rate": 6.767366914927298e-08,
      "loss": 0.3879,
      "step": 944
    },
    {
      "epoch": 4.921875,
      "grad_norm": 0.08448594236173622,
      "learning_rate": 5.948084240947616e-08,
      "loss": 0.39,
      "step": 945
    },
    {
      "epoch": 4.927083333333333,
      "grad_norm": 0.0824253423004381,
      "learning_rate": 5.1816078364383956e-08,
      "loss": 0.3967,
      "step": 946
    },
    {
      "epoch": 4.932291666666667,
      "grad_norm": 0.07981707024198006,
      "learning_rate": 4.4679478351583596e-08,
      "loss": 0.3958,
      "step": 947
    },
    {
      "epoch": 4.9375,
      "grad_norm": 0.08233534277383188,
      "learning_rate": 3.8071136725688074e-08,
      "loss": 0.3946,
      "step": 948
    },
    {
      "epoch": 4.942708333333333,
      "grad_norm": 0.08300909744697708,
      "learning_rate": 3.1991140857092764e-08,
      "loss": 0.3899,
      "step": 949
    },
    {
      "epoch": 4.947916666666667,
      "grad_norm": 0.08151653169434366,
      "learning_rate": 2.6439571130798536e-08,
      "loss": 0.3978,
      "step": 950
    },
    {
      "epoch": 4.953125,
      "grad_norm": 0.07934001229909458,
      "learning_rate": 2.141650094537262e-08,
      "loss": 0.3949,
      "step": 951
    },
    {
      "epoch": 4.958333333333333,
      "grad_norm": 0.08172830996883675,
      "learning_rate": 1.6921996711976028e-08,
      "loss": 0.3921,
      "step": 952
    },
    {
      "epoch": 4.963541666666667,
      "grad_norm": 0.08282288788064661,
      "learning_rate": 1.2956117853470951e-08,
      "loss": 0.394,
      "step": 953
    },
    {
      "epoch": 4.96875,
      "grad_norm": 0.08055374897584985,
      "learning_rate": 9.518916803634703e-09,
      "loss": 0.3928,
      "step": 954
    },
    {
      "epoch": 4.973958333333333,
      "grad_norm": 0.08163505573701227,
      "learning_rate": 6.610439006498048e-09,
      "loss": 0.3843,
      "step": 955
    },
    {
      "epoch": 4.979166666666667,
      "grad_norm": 0.08199200318945396,
      "learning_rate": 4.230722915701257e-09,
      "loss": 0.3901,
      "step": 956
    },
    {
      "epoch": 4.984375,
      "grad_norm": 0.08224354702242807,
      "learning_rate": 2.3797999940100568e-09,
      "loss": 0.3959,
      "step": 957
    },
    {
      "epoch": 4.989583333333333,
      "grad_norm": 0.07869119736894395,
      "learning_rate": 1.057694712902624e-09,
      "loss": 0.3984,
      "step": 958
    },
    {
      "epoch": 4.994791666666667,
      "grad_norm": 0.08131812771168559,
      "learning_rate": 2.644245522276379e-10,
      "loss": 0.3992,
      "step": 959
    },
    {
      "epoch": 5.0,
      "grad_norm": 0.07926978398688435,
      "learning_rate": 0.0,
      "loss": 0.3871,
      "step": 960
    },
    {
      "epoch": 5.0,
      "step": 960,
      "total_flos": 1.610509656784896e+16,
      "train_loss": 0.47045585184047617,
      "train_runtime": 13737.7342,
      "train_samples_per_second": 35.753,
      "train_steps_per_second": 0.07
    }
  ],
  "logging_steps": 1,
  "max_steps": 960,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 5,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 1.610509656784896e+16,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}