{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 5.0,
  "eval_steps": 500,
  "global_step": 1200,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.004166666666666667,
      "grad_norm": 6.832746617212501,
      "learning_rate": 3.3333333333333335e-07,
      "loss": 1.0708,
      "step": 1
    },
    {
      "epoch": 0.008333333333333333,
      "grad_norm": 6.722005165892311,
      "learning_rate": 6.666666666666667e-07,
      "loss": 1.0439,
      "step": 2
    },
    {
      "epoch": 0.0125,
      "grad_norm": 6.592513139645599,
      "learning_rate": 1.0000000000000002e-06,
      "loss": 1.0359,
      "step": 3
    },
    {
      "epoch": 0.016666666666666666,
      "grad_norm": 6.400449551473129,
      "learning_rate": 1.3333333333333334e-06,
      "loss": 1.0264,
      "step": 4
    },
    {
      "epoch": 0.020833333333333332,
      "grad_norm": 6.141935206476066,
      "learning_rate": 1.6666666666666667e-06,
      "loss": 1.0219,
      "step": 5
    },
    {
      "epoch": 0.025,
      "grad_norm": 6.144188614406256,
      "learning_rate": 2.0000000000000003e-06,
      "loss": 1.0423,
      "step": 6
    },
    {
      "epoch": 0.029166666666666667,
      "grad_norm": 4.723936973082147,
      "learning_rate": 2.3333333333333336e-06,
      "loss": 0.9905,
      "step": 7
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 4.404721433571438,
      "learning_rate": 2.666666666666667e-06,
      "loss": 0.9999,
      "step": 8
    },
    {
      "epoch": 0.0375,
      "grad_norm": 2.8556986560850834,
      "learning_rate": 3e-06,
      "loss": 0.9511,
      "step": 9
    },
    {
      "epoch": 0.041666666666666664,
      "grad_norm": 2.645937958339345,
      "learning_rate": 3.3333333333333333e-06,
      "loss": 0.9576,
      "step": 10
    },
    {
      "epoch": 0.04583333333333333,
      "grad_norm": 2.5264859541553673,
      "learning_rate": 3.6666666666666666e-06,
      "loss": 0.9467,
      "step": 11
    },
    {
      "epoch": 0.05,
      "grad_norm": 4.249945414605477,
      "learning_rate": 4.000000000000001e-06,
      "loss": 0.923,
      "step": 12
    },
    {
      "epoch": 0.05416666666666667,
      "grad_norm": 4.438511276924439,
      "learning_rate": 4.333333333333334e-06,
      "loss": 0.9284,
      "step": 13
    },
    {
      "epoch": 0.058333333333333334,
      "grad_norm": 4.350535532893484,
      "learning_rate": 4.666666666666667e-06,
      "loss": 0.9276,
      "step": 14
    },
    {
      "epoch": 0.0625,
      "grad_norm": 3.837878669737464,
      "learning_rate": 5e-06,
      "loss": 0.9148,
      "step": 15
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 3.096451437357516,
      "learning_rate": 5.333333333333334e-06,
      "loss": 0.8751,
      "step": 16
    },
    {
      "epoch": 0.07083333333333333,
      "grad_norm": 2.8188767114680444,
      "learning_rate": 5.666666666666667e-06,
      "loss": 0.8635,
      "step": 17
    },
    {
      "epoch": 0.075,
      "grad_norm": 2.263860832111962,
      "learning_rate": 6e-06,
      "loss": 0.8441,
      "step": 18
    },
    {
      "epoch": 0.07916666666666666,
      "grad_norm": 1.6832918244958086,
      "learning_rate": 6.333333333333333e-06,
      "loss": 0.8396,
      "step": 19
    },
    {
      "epoch": 0.08333333333333333,
      "grad_norm": 1.3015547810704755,
      "learning_rate": 6.666666666666667e-06,
      "loss": 0.8143,
      "step": 20
    },
    {
      "epoch": 0.0875,
      "grad_norm": 1.325993130595308,
      "learning_rate": 7e-06,
      "loss": 0.8114,
      "step": 21
    },
    {
      "epoch": 0.09166666666666666,
      "grad_norm": 1.361193673338303,
      "learning_rate": 7.333333333333333e-06,
      "loss": 0.8006,
      "step": 22
    },
    {
      "epoch": 0.09583333333333334,
      "grad_norm": 1.122439118254614,
      "learning_rate": 7.666666666666667e-06,
      "loss": 0.7868,
      "step": 23
    },
    {
      "epoch": 0.1,
      "grad_norm": 0.916710349802209,
      "learning_rate": 8.000000000000001e-06,
      "loss": 0.7731,
      "step": 24
    },
    {
      "epoch": 0.10416666666666667,
      "grad_norm": 0.9193543079053559,
      "learning_rate": 8.333333333333334e-06,
      "loss": 0.7738,
      "step": 25
    },
    {
      "epoch": 0.10833333333333334,
      "grad_norm": 0.9146646422133236,
      "learning_rate": 8.666666666666668e-06,
      "loss": 0.7583,
      "step": 26
    },
    {
      "epoch": 0.1125,
      "grad_norm": 0.7990361061623279,
      "learning_rate": 9e-06,
      "loss": 0.7399,
      "step": 27
    },
    {
      "epoch": 0.11666666666666667,
      "grad_norm": 0.7768592276111252,
      "learning_rate": 9.333333333333334e-06,
      "loss": 0.7457,
      "step": 28
    },
    {
      "epoch": 0.12083333333333333,
      "grad_norm": 0.8435019115381818,
      "learning_rate": 9.666666666666667e-06,
      "loss": 0.742,
      "step": 29
    },
    {
      "epoch": 0.125,
      "grad_norm": 0.8088610628833126,
      "learning_rate": 1e-05,
      "loss": 0.7327,
      "step": 30
    },
    {
      "epoch": 0.12916666666666668,
      "grad_norm": 0.8244906434691093,
      "learning_rate": 1.0333333333333335e-05,
      "loss": 0.7368,
      "step": 31
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 0.6349527593388378,
      "learning_rate": 1.0666666666666667e-05,
      "loss": 0.7302,
      "step": 32
    },
    {
      "epoch": 0.1375,
      "grad_norm": 0.7242668613698263,
      "learning_rate": 1.1000000000000001e-05,
      "loss": 0.7265,
      "step": 33
    },
    {
      "epoch": 0.14166666666666666,
      "grad_norm": 0.6934236067516485,
      "learning_rate": 1.1333333333333334e-05,
      "loss": 0.7121,
      "step": 34
    },
    {
      "epoch": 0.14583333333333334,
      "grad_norm": 0.6230632857377315,
      "learning_rate": 1.1666666666666668e-05,
      "loss": 0.722,
      "step": 35
    },
    {
      "epoch": 0.15,
      "grad_norm": 0.6057998943730727,
      "learning_rate": 1.2e-05,
      "loss": 0.7071,
      "step": 36
    },
    {
      "epoch": 0.15416666666666667,
      "grad_norm": 0.7154466695410022,
      "learning_rate": 1.2333333333333334e-05,
      "loss": 0.7115,
      "step": 37
    },
    {
      "epoch": 0.15833333333333333,
      "grad_norm": 0.583085961426423,
      "learning_rate": 1.2666666666666667e-05,
      "loss": 0.7029,
      "step": 38
    },
    {
      "epoch": 0.1625,
      "grad_norm": 0.6637301966327246,
      "learning_rate": 1.3000000000000001e-05,
      "loss": 0.7006,
      "step": 39
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 0.6570162295776591,
      "learning_rate": 1.3333333333333333e-05,
      "loss": 0.7006,
      "step": 40
    },
    {
      "epoch": 0.17083333333333334,
      "grad_norm": 1.6249295445681182,
      "learning_rate": 1.3666666666666667e-05,
      "loss": 0.7444,
      "step": 41
    },
    {
      "epoch": 0.175,
      "grad_norm": 0.6711937521500816,
      "learning_rate": 1.4e-05,
      "loss": 0.681,
      "step": 42
    },
    {
      "epoch": 0.17916666666666667,
      "grad_norm": 0.593977893755728,
      "learning_rate": 1.4333333333333334e-05,
      "loss": 0.6917,
      "step": 43
    },
    {
      "epoch": 0.18333333333333332,
      "grad_norm": 0.5683636125066719,
      "learning_rate": 1.4666666666666666e-05,
      "loss": 0.6949,
      "step": 44
    },
    {
      "epoch": 0.1875,
      "grad_norm": 0.6547304924994687,
      "learning_rate": 1.5000000000000002e-05,
      "loss": 0.6754,
      "step": 45
    },
    {
      "epoch": 0.19166666666666668,
      "grad_norm": 0.7057244148349102,
      "learning_rate": 1.5333333333333334e-05,
      "loss": 0.6694,
      "step": 46
    },
    {
      "epoch": 0.19583333333333333,
      "grad_norm": 0.5428808928110224,
      "learning_rate": 1.5666666666666667e-05,
      "loss": 0.6691,
      "step": 47
    },
    {
      "epoch": 0.2,
      "grad_norm": 0.6611089292468514,
      "learning_rate": 1.6000000000000003e-05,
      "loss": 0.6866,
      "step": 48
    },
    {
      "epoch": 0.20416666666666666,
      "grad_norm": 0.6437372302287256,
      "learning_rate": 1.6333333333333335e-05,
      "loss": 0.6857,
      "step": 49
    },
    {
      "epoch": 0.20833333333333334,
      "grad_norm": 0.6242998695394557,
      "learning_rate": 1.6666666666666667e-05,
      "loss": 0.6718,
      "step": 50
    },
    {
      "epoch": 0.2125,
      "grad_norm": 0.6614584849659777,
      "learning_rate": 1.7e-05,
      "loss": 0.651,
      "step": 51
    },
    {
      "epoch": 0.21666666666666667,
      "grad_norm": 0.7075875910735387,
      "learning_rate": 1.7333333333333336e-05,
      "loss": 0.6701,
      "step": 52
    },
    {
      "epoch": 0.22083333333333333,
      "grad_norm": 0.7746688794934284,
      "learning_rate": 1.7666666666666668e-05,
      "loss": 0.6612,
      "step": 53
    },
    {
      "epoch": 0.225,
      "grad_norm": 0.6528458565370922,
      "learning_rate": 1.8e-05,
      "loss": 0.6612,
      "step": 54
    },
    {
      "epoch": 0.22916666666666666,
      "grad_norm": 0.8854520187882521,
      "learning_rate": 1.8333333333333333e-05,
      "loss": 0.6698,
      "step": 55
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 0.8249936321934339,
      "learning_rate": 1.866666666666667e-05,
      "loss": 0.6617,
      "step": 56
    },
    {
      "epoch": 0.2375,
      "grad_norm": 0.5756591220496925,
      "learning_rate": 1.9e-05,
      "loss": 0.6677,
      "step": 57
    },
    {
      "epoch": 0.24166666666666667,
      "grad_norm": 0.8391486543945865,
      "learning_rate": 1.9333333333333333e-05,
      "loss": 0.6706,
      "step": 58
    },
    {
      "epoch": 0.24583333333333332,
      "grad_norm": 0.62922500152976,
      "learning_rate": 1.9666666666666666e-05,
      "loss": 0.6566,
      "step": 59
    },
    {
      "epoch": 0.25,
      "grad_norm": 0.6497012856342578,
      "learning_rate": 2e-05,
      "loss": 0.6574,
      "step": 60
    },
    {
      "epoch": 0.25416666666666665,
      "grad_norm": 0.7545979639769097,
      "learning_rate": 2.0333333333333334e-05,
      "loss": 0.6621,
      "step": 61
    },
    {
      "epoch": 0.25833333333333336,
      "grad_norm": 0.8814596289446414,
      "learning_rate": 2.066666666666667e-05,
      "loss": 0.6586,
      "step": 62
    },
    {
      "epoch": 0.2625,
      "grad_norm": 0.7700986600044052,
      "learning_rate": 2.1000000000000002e-05,
      "loss": 0.658,
      "step": 63
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 0.9615923023054905,
      "learning_rate": 2.1333333333333335e-05,
      "loss": 0.6642,
      "step": 64
    },
    {
      "epoch": 0.2708333333333333,
      "grad_norm": 0.8182385944675528,
      "learning_rate": 2.1666666666666667e-05,
      "loss": 0.6381,
      "step": 65
    },
    {
      "epoch": 0.275,
      "grad_norm": 1.051267871370525,
      "learning_rate": 2.2000000000000003e-05,
      "loss": 0.6583,
      "step": 66
    },
    {
      "epoch": 0.2791666666666667,
      "grad_norm": 1.2421800485008891,
      "learning_rate": 2.2333333333333335e-05,
      "loss": 0.6542,
      "step": 67
    },
    {
      "epoch": 0.2833333333333333,
      "grad_norm": 0.6126955289728726,
      "learning_rate": 2.2666666666666668e-05,
      "loss": 0.6405,
      "step": 68
    },
    {
      "epoch": 0.2875,
      "grad_norm": 1.3065782386729479,
      "learning_rate": 2.3e-05,
      "loss": 0.6495,
      "step": 69
    },
    {
      "epoch": 0.2916666666666667,
      "grad_norm": 0.7369647940897622,
      "learning_rate": 2.3333333333333336e-05,
      "loss": 0.6528,
      "step": 70
    },
    {
      "epoch": 0.29583333333333334,
      "grad_norm": 1.0013990364301564,
      "learning_rate": 2.3666666666666668e-05,
      "loss": 0.6464,
      "step": 71
    },
    {
      "epoch": 0.3,
      "grad_norm": 0.7251342067519649,
      "learning_rate": 2.4e-05,
      "loss": 0.6532,
      "step": 72
    },
    {
      "epoch": 0.30416666666666664,
      "grad_norm": 0.8534756592984158,
      "learning_rate": 2.4333333333333333e-05,
      "loss": 0.6456,
      "step": 73
    },
    {
      "epoch": 0.30833333333333335,
      "grad_norm": 1.2829910855808402,
      "learning_rate": 2.466666666666667e-05,
      "loss": 0.6456,
      "step": 74
    },
    {
      "epoch": 0.3125,
      "grad_norm": 1.236903958770797,
      "learning_rate": 2.5e-05,
      "loss": 0.6513,
      "step": 75
    },
    {
      "epoch": 0.31666666666666665,
      "grad_norm": 0.5131185359463901,
      "learning_rate": 2.5333333333333334e-05,
      "loss": 0.6372,
      "step": 76
    },
    {
      "epoch": 0.32083333333333336,
      "grad_norm": 2.3385091984770368,
      "learning_rate": 2.566666666666667e-05,
      "loss": 0.6548,
      "step": 77
    },
    {
      "epoch": 0.325,
      "grad_norm": 0.8092584972470216,
      "learning_rate": 2.6000000000000002e-05,
      "loss": 0.6259,
      "step": 78
    },
    {
      "epoch": 0.32916666666666666,
      "grad_norm": 1.1480450227714387,
      "learning_rate": 2.6333333333333334e-05,
      "loss": 0.6471,
      "step": 79
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 1.3446863157735278,
      "learning_rate": 2.6666666666666667e-05,
      "loss": 0.6327,
      "step": 80
    },
    {
      "epoch": 0.3375,
      "grad_norm": 0.9457919638742119,
      "learning_rate": 2.7000000000000002e-05,
      "loss": 0.6384,
      "step": 81
    },
    {
      "epoch": 0.3416666666666667,
      "grad_norm": 1.3685610850125536,
      "learning_rate": 2.7333333333333335e-05,
      "loss": 0.6439,
      "step": 82
    },
    {
      "epoch": 0.3458333333333333,
      "grad_norm": 0.927016131784247,
      "learning_rate": 2.7666666666666667e-05,
      "loss": 0.6346,
      "step": 83
    },
    {
      "epoch": 0.35,
      "grad_norm": 1.7296485345201886,
      "learning_rate": 2.8e-05,
      "loss": 0.6144,
      "step": 84
    },
    {
      "epoch": 0.3541666666666667,
      "grad_norm": 1.1192559744753852,
      "learning_rate": 2.833333333333334e-05,
      "loss": 0.6345,
      "step": 85
    },
    {
      "epoch": 0.35833333333333334,
      "grad_norm": 1.9746537864549802,
      "learning_rate": 2.8666666666666668e-05,
      "loss": 0.6389,
      "step": 86
    },
    {
      "epoch": 0.3625,
      "grad_norm": 1.5806534536841268,
      "learning_rate": 2.9e-05,
      "loss": 0.6421,
      "step": 87
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 1.7605886971256688,
      "learning_rate": 2.9333333333333333e-05,
      "loss": 0.6361,
      "step": 88
    },
    {
      "epoch": 0.37083333333333335,
      "grad_norm": 1.6811946573872856,
      "learning_rate": 2.9666666666666672e-05,
      "loss": 0.6314,
      "step": 89
    },
    {
      "epoch": 0.375,
      "grad_norm": 1.3081097753931652,
      "learning_rate": 3.0000000000000004e-05,
      "loss": 0.6353,
      "step": 90
    },
    {
      "epoch": 0.37916666666666665,
      "grad_norm": 1.5049824569727834,
      "learning_rate": 3.0333333333333333e-05,
      "loss": 0.6317,
      "step": 91
    },
    {
      "epoch": 0.38333333333333336,
      "grad_norm": 1.3597412965849915,
      "learning_rate": 3.066666666666667e-05,
      "loss": 0.6308,
      "step": 92
    },
    {
      "epoch": 0.3875,
      "grad_norm": 1.1246511962005503,
      "learning_rate": 3.1e-05,
      "loss": 0.6301,
      "step": 93
    },
    {
      "epoch": 0.39166666666666666,
      "grad_norm": 1.3514034216556179,
      "learning_rate": 3.1333333333333334e-05,
      "loss": 0.6173,
      "step": 94
    },
    {
      "epoch": 0.3958333333333333,
      "grad_norm": 0.8233867898594832,
      "learning_rate": 3.1666666666666666e-05,
      "loss": 0.6374,
      "step": 95
    },
    {
      "epoch": 0.4,
      "grad_norm": 1.2477454499494327,
      "learning_rate": 3.2000000000000005e-05,
      "loss": 0.6276,
      "step": 96
    },
    {
      "epoch": 0.4041666666666667,
      "grad_norm": 1.6817621692909872,
      "learning_rate": 3.233333333333334e-05,
      "loss": 0.6266,
      "step": 97
    },
    {
      "epoch": 0.4083333333333333,
      "grad_norm": 0.9690166971983942,
      "learning_rate": 3.266666666666667e-05,
      "loss": 0.6115,
      "step": 98
    },
    {
      "epoch": 0.4125,
      "grad_norm": 2.056378981841651,
      "learning_rate": 3.3e-05,
      "loss": 0.6411,
      "step": 99
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 1.4524599154878437,
      "learning_rate": 3.3333333333333335e-05,
      "loss": 0.6296,
      "step": 100
    },
    {
      "epoch": 0.42083333333333334,
      "grad_norm": 1.7764216839712343,
      "learning_rate": 3.366666666666667e-05,
      "loss": 0.6306,
      "step": 101
    },
    {
      "epoch": 0.425,
      "grad_norm": 1.2833543049437115,
      "learning_rate": 3.4e-05,
      "loss": 0.6332,
      "step": 102
    },
    {
      "epoch": 0.42916666666666664,
      "grad_norm": 1.5878349617582599,
      "learning_rate": 3.433333333333333e-05,
      "loss": 0.6239,
      "step": 103
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 1.2599519265097134,
      "learning_rate": 3.466666666666667e-05,
      "loss": 0.6329,
      "step": 104
    },
    {
      "epoch": 0.4375,
      "grad_norm": 1.4043098221264916,
      "learning_rate": 3.5000000000000004e-05,
      "loss": 0.628,
      "step": 105
    },
    {
      "epoch": 0.44166666666666665,
      "grad_norm": 1.3695734550327043,
      "learning_rate": 3.5333333333333336e-05,
      "loss": 0.6242,
      "step": 106
    },
    {
      "epoch": 0.44583333333333336,
      "grad_norm": 1.8927604495720616,
      "learning_rate": 3.566666666666667e-05,
      "loss": 0.6293,
      "step": 107
    },
    {
      "epoch": 0.45,
      "grad_norm": 1.545056158668806,
      "learning_rate": 3.6e-05,
      "loss": 0.6314,
      "step": 108
    },
    {
      "epoch": 0.45416666666666666,
      "grad_norm": 1.3545906617804928,
      "learning_rate": 3.633333333333333e-05,
      "loss": 0.6141,
      "step": 109
    },
    {
      "epoch": 0.4583333333333333,
      "grad_norm": 1.2952086169381063,
      "learning_rate": 3.6666666666666666e-05,
      "loss": 0.6278,
      "step": 110
    },
    {
      "epoch": 0.4625,
      "grad_norm": 1.3901722627101962,
      "learning_rate": 3.7000000000000005e-05,
      "loss": 0.6282,
      "step": 111
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 1.3427286533742586,
      "learning_rate": 3.733333333333334e-05,
      "loss": 0.6462,
      "step": 112
    },
    {
      "epoch": 0.4708333333333333,
      "grad_norm": 1.346385132452033,
      "learning_rate": 3.766666666666667e-05,
      "loss": 0.6271,
      "step": 113
    },
    {
      "epoch": 0.475,
      "grad_norm": 0.7296460808724746,
      "learning_rate": 3.8e-05,
      "loss": 0.6216,
      "step": 114
    },
    {
      "epoch": 0.4791666666666667,
      "grad_norm": 1.3372849398246114,
      "learning_rate": 3.833333333333334e-05,
      "loss": 0.6232,
      "step": 115
    },
    {
      "epoch": 0.48333333333333334,
      "grad_norm": 1.1792019780697154,
      "learning_rate": 3.866666666666667e-05,
      "loss": 0.6221,
      "step": 116
    },
    {
      "epoch": 0.4875,
      "grad_norm": 0.9733165096843328,
      "learning_rate": 3.9e-05,
      "loss": 0.6091,
      "step": 117
    },
    {
      "epoch": 0.49166666666666664,
      "grad_norm": 3.070797337467993,
      "learning_rate": 3.933333333333333e-05,
      "loss": 0.6217,
      "step": 118
    },
    {
      "epoch": 0.49583333333333335,
      "grad_norm": 1.815790495636315,
      "learning_rate": 3.966666666666667e-05,
      "loss": 0.6359,
      "step": 119
    },
    {
      "epoch": 0.5,
      "grad_norm": 1.2390089256852326,
      "learning_rate": 4e-05,
      "loss": 0.6169,
      "step": 120
    },
    {
      "epoch": 0.5041666666666667,
      "grad_norm": 1.2315486946506111,
      "learning_rate": 3.999991538410973e-05,
      "loss": 0.6164,
      "step": 121
    },
    {
      "epoch": 0.5083333333333333,
      "grad_norm": 1.1701554198658328,
      "learning_rate": 3.999966153715489e-05,
      "loss": 0.6193,
      "step": 122
    },
    {
      "epoch": 0.5125,
      "grad_norm": 1.170132178403549,
      "learning_rate": 3.999923846128343e-05,
      "loss": 0.6262,
      "step": 123
    },
    {
      "epoch": 0.5166666666666667,
      "grad_norm": 0.924658478726418,
      "learning_rate": 3.999864616007525e-05,
      "loss": 0.6212,
      "step": 124
    },
    {
      "epoch": 0.5208333333333334,
      "grad_norm": 1.3858534997900562,
      "learning_rate": 3.999788463854215e-05,
      "loss": 0.6233,
      "step": 125
    },
    {
      "epoch": 0.525,
      "grad_norm": 1.2657158164721372,
      "learning_rate": 3.999695390312783e-05,
      "loss": 0.616,
      "step": 126
    },
    {
      "epoch": 0.5291666666666667,
      "grad_norm": 0.9216763016227539,
      "learning_rate": 3.999585396170777e-05,
      "loss": 0.614,
      "step": 127
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 0.8360006381611302,
      "learning_rate": 3.999458482358924e-05,
      "loss": 0.6153,
      "step": 128
    },
    {
      "epoch": 0.5375,
      "grad_norm": 0.7839786158921856,
      "learning_rate": 3.9993146499511146e-05,
      "loss": 0.6009,
      "step": 129
    },
    {
      "epoch": 0.5416666666666666,
      "grad_norm": 0.844641037367548,
      "learning_rate": 3.9991539001644015e-05,
      "loss": 0.6212,
      "step": 130
    },
    {
      "epoch": 0.5458333333333333,
      "grad_norm": 1.0382957024566257,
      "learning_rate": 3.998976234358982e-05,
      "loss": 0.5999,
      "step": 131
    },
    {
      "epoch": 0.55,
      "grad_norm": 1.6242521962961614,
      "learning_rate": 3.998781654038192e-05,
      "loss": 0.6096,
      "step": 132
    },
    {
      "epoch": 0.5541666666666667,
      "grad_norm": 0.757093292258469,
      "learning_rate": 3.9985701608484896e-05,
      "loss": 0.5941,
      "step": 133
    },
    {
      "epoch": 0.5583333333333333,
      "grad_norm": 1.320612616681096,
      "learning_rate": 3.998341756579443e-05,
      "loss": 0.6203,
      "step": 134
    },
    {
      "epoch": 0.5625,
      "grad_norm": 1.0193798832099399,
      "learning_rate": 3.998096443163716e-05,
      "loss": 0.5934,
      "step": 135
    },
    {
      "epoch": 0.5666666666666667,
      "grad_norm": 1.2908818567365226,
      "learning_rate": 3.99783422267705e-05,
      "loss": 0.6207,
      "step": 136
    },
    {
      "epoch": 0.5708333333333333,
      "grad_norm": 0.8168141068726303,
      "learning_rate": 3.9975550973382454e-05,
      "loss": 0.6041,
      "step": 137
    },
    {
      "epoch": 0.575,
      "grad_norm": 1.226295133247973,
      "learning_rate": 3.9972590695091476e-05,
      "loss": 0.6185,
      "step": 138
    },
    {
      "epoch": 0.5791666666666667,
      "grad_norm": 0.8072529028243578,
      "learning_rate": 3.9969461416946226e-05,
      "loss": 0.6129,
      "step": 139
    },
    {
      "epoch": 0.5833333333333334,
      "grad_norm": 0.9164338574256401,
      "learning_rate": 3.996616316542537e-05,
      "loss": 0.6096,
      "step": 140
    },
    {
      "epoch": 0.5875,
      "grad_norm": 0.6469959513500211,
      "learning_rate": 3.996269596843734e-05,
      "loss": 0.6054,
      "step": 141
    },
    {
      "epoch": 0.5916666666666667,
      "grad_norm": 0.7039330048055549,
      "learning_rate": 3.995905985532015e-05,
      "loss": 0.6099,
      "step": 142
    },
    {
      "epoch": 0.5958333333333333,
      "grad_norm": 2.860385292654008,
      "learning_rate": 3.995525485684109e-05,
      "loss": 0.6421,
      "step": 143
    },
    {
      "epoch": 0.6,
      "grad_norm": 1.29306335703376,
      "learning_rate": 3.9951281005196486e-05,
      "loss": 0.6136,
      "step": 144
    },
    {
      "epoch": 0.6041666666666666,
      "grad_norm": 1.0424569923889895,
      "learning_rate": 3.994713833401145e-05,
      "loss": 0.61,
      "step": 145
    },
    {
      "epoch": 0.6083333333333333,
      "grad_norm": 0.8181795724051063,
      "learning_rate": 3.9942826878339554e-05,
      "loss": 0.6207,
      "step": 146
    },
    {
      "epoch": 0.6125,
      "grad_norm": 0.9973579708540373,
      "learning_rate": 3.9938346674662565e-05,
      "loss": 0.6077,
      "step": 147
    },
    {
      "epoch": 0.6166666666666667,
      "grad_norm": 0.9616324528943014,
      "learning_rate": 3.993369776089012e-05,
      "loss": 0.5942,
      "step": 148
    },
    {
      "epoch": 0.6208333333333333,
      "grad_norm": 0.7398130298674523,
      "learning_rate": 3.992888017635944e-05,
      "loss": 0.603,
      "step": 149
    },
    {
      "epoch": 0.625,
      "grad_norm": 1.0467599824887701,
      "learning_rate": 3.9923893961834914e-05,
      "loss": 0.6195,
      "step": 150
    },
    {
      "epoch": 0.6291666666666667,
      "grad_norm": 0.6645550535908764,
      "learning_rate": 3.991873915950786e-05,
      "loss": 0.6009,
      "step": 151
    },
    {
      "epoch": 0.6333333333333333,
      "grad_norm": 0.9702680008326658,
      "learning_rate": 3.991341581299609e-05,
      "loss": 0.6069,
      "step": 152
    },
    {
      "epoch": 0.6375,
      "grad_norm": 0.8185881298517128,
      "learning_rate": 3.9907923967343583e-05,
      "loss": 0.5993,
      "step": 153
    },
    {
      "epoch": 0.6416666666666667,
      "grad_norm": 0.8221931733724522,
      "learning_rate": 3.990226366902007e-05,
      "loss": 0.6061,
      "step": 154
    },
    {
      "epoch": 0.6458333333333334,
      "grad_norm": 0.9078682479987112,
      "learning_rate": 3.989643496592067e-05,
      "loss": 0.6047,
      "step": 155
    },
    {
      "epoch": 0.65,
      "grad_norm": 0.9292043332159131,
      "learning_rate": 3.989043790736547e-05,
      "loss": 0.6163,
      "step": 156
    },
    {
      "epoch": 0.6541666666666667,
      "grad_norm": 0.6420744015708145,
      "learning_rate": 3.9884272544099126e-05,
      "loss": 0.6064,
      "step": 157
    },
    {
      "epoch": 0.6583333333333333,
      "grad_norm": 0.9300016754772198,
      "learning_rate": 3.98779389282904e-05,
      "loss": 0.61,
      "step": 158
    },
    {
      "epoch": 0.6625,
      "grad_norm": 0.7116085686707454,
      "learning_rate": 3.9871437113531757e-05,
      "loss": 0.6001,
      "step": 159
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 0.6506607966868728,
      "learning_rate": 3.9864767154838864e-05,
      "loss": 0.6013,
      "step": 160
    },
    {
      "epoch": 0.6708333333333333,
      "grad_norm": 0.5244776504731719,
      "learning_rate": 3.9857929108650186e-05,
      "loss": 0.6115,
      "step": 161
    },
    {
      "epoch": 0.675,
      "grad_norm": 0.5265289462591022,
      "learning_rate": 3.985092303282645e-05,
      "loss": 0.5974,
      "step": 162
    },
    {
      "epoch": 0.6791666666666667,
      "grad_norm": 0.6913443137294888,
      "learning_rate": 3.9843748986650185e-05,
      "loss": 0.6027,
      "step": 163
    },
    {
      "epoch": 0.6833333333333333,
      "grad_norm": 0.8952111006978029,
      "learning_rate": 3.983640703082523e-05,
      "loss": 0.6093,
      "step": 164
    },
    {
      "epoch": 0.6875,
      "grad_norm": 0.8808092276456894,
      "learning_rate": 3.982889722747621e-05,
      "loss": 0.604,
      "step": 165
    },
    {
      "epoch": 0.6916666666666667,
      "grad_norm": 1.0124872467980413,
      "learning_rate": 3.982121964014797e-05,
      "loss": 0.6017,
      "step": 166
    },
    {
      "epoch": 0.6958333333333333,
      "grad_norm": 1.0141756140919487,
      "learning_rate": 3.981337433380512e-05,
      "loss": 0.6043,
      "step": 167
    },
    {
      "epoch": 0.7,
      "grad_norm": 0.7940035583599523,
      "learning_rate": 3.980536137483141e-05,
      "loss": 0.603,
      "step": 168
    },
    {
      "epoch": 0.7041666666666667,
      "grad_norm": 0.6815397720273677,
      "learning_rate": 3.97971808310292e-05,
      "loss": 0.6033,
      "step": 169
    },
    {
      "epoch": 0.7083333333333334,
      "grad_norm": 0.5692713098104114,
      "learning_rate": 3.978883277161889e-05,
      "loss": 0.6129,
      "step": 170
    },
    {
      "epoch": 0.7125,
      "grad_norm": 0.8949397237934722,
      "learning_rate": 3.978031726723834e-05,
      "loss": 0.602,
      "step": 171
    },
    {
      "epoch": 0.7166666666666667,
      "grad_norm": 0.8439068707146551,
      "learning_rate": 3.977163438994223e-05,
      "loss": 0.6022,
      "step": 172
    },
    {
      "epoch": 0.7208333333333333,
      "grad_norm": 0.6537749129209305,
      "learning_rate": 3.976278421320152e-05,
      "loss": 0.6046,
      "step": 173
    },
    {
      "epoch": 0.725,
      "grad_norm": 0.5719443319621762,
      "learning_rate": 3.9753766811902756e-05,
      "loss": 0.5952,
      "step": 174
    },
    {
      "epoch": 0.7291666666666666,
      "grad_norm": 0.5335331999127876,
      "learning_rate": 3.9744582262347486e-05,
      "loss": 0.5924,
      "step": 175
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 0.5315711772829829,
      "learning_rate": 3.973523064225159e-05,
      "loss": 0.6038,
      "step": 176
    },
    {
      "epoch": 0.7375,
      "grad_norm": 5.833689240074311,
      "learning_rate": 3.972571203074463e-05,
      "loss": 0.6138,
      "step": 177
    },
    {
      "epoch": 0.7416666666666667,
      "grad_norm": 1.1180970011488844,
      "learning_rate": 3.9716026508369193e-05,
      "loss": 0.6115,
      "step": 178
    },
    {
      "epoch": 0.7458333333333333,
      "grad_norm": 1.6810215498208934,
      "learning_rate": 3.970617415708019e-05,
      "loss": 0.5983,
      "step": 179
    },
    {
      "epoch": 0.75,
      "grad_norm": 0.7611713210374506,
      "learning_rate": 3.9696155060244166e-05,
      "loss": 0.6102,
      "step": 180
    },
    {
      "epoch": 0.7541666666666667,
      "grad_norm": 2.0108424942557246,
      "learning_rate": 3.96859693026386e-05,
      "loss": 0.6058,
      "step": 181
    },
    {
      "epoch": 0.7583333333333333,
      "grad_norm": 1.2496496213454418,
      "learning_rate": 3.967561697045118e-05,
      "loss": 0.6251,
      "step": 182
    },
    {
      "epoch": 0.7625,
      "grad_norm": 2.2604311300328663,
      "learning_rate": 3.96650981512791e-05,
      "loss": 0.6186,
      "step": 183
    },
    {
      "epoch": 0.7666666666666667,
      "grad_norm": 1.9309829509381906,
      "learning_rate": 3.965441293412827e-05,
      "loss": 0.6222,
      "step": 184
    },
    {
      "epoch": 0.7708333333333334,
      "grad_norm": 1.5275380908225737,
      "learning_rate": 3.964356140941262e-05,
      "loss": 0.6142,
      "step": 185
    },
    {
      "epoch": 0.775,
      "grad_norm": 1.6402801417918575,
      "learning_rate": 3.9632543668953284e-05,
      "loss": 0.6074,
      "step": 186
    },
    {
      "epoch": 0.7791666666666667,
      "grad_norm": 1.4018197992605743,
      "learning_rate": 3.962135980597786e-05,
      "loss": 0.6092,
      "step": 187
    },
    {
      "epoch": 0.7833333333333333,
      "grad_norm": 1.57474479862592,
      "learning_rate": 3.961000991511959e-05,
      "loss": 0.5987,
      "step": 188
    },
    {
      "epoch": 0.7875,
      "grad_norm": 0.9332683903563855,
      "learning_rate": 3.9598494092416594e-05,
      "loss": 0.6006,
      "step": 189
    },
    {
      "epoch": 0.7916666666666666,
      "grad_norm": 6.4262698284657285,
      "learning_rate": 3.958681243531103e-05,
      "loss": 0.6427,
      "step": 190
    },
    {
      "epoch": 0.7958333333333333,
      "grad_norm": 2.031731227747491,
      "learning_rate": 3.957496504264828e-05,
      "loss": 0.6164,
      "step": 191
    },
    {
      "epoch": 0.8,
      "grad_norm": 1.0255549765691543,
      "learning_rate": 3.9562952014676116e-05,
      "loss": 0.5982,
      "step": 192
    },
    {
      "epoch": 0.8041666666666667,
      "grad_norm": 1.7950123558844988,
      "learning_rate": 3.955077345304383e-05,
      "loss": 0.6145,
      "step": 193
    },
    {
      "epoch": 0.8083333333333333,
      "grad_norm": 1.6661107778405753,
      "learning_rate": 3.953842946080142e-05,
      "loss": 0.6139,
      "step": 194
    },
    {
      "epoch": 0.8125,
      "grad_norm": 1.255537604337782,
      "learning_rate": 3.952592014239867e-05,
      "loss": 0.6156,
      "step": 195
    },
    {
      "epoch": 0.8166666666666667,
      "grad_norm": 1.0157832236691309,
      "learning_rate": 3.951324560368429e-05,
      "loss": 0.6147,
      "step": 196
    },
    {
      "epoch": 0.8208333333333333,
      "grad_norm": 1.0705014177371002,
      "learning_rate": 3.950040595190502e-05,
      "loss": 0.6109,
      "step": 197
    },
    {
      "epoch": 0.825,
      "grad_norm": 0.8720346538745792,
      "learning_rate": 3.948740129570471e-05,
      "loss": 0.604,
      "step": 198
    },
    {
      "epoch": 0.8291666666666667,
      "grad_norm": 0.9108778498246244,
      "learning_rate": 3.9474231745123425e-05,
      "loss": 0.5978,
      "step": 199
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 0.6858303735878576,
      "learning_rate": 3.946089741159648e-05,
      "loss": 0.6025,
      "step": 200
    },
    {
      "epoch": 0.8375,
      "grad_norm": 0.8093276888050045,
      "learning_rate": 3.9447398407953536e-05,
      "loss": 0.6052,
      "step": 201
    },
    {
      "epoch": 0.8416666666666667,
      "grad_norm": 0.5387365454899715,
      "learning_rate": 3.943373484841761e-05,
      "loss": 0.5951,
      "step": 202
    },
    {
      "epoch": 0.8458333333333333,
      "grad_norm": 0.6523938284137194,
      "learning_rate": 3.941990684860412e-05,
      "loss": 0.5983,
      "step": 203
    },
    {
      "epoch": 0.85,
      "grad_norm": 0.5930411495149569,
      "learning_rate": 3.940591452551993e-05,
      "loss": 0.6085,
      "step": 204
    },
    {
      "epoch": 0.8541666666666666,
      "grad_norm": 0.6501507887091976,
      "learning_rate": 3.9391757997562323e-05,
      "loss": 0.591,
      "step": 205
    },
    {
      "epoch": 0.8583333333333333,
      "grad_norm": 0.6330658290793114,
      "learning_rate": 3.9377437384518014e-05,
      "loss": 0.5937,
      "step": 206
    },
    {
      "epoch": 0.8625,
      "grad_norm": 0.6849294359909535,
      "learning_rate": 3.936295280756216e-05,
      "loss": 0.6022,
      "step": 207
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 0.9148446915969376,
      "learning_rate": 3.934830438925728e-05,
      "loss": 0.6108,
      "step": 208
    },
    {
      "epoch": 0.8708333333333333,
      "grad_norm": 0.5414127308524658,
      "learning_rate": 3.933349225355228e-05,
      "loss": 0.5914,
      "step": 209
    },
    {
      "epoch": 0.875,
      "grad_norm": 0.6807208332138882,
      "learning_rate": 3.931851652578137e-05,
      "loss": 0.5779,
      "step": 210
    },
    {
      "epoch": 0.8791666666666667,
      "grad_norm": 0.5116956086012243,
      "learning_rate": 3.930337733266299e-05,
      "loss": 0.5859,
      "step": 211
    },
    {
      "epoch": 0.8833333333333333,
      "grad_norm": 0.6464602536360001,
      "learning_rate": 3.928807480229878e-05,
      "loss": 0.5968,
      "step": 212
    },
    {
      "epoch": 0.8875,
      "grad_norm": 0.5445816251083418,
      "learning_rate": 3.927260906417246e-05,
      "loss": 0.5865,
      "step": 213
    },
    {
      "epoch": 0.8916666666666667,
      "grad_norm": 0.5331557945158678,
      "learning_rate": 3.925698024914876e-05,
      "loss": 0.5919,
      "step": 214
    },
    {
      "epoch": 0.8958333333333334,
      "grad_norm": 0.4500416131513844,
      "learning_rate": 3.9241188489472266e-05,
      "loss": 0.6017,
      "step": 215
    },
    {
      "epoch": 0.9,
      "grad_norm": 0.5131283210508815,
      "learning_rate": 3.922523391876638e-05,
      "loss": 0.5913,
      "step": 216
    },
    {
      "epoch": 0.9041666666666667,
      "grad_norm": 0.434716603766219,
      "learning_rate": 3.920911667203211e-05,
      "loss": 0.6077,
      "step": 217
    },
    {
      "epoch": 0.9083333333333333,
      "grad_norm": 0.5173179366442318,
      "learning_rate": 3.919283688564699e-05,
      "loss": 0.5913,
      "step": 218
    },
    {
      "epoch": 0.9125,
      "grad_norm": 0.4041240210095621,
      "learning_rate": 3.917639469736386e-05,
      "loss": 0.589,
      "step": 219
    },
    {
      "epoch": 0.9166666666666666,
      "grad_norm": 0.39317734578321195,
      "learning_rate": 3.915979024630978e-05,
      "loss": 0.582,
      "step": 220
    },
    {
      "epoch": 0.9208333333333333,
      "grad_norm": 0.45574417962886826,
      "learning_rate": 3.914302367298478e-05,
      "loss": 0.5905,
      "step": 221
    },
    {
      "epoch": 0.925,
      "grad_norm": 0.46494202536514745,
      "learning_rate": 3.912609511926071e-05,
      "loss": 0.6087,
      "step": 222
    },
    {
      "epoch": 0.9291666666666667,
      "grad_norm": 0.34877093481702964,
      "learning_rate": 3.910900472838004e-05,
      "loss": 0.5858,
      "step": 223
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 0.4465679019806231,
      "learning_rate": 3.909175264495464e-05,
      "loss": 0.601,
      "step": 224
    },
    {
      "epoch": 0.9375,
      "grad_norm": 0.4484295111435038,
      "learning_rate": 3.907433901496454e-05,
      "loss": 0.5961,
      "step": 225
    },
    {
      "epoch": 0.9416666666666667,
      "grad_norm": 0.3737784566652126,
      "learning_rate": 3.9056763985756724e-05,
      "loss": 0.5832,
      "step": 226
    },
    {
      "epoch": 0.9458333333333333,
      "grad_norm": 0.5549965681657777,
      "learning_rate": 3.903902770604386e-05,
      "loss": 0.5935,
      "step": 227
    },
    {
      "epoch": 0.95,
      "grad_norm": 0.39219086903022765,
      "learning_rate": 3.9021130325903076e-05,
      "loss": 0.5871,
      "step": 228
    },
    {
      "epoch": 0.9541666666666667,
      "grad_norm": 0.4326134130395831,
      "learning_rate": 3.900307199677462e-05,
      "loss": 0.5869,
      "step": 229
    },
    {
      "epoch": 0.9583333333333334,
      "grad_norm": 0.3878340710100633,
      "learning_rate": 3.898485287146068e-05,
      "loss": 0.5792,
      "step": 230
    },
    {
      "epoch": 0.9625,
      "grad_norm": 0.491588750881979,
      "learning_rate": 3.896647310412399e-05,
      "loss": 0.5875,
      "step": 231
    },
    {
      "epoch": 0.9666666666666667,
      "grad_norm": 0.47167566982740994,
      "learning_rate": 3.8947932850286585e-05,
      "loss": 0.5884,
      "step": 232
    },
    {
      "epoch": 0.9708333333333333,
      "grad_norm": 0.40037721633670603,
      "learning_rate": 3.892923226682849e-05,
      "loss": 0.5829,
      "step": 233
    },
    {
      "epoch": 0.975,
      "grad_norm": 0.45656296290139076,
      "learning_rate": 3.891037151198634e-05,
      "loss": 0.5735,
      "step": 234
    },
    {
      "epoch": 0.9791666666666666,
      "grad_norm": 0.4209143206597181,
      "learning_rate": 3.88913507453521e-05,
      "loss": 0.5798,
      "step": 235
    },
    {
      "epoch": 0.9833333333333333,
      "grad_norm": 0.4440792761438726,
      "learning_rate": 3.887217012787167e-05,
      "loss": 0.5786,
      "step": 236
    },
    {
      "epoch": 0.9875,
      "grad_norm": 0.4053025555601259,
      "learning_rate": 3.885282982184357e-05,
      "loss": 0.591,
      "step": 237
    },
    {
      "epoch": 0.9916666666666667,
      "grad_norm": 0.4480467695908802,
      "learning_rate": 3.883332999091751e-05,
      "loss": 0.582,
      "step": 238
    },
    {
      "epoch": 0.9958333333333333,
      "grad_norm": 0.38550322094656303,
      "learning_rate": 3.8813670800093046e-05,
      "loss": 0.5841,
      "step": 239
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.3452238821589659,
      "learning_rate": 3.879385241571817e-05,
      "loss": 0.5872,
      "step": 240
    },
    {
      "epoch": 1.0041666666666667,
      "grad_norm": 0.4406010955303967,
      "learning_rate": 3.877387500548791e-05,
      "loss": 0.5473,
      "step": 241
    },
    {
      "epoch": 1.0083333333333333,
      "grad_norm": 0.4196619562165898,
      "learning_rate": 3.87537387384429e-05,
      "loss": 0.5601,
      "step": 242
    },
    {
      "epoch": 1.0125,
      "grad_norm": 0.4781544548132093,
      "learning_rate": 3.873344378496795e-05,
      "loss": 0.543,
      "step": 243
    },
    {
      "epoch": 1.0166666666666666,
      "grad_norm": 0.5015649231577988,
      "learning_rate": 3.8712990316790633e-05,
      "loss": 0.548,
      "step": 244
    },
    {
      "epoch": 1.0208333333333333,
      "grad_norm": 0.45896771388250757,
      "learning_rate": 3.8692378506979775e-05,
      "loss": 0.5424,
      "step": 245
    },
    {
      "epoch": 1.025,
      "grad_norm": 0.46992886856713934,
      "learning_rate": 3.8671608529944035e-05,
      "loss": 0.5459,
      "step": 246
    },
    {
      "epoch": 1.0291666666666666,
      "grad_norm": 0.475481875853481,
      "learning_rate": 3.8650680561430444e-05,
      "loss": 0.5367,
      "step": 247
    },
    {
      "epoch": 1.0333333333333334,
      "grad_norm": 0.38513999120173803,
      "learning_rate": 3.862959477852285e-05,
      "loss": 0.5559,
      "step": 248
    },
    {
      "epoch": 1.0375,
      "grad_norm": 0.42911051850784293,
      "learning_rate": 3.860835135964049e-05,
      "loss": 0.5328,
      "step": 249
    },
    {
      "epoch": 1.0416666666666667,
      "grad_norm": 0.38439411540736046,
      "learning_rate": 3.858695048453645e-05,
      "loss": 0.5365,
      "step": 250
    },
    {
      "epoch": 1.0458333333333334,
      "grad_norm": 0.4556082309066422,
      "learning_rate": 3.8565392334296135e-05,
      "loss": 0.5463,
      "step": 251
    },
    {
      "epoch": 1.05,
      "grad_norm": 0.37563339606917695,
      "learning_rate": 3.854367709133575e-05,
      "loss": 0.5442,
      "step": 252
    },
    {
      "epoch": 1.0541666666666667,
      "grad_norm": 0.42796480491292316,
      "learning_rate": 3.852180493940076e-05,
      "loss": 0.5323,
      "step": 253
    },
    {
      "epoch": 1.0583333333333333,
      "grad_norm": 0.45795521696408836,
      "learning_rate": 3.849977606356432e-05,
      "loss": 0.5545,
      "step": 254
    },
    {
      "epoch": 1.0625,
      "grad_norm": 0.5434892586255291,
      "learning_rate": 3.8477590650225735e-05,
      "loss": 0.5475,
      "step": 255
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 0.5281205108015046,
      "learning_rate": 3.845524888710885e-05,
      "loss": 0.5305,
      "step": 256
    },
    {
      "epoch": 1.0708333333333333,
      "grad_norm": 0.4370969266096491,
      "learning_rate": 3.843275096326048e-05,
      "loss": 0.5573,
      "step": 257
    },
    {
      "epoch": 1.075,
      "grad_norm": 0.5780691860713271,
      "learning_rate": 3.841009706904881e-05,
      "loss": 0.5487,
      "step": 258
    },
    {
      "epoch": 1.0791666666666666,
      "grad_norm": 0.6207487195598114,
      "learning_rate": 3.8387287396161784e-05,
      "loss": 0.5353,
      "step": 259
    },
    {
      "epoch": 1.0833333333333333,
      "grad_norm": 0.431876399456736,
      "learning_rate": 3.8364322137605484e-05,
      "loss": 0.5397,
      "step": 260
    },
    {
      "epoch": 1.0875,
      "grad_norm": 0.5804160168692262,
      "learning_rate": 3.834120148770248e-05,
      "loss": 0.532,
      "step": 261
    },
    {
      "epoch": 1.0916666666666666,
      "grad_norm": 0.6680196534577321,
      "learning_rate": 3.8317925642090225e-05,
      "loss": 0.5473,
      "step": 262
    },
    {
      "epoch": 1.0958333333333334,
      "grad_norm": 0.5454194856383294,
      "learning_rate": 3.829449479771935e-05,
      "loss": 0.5567,
      "step": 263
    },
    {
      "epoch": 1.1,
      "grad_norm": 0.40571905557902443,
      "learning_rate": 3.827090915285202e-05,
      "loss": 0.5544,
      "step": 264
    },
    {
      "epoch": 1.1041666666666667,
      "grad_norm": 0.5235345680353714,
      "learning_rate": 3.824716890706029e-05,
      "loss": 0.5444,
      "step": 265
    },
    {
      "epoch": 1.1083333333333334,
      "grad_norm": 0.5700836568044627,
      "learning_rate": 3.8223274261224344e-05,
      "loss": 0.5453,
      "step": 266
    },
    {
      "epoch": 1.1125,
      "grad_norm": 0.4188022120925585,
      "learning_rate": 3.8199225417530865e-05,
      "loss": 0.5414,
      "step": 267
    },
    {
      "epoch": 1.1166666666666667,
      "grad_norm": 0.7690176283666269,
      "learning_rate": 3.817502257947129e-05,
      "loss": 0.556,
      "step": 268
    },
    {
      "epoch": 1.1208333333333333,
      "grad_norm": 0.5572958616235794,
      "learning_rate": 3.815066595184007e-05,
      "loss": 0.5428,
      "step": 269
    },
    {
      "epoch": 1.125,
      "grad_norm": 0.391475640768384,
      "learning_rate": 3.812615574073301e-05,
      "loss": 0.5432,
      "step": 270
    },
    {
      "epoch": 1.1291666666666667,
      "grad_norm": 0.5234766948965066,
      "learning_rate": 3.81014921535454e-05,
      "loss": 0.5349,
      "step": 271
    },
    {
      "epoch": 1.1333333333333333,
      "grad_norm": 0.4394439696375235,
      "learning_rate": 3.807667539897041e-05,
      "loss": 0.5453,
      "step": 272
    },
    {
      "epoch": 1.1375,
      "grad_norm": 0.4285560305810143,
      "learning_rate": 3.805170568699722e-05,
      "loss": 0.5395,
      "step": 273
    },
    {
      "epoch": 1.1416666666666666,
      "grad_norm": 0.4359544909786749,
      "learning_rate": 3.8026583228909244e-05,
      "loss": 0.5534,
      "step": 274
    },
    {
      "epoch": 1.1458333333333333,
      "grad_norm": 0.4300470633162109,
      "learning_rate": 3.800130823728242e-05,
      "loss": 0.55,
      "step": 275
    },
    {
      "epoch": 1.15,
      "grad_norm": 0.3912020945403841,
      "learning_rate": 3.7975880925983345e-05,
      "loss": 0.5348,
      "step": 276
    },
    {
      "epoch": 1.1541666666666668,
      "grad_norm": 0.4788065319423428,
      "learning_rate": 3.795030151016746e-05,
      "loss": 0.5193,
      "step": 277
    },
    {
      "epoch": 1.1583333333333332,
      "grad_norm": 0.5122579098660471,
      "learning_rate": 3.7924570206277274e-05,
      "loss": 0.54,
      "step": 278
    },
    {
      "epoch": 1.1625,
      "grad_norm": 0.3892443444552306,
      "learning_rate": 3.78986872320405e-05,
      "loss": 0.5562,
      "step": 279
    },
    {
      "epoch": 1.1666666666666667,
      "grad_norm": 0.3757068038324186,
      "learning_rate": 3.787265280646825e-05,
      "loss": 0.5475,
      "step": 280
    },
    {
      "epoch": 1.1708333333333334,
      "grad_norm": 0.4002637376745568,
      "learning_rate": 3.784646714985311e-05,
      "loss": 0.5446,
      "step": 281
    },
    {
      "epoch": 1.175,
      "grad_norm": 0.6434613018830029,
      "learning_rate": 3.782013048376736e-05,
      "loss": 0.5423,
      "step": 282
    },
    {
      "epoch": 1.1791666666666667,
      "grad_norm": 0.4802579423585243,
      "learning_rate": 3.779364303106104e-05,
      "loss": 0.5551,
      "step": 283
    },
    {
      "epoch": 1.1833333333333333,
      "grad_norm": 0.34320293525448575,
      "learning_rate": 3.776700501586009e-05,
      "loss": 0.5371,
      "step": 284
    },
    {
      "epoch": 1.1875,
      "grad_norm": 0.37243144250715815,
      "learning_rate": 3.774021666356444e-05,
      "loss": 0.5441,
      "step": 285
    },
    {
      "epoch": 1.1916666666666667,
      "grad_norm": 0.47943818705729785,
      "learning_rate": 3.7713278200846125e-05,
      "loss": 0.553,
      "step": 286
    },
    {
      "epoch": 1.1958333333333333,
      "grad_norm": 0.48019468557764794,
      "learning_rate": 3.768618985564734e-05,
      "loss": 0.5364,
      "step": 287
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.3737355351361219,
      "learning_rate": 3.7658951857178544e-05,
      "loss": 0.5381,
      "step": 288
    },
    {
      "epoch": 1.2041666666666666,
      "grad_norm": 0.4316833796281385,
      "learning_rate": 3.763156443591647e-05,
      "loss": 0.5526,
      "step": 289
    },
    {
      "epoch": 1.2083333333333333,
      "grad_norm": 0.5367694193809566,
      "learning_rate": 3.760402782360222e-05,
      "loss": 0.5402,
      "step": 290
    },
    {
      "epoch": 1.2125,
      "grad_norm": 0.5054159315871245,
      "learning_rate": 3.757634225323931e-05,
      "loss": 0.5447,
      "step": 291
    },
    {
      "epoch": 1.2166666666666668,
      "grad_norm": 0.37465922664626905,
      "learning_rate": 3.754850795909164e-05,
      "loss": 0.5464,
      "step": 292
    },
    {
      "epoch": 1.2208333333333332,
      "grad_norm": 0.4667280578857415,
      "learning_rate": 3.7520525176681575e-05,
      "loss": 0.5443,
      "step": 293
    },
    {
      "epoch": 1.225,
      "grad_norm": 0.41038515137599035,
      "learning_rate": 3.749239414278792e-05,
      "loss": 0.5391,
      "step": 294
    },
    {
      "epoch": 1.2291666666666667,
      "grad_norm": 0.4872872931948412,
      "learning_rate": 3.7464115095443924e-05,
      "loss": 0.5498,
      "step": 295
    },
    {
      "epoch": 1.2333333333333334,
      "grad_norm": 0.3714350455253727,
      "learning_rate": 3.743568827393525e-05,
      "loss": 0.5438,
      "step": 296
    },
    {
      "epoch": 1.2375,
      "grad_norm": 0.5352847539446225,
      "learning_rate": 3.7407113918797995e-05,
      "loss": 0.5554,
      "step": 297
    },
    {
      "epoch": 1.2416666666666667,
      "grad_norm": 0.37054802860531405,
      "learning_rate": 3.7378392271816606e-05,
      "loss": 0.5335,
      "step": 298
    },
    {
      "epoch": 1.2458333333333333,
      "grad_norm": 0.48597193778007786,
      "learning_rate": 3.734952357602185e-05,
      "loss": 0.5437,
      "step": 299
    },
    {
      "epoch": 1.25,
      "grad_norm": 0.38678763041126857,
      "learning_rate": 3.732050807568878e-05,
      "loss": 0.5462,
      "step": 300
    },
    {
      "epoch": 1.2541666666666667,
      "grad_norm": 0.3876114600715386,
      "learning_rate": 3.7291346016334616e-05,
      "loss": 0.5418,
      "step": 301
    },
    {
      "epoch": 1.2583333333333333,
      "grad_norm": 0.40139068236775927,
      "learning_rate": 3.726203764471673e-05,
      "loss": 0.5476,
      "step": 302
    },
    {
      "epoch": 1.2625,
      "grad_norm": 0.39993072044779654,
      "learning_rate": 3.723258320883052e-05,
      "loss": 0.5476,
      "step": 303
    },
    {
      "epoch": 1.2666666666666666,
      "grad_norm": 0.4777404763468545,
      "learning_rate": 3.720298295790732e-05,
      "loss": 0.5369,
      "step": 304
    },
    {
      "epoch": 1.2708333333333333,
      "grad_norm": 0.3836987377047922,
      "learning_rate": 3.7173237142412266e-05,
      "loss": 0.5294,
      "step": 305
    },
    {
      "epoch": 1.275,
      "grad_norm": 0.3874760875383913,
      "learning_rate": 3.714334601404225e-05,
      "loss": 0.5475,
      "step": 306
    },
    {
      "epoch": 1.2791666666666668,
      "grad_norm": 0.4939800332038625,
      "learning_rate": 3.7113309825723706e-05,
      "loss": 0.5477,
      "step": 307
    },
    {
      "epoch": 1.2833333333333332,
      "grad_norm": 0.5384604306792786,
      "learning_rate": 3.708312883161052e-05,
      "loss": 0.5476,
      "step": 308
    },
    {
      "epoch": 1.2875,
      "grad_norm": 0.38400202597605726,
      "learning_rate": 3.705280328708185e-05,
      "loss": 0.5388,
      "step": 309
    },
    {
      "epoch": 1.2916666666666667,
      "grad_norm": 0.7635101023152292,
      "learning_rate": 3.702233344873999e-05,
      "loss": 0.5441,
      "step": 310
    },
    {
      "epoch": 1.2958333333333334,
      "grad_norm": 0.4749517009016558,
      "learning_rate": 3.6991719574408216e-05,
      "loss": 0.5457,
      "step": 311
    },
    {
      "epoch": 1.3,
      "grad_norm": 0.6186036408886622,
      "learning_rate": 3.696096192312852e-05,
      "loss": 0.5336,
      "step": 312
    },
    {
      "epoch": 1.3041666666666667,
      "grad_norm": 0.6039600691439416,
      "learning_rate": 3.693006075515952e-05,
      "loss": 0.5457,
      "step": 313
    },
    {
      "epoch": 1.3083333333333333,
      "grad_norm": 0.44510838255318347,
      "learning_rate": 3.689901633197421e-05,
      "loss": 0.5425,
      "step": 314
    },
    {
      "epoch": 1.3125,
      "grad_norm": 0.5281284436574588,
      "learning_rate": 3.686782891625772e-05,
      "loss": 0.5225,
      "step": 315
    },
    {
      "epoch": 1.3166666666666667,
      "grad_norm": 0.4383316355693497,
      "learning_rate": 3.683649877190515e-05,
      "loss": 0.5501,
      "step": 316
    },
    {
      "epoch": 1.3208333333333333,
      "grad_norm": 0.49956813129428346,
      "learning_rate": 3.680502616401932e-05,
      "loss": 0.5359,
      "step": 317
    },
    {
      "epoch": 1.325,
      "grad_norm": 0.5515987870342378,
      "learning_rate": 3.6773411358908486e-05,
      "loss": 0.5339,
      "step": 318
    },
    {
      "epoch": 1.3291666666666666,
      "grad_norm": 0.4345037680070084,
      "learning_rate": 3.674165462408415e-05,
      "loss": 0.5336,
      "step": 319
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 0.4400948719090633,
      "learning_rate": 3.6709756228258735e-05,
      "loss": 0.5455,
      "step": 320
    },
    {
      "epoch": 1.3375,
      "grad_norm": 0.5395972581738513,
      "learning_rate": 3.6677716441343366e-05,
      "loss": 0.5524,
      "step": 321
    },
    {
      "epoch": 1.3416666666666668,
      "grad_norm": 0.5392777298500487,
      "learning_rate": 3.664553553444556e-05,
      "loss": 0.5413,
      "step": 322
    },
    {
      "epoch": 1.3458333333333332,
      "grad_norm": 0.4462815897326446,
      "learning_rate": 3.661321377986691e-05,
      "loss": 0.5455,
      "step": 323
    },
    {
      "epoch": 1.35,
      "grad_norm": 0.408044981134378,
      "learning_rate": 3.658075145110083e-05,
      "loss": 0.5359,
      "step": 324
    },
    {
      "epoch": 1.3541666666666667,
      "grad_norm": 2.6517110892639804,
      "learning_rate": 3.654814882283021e-05,
      "loss": 0.5599,
      "step": 325
    },
    {
      "epoch": 1.3583333333333334,
      "grad_norm": 0.6426062801390939,
      "learning_rate": 3.6515406170925085e-05,
      "loss": 0.5451,
      "step": 326
    },
    {
      "epoch": 1.3625,
      "grad_norm": 0.7569615680173203,
      "learning_rate": 3.648252377244031e-05,
      "loss": 0.5511,
      "step": 327
    },
    {
      "epoch": 1.3666666666666667,
      "grad_norm": 0.5615222121177936,
      "learning_rate": 3.644950190561325e-05,
      "loss": 0.5353,
      "step": 328
    },
    {
      "epoch": 1.3708333333333333,
      "grad_norm": 3.908446658444029,
      "learning_rate": 3.641634084986135e-05,
      "loss": 0.5363,
      "step": 329
    },
    {
      "epoch": 1.375,
      "grad_norm": 0.86056567015776,
      "learning_rate": 3.638304088577984e-05,
      "loss": 0.5337,
      "step": 330
    },
    {
      "epoch": 1.3791666666666667,
      "grad_norm": 0.968674440323784,
      "learning_rate": 3.6349602295139334e-05,
      "loss": 0.5349,
      "step": 331
    },
    {
      "epoch": 1.3833333333333333,
      "grad_norm": 0.7662941534325669,
      "learning_rate": 3.631602536088345e-05,
      "loss": 0.5493,
      "step": 332
    },
    {
      "epoch": 1.3875,
      "grad_norm": 0.6489821024054829,
      "learning_rate": 3.628231036712639e-05,
      "loss": 0.551,
      "step": 333
    },
    {
      "epoch": 1.3916666666666666,
      "grad_norm": 0.6768400112848093,
      "learning_rate": 3.624845759915059e-05,
      "loss": 0.5506,
      "step": 334
    },
    {
      "epoch": 1.3958333333333333,
      "grad_norm": 0.6300666456353369,
      "learning_rate": 3.6214467343404247e-05,
      "loss": 0.5492,
      "step": 335
    },
    {
      "epoch": 1.4,
      "grad_norm": 0.5258555208327108,
      "learning_rate": 3.6180339887498953e-05,
      "loss": 0.5508,
      "step": 336
    },
    {
      "epoch": 1.4041666666666668,
      "grad_norm": 0.5524501054068902,
      "learning_rate": 3.61460755202072e-05,
      "loss": 0.5435,
      "step": 337
    },
    {
      "epoch": 1.4083333333333332,
      "grad_norm": 0.5625403333344081,
      "learning_rate": 3.611167453145999e-05,
      "loss": 0.5515,
      "step": 338
    },
    {
      "epoch": 1.4125,
      "grad_norm": 0.5913598318371671,
      "learning_rate": 3.6077137212344345e-05,
      "loss": 0.5534,
      "step": 339
    },
    {
      "epoch": 1.4166666666666667,
      "grad_norm": 0.5062091818940291,
      "learning_rate": 3.604246385510088e-05,
      "loss": 0.5454,
      "step": 340
    },
    {
      "epoch": 1.4208333333333334,
      "grad_norm": 0.7149264594412322,
      "learning_rate": 3.600765475312128e-05,
      "loss": 0.526,
      "step": 341
    },
    {
      "epoch": 1.425,
      "grad_norm": 0.48134148469588334,
      "learning_rate": 3.597271020094586e-05,
      "loss": 0.5324,
      "step": 342
    },
    {
      "epoch": 1.4291666666666667,
      "grad_norm": 0.5417590266608151,
      "learning_rate": 3.593763049426107e-05,
      "loss": 0.5575,
      "step": 343
    },
    {
      "epoch": 1.4333333333333333,
      "grad_norm": 0.5591822618770105,
      "learning_rate": 3.590241592989696e-05,
      "loss": 0.5503,
      "step": 344
    },
    {
      "epoch": 1.4375,
      "grad_norm": 0.5257518162521898,
      "learning_rate": 3.586706680582471e-05,
      "loss": 0.5445,
      "step": 345
    },
    {
      "epoch": 1.4416666666666667,
      "grad_norm": 0.4634408909849689,
      "learning_rate": 3.583158342115407e-05,
      "loss": 0.5406,
      "step": 346
    },
    {
      "epoch": 1.4458333333333333,
      "grad_norm": 0.49613445514198684,
      "learning_rate": 3.579596607613087e-05,
      "loss": 0.5465,
      "step": 347
    },
    {
      "epoch": 1.45,
      "grad_norm": 0.5672027866995051,
      "learning_rate": 3.576021507213444e-05,
      "loss": 0.553,
      "step": 348
    },
    {
      "epoch": 1.4541666666666666,
      "grad_norm": 0.4941824109882221,
      "learning_rate": 3.5724330711675085e-05,
      "loss": 0.5349,
      "step": 349
    },
    {
      "epoch": 1.4583333333333333,
      "grad_norm": 0.5669200741703913,
      "learning_rate": 3.568831329839152e-05,
      "loss": 0.558,
      "step": 350
    },
    {
      "epoch": 1.4625,
      "grad_norm": 0.6336248661527731,
      "learning_rate": 3.565216313704828e-05,
      "loss": 0.5214,
      "step": 351
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 0.4862325834076314,
      "learning_rate": 3.561588053353319e-05,
      "loss": 0.5326,
      "step": 352
    },
    {
      "epoch": 1.4708333333333332,
      "grad_norm": 50.599831096867604,
      "learning_rate": 3.557946579485472e-05,
      "loss": 0.5274,
      "step": 353
    },
    {
      "epoch": 1.475,
      "grad_norm": 10.910060517204235,
      "learning_rate": 3.554291922913942e-05,
      "loss": 0.6153,
      "step": 354
    },
    {
      "epoch": 1.4791666666666667,
      "grad_norm": 1.074406038442234,
      "learning_rate": 3.550624114562932e-05,
      "loss": 0.5439,
      "step": 355
    },
    {
      "epoch": 1.4833333333333334,
      "grad_norm": 1.0370534681055068,
      "learning_rate": 3.5469431854679284e-05,
      "loss": 0.557,
      "step": 356
    },
    {
      "epoch": 1.4875,
      "grad_norm": 0.8216011964637442,
      "learning_rate": 3.5432491667754404e-05,
      "loss": 0.5478,
      "step": 357
    },
    {
      "epoch": 1.4916666666666667,
      "grad_norm": 0.8134009163833327,
      "learning_rate": 3.539542089742736e-05,
      "loss": 0.542,
      "step": 358
    },
    {
      "epoch": 1.4958333333333333,
      "grad_norm": 0.8750034828796878,
      "learning_rate": 3.535821985737578e-05,
      "loss": 0.5527,
      "step": 359
    },
    {
      "epoch": 1.5,
      "grad_norm": 0.6744505015229905,
      "learning_rate": 3.532088886237956e-05,
      "loss": 0.5531,
      "step": 360
    },
    {
      "epoch": 1.5041666666666667,
      "grad_norm": 0.544924446215458,
      "learning_rate": 3.5283428228318265e-05,
      "loss": 0.5491,
      "step": 361
    },
    {
      "epoch": 1.5083333333333333,
      "grad_norm": 0.6751247516552488,
      "learning_rate": 3.524583827216837e-05,
      "loss": 0.5466,
      "step": 362
    },
    {
      "epoch": 1.5125,
      "grad_norm": 0.3674962335666127,
      "learning_rate": 3.520811931200063e-05,
      "loss": 0.5438,
      "step": 363
    },
    {
      "epoch": 1.5166666666666666,
      "grad_norm": 0.6309369607091287,
      "learning_rate": 3.5170271666977383e-05,
      "loss": 0.5433,
      "step": 364
    },
    {
      "epoch": 1.5208333333333335,
      "grad_norm": 0.499517179632754,
      "learning_rate": 3.513229565734986e-05,
      "loss": 0.5398,
      "step": 365
    },
    {
      "epoch": 1.525,
      "grad_norm": 0.515334408837096,
      "learning_rate": 3.5094191604455446e-05,
      "loss": 0.5361,
      "step": 366
    },
    {
      "epoch": 1.5291666666666668,
      "grad_norm": 0.4723797383914561,
      "learning_rate": 3.505595983071497e-05,
      "loss": 0.5394,
      "step": 367
    },
    {
      "epoch": 1.5333333333333332,
      "grad_norm": 0.5793396713598776,
      "learning_rate": 3.5017600659629986e-05,
      "loss": 0.5438,
      "step": 368
    },
    {
      "epoch": 1.5375,
      "grad_norm": 2.5464060896803797,
      "learning_rate": 3.497911441578005e-05,
      "loss": 0.5528,
      "step": 369
    },
    {
      "epoch": 1.5416666666666665,
      "grad_norm": 0.8887207215422138,
      "learning_rate": 3.4940501424819927e-05,
      "loss": 0.5388,
      "step": 370
    },
    {
      "epoch": 1.5458333333333334,
      "grad_norm": 0.6433041354795661,
      "learning_rate": 3.490176201347688e-05,
      "loss": 0.5455,
      "step": 371
    },
    {
      "epoch": 1.55,
      "grad_norm": 2.263023677021183,
      "learning_rate": 3.4862896509547886e-05,
      "loss": 0.5386,
      "step": 372
    },
    {
      "epoch": 1.5541666666666667,
      "grad_norm": 0.6011992934825787,
      "learning_rate": 3.482390524189687e-05,
      "loss": 0.5453,
      "step": 373
    },
    {
      "epoch": 1.5583333333333333,
      "grad_norm": 0.7611855558373163,
      "learning_rate": 3.478478854045192e-05,
      "loss": 0.5397,
      "step": 374
    },
    {
      "epoch": 1.5625,
      "grad_norm": 0.4847408846399714,
      "learning_rate": 3.474554673620248e-05,
      "loss": 0.5374,
      "step": 375
    },
    {
      "epoch": 1.5666666666666667,
      "grad_norm": 0.6917296997816444,
      "learning_rate": 3.470618016119658e-05,
      "loss": 0.5317,
      "step": 376
    },
    {
      "epoch": 1.5708333333333333,
      "grad_norm": 0.4894917757184793,
      "learning_rate": 3.4666689148537976e-05,
      "loss": 0.5447,
      "step": 377
    },
    {
      "epoch": 1.575,
      "grad_norm": 0.5536289373283173,
      "learning_rate": 3.462707403238341e-05,
      "loss": 0.5486,
      "step": 378
    },
    {
      "epoch": 1.5791666666666666,
      "grad_norm": 0.5209679404299189,
      "learning_rate": 3.458733514793971e-05,
      "loss": 0.5387,
      "step": 379
    },
    {
      "epoch": 1.5833333333333335,
      "grad_norm": 0.41294624066206936,
      "learning_rate": 3.4547472831460976e-05,
      "loss": 0.536,
      "step": 380
    },
    {
      "epoch": 1.5875,
      "grad_norm": 0.4776106205291494,
      "learning_rate": 3.450748742024575e-05,
      "loss": 0.5299,
      "step": 381
    },
    {
      "epoch": 1.5916666666666668,
      "grad_norm": 0.4408073207618328,
      "learning_rate": 3.446737925263416e-05,
      "loss": 0.5513,
      "step": 382
    },
    {
      "epoch": 1.5958333333333332,
      "grad_norm": 1.011039352548808,
      "learning_rate": 3.442714866800503e-05,
      "loss": 0.5373,
      "step": 383
    },
    {
      "epoch": 1.6,
      "grad_norm": 0.4728935369610765,
      "learning_rate": 3.438679600677303e-05,
      "loss": 0.5573,
      "step": 384
    },
    {
      "epoch": 1.6041666666666665,
      "grad_norm": 0.44203385402051665,
      "learning_rate": 3.434632161038579e-05,
      "loss": 0.5476,
      "step": 385
    },
    {
      "epoch": 1.6083333333333334,
      "grad_norm": 0.44675782958431953,
      "learning_rate": 3.430572582132103e-05,
      "loss": 0.5318,
      "step": 386
    },
    {
      "epoch": 1.6125,
      "grad_norm": 0.40337499189073334,
      "learning_rate": 3.426500898308364e-05,
      "loss": 0.546,
      "step": 387
    },
    {
      "epoch": 1.6166666666666667,
      "grad_norm": 3.887202940437168,
      "learning_rate": 3.422417144020274e-05,
      "loss": 0.5556,
      "step": 388
    },
    {
      "epoch": 1.6208333333333333,
      "grad_norm": 0.722313529945089,
      "learning_rate": 3.4183213538228876e-05,
      "loss": 0.5369,
      "step": 389
    },
    {
      "epoch": 1.625,
      "grad_norm": 0.6188201178714671,
      "learning_rate": 3.4142135623730954e-05,
      "loss": 0.5333,
      "step": 390
    },
    {
      "epoch": 1.6291666666666667,
      "grad_norm": 8.0133358740126,
      "learning_rate": 3.410093804429341e-05,
      "loss": 0.6215,
      "step": 391
    },
    {
      "epoch": 1.6333333333333333,
      "grad_norm": 0.7859856462540775,
      "learning_rate": 3.405962114851324e-05,
      "loss": 0.5418,
      "step": 392
    },
    {
      "epoch": 1.6375,
      "grad_norm": 0.5405499807694932,
      "learning_rate": 3.401818528599702e-05,
      "loss": 0.5347,
      "step": 393
    },
    {
      "epoch": 1.6416666666666666,
      "grad_norm": 0.5714313002014001,
      "learning_rate": 3.3976630807358e-05,
      "loss": 0.5541,
      "step": 394
    },
    {
      "epoch": 1.6458333333333335,
      "grad_norm": 0.5882264280306395,
      "learning_rate": 3.3934958064213105e-05,
      "loss": 0.5365,
      "step": 395
    },
    {
      "epoch": 1.65,
      "grad_norm": 0.6292291165942625,
      "learning_rate": 3.3893167409179945e-05,
      "loss": 0.5332,
      "step": 396
    },
    {
      "epoch": 1.6541666666666668,
      "grad_norm": 0.5061325980182686,
      "learning_rate": 3.385125919587389e-05,
      "loss": 0.5256,
      "step": 397
    },
    {
      "epoch": 1.6583333333333332,
      "grad_norm": 0.5896622141204226,
      "learning_rate": 3.3809233778904995e-05,
      "loss": 0.5365,
      "step": 398
    },
    {
      "epoch": 1.6625,
      "grad_norm": 0.42991753010476663,
      "learning_rate": 3.376709151387508e-05,
      "loss": 0.5419,
      "step": 399
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 0.5320307698753223,
      "learning_rate": 3.372483275737468e-05,
      "loss": 0.5355,
      "step": 400
    },
    {
      "epoch": 1.6708333333333334,
      "grad_norm": 0.4362313241457944,
      "learning_rate": 3.368245786698e-05,
      "loss": 0.5359,
      "step": 401
    },
    {
      "epoch": 1.675,
      "grad_norm": 0.5090533209283697,
      "learning_rate": 3.363996720124997e-05,
      "loss": 0.5468,
      "step": 402
    },
    {
      "epoch": 1.6791666666666667,
      "grad_norm": 0.41335826704940476,
      "learning_rate": 3.3597361119723145e-05,
      "loss": 0.5351,
      "step": 403
    },
    {
      "epoch": 1.6833333333333333,
      "grad_norm": 0.5078274330938815,
      "learning_rate": 3.355463998291465e-05,
      "loss": 0.5348,
      "step": 404
    },
    {
      "epoch": 1.6875,
      "grad_norm": 0.3804915040214098,
      "learning_rate": 3.351180415231321e-05,
      "loss": 0.5279,
      "step": 405
    },
    {
      "epoch": 1.6916666666666667,
      "grad_norm": 0.47013384517847556,
      "learning_rate": 3.3468853990378005e-05,
      "loss": 0.5285,
      "step": 406
    },
    {
      "epoch": 1.6958333333333333,
      "grad_norm": 0.40689934674421463,
      "learning_rate": 3.342578986053567e-05,
      "loss": 0.5277,
      "step": 407
    },
    {
      "epoch": 1.7,
      "grad_norm": 0.4448533400141461,
      "learning_rate": 3.3382612127177166e-05,
      "loss": 0.5334,
      "step": 408
    },
    {
      "epoch": 1.7041666666666666,
      "grad_norm": 0.47219175452122747,
      "learning_rate": 3.3339321155654723e-05,
      "loss": 0.5315,
      "step": 409
    },
    {
      "epoch": 1.7083333333333335,
      "grad_norm": 1.1226303581586898,
      "learning_rate": 3.3295917312278754e-05,
      "loss": 0.5582,
      "step": 410
    },
    {
      "epoch": 1.7125,
      "grad_norm": 1.1384407299842498,
      "learning_rate": 3.3252400964314756e-05,
      "loss": 0.5497,
      "step": 411
    },
    {
      "epoch": 1.7166666666666668,
      "grad_norm": 1.0300242288581747,
      "learning_rate": 3.3208772479980154e-05,
      "loss": 0.6032,
      "step": 412
    },
    {
      "epoch": 1.7208333333333332,
      "grad_norm": 0.30687240316764763,
      "learning_rate": 3.316503222844128e-05,
      "loss": 0.5289,
      "step": 413
    },
    {
      "epoch": 1.725,
      "grad_norm": 0.3582513272424745,
      "learning_rate": 3.312118057981015e-05,
      "loss": 0.5379,
      "step": 414
    },
    {
      "epoch": 1.7291666666666665,
      "grad_norm": 0.3291272208159582,
      "learning_rate": 3.3077217905141395e-05,
      "loss": 0.532,
      "step": 415
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 0.30850616340598214,
      "learning_rate": 3.303314457642911e-05,
      "loss": 0.546,
      "step": 416
    },
    {
      "epoch": 1.7375,
      "grad_norm": 0.386781836944319,
      "learning_rate": 3.298896096660367e-05,
      "loss": 0.5269,
      "step": 417
    },
    {
      "epoch": 1.7416666666666667,
      "grad_norm": 0.33791320712541995,
      "learning_rate": 3.294466744952865e-05,
      "loss": 0.5487,
      "step": 418
    },
    {
      "epoch": 1.7458333333333333,
      "grad_norm": 0.3836471909857469,
      "learning_rate": 3.290026439999757e-05,
      "loss": 0.5364,
      "step": 419
    },
    {
      "epoch": 1.75,
      "grad_norm": 0.3409114081935661,
      "learning_rate": 3.285575219373079e-05,
      "loss": 0.5351,
      "step": 420
    },
    {
      "epoch": 1.7541666666666667,
      "grad_norm": 0.4038423945266767,
      "learning_rate": 3.281113120737231e-05,
      "loss": 0.5316,
      "step": 421
    },
    {
      "epoch": 1.7583333333333333,
      "grad_norm": 0.447896853158445,
      "learning_rate": 3.276640181848657e-05,
      "loss": 0.5347,
      "step": 422
    },
    {
      "epoch": 1.7625,
      "grad_norm": 0.39772425809590717,
      "learning_rate": 3.272156440555528e-05,
      "loss": 0.533,
      "step": 423
    },
    {
      "epoch": 1.7666666666666666,
      "grad_norm": 0.49904113747582496,
      "learning_rate": 3.26766193479742e-05,
      "loss": 0.5384,
      "step": 424
    },
    {
      "epoch": 1.7708333333333335,
      "grad_norm": 0.4127689853333455,
      "learning_rate": 3.2631567026049954e-05,
      "loss": 0.538,
      "step": 425
    },
    {
      "epoch": 1.775,
      "grad_norm": 0.46507484347333206,
      "learning_rate": 3.258640782099675e-05,
      "loss": 0.5377,
      "step": 426
    },
    {
      "epoch": 1.7791666666666668,
      "grad_norm": 0.40509094921794664,
      "learning_rate": 3.254114211493324e-05,
      "loss": 0.5312,
      "step": 427
    },
    {
      "epoch": 1.7833333333333332,
      "grad_norm": 4.0203588633843825,
      "learning_rate": 3.2495770290879204e-05,
      "loss": 0.5602,
      "step": 428
    },
    {
      "epoch": 1.7875,
      "grad_norm": 0.6620483623851753,
      "learning_rate": 3.2450292732752395e-05,
      "loss": 0.5388,
      "step": 429
    },
    {
      "epoch": 1.7916666666666665,
      "grad_norm": 0.6221145466142196,
      "learning_rate": 3.2404709825365204e-05,
      "loss": 0.5411,
      "step": 430
    },
    {
      "epoch": 1.7958333333333334,
      "grad_norm": 0.4939363274260579,
      "learning_rate": 3.235902195442147e-05,
      "loss": 0.5474,
      "step": 431
    },
    {
      "epoch": 1.8,
      "grad_norm": 0.6538538086125941,
      "learning_rate": 3.2313229506513167e-05,
      "loss": 0.5382,
      "step": 432
    },
    {
      "epoch": 1.8041666666666667,
      "grad_norm": 0.46231434195977417,
      "learning_rate": 3.2267332869117186e-05,
      "loss": 0.5378,
      "step": 433
    },
    {
      "epoch": 1.8083333333333333,
      "grad_norm": 0.48393570230931093,
      "learning_rate": 3.2221332430592e-05,
      "loss": 0.5339,
      "step": 434
    },
    {
      "epoch": 1.8125,
      "grad_norm": 0.4731624643118013,
      "learning_rate": 3.217522858017442e-05,
      "loss": 0.5321,
      "step": 435
    },
    {
      "epoch": 1.8166666666666667,
      "grad_norm": 0.3951340592928766,
      "learning_rate": 3.2129021707976274e-05,
      "loss": 0.5269,
      "step": 436
    },
    {
      "epoch": 1.8208333333333333,
      "grad_norm": 0.4241328181614359,
      "learning_rate": 3.208271220498113e-05,
      "loss": 0.5452,
      "step": 437
    },
    {
      "epoch": 1.825,
      "grad_norm": 0.385964971839393,
      "learning_rate": 3.203630046304097e-05,
      "loss": 0.5413,
      "step": 438
    },
    {
      "epoch": 1.8291666666666666,
      "grad_norm": 0.32637856355400724,
      "learning_rate": 3.198978687487288e-05,
      "loss": 0.5401,
      "step": 439
    },
    {
      "epoch": 1.8333333333333335,
      "grad_norm": 0.626582631847551,
      "learning_rate": 3.194317183405573e-05,
      "loss": 0.5377,
      "step": 440
    },
    {
      "epoch": 1.8375,
      "grad_norm": 0.3603921671355549,
      "learning_rate": 3.189645573502683e-05,
      "loss": 0.523,
      "step": 441
    },
    {
      "epoch": 1.8416666666666668,
      "grad_norm": 0.42659135886403154,
      "learning_rate": 3.184963897307862e-05,
      "loss": 0.5312,
      "step": 442
    },
    {
      "epoch": 1.8458333333333332,
      "grad_norm": 0.32166388456083606,
      "learning_rate": 3.1802721944355295e-05,
      "loss": 0.545,
      "step": 443
    },
    {
      "epoch": 1.85,
      "grad_norm": 0.36067229289591707,
      "learning_rate": 3.1755705045849465e-05,
      "loss": 0.5286,
      "step": 444
    },
    {
      "epoch": 1.8541666666666665,
      "grad_norm": 0.2956763484410633,
      "learning_rate": 3.1708588675398814e-05,
      "loss": 0.5209,
      "step": 445
    },
    {
      "epoch": 1.8583333333333334,
      "grad_norm": 1.1731313817904956,
      "learning_rate": 3.1661373231682696e-05,
      "loss": 0.548,
      "step": 446
    },
    {
      "epoch": 1.8625,
      "grad_norm": 0.3227064853360421,
      "learning_rate": 3.1614059114218795e-05,
      "loss": 0.5357,
      "step": 447
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 0.36709296331463204,
      "learning_rate": 3.156664672335973e-05,
      "loss": 0.5434,
      "step": 448
    },
    {
      "epoch": 1.8708333333333333,
      "grad_norm": 0.3363593683628134,
      "learning_rate": 3.151913646028967e-05,
      "loss": 0.5379,
      "step": 449
    },
    {
      "epoch": 1.875,
      "grad_norm": 0.40281837434158557,
      "learning_rate": 3.147152872702092e-05,
      "loss": 0.538,
      "step": 450
    },
    {
      "epoch": 1.8791666666666667,
      "grad_norm": 0.31351522785056457,
      "learning_rate": 3.1423823926390575e-05,
      "loss": 0.5353,
      "step": 451
    },
    {
      "epoch": 1.8833333333333333,
      "grad_norm": 0.39324055047755585,
      "learning_rate": 3.137602246205704e-05,
      "loss": 0.5266,
      "step": 452
    },
    {
      "epoch": 1.8875,
      "grad_norm": 0.3664580431628436,
      "learning_rate": 3.132812473849666e-05,
      "loss": 0.5366,
      "step": 453
    },
    {
      "epoch": 1.8916666666666666,
      "grad_norm": 0.41704352937571465,
      "learning_rate": 3.128013116100029e-05,
      "loss": 0.5285,
      "step": 454
    },
    {
      "epoch": 1.8958333333333335,
      "grad_norm": 0.39282335707785704,
      "learning_rate": 3.123204213566986e-05,
      "loss": 0.5426,
      "step": 455
    },
    {
      "epoch": 1.9,
      "grad_norm": 0.36218214273512056,
      "learning_rate": 3.1183858069414936e-05,
      "loss": 0.5482,
      "step": 456
    },
    {
      "epoch": 1.9041666666666668,
      "grad_norm": 0.39771815020451934,
      "learning_rate": 3.113557936994929e-05,
      "loss": 0.5349,
      "step": 457
    },
    {
      "epoch": 1.9083333333333332,
      "grad_norm": 0.37776725153082563,
      "learning_rate": 3.1087206445787436e-05,
      "loss": 0.5321,
      "step": 458
    },
    {
      "epoch": 1.9125,
      "grad_norm": 0.3413941460478657,
      "learning_rate": 3.103873970624117e-05,
      "loss": 0.5452,
      "step": 459
    },
    {
      "epoch": 1.9166666666666665,
      "grad_norm": 0.36909470454931836,
      "learning_rate": 3.0990179561416124e-05,
      "loss": 0.5328,
      "step": 460
    },
    {
      "epoch": 1.9208333333333334,
      "grad_norm": 0.26521618628019933,
      "learning_rate": 3.094152642220829e-05,
      "loss": 0.5389,
      "step": 461
    },
    {
      "epoch": 1.925,
      "grad_norm": 0.34325211349261603,
      "learning_rate": 3.0892780700300544e-05,
      "loss": 0.541,
      "step": 462
    },
    {
      "epoch": 1.9291666666666667,
      "grad_norm": 4.811603499350673,
      "learning_rate": 3.084394280815914e-05,
      "loss": 0.5755,
      "step": 463
    },
    {
      "epoch": 1.9333333333333333,
      "grad_norm": 0.4786137584045623,
      "learning_rate": 3.079501315903026e-05,
      "loss": 0.53,
      "step": 464
    },
    {
      "epoch": 1.9375,
      "grad_norm": 0.41344035214790137,
      "learning_rate": 3.0745992166936484e-05,
      "loss": 0.5321,
      "step": 465
    },
    {
      "epoch": 1.9416666666666667,
      "grad_norm": 0.3320667262805005,
      "learning_rate": 3.0696880246673293e-05,
      "loss": 0.5313,
      "step": 466
    },
    {
      "epoch": 1.9458333333333333,
      "grad_norm": 0.5393309931610712,
      "learning_rate": 3.064767781380558e-05,
      "loss": 0.5345,
      "step": 467
    },
    {
      "epoch": 1.95,
      "grad_norm": 0.36344810477596545,
      "learning_rate": 3.05983852846641e-05,
      "loss": 0.5341,
      "step": 468
    },
    {
      "epoch": 1.9541666666666666,
      "grad_norm": 0.37782531754913795,
      "learning_rate": 3.0549003076342e-05,
      "loss": 0.526,
      "step": 469
    },
    {
      "epoch": 1.9583333333333335,
      "grad_norm": 0.37027854117681785,
      "learning_rate": 3.0499531606691204e-05,
      "loss": 0.5382,
      "step": 470
    },
    {
      "epoch": 1.9625,
      "grad_norm": 0.3759462692918367,
      "learning_rate": 3.0449971294318977e-05,
      "loss": 0.5321,
      "step": 471
    },
    {
      "epoch": 1.9666666666666668,
      "grad_norm": 0.843520724044957,
      "learning_rate": 3.0400322558584308e-05,
      "loss": 0.5437,
      "step": 472
    },
    {
      "epoch": 1.9708333333333332,
      "grad_norm": 0.3915495912006152,
      "learning_rate": 3.0350585819594402e-05,
      "loss": 0.526,
      "step": 473
    },
    {
      "epoch": 1.975,
      "grad_norm": 0.34332380102586857,
      "learning_rate": 3.030076149820109e-05,
      "loss": 0.5261,
      "step": 474
    },
    {
      "epoch": 1.9791666666666665,
      "grad_norm": 0.38262503583227475,
      "learning_rate": 3.0250850015997307e-05,
      "loss": 0.5229,
      "step": 475
    },
    {
      "epoch": 1.9833333333333334,
      "grad_norm": 0.3460892043692767,
      "learning_rate": 3.020085179531351e-05,
      "loss": 0.5239,
      "step": 476
    },
    {
      "epoch": 1.9875,
      "grad_norm": 0.3156293867995891,
      "learning_rate": 3.0150767259214087e-05,
      "loss": 0.5388,
      "step": 477
    },
    {
      "epoch": 1.9916666666666667,
      "grad_norm": 0.33013269777276694,
      "learning_rate": 3.0100596831493806e-05,
      "loss": 0.5253,
      "step": 478
    },
    {
      "epoch": 1.9958333333333333,
      "grad_norm": 0.33797798159952824,
      "learning_rate": 3.0050340936674202e-05,
      "loss": 0.5383,
      "step": 479
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.386842030161799,
      "learning_rate": 3.0000000000000004e-05,
      "loss": 0.5302,
      "step": 480
    },
    {
      "epoch": 2.004166666666667,
      "grad_norm": 0.4886159342930222,
      "learning_rate": 2.9949574447435533e-05,
      "loss": 0.4922,
      "step": 481
    },
    {
      "epoch": 2.0083333333333333,
      "grad_norm": 0.36231983910258553,
      "learning_rate": 2.9899064705661086e-05,
      "loss": 0.4804,
      "step": 482
    },
    {
      "epoch": 2.0125,
      "grad_norm": 0.642614800738087,
      "learning_rate": 2.9848471202069347e-05,
      "loss": 0.4851,
      "step": 483
    },
    {
      "epoch": 2.0166666666666666,
      "grad_norm": 0.42808250895072036,
      "learning_rate": 2.9797794364761743e-05,
      "loss": 0.4761,
      "step": 484
    },
    {
      "epoch": 2.0208333333333335,
      "grad_norm": 0.48344163286053543,
      "learning_rate": 2.974703462254485e-05,
      "loss": 0.4931,
      "step": 485
    },
    {
      "epoch": 2.025,
      "grad_norm": 0.43795264872636147,
      "learning_rate": 2.9696192404926747e-05,
      "loss": 0.484,
      "step": 486
    },
    {
      "epoch": 2.029166666666667,
      "grad_norm": 0.41290565168811605,
      "learning_rate": 2.964526814211338e-05,
      "loss": 0.485,
      "step": 487
    },
    {
      "epoch": 2.033333333333333,
      "grad_norm": 0.4356828882854518,
      "learning_rate": 2.959426226500493e-05,
      "loss": 0.4809,
      "step": 488
    },
    {
      "epoch": 2.0375,
      "grad_norm": 0.47840529952039423,
      "learning_rate": 2.954317520519217e-05,
      "loss": 0.4661,
      "step": 489
    },
    {
      "epoch": 2.0416666666666665,
      "grad_norm": 0.39630661023736297,
      "learning_rate": 2.9492007394952812e-05,
      "loss": 0.483,
      "step": 490
    },
    {
      "epoch": 2.0458333333333334,
      "grad_norm": 0.4498881048188075,
      "learning_rate": 2.9440759267247828e-05,
      "loss": 0.4672,
      "step": 491
    },
    {
      "epoch": 2.05,
      "grad_norm": 0.38435953428018615,
      "learning_rate": 2.938943125571782e-05,
      "loss": 0.4781,
      "step": 492
    },
    {
      "epoch": 2.0541666666666667,
      "grad_norm": 0.3805953549515372,
      "learning_rate": 2.933802379467932e-05,
      "loss": 0.4736,
      "step": 493
    },
    {
      "epoch": 2.058333333333333,
      "grad_norm": 0.3971953776801394,
      "learning_rate": 2.9286537319121143e-05,
      "loss": 0.4795,
      "step": 494
    },
    {
      "epoch": 2.0625,
      "grad_norm": 1.3716827159292087,
      "learning_rate": 2.9234972264700687e-05,
      "loss": 0.5018,
      "step": 495
    },
    {
      "epoch": 2.066666666666667,
      "grad_norm": 0.3993347299586712,
      "learning_rate": 2.9183329067740235e-05,
      "loss": 0.4698,
      "step": 496
    },
    {
      "epoch": 2.0708333333333333,
      "grad_norm": 0.9163296799211197,
      "learning_rate": 2.9131608165223313e-05,
      "loss": 0.4755,
      "step": 497
    },
    {
      "epoch": 2.075,
      "grad_norm": 2.135437266520834,
      "learning_rate": 2.9079809994790937e-05,
      "loss": 0.5212,
      "step": 498
    },
    {
      "epoch": 2.0791666666666666,
      "grad_norm": 0.48648387390989906,
      "learning_rate": 2.902793499473794e-05,
      "loss": 0.4897,
      "step": 499
    },
    {
      "epoch": 2.0833333333333335,
      "grad_norm": 0.4170170937467103,
      "learning_rate": 2.897598360400925e-05,
      "loss": 0.4785,
      "step": 500
    },
    {
      "epoch": 2.0875,
      "grad_norm": 0.4091898520641542,
      "learning_rate": 2.8923956262196178e-05,
      "loss": 0.4776,
      "step": 501
    },
    {
      "epoch": 2.091666666666667,
      "grad_norm": 1.9001726189022239,
      "learning_rate": 2.8871853409532727e-05,
      "loss": 0.5005,
      "step": 502
    },
    {
      "epoch": 2.095833333333333,
      "grad_norm": 0.40030925906512504,
      "learning_rate": 2.88196754868918e-05,
      "loss": 0.4657,
      "step": 503
    },
    {
      "epoch": 2.1,
      "grad_norm": 0.5070798940030533,
      "learning_rate": 2.876742293578155e-05,
      "loss": 0.4723,
      "step": 504
    },
    {
      "epoch": 2.1041666666666665,
      "grad_norm": 0.3373194429400813,
      "learning_rate": 2.871509619834159e-05,
      "loss": 0.4727,
      "step": 505
    },
    {
      "epoch": 2.1083333333333334,
      "grad_norm": 0.5029763550394912,
      "learning_rate": 2.8662695717339263e-05,
      "loss": 0.4715,
      "step": 506
    },
    {
      "epoch": 2.1125,
      "grad_norm": 0.3160338581031689,
      "learning_rate": 2.8610221936165906e-05,
      "loss": 0.482,
      "step": 507
    },
    {
      "epoch": 2.1166666666666667,
      "grad_norm": 0.4239598480395657,
      "learning_rate": 2.8557675298833086e-05,
      "loss": 0.485,
      "step": 508
    },
    {
      "epoch": 2.120833333333333,
      "grad_norm": 0.4505317331014363,
      "learning_rate": 2.8505056249968864e-05,
      "loss": 0.4873,
      "step": 509
    },
    {
      "epoch": 2.125,
      "grad_norm": 0.35674874414132907,
      "learning_rate": 2.8452365234813992e-05,
      "loss": 0.4823,
      "step": 510
    },
    {
      "epoch": 2.129166666666667,
      "grad_norm": 0.3584842873122445,
      "learning_rate": 2.8399602699218194e-05,
      "loss": 0.4914,
      "step": 511
    },
    {
      "epoch": 2.1333333333333333,
      "grad_norm": 0.45393019871536366,
      "learning_rate": 2.834676908963636e-05,
      "loss": 0.4818,
      "step": 512
    },
    {
      "epoch": 2.1375,
      "grad_norm": 0.3280287194393449,
      "learning_rate": 2.8293864853124783e-05,
      "loss": 0.4661,
      "step": 513
    },
    {
      "epoch": 2.1416666666666666,
      "grad_norm": 0.8727083767597136,
      "learning_rate": 2.8240890437337373e-05,
      "loss": 0.4712,
      "step": 514
    },
    {
      "epoch": 2.1458333333333335,
      "grad_norm": 0.3355338663269697,
      "learning_rate": 2.8187846290521852e-05,
      "loss": 0.4785,
      "step": 515
    },
    {
      "epoch": 2.15,
      "grad_norm": 0.35543276922208744,
      "learning_rate": 2.813473286151601e-05,
      "loss": 0.4756,
      "step": 516
    },
    {
      "epoch": 2.154166666666667,
      "grad_norm": 0.379520013404558,
      "learning_rate": 2.8081550599743835e-05,
      "loss": 0.475,
      "step": 517
    },
    {
      "epoch": 2.158333333333333,
      "grad_norm": 0.36729339199772665,
      "learning_rate": 2.8028299955211785e-05,
      "loss": 0.4827,
      "step": 518
    },
    {
      "epoch": 2.1625,
      "grad_norm": 0.33712245862059337,
      "learning_rate": 2.7974981378504926e-05,
      "loss": 0.4774,
      "step": 519
    },
    {
      "epoch": 2.1666666666666665,
      "grad_norm": 0.3538163894156368,
      "learning_rate": 2.792159532078314e-05,
      "loss": 0.4865,
      "step": 520
    },
    {
      "epoch": 2.1708333333333334,
      "grad_norm": 0.349953200583264,
      "learning_rate": 2.7868142233777305e-05,
      "loss": 0.4804,
      "step": 521
    },
    {
      "epoch": 2.175,
      "grad_norm": 0.4504984747532693,
      "learning_rate": 2.7814622569785474e-05,
      "loss": 0.473,
      "step": 522
    },
    {
      "epoch": 2.1791666666666667,
      "grad_norm": 0.36475798074586124,
      "learning_rate": 2.776103678166906e-05,
      "loss": 0.4804,
      "step": 523
    },
    {
      "epoch": 2.183333333333333,
      "grad_norm": 0.35154700117924165,
      "learning_rate": 2.770738532284897e-05,
      "loss": 0.481,
      "step": 524
    },
    {
      "epoch": 2.1875,
      "grad_norm": 0.31920708112097607,
      "learning_rate": 2.7653668647301797e-05,
      "loss": 0.486,
      "step": 525
    },
    {
      "epoch": 2.191666666666667,
      "grad_norm": 0.33469857140235026,
      "learning_rate": 2.7599887209555986e-05,
      "loss": 0.4704,
      "step": 526
    },
    {
      "epoch": 2.1958333333333333,
      "grad_norm": 0.3123705103605502,
      "learning_rate": 2.7546041464687942e-05,
      "loss": 0.4735,
      "step": 527
    },
    {
      "epoch": 2.2,
      "grad_norm": 0.31620822768657053,
      "learning_rate": 2.7492131868318247e-05,
      "loss": 0.4906,
      "step": 528
    },
    {
      "epoch": 2.2041666666666666,
      "grad_norm": 0.3237998625926402,
      "learning_rate": 2.7438158876607732e-05,
      "loss": 0.478,
      "step": 529
    },
    {
      "epoch": 2.2083333333333335,
      "grad_norm": 0.35055598074469685,
      "learning_rate": 2.738412294625369e-05,
      "loss": 0.4926,
      "step": 530
    },
    {
      "epoch": 2.2125,
      "grad_norm": 0.306146932881888,
      "learning_rate": 2.7330024534485948e-05,
      "loss": 0.4726,
      "step": 531
    },
    {
      "epoch": 2.216666666666667,
      "grad_norm": 0.3562224476164066,
      "learning_rate": 2.7275864099063033e-05,
      "loss": 0.4732,
      "step": 532
    },
    {
      "epoch": 2.220833333333333,
      "grad_norm": 0.3566436235010374,
      "learning_rate": 2.7221642098268292e-05,
      "loss": 0.4946,
      "step": 533
    },
    {
      "epoch": 2.225,
      "grad_norm": 0.31114253338918896,
      "learning_rate": 2.7167358990906e-05,
      "loss": 0.4831,
      "step": 534
    },
    {
      "epoch": 2.2291666666666665,
      "grad_norm": 0.3436461920189891,
      "learning_rate": 2.7113015236297537e-05,
      "loss": 0.477,
      "step": 535
    },
    {
      "epoch": 2.2333333333333334,
      "grad_norm": 0.30580165869202075,
      "learning_rate": 2.7058611294277378e-05,
      "loss": 0.4698,
      "step": 536
    },
    {
      "epoch": 2.2375,
      "grad_norm": 0.3102715492300113,
      "learning_rate": 2.7004147625189353e-05,
      "loss": 0.4719,
      "step": 537
    },
    {
      "epoch": 2.2416666666666667,
      "grad_norm": 0.3080035358302375,
      "learning_rate": 2.694962468988263e-05,
      "loss": 0.4898,
      "step": 538
    },
    {
      "epoch": 2.245833333333333,
      "grad_norm": 0.2848422958925151,
      "learning_rate": 2.6895042949707886e-05,
      "loss": 0.4922,
      "step": 539
    },
    {
      "epoch": 2.25,
      "grad_norm": 0.30926455577430995,
      "learning_rate": 2.684040286651338e-05,
      "loss": 0.4862,
      "step": 540
    },
    {
      "epoch": 2.2541666666666664,
      "grad_norm": 0.3111976209215279,
      "learning_rate": 2.6785704902641024e-05,
      "loss": 0.4751,
      "step": 541
    },
    {
      "epoch": 2.2583333333333333,
      "grad_norm": 0.873839818408244,
      "learning_rate": 2.673094952092253e-05,
      "loss": 0.4719,
      "step": 542
    },
    {
      "epoch": 2.2625,
      "grad_norm": 0.33204149695565766,
      "learning_rate": 2.667613718467542e-05,
      "loss": 0.4807,
      "step": 543
    },
    {
      "epoch": 2.2666666666666666,
      "grad_norm": 0.30632882956124574,
      "learning_rate": 2.6621268357699165e-05,
      "loss": 0.4706,
      "step": 544
    },
    {
      "epoch": 2.2708333333333335,
      "grad_norm": 0.2961072711355155,
      "learning_rate": 2.6566343504271227e-05,
      "loss": 0.4708,
      "step": 545
    },
    {
      "epoch": 2.275,
      "grad_norm": 0.30704392710398426,
      "learning_rate": 2.6511363089143137e-05,
      "loss": 0.4791,
      "step": 546
    },
    {
      "epoch": 2.279166666666667,
      "grad_norm": 0.2712205518719514,
      "learning_rate": 2.645632757753658e-05,
      "loss": 0.4773,
      "step": 547
    },
    {
      "epoch": 2.283333333333333,
      "grad_norm": 0.3315405168045059,
      "learning_rate": 2.640123743513943e-05,
      "loss": 0.4782,
      "step": 548
    },
    {
      "epoch": 2.2875,
      "grad_norm": 0.292396395388033,
      "learning_rate": 2.6346093128101847e-05,
      "loss": 0.4904,
      "step": 549
    },
    {
      "epoch": 2.2916666666666665,
      "grad_norm": 0.3188557649620602,
      "learning_rate": 2.6290895123032277e-05,
      "loss": 0.4737,
      "step": 550
    },
    {
      "epoch": 2.2958333333333334,
      "grad_norm": 0.30424659204927196,
      "learning_rate": 2.623564388699356e-05,
      "loss": 0.4717,
      "step": 551
    },
    {
      "epoch": 2.3,
      "grad_norm": 0.31138223815754884,
      "learning_rate": 2.618033988749895e-05,
      "loss": 0.4958,
      "step": 552
    },
    {
      "epoch": 2.3041666666666667,
      "grad_norm": 0.30916556586063254,
      "learning_rate": 2.6124983592508164e-05,
      "loss": 0.4863,
      "step": 553
    },
    {
      "epoch": 2.3083333333333336,
      "grad_norm": 0.2814754830068476,
      "learning_rate": 2.6069575470423417e-05,
      "loss": 0.4751,
      "step": 554
    },
    {
      "epoch": 2.3125,
      "grad_norm": 0.3050857927796688,
      "learning_rate": 2.601411599008546e-05,
      "loss": 0.4857,
      "step": 555
    },
    {
      "epoch": 2.3166666666666664,
      "grad_norm": 0.6697455437225489,
      "learning_rate": 2.595860562076964e-05,
      "loss": 0.4971,
      "step": 556
    },
    {
      "epoch": 2.3208333333333333,
      "grad_norm": 0.2961077434019537,
      "learning_rate": 2.590304483218188e-05,
      "loss": 0.4771,
      "step": 557
    },
    {
      "epoch": 2.325,
      "grad_norm": 0.30687641453285824,
      "learning_rate": 2.5847434094454737e-05,
      "loss": 0.4678,
      "step": 558
    },
    {
      "epoch": 2.3291666666666666,
      "grad_norm": 0.3265943888762366,
      "learning_rate": 2.5791773878143423e-05,
      "loss": 0.4874,
      "step": 559
    },
    {
      "epoch": 2.3333333333333335,
      "grad_norm": 0.27371615641543545,
      "learning_rate": 2.5736064654221808e-05,
      "loss": 0.4846,
      "step": 560
    },
    {
      "epoch": 2.3375,
      "grad_norm": 0.2850078562359186,
      "learning_rate": 2.568030689407846e-05,
      "loss": 0.4717,
      "step": 561
    },
    {
      "epoch": 2.341666666666667,
      "grad_norm": 0.33065075323146403,
      "learning_rate": 2.5624501069512614e-05,
      "loss": 0.4896,
      "step": 562
    },
    {
      "epoch": 2.345833333333333,
      "grad_norm": 0.29663809900661076,
      "learning_rate": 2.556864765273024e-05,
      "loss": 0.4793,
      "step": 563
    },
    {
      "epoch": 2.35,
      "grad_norm": 0.33466439648780866,
      "learning_rate": 2.5512747116339985e-05,
      "loss": 0.4728,
      "step": 564
    },
    {
      "epoch": 2.3541666666666665,
      "grad_norm": 0.3069432487995425,
      "learning_rate": 2.5456799933349224e-05,
      "loss": 0.4858,
      "step": 565
    },
    {
      "epoch": 2.3583333333333334,
      "grad_norm": 0.29228368662647797,
      "learning_rate": 2.540080657716002e-05,
      "loss": 0.4756,
      "step": 566
    },
    {
      "epoch": 2.3625,
      "grad_norm": 0.31414622680486587,
      "learning_rate": 2.534476752156514e-05,
      "loss": 0.4834,
      "step": 567
    },
    {
      "epoch": 2.3666666666666667,
      "grad_norm": 0.2817331987878316,
      "learning_rate": 2.528868324074405e-05,
      "loss": 0.4726,
      "step": 568
    },
    {
      "epoch": 2.3708333333333336,
      "grad_norm": 0.3380976895995865,
      "learning_rate": 2.523255420925887e-05,
      "loss": 0.4878,
      "step": 569
    },
    {
      "epoch": 2.375,
      "grad_norm": 0.3105825248790639,
      "learning_rate": 2.5176380902050418e-05,
      "loss": 0.4842,
      "step": 570
    },
    {
      "epoch": 2.3791666666666664,
      "grad_norm": 0.3446065634556075,
      "learning_rate": 2.512016379443412e-05,
      "loss": 0.4676,
      "step": 571
    },
    {
      "epoch": 2.3833333333333333,
      "grad_norm": 0.3031685646264204,
      "learning_rate": 2.506390336209604e-05,
      "loss": 0.4777,
      "step": 572
    },
    {
      "epoch": 2.3875,
      "grad_norm": 0.3190633563175478,
      "learning_rate": 2.5007600081088833e-05,
      "loss": 0.472,
      "step": 573
    },
    {
      "epoch": 2.3916666666666666,
      "grad_norm": 0.30317278906178724,
      "learning_rate": 2.4951254427827723e-05,
      "loss": 0.4939,
      "step": 574
    },
    {
      "epoch": 2.3958333333333335,
      "grad_norm": 0.33341565510429794,
      "learning_rate": 2.4894866879086478e-05,
      "loss": 0.4677,
      "step": 575
    },
    {
      "epoch": 2.4,
      "grad_norm": 0.2866935477908003,
      "learning_rate": 2.4838437911993355e-05,
      "loss": 0.4809,
      "step": 576
    },
    {
      "epoch": 2.404166666666667,
      "grad_norm": 0.35012731057688545,
      "learning_rate": 2.478196800402709e-05,
      "loss": 0.4875,
      "step": 577
    },
    {
      "epoch": 2.408333333333333,
      "grad_norm": 0.2857732158533012,
      "learning_rate": 2.4725457633012836e-05,
      "loss": 0.4786,
      "step": 578
    },
    {
      "epoch": 2.4125,
      "grad_norm": 0.2922696264209706,
      "learning_rate": 2.4668907277118114e-05,
      "loss": 0.4742,
      "step": 579
    },
    {
      "epoch": 2.4166666666666665,
      "grad_norm": 0.2727927566881546,
      "learning_rate": 2.4612317414848804e-05,
      "loss": 0.494,
      "step": 580
    },
    {
      "epoch": 2.4208333333333334,
      "grad_norm": 0.29570114731198865,
      "learning_rate": 2.455568852504507e-05,
      "loss": 0.4741,
      "step": 581
    },
    {
      "epoch": 2.425,
      "grad_norm": 0.3708837715005484,
      "learning_rate": 2.4499021086877304e-05,
      "loss": 0.4887,
      "step": 582
    },
    {
      "epoch": 2.4291666666666667,
      "grad_norm": 0.2914145818910581,
      "learning_rate": 2.4442315579842068e-05,
      "loss": 0.4777,
      "step": 583
    },
    {
      "epoch": 2.4333333333333336,
      "grad_norm": 0.27994366238168417,
      "learning_rate": 2.4385572483758066e-05,
      "loss": 0.4984,
      "step": 584
    },
    {
      "epoch": 2.4375,
      "grad_norm": 0.3139348955681916,
      "learning_rate": 2.4328792278762058e-05,
      "loss": 0.4779,
      "step": 585
    },
    {
      "epoch": 2.4416666666666664,
      "grad_norm": 0.27424589280548484,
      "learning_rate": 2.4271975445304806e-05,
      "loss": 0.4771,
      "step": 586
    },
    {
      "epoch": 2.4458333333333333,
      "grad_norm": 0.32738262546874447,
      "learning_rate": 2.4215122464146996e-05,
      "loss": 0.4708,
      "step": 587
    },
    {
      "epoch": 2.45,
      "grad_norm": 0.2843471029941453,
      "learning_rate": 2.4158233816355185e-05,
      "loss": 0.4797,
      "step": 588
    },
    {
      "epoch": 2.4541666666666666,
      "grad_norm": 0.3486283991456439,
      "learning_rate": 2.4101309983297757e-05,
      "loss": 0.4921,
      "step": 589
    },
    {
      "epoch": 2.4583333333333335,
      "grad_norm": 0.2931710908645017,
      "learning_rate": 2.4044351446640763e-05,
      "loss": 0.4783,
      "step": 590
    },
    {
      "epoch": 2.4625,
      "grad_norm": 0.3772039960998048,
      "learning_rate": 2.3987358688343946e-05,
      "loss": 0.4876,
      "step": 591
    },
    {
      "epoch": 2.466666666666667,
      "grad_norm": 0.34693662887064003,
      "learning_rate": 2.3930332190656604e-05,
      "loss": 0.4796,
      "step": 592
    },
    {
      "epoch": 2.470833333333333,
      "grad_norm": 0.32582379868897454,
      "learning_rate": 2.3873272436113525e-05,
      "loss": 0.4913,
      "step": 593
    },
    {
      "epoch": 2.475,
      "grad_norm": 0.34143930489491536,
      "learning_rate": 2.38161799075309e-05,
      "loss": 0.473,
      "step": 594
    },
    {
      "epoch": 2.4791666666666665,
      "grad_norm": 0.3015093958025492,
      "learning_rate": 2.375905508800224e-05,
      "loss": 0.4784,
      "step": 595
    },
    {
      "epoch": 2.4833333333333334,
      "grad_norm": 0.32483312747413107,
      "learning_rate": 2.370189846089429e-05,
      "loss": 0.4756,
      "step": 596
    },
    {
      "epoch": 2.4875,
      "grad_norm": 0.30399694525041737,
      "learning_rate": 2.3644710509842956e-05,
      "loss": 0.4809,
      "step": 597
    },
    {
      "epoch": 2.4916666666666667,
      "grad_norm": 0.29199630583002084,
      "learning_rate": 2.358749171874915e-05,
      "loss": 0.4953,
      "step": 598
    },
    {
      "epoch": 2.4958333333333336,
      "grad_norm": 0.28833627252516764,
      "learning_rate": 2.3530242571774787e-05,
      "loss": 0.4902,
      "step": 599
    },
    {
      "epoch": 2.5,
      "grad_norm": 0.2731371512874426,
      "learning_rate": 2.3472963553338614e-05,
      "loss": 0.4934,
      "step": 600
    },
    {
      "epoch": 2.5041666666666664,
      "grad_norm": 0.2812643292598403,
      "learning_rate": 2.341565514811214e-05,
      "loss": 0.4834,
      "step": 601
    },
    {
      "epoch": 2.5083333333333333,
      "grad_norm": 0.2728818767616976,
      "learning_rate": 2.3358317841015547e-05,
      "loss": 0.4942,
      "step": 602
    },
    {
      "epoch": 2.5125,
      "grad_norm": 0.2835734026581958,
      "learning_rate": 2.3300952117213552e-05,
      "loss": 0.4884,
      "step": 603
    },
    {
      "epoch": 2.5166666666666666,
      "grad_norm": 0.27950979825189903,
      "learning_rate": 2.3243558462111354e-05,
      "loss": 0.4823,
      "step": 604
    },
    {
      "epoch": 2.5208333333333335,
      "grad_norm": 0.32855079628815703,
      "learning_rate": 2.3186137361350455e-05,
      "loss": 0.4809,
      "step": 605
    },
    {
      "epoch": 2.525,
      "grad_norm": 0.2865668790848711,
      "learning_rate": 2.312868930080462e-05,
      "loss": 0.4833,
      "step": 606
    },
    {
      "epoch": 2.529166666666667,
      "grad_norm": 0.362397932363514,
      "learning_rate": 2.3071214766575722e-05,
      "loss": 0.4882,
      "step": 607
    },
    {
      "epoch": 2.533333333333333,
      "grad_norm": 0.27359911997882985,
      "learning_rate": 2.3013714244989665e-05,
      "loss": 0.4704,
      "step": 608
    },
    {
      "epoch": 2.5375,
      "grad_norm": 0.411023294567305,
      "learning_rate": 2.2956188222592218e-05,
      "loss": 0.474,
      "step": 609
    },
    {
      "epoch": 2.5416666666666665,
      "grad_norm": 0.30896571731498135,
      "learning_rate": 2.2898637186144935e-05,
      "loss": 0.4877,
      "step": 610
    },
    {
      "epoch": 2.5458333333333334,
      "grad_norm": 0.37291302446089014,
      "learning_rate": 2.2841061622621052e-05,
      "loss": 0.4804,
      "step": 611
    },
    {
      "epoch": 2.55,
      "grad_norm": 0.30780547512469386,
      "learning_rate": 2.278346201920131e-05,
      "loss": 0.4834,
      "step": 612
    },
    {
      "epoch": 2.5541666666666667,
      "grad_norm": 0.38234307930546974,
      "learning_rate": 2.2725838863269894e-05,
      "loss": 0.4658,
      "step": 613
    },
    {
      "epoch": 2.5583333333333336,
      "grad_norm": 0.29580812288782055,
      "learning_rate": 2.2668192642410257e-05,
      "loss": 0.4819,
      "step": 614
    },
    {
      "epoch": 2.5625,
      "grad_norm": 0.2954304255659645,
      "learning_rate": 2.261052384440104e-05,
      "loss": 0.4885,
      "step": 615
    },
    {
      "epoch": 2.5666666666666664,
      "grad_norm": 0.2864840321894157,
      "learning_rate": 2.25528329572119e-05,
      "loss": 0.4803,
      "step": 616
    },
    {
      "epoch": 2.5708333333333333,
      "grad_norm": 0.3038019951115472,
      "learning_rate": 2.249512046899941e-05,
      "loss": 0.4904,
      "step": 617
    },
    {
      "epoch": 2.575,
      "grad_norm": 0.3018523128168798,
      "learning_rate": 2.243738686810295e-05,
      "loss": 0.481,
      "step": 618
    },
    {
      "epoch": 2.5791666666666666,
      "grad_norm": 0.3064640894185579,
      "learning_rate": 2.237963264304051e-05,
      "loss": 0.4826,
      "step": 619
    },
    {
      "epoch": 2.5833333333333335,
      "grad_norm": 0.33390959627026834,
      "learning_rate": 2.2321858282504606e-05,
      "loss": 0.4962,
      "step": 620
    },
    {
      "epoch": 2.5875,
      "grad_norm": 0.33593338556580077,
      "learning_rate": 2.226406427535814e-05,
      "loss": 0.4878,
      "step": 621
    },
    {
      "epoch": 2.591666666666667,
      "grad_norm": 0.36493331594003126,
      "learning_rate": 2.220625111063024e-05,
      "loss": 0.4862,
      "step": 622
    },
    {
      "epoch": 2.595833333333333,
      "grad_norm": 0.3421217275923928,
      "learning_rate": 2.214841927751215e-05,
      "loss": 0.4743,
      "step": 623
    },
    {
      "epoch": 2.6,
      "grad_norm": 0.3645361104855795,
      "learning_rate": 2.209056926535307e-05,
      "loss": 0.4823,
      "step": 624
    },
    {
      "epoch": 2.6041666666666665,
      "grad_norm": 0.31849245941437065,
      "learning_rate": 2.203270156365604e-05,
      "loss": 0.4932,
      "step": 625
    },
    {
      "epoch": 2.6083333333333334,
      "grad_norm": 0.30986398369115403,
      "learning_rate": 2.1974816662073758e-05,
      "loss": 0.4956,
      "step": 626
    },
    {
      "epoch": 2.6125,
      "grad_norm": 0.2985332744172327,
      "learning_rate": 2.1916915050404482e-05,
      "loss": 0.4814,
      "step": 627
    },
    {
      "epoch": 2.6166666666666667,
      "grad_norm": 0.28107318743495113,
      "learning_rate": 2.185899721858785e-05,
      "loss": 0.4851,
      "step": 628
    },
    {
      "epoch": 2.6208333333333336,
      "grad_norm": 0.28571519193262973,
      "learning_rate": 2.1801063656700747e-05,
      "loss": 0.4821,
      "step": 629
    },
    {
      "epoch": 2.625,
      "grad_norm": 0.2711978932752102,
      "learning_rate": 2.174311485495317e-05,
      "loss": 0.4954,
      "step": 630
    },
    {
      "epoch": 2.6291666666666664,
      "grad_norm": 0.29656648394449375,
      "learning_rate": 2.168515130368406e-05,
      "loss": 0.4781,
      "step": 631
    },
    {
      "epoch": 2.6333333333333333,
      "grad_norm": 0.3104422675510097,
      "learning_rate": 2.1627173493357167e-05,
      "loss": 0.4803,
      "step": 632
    },
    {
      "epoch": 2.6375,
      "grad_norm": 0.36965495278596316,
      "learning_rate": 2.1569181914556904e-05,
      "loss": 0.4826,
      "step": 633
    },
    {
      "epoch": 2.6416666666666666,
      "grad_norm": 0.3223492852763015,
      "learning_rate": 2.1511177057984164e-05,
      "loss": 0.4779,
      "step": 634
    },
    {
      "epoch": 2.6458333333333335,
      "grad_norm": 0.34318985783201117,
      "learning_rate": 2.1453159414452216e-05,
      "loss": 0.4884,
      "step": 635
    },
    {
      "epoch": 2.65,
      "grad_norm": 0.362660355217092,
      "learning_rate": 2.1395129474882507e-05,
      "loss": 0.4851,
      "step": 636
    },
    {
      "epoch": 2.654166666666667,
      "grad_norm": 0.3849296701995083,
      "learning_rate": 2.133708773030055e-05,
      "loss": 0.4781,
      "step": 637
    },
    {
      "epoch": 2.658333333333333,
      "grad_norm": 0.345196788673683,
      "learning_rate": 2.1279034671831714e-05,
      "loss": 0.4784,
      "step": 638
    },
    {
      "epoch": 2.6625,
      "grad_norm": 0.32279802778936617,
      "learning_rate": 2.1220970790697142e-05,
      "loss": 0.4917,
      "step": 639
    },
    {
      "epoch": 2.6666666666666665,
      "grad_norm": 0.3409858710595207,
      "learning_rate": 2.1162896578209517e-05,
      "loss": 0.4719,
      "step": 640
    },
    {
      "epoch": 2.6708333333333334,
      "grad_norm": 0.28185884498274283,
      "learning_rate": 2.1104812525768974e-05,
      "loss": 0.4868,
      "step": 641
    },
    {
      "epoch": 2.675,
      "grad_norm": 0.3499626677709927,
      "learning_rate": 2.1046719124858882e-05,
      "loss": 0.4861,
      "step": 642
    },
    {
      "epoch": 2.6791666666666667,
      "grad_norm": 0.32050661825638865,
      "learning_rate": 2.0988616867041724e-05,
      "loss": 0.4894,
      "step": 643
    },
    {
      "epoch": 2.6833333333333336,
      "grad_norm": 0.31129138266135237,
      "learning_rate": 2.093050624395494e-05,
      "loss": 0.4804,
      "step": 644
    },
    {
      "epoch": 2.6875,
      "grad_norm": 0.30995162670378557,
      "learning_rate": 2.0872387747306725e-05,
      "loss": 0.4846,
      "step": 645
    },
    {
      "epoch": 2.6916666666666664,
      "grad_norm": 0.30657951578221276,
      "learning_rate": 2.081426186887192e-05,
      "loss": 0.4799,
      "step": 646
    },
    {
      "epoch": 2.6958333333333333,
      "grad_norm": 0.28010159120030614,
      "learning_rate": 2.0756129100487824e-05,
      "loss": 0.48,
      "step": 647
    },
    {
      "epoch": 2.7,
      "grad_norm": 0.3218333829986327,
      "learning_rate": 2.0697989934050025e-05,
      "loss": 0.4907,
      "step": 648
    },
    {
      "epoch": 2.7041666666666666,
      "grad_norm": 0.306173405304901,
      "learning_rate": 2.063984486150826e-05,
      "loss": 0.4734,
      "step": 649
    },
    {
      "epoch": 2.7083333333333335,
      "grad_norm": 0.3130124259185629,
      "learning_rate": 2.058169437486223e-05,
      "loss": 0.4947,
      "step": 650
    },
    {
      "epoch": 2.7125,
      "grad_norm": 0.3322990379420207,
      "learning_rate": 2.0523538966157467e-05,
      "loss": 0.4835,
      "step": 651
    },
    {
      "epoch": 2.716666666666667,
      "grad_norm": 0.29992494239908996,
      "learning_rate": 2.0465379127481127e-05,
      "loss": 0.4772,
      "step": 652
    },
    {
      "epoch": 2.720833333333333,
      "grad_norm": 0.3178162321643254,
      "learning_rate": 2.0407215350957874e-05,
      "loss": 0.4683,
      "step": 653
    },
    {
      "epoch": 2.725,
      "grad_norm": 0.2867051833726081,
      "learning_rate": 2.0349048128745673e-05,
      "loss": 0.4803,
      "step": 654
    },
    {
      "epoch": 2.7291666666666665,
      "grad_norm": 0.35847920749443224,
      "learning_rate": 2.029087795303166e-05,
      "loss": 0.478,
      "step": 655
    },
    {
      "epoch": 2.7333333333333334,
      "grad_norm": 0.33294952908394987,
      "learning_rate": 2.0232705316027946e-05,
      "loss": 0.4652,
      "step": 656
    },
    {
      "epoch": 2.7375,
      "grad_norm": 0.38266650139915515,
      "learning_rate": 2.017453070996748e-05,
      "loss": 0.4826,
      "step": 657
    },
    {
      "epoch": 2.7416666666666667,
      "grad_norm": 0.30795152276985793,
      "learning_rate": 2.011635462709988e-05,
      "loss": 0.477,
      "step": 658
    },
    {
      "epoch": 2.7458333333333336,
      "grad_norm": 0.38585790311584595,
      "learning_rate": 2.0058177559687243e-05,
      "loss": 0.478,
      "step": 659
    },
    {
      "epoch": 2.75,
      "grad_norm": 0.27355684507598177,
      "learning_rate": 2e-05,
      "loss": 0.4815,
      "step": 660
    },
    {
      "epoch": 2.7541666666666664,
      "grad_norm": 0.36938965074944063,
      "learning_rate": 1.9941822440312767e-05,
      "loss": 0.481,
      "step": 661
    },
    {
      "epoch": 2.7583333333333333,
      "grad_norm": 0.30838872545055446,
      "learning_rate": 1.9883645372900123e-05,
      "loss": 0.4768,
      "step": 662
    },
    {
      "epoch": 2.7625,
      "grad_norm": 0.32239571777232606,
      "learning_rate": 1.9825469290032525e-05,
      "loss": 0.4805,
      "step": 663
    },
    {
      "epoch": 2.7666666666666666,
      "grad_norm": 0.31003015928588906,
      "learning_rate": 1.9767294683972064e-05,
      "loss": 0.4722,
      "step": 664
    },
    {
      "epoch": 2.7708333333333335,
      "grad_norm": 0.2864026736524577,
      "learning_rate": 1.9709122046968347e-05,
      "loss": 0.4831,
      "step": 665
    },
    {
      "epoch": 2.775,
      "grad_norm": 0.31752753580075455,
      "learning_rate": 1.965095187125433e-05,
      "loss": 0.4719,
      "step": 666
    },
    {
      "epoch": 2.779166666666667,
      "grad_norm": 0.24935376161786096,
      "learning_rate": 1.9592784649042126e-05,
      "loss": 0.4816,
      "step": 667
    },
    {
      "epoch": 2.783333333333333,
      "grad_norm": 0.30819566169829543,
      "learning_rate": 1.9534620872518877e-05,
      "loss": 0.4698,
      "step": 668
    },
    {
      "epoch": 2.7875,
      "grad_norm": 0.2717547936152192,
      "learning_rate": 1.9476461033842543e-05,
      "loss": 0.4726,
      "step": 669
    },
    {
      "epoch": 2.7916666666666665,
      "grad_norm": 0.2779824399041734,
      "learning_rate": 1.9418305625137773e-05,
      "loss": 0.4741,
      "step": 670
    },
    {
      "epoch": 2.7958333333333334,
      "grad_norm": 0.2607959193113493,
      "learning_rate": 1.936015513849175e-05,
      "loss": 0.4943,
      "step": 671
    },
    {
      "epoch": 2.8,
      "grad_norm": 0.26176751100628287,
      "learning_rate": 1.930201006594999e-05,
      "loss": 0.473,
      "step": 672
    },
    {
      "epoch": 2.8041666666666667,
      "grad_norm": 0.3139692117589432,
      "learning_rate": 1.9243870899512183e-05,
      "loss": 0.4751,
      "step": 673
    },
    {
      "epoch": 2.8083333333333336,
      "grad_norm": 0.24642201352931178,
      "learning_rate": 1.9185738131128085e-05,
      "loss": 0.4835,
      "step": 674
    },
    {
      "epoch": 2.8125,
      "grad_norm": 0.2942248041458852,
      "learning_rate": 1.9127612252693285e-05,
      "loss": 0.4795,
      "step": 675
    },
    {
      "epoch": 2.8166666666666664,
      "grad_norm": 0.31530719934076834,
      "learning_rate": 1.9069493756045066e-05,
      "loss": 0.4897,
      "step": 676
    },
    {
      "epoch": 2.8208333333333333,
      "grad_norm": 0.2856546329064761,
      "learning_rate": 1.9011383132958283e-05,
      "loss": 0.4822,
      "step": 677
    },
    {
      "epoch": 2.825,
      "grad_norm": 0.3142632497311166,
      "learning_rate": 1.8953280875141125e-05,
      "loss": 0.4808,
      "step": 678
    },
    {
      "epoch": 2.8291666666666666,
      "grad_norm": 0.2683101120621211,
      "learning_rate": 1.8895187474231033e-05,
      "loss": 0.4628,
      "step": 679
    },
    {
      "epoch": 2.8333333333333335,
      "grad_norm": 0.2985836933034999,
      "learning_rate": 1.8837103421790486e-05,
      "loss": 0.4849,
      "step": 680
    },
    {
      "epoch": 2.8375,
      "grad_norm": 0.289427551706044,
      "learning_rate": 1.877902920930286e-05,
      "loss": 0.482,
      "step": 681
    },
    {
      "epoch": 2.841666666666667,
      "grad_norm": 0.3177527556022089,
      "learning_rate": 1.872096532816829e-05,
      "loss": 0.4791,
      "step": 682
    },
    {
      "epoch": 2.845833333333333,
      "grad_norm": 0.29906446929376074,
      "learning_rate": 1.866291226969946e-05,
      "loss": 0.4795,
      "step": 683
    },
    {
      "epoch": 2.85,
      "grad_norm": 0.48825763612085826,
      "learning_rate": 1.8604870525117496e-05,
      "loss": 0.4725,
      "step": 684
    },
    {
      "epoch": 2.8541666666666665,
      "grad_norm": 0.2604887835947638,
      "learning_rate": 1.854684058554779e-05,
      "loss": 0.4892,
      "step": 685
    },
    {
      "epoch": 2.8583333333333334,
      "grad_norm": 0.2891297457749367,
      "learning_rate": 1.8488822942015846e-05,
      "loss": 0.4796,
      "step": 686
    },
    {
      "epoch": 2.8625,
      "grad_norm": 0.29497307175926024,
      "learning_rate": 1.8430818085443106e-05,
      "loss": 0.4825,
      "step": 687
    },
    {
      "epoch": 2.8666666666666667,
      "grad_norm": 0.27568988832284147,
      "learning_rate": 1.837282650664284e-05,
      "loss": 0.4716,
      "step": 688
    },
    {
      "epoch": 2.8708333333333336,
      "grad_norm": 0.28164760335757116,
      "learning_rate": 1.8314848696315944e-05,
      "loss": 0.4727,
      "step": 689
    },
    {
      "epoch": 2.875,
      "grad_norm": 0.32781527439873553,
      "learning_rate": 1.8256885145046837e-05,
      "loss": 0.4749,
      "step": 690
    },
    {
      "epoch": 2.8791666666666664,
      "grad_norm": 0.26859929264606247,
      "learning_rate": 1.8198936343299263e-05,
      "loss": 0.4904,
      "step": 691
    },
    {
      "epoch": 2.8833333333333333,
      "grad_norm": 0.31235195321834397,
      "learning_rate": 1.814100278141216e-05,
      "loss": 0.4783,
      "step": 692
    },
    {
      "epoch": 2.8875,
      "grad_norm": 0.28349927090727645,
      "learning_rate": 1.808308494959552e-05,
      "loss": 0.4787,
      "step": 693
    },
    {
      "epoch": 2.8916666666666666,
      "grad_norm": 0.3421647684660964,
      "learning_rate": 1.8025183337926246e-05,
      "loss": 0.4798,
      "step": 694
    },
    {
      "epoch": 2.8958333333333335,
      "grad_norm": 0.2796701862031352,
      "learning_rate": 1.7967298436343962e-05,
      "loss": 0.476,
      "step": 695
    },
    {
      "epoch": 2.9,
      "grad_norm": 0.3220797111739836,
      "learning_rate": 1.7909430734646936e-05,
      "loss": 0.4811,
      "step": 696
    },
    {
      "epoch": 2.904166666666667,
      "grad_norm": 0.31274151995402216,
      "learning_rate": 1.785158072248786e-05,
      "loss": 0.4785,
      "step": 697
    },
    {
      "epoch": 2.908333333333333,
      "grad_norm": 0.29229999279295854,
      "learning_rate": 1.7793748889369765e-05,
      "loss": 0.48,
      "step": 698
    },
    {
      "epoch": 2.9125,
      "grad_norm": 0.26620249138371865,
      "learning_rate": 1.773593572464187e-05,
      "loss": 0.4748,
      "step": 699
    },
    {
      "epoch": 2.9166666666666665,
      "grad_norm": 0.30555341782514805,
      "learning_rate": 1.7678141717495394e-05,
      "loss": 0.4818,
      "step": 700
    },
    {
      "epoch": 2.9208333333333334,
      "grad_norm": 0.27904991140839297,
      "learning_rate": 1.7620367356959496e-05,
      "loss": 0.4799,
      "step": 701
    },
    {
      "epoch": 2.925,
      "grad_norm": 0.2589424115631256,
      "learning_rate": 1.7562613131897056e-05,
      "loss": 0.4911,
      "step": 702
    },
    {
      "epoch": 2.9291666666666667,
      "grad_norm": 0.28711426353147407,
      "learning_rate": 1.7504879531000586e-05,
      "loss": 0.4773,
      "step": 703
    },
    {
      "epoch": 2.9333333333333336,
      "grad_norm": 0.2797634301160334,
      "learning_rate": 1.7447167042788108e-05,
      "loss": 0.4742,
      "step": 704
    },
    {
      "epoch": 2.9375,
      "grad_norm": 0.2789026208242064,
      "learning_rate": 1.7389476155598974e-05,
      "loss": 0.4785,
      "step": 705
    },
    {
      "epoch": 2.9416666666666664,
      "grad_norm": 0.27941490608839914,
      "learning_rate": 1.7331807357589746e-05,
      "loss": 0.484,
      "step": 706
    },
    {
      "epoch": 2.9458333333333333,
      "grad_norm": 0.24980148239002167,
      "learning_rate": 1.7274161136730113e-05,
      "loss": 0.4859,
      "step": 707
    },
    {
      "epoch": 2.95,
      "grad_norm": 0.29075679978363583,
      "learning_rate": 1.72165379807987e-05,
      "loss": 0.4841,
      "step": 708
    },
    {
      "epoch": 2.9541666666666666,
      "grad_norm": 0.254138267404262,
      "learning_rate": 1.715893837737895e-05,
      "loss": 0.4693,
      "step": 709
    },
    {
      "epoch": 2.9583333333333335,
      "grad_norm": 0.2644078856477545,
      "learning_rate": 1.7101362813855068e-05,
      "loss": 0.4841,
      "step": 710
    },
    {
      "epoch": 2.9625,
      "grad_norm": 0.2707508309415384,
      "learning_rate": 1.704381177740779e-05,
      "loss": 0.4746,
      "step": 711
    },
    {
      "epoch": 2.966666666666667,
      "grad_norm": 0.302779665861668,
      "learning_rate": 1.698628575501034e-05,
      "loss": 0.4927,
      "step": 712
    },
    {
      "epoch": 2.970833333333333,
      "grad_norm": 0.2818587997112645,
      "learning_rate": 1.692878523342428e-05,
      "loss": 0.49,
      "step": 713
    },
    {
      "epoch": 2.975,
      "grad_norm": 0.25255173004270365,
      "learning_rate": 1.687131069919538e-05,
      "loss": 0.4819,
      "step": 714
    },
    {
      "epoch": 2.9791666666666665,
      "grad_norm": 0.24769380833714336,
      "learning_rate": 1.6813862638649552e-05,
      "loss": 0.4665,
      "step": 715
    },
    {
      "epoch": 2.9833333333333334,
      "grad_norm": 0.8186960857739186,
      "learning_rate": 1.6756441537888656e-05,
      "loss": 0.4891,
      "step": 716
    },
    {
      "epoch": 2.9875,
      "grad_norm": 0.23989546466267106,
      "learning_rate": 1.6699047882786448e-05,
      "loss": 0.4724,
      "step": 717
    },
    {
      "epoch": 2.9916666666666667,
      "grad_norm": 0.26822524599446873,
      "learning_rate": 1.664168215898446e-05,
      "loss": 0.4761,
      "step": 718
    },
    {
      "epoch": 2.9958333333333336,
      "grad_norm": 0.25864883818718637,
      "learning_rate": 1.658434485188787e-05,
      "loss": 0.4938,
      "step": 719
    },
    {
      "epoch": 3.0,
      "grad_norm": 0.9863608439121576,
      "learning_rate": 1.6527036446661396e-05,
      "loss": 0.4882,
      "step": 720
    },
    {
      "epoch": 3.004166666666667,
      "grad_norm": 0.4553215419190219,
      "learning_rate": 1.6469757428225223e-05,
      "loss": 0.442,
      "step": 721
    },
    {
      "epoch": 3.0083333333333333,
      "grad_norm": 0.3346547609393649,
      "learning_rate": 1.641250828125085e-05,
      "loss": 0.4253,
      "step": 722
    },
    {
      "epoch": 3.0125,
      "grad_norm": 0.7617402105553378,
      "learning_rate": 1.635528949015705e-05,
      "loss": 0.4277,
      "step": 723
    },
    {
      "epoch": 3.0166666666666666,
      "grad_norm": 0.44764472631015995,
      "learning_rate": 1.6298101539105712e-05,
      "loss": 0.43,
      "step": 724
    },
    {
      "epoch": 3.0208333333333335,
      "grad_norm": 0.39211024119181387,
      "learning_rate": 1.6240944911997765e-05,
      "loss": 0.4256,
      "step": 725
    },
    {
      "epoch": 3.025,
      "grad_norm": 0.5406087803487221,
      "learning_rate": 1.6183820092469103e-05,
      "loss": 0.4304,
      "step": 726
    },
    {
      "epoch": 3.029166666666667,
      "grad_norm": 0.334633304360574,
      "learning_rate": 1.6126727563886485e-05,
      "loss": 0.437,
      "step": 727
    },
    {
      "epoch": 3.033333333333333,
      "grad_norm": 0.41880295084448826,
      "learning_rate": 1.6069667809343396e-05,
      "loss": 0.4282,
      "step": 728
    },
    {
      "epoch": 3.0375,
      "grad_norm": 0.34875255135420846,
      "learning_rate": 1.601264131165606e-05,
      "loss": 0.44,
      "step": 729
    },
    {
      "epoch": 3.0416666666666665,
      "grad_norm": 0.4073496235886376,
      "learning_rate": 1.5955648553359247e-05,
      "loss": 0.4316,
      "step": 730
    },
    {
      "epoch": 3.0458333333333334,
      "grad_norm": 0.34421342187075615,
      "learning_rate": 1.5898690016702253e-05,
      "loss": 0.4341,
      "step": 731
    },
    {
      "epoch": 3.05,
      "grad_norm": 0.38375536775928965,
      "learning_rate": 1.584176618364482e-05,
      "loss": 0.4333,
      "step": 732
    },
    {
      "epoch": 3.0541666666666667,
      "grad_norm": 0.3366285058229145,
      "learning_rate": 1.5784877535853014e-05,
      "loss": 0.4268,
      "step": 733
    },
    {
      "epoch": 3.058333333333333,
      "grad_norm": 0.3362729482038323,
      "learning_rate": 1.5728024554695204e-05,
      "loss": 0.4389,
      "step": 734
    },
    {
      "epoch": 3.0625,
      "grad_norm": 0.2998832004248903,
      "learning_rate": 1.5671207721237945e-05,
      "loss": 0.4442,
      "step": 735
    },
    {
      "epoch": 3.066666666666667,
      "grad_norm": 0.34966088213714075,
      "learning_rate": 1.561442751624193e-05,
      "loss": 0.4384,
      "step": 736
    },
    {
      "epoch": 3.0708333333333333,
      "grad_norm": 0.27872667923184025,
      "learning_rate": 1.555768442015794e-05,
      "loss": 0.4284,
      "step": 737
    },
    {
      "epoch": 3.075,
      "grad_norm": 0.3236550012052647,
      "learning_rate": 1.5500978913122702e-05,
      "loss": 0.422,
      "step": 738
    },
    {
      "epoch": 3.0791666666666666,
      "grad_norm": 0.3117885050543731,
      "learning_rate": 1.5444311474954932e-05,
      "loss": 0.4191,
      "step": 739
    },
    {
      "epoch": 3.0833333333333335,
      "grad_norm": 0.33789730280824243,
      "learning_rate": 1.53876825851512e-05,
      "loss": 0.4337,
      "step": 740
    },
    {
      "epoch": 3.0875,
      "grad_norm": 0.285944847478769,
      "learning_rate": 1.53310927228819e-05,
      "loss": 0.4263,
      "step": 741
    },
    {
      "epoch": 3.091666666666667,
      "grad_norm": 0.3510496778017806,
      "learning_rate": 1.5274542366987174e-05,
      "loss": 0.417,
      "step": 742
    },
    {
      "epoch": 3.095833333333333,
      "grad_norm": 0.27600185930574017,
      "learning_rate": 1.5218031995972917e-05,
      "loss": 0.4251,
      "step": 743
    },
    {
      "epoch": 3.1,
      "grad_norm": 0.309855102830333,
      "learning_rate": 1.5161562088006649e-05,
      "loss": 0.4315,
      "step": 744
    },
    {
      "epoch": 3.1041666666666665,
      "grad_norm": 0.2835345622257406,
      "learning_rate": 1.5105133120913524e-05,
      "loss": 0.415,
      "step": 745
    },
    {
      "epoch": 3.1083333333333334,
      "grad_norm": 0.2904891286285475,
      "learning_rate": 1.5048745572172286e-05,
      "loss": 0.4263,
      "step": 746
    },
    {
      "epoch": 3.1125,
      "grad_norm": 0.3020768138294881,
      "learning_rate": 1.4992399918911168e-05,
      "loss": 0.4254,
      "step": 747
    },
    {
      "epoch": 3.1166666666666667,
      "grad_norm": 0.2567339425896942,
      "learning_rate": 1.4936096637903967e-05,
      "loss": 0.4177,
      "step": 748
    },
    {
      "epoch": 3.120833333333333,
      "grad_norm": 0.31943536839494713,
      "learning_rate": 1.4879836205565887e-05,
      "loss": 0.4216,
      "step": 749
    },
    {
      "epoch": 3.125,
      "grad_norm": 0.28340540020844907,
      "learning_rate": 1.4823619097949584e-05,
      "loss": 0.4281,
      "step": 750
    },
    {
      "epoch": 3.129166666666667,
      "grad_norm": 0.3233306102663907,
      "learning_rate": 1.4767445790741133e-05,
      "loss": 0.4169,
      "step": 751
    },
    {
      "epoch": 3.1333333333333333,
      "grad_norm": 0.26943204536316995,
      "learning_rate": 1.4711316759255963e-05,
      "loss": 0.4394,
      "step": 752
    },
    {
      "epoch": 3.1375,
      "grad_norm": 0.30734781387088517,
      "learning_rate": 1.4655232478434864e-05,
      "loss": 0.4275,
      "step": 753
    },
    {
      "epoch": 3.1416666666666666,
      "grad_norm": 0.26633436967378,
      "learning_rate": 1.4599193422839987e-05,
      "loss": 0.4347,
      "step": 754
    },
    {
      "epoch": 3.1458333333333335,
      "grad_norm": 0.2795592273551353,
      "learning_rate": 1.4543200066650786e-05,
      "loss": 0.4293,
      "step": 755
    },
    {
      "epoch": 3.15,
      "grad_norm": 0.27470260185672285,
      "learning_rate": 1.4487252883660019e-05,
      "loss": 0.4202,
      "step": 756
    },
    {
      "epoch": 3.154166666666667,
      "grad_norm": 0.2685587568717203,
      "learning_rate": 1.4431352347269769e-05,
      "loss": 0.4327,
      "step": 757
    },
    {
      "epoch": 3.158333333333333,
      "grad_norm": 0.2681429889390549,
      "learning_rate": 1.4375498930487388e-05,
      "loss": 0.4311,
      "step": 758
    },
    {
      "epoch": 3.1625,
      "grad_norm": 0.2520461067626849,
      "learning_rate": 1.4319693105921548e-05,
      "loss": 0.4422,
      "step": 759
    },
    {
      "epoch": 3.1666666666666665,
      "grad_norm": 0.2863268941620605,
      "learning_rate": 1.4263935345778202e-05,
      "loss": 0.4241,
      "step": 760
    },
    {
      "epoch": 3.1708333333333334,
      "grad_norm": 0.26592210134274163,
      "learning_rate": 1.4208226121856586e-05,
      "loss": 0.4322,
      "step": 761
    },
    {
      "epoch": 3.175,
      "grad_norm": 0.2553802812490062,
      "learning_rate": 1.4152565905545268e-05,
      "loss": 0.4213,
      "step": 762
    },
    {
      "epoch": 3.1791666666666667,
      "grad_norm": 0.29370502446501184,
      "learning_rate": 1.4096955167818128e-05,
      "loss": 0.431,
      "step": 763
    },
    {
      "epoch": 3.183333333333333,
      "grad_norm": 0.23575752597155059,
      "learning_rate": 1.404139437923036e-05,
      "loss": 0.422,
      "step": 764
    },
    {
      "epoch": 3.1875,
      "grad_norm": 0.2759050484039525,
      "learning_rate": 1.3985884009914542e-05,
      "loss": 0.4131,
      "step": 765
    },
    {
      "epoch": 3.191666666666667,
      "grad_norm": 0.23810740961350238,
      "learning_rate": 1.3930424529576593e-05,
      "loss": 0.4289,
      "step": 766
    },
    {
      "epoch": 3.1958333333333333,
      "grad_norm": 0.26673988400154236,
      "learning_rate": 1.387501640749184e-05,
      "loss": 0.4241,
      "step": 767
    },
    {
      "epoch": 3.2,
      "grad_norm": 0.2536148256121875,
      "learning_rate": 1.3819660112501054e-05,
      "loss": 0.4338,
      "step": 768
    },
    {
      "epoch": 3.2041666666666666,
      "grad_norm": 0.2632214245807616,
      "learning_rate": 1.3764356113006441e-05,
      "loss": 0.4337,
      "step": 769
    },
    {
      "epoch": 3.2083333333333335,
      "grad_norm": 0.26270674933237137,
      "learning_rate": 1.3709104876967732e-05,
      "loss": 0.4209,
      "step": 770
    },
    {
      "epoch": 3.2125,
      "grad_norm": 0.2831481416442291,
      "learning_rate": 1.3653906871898161e-05,
      "loss": 0.444,
      "step": 771
    },
    {
      "epoch": 3.216666666666667,
      "grad_norm": 0.24154882652104262,
      "learning_rate": 1.3598762564860569e-05,
      "loss": 0.4355,
      "step": 772
    },
    {
      "epoch": 3.220833333333333,
      "grad_norm": 0.2833447223640067,
      "learning_rate": 1.3543672422463426e-05,
      "loss": 0.4168,
      "step": 773
    },
    {
      "epoch": 3.225,
      "grad_norm": 0.2628323532399339,
      "learning_rate": 1.3488636910856871e-05,
      "loss": 0.4406,
      "step": 774
    },
    {
      "epoch": 3.2291666666666665,
      "grad_norm": 0.25655483692387615,
      "learning_rate": 1.3433656495728781e-05,
      "loss": 0.4341,
      "step": 775
    },
    {
      "epoch": 3.2333333333333334,
      "grad_norm": 2.2837855068570425,
      "learning_rate": 1.3378731642300841e-05,
      "loss": 0.4186,
      "step": 776
    },
    {
      "epoch": 3.2375,
      "grad_norm": 0.2920682106864273,
      "learning_rate": 1.3323862815324585e-05,
      "loss": 0.4331,
      "step": 777
    },
    {
      "epoch": 3.2416666666666667,
      "grad_norm": 0.23551369094510202,
      "learning_rate": 1.3269050479077472e-05,
      "loss": 0.4301,
      "step": 778
    },
    {
      "epoch": 3.245833333333333,
      "grad_norm": 0.2656958070325992,
      "learning_rate": 1.321429509735898e-05,
      "loss": 0.4279,
      "step": 779
    },
    {
      "epoch": 3.25,
      "grad_norm": 0.2991749649137243,
      "learning_rate": 1.3159597133486628e-05,
      "loss": 0.4294,
      "step": 780
    },
    {
      "epoch": 3.2541666666666664,
      "grad_norm": 0.2434578439510396,
      "learning_rate": 1.3104957050292117e-05,
      "loss": 0.4412,
      "step": 781
    },
    {
      "epoch": 3.2583333333333333,
      "grad_norm": 0.2535855586410148,
      "learning_rate": 1.3050375310117374e-05,
      "loss": 0.4332,
      "step": 782
    },
    {
      "epoch": 3.2625,
      "grad_norm": 0.23582886808116976,
      "learning_rate": 1.2995852374810652e-05,
      "loss": 0.4411,
      "step": 783
    },
    {
      "epoch": 3.2666666666666666,
      "grad_norm": 0.24057762054402668,
      "learning_rate": 1.2941388705722627e-05,
      "loss": 0.4269,
      "step": 784
    },
    {
      "epoch": 3.2708333333333335,
      "grad_norm": 0.2770818398433449,
      "learning_rate": 1.2886984763702474e-05,
      "loss": 0.4364,
      "step": 785
    },
    {
      "epoch": 3.275,
      "grad_norm": 0.24059727378628445,
      "learning_rate": 1.2832641009093995e-05,
      "loss": 0.427,
      "step": 786
    },
    {
      "epoch": 3.279166666666667,
      "grad_norm": 0.24592557304712342,
      "learning_rate": 1.2778357901731714e-05,
      "loss": 0.436,
      "step": 787
    },
    {
      "epoch": 3.283333333333333,
      "grad_norm": 0.28077647477255835,
      "learning_rate": 1.2724135900936979e-05,
      "loss": 0.4284,
      "step": 788
    },
    {
      "epoch": 3.2875,
      "grad_norm": 0.2729231049928039,
      "learning_rate": 1.2669975465514057e-05,
      "loss": 0.4289,
      "step": 789
    },
    {
      "epoch": 3.2916666666666665,
      "grad_norm": 0.25905198604864066,
      "learning_rate": 1.2615877053746315e-05,
      "loss": 0.432,
      "step": 790
    },
    {
      "epoch": 3.2958333333333334,
      "grad_norm": 0.29199121007908796,
      "learning_rate": 1.2561841123392266e-05,
      "loss": 0.4295,
      "step": 791
    },
    {
      "epoch": 3.3,
      "grad_norm": 0.28210773206628265,
      "learning_rate": 1.250786813168176e-05,
      "loss": 0.4289,
      "step": 792
    },
    {
      "epoch": 3.3041666666666667,
      "grad_norm": 0.2850450125076269,
      "learning_rate": 1.2453958535312064e-05,
      "loss": 0.418,
      "step": 793
    },
    {
      "epoch": 3.3083333333333336,
      "grad_norm": 0.27146762199853464,
      "learning_rate": 1.2400112790444024e-05,
      "loss": 0.423,
      "step": 794
    },
    {
      "epoch": 3.3125,
      "grad_norm": 0.29140255218967065,
      "learning_rate": 1.2346331352698206e-05,
      "loss": 0.4415,
      "step": 795
    },
    {
      "epoch": 3.3166666666666664,
      "grad_norm": 0.2577245277320008,
      "learning_rate": 1.2292614677151038e-05,
      "loss": 0.44,
      "step": 796
    },
    {
      "epoch": 3.3208333333333333,
      "grad_norm": 0.2596945100873493,
      "learning_rate": 1.2238963218330944e-05,
      "loss": 0.4293,
      "step": 797
    },
    {
      "epoch": 3.325,
      "grad_norm": 0.27660509793874966,
      "learning_rate": 1.218537743021453e-05,
      "loss": 0.424,
      "step": 798
    },
    {
      "epoch": 3.3291666666666666,
      "grad_norm": 0.24668112612335116,
      "learning_rate": 1.2131857766222703e-05,
      "loss": 0.4257,
      "step": 799
    },
    {
      "epoch": 3.3333333333333335,
      "grad_norm": 0.2460564650786363,
      "learning_rate": 1.2078404679216864e-05,
      "loss": 0.4325,
      "step": 800
    },
    {
      "epoch": 3.3375,
      "grad_norm": 0.2669782203339851,
      "learning_rate": 1.2025018621495077e-05,
      "loss": 0.4223,
      "step": 801
    },
    {
      "epoch": 3.341666666666667,
      "grad_norm": 0.2720653092416133,
      "learning_rate": 1.1971700044788213e-05,
      "loss": 0.4262,
      "step": 802
    },
    {
      "epoch": 3.345833333333333,
      "grad_norm": 0.23667898731846967,
      "learning_rate": 1.191844940025617e-05,
      "loss": 0.434,
      "step": 803
    },
    {
      "epoch": 3.35,
      "grad_norm": 0.26350049401274,
      "learning_rate": 1.1865267138484e-05,
      "loss": 0.4309,
      "step": 804
    },
    {
      "epoch": 3.3541666666666665,
      "grad_norm": 0.28265933764713735,
      "learning_rate": 1.1812153709478149e-05,
      "loss": 0.4369,
      "step": 805
    },
    {
      "epoch": 3.3583333333333334,
      "grad_norm": 0.2624729901644893,
      "learning_rate": 1.1759109562662633e-05,
      "loss": 0.4325,
      "step": 806
    },
    {
      "epoch": 3.3625,
      "grad_norm": 0.25993858855087854,
      "learning_rate": 1.1706135146875224e-05,
      "loss": 0.4351,
      "step": 807
    },
    {
      "epoch": 3.3666666666666667,
      "grad_norm": 0.2508735416582612,
      "learning_rate": 1.1653230910363645e-05,
      "loss": 0.4115,
      "step": 808
    },
    {
      "epoch": 3.3708333333333336,
      "grad_norm": 0.2791637047434572,
      "learning_rate": 1.1600397300781811e-05,
      "loss": 0.4041,
      "step": 809
    },
    {
      "epoch": 3.375,
      "grad_norm": 0.24766768453306345,
      "learning_rate": 1.1547634765186016e-05,
      "loss": 0.4322,
      "step": 810
    },
    {
      "epoch": 3.3791666666666664,
      "grad_norm": 0.2648317054434943,
      "learning_rate": 1.1494943750031144e-05,
      "loss": 0.4313,
      "step": 811
    },
    {
      "epoch": 3.3833333333333333,
      "grad_norm": 0.2794648606575172,
      "learning_rate": 1.144232470116692e-05,
      "loss": 0.4216,
      "step": 812
    },
    {
      "epoch": 3.3875,
      "grad_norm": 0.2587543354259146,
      "learning_rate": 1.1389778063834094e-05,
      "loss": 0.431,
      "step": 813
    },
    {
      "epoch": 3.3916666666666666,
      "grad_norm": 0.26279148603900554,
      "learning_rate": 1.1337304282660746e-05,
      "loss": 0.4521,
      "step": 814
    },
    {
      "epoch": 3.3958333333333335,
      "grad_norm": 0.2758234109789757,
      "learning_rate": 1.1284903801658418e-05,
      "loss": 0.437,
      "step": 815
    },
    {
      "epoch": 3.4,
      "grad_norm": 0.4967781086358191,
      "learning_rate": 1.123257706421845e-05,
      "loss": 0.4372,
      "step": 816
    },
    {
      "epoch": 3.404166666666667,
      "grad_norm": 0.278277793413537,
      "learning_rate": 1.1180324513108203e-05,
      "loss": 0.448,
      "step": 817
    },
    {
      "epoch": 3.408333333333333,
      "grad_norm": 0.2730409852860853,
      "learning_rate": 1.112814659046729e-05,
      "loss": 0.4445,
      "step": 818
    },
    {
      "epoch": 3.4125,
      "grad_norm": 0.24090889416159056,
      "learning_rate": 1.1076043737803825e-05,
      "loss": 0.429,
      "step": 819
    },
    {
      "epoch": 3.4166666666666665,
      "grad_norm": 0.2613977673243055,
      "learning_rate": 1.1024016395990758e-05,
      "loss": 0.4517,
      "step": 820
    },
    {
      "epoch": 3.4208333333333334,
      "grad_norm": 0.2723830432750871,
      "learning_rate": 1.0972065005262067e-05,
      "loss": 0.4271,
      "step": 821
    },
    {
      "epoch": 3.425,
      "grad_norm": 0.23431381796229808,
      "learning_rate": 1.0920190005209066e-05,
      "loss": 0.4173,
      "step": 822
    },
    {
      "epoch": 3.4291666666666667,
      "grad_norm": 0.25130503185627423,
      "learning_rate": 1.086839183477669e-05,
      "loss": 0.4364,
      "step": 823
    },
    {
      "epoch": 3.4333333333333336,
      "grad_norm": 0.24352887204404178,
      "learning_rate": 1.0816670932259763e-05,
      "loss": 0.432,
      "step": 824
    },
    {
      "epoch": 3.4375,
      "grad_norm": 0.24499362422587945,
      "learning_rate": 1.0765027735299327e-05,
      "loss": 0.4209,
      "step": 825
    },
    {
      "epoch": 3.4416666666666664,
      "grad_norm": 0.2597047330102018,
      "learning_rate": 1.0713462680878864e-05,
      "loss": 0.4218,
      "step": 826
    },
    {
      "epoch": 3.4458333333333333,
      "grad_norm": 0.2543222339251796,
      "learning_rate": 1.066197620532068e-05,
      "loss": 0.4343,
      "step": 827
    },
    {
      "epoch": 3.45,
      "grad_norm": 0.27914449181031836,
      "learning_rate": 1.061056874428219e-05,
      "loss": 0.4268,
      "step": 828
    },
    {
      "epoch": 3.4541666666666666,
      "grad_norm": 0.24727420683509194,
      "learning_rate": 1.055924073275218e-05,
      "loss": 0.4262,
      "step": 829
    },
    {
      "epoch": 3.4583333333333335,
      "grad_norm": 0.23817092527660053,
      "learning_rate": 1.0507992605047193e-05,
      "loss": 0.4351,
      "step": 830
    },
    {
      "epoch": 3.4625,
      "grad_norm": 0.269226319761995,
      "learning_rate": 1.0456824794807832e-05,
      "loss": 0.4159,
      "step": 831
    },
    {
      "epoch": 3.466666666666667,
      "grad_norm": 0.22706118135597111,
      "learning_rate": 1.0405737734995083e-05,
      "loss": 0.417,
      "step": 832
    },
    {
      "epoch": 3.470833333333333,
      "grad_norm": 0.248229884622277,
      "learning_rate": 1.0354731857886628e-05,
      "loss": 0.4268,
      "step": 833
    },
    {
      "epoch": 3.475,
      "grad_norm": 0.2579919126995357,
      "learning_rate": 1.0303807595073262e-05,
      "loss": 0.4295,
      "step": 834
    },
    {
      "epoch": 3.4791666666666665,
      "grad_norm": 0.24699636117410342,
      "learning_rate": 1.0252965377455155e-05,
      "loss": 0.4367,
      "step": 835
    },
    {
      "epoch": 3.4833333333333334,
      "grad_norm": 0.28296160575255175,
      "learning_rate": 1.0202205635238263e-05,
      "loss": 0.4212,
      "step": 836
    },
    {
      "epoch": 3.4875,
      "grad_norm": 0.253903070062746,
      "learning_rate": 1.0151528797930662e-05,
      "loss": 0.428,
      "step": 837
    },
    {
      "epoch": 3.4916666666666667,
      "grad_norm": 0.2678111364930371,
      "learning_rate": 1.010093529433892e-05,
      "loss": 0.4333,
      "step": 838
    },
    {
      "epoch": 3.4958333333333336,
      "grad_norm": 0.28569613441522584,
      "learning_rate": 1.0050425552564475e-05,
      "loss": 0.444,
      "step": 839
    },
    {
      "epoch": 3.5,
      "grad_norm": 0.2616699443490625,
      "learning_rate": 1.0000000000000006e-05,
      "loss": 0.4275,
      "step": 840
    },
    {
      "epoch": 3.5041666666666664,
      "grad_norm": 0.23991683310829567,
      "learning_rate": 9.949659063325801e-06,
      "loss": 0.4354,
      "step": 841
    },
    {
      "epoch": 3.5083333333333333,
      "grad_norm": 0.25333441281428676,
      "learning_rate": 9.899403168506206e-06,
      "loss": 0.425,
      "step": 842
    },
    {
      "epoch": 3.5125,
      "grad_norm": 0.2583901795256148,
      "learning_rate": 9.849232740785923e-06,
      "loss": 0.4165,
      "step": 843
    },
    {
      "epoch": 3.5166666666666666,
      "grad_norm": 0.258766827716537,
      "learning_rate": 9.799148204686495e-06,
      "loss": 0.4222,
      "step": 844
    },
    {
      "epoch": 3.5208333333333335,
      "grad_norm": 0.23361767765149088,
      "learning_rate": 9.749149984002697e-06,
      "loss": 0.4313,
      "step": 845
    },
    {
      "epoch": 3.525,
      "grad_norm": 0.24494316775289982,
      "learning_rate": 9.699238501798916e-06,
      "loss": 0.4349,
      "step": 846
    },
    {
      "epoch": 3.529166666666667,
      "grad_norm": 0.2277772919248126,
      "learning_rate": 9.649414180405605e-06,
      "loss": 0.4308,
      "step": 847
    },
    {
      "epoch": 3.533333333333333,
      "grad_norm": 0.23059503527650352,
      "learning_rate": 9.599677441415694e-06,
      "loss": 0.4305,
      "step": 848
    },
    {
      "epoch": 3.5375,
      "grad_norm": 0.2437852407069819,
      "learning_rate": 9.550028705681024e-06,
      "loss": 0.4181,
      "step": 849
    },
    {
      "epoch": 3.5416666666666665,
      "grad_norm": 0.21980744804832897,
      "learning_rate": 9.5004683933088e-06,
      "loss": 0.4336,
      "step": 850
    },
    {
      "epoch": 3.5458333333333334,
      "grad_norm": 0.23586799114244095,
      "learning_rate": 9.450996923658011e-06,
      "loss": 0.424,
      "step": 851
    },
    {
      "epoch": 3.55,
      "grad_norm": 0.23101549640713356,
      "learning_rate": 9.401614715335905e-06,
      "loss": 0.4414,
      "step": 852
    },
    {
      "epoch": 3.5541666666666667,
      "grad_norm": 0.2543015217067435,
      "learning_rate": 9.352322186194434e-06,
      "loss": 0.4207,
      "step": 853
    },
    {
      "epoch": 3.5583333333333336,
      "grad_norm": 0.2474455410573432,
      "learning_rate": 9.30311975332672e-06,
      "loss": 0.4302,
      "step": 854
    },
    {
      "epoch": 3.5625,
      "grad_norm": 0.2467040597988035,
      "learning_rate": 9.254007833063521e-06,
      "loss": 0.4169,
      "step": 855
    },
    {
      "epoch": 3.5666666666666664,
      "grad_norm": 0.22445148715022797,
      "learning_rate": 9.204986840969749e-06,
      "loss": 0.4377,
      "step": 856
    },
    {
      "epoch": 3.5708333333333333,
      "grad_norm": 0.22532670015641615,
      "learning_rate": 9.15605719184086e-06,
      "loss": 0.4379,
      "step": 857
    },
    {
      "epoch": 3.575,
      "grad_norm": 0.22679892582526776,
      "learning_rate": 9.107219299699459e-06,
      "loss": 0.4266,
      "step": 858
    },
    {
      "epoch": 3.5791666666666666,
      "grad_norm": 0.23628320554221474,
      "learning_rate": 9.058473577791708e-06,
      "loss": 0.4213,
      "step": 859
    },
    {
      "epoch": 3.5833333333333335,
      "grad_norm": 0.2469267203793668,
      "learning_rate": 9.009820438583881e-06,
      "loss": 0.4235,
      "step": 860
    },
    {
      "epoch": 3.5875,
      "grad_norm": 0.23285142636796569,
      "learning_rate": 8.961260293758838e-06,
      "loss": 0.4254,
      "step": 861
    },
    {
      "epoch": 3.591666666666667,
      "grad_norm": 0.2596335466780474,
      "learning_rate": 8.912793554212571e-06,
      "loss": 0.4277,
      "step": 862
    },
    {
      "epoch": 3.595833333333333,
      "grad_norm": 0.23540907434240832,
      "learning_rate": 8.864420630050713e-06,
      "loss": 0.4254,
      "step": 863
    },
    {
      "epoch": 3.6,
      "grad_norm": 0.24066382679579734,
      "learning_rate": 8.816141930585067e-06,
      "loss": 0.4348,
      "step": 864
    },
    {
      "epoch": 3.6041666666666665,
      "grad_norm": 0.24659185351071644,
      "learning_rate": 8.767957864330145e-06,
      "loss": 0.423,
      "step": 865
    },
    {
      "epoch": 3.6083333333333334,
      "grad_norm": 0.26254276874801447,
      "learning_rate": 8.719868838999717e-06,
      "loss": 0.4223,
      "step": 866
    },
    {
      "epoch": 3.6125,
      "grad_norm": 0.24175527998522886,
      "learning_rate": 8.67187526150335e-06,
      "loss": 0.4177,
      "step": 867
    },
    {
      "epoch": 3.6166666666666667,
      "grad_norm": 0.26234486140683905,
      "learning_rate": 8.623977537942969e-06,
      "loss": 0.432,
      "step": 868
    },
    {
      "epoch": 3.6208333333333336,
      "grad_norm": 0.25245766823427906,
      "learning_rate": 8.576176073609425e-06,
      "loss": 0.4222,
      "step": 869
    },
    {
      "epoch": 3.625,
      "grad_norm": 0.2452184009190872,
      "learning_rate": 8.528471272979083e-06,
      "loss": 0.4249,
      "step": 870
    },
    {
      "epoch": 3.6291666666666664,
      "grad_norm": 0.239440094128956,
      "learning_rate": 8.480863539710333e-06,
      "loss": 0.4339,
      "step": 871
    },
    {
      "epoch": 3.6333333333333333,
      "grad_norm": 0.24943013686847895,
      "learning_rate": 8.43335327664027e-06,
      "loss": 0.4245,
      "step": 872
    },
    {
      "epoch": 3.6375,
      "grad_norm": 0.39400852388150026,
      "learning_rate": 8.385940885781205e-06,
      "loss": 0.4611,
      "step": 873
    },
    {
      "epoch": 3.6416666666666666,
      "grad_norm": 0.29124766926499246,
      "learning_rate": 8.338626768317306e-06,
      "loss": 0.4273,
      "step": 874
    },
    {
      "epoch": 3.6458333333333335,
      "grad_norm": 0.24491084112074304,
      "learning_rate": 8.291411324601191e-06,
      "loss": 0.4035,
      "step": 875
    },
    {
      "epoch": 3.65,
      "grad_norm": 0.2513834105330395,
      "learning_rate": 8.24429495415054e-06,
      "loss": 0.4294,
      "step": 876
    },
    {
      "epoch": 3.654166666666667,
      "grad_norm": 0.26844357127395707,
      "learning_rate": 8.197278055644715e-06,
      "loss": 0.4251,
      "step": 877
    },
    {
      "epoch": 3.658333333333333,
      "grad_norm": 0.2508877367249821,
      "learning_rate": 8.15036102692139e-06,
      "loss": 0.4321,
      "step": 878
    },
    {
      "epoch": 3.6625,
      "grad_norm": 0.24094131399966962,
      "learning_rate": 8.103544264973178e-06,
      "loss": 0.4295,
      "step": 879
    },
    {
      "epoch": 3.6666666666666665,
      "grad_norm": 0.2614406740434721,
      "learning_rate": 8.056828165944282e-06,
      "loss": 0.4304,
      "step": 880
    },
    {
      "epoch": 3.6708333333333334,
      "grad_norm": 0.23834900075133839,
      "learning_rate": 8.010213125127128e-06,
      "loss": 0.4192,
      "step": 881
    },
    {
      "epoch": 3.675,
      "grad_norm": 0.22299294306987325,
      "learning_rate": 7.963699536959032e-06,
      "loss": 0.4334,
      "step": 882
    },
    {
      "epoch": 3.6791666666666667,
      "grad_norm": 0.2256000897526422,
      "learning_rate": 7.917287795018874e-06,
      "loss": 0.4464,
      "step": 883
    },
    {
      "epoch": 3.6833333333333336,
      "grad_norm": 0.22392205740979662,
      "learning_rate": 7.870978292023739e-06,
      "loss": 0.4391,
      "step": 884
    },
    {
      "epoch": 3.6875,
      "grad_norm": 0.23834812496767688,
      "learning_rate": 7.824771419825588e-06,
      "loss": 0.4327,
      "step": 885
    },
    {
      "epoch": 3.6916666666666664,
      "grad_norm": 0.2463708325287563,
      "learning_rate": 7.778667569408006e-06,
      "loss": 0.4364,
      "step": 886
    },
    {
      "epoch": 3.6958333333333333,
      "grad_norm": 0.21688651846886733,
      "learning_rate": 7.732667130882819e-06,
      "loss": 0.4414,
      "step": 887
    },
    {
      "epoch": 3.7,
      "grad_norm": 0.23064416958505793,
      "learning_rate": 7.686770493486835e-06,
      "loss": 0.4397,
      "step": 888
    },
    {
      "epoch": 3.7041666666666666,
      "grad_norm": 0.25497031875444703,
      "learning_rate": 7.640978045578538e-06,
      "loss": 0.4185,
      "step": 889
    },
    {
      "epoch": 3.7083333333333335,
      "grad_norm": 0.22100035998281425,
      "learning_rate": 7.595290174634802e-06,
      "loss": 0.4196,
      "step": 890
    },
    {
      "epoch": 3.7125,
      "grad_norm": 0.22105067844828485,
      "learning_rate": 7.549707267247612e-06,
      "loss": 0.4223,
      "step": 891
    },
    {
      "epoch": 3.716666666666667,
      "grad_norm": 0.24503314108692023,
      "learning_rate": 7.504229709120801e-06,
      "loss": 0.4331,
      "step": 892
    },
    {
      "epoch": 3.720833333333333,
      "grad_norm": 0.22209625191416615,
      "learning_rate": 7.4588578850667634e-06,
      "loss": 0.4293,
      "step": 893
    },
    {
      "epoch": 3.725,
      "grad_norm": 0.24234070134789545,
      "learning_rate": 7.413592179003255e-06,
      "loss": 0.4328,
      "step": 894
    },
    {
      "epoch": 3.7291666666666665,
      "grad_norm": 0.2140413352351075,
      "learning_rate": 7.368432973950053e-06,
      "loss": 0.4374,
      "step": 895
    },
    {
      "epoch": 3.7333333333333334,
      "grad_norm": 0.23879336084801975,
      "learning_rate": 7.323380652025794e-06,
      "loss": 0.4214,
      "step": 896
    },
    {
      "epoch": 3.7375,
      "grad_norm": 0.23592626929402383,
      "learning_rate": 7.278435594444719e-06,
      "loss": 0.43,
      "step": 897
    },
    {
      "epoch": 3.7416666666666667,
      "grad_norm": 0.2345359756660939,
      "learning_rate": 7.2335981815134415e-06,
      "loss": 0.4115,
      "step": 898
    },
    {
      "epoch": 3.7458333333333336,
      "grad_norm": 0.24922576785520345,
      "learning_rate": 7.1888687926276965e-06,
      "loss": 0.4338,
      "step": 899
    },
    {
      "epoch": 3.75,
      "grad_norm": 0.23563712437289872,
      "learning_rate": 7.1442478062692135e-06,
      "loss": 0.4365,
      "step": 900
    },
    {
      "epoch": 3.7541666666666664,
      "grad_norm": 0.23204116311133044,
      "learning_rate": 7.09973560000244e-06,
      "loss": 0.4277,
      "step": 901
    },
    {
      "epoch": 3.7583333333333333,
      "grad_norm": 0.2500533119033598,
      "learning_rate": 7.055332550471354e-06,
      "loss": 0.4257,
      "step": 902
    },
    {
      "epoch": 3.7625,
      "grad_norm": 0.23811588657787597,
      "learning_rate": 7.01103903339633e-06,
      "loss": 0.4346,
      "step": 903
    },
    {
      "epoch": 3.7666666666666666,
      "grad_norm": 0.23319149311553752,
      "learning_rate": 6.966855423570898e-06,
      "loss": 0.4261,
      "step": 904
    },
    {
      "epoch": 3.7708333333333335,
      "grad_norm": 0.243303595800742,
      "learning_rate": 6.922782094858609e-06,
      "loss": 0.4227,
      "step": 905
    },
    {
      "epoch": 3.775,
      "grad_norm": 0.2293147079077228,
      "learning_rate": 6.878819420189857e-06,
      "loss": 0.4283,
      "step": 906
    },
    {
      "epoch": 3.779166666666667,
      "grad_norm": 0.24610219555593746,
      "learning_rate": 6.834967771558722e-06,
      "loss": 0.4268,
      "step": 907
    },
    {
      "epoch": 3.783333333333333,
      "grad_norm": 0.25544617866033675,
      "learning_rate": 6.7912275200198496e-06,
      "loss": 0.4179,
      "step": 908
    },
    {
      "epoch": 3.7875,
      "grad_norm": 0.21822949545272996,
      "learning_rate": 6.747599035685255e-06,
      "loss": 0.4276,
      "step": 909
    },
    {
      "epoch": 3.7916666666666665,
      "grad_norm": 0.2258871101267118,
      "learning_rate": 6.704082687721243e-06,
      "loss": 0.4103,
      "step": 910
    },
    {
      "epoch": 3.7958333333333334,
      "grad_norm": 0.2298634023122789,
      "learning_rate": 6.660678844345276e-06,
      "loss": 0.4278,
      "step": 911
    },
    {
      "epoch": 3.8,
      "grad_norm": 0.22583037467377118,
      "learning_rate": 6.617387872822842e-06,
      "loss": 0.4394,
      "step": 912
    },
    {
      "epoch": 3.8041666666666667,
      "grad_norm": 0.231504314682934,
      "learning_rate": 6.57421013946433e-06,
      "loss": 0.4272,
      "step": 913
    },
    {
      "epoch": 3.8083333333333336,
      "grad_norm": 0.217721449055829,
      "learning_rate": 6.531146009621994e-06,
      "loss": 0.4245,
      "step": 914
    },
    {
      "epoch": 3.8125,
      "grad_norm": 0.24686896945491654,
      "learning_rate": 6.488195847686795e-06,
      "loss": 0.4293,
      "step": 915
    },
    {
      "epoch": 3.8166666666666664,
      "grad_norm": 0.24394910830023703,
      "learning_rate": 6.445360017085356e-06,
      "loss": 0.4271,
      "step": 916
    },
    {
      "epoch": 3.8208333333333333,
      "grad_norm": 0.22546110556129695,
      "learning_rate": 6.402638880276868e-06,
      "loss": 0.4181,
      "step": 917
    },
    {
      "epoch": 3.825,
      "grad_norm": 0.21360331942939714,
      "learning_rate": 6.360032798750033e-06,
      "loss": 0.4288,
      "step": 918
    },
    {
      "epoch": 3.8291666666666666,
      "grad_norm": 0.23044679859994988,
      "learning_rate": 6.317542133020005e-06,
      "loss": 0.4369,
      "step": 919
    },
    {
      "epoch": 3.8333333333333335,
      "grad_norm": 0.2142549292405246,
      "learning_rate": 6.275167242625331e-06,
      "loss": 0.4305,
      "step": 920
    },
    {
      "epoch": 3.8375,
      "grad_norm": 0.23085656291488818,
      "learning_rate": 6.232908486124918e-06,
      "loss": 0.4298,
      "step": 921
    },
    {
      "epoch": 3.841666666666667,
      "grad_norm": 0.21895688860005502,
      "learning_rate": 6.190766221095013e-06,
      "loss": 0.4209,
      "step": 922
    },
    {
      "epoch": 3.845833333333333,
      "grad_norm": 0.21366531215478982,
      "learning_rate": 6.148740804126121e-06,
      "loss": 0.4318,
      "step": 923
    },
    {
      "epoch": 3.85,
      "grad_norm": 0.22258877815977224,
      "learning_rate": 6.106832590820053e-06,
      "loss": 0.4278,
      "step": 924
    },
    {
      "epoch": 3.8541666666666665,
      "grad_norm": 0.22089277710807653,
      "learning_rate": 6.065041935786906e-06,
      "loss": 0.4278,
      "step": 925
    },
    {
      "epoch": 3.8583333333333334,
      "grad_norm": 0.22319456528557838,
      "learning_rate": 6.023369192641999e-06,
      "loss": 0.4248,
      "step": 926
    },
    {
      "epoch": 3.8625,
      "grad_norm": 0.21897558941519973,
      "learning_rate": 5.981814714002982e-06,
      "loss": 0.43,
      "step": 927
    },
    {
      "epoch": 3.8666666666666667,
      "grad_norm": 0.21422416122397145,
      "learning_rate": 5.940378851486766e-06,
      "loss": 0.4237,
      "step": 928
    },
    {
      "epoch": 3.8708333333333336,
      "grad_norm": 0.21900360541063163,
      "learning_rate": 5.899061955706593e-06,
      "loss": 0.4277,
      "step": 929
    },
    {
      "epoch": 3.875,
      "grad_norm": 0.210003067591564,
      "learning_rate": 5.857864376269051e-06,
      "loss": 0.4254,
      "step": 930
    },
    {
      "epoch": 3.8791666666666664,
      "grad_norm": 0.22066947148305144,
      "learning_rate": 5.816786461771129e-06,
      "loss": 0.4413,
      "step": 931
    },
    {
      "epoch": 3.8833333333333333,
      "grad_norm": 0.21685958637696298,
      "learning_rate": 5.7758285597972585e-06,
      "loss": 0.419,
      "step": 932
    },
    {
      "epoch": 3.8875,
      "grad_norm": 0.2060613916060785,
      "learning_rate": 5.734991016916372e-06,
      "loss": 0.4263,
      "step": 933
    },
    {
      "epoch": 3.8916666666666666,
      "grad_norm": 0.2162918716912764,
      "learning_rate": 5.694274178678973e-06,
      "loss": 0.428,
      "step": 934
    },
    {
      "epoch": 3.8958333333333335,
      "grad_norm": 0.21558418484475533,
      "learning_rate": 5.65367838961421e-06,
      "loss": 0.4297,
      "step": 935
    },
    {
      "epoch": 3.9,
      "grad_norm": 0.21814958677433785,
      "learning_rate": 5.613203993226981e-06,
      "loss": 0.4234,
      "step": 936
    },
    {
      "epoch": 3.904166666666667,
      "grad_norm": 0.21859762848857897,
      "learning_rate": 5.5728513319949725e-06,
      "loss": 0.427,
      "step": 937
    },
    {
      "epoch": 3.908333333333333,
      "grad_norm": 0.22930949993022515,
      "learning_rate": 5.53262074736584e-06,
      "loss": 0.4224,
      "step": 938
    },
    {
      "epoch": 3.9125,
      "grad_norm": 0.22615742593623198,
      "learning_rate": 5.492512579754252e-06,
      "loss": 0.4247,
      "step": 939
    },
    {
      "epoch": 3.9166666666666665,
      "grad_norm": 0.22731711264029844,
      "learning_rate": 5.452527168539026e-06,
      "loss": 0.4276,
      "step": 940
    },
    {
      "epoch": 3.9208333333333334,
      "grad_norm": 0.22227411839471797,
      "learning_rate": 5.412664852060294e-06,
      "loss": 0.4276,
      "step": 941
    },
    {
      "epoch": 3.925,
      "grad_norm": 0.220050201248189,
      "learning_rate": 5.372925967616591e-06,
      "loss": 0.4306,
      "step": 942
    },
    {
      "epoch": 3.9291666666666667,
      "grad_norm": 0.23910550940898795,
      "learning_rate": 5.333310851462026e-06,
      "loss": 0.4333,
      "step": 943
    },
    {
      "epoch": 3.9333333333333336,
      "grad_norm": 0.22964992393684255,
      "learning_rate": 5.293819838803429e-06,
      "loss": 0.435,
      "step": 944
    },
    {
      "epoch": 3.9375,
      "grad_norm": 0.2175795175465382,
      "learning_rate": 5.254453263797521e-06,
      "loss": 0.4233,
      "step": 945
    },
    {
      "epoch": 3.9416666666666664,
      "grad_norm": 0.22660951988566233,
      "learning_rate": 5.215211459548082e-06,
      "loss": 0.4266,
      "step": 946
    },
    {
      "epoch": 3.9458333333333333,
      "grad_norm": 0.21564446999892425,
      "learning_rate": 5.17609475810313e-06,
      "loss": 0.4168,
      "step": 947
    },
    {
      "epoch": 3.95,
      "grad_norm": 0.21169356207180387,
      "learning_rate": 5.137103490452113e-06,
      "loss": 0.4417,
      "step": 948
    },
    {
      "epoch": 3.9541666666666666,
      "grad_norm": 0.21719735857467676,
      "learning_rate": 5.098237986523129e-06,
      "loss": 0.4159,
      "step": 949
    },
    {
      "epoch": 3.9583333333333335,
      "grad_norm": 0.21160534846897155,
      "learning_rate": 5.059498575180084e-06,
      "loss": 0.4222,
      "step": 950
    },
    {
      "epoch": 3.9625,
      "grad_norm": 0.2197272683782191,
      "learning_rate": 5.0208855842199565e-06,
      "loss": 0.4249,
      "step": 951
    },
    {
      "epoch": 3.966666666666667,
      "grad_norm": 0.223363088864906,
      "learning_rate": 4.982399340370017e-06,
      "loss": 0.402,
      "step": 952
    },
    {
      "epoch": 3.970833333333333,
      "grad_norm": 0.21486379212960513,
      "learning_rate": 4.944040169285043e-06,
      "loss": 0.4386,
      "step": 953
    },
    {
      "epoch": 3.975,
      "grad_norm": 0.2272666417317846,
      "learning_rate": 4.90580839554456e-06,
      "loss": 0.4287,
      "step": 954
    },
    {
      "epoch": 3.9791666666666665,
      "grad_norm": 0.22903404440686784,
      "learning_rate": 4.867704342650143e-06,
      "loss": 0.4003,
      "step": 955
    },
    {
      "epoch": 3.9833333333333334,
      "grad_norm": 0.23496766221544205,
      "learning_rate": 4.829728333022623e-06,
      "loss": 0.4319,
      "step": 956
    },
    {
      "epoch": 3.9875,
      "grad_norm": 0.21677980128239738,
      "learning_rate": 4.791880687999382e-06,
      "loss": 0.4149,
      "step": 957
    },
    {
      "epoch": 3.9916666666666667,
      "grad_norm": 0.21845329270600405,
      "learning_rate": 4.754161727831643e-06,
      "loss": 0.4033,
      "step": 958
    },
    {
      "epoch": 3.9958333333333336,
      "grad_norm": 0.23104346223691857,
      "learning_rate": 4.716571771681737e-06,
      "loss": 0.4175,
      "step": 959
    },
    {
      "epoch": 4.0,
      "grad_norm": 0.22342631089160764,
      "learning_rate": 4.679111137620442e-06,
      "loss": 0.4229,
      "step": 960
    },
    {
      "epoch": 4.004166666666666,
      "grad_norm": 0.32099563972920414,
      "learning_rate": 4.641780142624231e-06,
      "loss": 0.3881,
      "step": 961
    },
    {
      "epoch": 4.008333333333334,
      "grad_norm": 0.25218535881654675,
      "learning_rate": 4.604579102572641e-06,
      "loss": 0.4078,
      "step": 962
    },
    {
      "epoch": 4.0125,
      "grad_norm": 0.2382490612282618,
      "learning_rate": 4.567508332245605e-06,
      "loss": 0.4066,
      "step": 963
    },
    {
      "epoch": 4.016666666666667,
      "grad_norm": 0.28796604902334555,
      "learning_rate": 4.530568145320724e-06,
      "loss": 0.3988,
      "step": 964
    },
    {
      "epoch": 4.020833333333333,
      "grad_norm": 0.3224951699224033,
      "learning_rate": 4.493758854370682e-06,
      "loss": 0.3932,
      "step": 965
    },
    {
      "epoch": 4.025,
      "grad_norm": 0.2627925858138936,
      "learning_rate": 4.4570807708605825e-06,
      "loss": 0.3679,
      "step": 966
    },
    {
      "epoch": 4.029166666666667,
      "grad_norm": 0.28483312358473356,
      "learning_rate": 4.420534205145293e-06,
      "loss": 0.3851,
      "step": 967
    },
    {
      "epoch": 4.033333333333333,
      "grad_norm": 0.2806262720150311,
      "learning_rate": 4.384119466466816e-06,
      "loss": 0.3817,
      "step": 968
    },
    {
      "epoch": 4.0375,
      "grad_norm": 0.24015412530818528,
      "learning_rate": 4.347836862951722e-06,
      "loss": 0.3786,
      "step": 969
    },
    {
      "epoch": 4.041666666666667,
      "grad_norm": 0.23997908525085326,
      "learning_rate": 4.311686701608486e-06,
      "loss": 0.4043,
      "step": 970
    },
    {
      "epoch": 4.045833333333333,
      "grad_norm": 0.2621190604739965,
      "learning_rate": 4.2756692883249176e-06,
      "loss": 0.3808,
      "step": 971
    },
    {
      "epoch": 4.05,
      "grad_norm": 0.27077743658389225,
      "learning_rate": 4.239784927865562e-06,
      "loss": 0.3893,
      "step": 972
    },
    {
      "epoch": 4.054166666666666,
      "grad_norm": 0.226478557440062,
      "learning_rate": 4.204033923869135e-06,
      "loss": 0.3974,
      "step": 973
    },
    {
      "epoch": 4.058333333333334,
      "grad_norm": 0.23644580918175637,
      "learning_rate": 4.168416578845936e-06,
      "loss": 0.3689,
      "step": 974
    },
    {
      "epoch": 4.0625,
      "grad_norm": 0.2517699959074949,
      "learning_rate": 4.132933194175299e-06,
      "loss": 0.3874,
      "step": 975
    },
    {
      "epoch": 4.066666666666666,
      "grad_norm": 0.22938905026855594,
      "learning_rate": 4.097584070103042e-06,
      "loss": 0.4063,
      "step": 976
    },
    {
      "epoch": 4.070833333333334,
      "grad_norm": 0.23204661332089185,
      "learning_rate": 4.0623695057389415e-06,
      "loss": 0.3971,
      "step": 977
    },
    {
      "epoch": 4.075,
      "grad_norm": 0.23415795910429496,
      "learning_rate": 4.027289799054148e-06,
      "loss": 0.3813,
      "step": 978
    },
    {
      "epoch": 4.079166666666667,
      "grad_norm": 0.23826924959135237,
      "learning_rate": 3.992345246878726e-06,
      "loss": 0.39,
      "step": 979
    },
    {
      "epoch": 4.083333333333333,
      "grad_norm": 0.24314389100797407,
      "learning_rate": 3.957536144899123e-06,
      "loss": 0.4023,
      "step": 980
    },
    {
      "epoch": 4.0875,
      "grad_norm": 0.2358395776669894,
      "learning_rate": 3.922862787655654e-06,
      "loss": 0.3952,
      "step": 981
    },
    {
      "epoch": 4.091666666666667,
      "grad_norm": 0.23699744528215083,
      "learning_rate": 3.888325468540013e-06,
      "loss": 0.3868,
      "step": 982
    },
    {
      "epoch": 4.095833333333333,
      "grad_norm": 0.22707008440356913,
      "learning_rate": 3.853924479792803e-06,
      "loss": 0.393,
      "step": 983
    },
    {
      "epoch": 4.1,
      "grad_norm": 0.23544858725647322,
      "learning_rate": 3.819660112501053e-06,
      "loss": 0.3889,
      "step": 984
    },
    {
      "epoch": 4.104166666666667,
      "grad_norm": 0.22519226316896881,
      "learning_rate": 3.7855326565957563e-06,
      "loss": 0.3945,
      "step": 985
    },
    {
      "epoch": 4.108333333333333,
      "grad_norm": 0.2331815938886045,
      "learning_rate": 3.7515424008494195e-06,
      "loss": 0.3921,
      "step": 986
    },
    {
      "epoch": 4.1125,
      "grad_norm": 0.2343405014370539,
      "learning_rate": 3.717689632873618e-06,
      "loss": 0.383,
      "step": 987
    },
    {
      "epoch": 4.116666666666666,
      "grad_norm": 0.22236066121031534,
      "learning_rate": 3.683974639116563e-06,
      "loss": 0.4101,
      "step": 988
    },
    {
      "epoch": 4.120833333333334,
      "grad_norm": 0.21787732312760535,
      "learning_rate": 3.650397704860673e-06,
      "loss": 0.4102,
      "step": 989
    },
    {
      "epoch": 4.125,
      "grad_norm": 0.22034450231640743,
      "learning_rate": 3.616959114220162e-06,
      "loss": 0.385,
      "step": 990
    },
    {
      "epoch": 4.129166666666666,
      "grad_norm": 0.21643950582225363,
      "learning_rate": 3.583659150138661e-06,
      "loss": 0.381,
      "step": 991
    },
    {
      "epoch": 4.133333333333334,
      "grad_norm": 0.21379399368418622,
      "learning_rate": 3.5504980943867538e-06,
      "loss": 0.3873,
      "step": 992
    },
    {
      "epoch": 4.1375,
      "grad_norm": 0.2257712470531673,
      "learning_rate": 3.5174762275596864e-06,
      "loss": 0.3894,
      "step": 993
    },
    {
      "epoch": 4.141666666666667,
      "grad_norm": 0.22737390834729226,
      "learning_rate": 3.484593829074918e-06,
      "loss": 0.3906,
      "step": 994
    },
    {
      "epoch": 4.145833333333333,
      "grad_norm": 0.22149731221362098,
      "learning_rate": 3.451851177169789e-06,
      "loss": 0.4021,
      "step": 995
    },
    {
      "epoch": 4.15,
      "grad_norm": 0.22723836033248954,
      "learning_rate": 3.419248548899168e-06,
      "loss": 0.3866,
      "step": 996
    },
    {
      "epoch": 4.154166666666667,
      "grad_norm": 0.23247761417468857,
      "learning_rate": 3.3867862201330916e-06,
      "loss": 0.3692,
      "step": 997
    },
    {
      "epoch": 4.158333333333333,
      "grad_norm": 0.20971614067207828,
      "learning_rate": 3.354464465554448e-06,
      "loss": 0.3906,
      "step": 998
    },
    {
      "epoch": 4.1625,
      "grad_norm": 0.22235442240009948,
      "learning_rate": 3.3222835586566384e-06,
      "loss": 0.3938,
      "step": 999
    },
    {
      "epoch": 4.166666666666667,
      "grad_norm": 0.21787528828369473,
      "learning_rate": 3.290243771741275e-06,
      "loss": 0.3988,
      "step": 1000
    },
    {
      "epoch": 4.170833333333333,
      "grad_norm": 0.2267628934757855,
      "learning_rate": 3.2583453759158634e-06,
      "loss": 0.3951,
      "step": 1001
    },
    {
      "epoch": 4.175,
      "grad_norm": 0.20988780404069562,
      "learning_rate": 3.2265886410915214e-06,
      "loss": 0.3935,
      "step": 1002
    },
    {
      "epoch": 4.179166666666666,
      "grad_norm": 0.2272042353627666,
      "learning_rate": 3.1949738359806905e-06,
      "loss": 0.3829,
      "step": 1003
    },
    {
      "epoch": 4.183333333333334,
      "grad_norm": 0.21976659742361207,
      "learning_rate": 3.1635012280948496e-06,
      "loss": 0.3947,
      "step": 1004
    },
    {
      "epoch": 4.1875,
      "grad_norm": 0.21095624430703588,
      "learning_rate": 3.13217108374229e-06,
      "loss": 0.4171,
      "step": 1005
    },
    {
      "epoch": 4.191666666666666,
      "grad_norm": 0.21399379180371467,
      "learning_rate": 3.1009836680257965e-06,
      "loss": 0.3934,
      "step": 1006
    },
    {
      "epoch": 4.195833333333334,
      "grad_norm": 0.21481261956534103,
      "learning_rate": 3.0699392448404787e-06,
      "loss": 0.3857,
      "step": 1007
    },
    {
      "epoch": 4.2,
      "grad_norm": 0.22887690984784917,
      "learning_rate": 3.039038076871481e-06,
      "loss": 0.3959,
      "step": 1008
    },
    {
      "epoch": 4.204166666666667,
      "grad_norm": 0.21527551915593382,
      "learning_rate": 3.00828042559179e-06,
      "loss": 0.3966,
      "step": 1009
    },
    {
      "epoch": 4.208333333333333,
      "grad_norm": 0.2154608675883479,
      "learning_rate": 2.9776665512600054e-06,
      "loss": 0.397,
      "step": 1010
    },
    {
      "epoch": 4.2125,
      "grad_norm": 0.21165402376707582,
      "learning_rate": 2.947196712918157e-06,
      "loss": 0.397,
      "step": 1011
    },
    {
      "epoch": 4.216666666666667,
      "grad_norm": 0.22067807108484216,
      "learning_rate": 2.9168711683894903e-06,
      "loss": 0.3964,
      "step": 1012
    },
    {
      "epoch": 4.220833333333333,
      "grad_norm": 0.2358786614780987,
      "learning_rate": 2.886690174276301e-06,
      "loss": 0.3973,
      "step": 1013
    },
    {
      "epoch": 4.225,
      "grad_norm": 0.2173598996607937,
      "learning_rate": 2.8566539859577558e-06,
      "loss": 0.3999,
      "step": 1014
    },
    {
      "epoch": 4.229166666666667,
      "grad_norm": 0.21150679969144226,
      "learning_rate": 2.8267628575877414e-06,
      "loss": 0.3836,
      "step": 1015
    },
    {
      "epoch": 4.233333333333333,
      "grad_norm": 0.22343466713449373,
      "learning_rate": 2.7970170420926957e-06,
      "loss": 0.3838,
      "step": 1016
    },
    {
      "epoch": 4.2375,
      "grad_norm": 0.22243030164068567,
      "learning_rate": 2.7674167911694837e-06,
      "loss": 0.3882,
      "step": 1017
    },
    {
      "epoch": 4.241666666666666,
      "grad_norm": 0.2312325216447369,
      "learning_rate": 2.737962355283272e-06,
      "loss": 0.3927,
      "step": 1018
    },
    {
      "epoch": 4.245833333333334,
      "grad_norm": 0.21670440623185597,
      "learning_rate": 2.7086539836653923e-06,
      "loss": 0.398,
      "step": 1019
    },
    {
      "epoch": 4.25,
      "grad_norm": 0.21710913582363692,
      "learning_rate": 2.679491924311226e-06,
      "loss": 0.3984,
      "step": 1020
    },
    {
      "epoch": 4.254166666666666,
      "grad_norm": 0.22568166353478622,
      "learning_rate": 2.65047642397815e-06,
      "loss": 0.3887,
      "step": 1021
    },
    {
      "epoch": 4.258333333333334,
      "grad_norm": 0.2139020280225805,
      "learning_rate": 2.6216077281833976e-06,
      "loss": 0.3893,
      "step": 1022
    },
    {
      "epoch": 4.2625,
      "grad_norm": 0.21261695437241654,
      "learning_rate": 2.5928860812020063e-06,
      "loss": 0.3929,
      "step": 1023
    },
    {
      "epoch": 4.266666666666667,
      "grad_norm": 0.2052973230937153,
      "learning_rate": 2.564311726064754e-06,
      "loss": 0.3846,
      "step": 1024
    },
    {
      "epoch": 4.270833333333333,
      "grad_norm": 0.21592919820852863,
      "learning_rate": 2.535884904556085e-06,
      "loss": 0.3758,
      "step": 1025
    },
    {
      "epoch": 4.275,
      "grad_norm": 0.22277092529351133,
      "learning_rate": 2.5076058572120855e-06,
      "loss": 0.3927,
      "step": 1026
    },
    {
      "epoch": 4.279166666666667,
      "grad_norm": 0.21609789902866755,
      "learning_rate": 2.4794748233184285e-06,
      "loss": 0.3877,
      "step": 1027
    },
    {
      "epoch": 4.283333333333333,
      "grad_norm": 0.2241692121126774,
      "learning_rate": 2.4514920409083586e-06,
      "loss": 0.3892,
      "step": 1028
    },
    {
      "epoch": 4.2875,
      "grad_norm": 0.21983550359330953,
      "learning_rate": 2.423657746760695e-06,
      "loss": 0.3848,
      "step": 1029
    },
    {
      "epoch": 4.291666666666667,
      "grad_norm": 0.2084715463094627,
      "learning_rate": 2.3959721763977805e-06,
      "loss": 0.4155,
      "step": 1030
    },
    {
      "epoch": 4.295833333333333,
      "grad_norm": 0.21810353545912545,
      "learning_rate": 2.3684355640835334e-06,
      "loss": 0.3843,
      "step": 1031
    },
    {
      "epoch": 4.3,
      "grad_norm": 0.21909939505718,
      "learning_rate": 2.3410481428214602e-06,
      "loss": 0.3884,
      "step": 1032
    },
    {
      "epoch": 4.304166666666666,
      "grad_norm": 0.22305255373823385,
      "learning_rate": 2.313810144352664e-06,
      "loss": 0.3806,
      "step": 1033
    },
    {
      "epoch": 4.308333333333334,
      "grad_norm": 0.21399493848562365,
      "learning_rate": 2.2867217991538793e-06,
      "loss": 0.3886,
      "step": 1034
    },
    {
      "epoch": 4.3125,
      "grad_norm": 0.22139692881508155,
      "learning_rate": 2.259783336435566e-06,
      "loss": 0.3943,
      "step": 1035
    },
    {
      "epoch": 4.316666666666666,
      "grad_norm": 0.22110568056896807,
      "learning_rate": 2.2329949841399223e-06,
      "loss": 0.3876,
      "step": 1036
    },
    {
      "epoch": 4.320833333333334,
      "grad_norm": 0.2192791391563689,
      "learning_rate": 2.206356968938965e-06,
      "loss": 0.3901,
      "step": 1037
    },
    {
      "epoch": 4.325,
      "grad_norm": 0.22086408115831563,
      "learning_rate": 2.1798695162326444e-06,
      "loss": 0.3963,
      "step": 1038
    },
    {
      "epoch": 4.329166666666667,
      "grad_norm": 0.21376558371836413,
      "learning_rate": 2.1535328501468935e-06,
      "loss": 0.3935,
      "step": 1039
    },
    {
      "epoch": 4.333333333333333,
      "grad_norm": 0.20388552790911735,
      "learning_rate": 2.127347193531757e-06,
      "loss": 0.4077,
      "step": 1040
    },
    {
      "epoch": 4.3375,
      "grad_norm": 0.21740059155182548,
      "learning_rate": 2.1013127679595002e-06,
      "loss": 0.395,
      "step": 1041
    },
    {
      "epoch": 4.341666666666667,
      "grad_norm": 0.212638977373075,
      "learning_rate": 2.0754297937227317e-06,
      "loss": 0.3948,
      "step": 1042
    },
    {
      "epoch": 4.345833333333333,
      "grad_norm": 0.20432801583148202,
      "learning_rate": 2.04969848983255e-06,
      "loss": 0.4002,
      "step": 1043
    },
    {
      "epoch": 4.35,
      "grad_norm": 0.20105838367708312,
      "learning_rate": 2.024119074016664e-06,
      "loss": 0.3981,
      "step": 1044
    },
    {
      "epoch": 4.354166666666667,
      "grad_norm": 0.20591122191976494,
      "learning_rate": 1.998691762717577e-06,
      "loss": 0.3999,
      "step": 1045
    },
    {
      "epoch": 4.358333333333333,
      "grad_norm": 0.21007702037482343,
      "learning_rate": 1.973416771090755e-06,
      "loss": 0.3878,
      "step": 1046
    },
    {
      "epoch": 4.3625,
      "grad_norm": 0.21965241039293862,
      "learning_rate": 1.948294313002792e-06,
      "loss": 0.3888,
      "step": 1047
    },
    {
      "epoch": 4.366666666666666,
      "grad_norm": 0.20871328585848617,
      "learning_rate": 1.9233246010295903e-06,
      "loss": 0.3849,
      "step": 1048
    },
    {
      "epoch": 4.370833333333334,
      "grad_norm": 0.22344246010872826,
      "learning_rate": 1.8985078464546002e-06,
      "loss": 0.3745,
      "step": 1049
    },
    {
      "epoch": 4.375,
      "grad_norm": 0.21888618878255753,
      "learning_rate": 1.8738442592670014e-06,
      "loss": 0.3843,
      "step": 1050
    },
    {
      "epoch": 4.379166666666666,
      "grad_norm": 0.20645694980867452,
      "learning_rate": 1.8493340481599275e-06,
      "loss": 0.3816,
      "step": 1051
    },
    {
      "epoch": 4.383333333333334,
      "grad_norm": 0.20886523332501278,
      "learning_rate": 1.8249774205287151e-06,
      "loss": 0.3805,
      "step": 1052
    },
    {
      "epoch": 4.3875,
      "grad_norm": 0.21299747624517915,
      "learning_rate": 1.800774582469138e-06,
      "loss": 0.3851,
      "step": 1053
    },
    {
      "epoch": 4.391666666666667,
      "grad_norm": 0.2101030130754341,
      "learning_rate": 1.7767257387756599e-06,
      "loss": 0.4012,
      "step": 1054
    },
    {
      "epoch": 4.395833333333333,
      "grad_norm": 0.2084000285475629,
      "learning_rate": 1.7528310929397196e-06,
      "loss": 0.3834,
      "step": 1055
    },
    {
      "epoch": 4.4,
      "grad_norm": 0.20310838723566754,
      "learning_rate": 1.7290908471479805e-06,
      "loss": 0.3883,
      "step": 1056
    },
    {
      "epoch": 4.404166666666667,
      "grad_norm": 0.20641426226550538,
      "learning_rate": 1.7055052022806595e-06,
      "loss": 0.3889,
      "step": 1057
    },
    {
      "epoch": 4.408333333333333,
      "grad_norm": 0.20716143550372132,
      "learning_rate": 1.682074357909782e-06,
      "loss": 0.3762,
      "step": 1058
    },
    {
      "epoch": 4.4125,
      "grad_norm": 0.20650503280054486,
      "learning_rate": 1.6587985122975193e-06,
      "loss": 0.3817,
      "step": 1059
    },
    {
      "epoch": 4.416666666666667,
      "grad_norm": 0.2061135382309316,
      "learning_rate": 1.6356778623945223e-06,
      "loss": 0.384,
      "step": 1060
    },
    {
      "epoch": 4.420833333333333,
      "grad_norm": 0.19625695351801264,
      "learning_rate": 1.612712603838218e-06,
      "loss": 0.3908,
      "step": 1061
    },
    {
      "epoch": 4.425,
      "grad_norm": 0.22603414259689372,
      "learning_rate": 1.5899029309511926e-06,
      "loss": 0.3861,
      "step": 1062
    },
    {
      "epoch": 4.429166666666666,
      "grad_norm": 0.20502145009105738,
      "learning_rate": 1.5672490367395244e-06,
      "loss": 0.3828,
      "step": 1063
    },
    {
      "epoch": 4.433333333333334,
      "grad_norm": 0.20667781053884668,
      "learning_rate": 1.5447511128911542e-06,
      "loss": 0.4043,
      "step": 1064
    },
    {
      "epoch": 4.4375,
      "grad_norm": 0.21931277278673314,
      "learning_rate": 1.5224093497742654e-06,
      "loss": 0.3782,
      "step": 1065
    },
    {
      "epoch": 4.441666666666666,
      "grad_norm": 0.20661232798322296,
      "learning_rate": 1.5002239364356784e-06,
      "loss": 0.3973,
      "step": 1066
    },
    {
      "epoch": 4.445833333333334,
      "grad_norm": 0.20561646814251938,
      "learning_rate": 1.4781950605992434e-06,
      "loss": 0.3862,
      "step": 1067
    },
    {
      "epoch": 4.45,
      "grad_norm": 0.20709387122468778,
      "learning_rate": 1.4563229086642538e-06,
      "loss": 0.3909,
      "step": 1068
    },
    {
      "epoch": 4.454166666666667,
      "grad_norm": 0.20894230163276878,
      "learning_rate": 1.4346076657038689e-06,
      "loss": 0.3883,
      "step": 1069
    },
    {
      "epoch": 4.458333333333333,
      "grad_norm": 0.2138093730895906,
      "learning_rate": 1.4130495154635494e-06,
      "loss": 0.3832,
      "step": 1070
    },
    {
      "epoch": 4.4625,
      "grad_norm": 0.21495693996906673,
      "learning_rate": 1.3916486403595108e-06,
      "loss": 0.3681,
      "step": 1071
    },
    {
      "epoch": 4.466666666666667,
      "grad_norm": 0.20257256679051186,
      "learning_rate": 1.3704052214771513e-06,
      "loss": 0.3782,
      "step": 1072
    },
    {
      "epoch": 4.470833333333333,
      "grad_norm": 0.20124849268912157,
      "learning_rate": 1.3493194385695608e-06,
      "loss": 0.3876,
      "step": 1073
    },
    {
      "epoch": 4.475,
      "grad_norm": 0.212851429442179,
      "learning_rate": 1.3283914700559675e-06,
      "loss": 0.3909,
      "step": 1074
    },
    {
      "epoch": 4.479166666666667,
      "grad_norm": 0.21873572396661103,
      "learning_rate": 1.3076214930202324e-06,
      "loss": 0.3777,
      "step": 1075
    },
    {
      "epoch": 4.483333333333333,
      "grad_norm": 0.2041131837033637,
      "learning_rate": 1.2870096832093726e-06,
      "loss": 0.3833,
      "step": 1076
    },
    {
      "epoch": 4.4875,
      "grad_norm": 0.2088455027749406,
      "learning_rate": 1.2665562150320487e-06,
      "loss": 0.3909,
      "step": 1077
    },
    {
      "epoch": 4.491666666666666,
      "grad_norm": 0.20515071811952848,
      "learning_rate": 1.2462612615571046e-06,
      "loss": 0.4034,
      "step": 1078
    },
    {
      "epoch": 4.495833333333334,
      "grad_norm": 0.20549966734220215,
      "learning_rate": 1.2261249945120922e-06,
      "loss": 0.3979,
      "step": 1079
    },
    {
      "epoch": 4.5,
      "grad_norm": 0.25504437848899186,
      "learning_rate": 1.2061475842818337e-06,
      "loss": 0.4179,
      "step": 1080
    },
    {
      "epoch": 4.504166666666666,
      "grad_norm": 0.21497318054578451,
      "learning_rate": 1.1863291999069592e-06,
      "loss": 0.3716,
      "step": 1081
    },
    {
      "epoch": 4.508333333333333,
      "grad_norm": 0.20380853760441292,
      "learning_rate": 1.1666700090824956e-06,
      "loss": 0.388,
      "step": 1082
    },
    {
      "epoch": 4.5125,
      "grad_norm": 0.19834027441431143,
      "learning_rate": 1.1471701781564316e-06,
      "loss": 0.3931,
      "step": 1083
    },
    {
      "epoch": 4.516666666666667,
      "grad_norm": 0.20911548672338867,
      "learning_rate": 1.12782987212833e-06,
      "loss": 0.3958,
      "step": 1084
    },
    {
      "epoch": 4.520833333333333,
      "grad_norm": 0.2012388741839505,
      "learning_rate": 1.1086492546479065e-06,
      "loss": 0.3921,
      "step": 1085
    },
    {
      "epoch": 4.525,
      "grad_norm": 0.2079229548369675,
      "learning_rate": 1.0896284880136632e-06,
      "loss": 0.3716,
      "step": 1086
    },
    {
      "epoch": 4.529166666666667,
      "grad_norm": 0.20424381766082045,
      "learning_rate": 1.070767733171514e-06,
      "loss": 0.3964,
      "step": 1087
    },
    {
      "epoch": 4.533333333333333,
      "grad_norm": 0.21255632877710418,
      "learning_rate": 1.052067149713416e-06,
      "loss": 0.3982,
      "step": 1088
    },
    {
      "epoch": 4.5375,
      "grad_norm": 0.20434569177173742,
      "learning_rate": 1.0335268958760135e-06,
      "loss": 0.3895,
      "step": 1089
    },
    {
      "epoch": 4.541666666666667,
      "grad_norm": 0.18798901633494672,
      "learning_rate": 1.0151471285393223e-06,
      "loss": 0.3962,
      "step": 1090
    },
    {
      "epoch": 4.545833333333333,
      "grad_norm": 0.1936049963564169,
      "learning_rate": 9.96928003225377e-07,
      "loss": 0.4045,
      "step": 1091
    },
    {
      "epoch": 4.55,
      "grad_norm": 0.20203295728983378,
      "learning_rate": 9.788696740969295e-07,
      "loss": 0.3936,
      "step": 1092
    },
    {
      "epoch": 4.554166666666667,
      "grad_norm": 0.21075047963997542,
      "learning_rate": 9.609722939561373e-07,
      "loss": 0.4077,
      "step": 1093
    },
    {
      "epoch": 4.558333333333334,
      "grad_norm": 0.20025213485931265,
      "learning_rate": 9.432360142432761e-07,
      "loss": 0.3984,
      "step": 1094
    },
    {
      "epoch": 4.5625,
      "grad_norm": 0.20861624138450827,
      "learning_rate": 9.256609850354636e-07,
      "loss": 0.385,
      "step": 1095
    },
    {
      "epoch": 4.566666666666666,
      "grad_norm": 0.1986348913181751,
      "learning_rate": 9.082473550453619e-07,
      "loss": 0.3945,
      "step": 1096
    },
    {
      "epoch": 4.570833333333333,
      "grad_norm": 0.2040299883665947,
      "learning_rate": 8.909952716199566e-07,
      "loss": 0.3908,
      "step": 1097
    },
    {
      "epoch": 4.575,
      "grad_norm": 0.20925989787685903,
      "learning_rate": 8.739048807392913e-07,
      "loss": 0.3889,
      "step": 1098
    },
    {
      "epoch": 4.579166666666667,
      "grad_norm": 0.21260259806578902,
      "learning_rate": 8.569763270152265e-07,
      "loss": 0.3844,
      "step": 1099
    },
    {
      "epoch": 4.583333333333333,
      "grad_norm": 0.1999448636556535,
      "learning_rate": 8.402097536902221e-07,
      "loss": 0.3863,
      "step": 1100
    },
    {
      "epoch": 4.5875,
      "grad_norm": 0.21406689943428772,
      "learning_rate": 8.23605302636139e-07,
      "loss": 0.382,
      "step": 1101
    },
    {
      "epoch": 4.591666666666667,
      "grad_norm": 0.20643842033200374,
      "learning_rate": 8.071631143530178e-07,
      "loss": 0.3861,
      "step": 1102
    },
    {
      "epoch": 4.595833333333333,
      "grad_norm": 0.21371253059525183,
      "learning_rate": 7.908833279678885e-07,
      "loss": 0.3838,
      "step": 1103
    },
    {
      "epoch": 4.6,
      "grad_norm": 0.19898835007608578,
      "learning_rate": 7.747660812336221e-07,
      "loss": 0.4004,
      "step": 1104
    },
    {
      "epoch": 4.604166666666667,
      "grad_norm": 0.2178163266712195,
      "learning_rate": 7.588115105277372e-07,
      "loss": 0.3785,
      "step": 1105
    },
    {
      "epoch": 4.608333333333333,
      "grad_norm": 0.2071669502158122,
      "learning_rate": 7.430197508512482e-07,
      "loss": 0.384,
      "step": 1106
    },
    {
      "epoch": 4.6125,
      "grad_norm": 0.21176605958557895,
      "learning_rate": 7.273909358275411e-07,
      "loss": 0.381,
      "step": 1107
    },
    {
      "epoch": 4.616666666666667,
      "grad_norm": 0.2095391326166993,
      "learning_rate": 7.11925197701222e-07,
      "loss": 0.3796,
      "step": 1108
    },
    {
      "epoch": 4.620833333333334,
      "grad_norm": 0.20430319127354743,
      "learning_rate": 6.966226673370125e-07,
      "loss": 0.3811,
      "step": 1109
    },
    {
      "epoch": 4.625,
      "grad_norm": 0.1993122226870442,
      "learning_rate": 6.814834742186361e-07,
      "loss": 0.3971,
      "step": 1110
    },
    {
      "epoch": 4.629166666666666,
      "grad_norm": 0.21274137971906087,
      "learning_rate": 6.665077464477198e-07,
      "loss": 0.381,
      "step": 1111
    },
    {
      "epoch": 4.633333333333333,
      "grad_norm": 0.2045319580112074,
      "learning_rate": 6.516956107427241e-07,
      "loss": 0.4016,
      "step": 1112
    },
    {
      "epoch": 4.6375,
      "grad_norm": 0.209883369872557,
      "learning_rate": 6.370471924378474e-07,
      "loss": 0.3776,
      "step": 1113
    },
    {
      "epoch": 4.641666666666667,
      "grad_norm": 0.1974962395249034,
      "learning_rate": 6.225626154819852e-07,
      "loss": 0.3808,
      "step": 1114
    },
    {
      "epoch": 4.645833333333333,
      "grad_norm": 0.1953773456186481,
      "learning_rate": 6.082420024376801e-07,
      "loss": 0.397,
      "step": 1115
    },
    {
      "epoch": 4.65,
      "grad_norm": 0.1989701101330788,
      "learning_rate": 5.940854744800706e-07,
      "loss": 0.3919,
      "step": 1116
    },
    {
      "epoch": 4.654166666666667,
      "grad_norm": 0.1847503976930448,
      "learning_rate": 5.800931513958796e-07,
      "loss": 0.4142,
      "step": 1117
    },
    {
      "epoch": 4.658333333333333,
      "grad_norm": 0.22025459641944659,
      "learning_rate": 5.66265151582397e-07,
      "loss": 0.3872,
      "step": 1118
    },
    {
      "epoch": 4.6625,
      "grad_norm": 0.19558599631116597,
      "learning_rate": 5.526015920464689e-07,
      "loss": 0.4013,
      "step": 1119
    },
    {
      "epoch": 4.666666666666667,
      "grad_norm": 0.2117082081755805,
      "learning_rate": 5.391025884035239e-07,
      "loss": 0.3826,
      "step": 1120
    },
    {
      "epoch": 4.670833333333333,
      "grad_norm": 0.19995363575332048,
      "learning_rate": 5.257682548765841e-07,
      "loss": 0.3813,
      "step": 1121
    },
    {
      "epoch": 4.675,
      "grad_norm": 0.20626949875404163,
      "learning_rate": 5.125987042952973e-07,
      "loss": 0.3879,
      "step": 1122
    },
    {
      "epoch": 4.679166666666667,
      "grad_norm": 0.2119702885500929,
      "learning_rate": 4.99594048094989e-07,
      "loss": 0.3768,
      "step": 1123
    },
    {
      "epoch": 4.683333333333334,
      "grad_norm": 0.1917072830112516,
      "learning_rate": 4.867543963157162e-07,
      "loss": 0.4001,
      "step": 1124
    },
    {
      "epoch": 4.6875,
      "grad_norm": 0.26874753769966464,
      "learning_rate": 4.740798576013328e-07,
      "loss": 0.398,
      "step": 1125
    },
    {
      "epoch": 4.691666666666666,
      "grad_norm": 0.20128968969089236,
      "learning_rate": 4.615705391985814e-07,
      "loss": 0.3934,
      "step": 1126
    },
    {
      "epoch": 4.695833333333333,
      "grad_norm": 0.19269748187606345,
      "learning_rate": 4.492265469561696e-07,
      "loss": 0.3996,
      "step": 1127
    },
    {
      "epoch": 4.7,
      "grad_norm": 0.2064375540922556,
      "learning_rate": 4.3704798532388624e-07,
      "loss": 0.3907,
      "step": 1128
    },
    {
      "epoch": 4.704166666666667,
      "grad_norm": 0.20691554687976574,
      "learning_rate": 4.2503495735171987e-07,
      "loss": 0.4026,
      "step": 1129
    },
    {
      "epoch": 4.708333333333333,
      "grad_norm": 0.20822981358466697,
      "learning_rate": 4.1318756468897047e-07,
      "loss": 0.3891,
      "step": 1130
    },
    {
      "epoch": 4.7125,
      "grad_norm": 0.20897013043342189,
      "learning_rate": 4.0150590758340826e-07,
      "loss": 0.3795,
      "step": 1131
    },
    {
      "epoch": 4.716666666666667,
      "grad_norm": 0.1968064393363428,
      "learning_rate": 3.899900848804139e-07,
      "loss": 0.383,
      "step": 1132
    },
    {
      "epoch": 4.720833333333333,
      "grad_norm": 0.20907077481732236,
      "learning_rate": 3.7864019402214845e-07,
      "loss": 0.3852,
      "step": 1133
    },
    {
      "epoch": 4.725,
      "grad_norm": 0.20181098073312845,
      "learning_rate": 3.674563310467205e-07,
      "loss": 0.3958,
      "step": 1134
    },
    {
      "epoch": 4.729166666666667,
      "grad_norm": 0.19666844511533138,
      "learning_rate": 3.5643859058738686e-07,
      "loss": 0.4072,
      "step": 1135
    },
    {
      "epoch": 4.733333333333333,
      "grad_norm": 0.21497564996763077,
      "learning_rate": 3.455870658717353e-07,
      "loss": 0.3698,
      "step": 1136
    },
    {
      "epoch": 4.7375,
      "grad_norm": 0.20684729753862982,
      "learning_rate": 3.349018487209099e-07,
      "loss": 0.3898,
      "step": 1137
    },
    {
      "epoch": 4.741666666666667,
      "grad_norm": 0.20865385580669296,
      "learning_rate": 3.2438302954882486e-07,
      "loss": 0.3901,
      "step": 1138
    },
    {
      "epoch": 4.745833333333334,
      "grad_norm": 0.19782644507072714,
      "learning_rate": 3.1403069736140715e-07,
      "loss": 0.3812,
      "step": 1139
    },
    {
      "epoch": 4.75,
      "grad_norm": 0.19833433006240347,
      "learning_rate": 3.038449397558396e-07,
      "loss": 0.3938,
      "step": 1140
    },
    {
      "epoch": 4.754166666666666,
      "grad_norm": 0.20925531033059472,
      "learning_rate": 2.9382584291981265e-07,
      "loss": 0.4035,
      "step": 1141
    },
    {
      "epoch": 4.758333333333333,
      "grad_norm": 0.19412494052968784,
      "learning_rate": 2.839734916308068e-07,
      "loss": 0.3984,
      "step": 1142
    },
    {
      "epoch": 4.7625,
      "grad_norm": 0.20482762766790866,
      "learning_rate": 2.7428796925537127e-07,
      "loss": 0.3836,
      "step": 1143
    },
    {
      "epoch": 4.766666666666667,
      "grad_norm": 0.21061627000621963,
      "learning_rate": 2.647693577484156e-07,
      "loss": 0.3972,
      "step": 1144
    },
    {
      "epoch": 4.770833333333333,
      "grad_norm": 0.19599019840579426,
      "learning_rate": 2.554177376525191e-07,
      "loss": 0.3904,
      "step": 1145
    },
    {
      "epoch": 4.775,
      "grad_norm": 0.19316239172992322,
      "learning_rate": 2.462331880972468e-07,
      "loss": 0.3911,
      "step": 1146
    },
    {
      "epoch": 4.779166666666667,
      "grad_norm": 0.19835247649994242,
      "learning_rate": 2.3721578679848146e-07,
      "loss": 0.3998,
      "step": 1147
    },
    {
      "epoch": 4.783333333333333,
      "grad_norm": 0.20298068455378282,
      "learning_rate": 2.2836561005776803e-07,
      "loss": 0.3965,
      "step": 1148
    },
    {
      "epoch": 4.7875,
      "grad_norm": 0.20252255197368563,
      "learning_rate": 2.1968273276166352e-07,
      "loss": 0.3813,
      "step": 1149
    },
    {
      "epoch": 4.791666666666667,
      "grad_norm": 0.19602812185693308,
      "learning_rate": 2.111672283811106e-07,
      "loss": 0.4015,
      "step": 1150
    },
    {
      "epoch": 4.795833333333333,
      "grad_norm": 0.19757644835561847,
      "learning_rate": 2.0281916897080477e-07,
      "loss": 0.3849,
      "step": 1151
    },
    {
      "epoch": 4.8,
      "grad_norm": 0.20288132300797618,
      "learning_rate": 1.9463862516859277e-07,
      "loss": 0.399,
      "step": 1152
    },
    {
      "epoch": 4.804166666666667,
      "grad_norm": 0.19453468645995778,
      "learning_rate": 1.8662566619487954e-07,
      "loss": 0.4107,
      "step": 1153
    },
    {
      "epoch": 4.808333333333334,
      "grad_norm": 0.21201523746540965,
      "learning_rate": 1.7878035985202657e-07,
      "loss": 0.39,
      "step": 1154
    },
    {
      "epoch": 4.8125,
      "grad_norm": 0.19081726845878005,
      "learning_rate": 1.7110277252379238e-07,
      "loss": 0.4039,
      "step": 1155
    },
    {
      "epoch": 4.816666666666666,
      "grad_norm": 0.20237658844604547,
      "learning_rate": 1.6359296917476619e-07,
      "loss": 0.3935,
      "step": 1156
    },
    {
      "epoch": 4.820833333333333,
      "grad_norm": 0.2184959014302634,
      "learning_rate": 1.5625101334981742e-07,
      "loss": 0.3855,
      "step": 1157
    },
    {
      "epoch": 4.825,
      "grad_norm": 0.20778549428603435,
      "learning_rate": 1.4907696717356035e-07,
      "loss": 0.3853,
      "step": 1158
    },
    {
      "epoch": 4.829166666666667,
      "grad_norm": 0.19149205793816979,
      "learning_rate": 1.4207089134982143e-07,
      "loss": 0.3882,
      "step": 1159
    },
    {
      "epoch": 4.833333333333333,
      "grad_norm": 0.20518165977415728,
      "learning_rate": 1.3523284516113955e-07,
      "loss": 0.384,
      "step": 1160
    },
    {
      "epoch": 4.8375,
      "grad_norm": 0.19504892497211884,
      "learning_rate": 1.2856288646825087e-07,
      "loss": 0.3811,
      "step": 1161
    },
    {
      "epoch": 4.841666666666667,
      "grad_norm": 0.203712165452829,
      "learning_rate": 1.2206107170960046e-07,
      "loss": 0.3898,
      "step": 1162
    },
    {
      "epoch": 4.845833333333333,
      "grad_norm": 0.1959107836796987,
      "learning_rate": 1.1572745590087586e-07,
      "loss": 0.3892,
      "step": 1163
    },
    {
      "epoch": 4.85,
      "grad_norm": 0.1932746680712934,
      "learning_rate": 1.0956209263453421e-07,
      "loss": 0.3982,
      "step": 1164
    },
    {
      "epoch": 4.854166666666667,
      "grad_norm": 0.1942598007482467,
      "learning_rate": 1.0356503407934038e-07,
      "loss": 0.3941,
      "step": 1165
    },
    {
      "epoch": 4.858333333333333,
      "grad_norm": 0.19547774310726718,
      "learning_rate": 9.77363309799384e-08,
      "loss": 0.3991,
      "step": 1166
    },
    {
      "epoch": 4.8625,
      "grad_norm": 0.2069145818345087,
      "learning_rate": 9.207603265642296e-08,
      "loss": 0.3826,
      "step": 1167
    },
    {
      "epoch": 4.866666666666667,
      "grad_norm": 0.19859952239582304,
      "learning_rate": 8.658418700391302e-08,
      "loss": 0.3966,
      "step": 1168
    },
    {
      "epoch": 4.870833333333334,
      "grad_norm": 0.2002877890108048,
      "learning_rate": 8.126084049214334e-08,
      "loss": 0.3961,
      "step": 1169
    },
    {
      "epoch": 4.875,
      "grad_norm": 0.1994720798464499,
      "learning_rate": 7.61060381650891e-08,
      "loss": 0.3845,
      "step": 1170
    },
    {
      "epoch": 4.879166666666666,
      "grad_norm": 0.2021687724899969,
      "learning_rate": 7.111982364056857e-08,
      "loss": 0.3805,
      "step": 1171
    },
    {
      "epoch": 4.883333333333333,
      "grad_norm": 0.19145575266553533,
      "learning_rate": 6.630223910987887e-08,
      "loss": 0.3994,
      "step": 1172
    },
    {
      "epoch": 4.8875,
      "grad_norm": 0.2062532325132557,
      "learning_rate": 6.165332533744072e-08,
      "loss": 0.3735,
      "step": 1173
    },
    {
      "epoch": 4.891666666666667,
      "grad_norm": 0.19814071565964073,
      "learning_rate": 5.717312166045208e-08,
      "loss": 0.4078,
      "step": 1174
    },
    {
      "epoch": 4.895833333333333,
      "grad_norm": 0.19071689046769358,
      "learning_rate": 5.286166598855502e-08,
      "loss": 0.4021,
      "step": 1175
    },
    {
      "epoch": 4.9,
      "grad_norm": 0.19930971556082247,
      "learning_rate": 4.871899480351605e-08,
      "loss": 0.3907,
      "step": 1176
    },
    {
      "epoch": 4.904166666666667,
      "grad_norm": 0.19832556680555688,
      "learning_rate": 4.474514315891299e-08,
      "loss": 0.4049,
      "step": 1177
    },
    {
      "epoch": 4.908333333333333,
      "grad_norm": 0.1901957292417606,
      "learning_rate": 4.0940144679852963e-08,
      "loss": 0.3998,
      "step": 1178
    },
    {
      "epoch": 4.9125,
      "grad_norm": 0.2064164716597623,
      "learning_rate": 3.73040315626616e-08,
      "loss": 0.3884,
      "step": 1179
    },
    {
      "epoch": 4.916666666666667,
      "grad_norm": 0.1931001665012475,
      "learning_rate": 3.383683457463649e-08,
      "loss": 0.4044,
      "step": 1180
    },
    {
      "epoch": 4.920833333333333,
      "grad_norm": 0.1903418187956716,
      "learning_rate": 3.053858305377411e-08,
      "loss": 0.3987,
      "step": 1181
    },
    {
      "epoch": 4.925,
      "grad_norm": 0.1939799623343075,
      "learning_rate": 2.740930490852334e-08,
      "loss": 0.3925,
      "step": 1182
    },
    {
      "epoch": 4.929166666666667,
      "grad_norm": 0.19189458642729995,
      "learning_rate": 2.4449026617547887e-08,
      "loss": 0.4001,
      "step": 1183
    },
    {
      "epoch": 4.933333333333334,
      "grad_norm": 0.20218100414574042,
      "learning_rate": 2.1657773229508684e-08,
      "loss": 0.3888,
      "step": 1184
    },
    {
      "epoch": 4.9375,
      "grad_norm": 0.20461781766636453,
      "learning_rate": 1.9035568362844037e-08,
      "loss": 0.3909,
      "step": 1185
    },
    {
      "epoch": 4.941666666666666,
      "grad_norm": 0.18999406466543975,
      "learning_rate": 1.658243420557426e-08,
      "loss": 0.4057,
      "step": 1186
    },
    {
      "epoch": 4.945833333333333,
      "grad_norm": 0.20130098863174897,
      "learning_rate": 1.42983915151107e-08,
      "loss": 0.3865,
      "step": 1187
    },
    {
      "epoch": 4.95,
      "grad_norm": 0.198222739286373,
      "learning_rate": 1.2183459618084759e-08,
      "loss": 0.3896,
      "step": 1188
    },
    {
      "epoch": 4.954166666666667,
      "grad_norm": 0.20258128719704255,
      "learning_rate": 1.0237656410181374e-08,
      "loss": 0.3893,
      "step": 1189
    },
    {
      "epoch": 4.958333333333333,
      "grad_norm": 0.18787114374679498,
      "learning_rate": 8.460998355988014e-09,
      "loss": 0.4016,
      "step": 1190
    },
    {
      "epoch": 4.9625,
      "grad_norm": 0.19551146693242125,
      "learning_rate": 6.853500488854803e-09,
      "loss": 0.3937,
      "step": 1191
    },
    {
      "epoch": 4.966666666666667,
      "grad_norm": 0.19986871599429382,
      "learning_rate": 5.415176410765721e-09,
      "loss": 0.3893,
      "step": 1192
    },
    {
      "epoch": 4.970833333333333,
      "grad_norm": 0.1938529642818471,
      "learning_rate": 4.1460382922320355e-09,
      "loss": 0.3935,
      "step": 1193
    },
    {
      "epoch": 4.975,
      "grad_norm": 0.1968794371510558,
      "learning_rate": 3.0460968721746086e-09,
      "loss": 0.386,
      "step": 1194
    },
    {
      "epoch": 4.979166666666667,
      "grad_norm": 0.19892683279876672,
      "learning_rate": 2.1153614578506286e-09,
      "loss": 0.3837,
      "step": 1195
    },
    {
      "epoch": 4.983333333333333,
      "grad_norm": 0.19296848309206177,
      "learning_rate": 1.3538399247559064e-09,
      "loss": 0.4026,
      "step": 1196
    },
    {
      "epoch": 4.9875,
      "grad_norm": 0.20733749638655838,
      "learning_rate": 7.615387165738065e-10,
      "loss": 0.3893,
      "step": 1197
    },
    {
      "epoch": 4.991666666666667,
      "grad_norm": 0.20107927929139305,
      "learning_rate": 3.384628451152949e-10,
      "loss": 0.3933,
      "step": 1198
    },
    {
      "epoch": 4.995833333333334,
      "grad_norm": 0.19991479070961304,
      "learning_rate": 8.461589027453087e-11,
      "loss": 0.3833,
      "step": 1199
    },
    {
      "epoch": 5.0,
      "grad_norm": 0.2048210414699777,
      "learning_rate": 0.0,
      "loss": 0.3754,
      "step": 1200
    },
    {
      "epoch": 5.0,
      "step": 1200,
      "total_flos": 4.616590531240133e+18,
      "train_loss": 0.5000174347062906,
      "train_runtime": 28765.5268,
      "train_samples_per_second": 5.337,
      "train_steps_per_second": 0.042
    }
  ],
  "logging_steps": 1,
  "max_steps": 1200,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 5,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 4.616590531240133e+18,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}