{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 5.0,
  "eval_steps": 500,
  "global_step": 300,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.016666666666666666,
      "grad_norm": 5.245656972900781,
      "learning_rate": 2.666666666666667e-06,
      "loss": 0.8776,
      "step": 1
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 5.218891393087194,
      "learning_rate": 5.333333333333334e-06,
      "loss": 0.8699,
      "step": 2
    },
    {
      "epoch": 0.05,
      "grad_norm": 4.907833071621939,
      "learning_rate": 8.000000000000001e-06,
      "loss": 0.8757,
      "step": 3
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 2.26627933986632,
      "learning_rate": 1.0666666666666667e-05,
      "loss": 0.7787,
      "step": 4
    },
    {
      "epoch": 0.08333333333333333,
      "grad_norm": 2.9279695049055183,
      "learning_rate": 1.3333333333333333e-05,
      "loss": 0.761,
      "step": 5
    },
    {
      "epoch": 0.1,
      "grad_norm": 3.527749490226711,
      "learning_rate": 1.6000000000000003e-05,
      "loss": 0.7651,
      "step": 6
    },
    {
      "epoch": 0.11666666666666667,
      "grad_norm": 3.605889624479288,
      "learning_rate": 1.866666666666667e-05,
      "loss": 0.7356,
      "step": 7
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 2.3738801725418615,
      "learning_rate": 2.1333333333333335e-05,
      "loss": 0.6935,
      "step": 8
    },
    {
      "epoch": 0.15,
      "grad_norm": 2.274725710925249,
      "learning_rate": 2.4e-05,
      "loss": 0.6894,
      "step": 9
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 1.9493552307289557,
      "learning_rate": 2.6666666666666667e-05,
      "loss": 0.6534,
      "step": 10
    },
    {
      "epoch": 0.18333333333333332,
      "grad_norm": 1.4315069665868227,
      "learning_rate": 2.9333333333333333e-05,
      "loss": 0.6564,
      "step": 11
    },
    {
      "epoch": 0.2,
      "grad_norm": 1.5253504226991403,
      "learning_rate": 3.2000000000000005e-05,
      "loss": 0.637,
      "step": 12
    },
    {
      "epoch": 0.21666666666666667,
      "grad_norm": 1.0362270714290227,
      "learning_rate": 3.466666666666667e-05,
      "loss": 0.6096,
      "step": 13
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 1.0535753199910156,
      "learning_rate": 3.733333333333334e-05,
      "loss": 0.6146,
      "step": 14
    },
    {
      "epoch": 0.25,
      "grad_norm": 0.8349010003862102,
      "learning_rate": 4e-05,
      "loss": 0.5966,
      "step": 15
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 1.106306463757904,
      "learning_rate": 4.266666666666667e-05,
      "loss": 0.5894,
      "step": 16
    },
    {
      "epoch": 0.2833333333333333,
      "grad_norm": 1.6404444358554484,
      "learning_rate": 4.5333333333333335e-05,
      "loss": 0.5883,
      "step": 17
    },
    {
      "epoch": 0.3,
      "grad_norm": 1.2010935784418375,
      "learning_rate": 4.8e-05,
      "loss": 0.5857,
      "step": 18
    },
    {
      "epoch": 0.31666666666666665,
      "grad_norm": 1.2437856605381512,
      "learning_rate": 5.066666666666667e-05,
      "loss": 0.5799,
      "step": 19
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 1.1054886271753657,
      "learning_rate": 5.333333333333333e-05,
      "loss": 0.5833,
      "step": 20
    },
    {
      "epoch": 0.35,
      "grad_norm": 1.8467836888011633,
      "learning_rate": 5.6e-05,
      "loss": 0.5691,
      "step": 21
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 1.3123090569088927,
      "learning_rate": 5.8666666666666665e-05,
      "loss": 0.5801,
      "step": 22
    },
    {
      "epoch": 0.38333333333333336,
      "grad_norm": 1.9040924123333776,
      "learning_rate": 6.133333333333334e-05,
      "loss": 0.5703,
      "step": 23
    },
    {
      "epoch": 0.4,
      "grad_norm": 1.519433235348848,
      "learning_rate": 6.400000000000001e-05,
      "loss": 0.5597,
      "step": 24
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 1.9894575780267958,
      "learning_rate": 6.666666666666667e-05,
      "loss": 0.5603,
      "step": 25
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 1.692437490204837,
      "learning_rate": 6.933333333333334e-05,
      "loss": 0.5565,
      "step": 26
    },
    {
      "epoch": 0.45,
      "grad_norm": 1.590883494763927,
      "learning_rate": 7.2e-05,
      "loss": 0.5543,
      "step": 27
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 1.7224717553042976,
      "learning_rate": 7.466666666666667e-05,
      "loss": 0.5545,
      "step": 28
    },
    {
      "epoch": 0.48333333333333334,
      "grad_norm": 1.1992732138594948,
      "learning_rate": 7.733333333333333e-05,
      "loss": 0.5499,
      "step": 29
    },
    {
      "epoch": 0.5,
      "grad_norm": 1.5597591487390383,
      "learning_rate": 8e-05,
      "loss": 0.5466,
      "step": 30
    },
    {
      "epoch": 0.5166666666666667,
      "grad_norm": 13.235144568199255,
      "learning_rate": 7.99972923201505e-05,
      "loss": 0.5549,
      "step": 31
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 3.874062099184836,
      "learning_rate": 7.998916964717848e-05,
      "loss": 0.5886,
      "step": 32
    },
    {
      "epoch": 0.55,
      "grad_norm": 1.4820859850590011,
      "learning_rate": 7.997563308076384e-05,
      "loss": 0.5638,
      "step": 33
    },
    {
      "epoch": 0.5666666666666667,
      "grad_norm": 2.2378343082372383,
      "learning_rate": 7.9956684453541e-05,
      "loss": 0.5635,
      "step": 34
    },
    {
      "epoch": 0.5833333333333334,
      "grad_norm": 2.0542713302674125,
      "learning_rate": 7.993232633085074e-05,
      "loss": 0.5569,
      "step": 35
    },
    {
      "epoch": 0.6,
      "grad_norm": 1.3440983509202997,
      "learning_rate": 7.990256201039297e-05,
      "loss": 0.5466,
      "step": 36
    },
    {
      "epoch": 0.6166666666666667,
      "grad_norm": 1.95814978563299,
      "learning_rate": 7.986739552178024e-05,
      "loss": 0.5497,
      "step": 37
    },
    {
      "epoch": 0.6333333333333333,
      "grad_norm": 1.4390522422057623,
      "learning_rate": 7.982683162599218e-05,
      "loss": 0.5501,
      "step": 38
    },
    {
      "epoch": 0.65,
      "grad_norm": 1.236091120549879,
      "learning_rate": 7.978087581473094e-05,
      "loss": 0.5319,
      "step": 39
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 1.6696941417701605,
      "learning_rate": 7.972953430967773e-05,
      "loss": 0.529,
      "step": 40
    },
    {
      "epoch": 0.6833333333333333,
      "grad_norm": 1.1511510733974055,
      "learning_rate": 7.967281406165047e-05,
      "loss": 0.5341,
      "step": 41
    },
    {
      "epoch": 0.7,
      "grad_norm": 1.5109081225827479,
      "learning_rate": 7.961072274966282e-05,
      "loss": 0.5422,
      "step": 42
    },
    {
      "epoch": 0.7166666666666667,
      "grad_norm": 1.6183268194402816,
      "learning_rate": 7.954326877988446e-05,
      "loss": 0.5375,
      "step": 43
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 1.2434289553277165,
      "learning_rate": 7.947046128450319e-05,
      "loss": 0.5354,
      "step": 44
    },
    {
      "epoch": 0.75,
      "grad_norm": 2.449120981246454,
      "learning_rate": 7.939231012048833e-05,
      "loss": 0.5368,
      "step": 45
    },
    {
      "epoch": 0.7666666666666667,
      "grad_norm": 1.5991953169483721,
      "learning_rate": 7.930882586825653e-05,
      "loss": 0.5325,
      "step": 46
    },
    {
      "epoch": 0.7833333333333333,
      "grad_norm": 1.9062555539894481,
      "learning_rate": 7.922001983023918e-05,
      "loss": 0.5263,
      "step": 47
    },
    {
      "epoch": 0.8,
      "grad_norm": 1.108612799462749,
      "learning_rate": 7.912590402935223e-05,
      "loss": 0.5198,
      "step": 48
    },
    {
      "epoch": 0.8166666666666667,
      "grad_norm": 2.154405805332455,
      "learning_rate": 7.902649120736858e-05,
      "loss": 0.5271,
      "step": 49
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 1.6242552519251434,
      "learning_rate": 7.892179482319297e-05,
      "loss": 0.5306,
      "step": 50
    },
    {
      "epoch": 0.85,
      "grad_norm": 1.8581343300186228,
      "learning_rate": 7.881182905103986e-05,
      "loss": 0.5304,
      "step": 51
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 1.654252376154325,
      "learning_rate": 7.869660877851456e-05,
      "loss": 0.5303,
      "step": 52
    },
    {
      "epoch": 0.8833333333333333,
      "grad_norm": 18.002108491304732,
      "learning_rate": 7.857614960459756e-05,
      "loss": 0.5191,
      "step": 53
    },
    {
      "epoch": 0.9,
      "grad_norm": 3.6384293492152766,
      "learning_rate": 7.845046783753276e-05,
      "loss": 0.5527,
      "step": 54
    },
    {
      "epoch": 0.9166666666666666,
      "grad_norm": 2.619651938582199,
      "learning_rate": 7.831958049261956e-05,
      "loss": 0.5317,
      "step": 55
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 1.8069739421088107,
      "learning_rate": 7.818350528990929e-05,
      "loss": 0.5257,
      "step": 56
    },
    {
      "epoch": 0.95,
      "grad_norm": 2.095214243472687,
      "learning_rate": 7.804226065180615e-05,
      "loss": 0.5142,
      "step": 57
    },
    {
      "epoch": 0.9666666666666667,
      "grad_norm": 1.388139375514743,
      "learning_rate": 7.789586570057317e-05,
      "loss": 0.5224,
      "step": 58
    },
    {
      "epoch": 0.9833333333333333,
      "grad_norm": 1.5046369746206,
      "learning_rate": 7.774434025574335e-05,
      "loss": 0.52,
      "step": 59
    },
    {
      "epoch": 1.0,
      "grad_norm": 1.686276016808025,
      "learning_rate": 7.758770483143634e-05,
      "loss": 0.5222,
      "step": 60
    },
    {
      "epoch": 1.0166666666666666,
      "grad_norm": 0.7679065511895556,
      "learning_rate": 7.742598063358127e-05,
      "loss": 0.4969,
      "step": 61
    },
    {
      "epoch": 1.0333333333333334,
      "grad_norm": 1.6671453143503268,
      "learning_rate": 7.72591895570457e-05,
      "loss": 0.5029,
      "step": 62
    },
    {
      "epoch": 1.05,
      "grad_norm": 2.220579381452646,
      "learning_rate": 7.70873541826715e-05,
      "loss": 0.5371,
      "step": 63
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 4.570845075146369,
      "learning_rate": 7.69104977742177e-05,
      "loss": 0.6454,
      "step": 64
    },
    {
      "epoch": 1.0833333333333333,
      "grad_norm": 95.70037821653926,
      "learning_rate": 7.672864427521097e-05,
      "loss": 5.1073,
      "step": 65
    },
    {
      "epoch": 1.1,
      "grad_norm": 25.51120723470009,
      "learning_rate": 7.654181830570404e-05,
      "loss": 0.8472,
      "step": 66
    },
    {
      "epoch": 1.1166666666666667,
      "grad_norm": 4.160165799743227,
      "learning_rate": 7.635004515894258e-05,
      "loss": 0.599,
      "step": 67
    },
    {
      "epoch": 1.1333333333333333,
      "grad_norm": 23.550770127615383,
      "learning_rate": 7.615335079794083e-05,
      "loss": 0.5545,
      "step": 68
    },
    {
      "epoch": 1.15,
      "grad_norm": 6.573080981318929,
      "learning_rate": 7.595176185196669e-05,
      "loss": 0.5589,
      "step": 69
    },
    {
      "epoch": 1.1666666666666667,
      "grad_norm": 2.529666305514143,
      "learning_rate": 7.57453056129365e-05,
      "loss": 0.5536,
      "step": 70
    },
    {
      "epoch": 1.1833333333333333,
      "grad_norm": 1.5493207967736369,
      "learning_rate": 7.553401003172018e-05,
      "loss": 0.553,
      "step": 71
    },
    {
      "epoch": 1.2,
      "grad_norm": 1.5353410133791279,
      "learning_rate": 7.531790371435709e-05,
      "loss": 0.5278,
      "step": 72
    },
    {
      "epoch": 1.2166666666666668,
      "grad_norm": 1.080718986337614,
      "learning_rate": 7.509701591818328e-05,
      "loss": 0.5185,
      "step": 73
    },
    {
      "epoch": 1.2333333333333334,
      "grad_norm": 1.0926454805582764,
      "learning_rate": 7.48713765478705e-05,
      "loss": 0.5235,
      "step": 74
    },
    {
      "epoch": 1.25,
      "grad_norm": 1.6500275732342171,
      "learning_rate": 7.464101615137756e-05,
      "loss": 0.5273,
      "step": 75
    },
    {
      "epoch": 1.2666666666666666,
      "grad_norm": 0.6947273168033852,
      "learning_rate": 7.440596591581463e-05,
      "loss": 0.5096,
      "step": 76
    },
    {
      "epoch": 1.2833333333333332,
      "grad_norm": 1.1866376155740894,
      "learning_rate": 7.416625766322104e-05,
      "loss": 0.5113,
      "step": 77
    },
    {
      "epoch": 1.3,
      "grad_norm": 1.364003256949255,
      "learning_rate": 7.392192384625704e-05,
      "loss": 0.5002,
      "step": 78
    },
    {
      "epoch": 1.3166666666666667,
      "grad_norm": 0.7699646989586344,
      "learning_rate": 7.36729975438103e-05,
      "loss": 0.5056,
      "step": 79
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 0.9387918212619166,
      "learning_rate": 7.341951245651747e-05,
      "loss": 0.5052,
      "step": 80
    },
    {
      "epoch": 1.35,
      "grad_norm": 0.9794384927838236,
      "learning_rate": 7.316150290220167e-05,
      "loss": 0.4894,
      "step": 81
    },
    {
      "epoch": 1.3666666666666667,
      "grad_norm": 1.0473737374776888,
      "learning_rate": 7.28990038112265e-05,
      "loss": 0.4936,
      "step": 82
    },
    {
      "epoch": 1.3833333333333333,
      "grad_norm": 1.1742291915881278,
      "learning_rate": 7.26320507217669e-05,
      "loss": 0.505,
      "step": 83
    },
    {
      "epoch": 1.4,
      "grad_norm": 1.6225251259818336,
      "learning_rate": 7.236067977499791e-05,
      "loss": 0.4905,
      "step": 84
    },
    {
      "epoch": 1.4166666666666667,
      "grad_norm": 0.8410079622378729,
      "learning_rate": 7.208492771020176e-05,
      "loss": 0.5074,
      "step": 85
    },
    {
      "epoch": 1.4333333333333333,
      "grad_norm": 1.8512093181988574,
      "learning_rate": 7.180483185979392e-05,
      "loss": 0.503,
      "step": 86
    },
    {
      "epoch": 1.45,
      "grad_norm": 1.1798570273773599,
      "learning_rate": 7.152043014426888e-05,
      "loss": 0.4975,
      "step": 87
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 2.0044106173108847,
      "learning_rate": 7.123176106706638e-05,
      "loss": 0.4956,
      "step": 88
    },
    {
      "epoch": 1.4833333333333334,
      "grad_norm": 1.6187294121217053,
      "learning_rate": 7.093886370935857e-05,
      "loss": 0.5099,
      "step": 89
    },
    {
      "epoch": 1.5,
      "grad_norm": 1.3316813459007235,
      "learning_rate": 7.064177772475912e-05,
      "loss": 0.4821,
      "step": 90
    },
    {
      "epoch": 1.5166666666666666,
      "grad_norm": 1.3236329742991892,
      "learning_rate": 7.034054333395477e-05,
      "loss": 0.5009,
      "step": 91
    },
    {
      "epoch": 1.5333333333333332,
      "grad_norm": 1.2710355585646307,
      "learning_rate": 7.003520131925997e-05,
      "loss": 0.4933,
      "step": 92
    },
    {
      "epoch": 1.55,
      "grad_norm": 0.8906498668488716,
      "learning_rate": 6.972579301909577e-05,
      "loss": 0.4973,
      "step": 93
    },
    {
      "epoch": 1.5666666666666667,
      "grad_norm": 0.9758072573672575,
      "learning_rate": 6.941236032239316e-05,
      "loss": 0.4891,
      "step": 94
    },
    {
      "epoch": 1.5833333333333335,
      "grad_norm": 0.8325314640236163,
      "learning_rate": 6.909494566292195e-05,
      "loss": 0.4906,
      "step": 95
    },
    {
      "epoch": 1.6,
      "grad_norm": 0.6862846883116868,
      "learning_rate": 6.877359201354606e-05,
      "loss": 0.4708,
      "step": 96
    },
    {
      "epoch": 1.6166666666666667,
      "grad_norm": 0.8114306753381507,
      "learning_rate": 6.844834288040548e-05,
      "loss": 0.48,
      "step": 97
    },
    {
      "epoch": 1.6333333333333333,
      "grad_norm": 0.6802406870407687,
      "learning_rate": 6.811924229702648e-05,
      "loss": 0.4907,
      "step": 98
    },
    {
      "epoch": 1.65,
      "grad_norm": 0.7746572186775433,
      "learning_rate": 6.778633481835989e-05,
      "loss": 0.4792,
      "step": 99
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 0.596342711723325,
      "learning_rate": 6.744966551474936e-05,
      "loss": 0.4709,
      "step": 100
    },
    {
      "epoch": 1.6833333333333333,
      "grad_norm": 0.5786523069395214,
      "learning_rate": 6.71092799658293e-05,
      "loss": 0.4717,
      "step": 101
    },
    {
      "epoch": 1.7,
      "grad_norm": 0.578720133999103,
      "learning_rate": 6.676522425435433e-05,
      "loss": 0.4726,
      "step": 102
    },
    {
      "epoch": 1.7166666666666668,
      "grad_norm": 0.619421135446994,
      "learning_rate": 6.641754495996031e-05,
      "loss": 0.4732,
      "step": 103
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 0.5320320618804577,
      "learning_rate": 6.606628915285822e-05,
      "loss": 0.475,
      "step": 104
    },
    {
      "epoch": 1.75,
      "grad_norm": 0.5935909070239521,
      "learning_rate": 6.571150438746157e-05,
      "loss": 0.476,
      "step": 105
    },
    {
      "epoch": 1.7666666666666666,
      "grad_norm": 0.7225146247808617,
      "learning_rate": 6.53532386959484e-05,
      "loss": 0.4804,
      "step": 106
    },
    {
      "epoch": 1.7833333333333332,
      "grad_norm": 0.8099377428335527,
      "learning_rate": 6.499154058175841e-05,
      "loss": 0.4801,
      "step": 107
    },
    {
      "epoch": 1.8,
      "grad_norm": 0.9381139587591945,
      "learning_rate": 6.462645901302633e-05,
      "loss": 0.4695,
      "step": 108
    },
    {
      "epoch": 1.8166666666666667,
      "grad_norm": 1.280364541057433,
      "learning_rate": 6.425804341595255e-05,
      "loss": 0.474,
      "step": 109
    },
    {
      "epoch": 1.8333333333333335,
      "grad_norm": 0.7258487421487859,
      "learning_rate": 6.388634366811146e-05,
      "loss": 0.4753,
      "step": 110
    },
    {
      "epoch": 1.85,
      "grad_norm": 0.4381708977671278,
      "learning_rate": 6.351141009169893e-05,
      "loss": 0.4801,
      "step": 111
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 0.6827208700360275,
      "learning_rate": 6.313329344671946e-05,
      "loss": 0.4671,
      "step": 112
    },
    {
      "epoch": 1.8833333333333333,
      "grad_norm": 1.122933541517188,
      "learning_rate": 6.275204492411408e-05,
      "loss": 0.4742,
      "step": 113
    },
    {
      "epoch": 1.9,
      "grad_norm": 0.8764710794281773,
      "learning_rate": 6.236771613882987e-05,
      "loss": 0.4669,
      "step": 114
    },
    {
      "epoch": 1.9166666666666665,
      "grad_norm": 0.6477607688780823,
      "learning_rate": 6.198035912283225e-05,
      "loss": 0.4704,
      "step": 115
    },
    {
      "epoch": 1.9333333333333333,
      "grad_norm": 0.5534687080744243,
      "learning_rate": 6.159002631806052e-05,
      "loss": 0.4624,
      "step": 116
    },
    {
      "epoch": 1.95,
      "grad_norm": 0.45096824695667637,
      "learning_rate": 6.11967705693282e-05,
      "loss": 0.4602,
      "step": 117
    },
    {
      "epoch": 1.9666666666666668,
      "grad_norm": 0.554357902331042,
      "learning_rate": 6.0800645117168616e-05,
      "loss": 0.4684,
      "step": 118
    },
    {
      "epoch": 1.9833333333333334,
      "grad_norm": 0.5221484514841085,
      "learning_rate": 6.040170359062702e-05,
      "loss": 0.4683,
      "step": 119
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.5704263223686744,
      "learning_rate": 6.000000000000001e-05,
      "loss": 0.4461,
      "step": 120
    },
    {
      "epoch": 2.0166666666666666,
      "grad_norm": 0.5709278974682745,
      "learning_rate": 5.959558872952349e-05,
      "loss": 0.4438,
      "step": 121
    },
    {
      "epoch": 2.033333333333333,
      "grad_norm": 0.5801282027560986,
      "learning_rate": 5.918852453000986e-05,
      "loss": 0.4412,
      "step": 122
    },
    {
      "epoch": 2.05,
      "grad_norm": 0.6959111187765339,
      "learning_rate": 5.877886251143564e-05,
      "loss": 0.4383,
      "step": 123
    },
    {
      "epoch": 2.066666666666667,
      "grad_norm": 0.6383137765035167,
      "learning_rate": 5.836665813548047e-05,
      "loss": 0.439,
      "step": 124
    },
    {
      "epoch": 2.0833333333333335,
      "grad_norm": 0.6979472630547436,
      "learning_rate": 5.79519672080185e-05,
      "loss": 0.4404,
      "step": 125
    },
    {
      "epoch": 2.1,
      "grad_norm": 0.8032609331074188,
      "learning_rate": 5.75348458715631e-05,
      "loss": 0.4446,
      "step": 126
    },
    {
      "epoch": 2.1166666666666667,
      "grad_norm": 0.8008578170362761,
      "learning_rate": 5.711535059766617e-05,
      "loss": 0.4328,
      "step": 127
    },
    {
      "epoch": 2.1333333333333333,
      "grad_norm": 0.7544509359404,
      "learning_rate": 5.669353817927272e-05,
      "loss": 0.4332,
      "step": 128
    },
    {
      "epoch": 2.15,
      "grad_norm": 0.5277962998797086,
      "learning_rate": 5.626946572303202e-05,
      "loss": 0.4439,
      "step": 129
    },
    {
      "epoch": 2.1666666666666665,
      "grad_norm": 0.48832916475247207,
      "learning_rate": 5.584319064156628e-05,
      "loss": 0.4363,
      "step": 130
    },
    {
      "epoch": 2.183333333333333,
      "grad_norm": 0.3193641330679638,
      "learning_rate": 5.541477064569794e-05,
      "loss": 0.437,
      "step": 131
    },
    {
      "epoch": 2.2,
      "grad_norm": 0.43285764791873127,
      "learning_rate": 5.4984263736636494e-05,
      "loss": 0.4396,
      "step": 132
    },
    {
      "epoch": 2.216666666666667,
      "grad_norm": 0.506381220210278,
      "learning_rate": 5.4551728198126066e-05,
      "loss": 0.441,
      "step": 133
    },
    {
      "epoch": 2.2333333333333334,
      "grad_norm": 0.497473946767306,
      "learning_rate": 5.4117222588554756e-05,
      "loss": 0.4356,
      "step": 134
    },
    {
      "epoch": 2.25,
      "grad_norm": 0.3626547796740017,
      "learning_rate": 5.368080573302676e-05,
      "loss": 0.4483,
      "step": 135
    },
    {
      "epoch": 2.2666666666666666,
      "grad_norm": 0.4460556149358041,
      "learning_rate": 5.324253671539833e-05,
      "loss": 0.4315,
      "step": 136
    },
    {
      "epoch": 2.283333333333333,
      "grad_norm": 0.35392468089641915,
      "learning_rate": 5.280247487027886e-05,
      "loss": 0.4324,
      "step": 137
    },
    {
      "epoch": 2.3,
      "grad_norm": 0.477174161688509,
      "learning_rate": 5.23606797749979e-05,
      "loss": 0.4369,
      "step": 138
    },
    {
      "epoch": 2.3166666666666664,
      "grad_norm": 0.4332074029655615,
      "learning_rate": 5.191721124153928e-05,
      "loss": 0.4384,
      "step": 139
    },
    {
      "epoch": 2.3333333333333335,
      "grad_norm": 0.359337416622667,
      "learning_rate": 5.1472129308443616e-05,
      "loss": 0.4323,
      "step": 140
    },
    {
      "epoch": 2.35,
      "grad_norm": 0.45751469741830436,
      "learning_rate": 5.102549423267997e-05,
      "loss": 0.4413,
      "step": 141
    },
    {
      "epoch": 2.3666666666666667,
      "grad_norm": 0.36273885092681685,
      "learning_rate": 5.05773664814881e-05,
      "loss": 0.4372,
      "step": 142
    },
    {
      "epoch": 2.3833333333333333,
      "grad_norm": 0.43840182150058027,
      "learning_rate": 5.012780672419208e-05,
      "loss": 0.4389,
      "step": 143
    },
    {
      "epoch": 2.4,
      "grad_norm": 0.5814229277766988,
      "learning_rate": 4.967687582398671e-05,
      "loss": 0.4366,
      "step": 144
    },
    {
      "epoch": 2.4166666666666665,
      "grad_norm": 0.4648544861511475,
      "learning_rate": 4.922463482969761e-05,
      "loss": 0.4244,
      "step": 145
    },
    {
      "epoch": 2.4333333333333336,
      "grad_norm": 0.43277324284253266,
      "learning_rate": 4.877114496751613e-05,
      "loss": 0.4263,
      "step": 146
    },
    {
      "epoch": 2.45,
      "grad_norm": 0.3445487784949258,
      "learning_rate": 4.831646763271037e-05,
      "loss": 0.4259,
      "step": 147
    },
    {
      "epoch": 2.466666666666667,
      "grad_norm": 0.249493804872003,
      "learning_rate": 4.786066438131321e-05,
      "loss": 0.4303,
      "step": 148
    },
    {
      "epoch": 2.4833333333333334,
      "grad_norm": 0.35648001360715187,
      "learning_rate": 4.740379692178858e-05,
      "loss": 0.4371,
      "step": 149
    },
    {
      "epoch": 2.5,
      "grad_norm": 0.35764410624086523,
      "learning_rate": 4.694592710667723e-05,
      "loss": 0.4363,
      "step": 150
    },
    {
      "epoch": 2.5166666666666666,
      "grad_norm": 0.32197356996135706,
      "learning_rate": 4.648711692422271e-05,
      "loss": 0.4284,
      "step": 151
    },
    {
      "epoch": 2.533333333333333,
      "grad_norm": 0.26813902456960564,
      "learning_rate": 4.602742848997933e-05,
      "loss": 0.4268,
      "step": 152
    },
    {
      "epoch": 2.55,
      "grad_norm": 0.3152449367621475,
      "learning_rate": 4.556692403840262e-05,
      "loss": 0.4361,
      "step": 153
    },
    {
      "epoch": 2.5666666666666664,
      "grad_norm": 0.3044173540598896,
      "learning_rate": 4.51056659144238e-05,
      "loss": 0.4369,
      "step": 154
    },
    {
      "epoch": 2.5833333333333335,
      "grad_norm": 0.34156608545292216,
      "learning_rate": 4.464371656500921e-05,
      "loss": 0.4288,
      "step": 155
    },
    {
      "epoch": 2.6,
      "grad_norm": 0.23359937356488897,
      "learning_rate": 4.418113853070614e-05,
      "loss": 0.4284,
      "step": 156
    },
    {
      "epoch": 2.6166666666666667,
      "grad_norm": 0.2622225256652441,
      "learning_rate": 4.37179944371757e-05,
      "loss": 0.4301,
      "step": 157
    },
    {
      "epoch": 2.6333333333333333,
      "grad_norm": 0.2666586570230336,
      "learning_rate": 4.3254346986714334e-05,
      "loss": 0.4309,
      "step": 158
    },
    {
      "epoch": 2.65,
      "grad_norm": 0.22512452157668708,
      "learning_rate": 4.2790258949765014e-05,
      "loss": 0.4383,
      "step": 159
    },
    {
      "epoch": 2.6666666666666665,
      "grad_norm": 0.22395685196851006,
      "learning_rate": 4.2325793156419035e-05,
      "loss": 0.4302,
      "step": 160
    },
    {
      "epoch": 2.6833333333333336,
      "grad_norm": 0.2631712834526137,
      "learning_rate": 4.186101248790988e-05,
      "loss": 0.4274,
      "step": 161
    },
    {
      "epoch": 2.7,
      "grad_norm": 0.18137357765826834,
      "learning_rate": 4.139597986810005e-05,
      "loss": 0.4283,
      "step": 162
    },
    {
      "epoch": 2.716666666666667,
      "grad_norm": 0.2152319656904045,
      "learning_rate": 4.093075825496225e-05,
      "loss": 0.4262,
      "step": 163
    },
    {
      "epoch": 2.7333333333333334,
      "grad_norm": 0.23695720587637784,
      "learning_rate": 4.046541063205589e-05,
      "loss": 0.4267,
      "step": 164
    },
    {
      "epoch": 2.75,
      "grad_norm": 0.18535759709420013,
      "learning_rate": 4e-05,
      "loss": 0.431,
      "step": 165
    },
    {
      "epoch": 2.7666666666666666,
      "grad_norm": 0.19512911640325292,
      "learning_rate": 3.953458936794413e-05,
      "loss": 0.4302,
      "step": 166
    },
    {
      "epoch": 2.783333333333333,
      "grad_norm": 0.24096730339995487,
      "learning_rate": 3.9069241745037753e-05,
      "loss": 0.4243,
      "step": 167
    },
    {
      "epoch": 2.8,
      "grad_norm": 0.252078037604114,
      "learning_rate": 3.860402013189998e-05,
      "loss": 0.4282,
      "step": 168
    },
    {
      "epoch": 2.8166666666666664,
      "grad_norm": 0.1924034465875299,
      "learning_rate": 3.813898751209013e-05,
      "loss": 0.4267,
      "step": 169
    },
    {
      "epoch": 2.8333333333333335,
      "grad_norm": 0.23563515928261294,
      "learning_rate": 3.767420684358097e-05,
      "loss": 0.4376,
      "step": 170
    },
    {
      "epoch": 2.85,
      "grad_norm": 0.1634490186417809,
      "learning_rate": 3.720974105023499e-05,
      "loss": 0.4331,
      "step": 171
    },
    {
      "epoch": 2.8666666666666667,
      "grad_norm": 0.18183833282724582,
      "learning_rate": 3.674565301328568e-05,
      "loss": 0.4255,
      "step": 172
    },
    {
      "epoch": 2.8833333333333333,
      "grad_norm": 0.1732573714191111,
      "learning_rate": 3.628200556282432e-05,
      "loss": 0.4242,
      "step": 173
    },
    {
      "epoch": 2.9,
      "grad_norm": 0.17815235424744558,
      "learning_rate": 3.581886146929387e-05,
      "loss": 0.4329,
      "step": 174
    },
    {
      "epoch": 2.9166666666666665,
      "grad_norm": 0.22481501284187758,
      "learning_rate": 3.535628343499079e-05,
      "loss": 0.4338,
      "step": 175
    },
    {
      "epoch": 2.9333333333333336,
      "grad_norm": 0.1800561213440347,
      "learning_rate": 3.4894334085576215e-05,
      "loss": 0.4228,
      "step": 176
    },
    {
      "epoch": 2.95,
      "grad_norm": 0.19746447907155162,
      "learning_rate": 3.44330759615974e-05,
      "loss": 0.4352,
      "step": 177
    },
    {
      "epoch": 2.966666666666667,
      "grad_norm": 0.18920195029733491,
      "learning_rate": 3.397257151002068e-05,
      "loss": 0.4293,
      "step": 178
    },
    {
      "epoch": 2.9833333333333334,
      "grad_norm": 0.2323628846730535,
      "learning_rate": 3.351288307577731e-05,
      "loss": 0.4359,
      "step": 179
    },
    {
      "epoch": 3.0,
      "grad_norm": 0.21748900457524406,
      "learning_rate": 3.305407289332279e-05,
      "loss": 0.4174,
      "step": 180
    },
    {
      "epoch": 3.0166666666666666,
      "grad_norm": 0.271621511298459,
      "learning_rate": 3.2596203078211424e-05,
      "loss": 0.4078,
      "step": 181
    },
    {
      "epoch": 3.033333333333333,
      "grad_norm": 0.2012008013431602,
      "learning_rate": 3.213933561868679e-05,
      "loss": 0.3961,
      "step": 182
    },
    {
      "epoch": 3.05,
      "grad_norm": 0.3220604765409426,
      "learning_rate": 3.168353236728964e-05,
      "loss": 0.4045,
      "step": 183
    },
    {
      "epoch": 3.066666666666667,
      "grad_norm": 0.19572819773614739,
      "learning_rate": 3.122885503248386e-05,
      "loss": 0.3961,
      "step": 184
    },
    {
      "epoch": 3.0833333333333335,
      "grad_norm": 0.33244677864095823,
      "learning_rate": 3.07753651703024e-05,
      "loss": 0.3928,
      "step": 185
    },
    {
      "epoch": 3.1,
      "grad_norm": 0.24724515409460784,
      "learning_rate": 3.0323124176013297e-05,
      "loss": 0.3967,
      "step": 186
    },
    {
      "epoch": 3.1166666666666667,
      "grad_norm": 0.296372671702842,
      "learning_rate": 2.9872193275807933e-05,
      "loss": 0.3934,
      "step": 187
    },
    {
      "epoch": 3.1333333333333333,
      "grad_norm": 0.23480346232564567,
      "learning_rate": 2.9422633518511926e-05,
      "loss": 0.3999,
      "step": 188
    },
    {
      "epoch": 3.15,
      "grad_norm": 0.2299020315400507,
      "learning_rate": 2.8974505767320037e-05,
      "loss": 0.3957,
      "step": 189
    },
    {
      "epoch": 3.1666666666666665,
      "grad_norm": 0.20438922063246678,
      "learning_rate": 2.8527870691556404e-05,
      "loss": 0.3909,
      "step": 190
    },
    {
      "epoch": 3.183333333333333,
      "grad_norm": 0.23024242910435916,
      "learning_rate": 2.808278875846072e-05,
      "loss": 0.3979,
      "step": 191
    },
    {
      "epoch": 3.2,
      "grad_norm": 0.19952835302247546,
      "learning_rate": 2.7639320225002108e-05,
      "loss": 0.3878,
      "step": 192
    },
    {
      "epoch": 3.216666666666667,
      "grad_norm": 0.2433848525247375,
      "learning_rate": 2.7197525129721138e-05,
      "loss": 0.4054,
      "step": 193
    },
    {
      "epoch": 3.2333333333333334,
      "grad_norm": 0.18781862787549544,
      "learning_rate": 2.6757463284601682e-05,
      "loss": 0.4018,
      "step": 194
    },
    {
      "epoch": 3.25,
      "grad_norm": 0.24582760836055703,
      "learning_rate": 2.6319194266973256e-05,
      "loss": 0.4003,
      "step": 195
    },
    {
      "epoch": 3.2666666666666666,
      "grad_norm": 0.1952833254189799,
      "learning_rate": 2.5882777411445254e-05,
      "loss": 0.3976,
      "step": 196
    },
    {
      "epoch": 3.283333333333333,
      "grad_norm": 0.24107320758003553,
      "learning_rate": 2.5448271801873957e-05,
      "loss": 0.3894,
      "step": 197
    },
    {
      "epoch": 3.3,
      "grad_norm": 0.20156597827284783,
      "learning_rate": 2.501573626336352e-05,
      "loss": 0.3937,
      "step": 198
    },
    {
      "epoch": 3.3166666666666664,
      "grad_norm": 0.19144637276173257,
      "learning_rate": 2.4585229354302077e-05,
      "loss": 0.4047,
      "step": 199
    },
    {
      "epoch": 3.3333333333333335,
      "grad_norm": 0.19465848820341938,
      "learning_rate": 2.4156809358433728e-05,
      "loss": 0.3926,
      "step": 200
    },
    {
      "epoch": 3.35,
      "grad_norm": 0.17941943926005774,
      "learning_rate": 2.3730534276968e-05,
      "loss": 0.3996,
      "step": 201
    },
    {
      "epoch": 3.3666666666666667,
      "grad_norm": 0.16877944368715106,
      "learning_rate": 2.330646182072729e-05,
      "loss": 0.3988,
      "step": 202
    },
    {
      "epoch": 3.3833333333333333,
      "grad_norm": 0.15853651420700432,
      "learning_rate": 2.288464940233384e-05,
      "loss": 0.3969,
      "step": 203
    },
    {
      "epoch": 3.4,
      "grad_norm": 0.17704756414138859,
      "learning_rate": 2.24651541284369e-05,
      "loss": 0.3965,
      "step": 204
    },
    {
      "epoch": 3.4166666666666665,
      "grad_norm": 0.16488014130826012,
      "learning_rate": 2.2048032791981515e-05,
      "loss": 0.3975,
      "step": 205
    },
    {
      "epoch": 3.4333333333333336,
      "grad_norm": 0.16892937284191595,
      "learning_rate": 2.1633341864519526e-05,
      "loss": 0.3867,
      "step": 206
    },
    {
      "epoch": 3.45,
      "grad_norm": 0.1358343960156378,
      "learning_rate": 2.122113748856438e-05,
      "loss": 0.393,
      "step": 207
    },
    {
      "epoch": 3.466666666666667,
      "grad_norm": 0.1504422610938134,
      "learning_rate": 2.0811475469990167e-05,
      "loss": 0.4008,
      "step": 208
    },
    {
      "epoch": 3.4833333333333334,
      "grad_norm": 0.13351109545536258,
      "learning_rate": 2.0404411270476527e-05,
      "loss": 0.3992,
      "step": 209
    },
    {
      "epoch": 3.5,
      "grad_norm": 0.14061486072290816,
      "learning_rate": 2.0000000000000012e-05,
      "loss": 0.3951,
      "step": 210
    },
    {
      "epoch": 3.5166666666666666,
      "grad_norm": 0.13436586012369262,
      "learning_rate": 1.959829640937299e-05,
      "loss": 0.3976,
      "step": 211
    },
    {
      "epoch": 3.533333333333333,
      "grad_norm": 0.14060275789158602,
      "learning_rate": 1.9199354882831387e-05,
      "loss": 0.3967,
      "step": 212
    },
    {
      "epoch": 3.55,
      "grad_norm": 0.1342180419460769,
      "learning_rate": 1.880322943067181e-05,
      "loss": 0.3957,
      "step": 213
    },
    {
      "epoch": 3.5666666666666664,
      "grad_norm": 0.1565449126623076,
      "learning_rate": 1.8409973681939498e-05,
      "loss": 0.3938,
      "step": 214
    },
    {
      "epoch": 3.5833333333333335,
      "grad_norm": 0.13732136525737537,
      "learning_rate": 1.8019640877167763e-05,
      "loss": 0.4015,
      "step": 215
    },
    {
      "epoch": 3.6,
      "grad_norm": 0.1528036709245904,
      "learning_rate": 1.7632283861170135e-05,
      "loss": 0.398,
      "step": 216
    },
    {
      "epoch": 3.6166666666666667,
      "grad_norm": 0.1381840793587635,
      "learning_rate": 1.7247955075885938e-05,
      "loss": 0.3984,
      "step": 217
    },
    {
      "epoch": 3.6333333333333333,
      "grad_norm": 0.1396644742501586,
      "learning_rate": 1.686670655328054e-05,
      "loss": 0.4015,
      "step": 218
    },
    {
      "epoch": 3.65,
      "grad_norm": 0.13192549802922138,
      "learning_rate": 1.648858990830108e-05,
      "loss": 0.3966,
      "step": 219
    },
    {
      "epoch": 3.6666666666666665,
      "grad_norm": 0.16349750723173231,
      "learning_rate": 1.6113656331888563e-05,
      "loss": 0.3945,
      "step": 220
    },
    {
      "epoch": 3.6833333333333336,
      "grad_norm": 0.13224488929146622,
      "learning_rate": 1.5741956584047478e-05,
      "loss": 0.3958,
      "step": 221
    },
    {
      "epoch": 3.7,
      "grad_norm": 0.12993749122903758,
      "learning_rate": 1.537354098697367e-05,
      "loss": 0.4005,
      "step": 222
    },
    {
      "epoch": 3.716666666666667,
      "grad_norm": 0.14331709716651275,
      "learning_rate": 1.5008459418241601e-05,
      "loss": 0.3961,
      "step": 223
    },
    {
      "epoch": 3.7333333333333334,
      "grad_norm": 0.12912698549430687,
      "learning_rate": 1.4646761304051587e-05,
      "loss": 0.3973,
      "step": 224
    },
    {
      "epoch": 3.75,
      "grad_norm": 0.10960674321997634,
      "learning_rate": 1.4288495612538427e-05,
      "loss": 0.3929,
      "step": 225
    },
    {
      "epoch": 3.7666666666666666,
      "grad_norm": 0.14116340307643566,
      "learning_rate": 1.3933710847141795e-05,
      "loss": 0.4019,
      "step": 226
    },
    {
      "epoch": 3.783333333333333,
      "grad_norm": 0.12835976733909077,
      "learning_rate": 1.3582455040039699e-05,
      "loss": 0.392,
      "step": 227
    },
    {
      "epoch": 3.8,
      "grad_norm": 0.128669245437869,
      "learning_rate": 1.3234775745645684e-05,
      "loss": 0.3891,
      "step": 228
    },
    {
      "epoch": 3.8166666666666664,
      "grad_norm": 0.12765896916982683,
      "learning_rate": 1.2890720034170712e-05,
      "loss": 0.3885,
      "step": 229
    },
    {
      "epoch": 3.8333333333333335,
      "grad_norm": 0.11261573225899339,
      "learning_rate": 1.2550334485250661e-05,
      "loss": 0.3918,
      "step": 230
    },
    {
      "epoch": 3.85,
      "grad_norm": 0.14800903395041998,
      "learning_rate": 1.2213665181640106e-05,
      "loss": 0.394,
      "step": 231
    },
    {
      "epoch": 3.8666666666666667,
      "grad_norm": 0.12264985697670748,
      "learning_rate": 1.1880757702973531e-05,
      "loss": 0.3913,
      "step": 232
    },
    {
      "epoch": 3.8833333333333333,
      "grad_norm": 0.11956086317480628,
      "learning_rate": 1.1551657119594517e-05,
      "loss": 0.3972,
      "step": 233
    },
    {
      "epoch": 3.9,
      "grad_norm": 0.12216008583272517,
      "learning_rate": 1.1226407986453963e-05,
      "loss": 0.3952,
      "step": 234
    },
    {
      "epoch": 3.9166666666666665,
      "grad_norm": 0.10807206577145119,
      "learning_rate": 1.0905054337078051e-05,
      "loss": 0.396,
      "step": 235
    },
    {
      "epoch": 3.9333333333333336,
      "grad_norm": 0.13607781438092512,
      "learning_rate": 1.0587639677606857e-05,
      "loss": 0.3997,
      "step": 236
    },
    {
      "epoch": 3.95,
      "grad_norm": 0.12355453197057942,
      "learning_rate": 1.0274206980904226e-05,
      "loss": 0.3938,
      "step": 237
    },
    {
      "epoch": 3.966666666666667,
      "grad_norm": 0.10359625686756976,
      "learning_rate": 9.964798680740033e-06,
      "loss": 0.3943,
      "step": 238
    },
    {
      "epoch": 3.9833333333333334,
      "grad_norm": 0.10965361681764693,
      "learning_rate": 9.659456666045247e-06,
      "loss": 0.4011,
      "step": 239
    },
    {
      "epoch": 4.0,
      "grad_norm": 0.13451240932118808,
      "learning_rate": 9.358222275240884e-06,
      "loss": 0.3842,
      "step": 240
    },
    {
      "epoch": 4.016666666666667,
      "grad_norm": 0.16087635109826715,
      "learning_rate": 9.061136290641448e-06,
      "loss": 0.3761,
      "step": 241
    },
    {
      "epoch": 4.033333333333333,
      "grad_norm": 0.1188504453770387,
      "learning_rate": 8.768238932933632e-06,
      "loss": 0.3796,
      "step": 242
    },
    {
      "epoch": 4.05,
      "grad_norm": 0.11640131602293756,
      "learning_rate": 8.479569855731125e-06,
      "loss": 0.3792,
      "step": 243
    },
    {
      "epoch": 4.066666666666666,
      "grad_norm": 0.1302923728977513,
      "learning_rate": 8.195168140206084e-06,
      "loss": 0.3702,
      "step": 244
    },
    {
      "epoch": 4.083333333333333,
      "grad_norm": 0.13392917273999477,
      "learning_rate": 7.915072289798247e-06,
      "loss": 0.3648,
      "step": 245
    },
    {
      "epoch": 4.1,
      "grad_norm": 0.12543716532845192,
      "learning_rate": 7.639320225002106e-06,
      "loss": 0.3873,
      "step": 246
    },
    {
      "epoch": 4.116666666666666,
      "grad_norm": 0.127937227499042,
      "learning_rate": 7.367949278233126e-06,
      "loss": 0.3802,
      "step": 247
    },
    {
      "epoch": 4.133333333333334,
      "grad_norm": 0.13964406384103364,
      "learning_rate": 7.1009961887735075e-06,
      "loss": 0.3812,
      "step": 248
    },
    {
      "epoch": 4.15,
      "grad_norm": 0.11564360422872587,
      "learning_rate": 6.838497097798336e-06,
      "loss": 0.3763,
      "step": 249
    },
    {
      "epoch": 4.166666666666667,
      "grad_norm": 0.10780983998780042,
      "learning_rate": 6.58048754348255e-06,
      "loss": 0.3754,
      "step": 250
    },
    {
      "epoch": 4.183333333333334,
      "grad_norm": 0.11962978216910981,
      "learning_rate": 6.327002456189699e-06,
      "loss": 0.3706,
      "step": 251
    },
    {
      "epoch": 4.2,
      "grad_norm": 0.12362296757916746,
      "learning_rate": 6.078076153742962e-06,
      "loss": 0.3788,
      "step": 252
    },
    {
      "epoch": 4.216666666666667,
      "grad_norm": 0.11060827729490633,
      "learning_rate": 5.833742336778981e-06,
      "loss": 0.372,
      "step": 253
    },
    {
      "epoch": 4.233333333333333,
      "grad_norm": 0.11095254927254816,
      "learning_rate": 5.5940340841853915e-06,
      "loss": 0.3683,
      "step": 254
    },
    {
      "epoch": 4.25,
      "grad_norm": 0.10221255870180875,
      "learning_rate": 5.358983848622452e-06,
      "loss": 0.3806,
      "step": 255
    },
    {
      "epoch": 4.266666666666667,
      "grad_norm": 0.10403266613885799,
      "learning_rate": 5.128623452129508e-06,
      "loss": 0.3713,
      "step": 256
    },
    {
      "epoch": 4.283333333333333,
      "grad_norm": 0.11572955395038909,
      "learning_rate": 4.902984081816717e-06,
      "loss": 0.3766,
      "step": 257
    },
    {
      "epoch": 4.3,
      "grad_norm": 0.15003311835231536,
      "learning_rate": 4.6820962856429205e-06,
      "loss": 0.3782,
      "step": 258
    },
    {
      "epoch": 4.316666666666666,
      "grad_norm": 0.09897498567539731,
      "learning_rate": 4.4659899682798446e-06,
      "loss": 0.3802,
      "step": 259
    },
    {
      "epoch": 4.333333333333333,
      "grad_norm": 0.09161651892999853,
      "learning_rate": 4.254694387063514e-06,
      "loss": 0.3768,
      "step": 260
    },
    {
      "epoch": 4.35,
      "grad_norm": 0.10695851145081539,
      "learning_rate": 4.048238148033328e-06,
      "loss": 0.3734,
      "step": 261
    },
    {
      "epoch": 4.366666666666666,
      "grad_norm": 0.11485862198811234,
      "learning_rate": 3.846649202059181e-06,
      "loss": 0.3837,
      "step": 262
    },
    {
      "epoch": 4.383333333333334,
      "grad_norm": 0.09894255205848254,
      "learning_rate": 3.6499548410574303e-06,
      "loss": 0.3692,
      "step": 263
    },
    {
      "epoch": 4.4,
      "grad_norm": 0.08599887026696498,
      "learning_rate": 3.458181694295961e-06,
      "loss": 0.3677,
      "step": 264
    },
    {
      "epoch": 4.416666666666667,
      "grad_norm": 0.08698967028762236,
      "learning_rate": 3.2713557247890447e-06,
      "loss": 0.3855,
      "step": 265
    },
    {
      "epoch": 4.433333333333334,
      "grad_norm": 0.09235513297244223,
      "learning_rate": 3.0895022257823083e-06,
      "loss": 0.372,
      "step": 266
    },
    {
      "epoch": 4.45,
      "grad_norm": 0.10445911123787113,
      "learning_rate": 2.9126458173285077e-06,
      "loss": 0.381,
      "step": 267
    },
    {
      "epoch": 4.466666666666667,
      "grad_norm": 0.10221496852931042,
      "learning_rate": 2.7408104429543025e-06,
      "loss": 0.3809,
      "step": 268
    },
    {
      "epoch": 4.483333333333333,
      "grad_norm": 0.08587879304844272,
      "learning_rate": 2.574019366418745e-06,
      "loss": 0.3751,
      "step": 269
    },
    {
      "epoch": 4.5,
      "grad_norm": 0.09015126611361238,
      "learning_rate": 2.4122951685636674e-06,
      "loss": 0.3838,
      "step": 270
    },
    {
      "epoch": 4.516666666666667,
      "grad_norm": 0.08784996132113758,
      "learning_rate": 2.25565974425666e-06,
      "loss": 0.3676,
      "step": 271
    },
    {
      "epoch": 4.533333333333333,
      "grad_norm": 0.0847147467848922,
      "learning_rate": 2.104134299426832e-06,
      "loss": 0.3761,
      "step": 272
    },
    {
      "epoch": 4.55,
      "grad_norm": 0.08776259867732322,
      "learning_rate": 1.957739348193859e-06,
      "loss": 0.3686,
      "step": 273
    },
    {
      "epoch": 4.566666666666666,
      "grad_norm": 0.08534997975862194,
      "learning_rate": 1.8164947100907238e-06,
      "loss": 0.3757,
      "step": 274
    },
    {
      "epoch": 4.583333333333333,
      "grad_norm": 0.0837806982293435,
      "learning_rate": 1.6804195073804442e-06,
      "loss": 0.3739,
      "step": 275
    },
    {
      "epoch": 4.6,
      "grad_norm": 0.08381875882285177,
      "learning_rate": 1.5495321624672443e-06,
      "loss": 0.3797,
      "step": 276
    },
    {
      "epoch": 4.616666666666667,
      "grad_norm": 0.08120595617712789,
      "learning_rate": 1.423850395402444e-06,
      "loss": 0.3718,
      "step": 277
    },
    {
      "epoch": 4.633333333333333,
      "grad_norm": 0.08481195207669447,
      "learning_rate": 1.3033912214854482e-06,
      "loss": 0.3827,
      "step": 278
    },
    {
      "epoch": 4.65,
      "grad_norm": 0.08655723787141399,
      "learning_rate": 1.1881709489601413e-06,
      "loss": 0.3693,
      "step": 279
    },
    {
      "epoch": 4.666666666666667,
      "grad_norm": 0.07892331394338291,
      "learning_rate": 1.0782051768070477e-06,
      "loss": 0.3772,
      "step": 280
    },
    {
      "epoch": 4.683333333333334,
      "grad_norm": 0.08341083482611329,
      "learning_rate": 9.735087926314324e-07,
      "loss": 0.3783,
      "step": 281
    },
    {
      "epoch": 4.7,
      "grad_norm": 0.07896510956111198,
      "learning_rate": 8.740959706477725e-07,
      "loss": 0.3749,
      "step": 282
    },
    {
      "epoch": 4.716666666666667,
      "grad_norm": 0.08336166448673067,
      "learning_rate": 7.799801697608278e-07,
      "loss": 0.381,
      "step": 283
    },
    {
      "epoch": 4.733333333333333,
      "grad_norm": 0.08046079736125109,
      "learning_rate": 6.911741317434706e-07,
      "loss": 0.3718,
      "step": 284
    },
    {
      "epoch": 4.75,
      "grad_norm": 0.09024599509642792,
      "learning_rate": 6.076898795116792e-07,
      "loss": 0.382,
      "step": 285
    },
    {
      "epoch": 4.766666666666667,
      "grad_norm": 0.08331916982861774,
      "learning_rate": 5.295387154968312e-07,
      "loss": 0.3715,
      "step": 286
    },
    {
      "epoch": 4.783333333333333,
      "grad_norm": 0.07901763344169457,
      "learning_rate": 4.5673122011553605e-07,
      "loss": 0.3763,
      "step": 287
    },
    {
      "epoch": 4.8,
      "grad_norm": 0.08022410821945614,
      "learning_rate": 3.8927725033718553e-07,
      "loss": 0.3808,
      "step": 288
    },
    {
      "epoch": 4.816666666666666,
      "grad_norm": 0.07742599988645317,
      "learning_rate": 3.2718593834953237e-07,
      "loss": 0.3806,
      "step": 289
    },
    {
      "epoch": 4.833333333333333,
      "grad_norm": 0.07882803655503354,
      "learning_rate": 2.704656903222791e-07,
      "loss": 0.3728,
      "step": 290
    },
    {
      "epoch": 4.85,
      "grad_norm": 0.07729395855995894,
      "learning_rate": 2.1912418526906841e-07,
      "loss": 0.3833,
      "step": 291
    },
    {
      "epoch": 4.866666666666667,
      "grad_norm": 0.07951048749391536,
      "learning_rate": 1.7316837400782604e-07,
      "loss": 0.3715,
      "step": 292
    },
    {
      "epoch": 4.883333333333333,
      "grad_norm": 0.0760323522910653,
      "learning_rate": 1.3260447821975775e-07,
      "loss": 0.3786,
      "step": 293
    },
    {
      "epoch": 4.9,
      "grad_norm": 0.07785411151535049,
      "learning_rate": 9.74379896070321e-08,
      "loss": 0.3741,
      "step": 294
    },
    {
      "epoch": 4.916666666666667,
      "grad_norm": 0.07811264825931089,
      "learning_rate": 6.767366914927298e-08,
      "loss": 0.3815,
      "step": 295
    },
    {
      "epoch": 4.933333333333334,
      "grad_norm": 0.07524369659461613,
      "learning_rate": 4.331554645901737e-08,
      "loss": 0.371,
      "step": 296
    },
    {
      "epoch": 4.95,
      "grad_norm": 0.07719894809649144,
      "learning_rate": 2.4366919236169518e-08,
      "loss": 0.3762,
      "step": 297
    },
    {
      "epoch": 4.966666666666667,
      "grad_norm": 0.07886340732100874,
      "learning_rate": 1.0830352821531442e-08,
      "loss": 0.3786,
      "step": 298
    },
    {
      "epoch": 4.983333333333333,
      "grad_norm": 0.07836420034802934,
      "learning_rate": 2.7076798495118127e-09,
      "loss": 0.3751,
      "step": 299
    },
    {
      "epoch": 5.0,
      "grad_norm": 0.08008746421389691,
      "learning_rate": 0.0,
      "loss": 0.3712,
      "step": 300
    },
    {
      "epoch": 5.0,
      "step": 300,
      "total_flos": 5032842677452800.0,
      "train_loss": 0.4754675631721815,
      "train_runtime": 6942.3427,
      "train_samples_per_second": 21.922,
      "train_steps_per_second": 0.043
    }
  ],
  "logging_steps": 1,
  "max_steps": 300,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 5,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 5032842677452800.0,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}