{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 3.0,
  "eval_steps": 108,
  "global_step": 540,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.005555555555555556,
      "grad_norm": 0.23889054358005524,
      "learning_rate": 0.0,
      "loss": 1.33251953125,
      "step": 1
    },
    {
      "epoch": 0.011111111111111112,
      "grad_norm": 0.21150308847427368,
      "learning_rate": 3.7037037037037037e-06,
      "loss": 1.19805908203125,
      "step": 2
    },
    {
      "epoch": 0.016666666666666666,
      "grad_norm": 0.3076956272125244,
      "learning_rate": 7.4074074074074075e-06,
      "loss": 1.494140625,
      "step": 3
    },
    {
      "epoch": 0.022222222222222223,
      "grad_norm": 0.2740148901939392,
      "learning_rate": 1.1111111111111112e-05,
      "loss": 1.478515625,
      "step": 4
    },
    {
      "epoch": 0.027777777777777776,
      "grad_norm": 0.2140553891658783,
      "learning_rate": 1.4814814814814815e-05,
      "loss": 1.4482421875,
      "step": 5
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 0.16574729979038239,
      "learning_rate": 1.8518518518518518e-05,
      "loss": 1.3896484375,
      "step": 6
    },
    {
      "epoch": 0.03888888888888889,
      "grad_norm": 0.15761591494083405,
      "learning_rate": 2.2222222222222223e-05,
      "loss": 1.4208984375,
      "step": 7
    },
    {
      "epoch": 0.044444444444444446,
      "grad_norm": 0.10756171494722366,
      "learning_rate": 2.5925925925925925e-05,
      "loss": 1.23046875,
      "step": 8
    },
    {
      "epoch": 0.05,
      "grad_norm": 0.10914932936429977,
      "learning_rate": 2.962962962962963e-05,
      "loss": 1.30859375,
      "step": 9
    },
    {
      "epoch": 0.05555555555555555,
      "grad_norm": 0.09230244159698486,
      "learning_rate": 3.3333333333333335e-05,
      "loss": 1.11407470703125,
      "step": 10
    },
    {
      "epoch": 0.06111111111111111,
      "grad_norm": 0.07531458884477615,
      "learning_rate": 3.7037037037037037e-05,
      "loss": 1.177734375,
      "step": 11
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 0.07599915564060211,
      "learning_rate": 4.074074074074074e-05,
      "loss": 1.2685546875,
      "step": 12
    },
    {
      "epoch": 0.07222222222222222,
      "grad_norm": 0.08924313634634018,
      "learning_rate": 4.4444444444444447e-05,
      "loss": 1.23828125,
      "step": 13
    },
    {
      "epoch": 0.07777777777777778,
      "grad_norm": 0.09349751472473145,
      "learning_rate": 4.814814814814815e-05,
      "loss": 1.0948486328125,
      "step": 14
    },
    {
      "epoch": 0.08333333333333333,
      "grad_norm": 0.09443597495555878,
      "learning_rate": 5.185185185185185e-05,
      "loss": 1.150390625,
      "step": 15
    },
    {
      "epoch": 0.08888888888888889,
      "grad_norm": 0.08670377731323242,
      "learning_rate": 5.555555555555556e-05,
      "loss": 1.20166015625,
      "step": 16
    },
    {
      "epoch": 0.09444444444444444,
      "grad_norm": 0.07645947486162186,
      "learning_rate": 5.925925925925926e-05,
      "loss": 1.10595703125,
      "step": 17
    },
    {
      "epoch": 0.1,
      "grad_norm": 0.06286032497882843,
      "learning_rate": 6.296296296296296e-05,
      "loss": 1.06494140625,
      "step": 18
    },
    {
      "epoch": 0.10555555555555556,
      "grad_norm": 0.05197962746024132,
      "learning_rate": 6.666666666666667e-05,
      "loss": 1.19091796875,
      "step": 19
    },
    {
      "epoch": 0.1111111111111111,
      "grad_norm": 0.056515783071517944,
      "learning_rate": 7.037037037037038e-05,
      "loss": 1.193359375,
      "step": 20
    },
    {
      "epoch": 0.11666666666666667,
      "grad_norm": 0.04532347992062569,
      "learning_rate": 7.407407407407407e-05,
      "loss": 1.01318359375,
      "step": 21
    },
    {
      "epoch": 0.12222222222222222,
      "grad_norm": 0.053678810596466064,
      "learning_rate": 7.777777777777778e-05,
      "loss": 1.07763671875,
      "step": 22
    },
    {
      "epoch": 0.12777777777777777,
      "grad_norm": 0.04876302555203438,
      "learning_rate": 8.148148148148148e-05,
      "loss": 1.2138671875,
      "step": 23
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 0.050144899636507034,
      "learning_rate": 8.518518518518518e-05,
      "loss": 1.10546875,
      "step": 24
    },
    {
      "epoch": 0.1388888888888889,
      "grad_norm": 0.04767259210348129,
      "learning_rate": 8.888888888888889e-05,
      "loss": 1.173828125,
      "step": 25
    },
    {
      "epoch": 0.14444444444444443,
      "grad_norm": 0.04734437167644501,
      "learning_rate": 9.25925925925926e-05,
      "loss": 0.90924072265625,
      "step": 26
    },
    {
      "epoch": 0.15,
      "grad_norm": 0.04831893369555473,
      "learning_rate": 9.62962962962963e-05,
      "loss": 1.10205078125,
      "step": 27
    },
    {
      "epoch": 0.15555555555555556,
      "grad_norm": 0.04482392966747284,
      "learning_rate": 0.0001,
      "loss": 1.0498046875,
      "step": 28
    },
    {
      "epoch": 0.16111111111111112,
      "grad_norm": 0.04558224603533745,
      "learning_rate": 9.999915618706986e-05,
      "loss": 1.0361328125,
      "step": 29
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 0.04807697981595993,
      "learning_rate": 9.999662477992475e-05,
      "loss": 1.09814453125,
      "step": 30
    },
    {
      "epoch": 0.17222222222222222,
      "grad_norm": 0.04267172887921333,
      "learning_rate": 9.999240587349952e-05,
      "loss": 1.13037109375,
      "step": 31
    },
    {
      "epoch": 0.17777777777777778,
      "grad_norm": 0.03471946343779564,
      "learning_rate": 9.9986499626015e-05,
      "loss": 0.8858642578125,
      "step": 32
    },
    {
      "epoch": 0.18333333333333332,
      "grad_norm": 0.04485335573554039,
      "learning_rate": 9.997890625897194e-05,
      "loss": 1.11767578125,
      "step": 33
    },
    {
      "epoch": 0.18888888888888888,
      "grad_norm": 0.040208980441093445,
      "learning_rate": 9.996962605714287e-05,
      "loss": 1.06201171875,
      "step": 34
    },
    {
      "epoch": 0.19444444444444445,
      "grad_norm": 0.042576663196086884,
      "learning_rate": 9.995865936856132e-05,
      "loss": 1.08349609375,
      "step": 35
    },
    {
      "epoch": 0.2,
      "grad_norm": 0.037157509475946426,
      "learning_rate": 9.994600660450875e-05,
      "loss": 1.05322265625,
      "step": 36
    },
    {
      "epoch": 0.20555555555555555,
      "grad_norm": 0.04873045161366463,
      "learning_rate": 9.993166823949923e-05,
      "loss": 1.01806640625,
      "step": 37
    },
    {
      "epoch": 0.2111111111111111,
      "grad_norm": 0.03682542219758034,
      "learning_rate": 9.991564481126155e-05,
      "loss": 1.0263671875,
      "step": 38
    },
    {
      "epoch": 0.21666666666666667,
      "grad_norm": 0.04021592438220978,
      "learning_rate": 9.989793692071908e-05,
      "loss": 1.0537109375,
      "step": 39
    },
    {
      "epoch": 0.2222222222222222,
      "grad_norm": 0.03987225145101547,
      "learning_rate": 9.987854523196724e-05,
      "loss": 1.01416015625,
      "step": 40
    },
    {
      "epoch": 0.22777777777777777,
      "grad_norm": 0.034224290400743484,
      "learning_rate": 9.985747047224858e-05,
      "loss": 0.873779296875,
      "step": 41
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 0.040917523205280304,
      "learning_rate": 9.983471343192558e-05,
      "loss": 1.01025390625,
      "step": 42
    },
    {
      "epoch": 0.2388888888888889,
      "grad_norm": 0.04020630940794945,
      "learning_rate": 9.981027496445085e-05,
      "loss": 1.0263671875,
      "step": 43
    },
    {
      "epoch": 0.24444444444444444,
      "grad_norm": 0.038016047328710556,
      "learning_rate": 9.978415598633528e-05,
      "loss": 0.9833984375,
      "step": 44
    },
    {
      "epoch": 0.25,
      "grad_norm": 0.04478270933032036,
      "learning_rate": 9.975635747711364e-05,
      "loss": 1.044921875,
      "step": 45
    },
    {
      "epoch": 0.25555555555555554,
      "grad_norm": 0.03915729373693466,
      "learning_rate": 9.972688047930772e-05,
      "loss": 1.02001953125,
      "step": 46
    },
    {
      "epoch": 0.2611111111111111,
      "grad_norm": 0.04099868983030319,
      "learning_rate": 9.969572609838744e-05,
      "loss": 1.03515625,
      "step": 47
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 0.03876965865492821,
      "learning_rate": 9.966289550272918e-05,
      "loss": 0.97314453125,
      "step": 48
    },
    {
      "epoch": 0.2722222222222222,
      "grad_norm": 0.03561818227171898,
      "learning_rate": 9.962838992357212e-05,
      "loss": 0.962890625,
      "step": 49
    },
    {
      "epoch": 0.2777777777777778,
      "grad_norm": 0.03729720786213875,
      "learning_rate": 9.959221065497195e-05,
      "loss": 0.96875,
      "step": 50
    },
    {
      "epoch": 0.2833333333333333,
      "grad_norm": 0.039395272731781006,
      "learning_rate": 9.955435905375249e-05,
      "loss": 0.99755859375,
      "step": 51
    },
    {
      "epoch": 0.28888888888888886,
      "grad_norm": 0.03935179114341736,
      "learning_rate": 9.95148365394546e-05,
      "loss": 1.005859375,
      "step": 52
    },
    {
      "epoch": 0.29444444444444445,
      "grad_norm": 0.05490157753229141,
      "learning_rate": 9.947364459428316e-05,
      "loss": 0.99755859375,
      "step": 53
    },
    {
      "epoch": 0.3,
      "grad_norm": 0.0621793270111084,
      "learning_rate": 9.943078476305127e-05,
      "loss": 1.01416015625,
      "step": 54
    },
    {
      "epoch": 0.3055555555555556,
      "grad_norm": 0.0388559065759182,
      "learning_rate": 9.938625865312251e-05,
      "loss": 0.95947265625,
      "step": 55
    },
    {
      "epoch": 0.3111111111111111,
      "grad_norm": 0.04379229620099068,
      "learning_rate": 9.934006793435052e-05,
      "loss": 1.0126953125,
      "step": 56
    },
    {
      "epoch": 0.31666666666666665,
      "grad_norm": 0.0424816869199276,
      "learning_rate": 9.929221433901645e-05,
      "loss": 0.93359375,
      "step": 57
    },
    {
      "epoch": 0.32222222222222224,
      "grad_norm": 0.03722338005900383,
      "learning_rate": 9.924269966176399e-05,
      "loss": 0.96337890625,
      "step": 58
    },
    {
      "epoch": 0.3277777777777778,
      "grad_norm": 0.041776008903980255,
      "learning_rate": 9.919152575953197e-05,
      "loss": 0.96826171875,
      "step": 59
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 0.04373903572559357,
      "learning_rate": 9.91386945514849e-05,
      "loss": 0.949462890625,
      "step": 60
    },
    {
      "epoch": 0.3388888888888889,
      "grad_norm": 0.038092926144599915,
      "learning_rate": 9.908420801894083e-05,
      "loss": 0.9423828125,
      "step": 61
    },
    {
      "epoch": 0.34444444444444444,
      "grad_norm": 0.04326325282454491,
      "learning_rate": 9.902806820529712e-05,
      "loss": 1.03662109375,
      "step": 62
    },
    {
      "epoch": 0.35,
      "grad_norm": 0.041222795844078064,
      "learning_rate": 9.89702772159538e-05,
      "loss": 0.9765625,
      "step": 63
    },
    {
      "epoch": 0.35555555555555557,
      "grad_norm": 0.043109845370054245,
      "learning_rate": 9.891083721823461e-05,
      "loss": 0.94091796875,
      "step": 64
    },
    {
      "epoch": 0.3611111111111111,
      "grad_norm": 0.04376206547021866,
      "learning_rate": 9.88497504413057e-05,
      "loss": 0.9052734375,
      "step": 65
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 0.041749946773052216,
      "learning_rate": 9.878701917609207e-05,
      "loss": 0.86328125,
      "step": 66
    },
    {
      "epoch": 0.37222222222222223,
      "grad_norm": 0.04268103092908859,
      "learning_rate": 9.872264577519163e-05,
      "loss": 0.90576171875,
      "step": 67
    },
    {
      "epoch": 0.37777777777777777,
      "grad_norm": 0.04776822775602341,
      "learning_rate": 9.865663265278693e-05,
      "loss": 0.9892578125,
      "step": 68
    },
    {
      "epoch": 0.38333333333333336,
      "grad_norm": 0.09423349797725677,
      "learning_rate": 9.85889822845547e-05,
      "loss": 0.93896484375,
      "step": 69
    },
    {
      "epoch": 0.3888888888888889,
      "grad_norm": 0.04379543289542198,
      "learning_rate": 9.851969720757299e-05,
      "loss": 0.9541015625,
      "step": 70
    },
    {
      "epoch": 0.39444444444444443,
      "grad_norm": 0.044626809656620026,
      "learning_rate": 9.844878002022593e-05,
      "loss": 0.9775390625,
      "step": 71
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.05369943007826805,
      "learning_rate": 9.837623338210641e-05,
      "loss": 0.9638671875,
      "step": 72
    },
    {
      "epoch": 0.40555555555555556,
      "grad_norm": 0.05514642968773842,
      "learning_rate": 9.830206001391626e-05,
      "loss": 0.8740234375,
      "step": 73
    },
    {
      "epoch": 0.4111111111111111,
      "grad_norm": 0.04650852084159851,
      "learning_rate": 9.822626269736427e-05,
      "loss": 0.9560546875,
      "step": 74
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 0.06122339144349098,
      "learning_rate": 9.814884427506176e-05,
      "loss": 0.92431640625,
      "step": 75
    },
    {
      "epoch": 0.4222222222222222,
      "grad_norm": 0.04741847142577171,
      "learning_rate": 9.806980765041614e-05,
      "loss": 0.9140625,
      "step": 76
    },
    {
      "epoch": 0.42777777777777776,
      "grad_norm": 0.04446836933493614,
      "learning_rate": 9.798915578752185e-05,
      "loss": 0.92333984375,
      "step": 77
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 0.043019894510507584,
      "learning_rate": 9.790689171104938e-05,
      "loss": 0.92919921875,
      "step": 78
    },
    {
      "epoch": 0.4388888888888889,
      "grad_norm": 0.045795757323503494,
      "learning_rate": 9.782301850613163e-05,
      "loss": 0.97705078125,
      "step": 79
    },
    {
      "epoch": 0.4444444444444444,
      "grad_norm": 0.041059382259845734,
      "learning_rate": 9.773753931824839e-05,
      "loss": 0.9169921875,
      "step": 80
    },
    {
      "epoch": 0.45,
      "grad_norm": 0.06831623613834381,
      "learning_rate": 9.76504573531083e-05,
      "loss": 0.94921875,
      "step": 81
    },
    {
      "epoch": 0.45555555555555555,
      "grad_norm": 0.04747457057237625,
      "learning_rate": 9.756177587652856e-05,
      "loss": 0.9521484375,
      "step": 82
    },
    {
      "epoch": 0.46111111111111114,
      "grad_norm": 0.03961906209588051,
      "learning_rate": 9.747149821431264e-05,
      "loss": 0.8223876953125,
      "step": 83
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 0.045329079031944275,
      "learning_rate": 9.73796277521253e-05,
      "loss": 0.8955078125,
      "step": 84
    },
    {
      "epoch": 0.4722222222222222,
      "grad_norm": 0.042129456996917725,
      "learning_rate": 9.728616793536588e-05,
      "loss": 0.8349609375,
      "step": 85
    },
    {
      "epoch": 0.4777777777777778,
      "grad_norm": 0.05354605242609978,
      "learning_rate": 9.719112226903889e-05,
      "loss": 0.951171875,
      "step": 86
    },
    {
      "epoch": 0.48333333333333334,
      "grad_norm": 0.05367351323366165,
      "learning_rate": 9.709449431762264e-05,
      "loss": 1.041015625,
      "step": 87
    },
    {
      "epoch": 0.4888888888888889,
      "grad_norm": 0.044667478650808334,
      "learning_rate": 9.699628770493558e-05,
      "loss": 0.99951171875,
      "step": 88
    },
    {
      "epoch": 0.49444444444444446,
      "grad_norm": 0.04973745718598366,
      "learning_rate": 9.689650611400033e-05,
      "loss": 0.93505859375,
      "step": 89
    },
    {
      "epoch": 0.5,
      "grad_norm": 0.04364899545907974,
      "learning_rate": 9.679515328690568e-05,
      "loss": 0.912109375,
      "step": 90
    },
    {
      "epoch": 0.5055555555555555,
      "grad_norm": 0.09642947465181351,
      "learning_rate": 9.669223302466608e-05,
      "loss": 0.96142578125,
      "step": 91
    },
    {
      "epoch": 0.5111111111111111,
      "grad_norm": 0.05173720419406891,
      "learning_rate": 9.658774918707925e-05,
      "loss": 0.97705078125,
      "step": 92
    },
    {
      "epoch": 0.5166666666666667,
      "grad_norm": 0.048349179327487946,
      "learning_rate": 9.648170569258128e-05,
      "loss": 1.01806640625,
      "step": 93
    },
    {
      "epoch": 0.5222222222222223,
      "grad_norm": 0.045038852840662,
      "learning_rate": 9.637410651809985e-05,
      "loss": 0.91455078125,
      "step": 94
    },
    {
      "epoch": 0.5277777777777778,
      "grad_norm": 0.037013258785009384,
      "learning_rate": 9.626495569890494e-05,
      "loss": 0.7244873046875,
      "step": 95
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 0.042244914919137955,
      "learning_rate": 9.615425732845755e-05,
      "loss": 0.865234375,
      "step": 96
    },
    {
      "epoch": 0.5388888888888889,
      "grad_norm": 0.04271755740046501,
      "learning_rate": 9.604201555825618e-05,
      "loss": 0.93505859375,
      "step": 97
    },
    {
      "epoch": 0.5444444444444444,
      "grad_norm": 0.08087927848100662,
      "learning_rate": 9.592823459768113e-05,
      "loss": 0.93701171875,
      "step": 98
    },
    {
      "epoch": 0.55,
      "grad_norm": 0.05718201398849487,
      "learning_rate": 9.581291871383669e-05,
      "loss": 1.0205078125,
      "step": 99
    },
    {
      "epoch": 0.5555555555555556,
      "grad_norm": 0.05421556904911995,
      "learning_rate": 9.5696072231391e-05,
      "loss": 0.9346923828125,
      "step": 100
    },
    {
      "epoch": 0.5611111111111111,
      "grad_norm": 0.04943264275789261,
      "learning_rate": 9.557769953241395e-05,
      "loss": 0.9609375,
      "step": 101
    },
    {
      "epoch": 0.5666666666666667,
      "grad_norm": 0.05051499605178833,
      "learning_rate": 9.545780505621287e-05,
      "loss": 0.87255859375,
      "step": 102
    },
    {
      "epoch": 0.5722222222222222,
      "grad_norm": 0.06603266298770905,
      "learning_rate": 9.533639329916591e-05,
      "loss": 0.93994140625,
      "step": 103
    },
    {
      "epoch": 0.5777777777777777,
      "grad_norm": 0.05013374984264374,
      "learning_rate": 9.521346881455356e-05,
      "loss": 0.82525634765625,
      "step": 104
    },
    {
      "epoch": 0.5833333333333334,
      "grad_norm": 0.05105440691113472,
      "learning_rate": 9.508903621238778e-05,
      "loss": 0.91796875,
      "step": 105
    },
    {
      "epoch": 0.5888888888888889,
      "grad_norm": 0.037478625774383545,
      "learning_rate": 9.49631001592392e-05,
      "loss": 0.70391845703125,
      "step": 106
    },
    {
      "epoch": 0.5944444444444444,
      "grad_norm": 0.06024964526295662,
      "learning_rate": 9.483566537806202e-05,
      "loss": 0.908203125,
      "step": 107
    },
    {
      "epoch": 0.6,
      "grad_norm": 0.05091103911399841,
      "learning_rate": 9.470673664801696e-05,
      "loss": 0.93701171875,
      "step": 108
    },
    {
      "epoch": 0.6,
      "eval_loss": 0.88287353515625,
      "eval_runtime": 13.1175,
      "eval_samples_per_second": 0.915,
      "eval_steps_per_second": 0.152,
      "step": 108
    },
    {
      "epoch": 0.6055555555555555,
      "grad_norm": 0.05728965625166893,
      "learning_rate": 9.4576318804292e-05,
      "loss": 1.024169921875,
      "step": 109
    },
    {
      "epoch": 0.6111111111111112,
      "grad_norm": 0.06394322961568832,
      "learning_rate": 9.444441673792107e-05,
      "loss": 0.9140625,
      "step": 110
    },
    {
      "epoch": 0.6166666666666667,
      "grad_norm": 0.055423419922590256,
      "learning_rate": 9.431103539560054e-05,
      "loss": 1.0439453125,
      "step": 111
    },
    {
      "epoch": 0.6222222222222222,
      "grad_norm": 0.05242814123630524,
      "learning_rate": 9.417617977950381e-05,
      "loss": 0.95166015625,
      "step": 112
    },
    {
      "epoch": 0.6277777777777778,
      "grad_norm": 0.04599849134683609,
      "learning_rate": 9.403985494709367e-05,
      "loss": 0.943359375,
      "step": 113
    },
    {
      "epoch": 0.6333333333333333,
      "grad_norm": 0.056768402457237244,
      "learning_rate": 9.390206601093261e-05,
      "loss": 0.9140625,
      "step": 114
    },
    {
      "epoch": 0.6388888888888888,
      "grad_norm": 0.04664474353194237,
      "learning_rate": 9.376281813849113e-05,
      "loss": 0.92333984375,
      "step": 115
    },
    {
      "epoch": 0.6444444444444445,
      "grad_norm": 0.044502440840005875,
      "learning_rate": 9.36221165519539e-05,
      "loss": 0.9140625,
      "step": 116
    },
    {
      "epoch": 0.65,
      "grad_norm": 0.05736678093671799,
      "learning_rate": 9.347996652802393e-05,
      "loss": 0.94384765625,
      "step": 117
    },
    {
      "epoch": 0.6555555555555556,
      "grad_norm": 0.047704923897981644,
      "learning_rate": 9.333637339772472e-05,
      "loss": 0.89697265625,
      "step": 118
    },
    {
      "epoch": 0.6611111111111111,
      "grad_norm": 0.060899727046489716,
      "learning_rate": 9.319134254620026e-05,
      "loss": 1.03466796875,
      "step": 119
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 0.06606944650411606,
      "learning_rate": 9.304487941251313e-05,
      "loss": 0.869873046875,
      "step": 120
    },
    {
      "epoch": 0.6722222222222223,
      "grad_norm": 0.05356299504637718,
      "learning_rate": 9.289698948944046e-05,
      "loss": 0.892578125,
      "step": 121
    },
    {
      "epoch": 0.6777777777777778,
      "grad_norm": 0.04922427237033844,
      "learning_rate": 9.274767832326802e-05,
      "loss": 0.912109375,
      "step": 122
    },
    {
      "epoch": 0.6833333333333333,
      "grad_norm": 0.06108797341585159,
      "learning_rate": 9.259695151358214e-05,
      "loss": 0.8837890625,
      "step": 123
    },
    {
      "epoch": 0.6888888888888889,
      "grad_norm": 0.04262525588274002,
      "learning_rate": 9.244481471305976e-05,
      "loss": 0.86181640625,
      "step": 124
    },
    {
      "epoch": 0.6944444444444444,
      "grad_norm": 0.05409322679042816,
      "learning_rate": 9.229127362725639e-05,
      "loss": 0.93017578125,
      "step": 125
    },
    {
      "epoch": 0.7,
      "grad_norm": 0.05612434446811676,
      "learning_rate": 9.213633401439221e-05,
      "loss": 0.92724609375,
      "step": 126
    },
    {
      "epoch": 0.7055555555555556,
      "grad_norm": 0.07815617322921753,
      "learning_rate": 9.198000168513604e-05,
      "loss": 0.98974609375,
      "step": 127
    },
    {
      "epoch": 0.7111111111111111,
      "grad_norm": 0.05235309526324272,
      "learning_rate": 9.182228250238747e-05,
      "loss": 0.9091796875,
      "step": 128
    },
    {
      "epoch": 0.7166666666666667,
      "grad_norm": 0.04183909296989441,
      "learning_rate": 9.166318238105697e-05,
      "loss": 0.95654296875,
      "step": 129
    },
    {
      "epoch": 0.7222222222222222,
      "grad_norm": 0.05235957354307175,
      "learning_rate": 9.15027072878441e-05,
      "loss": 0.91064453125,
      "step": 130
    },
    {
      "epoch": 0.7277777777777777,
      "grad_norm": 0.0474664680659771,
      "learning_rate": 9.134086324101368e-05,
      "loss": 0.9013671875,
      "step": 131
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 0.04867349565029144,
      "learning_rate": 9.117765631017011e-05,
      "loss": 0.88720703125,
      "step": 132
    },
    {
      "epoch": 0.7388888888888889,
      "grad_norm": 0.04376591369509697,
      "learning_rate": 9.101309261602979e-05,
      "loss": 0.90576171875,
      "step": 133
    },
    {
      "epoch": 0.7444444444444445,
      "grad_norm": 0.046063948422670364,
      "learning_rate": 9.084717833019151e-05,
      "loss": 0.9140625,
      "step": 134
    },
    {
      "epoch": 0.75,
      "grad_norm": 0.04830019548535347,
      "learning_rate": 9.067991967490503e-05,
      "loss": 0.90380859375,
      "step": 135
    },
    {
      "epoch": 0.7555555555555555,
      "grad_norm": 0.05522068962454796,
      "learning_rate": 9.051132292283771e-05,
      "loss": 0.92333984375,
      "step": 136
    },
    {
      "epoch": 0.7611111111111111,
      "grad_norm": 0.051822349429130554,
      "learning_rate": 9.034139439683935e-05,
      "loss": 0.896484375,
      "step": 137
    },
    {
      "epoch": 0.7666666666666667,
      "grad_norm": 0.04480434209108353,
      "learning_rate": 9.01701404697049e-05,
      "loss": 0.90478515625,
      "step": 138
    },
    {
      "epoch": 0.7722222222222223,
      "grad_norm": 0.055487968027591705,
      "learning_rate": 8.999756756393563e-05,
      "loss": 0.85986328125,
      "step": 139
    },
    {
      "epoch": 0.7777777777777778,
      "grad_norm": 0.06759867072105408,
      "learning_rate": 8.982368215149817e-05,
      "loss": 0.9658203125,
      "step": 140
    },
    {
      "epoch": 0.7833333333333333,
      "grad_norm": 0.04787890240550041,
      "learning_rate": 8.964849075358182e-05,
      "loss": 0.90576171875,
      "step": 141
    },
    {
      "epoch": 0.7888888888888889,
      "grad_norm": 0.041783880442380905,
      "learning_rate": 8.947199994035401e-05,
      "loss": 0.92333984375,
      "step": 142
    },
    {
      "epoch": 0.7944444444444444,
      "grad_norm": 0.04689563438296318,
      "learning_rate": 8.929421633071386e-05,
      "loss": 0.89453125,
      "step": 143
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.046710215508937836,
      "learning_rate": 8.911514659204394e-05,
      "loss": 0.9794921875,
      "step": 144
    },
    {
      "epoch": 0.8055555555555556,
      "grad_norm": 0.04201524704694748,
      "learning_rate": 8.893479743996034e-05,
      "loss": 0.88916015625,
      "step": 145
    },
    {
      "epoch": 0.8111111111111111,
      "grad_norm": 0.04641687870025635,
      "learning_rate": 8.875317563806064e-05,
      "loss": 0.890625,
      "step": 146
    },
    {
      "epoch": 0.8166666666666667,
      "grad_norm": 0.045671626925468445,
      "learning_rate": 8.857028799767042e-05,
      "loss": 0.93115234375,
      "step": 147
    },
    {
      "epoch": 0.8222222222222222,
      "grad_norm": 0.04884997010231018,
      "learning_rate": 8.838614137758767e-05,
      "loss": 0.9248046875,
      "step": 148
    },
    {
      "epoch": 0.8277777777777777,
      "grad_norm": 0.051464494317770004,
      "learning_rate": 8.820074268382574e-05,
      "loss": 0.953125,
      "step": 149
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 0.04283425956964493,
      "learning_rate": 8.801409886935412e-05,
      "loss": 0.79766845703125,
      "step": 150
    },
    {
      "epoch": 0.8388888888888889,
      "grad_norm": 0.05242162570357323,
      "learning_rate": 8.782621693383794e-05,
      "loss": 0.923828125,
      "step": 151
    },
    {
      "epoch": 0.8444444444444444,
      "grad_norm": 0.04432463273406029,
      "learning_rate": 8.763710392337522e-05,
      "loss": 0.892578125,
      "step": 152
    },
    {
      "epoch": 0.85,
      "grad_norm": 0.05258423089981079,
      "learning_rate": 8.744676693023282e-05,
      "loss": 0.89697265625,
      "step": 153
    },
    {
      "epoch": 0.8555555555555555,
      "grad_norm": 0.03943394124507904,
      "learning_rate": 8.725521309258031e-05,
      "loss": 0.76123046875,
      "step": 154
    },
    {
      "epoch": 0.8611111111111112,
      "grad_norm": 0.16495642066001892,
      "learning_rate": 8.706244959422237e-05,
      "loss": 0.9586181640625,
      "step": 155
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 0.05052783340215683,
      "learning_rate": 8.686848366432931e-05,
      "loss": 0.90380859375,
      "step": 156
    },
    {
      "epoch": 0.8722222222222222,
      "grad_norm": 0.04332755506038666,
      "learning_rate": 8.667332257716603e-05,
      "loss": 0.8125,
      "step": 157
    },
    {
      "epoch": 0.8777777777777778,
      "grad_norm": 0.060963306576013565,
      "learning_rate": 8.647697365181911e-05,
      "loss": 0.935546875,
      "step": 158
    },
    {
      "epoch": 0.8833333333333333,
      "grad_norm": 0.049565620720386505,
      "learning_rate": 8.627944425192244e-05,
      "loss": 0.9248046875,
      "step": 159
    },
    {
      "epoch": 0.8888888888888888,
      "grad_norm": 0.04879913479089737,
      "learning_rate": 8.6080741785381e-05,
      "loss": 0.94970703125,
      "step": 160
    },
    {
      "epoch": 0.8944444444444445,
      "grad_norm": 0.05664806813001633,
      "learning_rate": 8.588087370409303e-05,
      "loss": 0.8671875,
      "step": 161
    },
    {
      "epoch": 0.9,
      "grad_norm": 0.04701758548617363,
      "learning_rate": 8.567984750367055e-05,
      "loss": 0.89892578125,
      "step": 162
    },
    {
      "epoch": 0.9055555555555556,
      "grad_norm": 0.05865476280450821,
      "learning_rate": 8.547767072315835e-05,
      "loss": 0.89599609375,
      "step": 163
    },
    {
      "epoch": 0.9111111111111111,
      "grad_norm": 0.052406009286642075,
      "learning_rate": 8.527435094475118e-05,
      "loss": 0.94921875,
      "step": 164
    },
    {
      "epoch": 0.9166666666666666,
      "grad_norm": 0.04421606659889221,
      "learning_rate": 8.506989579350938e-05,
      "loss": 0.84521484375,
      "step": 165
    },
    {
      "epoch": 0.9222222222222223,
      "grad_norm": 0.05002782866358757,
      "learning_rate": 8.486431293707296e-05,
      "loss": 0.8828125,
      "step": 166
    },
    {
      "epoch": 0.9277777777777778,
      "grad_norm": 0.042441803961992264,
      "learning_rate": 8.465761008537405e-05,
      "loss": 0.861328125,
      "step": 167
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 0.05188900604844093,
      "learning_rate": 8.44497949903477e-05,
      "loss": 0.9039306640625,
      "step": 168
    },
    {
      "epoch": 0.9388888888888889,
      "grad_norm": 0.04285572096705437,
      "learning_rate": 8.42408754456412e-05,
      "loss": 0.7958984375,
      "step": 169
    },
    {
      "epoch": 0.9444444444444444,
      "grad_norm": 0.05040177330374718,
      "learning_rate": 8.403085928632179e-05,
      "loss": 0.87890625,
      "step": 170
    },
    {
      "epoch": 0.95,
      "grad_norm": 0.07656143605709076,
      "learning_rate": 8.38197543885829e-05,
      "loss": 0.83837890625,
      "step": 171
    },
    {
      "epoch": 0.9555555555555556,
      "grad_norm": 0.0454406775534153,
      "learning_rate": 8.360756866944858e-05,
      "loss": 0.92236328125,
      "step": 172
    },
    {
      "epoch": 0.9611111111111111,
      "grad_norm": 0.0487142838537693,
      "learning_rate": 8.339431008647677e-05,
      "loss": 0.8642578125,
      "step": 173
    },
    {
      "epoch": 0.9666666666666667,
      "grad_norm": 0.04474879056215286,
      "learning_rate": 8.317998663746079e-05,
      "loss": 0.916015625,
      "step": 174
    },
    {
      "epoch": 0.9722222222222222,
      "grad_norm": 0.04770045354962349,
      "learning_rate": 8.296460636012941e-05,
      "loss": 0.9013671875,
      "step": 175
    },
    {
      "epoch": 0.9777777777777777,
      "grad_norm": 0.09583094716072083,
      "learning_rate": 8.274817733184548e-05,
      "loss": 0.85546875,
      "step": 176
    },
    {
      "epoch": 0.9833333333333333,
      "grad_norm": 0.04274609684944153,
      "learning_rate": 8.253070766930282e-05,
      "loss": 0.94189453125,
      "step": 177
    },
    {
      "epoch": 0.9888888888888889,
      "grad_norm": 0.16147056221961975,
      "learning_rate": 8.231220552822205e-05,
      "loss": 0.9150390625,
      "step": 178
    },
    {
      "epoch": 0.9944444444444445,
      "grad_norm": 0.04417458921670914,
      "learning_rate": 8.209267910304462e-05,
      "loss": 0.82666015625,
      "step": 179
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.04557017609477043,
      "learning_rate": 8.187213662662538e-05,
      "loss": 0.8681640625,
      "step": 180
    },
    {
      "epoch": 1.0055555555555555,
      "grad_norm": 0.20462441444396973,
      "learning_rate": 8.165058636992411e-05,
      "loss": 0.8193359375,
      "step": 181
    },
    {
      "epoch": 1.011111111111111,
      "grad_norm": 0.043176133185625076,
      "learning_rate": 8.142803664169506e-05,
      "loss": 0.734344482421875,
      "step": 182
    },
    {
      "epoch": 1.0166666666666666,
      "grad_norm": 0.05020572990179062,
      "learning_rate": 8.120449578817548e-05,
      "loss": 0.90966796875,
      "step": 183
    },
    {
      "epoch": 1.0222222222222221,
      "grad_norm": 0.04717118665575981,
      "learning_rate": 8.09799721927726e-05,
      "loss": 0.8837890625,
      "step": 184
    },
    {
      "epoch": 1.0277777777777777,
      "grad_norm": 0.0437992699444294,
      "learning_rate": 8.075447427574924e-05,
      "loss": 0.89697265625,
      "step": 185
    },
    {
      "epoch": 1.0333333333333334,
      "grad_norm": 0.045845769345760345,
      "learning_rate": 8.052801049390793e-05,
      "loss": 0.89013671875,
      "step": 186
    },
    {
      "epoch": 1.038888888888889,
      "grad_norm": 0.0499701164662838,
      "learning_rate": 8.030058934027394e-05,
      "loss": 0.90576171875,
      "step": 187
    },
    {
      "epoch": 1.0444444444444445,
      "grad_norm": 0.042997606098651886,
      "learning_rate": 8.007221934377658e-05,
      "loss": 0.8232421875,
      "step": 188
    },
    {
      "epoch": 1.05,
      "grad_norm": 0.046552494168281555,
      "learning_rate": 7.984290906892945e-05,
      "loss": 0.9130859375,
      "step": 189
    },
    {
      "epoch": 1.0555555555555556,
      "grad_norm": 0.045746274292469025,
      "learning_rate": 7.961266711550922e-05,
      "loss": 0.76617431640625,
      "step": 190
    },
    {
      "epoch": 1.0611111111111111,
      "grad_norm": 0.04799175634980202,
      "learning_rate": 7.938150211823309e-05,
      "loss": 0.85595703125,
      "step": 191
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 0.05563824251294136,
      "learning_rate": 7.914942274643501e-05,
      "loss": 0.94873046875,
      "step": 192
    },
    {
      "epoch": 1.0722222222222222,
      "grad_norm": 0.04851698875427246,
      "learning_rate": 7.891643770374052e-05,
      "loss": 0.8994140625,
      "step": 193
    },
    {
      "epoch": 1.0777777777777777,
      "grad_norm": 0.04606899619102478,
      "learning_rate": 7.868255572774037e-05,
      "loss": 0.7825927734375,
      "step": 194
    },
    {
      "epoch": 1.0833333333333333,
      "grad_norm": 0.04620612412691116,
      "learning_rate": 7.84477855896628e-05,
      "loss": 0.86279296875,
      "step": 195
    },
    {
      "epoch": 1.0888888888888888,
      "grad_norm": 0.044590290635824203,
      "learning_rate": 7.821213609404459e-05,
      "loss": 0.94677734375,
      "step": 196
    },
    {
      "epoch": 1.0944444444444446,
      "grad_norm": 0.04122447967529297,
      "learning_rate": 7.797561607840094e-05,
      "loss": 0.83642578125,
      "step": 197
    },
    {
      "epoch": 1.1,
      "grad_norm": 0.04792390763759613,
      "learning_rate": 7.773823441289396e-05,
      "loss": 0.8154296875,
      "step": 198
    },
    {
      "epoch": 1.1055555555555556,
      "grad_norm": 0.043234195560216904,
      "learning_rate": 7.75e-05,
      "loss": 0.92724609375,
      "step": 199
    },
    {
      "epoch": 1.1111111111111112,
      "grad_norm": 0.05087165907025337,
      "learning_rate": 7.726092177417592e-05,
      "loss": 0.91064453125,
      "step": 200
    },
    {
      "epoch": 1.1166666666666667,
      "grad_norm": 0.043311040848493576,
      "learning_rate": 7.702100870152383e-05,
      "loss": 0.77734375,
      "step": 201
    },
    {
      "epoch": 1.1222222222222222,
      "grad_norm": 0.04584471881389618,
      "learning_rate": 7.678026977945497e-05,
      "loss": 0.82177734375,
      "step": 202
    },
    {
      "epoch": 1.1277777777777778,
      "grad_norm": 0.04674329236149788,
      "learning_rate": 7.653871403635223e-05,
      "loss": 0.97119140625,
      "step": 203
    },
    {
      "epoch": 1.1333333333333333,
      "grad_norm": 0.049187254160642624,
      "learning_rate": 7.629635053123158e-05,
      "loss": 0.86376953125,
      "step": 204
    },
    {
      "epoch": 1.1388888888888888,
      "grad_norm": 0.04960101097822189,
      "learning_rate": 7.605318835340236e-05,
      "loss": 0.91650390625,
      "step": 205
    },
    {
      "epoch": 1.1444444444444444,
      "grad_norm": 0.05421186983585358,
      "learning_rate": 7.580923662212632e-05,
      "loss": 0.714599609375,
      "step": 206
    },
    {
      "epoch": 1.15,
      "grad_norm": 0.04953968524932861,
      "learning_rate": 7.556450448627568e-05,
      "loss": 0.8740234375,
      "step": 207
    },
    {
      "epoch": 1.1555555555555554,
      "grad_norm": 0.04564543813467026,
      "learning_rate": 7.531900112399004e-05,
      "loss": 0.8359375,
      "step": 208
    },
    {
      "epoch": 1.1611111111111112,
      "grad_norm": 0.048400409519672394,
      "learning_rate": 7.50727357423321e-05,
      "loss": 0.80712890625,
      "step": 209
    },
    {
      "epoch": 1.1666666666666667,
      "grad_norm": 0.04787645861506462,
      "learning_rate": 7.48257175769425e-05,
      "loss": 0.8564453125,
      "step": 210
    },
    {
      "epoch": 1.1722222222222223,
      "grad_norm": 0.057255957275629044,
      "learning_rate": 7.45779558916933e-05,
      "loss": 0.91064453125,
      "step": 211
    },
    {
      "epoch": 1.1777777777777778,
      "grad_norm": 0.07384311407804489,
      "learning_rate": 7.432945997834067e-05,
      "loss": 0.716552734375,
      "step": 212
    },
    {
      "epoch": 1.1833333333333333,
      "grad_norm": 0.04651561751961708,
      "learning_rate": 7.408023915617636e-05,
      "loss": 0.927734375,
      "step": 213
    },
    {
      "epoch": 1.1888888888888889,
      "grad_norm": 0.04706474393606186,
      "learning_rate": 7.383030277167826e-05,
      "loss": 0.85546875,
      "step": 214
    },
    {
      "epoch": 1.1944444444444444,
      "grad_norm": 0.04492956027388573,
      "learning_rate": 7.357966019815982e-05,
      "loss": 0.8994140625,
      "step": 215
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.04066196456551552,
      "learning_rate": 7.332832083541859e-05,
      "loss": 0.87353515625,
      "step": 216
    },
    {
      "epoch": 1.2,
      "eval_loss": 0.8423919677734375,
      "eval_runtime": 13.1063,
      "eval_samples_per_second": 0.916,
      "eval_steps_per_second": 0.153,
      "step": 216
    },
    {
      "epoch": 1.2055555555555555,
      "grad_norm": 0.04753434285521507,
      "learning_rate": 7.307629410938363e-05,
      "loss": 0.8076171875,
      "step": 217
    },
    {
      "epoch": 1.211111111111111,
      "grad_norm": 0.05118556693196297,
      "learning_rate": 7.282358947176207e-05,
      "loss": 0.83935546875,
      "step": 218
    },
    {
      "epoch": 1.2166666666666668,
      "grad_norm": 0.04904546961188316,
      "learning_rate": 7.25702163996846e-05,
      "loss": 0.86083984375,
      "step": 219
    },
    {
      "epoch": 1.2222222222222223,
      "grad_norm": 0.05265267565846443,
      "learning_rate": 7.231618439535007e-05,
      "loss": 0.80859375,
      "step": 220
    },
    {
      "epoch": 1.2277777777777779,
      "grad_norm": 0.04758688434958458,
      "learning_rate": 7.206150298566915e-05,
      "loss": 0.717529296875,
      "step": 221
    },
    {
      "epoch": 1.2333333333333334,
      "grad_norm": 0.05221811681985855,
      "learning_rate": 7.180618172190702e-05,
      "loss": 0.8048095703125,
      "step": 222
    },
    {
      "epoch": 1.238888888888889,
      "grad_norm": 0.05886903032660484,
      "learning_rate": 7.15502301793252e-05,
      "loss": 0.8515625,
      "step": 223
    },
    {
      "epoch": 1.2444444444444445,
      "grad_norm": 0.04534082114696503,
      "learning_rate": 7.129365795682238e-05,
      "loss": 0.8076171875,
      "step": 224
    },
    {
      "epoch": 1.25,
      "grad_norm": 0.06249246373772621,
      "learning_rate": 7.103647467657452e-05,
      "loss": 0.85302734375,
      "step": 225
    },
    {
      "epoch": 1.2555555555555555,
      "grad_norm": 0.04579539969563484,
      "learning_rate": 7.077868998367395e-05,
      "loss": 0.83544921875,
      "step": 226
    },
    {
      "epoch": 1.261111111111111,
      "grad_norm": 0.04565001651644707,
      "learning_rate": 7.052031354576765e-05,
      "loss": 0.865234375,
      "step": 227
    },
    {
      "epoch": 1.2666666666666666,
      "grad_norm": 0.05467552691698074,
      "learning_rate": 7.026135505269467e-05,
      "loss": 0.7939453125,
      "step": 228
    },
    {
      "epoch": 1.2722222222222221,
      "grad_norm": 0.045561108738183975,
      "learning_rate": 7.000182421612281e-05,
      "loss": 0.79345703125,
      "step": 229
    },
    {
      "epoch": 1.2777777777777777,
      "grad_norm": 0.045619670301675797,
      "learning_rate": 6.97417307691843e-05,
      "loss": 0.796875,
      "step": 230
    },
    {
      "epoch": 1.2833333333333332,
      "grad_norm": 0.05211074277758598,
      "learning_rate": 6.948108446611086e-05,
      "loss": 0.82958984375,
      "step": 231
    },
    {
      "epoch": 1.2888888888888888,
      "grad_norm": 0.048779115080833435,
      "learning_rate": 6.921989508186787e-05,
      "loss": 0.830078125,
      "step": 232
    },
    {
      "epoch": 1.2944444444444445,
      "grad_norm": 0.046727199107408524,
      "learning_rate": 6.895817241178774e-05,
      "loss": 0.83349609375,
      "step": 233
    },
    {
      "epoch": 1.3,
      "grad_norm": 0.04842211678624153,
      "learning_rate": 6.869592627120262e-05,
      "loss": 0.8369140625,
      "step": 234
    },
    {
      "epoch": 1.3055555555555556,
      "grad_norm": 0.04721565917134285,
      "learning_rate": 6.843316649507626e-05,
      "loss": 0.79443359375,
      "step": 235
    },
    {
      "epoch": 1.3111111111111111,
      "grad_norm": 0.09705671668052673,
      "learning_rate": 6.816990293763516e-05,
      "loss": 0.83984375,
      "step": 236
    },
    {
      "epoch": 1.3166666666666667,
      "grad_norm": 0.05335555598139763,
      "learning_rate": 6.790614547199907e-05,
      "loss": 0.76708984375,
      "step": 237
    },
    {
      "epoch": 1.3222222222222222,
      "grad_norm": 0.042442601174116135,
      "learning_rate": 6.764190398981063e-05,
      "loss": 0.818359375,
      "step": 238
    },
    {
      "epoch": 1.3277777777777777,
      "grad_norm": 0.0599215030670166,
      "learning_rate": 6.737718840086448e-05,
      "loss": 0.8017578125,
      "step": 239
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 0.049463603645563126,
      "learning_rate": 6.71120086327356e-05,
      "loss": 0.78369140625,
      "step": 240
    },
    {
      "epoch": 1.338888888888889,
      "grad_norm": 0.047156400978565216,
      "learning_rate": 6.684637463040697e-05,
      "loss": 0.8037109375,
      "step": 241
    },
    {
      "epoch": 1.3444444444444446,
      "grad_norm": 0.055872924625873566,
      "learning_rate": 6.658029635589663e-05,
      "loss": 0.8681640625,
      "step": 242
    },
    {
      "epoch": 1.35,
      "grad_norm": 0.050482094287872314,
      "learning_rate": 6.631378378788406e-05,
      "loss": 0.8076171875,
      "step": 243
    },
    {
      "epoch": 1.3555555555555556,
      "grad_norm": 0.04669024422764778,
      "learning_rate": 6.604684692133597e-05,
      "loss": 0.7978515625,
      "step": 244
    },
    {
      "epoch": 1.3611111111111112,
      "grad_norm": 0.055310290306806564,
      "learning_rate": 6.577949576713144e-05,
      "loss": 0.75439453125,
      "step": 245
    },
    {
      "epoch": 1.3666666666666667,
      "grad_norm": 0.058813516050577164,
      "learning_rate": 6.551174035168655e-05,
      "loss": 0.72607421875,
      "step": 246
    },
    {
      "epoch": 1.3722222222222222,
      "grad_norm": 0.05176336318254471,
      "learning_rate": 6.524359071657822e-05,
      "loss": 0.7578125,
      "step": 247
    },
    {
      "epoch": 1.3777777777777778,
      "grad_norm": 0.054734766483306885,
      "learning_rate": 6.497505691816774e-05,
      "loss": 0.828125,
      "step": 248
    },
    {
      "epoch": 1.3833333333333333,
      "grad_norm": 0.047450918704271317,
      "learning_rate": 6.470614902722367e-05,
      "loss": 0.79345703125,
      "step": 249
    },
    {
      "epoch": 1.3888888888888888,
      "grad_norm": 0.05016674846410751,
      "learning_rate": 6.443687712854397e-05,
      "loss": 0.80029296875,
      "step": 250
    },
    {
      "epoch": 1.3944444444444444,
      "grad_norm": 0.05473002418875694,
      "learning_rate": 6.4167251320578e-05,
      "loss": 0.8212890625,
      "step": 251
    },
    {
      "epoch": 1.4,
      "grad_norm": 0.054414138197898865,
      "learning_rate": 6.389728171504765e-05,
      "loss": 0.8125,
      "step": 252
    },
    {
      "epoch": 1.4055555555555554,
      "grad_norm": 0.04979150742292404,
      "learning_rate": 6.362697843656823e-05,
      "loss": 0.7333984375,
      "step": 253
    },
    {
      "epoch": 1.411111111111111,
      "grad_norm": 0.05243462696671486,
      "learning_rate": 6.335635162226869e-05,
      "loss": 0.80029296875,
      "step": 254
    },
    {
      "epoch": 1.4166666666666667,
      "grad_norm": 0.05495977774262428,
      "learning_rate": 6.308541142141146e-05,
      "loss": 0.77099609375,
      "step": 255
    },
    {
      "epoch": 1.4222222222222223,
      "grad_norm": 0.05158250778913498,
      "learning_rate": 6.281416799501188e-05,
      "loss": 0.7744140625,
      "step": 256
    },
    {
      "epoch": 1.4277777777777778,
      "grad_norm": 0.05417507141828537,
      "learning_rate": 6.254263151545706e-05,
      "loss": 0.780029296875,
      "step": 257
    },
    {
      "epoch": 1.4333333333333333,
      "grad_norm": 0.05407530814409256,
      "learning_rate": 6.227081216612447e-05,
      "loss": 0.7822265625,
      "step": 258
    },
    {
      "epoch": 1.4388888888888889,
      "grad_norm": 0.05271197482943535,
      "learning_rate": 6.199872014099994e-05,
      "loss": 0.82421875,
      "step": 259
    },
    {
      "epoch": 1.4444444444444444,
      "grad_norm": 0.051197804510593414,
      "learning_rate": 6.172636564429545e-05,
      "loss": 0.7763671875,
      "step": 260
    },
    {
      "epoch": 1.45,
      "grad_norm": 0.0567997470498085,
      "learning_rate": 6.145375889006634e-05,
      "loss": 0.7958984375,
      "step": 261
    },
    {
      "epoch": 1.4555555555555555,
      "grad_norm": 0.05634378641843796,
      "learning_rate": 6.118091010182837e-05,
      "loss": 0.79833984375,
      "step": 262
    },
    {
      "epoch": 1.4611111111111112,
      "grad_norm": 0.04826923832297325,
      "learning_rate": 6.090782951217422e-05,
      "loss": 0.69891357421875,
      "step": 263
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 0.30020812153816223,
      "learning_rate": 6.063452736238979e-05,
      "loss": 0.76318359375,
      "step": 264
    },
    {
      "epoch": 1.4722222222222223,
      "grad_norm": 0.05334388464689255,
      "learning_rate": 6.036101390207006e-05,
      "loss": 0.7041015625,
      "step": 265
    },
    {
      "epoch": 1.4777777777777779,
      "grad_norm": 0.057358499616384506,
      "learning_rate": 6.008729938873484e-05,
      "loss": 0.794189453125,
      "step": 266
    },
    {
      "epoch": 1.4833333333333334,
      "grad_norm": 0.057268984615802765,
      "learning_rate": 5.9813394087443876e-05,
      "loss": 0.8701171875,
      "step": 267
    },
    {
      "epoch": 1.488888888888889,
      "grad_norm": 0.054010648280382156,
      "learning_rate": 5.9539308270412086e-05,
      "loss": 0.8447265625,
      "step": 268
    },
    {
      "epoch": 1.4944444444444445,
      "grad_norm": 0.05055909603834152,
      "learning_rate": 5.926505221662416e-05,
      "loss": 0.79541015625,
      "step": 269
    },
    {
      "epoch": 1.5,
      "grad_norm": 0.054270874708890915,
      "learning_rate": 5.899063621144922e-05,
      "loss": 0.7734375,
      "step": 270
    },
    {
      "epoch": 1.5055555555555555,
      "grad_norm": 0.05884323641657829,
      "learning_rate": 5.8716070546254966e-05,
      "loss": 0.806640625,
      "step": 271
    },
    {
      "epoch": 1.511111111111111,
      "grad_norm": 0.05991430953145027,
      "learning_rate": 5.844136551802175e-05,
      "loss": 0.82177734375,
      "step": 272
    },
    {
      "epoch": 1.5166666666666666,
      "grad_norm": 0.055026423186063766,
      "learning_rate": 5.816653142895648e-05,
      "loss": 0.8759765625,
      "step": 273
    },
    {
      "epoch": 1.5222222222222221,
      "grad_norm": 0.05329109728336334,
      "learning_rate": 5.789157858610617e-05,
      "loss": 0.794921875,
      "step": 274
    },
    {
      "epoch": 1.5277777777777777,
      "grad_norm": 0.04542877897620201,
      "learning_rate": 5.761651730097142e-05,
      "loss": 0.62225341796875,
      "step": 275
    },
    {
      "epoch": 1.5333333333333332,
      "grad_norm": 0.05594032257795334,
      "learning_rate": 5.734135788911976e-05,
      "loss": 0.7392578125,
      "step": 276
    },
    {
      "epoch": 1.5388888888888888,
      "grad_norm": 0.04947767034173012,
      "learning_rate": 5.7066110669798736e-05,
      "loss": 0.8154296875,
      "step": 277
    },
    {
      "epoch": 1.5444444444444443,
      "grad_norm": 0.05655859783291817,
      "learning_rate": 5.67907859655489e-05,
      "loss": 0.79541015625,
      "step": 278
    },
    {
      "epoch": 1.55,
      "grad_norm": 0.06127001345157623,
      "learning_rate": 5.651539410181671e-05,
      "loss": 0.8603515625,
      "step": 279
    },
    {
      "epoch": 1.5555555555555556,
      "grad_norm": 0.06107491999864578,
      "learning_rate": 5.62399454065673e-05,
      "loss": 0.78485107421875,
      "step": 280
    },
    {
      "epoch": 1.5611111111111111,
      "grad_norm": 0.06380610913038254,
      "learning_rate": 5.596445020989715e-05,
      "loss": 0.81201171875,
      "step": 281
    },
    {
      "epoch": 1.5666666666666667,
      "grad_norm": 0.05685281381011009,
      "learning_rate": 5.5688918843646656e-05,
      "loss": 0.74072265625,
      "step": 282
    },
    {
      "epoch": 1.5722222222222222,
      "grad_norm": 0.06439924985170364,
      "learning_rate": 5.5413361641012695e-05,
      "loss": 0.7794189453125,
      "step": 283
    },
    {
      "epoch": 1.5777777777777777,
      "grad_norm": 0.0554894395172596,
      "learning_rate": 5.513778893616106e-05,
      "loss": 0.700164794921875,
      "step": 284
    },
    {
      "epoch": 1.5833333333333335,
      "grad_norm": 0.05881272628903389,
      "learning_rate": 5.486221106383895e-05,
      "loss": 0.7861328125,
      "step": 285
    },
    {
      "epoch": 1.588888888888889,
      "grad_norm": 0.05062687397003174,
      "learning_rate": 5.4586638358987316e-05,
      "loss": 0.604644775390625,
      "step": 286
    },
    {
      "epoch": 1.5944444444444446,
      "grad_norm": 0.05964241549372673,
      "learning_rate": 5.431108115635336e-05,
      "loss": 0.7646484375,
      "step": 287
    },
    {
      "epoch": 1.6,
      "grad_norm": 0.06189911440014839,
      "learning_rate": 5.403554979010287e-05,
      "loss": 0.7939453125,
      "step": 288
    },
    {
      "epoch": 1.6055555555555556,
      "grad_norm": 0.05683770030736923,
      "learning_rate": 5.376005459343272e-05,
      "loss": 0.8809814453125,
      "step": 289
    },
    {
      "epoch": 1.6111111111111112,
      "grad_norm": 0.05130205303430557,
      "learning_rate": 5.3484605898183315e-05,
      "loss": 0.7978515625,
      "step": 290
    },
    {
      "epoch": 1.6166666666666667,
      "grad_norm": 0.0612524151802063,
      "learning_rate": 5.320921403445112e-05,
      "loss": 0.91015625,
      "step": 291
    },
    {
      "epoch": 1.6222222222222222,
      "grad_norm": 0.061944060027599335,
      "learning_rate": 5.293388933020127e-05,
      "loss": 0.81396484375,
      "step": 292
    },
    {
      "epoch": 1.6277777777777778,
      "grad_norm": 0.05926624685525894,
      "learning_rate": 5.2658642110880244e-05,
      "loss": 0.80810546875,
      "step": 293
    },
    {
      "epoch": 1.6333333333333333,
      "grad_norm": 0.06159135326743126,
      "learning_rate": 5.23834826990286e-05,
      "loss": 0.7763671875,
      "step": 294
    },
    {
      "epoch": 1.6388888888888888,
      "grad_norm": 0.05656843259930611,
      "learning_rate": 5.210842141389385e-05,
      "loss": 0.79345703125,
      "step": 295
    },
    {
      "epoch": 1.6444444444444444,
      "grad_norm": 0.05543031916022301,
      "learning_rate": 5.183346857104353e-05,
      "loss": 0.79150390625,
      "step": 296
    },
    {
      "epoch": 1.65,
      "grad_norm": 0.06932569295167923,
      "learning_rate": 5.1558634481978265e-05,
      "loss": 0.80419921875,
      "step": 297
    },
    {
      "epoch": 1.6555555555555554,
      "grad_norm": 0.06103169173002243,
      "learning_rate": 5.128392945374505e-05,
      "loss": 0.771484375,
      "step": 298
    },
    {
      "epoch": 1.661111111111111,
      "grad_norm": 0.06873636692762375,
      "learning_rate": 5.100936378855079e-05,
      "loss": 0.8681640625,
      "step": 299
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 0.059117577970027924,
      "learning_rate": 5.073494778337584e-05,
      "loss": 0.742919921875,
      "step": 300
    },
    {
      "epoch": 1.6722222222222223,
      "grad_norm": 0.06298115104436874,
      "learning_rate": 5.046069172958794e-05,
      "loss": 0.7802734375,
      "step": 301
    },
    {
      "epoch": 1.6777777777777778,
      "grad_norm": 0.0591348372399807,
      "learning_rate": 5.018660591255614e-05,
      "loss": 0.787109375,
      "step": 302
    },
    {
      "epoch": 1.6833333333333333,
      "grad_norm": 0.059101544320583344,
      "learning_rate": 4.9912700611265176e-05,
      "loss": 0.7548828125,
      "step": 303
    },
    {
      "epoch": 1.6888888888888889,
      "grad_norm": 0.056728918105363846,
      "learning_rate": 4.963898609792994e-05,
      "loss": 0.75146484375,
      "step": 304
    },
    {
      "epoch": 1.6944444444444444,
      "grad_norm": 0.06630321592092514,
      "learning_rate": 4.9365472637610235e-05,
      "loss": 0.7900390625,
      "step": 305
    },
    {
      "epoch": 1.7,
      "grad_norm": 0.13757576048374176,
      "learning_rate": 4.909217048782579e-05,
      "loss": 0.79443359375,
      "step": 306
    },
    {
      "epoch": 1.7055555555555557,
      "grad_norm": 0.06553367525339127,
      "learning_rate": 4.881908989817163e-05,
      "loss": 0.840576171875,
      "step": 307
    },
    {
      "epoch": 1.7111111111111112,
      "grad_norm": 0.0583001971244812,
      "learning_rate": 4.8546241109933674e-05,
      "loss": 0.7802734375,
      "step": 308
    },
    {
      "epoch": 1.7166666666666668,
      "grad_norm": 0.052199836820364,
      "learning_rate": 4.8273634355704565e-05,
      "loss": 0.84423828125,
      "step": 309
    },
    {
      "epoch": 1.7222222222222223,
      "grad_norm": 0.06273237615823746,
      "learning_rate": 4.800127985900007e-05,
      "loss": 0.779296875,
      "step": 310
    },
    {
      "epoch": 1.7277777777777779,
      "grad_norm": 0.05880773812532425,
      "learning_rate": 4.7729187833875546e-05,
      "loss": 0.7734375,
      "step": 311
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 0.058469612151384354,
      "learning_rate": 4.745736848454295e-05,
      "loss": 0.759765625,
      "step": 312
    },
    {
      "epoch": 1.738888888888889,
      "grad_norm": 0.0585034117102623,
      "learning_rate": 4.718583200498814e-05,
      "loss": 0.7783203125,
      "step": 313
    },
    {
      "epoch": 1.7444444444444445,
      "grad_norm": 0.05488097667694092,
      "learning_rate": 4.691458857858857e-05,
      "loss": 0.7880859375,
      "step": 314
    },
    {
      "epoch": 1.75,
      "grad_norm": 0.05396897345781326,
      "learning_rate": 4.664364837773133e-05,
      "loss": 0.77197265625,
      "step": 315
    },
    {
      "epoch": 1.7555555555555555,
      "grad_norm": 0.3896213173866272,
      "learning_rate": 4.6373021563431784e-05,
      "loss": 0.780029296875,
      "step": 316
    },
    {
      "epoch": 1.761111111111111,
      "grad_norm": 0.06683356314897537,
      "learning_rate": 4.610271828495235e-05,
      "loss": 0.7724609375,
      "step": 317
    },
    {
      "epoch": 1.7666666666666666,
      "grad_norm": 0.05703408643603325,
      "learning_rate": 4.5832748679422024e-05,
      "loss": 0.781982421875,
      "step": 318
    },
    {
      "epoch": 1.7722222222222221,
      "grad_norm": 0.06155144423246384,
      "learning_rate": 4.556312287145604e-05,
      "loss": 0.7412109375,
      "step": 319
    },
    {
      "epoch": 1.7777777777777777,
      "grad_norm": 0.05332708731293678,
      "learning_rate": 4.5293850972776364e-05,
      "loss": 0.84814453125,
      "step": 320
    },
    {
      "epoch": 1.7833333333333332,
      "grad_norm": 0.06812047213315964,
      "learning_rate": 4.502494308183226e-05,
      "loss": 0.77392578125,
      "step": 321
    },
    {
      "epoch": 1.7888888888888888,
      "grad_norm": 0.05285648629069328,
      "learning_rate": 4.475640928342182e-05,
      "loss": 0.8115234375,
      "step": 322
    },
    {
      "epoch": 1.7944444444444443,
      "grad_norm": 0.055206868797540665,
      "learning_rate": 4.448825964831347e-05,
      "loss": 0.771484375,
      "step": 323
    },
    {
      "epoch": 1.8,
      "grad_norm": 0.05760844796895981,
      "learning_rate": 4.422050423286857e-05,
      "loss": 0.8447265625,
      "step": 324
    },
    {
      "epoch": 1.8,
      "eval_loss": 0.8323516845703125,
      "eval_runtime": 13.0952,
      "eval_samples_per_second": 0.916,
      "eval_steps_per_second": 0.153,
      "step": 324
    },
    {
      "epoch": 1.8055555555555556,
      "grad_norm": 0.06074342131614685,
      "learning_rate": 4.395315307866405e-05,
      "loss": 0.76904296875,
      "step": 325
    },
    {
      "epoch": 1.8111111111111111,
      "grad_norm": 0.05502430722117424,
      "learning_rate": 4.368621621211596e-05,
      "loss": 0.77294921875,
      "step": 326
    },
    {
      "epoch": 1.8166666666666667,
      "grad_norm": 0.05855901539325714,
      "learning_rate": 4.3419703644103384e-05,
      "loss": 0.7998046875,
      "step": 327
    },
    {
      "epoch": 1.8222222222222222,
      "grad_norm": 0.057750679552555084,
      "learning_rate": 4.3153625369593057e-05,
      "loss": 0.80322265625,
      "step": 328
    },
    {
      "epoch": 1.8277777777777777,
      "grad_norm": 0.05659996718168259,
      "learning_rate": 4.28879913672644e-05,
      "loss": 0.82666015625,
      "step": 329
    },
    {
      "epoch": 1.8333333333333335,
      "grad_norm": 0.05274190381169319,
      "learning_rate": 4.262281159913554e-05,
      "loss": 0.692291259765625,
      "step": 330
    },
    {
      "epoch": 1.838888888888889,
      "grad_norm": 0.06606703996658325,
      "learning_rate": 4.2358096010189385e-05,
      "loss": 0.79736328125,
      "step": 331
    },
    {
      "epoch": 1.8444444444444446,
      "grad_norm": 0.05838339403271675,
      "learning_rate": 4.209385452800095e-05,
      "loss": 0.77685546875,
      "step": 332
    },
    {
      "epoch": 1.85,
      "grad_norm": 0.059201326221227646,
      "learning_rate": 4.183009706236484e-05,
      "loss": 0.77685546875,
      "step": 333
    },
    {
      "epoch": 1.8555555555555556,
      "grad_norm": 0.046663038432598114,
      "learning_rate": 4.156683350492376e-05,
      "loss": 0.676513671875,
      "step": 334
    },
    {
      "epoch": 1.8611111111111112,
      "grad_norm": 0.054537270218133926,
      "learning_rate": 4.130407372879739e-05,
      "loss": 0.83868408203125,
      "step": 335
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 0.06385454535484314,
      "learning_rate": 4.104182758821228e-05,
      "loss": 0.786865234375,
      "step": 336
    },
    {
      "epoch": 1.8722222222222222,
      "grad_norm": 0.052061136811971664,
      "learning_rate": 4.0780104918132144e-05,
      "loss": 0.71337890625,
      "step": 337
    },
    {
      "epoch": 1.8777777777777778,
      "grad_norm": 0.05896454304456711,
      "learning_rate": 4.051891553388916e-05,
      "loss": 0.8154296875,
      "step": 338
    },
    {
      "epoch": 1.8833333333333333,
      "grad_norm": 0.05938766151666641,
      "learning_rate": 4.0258269230815715e-05,
      "loss": 0.80322265625,
      "step": 339
    },
    {
      "epoch": 1.8888888888888888,
      "grad_norm": 0.05951433256268501,
      "learning_rate": 3.9998175783877226e-05,
      "loss": 0.8251953125,
      "step": 340
    },
    {
      "epoch": 1.8944444444444444,
      "grad_norm": 0.06209597736597061,
      "learning_rate": 3.973864494730534e-05,
      "loss": 0.74365234375,
      "step": 341
    },
    {
      "epoch": 1.9,
      "grad_norm": 0.0583549439907074,
      "learning_rate": 3.947968645423238e-05,
      "loss": 0.78173828125,
      "step": 342
    },
    {
      "epoch": 1.9055555555555554,
      "grad_norm": 0.06311269849538803,
      "learning_rate": 3.922131001632606e-05,
      "loss": 0.76318359375,
      "step": 343
    },
    {
      "epoch": 1.911111111111111,
      "grad_norm": 0.060178518295288086,
      "learning_rate": 3.8963525323425486e-05,
      "loss": 0.82763671875,
      "step": 344
    },
    {
      "epoch": 1.9166666666666665,
      "grad_norm": 0.05753462389111519,
      "learning_rate": 3.870634204317762e-05,
      "loss": 0.73492431640625,
      "step": 345
    },
    {
      "epoch": 1.9222222222222223,
      "grad_norm": 0.11456094682216644,
      "learning_rate": 3.844976982067482e-05,
      "loss": 0.7685546875,
      "step": 346
    },
    {
      "epoch": 1.9277777777777778,
      "grad_norm": 0.05636809393763542,
      "learning_rate": 3.819381827809299e-05,
      "loss": 0.75146484375,
      "step": 347
    },
    {
      "epoch": 1.9333333333333333,
      "grad_norm": 0.07920922338962555,
      "learning_rate": 3.793849701433088e-05,
      "loss": 0.7772216796875,
      "step": 348
    },
    {
      "epoch": 1.9388888888888889,
      "grad_norm": 0.054340459406375885,
      "learning_rate": 3.768381560464995e-05,
      "loss": 0.708251953125,
      "step": 349
    },
    {
      "epoch": 1.9444444444444444,
      "grad_norm": 0.056318506598472595,
      "learning_rate": 3.742978360031544e-05,
      "loss": 0.76904296875,
      "step": 350
    },
    {
      "epoch": 1.95,
      "grad_norm": 0.0579373836517334,
      "learning_rate": 3.717641052823795e-05,
      "loss": 0.7314453125,
      "step": 351
    },
    {
      "epoch": 1.9555555555555557,
      "grad_norm": 0.056404028087854385,
      "learning_rate": 3.692370589061639e-05,
      "loss": 0.81103515625,
      "step": 352
    },
    {
      "epoch": 1.9611111111111112,
      "grad_norm": 0.05630074441432953,
      "learning_rate": 3.667167916458142e-05,
      "loss": 0.75537109375,
      "step": 353
    },
    {
      "epoch": 1.9666666666666668,
      "grad_norm": 0.06106020510196686,
      "learning_rate": 3.6420339801840196e-05,
      "loss": 0.79736328125,
      "step": 354
    },
    {
      "epoch": 1.9722222222222223,
      "grad_norm": 0.057445403188467026,
      "learning_rate": 3.616969722832174e-05,
      "loss": 0.78369140625,
      "step": 355
    },
    {
      "epoch": 1.9777777777777779,
      "grad_norm": 0.06004713103175163,
      "learning_rate": 3.5919760843823667e-05,
      "loss": 0.74853515625,
      "step": 356
    },
    {
      "epoch": 1.9833333333333334,
      "grad_norm": 0.05260277912020683,
      "learning_rate": 3.567054002165936e-05,
      "loss": 0.84716796875,
      "step": 357
    },
    {
      "epoch": 1.988888888888889,
      "grad_norm": 0.05810333415865898,
      "learning_rate": 3.5422044108306716e-05,
      "loss": 0.79736328125,
      "step": 358
    },
    {
      "epoch": 1.9944444444444445,
      "grad_norm": 0.052693530917167664,
      "learning_rate": 3.5174282423057514e-05,
      "loss": 0.72314453125,
      "step": 359
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.05832812190055847,
      "learning_rate": 3.492726425766791e-05,
      "loss": 0.71728515625,
      "step": 360
    },
    {
      "epoch": 2.0055555555555555,
      "grad_norm": 0.06229420378804207,
      "learning_rate": 3.468099887600999e-05,
      "loss": 0.6767578125,
      "step": 361
    },
    {
      "epoch": 2.011111111111111,
      "grad_norm": 0.054630160331726074,
      "learning_rate": 3.443549551372434e-05,
      "loss": 0.6410369873046875,
      "step": 362
    },
    {
      "epoch": 2.0166666666666666,
      "grad_norm": 0.0695592612028122,
      "learning_rate": 3.419076337787371e-05,
      "loss": 0.79150390625,
      "step": 363
    },
    {
      "epoch": 2.022222222222222,
      "grad_norm": 0.06250900775194168,
      "learning_rate": 3.394681164659766e-05,
      "loss": 0.76953125,
      "step": 364
    },
    {
      "epoch": 2.0277777777777777,
      "grad_norm": 0.05870450660586357,
      "learning_rate": 3.370364946876844e-05,
      "loss": 0.78466796875,
      "step": 365
    },
    {
      "epoch": 2.033333333333333,
      "grad_norm": 0.05831899493932724,
      "learning_rate": 3.3461285963647805e-05,
      "loss": 0.7734375,
      "step": 366
    },
    {
      "epoch": 2.0388888888888888,
      "grad_norm": 0.06155839189887047,
      "learning_rate": 3.3219730220545064e-05,
      "loss": 0.78564453125,
      "step": 367
    },
    {
      "epoch": 2.0444444444444443,
      "grad_norm": 0.05363038554787636,
      "learning_rate": 3.29789912984762e-05,
      "loss": 0.7236328125,
      "step": 368
    },
    {
      "epoch": 2.05,
      "grad_norm": 0.059053950011730194,
      "learning_rate": 3.2739078225824106e-05,
      "loss": 0.8056640625,
      "step": 369
    },
    {
      "epoch": 2.0555555555555554,
      "grad_norm": 0.058264587074518204,
      "learning_rate": 3.250000000000001e-05,
      "loss": 0.658477783203125,
      "step": 370
    },
    {
      "epoch": 2.061111111111111,
      "grad_norm": 0.053816840052604675,
      "learning_rate": 3.2261765587106075e-05,
      "loss": 0.75,
      "step": 371
    },
    {
      "epoch": 2.066666666666667,
      "grad_norm": 0.05713905394077301,
      "learning_rate": 3.2024383921599085e-05,
      "loss": 0.8369140625,
      "step": 372
    },
    {
      "epoch": 2.0722222222222224,
      "grad_norm": 0.05879650637507439,
      "learning_rate": 3.178786390595544e-05,
      "loss": 0.774658203125,
      "step": 373
    },
    {
      "epoch": 2.077777777777778,
      "grad_norm": 0.06611868739128113,
      "learning_rate": 3.1552214410337235e-05,
      "loss": 0.6802978515625,
      "step": 374
    },
    {
      "epoch": 2.0833333333333335,
      "grad_norm": 0.05817348510026932,
      "learning_rate": 3.131744427225965e-05,
      "loss": 0.7509765625,
      "step": 375
    },
    {
      "epoch": 2.088888888888889,
      "grad_norm": 0.06522732228040695,
      "learning_rate": 3.1083562296259495e-05,
      "loss": 0.8359375,
      "step": 376
    },
    {
      "epoch": 2.0944444444444446,
      "grad_norm": 0.05532973259687424,
      "learning_rate": 3.0850577253565014e-05,
      "loss": 0.73681640625,
      "step": 377
    },
    {
      "epoch": 2.1,
      "grad_norm": 0.05453307926654816,
      "learning_rate": 3.061849788176693e-05,
      "loss": 0.71240234375,
      "step": 378
    },
    {
      "epoch": 2.1055555555555556,
      "grad_norm": 0.05531802773475647,
      "learning_rate": 3.0387332884490805e-05,
      "loss": 0.8291015625,
      "step": 379
    },
    {
      "epoch": 2.111111111111111,
      "grad_norm": 0.06268377602100372,
      "learning_rate": 3.0157090931070565e-05,
      "loss": 0.78564453125,
      "step": 380
    },
    {
      "epoch": 2.1166666666666667,
      "grad_norm": 0.05352954939007759,
      "learning_rate": 2.9927780656223438e-05,
      "loss": 0.681640625,
      "step": 381
    },
    {
      "epoch": 2.1222222222222222,
      "grad_norm": 0.056907057762145996,
      "learning_rate": 2.9699410659726075e-05,
      "loss": 0.715087890625,
      "step": 382
    },
    {
      "epoch": 2.1277777777777778,
      "grad_norm": 0.056129924952983856,
      "learning_rate": 2.947198950609208e-05,
      "loss": 0.85986328125,
      "step": 383
    },
    {
      "epoch": 2.1333333333333333,
      "grad_norm": 0.061477258801460266,
      "learning_rate": 2.9245525724250793e-05,
      "loss": 0.73828125,
      "step": 384
    },
    {
      "epoch": 2.138888888888889,
      "grad_norm": 0.06201855093240738,
      "learning_rate": 2.9020027807227424e-05,
      "loss": 0.79541015625,
      "step": 385
    },
    {
      "epoch": 2.1444444444444444,
      "grad_norm": 0.06749982386827469,
      "learning_rate": 2.8795504211824543e-05,
      "loss": 0.6243896484375,
      "step": 386
    },
    {
      "epoch": 2.15,
      "grad_norm": 0.06140488386154175,
      "learning_rate": 2.8571963358304965e-05,
      "loss": 0.748046875,
      "step": 387
    },
    {
      "epoch": 2.1555555555555554,
      "grad_norm": 0.05919402837753296,
      "learning_rate": 2.8349413630075906e-05,
      "loss": 0.728759765625,
      "step": 388
    },
    {
      "epoch": 2.161111111111111,
      "grad_norm": 0.05981147661805153,
      "learning_rate": 2.8127863373374635e-05,
      "loss": 0.695556640625,
      "step": 389
    },
    {
      "epoch": 2.1666666666666665,
      "grad_norm": 0.06054292991757393,
      "learning_rate": 2.7907320896955413e-05,
      "loss": 0.744140625,
      "step": 390
    },
    {
      "epoch": 2.172222222222222,
      "grad_norm": 0.06435830891132355,
      "learning_rate": 2.7687794471777954e-05,
      "loss": 0.7861328125,
      "step": 391
    },
    {
      "epoch": 2.1777777777777776,
      "grad_norm": 0.05324579402804375,
      "learning_rate": 2.7469292330697193e-05,
      "loss": 0.6168212890625,
      "step": 392
    },
    {
      "epoch": 2.183333333333333,
      "grad_norm": 0.057445455342531204,
      "learning_rate": 2.7251822668154546e-05,
      "loss": 0.815673828125,
      "step": 393
    },
    {
      "epoch": 2.188888888888889,
      "grad_norm": 0.063711978495121,
      "learning_rate": 2.70353936398706e-05,
      "loss": 0.7333984375,
      "step": 394
    },
    {
      "epoch": 2.1944444444444446,
      "grad_norm": 0.05439506098628044,
      "learning_rate": 2.6820013362539235e-05,
      "loss": 0.7998046875,
      "step": 395
    },
    {
      "epoch": 2.2,
      "grad_norm": 0.05493047833442688,
      "learning_rate": 2.6605689913523263e-05,
      "loss": 0.7783203125,
      "step": 396
    },
    {
      "epoch": 2.2055555555555557,
      "grad_norm": 0.059178080409765244,
      "learning_rate": 2.639243133055145e-05,
      "loss": 0.69970703125,
      "step": 397
    },
    {
      "epoch": 2.2111111111111112,
      "grad_norm": 0.059976737946271896,
      "learning_rate": 2.6180245611417127e-05,
      "loss": 0.721923828125,
      "step": 398
    },
    {
      "epoch": 2.216666666666667,
      "grad_norm": 0.06078799441456795,
      "learning_rate": 2.596914071367822e-05,
      "loss": 0.7421875,
      "step": 399
    },
    {
      "epoch": 2.2222222222222223,
      "grad_norm": 0.05953007936477661,
      "learning_rate": 2.5759124554358826e-05,
      "loss": 0.7021484375,
      "step": 400
    },
    {
      "epoch": 2.227777777777778,
      "grad_norm": 0.06001618131995201,
      "learning_rate": 2.555020500965233e-05,
      "loss": 0.62158203125,
      "step": 401
    },
    {
      "epoch": 2.2333333333333334,
      "grad_norm": 0.06746778637170792,
      "learning_rate": 2.534238991462597e-05,
      "loss": 0.675048828125,
      "step": 402
    },
    {
      "epoch": 2.238888888888889,
      "grad_norm": 0.05842980369925499,
      "learning_rate": 2.513568706292705e-05,
      "loss": 0.75048828125,
      "step": 403
    },
    {
      "epoch": 2.2444444444444445,
      "grad_norm": 0.05836916342377663,
      "learning_rate": 2.4930104206490632e-05,
      "loss": 0.695068359375,
      "step": 404
    },
    {
      "epoch": 2.25,
      "grad_norm": 0.07351301610469818,
      "learning_rate": 2.4725649055248835e-05,
      "loss": 0.7275390625,
      "step": 405
    },
    {
      "epoch": 2.2555555555555555,
      "grad_norm": 0.06173352524638176,
      "learning_rate": 2.4522329276841663e-05,
      "loss": 0.724609375,
      "step": 406
    },
    {
      "epoch": 2.261111111111111,
      "grad_norm": 0.05910336226224899,
      "learning_rate": 2.4320152496329472e-05,
      "loss": 0.7666015625,
      "step": 407
    },
    {
      "epoch": 2.2666666666666666,
      "grad_norm": 0.06253387033939362,
      "learning_rate": 2.4119126295906998e-05,
      "loss": 0.693115234375,
      "step": 408
    },
    {
      "epoch": 2.272222222222222,
      "grad_norm": 0.05692410469055176,
      "learning_rate": 2.3919258214619008e-05,
      "loss": 0.69482421875,
      "step": 409
    },
    {
      "epoch": 2.2777777777777777,
      "grad_norm": 0.060253918170928955,
      "learning_rate": 2.372055574807756e-05,
      "loss": 0.68798828125,
      "step": 410
    },
    {
      "epoch": 2.283333333333333,
      "grad_norm": 0.05876357480883598,
      "learning_rate": 2.3523026348180902e-05,
      "loss": 0.7197265625,
      "step": 411
    },
    {
      "epoch": 2.2888888888888888,
      "grad_norm": 0.059474315494298935,
      "learning_rate": 2.3326677422833994e-05,
      "loss": 0.72216796875,
      "step": 412
    },
    {
      "epoch": 2.2944444444444443,
      "grad_norm": 0.05722491815686226,
      "learning_rate": 2.3131516335670704e-05,
      "loss": 0.72998046875,
      "step": 413
    },
    {
      "epoch": 2.3,
      "grad_norm": 0.06857947260141373,
      "learning_rate": 2.2937550405777647e-05,
      "loss": 0.7255859375,
      "step": 414
    },
    {
      "epoch": 2.3055555555555554,
      "grad_norm": 0.05790672078728676,
      "learning_rate": 2.2744786907419703e-05,
      "loss": 0.6865234375,
      "step": 415
    },
    {
      "epoch": 2.311111111111111,
      "grad_norm": 0.07045500725507736,
      "learning_rate": 2.255323306976719e-05,
      "loss": 0.712158203125,
      "step": 416
    },
    {
      "epoch": 2.3166666666666664,
      "grad_norm": 0.059966836124658585,
      "learning_rate": 2.2362896076624784e-05,
      "loss": 0.66015625,
      "step": 417
    },
    {
      "epoch": 2.3222222222222224,
      "grad_norm": 0.05525347590446472,
      "learning_rate": 2.2173783066162073e-05,
      "loss": 0.73046875,
      "step": 418
    },
    {
      "epoch": 2.327777777777778,
      "grad_norm": 0.07166549563407898,
      "learning_rate": 2.1985901130645882e-05,
      "loss": 0.684326171875,
      "step": 419
    },
    {
      "epoch": 2.3333333333333335,
      "grad_norm": 0.06499408185482025,
      "learning_rate": 2.1799257316174284e-05,
      "loss": 0.673828125,
      "step": 420
    },
    {
      "epoch": 2.338888888888889,
      "grad_norm": 0.05752599611878395,
      "learning_rate": 2.1613858622412337e-05,
      "loss": 0.7099609375,
      "step": 421
    },
    {
      "epoch": 2.3444444444444446,
      "grad_norm": 0.06391977518796921,
      "learning_rate": 2.14297120023296e-05,
      "loss": 0.751953125,
      "step": 422
    },
    {
      "epoch": 2.35,
      "grad_norm": 0.06590812653303146,
      "learning_rate": 2.124682436193937e-05,
      "loss": 0.6982421875,
      "step": 423
    },
    {
      "epoch": 2.3555555555555556,
      "grad_norm": 0.0588902048766613,
      "learning_rate": 2.1065202560039677e-05,
      "loss": 0.69970703125,
      "step": 424
    },
    {
      "epoch": 2.361111111111111,
      "grad_norm": 0.05931660160422325,
      "learning_rate": 2.0884853407956064e-05,
      "loss": 0.654296875,
      "step": 425
    },
    {
      "epoch": 2.3666666666666667,
      "grad_norm": 0.05627746134996414,
      "learning_rate": 2.0705783669286157e-05,
      "loss": 0.6298828125,
      "step": 426
    },
    {
      "epoch": 2.3722222222222222,
      "grad_norm": 0.059777069836854935,
      "learning_rate": 2.0528000059645997e-05,
      "loss": 0.6552734375,
      "step": 427
    },
    {
      "epoch": 2.3777777777777778,
      "grad_norm": 0.06560508161783218,
      "learning_rate": 2.0351509246418182e-05,
      "loss": 0.7158203125,
      "step": 428
    },
    {
      "epoch": 2.3833333333333333,
      "grad_norm": 0.06468797475099564,
      "learning_rate": 2.017631784850184e-05,
      "loss": 0.69775390625,
      "step": 429
    },
    {
      "epoch": 2.388888888888889,
      "grad_norm": 0.06385242938995361,
      "learning_rate": 2.0002432436064383e-05,
      "loss": 0.6943359375,
      "step": 430
    },
    {
      "epoch": 2.3944444444444444,
      "grad_norm": 0.062236085534095764,
      "learning_rate": 1.982985953029511e-05,
      "loss": 0.7099609375,
      "step": 431
    },
    {
      "epoch": 2.4,
      "grad_norm": 0.06230605021119118,
      "learning_rate": 1.9658605603160668e-05,
      "loss": 0.7001953125,
      "step": 432
    },
    {
      "epoch": 2.4,
      "eval_loss": 0.8336029052734375,
      "eval_runtime": 13.0915,
      "eval_samples_per_second": 0.917,
      "eval_steps_per_second": 0.153,
      "step": 432
    },
    {
      "epoch": 2.4055555555555554,
      "grad_norm": 0.06140171363949776,
      "learning_rate": 1.9488677077162295e-05,
      "loss": 0.630859375,
      "step": 433
    },
    {
      "epoch": 2.411111111111111,
      "grad_norm": 0.06601665914058685,
      "learning_rate": 1.9320080325094993e-05,
      "loss": 0.688232421875,
      "step": 434
    },
    {
      "epoch": 2.4166666666666665,
      "grad_norm": 0.06363050639629364,
      "learning_rate": 1.9152821669808506e-05,
      "loss": 0.66162109375,
      "step": 435
    },
    {
      "epoch": 2.422222222222222,
      "grad_norm": 0.061124689877033234,
      "learning_rate": 1.8986907383970225e-05,
      "loss": 0.6728515625,
      "step": 436
    },
    {
      "epoch": 2.4277777777777776,
      "grad_norm": 0.06429571658372879,
      "learning_rate": 1.8822343689829896e-05,
      "loss": 0.668701171875,
      "step": 437
    },
    {
      "epoch": 2.4333333333333336,
      "grad_norm": 0.06824830174446106,
      "learning_rate": 1.865913675898633e-05,
      "loss": 0.67333984375,
      "step": 438
    },
    {
      "epoch": 2.438888888888889,
      "grad_norm": 0.0652233436703682,
      "learning_rate": 1.8497292712155905e-05,
      "loss": 0.7109375,
      "step": 439
    },
    {
      "epoch": 2.4444444444444446,
      "grad_norm": 0.06093544885516167,
      "learning_rate": 1.833681761894303e-05,
      "loss": 0.6748046875,
      "step": 440
    },
    {
      "epoch": 2.45,
      "grad_norm": 0.06681835651397705,
      "learning_rate": 1.817771749761254e-05,
      "loss": 0.6787109375,
      "step": 441
    },
    {
      "epoch": 2.4555555555555557,
      "grad_norm": 0.09045480191707611,
      "learning_rate": 1.8019998314863974e-05,
      "loss": 0.68359375,
      "step": 442
    },
    {
      "epoch": 2.4611111111111112,
      "grad_norm": 0.059314239770174026,
      "learning_rate": 1.7863665985607802e-05,
      "loss": 0.60302734375,
      "step": 443
    },
    {
      "epoch": 2.466666666666667,
      "grad_norm": 0.06481864303350449,
      "learning_rate": 1.7708726372743618e-05,
      "loss": 0.658203125,
      "step": 444
    },
    {
      "epoch": 2.4722222222222223,
      "grad_norm": 0.06287098675966263,
      "learning_rate": 1.755518528694025e-05,
      "loss": 0.60400390625,
      "step": 445
    },
    {
      "epoch": 2.477777777777778,
      "grad_norm": 0.06786705553531647,
      "learning_rate": 1.740304848641787e-05,
      "loss": 0.672607421875,
      "step": 446
    },
    {
      "epoch": 2.4833333333333334,
      "grad_norm": 0.07895544171333313,
      "learning_rate": 1.725232167673199e-05,
      "loss": 0.73291015625,
      "step": 447
    },
    {
      "epoch": 2.488888888888889,
      "grad_norm": 0.068633072078228,
      "learning_rate": 1.710301051055955e-05,
      "loss": 0.724609375,
      "step": 448
    },
    {
      "epoch": 2.4944444444444445,
      "grad_norm": 0.06754299998283386,
      "learning_rate": 1.6955120587486885e-05,
      "loss": 0.69287109375,
      "step": 449
    },
    {
      "epoch": 2.5,
      "grad_norm": 0.07174503803253174,
      "learning_rate": 1.6808657453799744e-05,
      "loss": 0.6669921875,
      "step": 450
    },
    {
      "epoch": 2.5055555555555555,
      "grad_norm": 0.07379809767007828,
      "learning_rate": 1.6663626602275288e-05,
      "loss": 0.6845703125,
      "step": 451
    },
    {
      "epoch": 2.511111111111111,
      "grad_norm": 0.07057462632656097,
      "learning_rate": 1.6520033471976077e-05,
      "loss": 0.700927734375,
      "step": 452
    },
    {
      "epoch": 2.5166666666666666,
      "grad_norm": 0.12075720727443695,
      "learning_rate": 1.6377883448046122e-05,
      "loss": 0.762451171875,
      "step": 453
    },
    {
      "epoch": 2.522222222222222,
      "grad_norm": 0.060440488159656525,
      "learning_rate": 1.623718186150889e-05,
      "loss": 0.69580078125,
      "step": 454
    },
    {
      "epoch": 2.5277777777777777,
      "grad_norm": 0.07302123308181763,
      "learning_rate": 1.60979339890674e-05,
      "loss": 0.5406494140625,
      "step": 455
    },
    {
      "epoch": 2.533333333333333,
      "grad_norm": 0.0633658692240715,
      "learning_rate": 1.5960145052906338e-05,
      "loss": 0.64111328125,
      "step": 456
    },
    {
      "epoch": 2.5388888888888888,
      "grad_norm": 0.05979062244296074,
      "learning_rate": 1.5823820220496195e-05,
      "loss": 0.732421875,
      "step": 457
    },
    {
      "epoch": 2.5444444444444443,
      "grad_norm": 0.07253874093294144,
      "learning_rate": 1.568896460439947e-05,
      "loss": 0.67919921875,
      "step": 458
    },
    {
      "epoch": 2.55,
      "grad_norm": 0.07385561615228653,
      "learning_rate": 1.5555583262078944e-05,
      "loss": 0.72998046875,
      "step": 459
    },
    {
      "epoch": 2.5555555555555554,
      "grad_norm": 0.06815175712108612,
      "learning_rate": 1.5423681195707997e-05,
      "loss": 0.66845703125,
      "step": 460
    },
    {
      "epoch": 2.561111111111111,
      "grad_norm": 0.07204774767160416,
      "learning_rate": 1.5293263351983044e-05,
      "loss": 0.689697265625,
      "step": 461
    },
    {
      "epoch": 2.5666666666666664,
      "grad_norm": 0.06678230315446854,
      "learning_rate": 1.5164334621937992e-05,
      "loss": 0.633056640625,
      "step": 462
    },
    {
      "epoch": 2.572222222222222,
      "grad_norm": 0.07442482560873032,
      "learning_rate": 1.5036899840760815e-05,
      "loss": 0.645751953125,
      "step": 463
    },
    {
      "epoch": 2.5777777777777775,
      "grad_norm": 0.06967206299304962,
      "learning_rate": 1.4910963787612226e-05,
      "loss": 0.598236083984375,
      "step": 464
    },
    {
      "epoch": 2.5833333333333335,
      "grad_norm": 0.0773426964879036,
      "learning_rate": 1.4786531185446454e-05,
      "loss": 0.68408203125,
      "step": 465
    },
    {
      "epoch": 2.588888888888889,
      "grad_norm": 0.05998453125357628,
      "learning_rate": 1.4663606700834101e-05,
      "loss": 0.533905029296875,
      "step": 466
    },
    {
      "epoch": 2.5944444444444446,
      "grad_norm": 0.0824751928448677,
      "learning_rate": 1.4542194943787144e-05,
      "loss": 0.656982421875,
      "step": 467
    },
    {
      "epoch": 2.6,
      "grad_norm": 0.07359018176794052,
      "learning_rate": 1.442230046758605e-05,
      "loss": 0.6787109375,
      "step": 468
    },
    {
      "epoch": 2.6055555555555556,
      "grad_norm": 0.07717732340097427,
      "learning_rate": 1.4303927768609015e-05,
      "loss": 0.766845703125,
      "step": 469
    },
    {
      "epoch": 2.611111111111111,
      "grad_norm": 0.07383830100297928,
      "learning_rate": 1.4187081286163323e-05,
      "loss": 0.70849609375,
      "step": 470
    },
    {
      "epoch": 2.6166666666666667,
      "grad_norm": 0.06743068248033524,
      "learning_rate": 1.4071765402318873e-05,
      "loss": 0.8076171875,
      "step": 471
    },
    {
      "epoch": 2.6222222222222222,
      "grad_norm": 0.12001865357160568,
      "learning_rate": 1.3957984441743832e-05,
      "loss": 0.699462890625,
      "step": 472
    },
    {
      "epoch": 2.6277777777777778,
      "grad_norm": 0.07017767429351807,
      "learning_rate": 1.384574267154246e-05,
      "loss": 0.69970703125,
      "step": 473
    },
    {
      "epoch": 2.6333333333333333,
      "grad_norm": 0.11585768312215805,
      "learning_rate": 1.3735044301095068e-05,
      "loss": 0.6669921875,
      "step": 474
    },
    {
      "epoch": 2.638888888888889,
      "grad_norm": 0.06867586821317673,
      "learning_rate": 1.3625893481900154e-05,
      "loss": 0.691650390625,
      "step": 475
    },
    {
      "epoch": 2.6444444444444444,
      "grad_norm": 0.06327942758798599,
      "learning_rate": 1.3518294307418727e-05,
      "loss": 0.6953125,
      "step": 476
    },
    {
      "epoch": 2.65,
      "grad_norm": 0.07125144451856613,
      "learning_rate": 1.3412250812920767e-05,
      "loss": 0.68994140625,
      "step": 477
    },
    {
      "epoch": 2.6555555555555554,
      "grad_norm": 0.0676037147641182,
      "learning_rate": 1.330776697533392e-05,
      "loss": 0.67236328125,
      "step": 478
    },
    {
      "epoch": 2.661111111111111,
      "grad_norm": 0.08281464129686356,
      "learning_rate": 1.3204846713094326e-05,
      "loss": 0.732421875,
      "step": 479
    },
    {
      "epoch": 2.6666666666666665,
      "grad_norm": 0.0687449723482132,
      "learning_rate": 1.3103493885999663e-05,
      "loss": 0.636474609375,
      "step": 480
    },
    {
      "epoch": 2.6722222222222225,
      "grad_norm": 0.06657174229621887,
      "learning_rate": 1.3003712295064432e-05,
      "loss": 0.6875,
      "step": 481
    },
    {
      "epoch": 2.677777777777778,
      "grad_norm": 0.07291577756404877,
      "learning_rate": 1.290550568237737e-05,
      "loss": 0.6865234375,
      "step": 482
    },
    {
      "epoch": 2.6833333333333336,
      "grad_norm": 0.07293625175952911,
      "learning_rate": 1.280887773096112e-05,
      "loss": 0.65185546875,
      "step": 483
    },
    {
      "epoch": 2.688888888888889,
      "grad_norm": 0.06640584766864777,
      "learning_rate": 1.2713832064634126e-05,
      "loss": 0.66455078125,
      "step": 484
    },
    {
      "epoch": 2.6944444444444446,
      "grad_norm": 0.07449325174093246,
      "learning_rate": 1.2620372247874704e-05,
      "loss": 0.682373046875,
      "step": 485
    },
    {
      "epoch": 2.7,
      "grad_norm": 0.06977734714746475,
      "learning_rate": 1.2528501785687382e-05,
      "loss": 0.689697265625,
      "step": 486
    },
    {
      "epoch": 2.7055555555555557,
      "grad_norm": 0.08931327611207962,
      "learning_rate": 1.2438224123471442e-05,
      "loss": 0.7158203125,
      "step": 487
    },
    {
      "epoch": 2.7111111111111112,
      "grad_norm": 0.06955769658088684,
      "learning_rate": 1.2349542646891717e-05,
      "loss": 0.681396484375,
      "step": 488
    },
    {
      "epoch": 2.716666666666667,
      "grad_norm": 0.06726157665252686,
      "learning_rate": 1.2262460681751609e-05,
      "loss": 0.7607421875,
      "step": 489
    },
    {
      "epoch": 2.7222222222222223,
      "grad_norm": 0.07009522616863251,
      "learning_rate": 1.2176981493868372e-05,
      "loss": 0.6748046875,
      "step": 490
    },
    {
      "epoch": 2.727777777777778,
      "grad_norm": 0.07001668959856033,
      "learning_rate": 1.2093108288950624e-05,
      "loss": 0.666015625,
      "step": 491
    },
    {
      "epoch": 2.7333333333333334,
      "grad_norm": 0.06748469173908234,
      "learning_rate": 1.2010844212478138e-05,
      "loss": 0.663330078125,
      "step": 492
    },
    {
      "epoch": 2.738888888888889,
      "grad_norm": 0.07007578760385513,
      "learning_rate": 1.1930192349583866e-05,
      "loss": 0.677734375,
      "step": 493
    },
    {
      "epoch": 2.7444444444444445,
      "grad_norm": 0.06786662340164185,
      "learning_rate": 1.1851155724938236e-05,
      "loss": 0.693359375,
      "step": 494
    },
    {
      "epoch": 2.75,
      "grad_norm": 0.0705144852399826,
      "learning_rate": 1.177373730263574e-05,
      "loss": 0.67041015625,
      "step": 495
    },
    {
      "epoch": 2.7555555555555555,
      "grad_norm": 0.0744699165225029,
      "learning_rate": 1.1697939986083733e-05,
      "loss": 0.67529296875,
      "step": 496
    },
    {
      "epoch": 2.761111111111111,
      "grad_norm": 0.06859414279460907,
      "learning_rate": 1.1623766617893593e-05,
      "loss": 0.6708984375,
      "step": 497
    },
    {
      "epoch": 2.7666666666666666,
      "grad_norm": 0.0677483007311821,
      "learning_rate": 1.1551219979774077e-05,
      "loss": 0.683349609375,
      "step": 498
    },
    {
      "epoch": 2.772222222222222,
      "grad_norm": 0.06732510775327682,
      "learning_rate": 1.1480302792427021e-05,
      "loss": 0.64990234375,
      "step": 499
    },
    {
      "epoch": 2.7777777777777777,
      "grad_norm": 0.07116559892892838,
      "learning_rate": 1.1411017715445298e-05,
      "loss": 0.76123046875,
      "step": 500
    },
    {
      "epoch": 2.783333333333333,
      "grad_norm": 0.07286809384822845,
      "learning_rate": 1.134336734721308e-05,
      "loss": 0.6683349609375,
      "step": 501
    },
    {
      "epoch": 2.7888888888888888,
      "grad_norm": 0.06269260495901108,
      "learning_rate": 1.127735422480838e-05,
      "loss": 0.73193359375,
      "step": 502
    },
    {
      "epoch": 2.7944444444444443,
      "grad_norm": 0.06778956204652786,
      "learning_rate": 1.1212980823907931e-05,
      "loss": 0.67822265625,
      "step": 503
    },
    {
      "epoch": 2.8,
      "grad_norm": 0.08134780079126358,
      "learning_rate": 1.1150249558694307e-05,
      "loss": 0.740234375,
      "step": 504
    },
    {
      "epoch": 2.8055555555555554,
      "grad_norm": 0.06680338084697723,
      "learning_rate": 1.1089162781765398e-05,
      "loss": 0.67578125,
      "step": 505
    },
    {
      "epoch": 2.811111111111111,
      "grad_norm": 0.06948743015527725,
      "learning_rate": 1.1029722784046206e-05,
      "loss": 0.68408203125,
      "step": 506
    },
    {
      "epoch": 2.8166666666666664,
      "grad_norm": 0.07396679371595383,
      "learning_rate": 1.0971931794702888e-05,
      "loss": 0.695068359375,
      "step": 507
    },
    {
      "epoch": 2.822222222222222,
      "grad_norm": 0.07003337144851685,
      "learning_rate": 1.0915791981059174e-05,
      "loss": 0.7099609375,
      "step": 508
    },
    {
      "epoch": 2.8277777777777775,
      "grad_norm": 0.07161819189786911,
      "learning_rate": 1.0861305448515102e-05,
      "loss": 0.73095703125,
      "step": 509
    },
    {
      "epoch": 2.8333333333333335,
      "grad_norm": 0.06442680209875107,
      "learning_rate": 1.080847424046803e-05,
      "loss": 0.611907958984375,
      "step": 510
    },
    {
      "epoch": 2.838888888888889,
      "grad_norm": 0.07292718440294266,
      "learning_rate": 1.0757300338236025e-05,
      "loss": 0.69873046875,
      "step": 511
    },
    {
      "epoch": 2.8444444444444446,
      "grad_norm": 0.07167823612689972,
      "learning_rate": 1.0707785660983548e-05,
      "loss": 0.6923828125,
      "step": 512
    },
    {
      "epoch": 2.85,
      "grad_norm": 0.07784584164619446,
      "learning_rate": 1.0659932065649484e-05,
      "loss": 0.6845703125,
      "step": 513
    },
    {
      "epoch": 2.8555555555555556,
      "grad_norm": 0.059034563601017,
      "learning_rate": 1.0613741346877497e-05,
      "loss": 0.615478515625,
      "step": 514
    },
    {
      "epoch": 2.861111111111111,
      "grad_norm": 0.06504210084676743,
      "learning_rate": 1.056921523694873e-05,
      "loss": 0.75335693359375,
      "step": 515
    },
    {
      "epoch": 2.8666666666666667,
      "grad_norm": 0.09744574874639511,
      "learning_rate": 1.052635540571685e-05,
      "loss": 0.703125,
      "step": 516
    },
    {
      "epoch": 2.8722222222222222,
      "grad_norm": 0.06383401155471802,
      "learning_rate": 1.0485163460545396e-05,
      "loss": 0.640625,
      "step": 517
    },
    {
      "epoch": 2.8777777777777778,
      "grad_norm": 0.07074729353189468,
      "learning_rate": 1.044564094624752e-05,
      "loss": 0.7255859375,
      "step": 518
    },
    {
      "epoch": 2.8833333333333333,
      "grad_norm": 0.07076207548379898,
      "learning_rate": 1.040778934502805e-05,
      "loss": 0.7158203125,
      "step": 519
    },
    {
      "epoch": 2.888888888888889,
      "grad_norm": 0.07455959171056747,
      "learning_rate": 1.03716100764279e-05,
      "loss": 0.72998046875,
      "step": 520
    },
    {
      "epoch": 2.8944444444444444,
      "grad_norm": 0.07080957293510437,
      "learning_rate": 1.0337104497270828e-05,
      "loss": 0.650634765625,
      "step": 521
    },
    {
      "epoch": 2.9,
      "grad_norm": 0.0693393275141716,
      "learning_rate": 1.0304273901612566e-05,
      "loss": 0.693359375,
      "step": 522
    },
    {
      "epoch": 2.9055555555555554,
      "grad_norm": 0.07615337520837784,
      "learning_rate": 1.0273119520692275e-05,
      "loss": 0.66650390625,
      "step": 523
    },
    {
      "epoch": 2.911111111111111,
      "grad_norm": 0.0734100267291069,
      "learning_rate": 1.024364252288637e-05,
      "loss": 0.73779296875,
      "step": 524
    },
    {
      "epoch": 2.9166666666666665,
      "grad_norm": 0.06750860065221786,
      "learning_rate": 1.0215844013664718e-05,
      "loss": 0.651336669921875,
      "step": 525
    },
    {
      "epoch": 2.9222222222222225,
      "grad_norm": 0.06790855526924133,
      "learning_rate": 1.0189725035549163e-05,
      "loss": 0.6845703125,
      "step": 526
    },
    {
      "epoch": 2.927777777777778,
      "grad_norm": 0.06828059256076813,
      "learning_rate": 1.0165286568074438e-05,
      "loss": 0.67333984375,
      "step": 527
    },
    {
      "epoch": 2.9333333333333336,
      "grad_norm": 0.07611801475286484,
      "learning_rate": 1.0142529527751419e-05,
      "loss": 0.6837158203125,
      "step": 528
    },
    {
      "epoch": 2.938888888888889,
      "grad_norm": 0.05909605324268341,
      "learning_rate": 1.012145476803277e-05,
      "loss": 0.650146484375,
      "step": 529
    },
    {
      "epoch": 2.9444444444444446,
      "grad_norm": 0.06827764213085175,
      "learning_rate": 1.0102063079280928e-05,
      "loss": 0.69580078125,
      "step": 530
    },
    {
      "epoch": 2.95,
      "grad_norm": 0.06995943933725357,
      "learning_rate": 1.0084355188738454e-05,
      "loss": 0.656982421875,
      "step": 531
    },
    {
      "epoch": 2.9555555555555557,
      "grad_norm": 0.07155478000640869,
      "learning_rate": 1.0068331760500774e-05,
      "loss": 0.732421875,
      "step": 532
    },
    {
      "epoch": 2.9611111111111112,
      "grad_norm": 0.06999050825834274,
      "learning_rate": 1.0053993395491255e-05,
      "loss": 0.681640625,
      "step": 533
    },
    {
      "epoch": 2.966666666666667,
      "grad_norm": 0.06852614879608154,
      "learning_rate": 1.0041340631438694e-05,
      "loss": 0.71240234375,
      "step": 534
    },
    {
      "epoch": 2.9722222222222223,
      "grad_norm": 0.0718725174665451,
      "learning_rate": 1.0030373942857137e-05,
      "loss": 0.69921875,
      "step": 535
    },
    {
      "epoch": 2.977777777777778,
      "grad_norm": 0.06595950573682785,
      "learning_rate": 1.0021093741028064e-05,
      "loss": 0.67724609375,
      "step": 536
    },
    {
      "epoch": 2.9833333333333334,
      "grad_norm": 0.06136660650372505,
      "learning_rate": 1.0013500373985012e-05,
      "loss": 0.7841796875,
      "step": 537
    },
    {
      "epoch": 2.988888888888889,
      "grad_norm": 0.06931949406862259,
      "learning_rate": 1.0007594126500479e-05,
      "loss": 0.71630859375,
      "step": 538
    },
    {
      "epoch": 2.9944444444444445,
      "grad_norm": 0.06364605575799942,
      "learning_rate": 1.0003375220075262e-05,
      "loss": 0.65283203125,
      "step": 539
    },
    {
      "epoch": 3.0,
      "grad_norm": 0.07343864440917969,
      "learning_rate": 1.0000843812930149e-05,
      "loss": 0.611572265625,
      "step": 540
    },
    {
      "epoch": 3.0,
      "eval_loss": 0.830413818359375,
      "eval_runtime": 13.1045,
      "eval_samples_per_second": 0.916,
      "eval_steps_per_second": 0.153,
      "step": 540
    }
  ],
  "logging_steps": 1.0,
  "max_steps": 540,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 0,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 4.469112605928692e+19,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}