{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 14.917333333333334,
  "eval_steps": 500,
  "global_step": 1395,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 2.017279624938965,
      "learning_rate": 1.4285714285714285e-05,
      "loss": 1.1741,
      "step": 1
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 1.1414889097213745,
      "learning_rate": 7.142857142857142e-05,
      "loss": 1.0112,
      "step": 5
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 0.5752452611923218,
      "learning_rate": 0.00014285714285714284,
      "loss": 0.9233,
      "step": 10
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.4000088572502136,
      "learning_rate": 0.00021428571428571427,
      "loss": 0.8458,
      "step": 15
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 0.6516547799110413,
      "learning_rate": 0.0002857142857142857,
      "loss": 0.9087,
      "step": 20
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 0.8725354075431824,
      "learning_rate": 0.00035714285714285714,
      "loss": 0.9859,
      "step": 25
    },
    {
      "epoch": 0.32,
      "grad_norm": 0.7446133494377136,
      "learning_rate": 0.00042857142857142855,
      "loss": 0.9609,
      "step": 30
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 0.4507102370262146,
      "learning_rate": 0.0005,
      "loss": 1.2413,
      "step": 35
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 1.1437228918075562,
      "learning_rate": 0.0005714285714285714,
      "loss": 1.0784,
      "step": 40
    },
    {
      "epoch": 0.48,
      "grad_norm": 1.6952320337295532,
      "learning_rate": 0.0006428571428571429,
      "loss": 1.2622,
      "step": 45
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 12.92784309387207,
      "learning_rate": 0.0007142857142857143,
      "loss": 2.0382,
      "step": 50
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 4.855193138122559,
      "learning_rate": 0.0007857142857142857,
      "loss": 5.5645,
      "step": 55
    },
    {
      "epoch": 0.64,
      "grad_norm": 7.7960357666015625,
      "learning_rate": 0.0008571428571428571,
      "loss": 12.1792,
      "step": 60
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 9.617668151855469,
      "learning_rate": 0.0009285714285714287,
      "loss": 12.4584,
      "step": 65
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 1.5412602424621582,
      "learning_rate": 0.001,
      "loss": 7.3645,
      "step": 70
    },
    {
      "epoch": 0.8,
      "grad_norm": 1.459766149520874,
      "learning_rate": 0.0010714285714285715,
      "loss": 6.9284,
      "step": 75
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 1.6621876955032349,
      "learning_rate": 0.0011428571428571427,
      "loss": 6.7362,
      "step": 80
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 1.8117409944534302,
      "learning_rate": 0.0012142857142857142,
      "loss": 6.7313,
      "step": 85
    },
    {
      "epoch": 0.96,
      "grad_norm": 1.2151100635528564,
      "learning_rate": 0.0012857142857142859,
      "loss": 6.6705,
      "step": 90
    },
    {
      "epoch": 0.992,
      "eval_loss": 6.7252326011657715,
      "eval_runtime": 12.4963,
      "eval_samples_per_second": 90.027,
      "eval_steps_per_second": 15.045,
      "step": 93
    },
    {
      "epoch": 1.016,
      "grad_norm": 0.7800785303115845,
      "learning_rate": 0.0013571428571428573,
      "loss": 7.3155,
      "step": 95
    },
    {
      "epoch": 1.0693333333333332,
      "grad_norm": 0.6527447700500488,
      "learning_rate": 0.0014285714285714286,
      "loss": 6.5969,
      "step": 100
    },
    {
      "epoch": 1.1226666666666667,
      "grad_norm": 0.8018523454666138,
      "learning_rate": 0.0015,
      "loss": 6.4691,
      "step": 105
    },
    {
      "epoch": 1.176,
      "grad_norm": 0.5544389486312866,
      "learning_rate": 0.0015714285714285715,
      "loss": 6.6514,
      "step": 110
    },
    {
      "epoch": 1.2293333333333334,
      "grad_norm": 0.6455843448638916,
      "learning_rate": 0.0016428571428571427,
      "loss": 6.4806,
      "step": 115
    },
    {
      "epoch": 1.2826666666666666,
      "grad_norm": 0.6757238507270813,
      "learning_rate": 0.0017142857142857142,
      "loss": 6.6304,
      "step": 120
    },
    {
      "epoch": 1.336,
      "grad_norm": 0.5105107426643372,
      "learning_rate": 0.0017857142857142859,
      "loss": 6.4649,
      "step": 125
    },
    {
      "epoch": 1.3893333333333333,
      "grad_norm": 0.7170645594596863,
      "learning_rate": 0.0018571428571428573,
      "loss": 6.6033,
      "step": 130
    },
    {
      "epoch": 1.4426666666666668,
      "grad_norm": 0.7564003467559814,
      "learning_rate": 0.0019285714285714286,
      "loss": 6.6749,
      "step": 135
    },
    {
      "epoch": 1.496,
      "grad_norm": 0.4599800407886505,
      "learning_rate": 0.002,
      "loss": 6.3382,
      "step": 140
    },
    {
      "epoch": 1.5493333333333332,
      "grad_norm": 0.837786853313446,
      "learning_rate": 0.0019999216720722225,
      "loss": 6.8014,
      "step": 145
    },
    {
      "epoch": 1.6026666666666667,
      "grad_norm": 1.4660875797271729,
      "learning_rate": 0.001999686700559419,
      "loss": 6.5512,
      "step": 150
    },
    {
      "epoch": 1.6560000000000001,
      "grad_norm": 0.9593129754066467,
      "learning_rate": 0.001999295122271253,
      "loss": 6.5249,
      "step": 155
    },
    {
      "epoch": 1.7093333333333334,
      "grad_norm": 0.712748110294342,
      "learning_rate": 0.0019987469985507556,
      "loss": 6.5814,
      "step": 160
    },
    {
      "epoch": 1.7626666666666666,
      "grad_norm": 0.5598364472389221,
      "learning_rate": 0.0019980424152647174,
      "loss": 6.5057,
      "step": 165
    },
    {
      "epoch": 1.8159999999999998,
      "grad_norm": 1.0086586475372314,
      "learning_rate": 0.001997181482790236,
      "loss": 6.3741,
      "step": 170
    },
    {
      "epoch": 1.8693333333333333,
      "grad_norm": 1.0380948781967163,
      "learning_rate": 0.0019961643359974247,
      "loss": 6.5918,
      "step": 175
    },
    {
      "epoch": 1.9226666666666667,
      "grad_norm": 0.7874330282211304,
      "learning_rate": 0.0019949911342282845,
      "loss": 6.3813,
      "step": 180
    },
    {
      "epoch": 1.976,
      "grad_norm": 0.5932402610778809,
      "learning_rate": 0.0019936620612717427,
      "loss": 6.35,
      "step": 185
    },
    {
      "epoch": 1.9973333333333332,
      "eval_loss": 6.313483238220215,
      "eval_runtime": 12.8744,
      "eval_samples_per_second": 87.383,
      "eval_steps_per_second": 14.603,
      "step": 187
    },
    {
      "epoch": 2.032,
      "grad_norm": 0.777173638343811,
      "learning_rate": 0.00199217732533486,
      "loss": 6.6836,
      "step": 190
    },
    {
      "epoch": 2.0853333333333333,
      "grad_norm": 0.9935985207557678,
      "learning_rate": 0.0019905371590102153,
      "loss": 6.1532,
      "step": 195
    },
    {
      "epoch": 2.1386666666666665,
      "grad_norm": 0.5834164023399353,
      "learning_rate": 0.0019887418192394667,
      "loss": 6.0439,
      "step": 200
    },
    {
      "epoch": 2.192,
      "grad_norm": 0.7577049136161804,
      "learning_rate": 0.001986791587273103,
      "loss": 6.0436,
      "step": 205
    },
    {
      "epoch": 2.2453333333333334,
      "grad_norm": 0.9114102125167847,
      "learning_rate": 0.0019846867686263803,
      "loss": 6.0193,
      "step": 210
    },
    {
      "epoch": 2.2986666666666666,
      "grad_norm": 0.9455011487007141,
      "learning_rate": 0.001982427693031465,
      "loss": 5.9565,
      "step": 215
    },
    {
      "epoch": 2.352,
      "grad_norm": 1.504512071609497,
      "learning_rate": 0.001980014714385777,
      "loss": 6.2788,
      "step": 220
    },
    {
      "epoch": 2.405333333333333,
      "grad_norm": 1.2779139280319214,
      "learning_rate": 0.001977448210696551,
      "loss": 6.0278,
      "step": 225
    },
    {
      "epoch": 2.458666666666667,
      "grad_norm": 0.6228100061416626,
      "learning_rate": 0.001974728584021618,
      "loss": 5.846,
      "step": 230
    },
    {
      "epoch": 2.512,
      "grad_norm": 0.5647552609443665,
      "learning_rate": 0.0019718562604064214,
      "loss": 5.7982,
      "step": 235
    },
    {
      "epoch": 2.5653333333333332,
      "grad_norm": 0.6691617965698242,
      "learning_rate": 0.0019688316898172744,
      "loss": 5.6841,
      "step": 240
    },
    {
      "epoch": 2.618666666666667,
      "grad_norm": 0.8721797466278076,
      "learning_rate": 0.0019656553460708705,
      "loss": 5.6921,
      "step": 245
    },
    {
      "epoch": 2.672,
      "grad_norm": 0.49442487955093384,
      "learning_rate": 0.0019623277267600573,
      "loss": 5.6087,
      "step": 250
    },
    {
      "epoch": 2.7253333333333334,
      "grad_norm": 0.5820254683494568,
      "learning_rate": 0.001958849353175884,
      "loss": 5.4145,
      "step": 255
    },
    {
      "epoch": 2.7786666666666666,
      "grad_norm": 0.9541387557983398,
      "learning_rate": 0.001955220770225941,
      "loss": 5.4061,
      "step": 260
    },
    {
      "epoch": 2.832,
      "grad_norm": 0.8580039739608765,
      "learning_rate": 0.0019514425463489948,
      "loss": 5.3056,
      "step": 265
    },
    {
      "epoch": 2.8853333333333335,
      "grad_norm": 0.9031959772109985,
      "learning_rate": 0.001947515273425939,
      "loss": 5.3682,
      "step": 270
    },
    {
      "epoch": 2.9386666666666668,
      "grad_norm": 0.739450216293335,
      "learning_rate": 0.0019434395666870735,
      "loss": 5.2505,
      "step": 275
    },
    {
      "epoch": 2.992,
      "grad_norm": 0.8577784299850464,
      "learning_rate": 0.0019392160646157241,
      "loss": 5.0786,
      "step": 280
    },
    {
      "epoch": 2.992,
      "eval_loss": 5.260681629180908,
      "eval_runtime": 12.495,
      "eval_samples_per_second": 90.036,
      "eval_steps_per_second": 15.046,
      "step": 280
    },
    {
      "epoch": 3.048,
      "grad_norm": 0.7697703242301941,
      "learning_rate": 0.001934845428848222,
      "loss": 5.5708,
      "step": 285
    },
    {
      "epoch": 3.1013333333333333,
      "grad_norm": 0.8419788479804993,
      "learning_rate": 0.0019303283440702521,
      "loss": 4.9402,
      "step": 290
    },
    {
      "epoch": 3.1546666666666665,
      "grad_norm": 1.6958568096160889,
      "learning_rate": 0.0019256655179095952,
      "loss": 4.9352,
      "step": 295
    },
    {
      "epoch": 3.208,
      "grad_norm": 0.706997275352478,
      "learning_rate": 0.0019208576808252725,
      "loss": 4.9083,
      "step": 300
    },
    {
      "epoch": 3.2613333333333334,
      "grad_norm": 0.7924236059188843,
      "learning_rate": 0.0019159055859931163,
      "loss": 4.7812,
      "step": 305
    },
    {
      "epoch": 3.3146666666666667,
      "grad_norm": 0.6681360006332397,
      "learning_rate": 0.0019108100091877788,
      "loss": 4.7953,
      "step": 310
    },
    {
      "epoch": 3.368,
      "grad_norm": 0.9580642580986023,
      "learning_rate": 0.0019055717486612038,
      "loss": 4.8082,
      "step": 315
    },
    {
      "epoch": 3.421333333333333,
      "grad_norm": 1.4874638319015503,
      "learning_rate": 0.0019001916250175764,
      "loss": 4.7807,
      "step": 320
    },
    {
      "epoch": 3.474666666666667,
      "grad_norm": 2.9284310340881348,
      "learning_rate": 0.0018946704810847688,
      "loss": 4.7192,
      "step": 325
    },
    {
      "epoch": 3.528,
      "grad_norm": 0.8562856912612915,
      "learning_rate": 0.0018890091817823072,
      "loss": 4.7759,
      "step": 330
    },
    {
      "epoch": 3.5813333333333333,
      "grad_norm": 0.8265694975852966,
      "learning_rate": 0.0018832086139858775,
      "loss": 4.7143,
      "step": 335
    },
    {
      "epoch": 3.634666666666667,
      "grad_norm": 1.2272521257400513,
      "learning_rate": 0.0018772696863883906,
      "loss": 4.775,
      "step": 340
    },
    {
      "epoch": 3.6879999999999997,
      "grad_norm": 1.2595627307891846,
      "learning_rate": 0.0018711933293576303,
      "loss": 4.5926,
      "step": 345
    },
    {
      "epoch": 3.7413333333333334,
      "grad_norm": 1.0950653553009033,
      "learning_rate": 0.0018649804947905057,
      "loss": 4.813,
      "step": 350
    },
    {
      "epoch": 3.7946666666666666,
      "grad_norm": 1.4552189111709595,
      "learning_rate": 0.0018586321559639317,
      "loss": 4.717,
      "step": 355
    },
    {
      "epoch": 3.848,
      "grad_norm": 1.0459569692611694,
      "learning_rate": 0.001852149307382358,
      "loss": 4.6884,
      "step": 360
    },
    {
      "epoch": 3.9013333333333335,
      "grad_norm": 1.0256690979003906,
      "learning_rate": 0.0018455329646219765,
      "loss": 4.5672,
      "step": 365
    },
    {
      "epoch": 3.9546666666666668,
      "grad_norm": 1.2847387790679932,
      "learning_rate": 0.0018387841641716223,
      "loss": 4.4933,
      "step": 370
    },
    {
      "epoch": 3.997333333333333,
      "eval_loss": 4.830221176147461,
      "eval_runtime": 12.4939,
      "eval_samples_per_second": 90.044,
      "eval_steps_per_second": 15.047,
      "step": 374
    },
    {
      "epoch": 4.010666666666666,
      "grad_norm": 1.6286957263946533,
      "learning_rate": 0.001831903963270404,
      "loss": 5.0358,
      "step": 375
    },
    {
      "epoch": 4.064,
      "grad_norm": 1.2841631174087524,
      "learning_rate": 0.00182489343974208,
      "loss": 4.6172,
      "step": 380
    },
    {
      "epoch": 4.117333333333334,
      "grad_norm": 1.1748610734939575,
      "learning_rate": 0.001817753691826212,
      "loss": 4.6433,
      "step": 385
    },
    {
      "epoch": 4.1706666666666665,
      "grad_norm": 1.6473082304000854,
      "learning_rate": 0.0018104858380061178,
      "loss": 4.5933,
      "step": 390
    },
    {
      "epoch": 4.224,
      "grad_norm": 1.9459190368652344,
      "learning_rate": 0.0018030910168336557,
      "loss": 4.631,
      "step": 395
    },
    {
      "epoch": 4.277333333333333,
      "grad_norm": 1.5279489755630493,
      "learning_rate": 0.0017955703867508633,
      "loss": 4.5583,
      "step": 400
    },
    {
      "epoch": 4.330666666666667,
      "grad_norm": 1.3347927331924438,
      "learning_rate": 0.0017879251259084804,
      "loss": 4.7295,
      "step": 405
    },
    {
      "epoch": 4.384,
      "grad_norm": 2.52054500579834,
      "learning_rate": 0.0017801564319813853,
      "loss": 4.4718,
      "step": 410
    },
    {
      "epoch": 4.437333333333333,
      "grad_norm": 1.1874818801879883,
      "learning_rate": 0.0017722655219809715,
      "loss": 4.5063,
      "step": 415
    },
    {
      "epoch": 4.490666666666667,
      "grad_norm": 1.491890788078308,
      "learning_rate": 0.0017642536320644964,
      "loss": 4.3769,
      "step": 420
    },
    {
      "epoch": 4.5440000000000005,
      "grad_norm": 1.1082266569137573,
      "learning_rate": 0.0017561220173414297,
      "loss": 4.3971,
      "step": 425
    },
    {
      "epoch": 4.597333333333333,
      "grad_norm": 0.9449096918106079,
      "learning_rate": 0.0017478719516768322,
      "loss": 4.443,
      "step": 430
    },
    {
      "epoch": 4.650666666666667,
      "grad_norm": 1.4695461988449097,
      "learning_rate": 0.0017395047274917994,
      "loss": 4.3679,
      "step": 435
    },
    {
      "epoch": 4.704,
      "grad_norm": 2.962554693222046,
      "learning_rate": 0.001731021655560995,
      "loss": 4.2775,
      "step": 440
    },
    {
      "epoch": 4.757333333333333,
      "grad_norm": 0.9070279598236084,
      "learning_rate": 0.0017224240648073094,
      "loss": 4.5664,
      "step": 445
    },
    {
      "epoch": 4.810666666666666,
      "grad_norm": 1.7772026062011719,
      "learning_rate": 0.0017137133020936782,
      "loss": 4.4455,
      "step": 450
    },
    {
      "epoch": 4.864,
      "grad_norm": 2.937232255935669,
      "learning_rate": 0.0017048907320120865,
      "loss": 4.4177,
      "step": 455
    },
    {
      "epoch": 4.917333333333334,
      "grad_norm": 6.296092510223389,
      "learning_rate": 0.0016959577366697988,
      "loss": 4.5929,
      "step": 460
    },
    {
      "epoch": 4.970666666666666,
      "grad_norm": 22.26595687866211,
      "learning_rate": 0.0016869157154728437,
      "loss": 4.5319,
      "step": 465
    },
    {
      "epoch": 4.992,
      "eval_loss": 4.809427738189697,
      "eval_runtime": 12.4879,
      "eval_samples_per_second": 90.087,
      "eval_steps_per_second": 15.055,
      "step": 467
    },
    {
      "epoch": 5.026666666666666,
      "grad_norm": 6.585814476013184,
      "learning_rate": 0.001677766084906787,
      "loss": 5.1022,
      "step": 470
    },
    {
      "epoch": 5.08,
      "grad_norm": 5.868590831756592,
      "learning_rate": 0.001668510278314833,
      "loss": 4.5102,
      "step": 475
    },
    {
      "epoch": 5.133333333333334,
      "grad_norm": 4.387262344360352,
      "learning_rate": 0.0016591497456732824,
      "loss": 4.6548,
      "step": 480
    },
    {
      "epoch": 5.1866666666666665,
      "grad_norm": 9.387950897216797,
      "learning_rate": 0.0016496859533643852,
      "loss": 4.6778,
      "step": 485
    },
    {
      "epoch": 5.24,
      "grad_norm": 51.944549560546875,
      "learning_rate": 0.0016401203839466211,
      "loss": 5.041,
      "step": 490
    },
    {
      "epoch": 5.293333333333333,
      "grad_norm": 14.20453929901123,
      "learning_rate": 0.0016304545359224522,
      "loss": 5.2576,
      "step": 495
    },
    {
      "epoch": 5.346666666666667,
      "grad_norm": 3.1657214164733887,
      "learning_rate": 0.00162068992350357,
      "loss": 5.1287,
      "step": 500
    },
    {
      "epoch": 5.4,
      "grad_norm": 4.8425726890563965,
      "learning_rate": 0.001610828076373687,
      "loss": 4.9648,
      "step": 505
    },
    {
      "epoch": 5.453333333333333,
      "grad_norm": 1.9821243286132812,
      "learning_rate": 0.0016008705394489032,
      "loss": 4.9847,
      "step": 510
    },
    {
      "epoch": 5.506666666666667,
      "grad_norm": 6.5806379318237305,
      "learning_rate": 0.0015908188726356843,
      "loss": 4.9543,
      "step": 515
    },
    {
      "epoch": 5.5600000000000005,
      "grad_norm": 18.127779006958008,
      "learning_rate": 0.0015806746505864946,
      "loss": 4.9112,
      "step": 520
    },
    {
      "epoch": 5.613333333333333,
      "grad_norm": 12.010746955871582,
      "learning_rate": 0.0015704394624531184,
      "loss": 4.9836,
      "step": 525
    },
    {
      "epoch": 5.666666666666667,
      "grad_norm": 46.7609977722168,
      "learning_rate": 0.0015601149116377094,
      "loss": 4.8966,
      "step": 530
    },
    {
      "epoch": 5.72,
      "grad_norm": 117.95108795166016,
      "learning_rate": 0.0015497026155416088,
      "loss": 4.8016,
      "step": 535
    },
    {
      "epoch": 5.773333333333333,
      "grad_norm": 41.65292739868164,
      "learning_rate": 0.0015392042053119699,
      "loss": 5.1113,
      "step": 540
    },
    {
      "epoch": 5.826666666666666,
      "grad_norm": 26.858564376831055,
      "learning_rate": 0.0015286213255862294,
      "loss": 4.9389,
      "step": 545
    },
    {
      "epoch": 5.88,
      "grad_norm": 8.647442817687988,
      "learning_rate": 0.0015179556342344643,
      "loss": 4.9543,
      "step": 550
    },
    {
      "epoch": 5.933333333333334,
      "grad_norm": 3.5178844928741455,
      "learning_rate": 0.0015072088020996791,
      "loss": 5.1129,
      "step": 555
    },
    {
      "epoch": 5.986666666666666,
      "grad_norm": 2.328364849090576,
      "learning_rate": 0.001496382512736056,
      "loss": 4.8257,
      "step": 560
    },
    {
      "epoch": 5.997333333333334,
      "eval_loss": 5.105650901794434,
      "eval_runtime": 12.5011,
      "eval_samples_per_second": 89.992,
      "eval_steps_per_second": 15.039,
      "step": 561
    },
    {
      "epoch": 6.042666666666666,
      "grad_norm": 2.6246631145477295,
      "learning_rate": 0.0014854784621452176,
      "loss": 5.4436,
      "step": 565
    },
    {
      "epoch": 6.096,
      "grad_norm": 1.641006588935852,
      "learning_rate": 0.0014744983585105386,
      "loss": 4.721,
      "step": 570
    },
    {
      "epoch": 6.149333333333334,
      "grad_norm": 2.2615890502929688,
      "learning_rate": 0.001463443921929548,
      "loss": 4.6645,
      "step": 575
    },
    {
      "epoch": 6.2026666666666666,
      "grad_norm": 2.4459476470947266,
      "learning_rate": 0.0014523168841444657,
      "loss": 4.6295,
      "step": 580
    },
    {
      "epoch": 6.256,
      "grad_norm": 27.94793128967285,
      "learning_rate": 0.001441118988270916,
      "loss": 4.6528,
      "step": 585
    },
    {
      "epoch": 6.309333333333333,
      "grad_norm": 5.710525035858154,
      "learning_rate": 0.0014298519885248572,
      "loss": 4.549,
      "step": 590
    },
    {
      "epoch": 6.362666666666667,
      "grad_norm": 4.791785717010498,
      "learning_rate": 0.0014185176499477742,
      "loss": 4.5602,
      "step": 595
    },
    {
      "epoch": 6.416,
      "grad_norm": 2.0223538875579834,
      "learning_rate": 0.0014071177481301737,
      "loss": 4.5802,
      "step": 600
    },
    {
      "epoch": 6.469333333333333,
      "grad_norm": 1.6422585248947144,
      "learning_rate": 0.0013956540689334285,
      "loss": 4.4584,
      "step": 605
    },
    {
      "epoch": 6.522666666666667,
      "grad_norm": 8.107535362243652,
      "learning_rate": 0.001384128408210011,
      "loss": 4.5343,
      "step": 610
    },
    {
      "epoch": 6.576,
      "grad_norm": 2.697594404220581,
      "learning_rate": 0.0013725425715221625,
      "loss": 4.6172,
      "step": 615
    },
    {
      "epoch": 6.629333333333333,
      "grad_norm": 1.561109185218811,
      "learning_rate": 0.0013608983738590413,
      "loss": 4.4385,
      "step": 620
    },
    {
      "epoch": 6.682666666666667,
      "grad_norm": 2.0785770416259766,
      "learning_rate": 0.0013491976393523951,
      "loss": 4.4098,
      "step": 625
    },
    {
      "epoch": 6.736,
      "grad_norm": 5.022526264190674,
      "learning_rate": 0.0013374422009907983,
      "loss": 4.3741,
      "step": 630
    },
    {
      "epoch": 6.789333333333333,
      "grad_norm": 1.8558008670806885,
      "learning_rate": 0.0013256339003325053,
      "loss": 4.325,
      "step": 635
    },
    {
      "epoch": 6.842666666666666,
      "grad_norm": 1.2337331771850586,
      "learning_rate": 0.0013137745872169578,
      "loss": 4.3192,
      "step": 640
    },
    {
      "epoch": 6.896,
      "grad_norm": 1.0328541994094849,
      "learning_rate": 0.0013018661194749985,
      "loss": 4.3117,
      "step": 645
    },
    {
      "epoch": 6.949333333333334,
      "grad_norm": 6.057741641998291,
      "learning_rate": 0.00128991036263783,
      "loss": 4.2177,
      "step": 650
    },
    {
      "epoch": 6.992,
      "eval_loss": 4.5589494705200195,
      "eval_runtime": 12.5045,
      "eval_samples_per_second": 89.968,
      "eval_steps_per_second": 15.035,
      "step": 654
    },
    {
      "epoch": 7.005333333333334,
      "grad_norm": 10.887760162353516,
      "learning_rate": 0.001277909189644768,
      "loss": 4.7952,
      "step": 655
    },
    {
      "epoch": 7.058666666666666,
      "grad_norm": 3.197256565093994,
      "learning_rate": 0.001265864480549836,
      "loss": 4.166,
      "step": 660
    },
    {
      "epoch": 7.112,
      "grad_norm": 3.441707134246826,
      "learning_rate": 0.001253778122227242,
      "loss": 4.2237,
      "step": 665
    },
    {
      "epoch": 7.165333333333333,
      "grad_norm": 1.8096449375152588,
      "learning_rate": 0.0012416520080757892,
      "loss": 4.0627,
      "step": 670
    },
    {
      "epoch": 7.218666666666667,
      "grad_norm": 1.5362603664398193,
      "learning_rate": 0.0012294880377222647,
      "loss": 4.1205,
      "step": 675
    },
    {
      "epoch": 7.272,
      "grad_norm": 2.7223100662231445,
      "learning_rate": 0.0012172881167238515,
      "loss": 4.1721,
      "step": 680
    },
    {
      "epoch": 7.325333333333333,
      "grad_norm": 1.2539554834365845,
      "learning_rate": 0.0012050541562696109,
      "loss": 4.159,
      "step": 685
    },
    {
      "epoch": 7.378666666666667,
      "grad_norm": 3.9169719219207764,
      "learning_rate": 0.001192788072881085,
      "loss": 4.207,
      "step": 690
    },
    {
      "epoch": 7.432,
      "grad_norm": 2.505176544189453,
      "learning_rate": 0.0011804917881120607,
      "loss": 3.9257,
      "step": 695
    },
    {
      "epoch": 7.485333333333333,
      "grad_norm": 1.2009811401367188,
      "learning_rate": 0.0011681672282475495,
      "loss": 4.0998,
      "step": 700
    },
    {
      "epoch": 7.538666666666667,
      "grad_norm": 1.2483587265014648,
      "learning_rate": 0.0011558163240020208,
      "loss": 4.0612,
      "step": 705
    },
    {
      "epoch": 7.592,
      "grad_norm": 1.8018878698349,
      "learning_rate": 0.001143441010216946,
      "loss": 4.1208,
      "step": 710
    },
    {
      "epoch": 7.645333333333333,
      "grad_norm": 1.5484060049057007,
      "learning_rate": 0.0011310432255576942,
      "loss": 4.0344,
      "step": 715
    },
    {
      "epoch": 7.698666666666667,
      "grad_norm": 2.459238290786743,
      "learning_rate": 0.0011186249122098282,
      "loss": 4.0085,
      "step": 720
    },
    {
      "epoch": 7.752,
      "grad_norm": 2.3227972984313965,
      "learning_rate": 0.0011061880155748497,
      "loss": 4.0162,
      "step": 725
    },
    {
      "epoch": 7.8053333333333335,
      "grad_norm": 4.121925354003906,
      "learning_rate": 0.0010937344839654416,
      "loss": 4.1103,
      "step": 730
    },
    {
      "epoch": 7.858666666666666,
      "grad_norm": 2.338094711303711,
      "learning_rate": 0.0010812662683002527,
      "loss": 4.1566,
      "step": 735
    },
    {
      "epoch": 7.912,
      "grad_norm": 1.8548033237457275,
      "learning_rate": 0.001068785321798276,
      "loss": 4.0535,
      "step": 740
    },
    {
      "epoch": 7.965333333333334,
      "grad_norm": 1.4415037631988525,
      "learning_rate": 0.0010562935996728628,
      "loss": 4.0313,
      "step": 745
    },
    {
      "epoch": 7.997333333333334,
      "eval_loss": 4.3429412841796875,
      "eval_runtime": 12.4844,
      "eval_samples_per_second": 90.112,
      "eval_steps_per_second": 15.059,
      "step": 748
    },
    {
      "epoch": 8.021333333333333,
      "grad_norm": 1.2015221118927002,
      "learning_rate": 0.001043793058825431,
      "loss": 4.3842,
      "step": 750
    },
    {
      "epoch": 8.074666666666667,
      "grad_norm": 2.2034997940063477,
      "learning_rate": 0.0010312856575389016,
      "loss": 3.8739,
      "step": 755
    },
    {
      "epoch": 8.128,
      "grad_norm": 1.0531103610992432,
      "learning_rate": 0.0010187733551709234,
      "loss": 3.9207,
      "step": 760
    },
    {
      "epoch": 8.181333333333333,
      "grad_norm": 1.6261956691741943,
      "learning_rate": 0.0010062581118469298,
      "loss": 3.9147,
      "step": 765
    },
    {
      "epoch": 8.234666666666667,
      "grad_norm": 4.931313991546631,
      "learning_rate": 0.0009937418881530702,
      "loss": 3.9194,
      "step": 770
    },
    {
      "epoch": 8.288,
      "grad_norm": 1.1570011377334595,
      "learning_rate": 0.0009812266448290766,
      "loss": 3.8607,
      "step": 775
    },
    {
      "epoch": 8.341333333333333,
      "grad_norm": 2.3009421825408936,
      "learning_rate": 0.0009687143424610986,
      "loss": 3.8516,
      "step": 780
    },
    {
      "epoch": 8.394666666666666,
      "grad_norm": 1.5181440114974976,
      "learning_rate": 0.0009562069411745691,
      "loss": 3.8939,
      "step": 785
    },
    {
      "epoch": 8.448,
      "grad_norm": 1.7607407569885254,
      "learning_rate": 0.0009437064003271373,
      "loss": 3.9431,
      "step": 790
    },
    {
      "epoch": 8.501333333333333,
      "grad_norm": 1.155339241027832,
      "learning_rate": 0.0009312146782017244,
      "loss": 3.8956,
      "step": 795
    },
    {
      "epoch": 8.554666666666666,
      "grad_norm": 0.9878433346748352,
      "learning_rate": 0.0009187337316997475,
      "loss": 3.8884,
      "step": 800
    },
    {
      "epoch": 8.608,
      "grad_norm": 0.9723697304725647,
      "learning_rate": 0.0009062655160345587,
      "loss": 3.714,
      "step": 805
    },
    {
      "epoch": 8.661333333333333,
      "grad_norm": 6.659087181091309,
      "learning_rate": 0.0008938119844251507,
      "loss": 3.8302,
      "step": 810
    },
    {
      "epoch": 8.714666666666666,
      "grad_norm": 1.3487255573272705,
      "learning_rate": 0.0008813750877901723,
      "loss": 3.9658,
      "step": 815
    },
    {
      "epoch": 8.768,
      "grad_norm": 1.3927958011627197,
      "learning_rate": 0.0008689567744423059,
      "loss": 3.8516,
      "step": 820
    },
    {
      "epoch": 8.821333333333333,
      "grad_norm": 0.8693830370903015,
      "learning_rate": 0.0008565589897830542,
      "loss": 3.8388,
      "step": 825
    },
    {
      "epoch": 8.874666666666666,
      "grad_norm": 1.2397363185882568,
      "learning_rate": 0.0008441836759979795,
      "loss": 3.7521,
      "step": 830
    },
    {
      "epoch": 8.928,
      "grad_norm": 1.1434884071350098,
      "learning_rate": 0.0008318327717524509,
      "loss": 3.7411,
      "step": 835
    },
    {
      "epoch": 8.981333333333334,
      "grad_norm": 0.8602774143218994,
      "learning_rate": 0.0008195082118879396,
      "loss": 3.7408,
      "step": 840
    },
    {
      "epoch": 8.992,
      "eval_loss": 4.147874355316162,
      "eval_runtime": 12.5024,
      "eval_samples_per_second": 89.983,
      "eval_steps_per_second": 15.037,
      "step": 841
    },
    {
      "epoch": 9.037333333333333,
      "grad_norm": 1.2394230365753174,
      "learning_rate": 0.0008072119271189156,
      "loss": 4.0861,
      "step": 845
    },
    {
      "epoch": 9.090666666666667,
      "grad_norm": 0.9018468260765076,
      "learning_rate": 0.0007949458437303892,
      "loss": 3.6608,
      "step": 850
    },
    {
      "epoch": 9.144,
      "grad_norm": 2.0389747619628906,
      "learning_rate": 0.0007827118832761486,
      "loss": 3.6369,
      "step": 855
    },
    {
      "epoch": 9.197333333333333,
      "grad_norm": 1.0341744422912598,
      "learning_rate": 0.0007705119622777351,
      "loss": 3.6354,
      "step": 860
    },
    {
      "epoch": 9.250666666666667,
      "grad_norm": 0.8617631196975708,
      "learning_rate": 0.0007583479919242108,
      "loss": 3.6106,
      "step": 865
    },
    {
      "epoch": 9.304,
      "grad_norm": 0.719153642654419,
      "learning_rate": 0.000746221877772758,
      "loss": 3.7636,
      "step": 870
    },
    {
      "epoch": 9.357333333333333,
      "grad_norm": 3.26902437210083,
      "learning_rate": 0.0007341355194501638,
      "loss": 3.6817,
      "step": 875
    },
    {
      "epoch": 9.410666666666666,
      "grad_norm": 0.9911563396453857,
      "learning_rate": 0.0007220908103552318,
      "loss": 3.7094,
      "step": 880
    },
    {
      "epoch": 9.464,
      "grad_norm": 0.8281224370002747,
      "learning_rate": 0.0007100896373621699,
      "loss": 3.6431,
      "step": 885
    },
    {
      "epoch": 9.517333333333333,
      "grad_norm": 0.8220219612121582,
      "learning_rate": 0.0006981338805250015,
      "loss": 3.6953,
      "step": 890
    },
    {
      "epoch": 9.570666666666666,
      "grad_norm": 0.8096312284469604,
      "learning_rate": 0.0006862254127830425,
      "loss": 3.5947,
      "step": 895
    },
    {
      "epoch": 9.624,
      "grad_norm": 0.998589813709259,
      "learning_rate": 0.000674366099667495,
      "loss": 3.6492,
      "step": 900
    },
    {
      "epoch": 9.677333333333333,
      "grad_norm": 1.0131206512451172,
      "learning_rate": 0.0006625577990092018,
      "loss": 3.638,
      "step": 905
    },
    {
      "epoch": 9.730666666666666,
      "grad_norm": 0.6822465062141418,
      "learning_rate": 0.0006508023606476051,
      "loss": 3.626,
      "step": 910
    },
    {
      "epoch": 9.784,
      "grad_norm": 0.7446674704551697,
      "learning_rate": 0.0006391016261409591,
      "loss": 3.6361,
      "step": 915
    },
    {
      "epoch": 9.837333333333333,
      "grad_norm": 1.5426651239395142,
      "learning_rate": 0.0006274574284778378,
      "loss": 3.6579,
      "step": 920
    },
    {
      "epoch": 9.890666666666666,
      "grad_norm": 1.0557122230529785,
      "learning_rate": 0.0006158715917899892,
      "loss": 3.5978,
      "step": 925
    },
    {
      "epoch": 9.943999999999999,
      "grad_norm": 1.271697759628296,
      "learning_rate": 0.0006043459310665716,
      "loss": 3.5695,
      "step": 930
    },
    {
      "epoch": 9.997333333333334,
      "grad_norm": 1.3581335544586182,
      "learning_rate": 0.0005928822518698263,
      "loss": 4.0306,
      "step": 935
    },
    {
      "epoch": 9.997333333333334,
      "eval_loss": 4.033357620239258,
      "eval_runtime": 12.5191,
      "eval_samples_per_second": 89.863,
      "eval_steps_per_second": 15.017,
      "step": 935
    },
    {
      "epoch": 10.053333333333333,
      "grad_norm": 1.4836759567260742,
      "learning_rate": 0.000581482350052226,
      "loss": 3.5213,
      "step": 940
    },
    {
      "epoch": 10.106666666666667,
      "grad_norm": 0.8610721230506897,
      "learning_rate": 0.0005701480114751431,
      "loss": 3.4489,
      "step": 945
    },
    {
      "epoch": 10.16,
      "grad_norm": 1.1154193878173828,
      "learning_rate": 0.0005588810117290842,
      "loss": 3.4965,
      "step": 950
    },
    {
      "epoch": 10.213333333333333,
      "grad_norm": 0.9979135990142822,
      "learning_rate": 0.0005476831158555345,
      "loss": 3.5145,
      "step": 955
    },
    {
      "epoch": 10.266666666666667,
      "grad_norm": 18.88866424560547,
      "learning_rate": 0.0005365560780704523,
      "loss": 3.4903,
      "step": 960
    },
    {
      "epoch": 10.32,
      "grad_norm": 1.4323471784591675,
      "learning_rate": 0.0005255016414894615,
      "loss": 3.5408,
      "step": 965
    },
    {
      "epoch": 10.373333333333333,
      "grad_norm": 3.502009868621826,
      "learning_rate": 0.0005145215378547825,
      "loss": 3.5039,
      "step": 970
    },
    {
      "epoch": 10.426666666666666,
      "grad_norm": 4.632591247558594,
      "learning_rate": 0.0005036174872639443,
      "loss": 3.5314,
      "step": 975
    },
    {
      "epoch": 10.48,
      "grad_norm": 1.0967168807983398,
      "learning_rate": 0.0004927911979003214,
      "loss": 3.5151,
      "step": 980
    },
    {
      "epoch": 10.533333333333333,
      "grad_norm": 0.8381322622299194,
      "learning_rate": 0.000482044365765536,
      "loss": 3.4655,
      "step": 985
    },
    {
      "epoch": 10.586666666666666,
      "grad_norm": 0.9333806037902832,
      "learning_rate": 0.0004713786744137709,
      "loss": 3.4428,
      "step": 990
    },
    {
      "epoch": 10.64,
      "grad_norm": 1.3139746189117432,
      "learning_rate": 0.00046079579468803045,
      "loss": 3.4655,
      "step": 995
    },
    {
      "epoch": 10.693333333333333,
      "grad_norm": 13.540165901184082,
      "learning_rate": 0.0004502973844583914,
      "loss": 3.4847,
      "step": 1000
    },
    {
      "epoch": 10.746666666666666,
      "grad_norm": 0.730549156665802,
      "learning_rate": 0.00043988508836229046,
      "loss": 3.5064,
      "step": 1005
    },
    {
      "epoch": 10.8,
      "grad_norm": 1.1248104572296143,
      "learning_rate": 0.00042956053754688174,
      "loss": 3.4264,
      "step": 1010
    },
    {
      "epoch": 10.853333333333333,
      "grad_norm": 2.549948215484619,
      "learning_rate": 0.0004193253494135054,
      "loss": 3.4826,
      "step": 1015
    },
    {
      "epoch": 10.906666666666666,
      "grad_norm": 2.570146083831787,
      "learning_rate": 0.00040918112736431565,
      "loss": 3.5088,
      "step": 1020
    },
    {
      "epoch": 10.96,
      "grad_norm": 0.9071534276008606,
      "learning_rate": 0.0003991294605510969,
      "loss": 3.4673,
      "step": 1025
    },
    {
      "epoch": 10.992,
      "eval_loss": 3.9098801612854004,
      "eval_runtime": 12.4879,
      "eval_samples_per_second": 90.087,
      "eval_steps_per_second": 15.055,
      "step": 1028
    },
    {
      "epoch": 11.016,
      "grad_norm": 0.7501585483551025,
      "learning_rate": 0.0003891719236263128,
      "loss": 3.7099,
      "step": 1030
    },
    {
      "epoch": 11.069333333333333,
      "grad_norm": 0.7575392723083496,
      "learning_rate": 0.0003793100764964299,
      "loss": 3.3254,
      "step": 1035
    },
    {
      "epoch": 11.122666666666667,
      "grad_norm": 1.5098010301589966,
      "learning_rate": 0.00036954546407754797,
      "loss": 3.3361,
      "step": 1040
    },
    {
      "epoch": 11.176,
      "grad_norm": 0.652353048324585,
      "learning_rate": 0.00035987961605337895,
      "loss": 3.3419,
      "step": 1045
    },
    {
      "epoch": 11.229333333333333,
      "grad_norm": 1.4576791524887085,
      "learning_rate": 0.0003503140466356151,
      "loss": 3.4373,
      "step": 1050
    },
    {
      "epoch": 11.282666666666668,
      "grad_norm": 0.8805112242698669,
      "learning_rate": 0.0003408502543267175,
      "loss": 3.361,
      "step": 1055
    },
    {
      "epoch": 11.336,
      "grad_norm": 2.8293251991271973,
      "learning_rate": 0.0003314897216851673,
      "loss": 3.3537,
      "step": 1060
    },
    {
      "epoch": 11.389333333333333,
      "grad_norm": 1.0685662031173706,
      "learning_rate": 0.00032223391509321334,
      "loss": 3.295,
      "step": 1065
    },
    {
      "epoch": 11.442666666666666,
      "grad_norm": 0.5625657439231873,
      "learning_rate": 0.00031308428452715643,
      "loss": 3.3364,
      "step": 1070
    },
    {
      "epoch": 11.496,
      "grad_norm": 0.8257743120193481,
      "learning_rate": 0.00030404226333020115,
      "loss": 3.2609,
      "step": 1075
    },
    {
      "epoch": 11.549333333333333,
      "grad_norm": 1.0789713859558105,
      "learning_rate": 0.0002951092679879136,
      "loss": 3.3134,
      "step": 1080
    },
    {
      "epoch": 11.602666666666666,
      "grad_norm": 1.148529052734375,
      "learning_rate": 0.0002862866979063219,
      "loss": 3.2776,
      "step": 1085
    },
    {
      "epoch": 11.656,
      "grad_norm": 3.4152815341949463,
      "learning_rate": 0.0002775759351926909,
      "loss": 3.2817,
      "step": 1090
    },
    {
      "epoch": 11.709333333333333,
      "grad_norm": 5.510611057281494,
      "learning_rate": 0.00026897834443900527,
      "loss": 3.4051,
      "step": 1095
    },
    {
      "epoch": 11.762666666666666,
      "grad_norm": 3.2792694568634033,
      "learning_rate": 0.0002604952725082005,
      "loss": 3.3752,
      "step": 1100
    },
    {
      "epoch": 11.816,
      "grad_norm": 0.8379424214363098,
      "learning_rate": 0.00025212804832316785,
      "loss": 3.3568,
      "step": 1105
    },
    {
      "epoch": 11.869333333333334,
      "grad_norm": 1.0004689693450928,
      "learning_rate": 0.00024387798265857076,
      "loss": 3.2548,
      "step": 1110
    },
    {
      "epoch": 11.922666666666666,
      "grad_norm": 1.1289111375808716,
      "learning_rate": 0.00023574636793550374,
      "loss": 3.2763,
      "step": 1115
    },
    {
      "epoch": 11.975999999999999,
      "grad_norm": 0.7427679300308228,
      "learning_rate": 0.00022773447801902857,
      "loss": 3.3279,
      "step": 1120
    },
    {
      "epoch": 11.997333333333334,
      "eval_loss": 3.8246541023254395,
      "eval_runtime": 12.4686,
      "eval_samples_per_second": 90.226,
      "eval_steps_per_second": 15.078,
      "step": 1122
    },
    {
      "epoch": 12.032,
      "grad_norm": 0.7016487717628479,
      "learning_rate": 0.00021984356801861506,
      "loss": 3.545,
      "step": 1125
    },
    {
      "epoch": 12.085333333333333,
      "grad_norm": 1.0700368881225586,
      "learning_rate": 0.00021207487409151982,
      "loss": 3.213,
      "step": 1130
    },
    {
      "epoch": 12.138666666666667,
      "grad_norm": 0.548744261264801,
      "learning_rate": 0.0002044296132491369,
      "loss": 3.1303,
      "step": 1135
    },
    {
      "epoch": 12.192,
      "grad_norm": 0.5944454669952393,
      "learning_rate": 0.00019690898316634432,
      "loss": 3.2735,
      "step": 1140
    },
    {
      "epoch": 12.245333333333333,
      "grad_norm": 0.559898853302002,
      "learning_rate": 0.0001895141619938825,
      "loss": 3.221,
      "step": 1145
    },
    {
      "epoch": 12.298666666666668,
      "grad_norm": 0.5505184531211853,
      "learning_rate": 0.00018224630817378828,
      "loss": 3.247,
      "step": 1150
    },
    {
      "epoch": 12.352,
      "grad_norm": 4.3635735511779785,
      "learning_rate": 0.00017510656025792004,
      "loss": 3.091,
      "step": 1155
    },
    {
      "epoch": 12.405333333333333,
      "grad_norm": 0.553667426109314,
      "learning_rate": 0.00016809603672959616,
      "loss": 3.2349,
      "step": 1160
    },
    {
      "epoch": 12.458666666666666,
      "grad_norm": 1.5174871683120728,
      "learning_rate": 0.00016121583582837774,
      "loss": 3.2065,
      "step": 1165
    },
    {
      "epoch": 12.512,
      "grad_norm": 0.7590833306312561,
      "learning_rate": 0.0001544670353780234,
      "loss": 3.1883,
      "step": 1170
    },
    {
      "epoch": 12.565333333333333,
      "grad_norm": 1.4404692649841309,
      "learning_rate": 0.00014785069261764183,
      "loss": 3.2056,
      "step": 1175
    },
    {
      "epoch": 12.618666666666666,
      "grad_norm": 0.6769624948501587,
      "learning_rate": 0.0001413678440360684,
      "loss": 3.2165,
      "step": 1180
    },
    {
      "epoch": 12.672,
      "grad_norm": 0.5693238377571106,
      "learning_rate": 0.00013501950520949436,
      "loss": 3.1955,
      "step": 1185
    },
    {
      "epoch": 12.725333333333333,
      "grad_norm": 0.9455315470695496,
      "learning_rate": 0.00012880667064237006,
      "loss": 3.2017,
      "step": 1190
    },
    {
      "epoch": 12.778666666666666,
      "grad_norm": 0.8543607592582703,
      "learning_rate": 0.00012273031361160957,
      "loss": 3.2268,
      "step": 1195
    },
    {
      "epoch": 12.832,
      "grad_norm": 1.906198501586914,
      "learning_rate": 0.00011679138601412254,
      "loss": 3.2457,
      "step": 1200
    },
    {
      "epoch": 12.885333333333334,
      "grad_norm": 0.5271804928779602,
      "learning_rate": 0.00011099081821769297,
      "loss": 3.2146,
      "step": 1205
    },
    {
      "epoch": 12.938666666666666,
      "grad_norm": 1.0702733993530273,
      "learning_rate": 0.00010532951891523124,
      "loss": 3.2083,
      "step": 1210
    },
    {
      "epoch": 12.992,
      "grad_norm": 2.5151164531707764,
      "learning_rate": 9.980837498242356e-05,
      "loss": 3.2354,
      "step": 1215
    },
    {
      "epoch": 12.992,
      "eval_loss": 3.785278558731079,
      "eval_runtime": 12.6277,
      "eval_samples_per_second": 89.09,
      "eval_steps_per_second": 14.888,
      "step": 1215
    },
    {
      "epoch": 13.048,
      "grad_norm": 1.2420941591262817,
      "learning_rate": 9.442825133879607e-05,
      "loss": 3.4289,
      "step": 1220
    },
    {
      "epoch": 13.101333333333333,
      "grad_norm": 0.4141329824924469,
      "learning_rate": 8.918999081222156e-05,
      "loss": 3.0674,
      "step": 1225
    },
    {
      "epoch": 13.154666666666667,
      "grad_norm": 0.6331799030303955,
      "learning_rate": 8.4094414006884e-05,
      "loss": 3.1639,
      "step": 1230
    },
    {
      "epoch": 13.208,
      "grad_norm": 0.558097779750824,
      "learning_rate": 7.914231917472747e-05,
      "loss": 3.1318,
      "step": 1235
    },
    {
      "epoch": 13.261333333333333,
      "grad_norm": 0.5015540719032288,
      "learning_rate": 7.433448209040495e-05,
      "loss": 3.1447,
      "step": 1240
    },
    {
      "epoch": 13.314666666666668,
      "grad_norm": 3.2629053592681885,
      "learning_rate": 6.967165592974789e-05,
      "loss": 3.1929,
      "step": 1245
    },
    {
      "epoch": 13.368,
      "grad_norm": 0.35517868399620056,
      "learning_rate": 6.515457115177803e-05,
      "loss": 3.1434,
      "step": 1250
    },
    {
      "epoch": 13.421333333333333,
      "grad_norm": 2.8700928688049316,
      "learning_rate": 6.0783935384275736e-05,
      "loss": 3.1381,
      "step": 1255
    },
    {
      "epoch": 13.474666666666666,
      "grad_norm": 1.7031766176223755,
      "learning_rate": 5.656043331292682e-05,
      "loss": 3.1343,
      "step": 1260
    },
    {
      "epoch": 13.528,
      "grad_norm": 0.6974568963050842,
      "learning_rate": 5.2484726574061225e-05,
      "loss": 3.154,
      "step": 1265
    },
    {
      "epoch": 13.581333333333333,
      "grad_norm": 0.656442403793335,
      "learning_rate": 4.855745365100539e-05,
      "loss": 3.0817,
      "step": 1270
    },
    {
      "epoch": 13.634666666666666,
      "grad_norm": 0.7731483578681946,
      "learning_rate": 4.477922977405913e-05,
      "loss": 3.1515,
      "step": 1275
    },
    {
      "epoch": 13.688,
      "grad_norm": 0.6341891884803772,
      "learning_rate": 4.115064682411607e-05,
      "loss": 3.1462,
      "step": 1280
    },
    {
      "epoch": 13.741333333333333,
      "grad_norm": 0.5872439742088318,
      "learning_rate": 3.7672273239942934e-05,
      "loss": 3.1376,
      "step": 1285
    },
    {
      "epoch": 13.794666666666666,
      "grad_norm": 0.6876071691513062,
      "learning_rate": 3.434465392912956e-05,
      "loss": 3.1342,
      "step": 1290
    },
    {
      "epoch": 13.848,
      "grad_norm": 0.5463366508483887,
      "learning_rate": 3.1168310182725815e-05,
      "loss": 3.1465,
      "step": 1295
    },
    {
      "epoch": 13.901333333333334,
      "grad_norm": 0.49031180143356323,
      "learning_rate": 2.8143739593578856e-05,
      "loss": 3.0675,
      "step": 1300
    },
    {
      "epoch": 13.954666666666666,
      "grad_norm": 0.5363944172859192,
      "learning_rate": 2.5271415978382117e-05,
      "loss": 3.0656,
      "step": 1305
    },
    {
      "epoch": 13.997333333333334,
      "eval_loss": 3.7691831588745117,
      "eval_runtime": 12.4823,
      "eval_samples_per_second": 90.128,
      "eval_steps_per_second": 15.061,
      "step": 1309
    },
    {
      "epoch": 14.010666666666667,
      "grad_norm": 0.5036697387695312,
      "learning_rate": 2.255178930344903e-05,
      "loss": 3.4255,
      "step": 1310
    },
    {
      "epoch": 14.064,
      "grad_norm": 0.6493708491325378,
      "learning_rate": 1.998528561422297e-05,
      "loss": 3.0921,
      "step": 1315
    },
    {
      "epoch": 14.117333333333333,
      "grad_norm": 0.5409650206565857,
      "learning_rate": 1.757230696853518e-05,
      "loss": 3.074,
      "step": 1320
    },
    {
      "epoch": 14.170666666666667,
      "grad_norm": 0.7467535734176636,
      "learning_rate": 1.531323137361995e-05,
      "loss": 3.0659,
      "step": 1325
    },
    {
      "epoch": 14.224,
      "grad_norm": 1.0386552810668945,
      "learning_rate": 1.3208412726897322e-05,
      "loss": 3.1497,
      "step": 1330
    },
    {
      "epoch": 14.277333333333333,
      "grad_norm": 0.49301984906196594,
      "learning_rate": 1.1258180760533088e-05,
      "loss": 3.0785,
      "step": 1335
    },
    {
      "epoch": 14.330666666666666,
      "grad_norm": 1.8429055213928223,
      "learning_rate": 9.462840989784672e-06,
      "loss": 3.0583,
      "step": 1340
    },
    {
      "epoch": 14.384,
      "grad_norm": 1.5353028774261475,
      "learning_rate": 7.822674665139752e-06,
      "loss": 3.0546,
      "step": 1345
    },
    {
      "epoch": 14.437333333333333,
      "grad_norm": 0.3447898328304291,
      "learning_rate": 6.337938728257053e-06,
      "loss": 3.0634,
      "step": 1350
    },
    {
      "epoch": 14.490666666666666,
      "grad_norm": 0.923072874546051,
      "learning_rate": 5.008865771715221e-06,
      "loss": 3.1333,
      "step": 1355
    },
    {
      "epoch": 14.544,
      "grad_norm": 0.5001369714736938,
      "learning_rate": 3.8356640025752896e-06,
      "loss": 3.0982,
      "step": 1360
    },
    {
      "epoch": 14.597333333333333,
      "grad_norm": 0.559633195400238,
      "learning_rate": 2.8185172097641155e-06,
      "loss": 3.0525,
      "step": 1365
    },
    {
      "epoch": 14.650666666666666,
      "grad_norm": 0.49595069885253906,
      "learning_rate": 1.957584735282847e-06,
      "loss": 3.1459,
      "step": 1370
    },
    {
      "epoch": 14.704,
      "grad_norm": 0.6536312103271484,
      "learning_rate": 1.2530014492446729e-06,
      "loss": 3.1156,
      "step": 1375
    },
    {
      "epoch": 14.757333333333333,
      "grad_norm": 0.38376209139823914,
      "learning_rate": 7.048777287472774e-07,
      "loss": 3.0831,
      "step": 1380
    },
    {
      "epoch": 14.810666666666666,
      "grad_norm": 0.5727828741073608,
      "learning_rate": 3.132994405808942e-07,
      "loss": 3.0888,
      "step": 1385
    },
    {
      "epoch": 14.864,
      "grad_norm": 0.45092472434043884,
      "learning_rate": 7.832792777739961e-08,
      "loss": 3.1226,
      "step": 1390
    },
    {
      "epoch": 14.917333333333334,
      "grad_norm": 0.4628413915634155,
      "learning_rate": 0.0,
      "loss": 3.0981,
      "step": 1395
    },
    {
      "epoch": 14.917333333333334,
      "eval_loss": 3.767644166946411,
      "eval_runtime": 12.5131,
      "eval_samples_per_second": 89.906,
      "eval_steps_per_second": 15.024,
      "step": 1395
    },
    {
      "epoch": 14.917333333333334,
      "step": 1395,
      "total_flos": 6.545011747156132e+17,
      "train_loss": 4.23463837784251,
      "train_runtime": 3346.972,
      "train_samples_per_second": 20.159,
      "train_steps_per_second": 0.417
    }
  ],
  "logging_steps": 5,
  "max_steps": 1395,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 15,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": false,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 6.545011747156132e+17,
  "train_batch_size": 4,
  "trial_name": null,
  "trial_params": null
}