{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 2.104,
  "eval_steps": 500,
  "global_step": 1500,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.006666666666666667,
      "grad_norm": 17.179410934448242,
      "learning_rate": 6.000000000000001e-07,
      "loss": 0.7318,
      "step": 10
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 3.135037660598755,
      "learning_rate": 1.2666666666666669e-06,
      "loss": 0.5035,
      "step": 20
    },
    {
      "epoch": 0.02,
      "grad_norm": 1.0028103590011597,
      "learning_rate": 1.9333333333333336e-06,
      "loss": 0.347,
      "step": 30
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 0.9301308393478394,
      "learning_rate": 2.6e-06,
      "loss": 0.3206,
      "step": 40
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 13.198473930358887,
      "learning_rate": 3.266666666666667e-06,
      "loss": 0.3132,
      "step": 50
    },
    {
      "epoch": 0.04,
      "grad_norm": 2.502417802810669,
      "learning_rate": 3.9333333333333335e-06,
      "loss": 0.3102,
      "step": 60
    },
    {
      "epoch": 0.04666666666666667,
      "grad_norm": 1.962709665298462,
      "learning_rate": 4.600000000000001e-06,
      "loss": 0.3072,
      "step": 70
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 0.9486454129219055,
      "learning_rate": 5.2666666666666665e-06,
      "loss": 0.3054,
      "step": 80
    },
    {
      "epoch": 0.06,
      "grad_norm": 1.4147624969482422,
      "learning_rate": 5.933333333333335e-06,
      "loss": 0.3028,
      "step": 90
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 1.3703656196594238,
      "learning_rate": 6.600000000000001e-06,
      "loss": 0.3019,
      "step": 100
    },
    {
      "epoch": 0.07333333333333333,
      "grad_norm": 1.1991888284683228,
      "learning_rate": 7.266666666666668e-06,
      "loss": 0.3037,
      "step": 110
    },
    {
      "epoch": 0.08,
      "grad_norm": 1.392200231552124,
      "learning_rate": 7.933333333333334e-06,
      "loss": 0.3026,
      "step": 120
    },
    {
      "epoch": 0.08666666666666667,
      "grad_norm": 0.984872043132782,
      "learning_rate": 8.6e-06,
      "loss": 0.3025,
      "step": 130
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 0.9026976823806763,
      "learning_rate": 9.266666666666667e-06,
      "loss": 0.3026,
      "step": 140
    },
    {
      "epoch": 0.1,
      "grad_norm": 0.8897069692611694,
      "learning_rate": 9.933333333333334e-06,
      "loss": 0.3019,
      "step": 150
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 0.9619942307472229,
      "learning_rate": 9.998903417374228e-06,
      "loss": 0.3016,
      "step": 160
    },
    {
      "epoch": 0.11333333333333333,
      "grad_norm": 1.430272102355957,
      "learning_rate": 9.995113378907791e-06,
      "loss": 0.2995,
      "step": 170
    },
    {
      "epoch": 0.12,
      "grad_norm": 1.0930227041244507,
      "learning_rate": 9.988618398427495e-06,
      "loss": 0.2987,
      "step": 180
    },
    {
      "epoch": 0.12666666666666668,
      "grad_norm": 0.8541769981384277,
      "learning_rate": 9.979421993079853e-06,
      "loss": 0.2988,
      "step": 190
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 1.0007736682891846,
      "learning_rate": 9.967529142880592e-06,
      "loss": 0.2978,
      "step": 200
    },
    {
      "epoch": 0.14,
      "grad_norm": 0.9553325176239014,
      "learning_rate": 9.952946288017899e-06,
      "loss": 0.2975,
      "step": 210
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 0.9452527165412903,
      "learning_rate": 9.93568132536494e-06,
      "loss": 0.2959,
      "step": 220
    },
    {
      "epoch": 0.15333333333333332,
      "grad_norm": 0.9005290865898132,
      "learning_rate": 9.915743604203563e-06,
      "loss": 0.2974,
      "step": 230
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.8893721699714661,
      "learning_rate": 9.893143921161501e-06,
      "loss": 0.2959,
      "step": 240
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 0.8175977468490601,
      "learning_rate": 9.867894514365802e-06,
      "loss": 0.2967,
      "step": 250
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 1.0447587966918945,
      "learning_rate": 9.840009056815674e-06,
      "loss": 0.2977,
      "step": 260
    },
    {
      "epoch": 0.18,
      "grad_norm": 0.8433653116226196,
      "learning_rate": 9.809502648978311e-06,
      "loss": 0.2949,
      "step": 270
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 0.899699330329895,
      "learning_rate": 9.776391810611719e-06,
      "loss": 0.2928,
      "step": 280
    },
    {
      "epoch": 0.19333333333333333,
      "grad_norm": 0.9095135927200317,
      "learning_rate": 9.740694471818988e-06,
      "loss": 0.2959,
      "step": 290
    },
    {
      "epoch": 0.2,
      "grad_norm": 17.036102294921875,
      "learning_rate": 9.702429963338812e-06,
      "loss": 0.3187,
      "step": 300
    },
    {
      "epoch": 0.20666666666666667,
      "grad_norm": 1.3837735652923584,
      "learning_rate": 9.661619006077562e-06,
      "loss": 0.338,
      "step": 310
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 0.8101090788841248,
      "learning_rate": 9.618283699888543e-06,
      "loss": 0.2939,
      "step": 320
    },
    {
      "epoch": 0.22,
      "grad_norm": 0.7796570062637329,
      "learning_rate": 9.572447511604536e-06,
      "loss": 0.2937,
      "step": 330
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 0.9723106622695923,
      "learning_rate": 9.524135262330098e-06,
      "loss": 0.2938,
      "step": 340
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 0.7630950808525085,
      "learning_rate": 9.473373114000493e-06,
      "loss": 0.2963,
      "step": 350
    },
    {
      "epoch": 0.24,
      "grad_norm": 0.6715610027313232,
      "learning_rate": 9.420188555214537e-06,
      "loss": 0.2929,
      "step": 360
    },
    {
      "epoch": 0.24666666666666667,
      "grad_norm": 1.1709316968917847,
      "learning_rate": 9.364610386349048e-06,
      "loss": 0.2925,
      "step": 370
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 0.9209672808647156,
      "learning_rate": 9.306668703962927e-06,
      "loss": 0.2941,
      "step": 380
    },
    {
      "epoch": 0.26,
      "grad_norm": 0.9940042495727539,
      "learning_rate": 9.246394884499334e-06,
      "loss": 0.2933,
      "step": 390
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 0.8881985545158386,
      "learning_rate": 9.18382156729481e-06,
      "loss": 0.2936,
      "step": 400
    },
    {
      "epoch": 0.2733333333333333,
      "grad_norm": 0.871043860912323,
      "learning_rate": 9.118982636904476e-06,
      "loss": 0.2942,
      "step": 410
    },
    {
      "epoch": 0.28,
      "grad_norm": 1.2014673948287964,
      "learning_rate": 9.051913204752972e-06,
      "loss": 0.2915,
      "step": 420
    },
    {
      "epoch": 0.2866666666666667,
      "grad_norm": 1.1756418943405151,
      "learning_rate": 8.982649590120982e-06,
      "loss": 0.2925,
      "step": 430
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 0.949000358581543,
      "learning_rate": 8.911229300477716e-06,
      "loss": 0.2934,
      "step": 440
    },
    {
      "epoch": 0.3,
      "grad_norm": 0.9523175954818726,
      "learning_rate": 8.837691011169944e-06,
      "loss": 0.2923,
      "step": 450
    },
    {
      "epoch": 0.30666666666666664,
      "grad_norm": 0.8335953950881958,
      "learning_rate": 8.762074544478622e-06,
      "loss": 0.2928,
      "step": 460
    },
    {
      "epoch": 0.31333333333333335,
      "grad_norm": 0.9363358020782471,
      "learning_rate": 8.68442084805442e-06,
      "loss": 0.2927,
      "step": 470
    },
    {
      "epoch": 0.32,
      "grad_norm": 0.9223266839981079,
      "learning_rate": 8.604771972743848e-06,
      "loss": 0.2917,
      "step": 480
    },
    {
      "epoch": 0.32666666666666666,
      "grad_norm": 0.8521516919136047,
      "learning_rate": 8.523171049817974e-06,
      "loss": 0.2913,
      "step": 490
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 1.0892271995544434,
      "learning_rate": 8.439662267616093e-06,
      "loss": 0.2907,
      "step": 500
    },
    {
      "epoch": 0.34,
      "grad_norm": 1.3269575834274292,
      "learning_rate": 8.354290847616954e-06,
      "loss": 0.2906,
      "step": 510
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 0.7763073444366455,
      "learning_rate": 8.267103019950529e-06,
      "loss": 0.2898,
      "step": 520
    },
    {
      "epoch": 0.35333333333333333,
      "grad_norm": 0.8938851356506348,
      "learning_rate": 8.178145998363585e-06,
      "loss": 0.2916,
      "step": 530
    },
    {
      "epoch": 0.36,
      "grad_norm": 1.5600512027740479,
      "learning_rate": 8.087467954652608e-06,
      "loss": 0.2907,
      "step": 540
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 0.7190754413604736,
      "learning_rate": 7.99511799257793e-06,
      "loss": 0.2898,
      "step": 550
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 0.9390725493431091,
      "learning_rate": 7.901146121273165e-06,
      "loss": 0.2879,
      "step": 560
    },
    {
      "epoch": 0.38,
      "grad_norm": 0.9324615597724915,
      "learning_rate": 7.80560322816439e-06,
      "loss": 0.2885,
      "step": 570
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 1.603588581085205,
      "learning_rate": 7.7085410514137e-06,
      "loss": 0.29,
      "step": 580
    },
    {
      "epoch": 0.3933333333333333,
      "grad_norm": 0.9243031740188599,
      "learning_rate": 7.610012151902091e-06,
      "loss": 0.289,
      "step": 590
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.8938408493995667,
      "learning_rate": 7.510069884766802e-06,
      "loss": 0.2894,
      "step": 600
    },
    {
      "epoch": 0.4066666666666667,
      "grad_norm": 0.8788526058197021,
      "learning_rate": 7.408768370508577e-06,
      "loss": 0.289,
      "step": 610
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 1.0575368404388428,
      "learning_rate": 7.3061624656844544e-06,
      "loss": 0.2888,
      "step": 620
    },
    {
      "epoch": 0.42,
      "grad_norm": 0.8783132433891296,
      "learning_rate": 7.2023077332019755e-06,
      "loss": 0.2889,
      "step": 630
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 0.7886477112770081,
      "learning_rate": 7.0972604122308865e-06,
      "loss": 0.288,
      "step": 640
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 0.9342199563980103,
      "learning_rate": 6.991077387748643e-06,
      "loss": 0.2882,
      "step": 650
    },
    {
      "epoch": 0.44,
      "grad_norm": 0.927667498588562,
      "learning_rate": 6.883816159736187e-06,
      "loss": 0.2891,
      "step": 660
    },
    {
      "epoch": 0.44666666666666666,
      "grad_norm": 0.7458853721618652,
      "learning_rate": 6.775534812040686e-06,
      "loss": 0.2878,
      "step": 670
    },
    {
      "epoch": 1.0053333333333334,
      "grad_norm": 0.9560510516166687,
      "learning_rate": 6.666291980922122e-06,
      "loss": 0.2879,
      "step": 680
    },
    {
      "epoch": 1.012,
      "grad_norm": 0.8636048436164856,
      "learning_rate": 6.556146823300701e-06,
      "loss": 0.2886,
      "step": 690
    },
    {
      "epoch": 1.0186666666666666,
      "grad_norm": 0.9005559682846069,
      "learning_rate": 6.445158984722358e-06,
      "loss": 0.2881,
      "step": 700
    },
    {
      "epoch": 1.0253333333333334,
      "grad_norm": 2.7765614986419678,
      "learning_rate": 6.3333885670596285e-06,
      "loss": 0.2873,
      "step": 710
    },
    {
      "epoch": 1.032,
      "grad_norm": 0.9043927192687988,
      "learning_rate": 6.220896095965428e-06,
      "loss": 0.2894,
      "step": 720
    },
    {
      "epoch": 1.0386666666666666,
      "grad_norm": 0.9013159275054932,
      "learning_rate": 6.107742488097338e-06,
      "loss": 0.2878,
      "step": 730
    },
    {
      "epoch": 1.0453333333333332,
      "grad_norm": 1.1176661252975464,
      "learning_rate": 5.993989018130173e-06,
      "loss": 0.286,
      "step": 740
    },
    {
      "epoch": 1.052,
      "grad_norm": 0.9050567746162415,
      "learning_rate": 5.879697285574655e-06,
      "loss": 0.2844,
      "step": 750
    },
    {
      "epoch": 1.0586666666666666,
      "grad_norm": 0.9422501921653748,
      "learning_rate": 5.764929181420191e-06,
      "loss": 0.2873,
      "step": 760
    },
    {
      "epoch": 1.0653333333333332,
      "grad_norm": 0.9040423631668091,
      "learning_rate": 5.649746854619814e-06,
      "loss": 0.2854,
      "step": 770
    },
    {
      "epoch": 1.072,
      "grad_norm": 1.179377555847168,
      "learning_rate": 5.5342126784354265e-06,
      "loss": 0.2837,
      "step": 780
    },
    {
      "epoch": 1.0786666666666667,
      "grad_norm": 0.886728048324585,
      "learning_rate": 5.41838921666158e-06,
      "loss": 0.2826,
      "step": 790
    },
    {
      "epoch": 1.0853333333333333,
      "grad_norm": 0.8838808536529541,
      "learning_rate": 5.3023391897460715e-06,
      "loss": 0.2841,
      "step": 800
    },
    {
      "epoch": 1.092,
      "grad_norm": 1.1746634244918823,
      "learning_rate": 5.18612544082573e-06,
      "loss": 0.2843,
      "step": 810
    },
    {
      "epoch": 1.0986666666666667,
      "grad_norm": 0.9780789017677307,
      "learning_rate": 5.069810901695727e-06,
      "loss": 0.2838,
      "step": 820
    },
    {
      "epoch": 1.1053333333333333,
      "grad_norm": 1.8729772567749023,
      "learning_rate": 4.953458558730917e-06,
      "loss": 0.2827,
      "step": 830
    },
    {
      "epoch": 1.112,
      "grad_norm": 0.9038311243057251,
      "learning_rate": 4.837131418777595e-06,
      "loss": 0.2813,
      "step": 840
    },
    {
      "epoch": 1.1186666666666667,
      "grad_norm": 1.2726099491119385,
      "learning_rate": 4.720892475034181e-06,
      "loss": 0.2816,
      "step": 850
    },
    {
      "epoch": 1.1253333333333333,
      "grad_norm": 0.9130957722663879,
      "learning_rate": 4.604804672939295e-06,
      "loss": 0.2821,
      "step": 860
    },
    {
      "epoch": 1.1320000000000001,
      "grad_norm": 1.3209630250930786,
      "learning_rate": 4.4889308760856826e-06,
      "loss": 0.2833,
      "step": 870
    },
    {
      "epoch": 1.1386666666666667,
      "grad_norm": 1.8481944799423218,
      "learning_rate": 4.373333832178478e-06,
      "loss": 0.2834,
      "step": 880
    },
    {
      "epoch": 1.1453333333333333,
      "grad_norm": 0.7885728478431702,
      "learning_rate": 4.258076139056217e-06,
      "loss": 0.2818,
      "step": 890
    },
    {
      "epoch": 1.152,
      "grad_norm": 0.9263648390769958,
      "learning_rate": 4.143220210792993e-06,
      "loss": 0.2807,
      "step": 900
    },
    {
      "epoch": 1.1586666666666667,
      "grad_norm": 0.846098005771637,
      "learning_rate": 4.028828243900141e-06,
      "loss": 0.2796,
      "step": 910
    },
    {
      "epoch": 1.1653333333333333,
      "grad_norm": 1.2958885431289673,
      "learning_rate": 3.914962183645733e-06,
      "loss": 0.2797,
      "step": 920
    },
    {
      "epoch": 1.172,
      "grad_norm": 0.7466662526130676,
      "learning_rate": 3.8016836905101157e-06,
      "loss": 0.2795,
      "step": 930
    },
    {
      "epoch": 1.1786666666666668,
      "grad_norm": 0.9258480072021484,
      "learning_rate": 3.6890541067956775e-06,
      "loss": 0.278,
      "step": 940
    },
    {
      "epoch": 1.1853333333333333,
      "grad_norm": 0.7277618646621704,
      "learning_rate": 3.577134423408906e-06,
      "loss": 0.2786,
      "step": 950
    },
    {
      "epoch": 1.192,
      "grad_norm": 2.6303648948669434,
      "learning_rate": 3.465985246832739e-06,
      "loss": 0.2794,
      "step": 960
    },
    {
      "epoch": 1.1986666666666665,
      "grad_norm": 1.109855055809021,
      "learning_rate": 3.355666766307084e-06,
      "loss": 0.279,
      "step": 970
    },
    {
      "epoch": 1.2053333333333334,
      "grad_norm": 1.018596887588501,
      "learning_rate": 3.246238721235283e-06,
      "loss": 0.2797,
      "step": 980
    },
    {
      "epoch": 1.212,
      "grad_norm": 0.7051777243614197,
      "learning_rate": 3.137760368834169e-06,
      "loss": 0.2804,
      "step": 990
    },
    {
      "epoch": 1.2186666666666666,
      "grad_norm": 0.9288476705551147,
      "learning_rate": 3.030290452045245e-06,
      "loss": 0.2777,
      "step": 1000
    },
    {
      "epoch": 1.2253333333333334,
      "grad_norm": 1.1656556129455566,
      "learning_rate": 2.9238871677243354e-06,
      "loss": 0.2784,
      "step": 1010
    },
    {
      "epoch": 1.232,
      "grad_norm": 0.8173216581344604,
      "learning_rate": 2.818608135126967e-06,
      "loss": 0.2774,
      "step": 1020
    },
    {
      "epoch": 1.2386666666666666,
      "grad_norm": 1.0525356531143188,
      "learning_rate": 2.714510364706531e-06,
      "loss": 0.2762,
      "step": 1030
    },
    {
      "epoch": 1.2453333333333334,
      "grad_norm": 1.065725326538086,
      "learning_rate": 2.611650227242102e-06,
      "loss": 0.2761,
      "step": 1040
    },
    {
      "epoch": 1.252,
      "grad_norm": 1.0570695400238037,
      "learning_rate": 2.5100834233126827e-06,
      "loss": 0.2755,
      "step": 1050
    },
    {
      "epoch": 1.2586666666666666,
      "grad_norm": 0.9656396508216858,
      "learning_rate": 2.40986495313435e-06,
      "loss": 0.2767,
      "step": 1060
    },
    {
      "epoch": 1.2653333333333334,
      "grad_norm": 0.8878446221351624,
      "learning_rate": 2.3110490867766644e-06,
      "loss": 0.2768,
      "step": 1070
    },
    {
      "epoch": 1.272,
      "grad_norm": 0.9621784687042236,
      "learning_rate": 2.213689334774479e-06,
      "loss": 0.2764,
      "step": 1080
    },
    {
      "epoch": 1.2786666666666666,
      "grad_norm": 1.7135512828826904,
      "learning_rate": 2.1178384191510344e-06,
      "loss": 0.278,
      "step": 1090
    },
    {
      "epoch": 1.2853333333333334,
      "grad_norm": 0.7171072363853455,
      "learning_rate": 2.023548244868051e-06,
      "loss": 0.2783,
      "step": 1100
    },
    {
      "epoch": 1.292,
      "grad_norm": 1.1100950241088867,
      "learning_rate": 1.9308698717182874e-06,
      "loss": 0.2751,
      "step": 1110
    },
    {
      "epoch": 1.2986666666666666,
      "grad_norm": 1.0502686500549316,
      "learning_rate": 1.8398534866757455e-06,
      "loss": 0.2756,
      "step": 1120
    },
    {
      "epoch": 1.3053333333333335,
      "grad_norm": 1.0502331256866455,
      "learning_rate": 1.7505483767185583e-06,
      "loss": 0.2751,
      "step": 1130
    },
    {
      "epoch": 1.312,
      "grad_norm": 0.8936400413513184,
      "learning_rate": 1.6630029021392007e-06,
      "loss": 0.2757,
      "step": 1140
    },
    {
      "epoch": 1.3186666666666667,
      "grad_norm": 0.9794175028800964,
      "learning_rate": 1.5772644703565564e-06,
      "loss": 0.2752,
      "step": 1150
    },
    {
      "epoch": 1.3253333333333333,
      "grad_norm": 0.7495421171188354,
      "learning_rate": 1.4933795102439558e-06,
      "loss": 0.2763,
      "step": 1160
    },
    {
      "epoch": 1.332,
      "grad_norm": 1.200521469116211,
      "learning_rate": 1.4113934469871166e-06,
      "loss": 0.2734,
      "step": 1170
    },
    {
      "epoch": 1.3386666666666667,
      "grad_norm": 1.303836703300476,
      "learning_rate": 1.3313506774856177e-06,
      "loss": 0.2741,
      "step": 1180
    },
    {
      "epoch": 1.3453333333333333,
      "grad_norm": 0.8371695876121521,
      "learning_rate": 1.2532945463111856e-06,
      "loss": 0.2735,
      "step": 1190
    },
    {
      "epoch": 1.3519999999999999,
      "grad_norm": 0.9150954484939575,
      "learning_rate": 1.1772673222358421e-06,
      "loss": 0.2742,
      "step": 1200
    },
    {
      "epoch": 1.3586666666666667,
      "grad_norm": 0.8890231847763062,
      "learning_rate": 1.1033101753426285e-06,
      "loss": 0.273,
      "step": 1210
    },
    {
      "epoch": 1.3653333333333333,
      "grad_norm": 0.994347870349884,
      "learning_rate": 1.0314631547312738e-06,
      "loss": 0.2741,
      "step": 1220
    },
    {
      "epoch": 1.3719999999999999,
      "grad_norm": 1.2332909107208252,
      "learning_rate": 9.617651668308914e-07,
      "loss": 0.273,
      "step": 1230
    },
    {
      "epoch": 1.3786666666666667,
      "grad_norm": 1.254149079322815,
      "learning_rate": 8.942539543314799e-07,
      "loss": 0.2722,
      "step": 1240
    },
    {
      "epoch": 1.3853333333333333,
      "grad_norm": 1.4629772901535034,
      "learning_rate": 8.289660757455803e-07,
      "loss": 0.2741,
      "step": 1250
    },
    {
      "epoch": 1.392,
      "grad_norm": 0.9300149083137512,
      "learning_rate": 7.659368856111926e-07,
      "loss": 0.2721,
      "step": 1260
    },
    {
      "epoch": 1.3986666666666667,
      "grad_norm": 0.8379223942756653,
      "learning_rate": 7.052005153466779e-07,
      "loss": 0.2713,
      "step": 1270
    },
    {
      "epoch": 1.4053333333333333,
      "grad_norm": 1.0981905460357666,
      "learning_rate": 6.467898547679913e-07,
      "loss": 0.2713,
      "step": 1280
    },
    {
      "epoch": 1.412,
      "grad_norm": 1.0436373949050903,
      "learning_rate": 5.9073653427826e-07,
      "loss": 0.2719,
      "step": 1290
    },
    {
      "epoch": 1.4186666666666667,
      "grad_norm": 1.0875204801559448,
      "learning_rate": 5.370709077393721e-07,
      "loss": 0.2726,
      "step": 1300
    },
    {
      "epoch": 1.4253333333333333,
      "grad_norm": 0.8588967323303223,
      "learning_rate": 4.858220360348187e-07,
      "loss": 0.2716,
      "step": 1310
    },
    {
      "epoch": 1.432,
      "grad_norm": 0.9247114062309265,
      "learning_rate": 4.370176713327118e-07,
      "loss": 0.2732,
      "step": 1320
    },
    {
      "epoch": 1.4386666666666668,
      "grad_norm": 0.950705885887146,
      "learning_rate": 3.90684242057498e-07,
      "loss": 0.2726,
      "step": 1330
    },
    {
      "epoch": 1.4453333333333334,
      "grad_norm": 1.1385959386825562,
      "learning_rate": 3.468468385785023e-07,
      "loss": 0.2704,
      "step": 1340
    },
    {
      "epoch": 2.004,
      "grad_norm": 0.8614100217819214,
      "learning_rate": 3.055291996230492e-07,
      "loss": 0.2717,
      "step": 1350
    },
    {
      "epoch": 2.010666666666667,
      "grad_norm": 1.0673099756240845,
      "learning_rate": 2.6675369942151864e-07,
      "loss": 0.272,
      "step": 1360
    },
    {
      "epoch": 2.017333333333333,
      "grad_norm": 0.8404608368873596,
      "learning_rate": 2.3054133559131163e-07,
      "loss": 0.2728,
      "step": 1370
    },
    {
      "epoch": 2.024,
      "grad_norm": 1.1001969575881958,
      "learning_rate": 1.9691171776626882e-07,
      "loss": 0.2729,
      "step": 1380
    },
    {
      "epoch": 2.030666666666667,
      "grad_norm": 1.0574861764907837,
      "learning_rate": 1.6588305697770313e-07,
      "loss": 0.2722,
      "step": 1390
    },
    {
      "epoch": 2.037333333333333,
      "grad_norm": 0.7837361693382263,
      "learning_rate": 1.374721557928116e-07,
      "loss": 0.2721,
      "step": 1400
    },
    {
      "epoch": 2.044,
      "grad_norm": 0.937188446521759,
      "learning_rate": 1.1169439921578485e-07,
      "loss": 0.2709,
      "step": 1410
    },
    {
      "epoch": 2.050666666666667,
      "grad_norm": 0.8120216727256775,
      "learning_rate": 8.856374635655696e-08,
      "loss": 0.2699,
      "step": 1420
    },
    {
      "epoch": 2.0573333333333332,
      "grad_norm": 0.9232758283615112,
      "learning_rate": 6.809272287169988e-08,
      "loss": 0.2712,
      "step": 1430
    },
    {
      "epoch": 2.064,
      "grad_norm": 0.6734821796417236,
      "learning_rate": 5.029241418156139e-08,
      "loss": 0.2709,
      "step": 1440
    },
    {
      "epoch": 2.070666666666667,
      "grad_norm": 0.8397889137268066,
      "learning_rate": 3.517245946731529e-08,
      "loss": 0.2696,
      "step": 1450
    },
    {
      "epoch": 2.0773333333333333,
      "grad_norm": 0.9425774216651917,
      "learning_rate": 2.27410464511707e-08,
      "loss": 0.2683,
      "step": 1460
    },
    {
      "epoch": 2.084,
      "grad_norm": 2.522279739379883,
      "learning_rate": 1.3004906962578723e-08,
      "loss": 0.269,
      "step": 1470
    },
    {
      "epoch": 2.0906666666666665,
      "grad_norm": 1.0002614259719849,
      "learning_rate": 5.969313292830126e-09,
      "loss": 0.2683,
      "step": 1480
    },
    {
      "epoch": 2.0973333333333333,
      "grad_norm": 0.664967954158783,
      "learning_rate": 1.638075340010814e-09,
      "loss": 0.2698,
      "step": 1490
    },
    {
      "epoch": 2.104,
      "grad_norm": 0.9386897087097168,
      "learning_rate": 1.3538545881042198e-11,
      "loss": 0.2688,
      "step": 1500
    }
  ],
  "logging_steps": 10,
  "max_steps": 1500,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 9223372036854775807,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 3.8376648965860884e+18,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}