{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 2.0,
  "eval_steps": 500.0,
  "global_step": 3750,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0005333333333333334,
      "grad_norm": 60.0,
      "learning_rate": 1.7699115044247788e-07,
      "loss": 0.48311638832092285,
      "step": 1,
      "token_acc": 0.9515738498789347
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 49.5,
      "learning_rate": 1.769911504424779e-06,
      "loss": 0.411925474802653,
      "step": 10,
      "token_acc": 0.9584996009577015
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 27.125,
      "learning_rate": 3.539823008849558e-06,
      "loss": 0.21190166473388672,
      "step": 20,
      "token_acc": 0.9635054021608643
    },
    {
      "epoch": 0.016,
      "grad_norm": 12.0,
      "learning_rate": 5.309734513274337e-06,
      "loss": 0.09306760430335999,
      "step": 30,
      "token_acc": 0.9690127312034591
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 3.703125,
      "learning_rate": 7.079646017699116e-06,
      "loss": 0.05371033549308777,
      "step": 40,
      "token_acc": 0.9756919374247894
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 4.875,
      "learning_rate": 8.849557522123895e-06,
      "loss": 0.04967069625854492,
      "step": 50,
      "token_acc": 0.9762884103556738
    },
    {
      "epoch": 0.032,
      "grad_norm": 9.0,
      "learning_rate": 1.0619469026548675e-05,
      "loss": 0.043303996324539185,
      "step": 60,
      "token_acc": 0.9821471652593486
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 4.34375,
      "learning_rate": 1.2389380530973452e-05,
      "loss": 0.05136480927467346,
      "step": 70,
      "token_acc": 0.9824687800192123
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 2.515625,
      "learning_rate": 1.4159292035398232e-05,
      "loss": 0.040071535110473636,
      "step": 80,
      "token_acc": 0.9839212862970962
    },
    {
      "epoch": 0.048,
      "grad_norm": 6.9375,
      "learning_rate": 1.592920353982301e-05,
      "loss": 0.04163743853569031,
      "step": 90,
      "token_acc": 0.982388419782871
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 3.40625,
      "learning_rate": 1.769911504424779e-05,
      "loss": 0.04012444615364075,
      "step": 100,
      "token_acc": 0.984115523465704
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 5.65625,
      "learning_rate": 1.946902654867257e-05,
      "loss": 0.03385461866855621,
      "step": 110,
      "token_acc": 0.986376673040153
    },
    {
      "epoch": 0.064,
      "grad_norm": 3.09375,
      "learning_rate": 1.9999817199278942e-05,
      "loss": 0.03304356336593628,
      "step": 120,
      "token_acc": 0.9869596715769138
    },
    {
      "epoch": 0.06933333333333333,
      "grad_norm": 5.5625,
      "learning_rate": 1.9998921864897123e-05,
      "loss": 0.044121870398521425,
      "step": 130,
      "token_acc": 0.984873949579832
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 4.53125,
      "learning_rate": 1.9997280487931355e-05,
      "loss": 0.03417717218399048,
      "step": 140,
      "token_acc": 0.9848884624610218
    },
    {
      "epoch": 0.08,
      "grad_norm": 3.0,
      "learning_rate": 1.9994893190848556e-05,
      "loss": 0.029238414764404298,
      "step": 150,
      "token_acc": 0.987954709708504
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 3.546875,
      "learning_rate": 1.999176015177046e-05,
      "loss": 0.022293809056282043,
      "step": 160,
      "token_acc": 0.9906385021603457
    },
    {
      "epoch": 0.09066666666666667,
      "grad_norm": 5.4375,
      "learning_rate": 1.998788160446032e-05,
      "loss": 0.02923697829246521,
      "step": 170,
      "token_acc": 0.9894862604540023
    },
    {
      "epoch": 0.096,
      "grad_norm": 2.34375,
      "learning_rate": 1.9983257838305487e-05,
      "loss": 0.03760753273963928,
      "step": 180,
      "token_acc": 0.9840425531914894
    },
    {
      "epoch": 0.10133333333333333,
      "grad_norm": 2.90625,
      "learning_rate": 1.9977889198295794e-05,
      "loss": 0.03487681448459625,
      "step": 190,
      "token_acc": 0.9852380952380952
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 3.28125,
      "learning_rate": 1.9971776084997844e-05,
      "loss": 0.023173870146274568,
      "step": 200,
      "token_acc": 0.9909069155300311
    },
    {
      "epoch": 0.112,
      "grad_norm": 1.953125,
      "learning_rate": 1.9964918954525086e-05,
      "loss": 0.030919164419174194,
      "step": 210,
      "token_acc": 0.9863178108497359
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 4.09375,
      "learning_rate": 1.995731831850382e-05,
      "loss": 0.03021637201309204,
      "step": 220,
      "token_acc": 0.9885112494016276
    },
    {
      "epoch": 0.12266666666666666,
      "grad_norm": 1.4375,
      "learning_rate": 1.9948974744035002e-05,
      "loss": 0.028303766250610353,
      "step": 230,
      "token_acc": 0.9881785283474065
    },
    {
      "epoch": 0.128,
      "grad_norm": 2.890625,
      "learning_rate": 1.9939888853651933e-05,
      "loss": 0.02691739797592163,
      "step": 240,
      "token_acc": 0.9875598086124402
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 2.609375,
      "learning_rate": 1.9930061325273812e-05,
      "loss": 0.021169370412826537,
      "step": 250,
      "token_acc": 0.9908521906596052
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 2.703125,
      "learning_rate": 1.9919492892155164e-05,
      "loss": 0.028641647100448607,
      "step": 260,
      "token_acc": 0.9887344199424737
    },
    {
      "epoch": 0.144,
      "grad_norm": 2.28125,
      "learning_rate": 1.990818434283112e-05,
      "loss": 0.018036679923534395,
      "step": 270,
      "token_acc": 0.9930271699927867
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 2.78125,
      "learning_rate": 1.989613652105858e-05,
      "loss": 0.042414110898971555,
      "step": 280,
      "token_acc": 0.9865707434052757
    },
    {
      "epoch": 0.15466666666666667,
      "grad_norm": 1.671875,
      "learning_rate": 1.9883350325753276e-05,
      "loss": 0.02896667718887329,
      "step": 290,
      "token_acc": 0.9865255052935515
    },
    {
      "epoch": 0.16,
      "grad_norm": 4.46875,
      "learning_rate": 1.9869826710922676e-05,
      "loss": 0.024548523128032684,
      "step": 300,
      "token_acc": 0.9903869262196587
    },
    {
      "epoch": 0.16533333333333333,
      "grad_norm": 1.5546875,
      "learning_rate": 1.9855566685594817e-05,
      "loss": 0.02712039351463318,
      "step": 310,
      "token_acc": 0.9897129186602871
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 2.015625,
      "learning_rate": 1.984057131374303e-05,
      "loss": 0.028550270199775695,
      "step": 320,
      "token_acc": 0.9891487822522306
    },
    {
      "epoch": 0.176,
      "grad_norm": 2.203125,
      "learning_rate": 1.982484171420654e-05,
      "loss": 0.02943946123123169,
      "step": 330,
      "token_acc": 0.9891618497109826
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 1.65625,
      "learning_rate": 1.980837906060698e-05,
      "loss": 0.026945659518241884,
      "step": 340,
      "token_acc": 0.9886992065400336
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 2.84375,
      "learning_rate": 1.979118458126085e-05,
      "loss": 0.030513125658035278,
      "step": 350,
      "token_acc": 0.9872350674373795
    },
    {
      "epoch": 0.192,
      "grad_norm": 3.15625,
      "learning_rate": 1.9773259559087838e-05,
      "loss": 0.02490377426147461,
      "step": 360,
      "token_acc": 0.9895038167938931
    },
    {
      "epoch": 0.19733333333333333,
      "grad_norm": 1.34375,
      "learning_rate": 1.975460533151513e-05,
      "loss": 0.025952666997909546,
      "step": 370,
      "token_acc": 0.9888996138996139
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 2.25,
      "learning_rate": 1.9735223290377595e-05,
      "loss": 0.016641640663146974,
      "step": 380,
      "token_acc": 0.9939686369119421
    },
    {
      "epoch": 0.208,
      "grad_norm": 1.09375,
      "learning_rate": 1.971511488181395e-05,
      "loss": 0.034984779357910153,
      "step": 390,
      "token_acc": 0.9870067372473532
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 1.6015625,
      "learning_rate": 1.9694281606158864e-05,
      "loss": 0.026276156306266785,
      "step": 400,
      "token_acc": 0.9906204906204906
    },
    {
      "epoch": 0.21866666666666668,
      "grad_norm": 2.015625,
      "learning_rate": 1.9672725017831003e-05,
      "loss": 0.020120564103126525,
      "step": 410,
      "token_acc": 0.9908499879605105
    },
    {
      "epoch": 0.224,
      "grad_norm": 1.6875,
      "learning_rate": 1.9650446725217056e-05,
      "loss": 0.018248651921749116,
      "step": 420,
      "token_acc": 0.9915743861338469
    },
    {
      "epoch": 0.22933333333333333,
      "grad_norm": 1.5546875,
      "learning_rate": 1.9627448390551736e-05,
      "loss": 0.027030360698699952,
      "step": 430,
      "token_acc": 0.9883805374001452
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 1.7109375,
      "learning_rate": 1.9603731729793746e-05,
      "loss": 0.01883748471736908,
      "step": 440,
      "token_acc": 0.992797118847539
    },
    {
      "epoch": 0.24,
      "grad_norm": 1.1328125,
      "learning_rate": 1.9579298512497758e-05,
      "loss": 0.02055278718471527,
      "step": 450,
      "token_acc": 0.992283578490475
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 2.640625,
      "learning_rate": 1.9554150561682374e-05,
      "loss": 0.01704043596982956,
      "step": 460,
      "token_acc": 0.9932692307692308
    },
    {
      "epoch": 0.25066666666666665,
      "grad_norm": 2.453125,
      "learning_rate": 1.9528289753694108e-05,
      "loss": 0.02123623788356781,
      "step": 470,
      "token_acc": 0.9913689762646847
    },
    {
      "epoch": 0.256,
      "grad_norm": 1.7578125,
      "learning_rate": 1.9501718018067395e-05,
      "loss": 0.019534851610660552,
      "step": 480,
      "token_acc": 0.9918229918229918
    },
    {
      "epoch": 0.2613333333333333,
      "grad_norm": 1.03125,
      "learning_rate": 1.9474437337380608e-05,
      "loss": 0.021141186356544495,
      "step": 490,
      "token_acc": 0.9910950661853188
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 1.4453125,
      "learning_rate": 1.944644974710816e-05,
      "loss": 0.020709624886512755,
      "step": 500,
      "token_acc": 0.991608726923999
    },
    {
      "epoch": 0.272,
      "grad_norm": 1.8828125,
      "learning_rate": 1.9417757335468596e-05,
      "loss": 0.023134306073188782,
      "step": 510,
      "token_acc": 0.9908543922984356
    },
    {
      "epoch": 0.2773333333333333,
      "grad_norm": 1.7890625,
      "learning_rate": 1.9388362243268823e-05,
      "loss": 0.026473182439804076,
      "step": 520,
      "token_acc": 0.9901465993751501
    },
    {
      "epoch": 0.2826666666666667,
      "grad_norm": 1.9765625,
      "learning_rate": 1.935826666374435e-05,
      "loss": 0.022518408298492432,
      "step": 530,
      "token_acc": 0.9892267177400048
    },
    {
      "epoch": 0.288,
      "grad_norm": 1.4296875,
      "learning_rate": 1.9327472842395666e-05,
      "loss": 0.019042176008224488,
      "step": 540,
      "token_acc": 0.9918796274181992
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 3.078125,
      "learning_rate": 1.9295983076820687e-05,
      "loss": 0.024749264121055603,
      "step": 550,
      "token_acc": 0.9903707270101108
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 2.296875,
      "learning_rate": 1.9263799716543335e-05,
      "loss": 0.02081143856048584,
      "step": 560,
      "token_acc": 0.9911820781696854
    },
    {
      "epoch": 0.304,
      "grad_norm": 4.25,
      "learning_rate": 1.9230925162838223e-05,
      "loss": 0.02844887673854828,
      "step": 570,
      "token_acc": 0.9888942539835828
    },
    {
      "epoch": 0.30933333333333335,
      "grad_norm": 1.7890625,
      "learning_rate": 1.9197361868551498e-05,
      "loss": 0.02411177456378937,
      "step": 580,
      "token_acc": 0.9910778876296118
    },
    {
      "epoch": 0.31466666666666665,
      "grad_norm": 2.484375,
      "learning_rate": 1.916311233791783e-05,
      "loss": 0.026547589898109437,
      "step": 590,
      "token_acc": 0.9884253677357125
    },
    {
      "epoch": 0.32,
      "grad_norm": 1.7578125,
      "learning_rate": 1.912817912637357e-05,
      "loss": 0.021162503957748414,
      "step": 600,
      "token_acc": 0.9920270596762503
    },
    {
      "epoch": 0.3253333333333333,
      "grad_norm": 2.25,
      "learning_rate": 1.909256484036606e-05,
      "loss": 0.018523281812667845,
      "step": 610,
      "token_acc": 0.9920386007237636
    },
    {
      "epoch": 0.33066666666666666,
      "grad_norm": 2.21875,
      "learning_rate": 1.9056272137159187e-05,
      "loss": 0.019353365898132323,
      "step": 620,
      "token_acc": 0.9906001446131598
    },
    {
      "epoch": 0.336,
      "grad_norm": 1.1171875,
      "learning_rate": 1.901930372463511e-05,
      "loss": 0.016073083877563475,
      "step": 630,
      "token_acc": 0.9935236267690094
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 1.2578125,
      "learning_rate": 1.8981662361092206e-05,
      "loss": 0.023251956701278685,
      "step": 640,
      "token_acc": 0.9899159663865547
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 1.1015625,
      "learning_rate": 1.8943350855039288e-05,
      "loss": 0.020946937799453735,
      "step": 650,
      "token_acc": 0.9917914051183003
    },
    {
      "epoch": 0.352,
      "grad_norm": 1.3828125,
      "learning_rate": 1.8904372064986033e-05,
      "loss": 0.026175621151924133,
      "step": 660,
      "token_acc": 0.9892267177400048
    },
    {
      "epoch": 0.35733333333333334,
      "grad_norm": 1.546875,
      "learning_rate": 1.886472889922972e-05,
      "loss": 0.021933737397193908,
      "step": 670,
      "token_acc": 0.9913190258017844
    },
    {
      "epoch": 0.3626666666666667,
      "grad_norm": 2.15625,
      "learning_rate": 1.8824424315638233e-05,
      "loss": 0.024211180210113526,
      "step": 680,
      "token_acc": 0.9887694145758662
    },
    {
      "epoch": 0.368,
      "grad_norm": 2.171875,
      "learning_rate": 1.8783461321429356e-05,
      "loss": 0.02285428047180176,
      "step": 690,
      "token_acc": 0.9899183869419107
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 2.875,
      "learning_rate": 1.874184297294641e-05,
      "loss": 0.017681846022605897,
      "step": 700,
      "token_acc": 0.9925319200192725
    },
    {
      "epoch": 0.37866666666666665,
      "grad_norm": 2.890625,
      "learning_rate": 1.8699572375430206e-05,
      "loss": 0.024342547357082366,
      "step": 710,
      "token_acc": 0.9891956782713085
    },
    {
      "epoch": 0.384,
      "grad_norm": 1.5546875,
      "learning_rate": 1.8656652682787356e-05,
      "loss": 0.019416600465774536,
      "step": 720,
      "token_acc": 0.9918111753371869
    },
    {
      "epoch": 0.3893333333333333,
      "grad_norm": 1.9921875,
      "learning_rate": 1.861308709735496e-05,
      "loss": 0.021490809321403504,
      "step": 730,
      "token_acc": 0.9920673076923077
    },
    {
      "epoch": 0.39466666666666667,
      "grad_norm": 1.359375,
      "learning_rate": 1.856887886966166e-05,
      "loss": 0.022315359115600585,
      "step": 740,
      "token_acc": 0.9910800385728061
    },
    {
      "epoch": 0.4,
      "grad_norm": 2.125,
      "learning_rate": 1.8524031298185114e-05,
      "loss": 0.02025478482246399,
      "step": 750,
      "token_acc": 0.9923076923076923
    },
    {
      "epoch": 0.4053333333333333,
      "grad_norm": 0.59765625,
      "learning_rate": 1.8478547729105898e-05,
      "loss": 0.01826128214597702,
      "step": 760,
      "token_acc": 0.9928005759539237
    },
    {
      "epoch": 0.4106666666666667,
      "grad_norm": 2.34375,
      "learning_rate": 1.8432431556057832e-05,
      "loss": 0.018927228450775147,
      "step": 770,
      "token_acc": 0.9920501084076127
    },
    {
      "epoch": 0.416,
      "grad_norm": 1.6796875,
      "learning_rate": 1.838568621987478e-05,
      "loss": 0.019689281284809113,
      "step": 780,
      "token_acc": 0.9923187710033605
    },
    {
      "epoch": 0.42133333333333334,
      "grad_norm": 1.0390625,
      "learning_rate": 1.8338315208333904e-05,
      "loss": 0.019245265424251555,
      "step": 790,
      "token_acc": 0.9921109251733206
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 3.15625,
      "learning_rate": 1.8290322055895454e-05,
      "loss": 0.029564368724822997,
      "step": 800,
      "token_acc": 0.9883692755027865
    },
    {
      "epoch": 0.432,
      "grad_norm": 1.8203125,
      "learning_rate": 1.8241710343439042e-05,
      "loss": 0.019276759028434752,
      "step": 810,
      "token_acc": 0.9908960229995208
    },
    {
      "epoch": 0.43733333333333335,
      "grad_norm": 1.8671875,
      "learning_rate": 1.8192483697996473e-05,
      "loss": 0.02783963978290558,
      "step": 820,
      "token_acc": 0.9889103182256509
    },
    {
      "epoch": 0.44266666666666665,
      "grad_norm": 1.109375,
      "learning_rate": 1.814264579248111e-05,
      "loss": 0.021492433547973634,
      "step": 830,
      "token_acc": 0.9923408329344183
    },
    {
      "epoch": 0.448,
      "grad_norm": 1.90625,
      "learning_rate": 1.809220034541384e-05,
      "loss": 0.018139883875846863,
      "step": 840,
      "token_acc": 0.9913565426170469
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 1.9765625,
      "learning_rate": 1.8041151120645622e-05,
      "loss": 0.01825737953186035,
      "step": 850,
      "token_acc": 0.9932789246279404
    },
    {
      "epoch": 0.45866666666666667,
      "grad_norm": 1.0078125,
      "learning_rate": 1.7989501927076663e-05,
      "loss": 0.019094854593276978,
      "step": 860,
      "token_acc": 0.9921109251733206
    },
    {
      "epoch": 0.464,
      "grad_norm": 2.4375,
      "learning_rate": 1.793725661837223e-05,
      "loss": 0.016404467821121215,
      "step": 870,
      "token_acc": 0.9937649880095923
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 0.625,
      "learning_rate": 1.7884419092675104e-05,
      "loss": 0.01613576114177704,
      "step": 880,
      "token_acc": 0.9940033581194531
    },
    {
      "epoch": 0.4746666666666667,
      "grad_norm": 1.15625,
      "learning_rate": 1.7830993292314736e-05,
      "loss": 0.02038634419441223,
      "step": 890,
      "token_acc": 0.9923518164435946
    },
    {
      "epoch": 0.48,
      "grad_norm": 2.78125,
      "learning_rate": 1.7776983203513113e-05,
      "loss": 0.022456066310405733,
      "step": 900,
      "token_acc": 0.9901014002897152
    },
    {
      "epoch": 0.48533333333333334,
      "grad_norm": 1.640625,
      "learning_rate": 1.7722392856087326e-05,
      "loss": 0.020150689780712126,
      "step": 910,
      "token_acc": 0.9925748502994012
    },
    {
      "epoch": 0.49066666666666664,
      "grad_norm": 0.78515625,
      "learning_rate": 1.7667226323148894e-05,
      "loss": 0.020665311813354494,
      "step": 920,
      "token_acc": 0.9916167664670659
    },
    {
      "epoch": 0.496,
      "grad_norm": 1.9140625,
      "learning_rate": 1.7611487720799868e-05,
      "loss": 0.02016124427318573,
      "step": 930,
      "token_acc": 0.9916267942583732
    },
    {
      "epoch": 0.5013333333333333,
      "grad_norm": 2.21875,
      "learning_rate": 1.7555181207825712e-05,
      "loss": 0.02833055853843689,
      "step": 940,
      "token_acc": 0.9886801541425819
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 0.91015625,
      "learning_rate": 1.749831098538501e-05,
      "loss": 0.01865219920873642,
      "step": 950,
      "token_acc": 0.9929816069699903
    },
    {
      "epoch": 0.512,
      "grad_norm": 1.4765625,
      "learning_rate": 1.744088129669601e-05,
      "loss": 0.015682655572891235,
      "step": 960,
      "token_acc": 0.9940334128878282
    },
    {
      "epoch": 0.5173333333333333,
      "grad_norm": 2.171875,
      "learning_rate": 1.7382896426720025e-05,
      "loss": 0.01739872097969055,
      "step": 970,
      "token_acc": 0.9930238152513832
    },
    {
      "epoch": 0.5226666666666666,
      "grad_norm": 2.328125,
      "learning_rate": 1.732436070184172e-05,
      "loss": 0.021472826600074768,
      "step": 980,
      "token_acc": 0.9922965816080885
    },
    {
      "epoch": 0.528,
      "grad_norm": 1.40625,
      "learning_rate": 1.726527848954631e-05,
      "loss": 0.02006145417690277,
      "step": 990,
      "token_acc": 0.9905910735826297
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 1.140625,
      "learning_rate": 1.72056541980937e-05,
      "loss": 0.01847991794347763,
      "step": 1000,
      "token_acc": 0.9911462072266093
    },
    {
      "epoch": 0.5386666666666666,
      "grad_norm": 1.3515625,
      "learning_rate": 1.7145492276189565e-05,
      "loss": 0.01983983814716339,
      "step": 1010,
      "token_acc": 0.9906295050456512
    },
    {
      "epoch": 0.544,
      "grad_norm": 2.25,
      "learning_rate": 1.7084797212653427e-05,
      "loss": 0.020782938599586485,
      "step": 1020,
      "token_acc": 0.9922928709055877
    },
    {
      "epoch": 0.5493333333333333,
      "grad_norm": 2.40625,
      "learning_rate": 1.7023573536083734e-05,
      "loss": 0.017258843779563902,
      "step": 1030,
      "token_acc": 0.9934545454545455
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 1.3046875,
      "learning_rate": 1.6961825814519976e-05,
      "loss": 0.020492631196975707,
      "step": 1040,
      "token_acc": 0.9898477157360406
    },
    {
      "epoch": 0.56,
      "grad_norm": 0.9296875,
      "learning_rate": 1.6899558655101832e-05,
      "loss": 0.018405696749687193,
      "step": 1050,
      "token_acc": 0.9937694704049844
    },
    {
      "epoch": 0.5653333333333334,
      "grad_norm": 1.1953125,
      "learning_rate": 1.683677670372544e-05,
      "loss": 0.02100014090538025,
      "step": 1060,
      "token_acc": 0.9916347992351816
    },
    {
      "epoch": 0.5706666666666667,
      "grad_norm": 1.671875,
      "learning_rate": 1.6773484644696764e-05,
      "loss": 0.01713407039642334,
      "step": 1070,
      "token_acc": 0.9932708483537611
    },
    {
      "epoch": 0.576,
      "grad_norm": 2.390625,
      "learning_rate": 1.6709687200382057e-05,
      "loss": 0.018759623169898987,
      "step": 1080,
      "token_acc": 0.9932659932659933
    },
    {
      "epoch": 0.5813333333333334,
      "grad_norm": 1.4921875,
      "learning_rate": 1.6645389130855547e-05,
      "loss": 0.02089170664548874,
      "step": 1090,
      "token_acc": 0.9915905814512254
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 1.6796875,
      "learning_rate": 1.658059523354425e-05,
      "loss": 0.023786291480064392,
      "step": 1100,
      "token_acc": 0.9910735826296743
    },
    {
      "epoch": 0.592,
      "grad_norm": 2.328125,
      "learning_rate": 1.6515310342870038e-05,
      "loss": 0.02250564396381378,
      "step": 1110,
      "token_acc": 0.9894179894179894
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 1.03125,
      "learning_rate": 1.6449539329888934e-05,
      "loss": 0.018116173148155213,
      "step": 1120,
      "token_acc": 0.9922761284093652
    },
    {
      "epoch": 0.6026666666666667,
      "grad_norm": 1.984375,
      "learning_rate": 1.638328710192766e-05,
      "loss": 0.015691110491752626,
      "step": 1130,
      "token_acc": 0.9942501197891711
    },
    {
      "epoch": 0.608,
      "grad_norm": 1.953125,
      "learning_rate": 1.63165586022175e-05,
      "loss": 0.020994681119918823,
      "step": 1140,
      "token_acc": 0.9935158501440923
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 1.9296875,
      "learning_rate": 1.6249358809525457e-05,
      "loss": 0.021514520049095154,
      "step": 1150,
      "token_acc": 0.9916187739463601
    },
    {
      "epoch": 0.6186666666666667,
      "grad_norm": 1.078125,
      "learning_rate": 1.6181692737782806e-05,
      "loss": 0.019446739554405214,
      "step": 1160,
      "token_acc": 0.9911462072266093
    },
    {
      "epoch": 0.624,
      "grad_norm": 25.875,
      "learning_rate": 1.6113565435710975e-05,
      "loss": 0.02417919337749481,
      "step": 1170,
      "token_acc": 0.9889049686444766
    },
    {
      "epoch": 0.6293333333333333,
      "grad_norm": 1.203125,
      "learning_rate": 1.6044981986444827e-05,
      "loss": 0.016394074261188506,
      "step": 1180,
      "token_acc": 0.9947077219148425
    },
    {
      "epoch": 0.6346666666666667,
      "grad_norm": 1.765625,
      "learning_rate": 1.597594750715344e-05,
      "loss": 0.025788456201553345,
      "step": 1190,
      "token_acc": 0.9900918318028032
    },
    {
      "epoch": 0.64,
      "grad_norm": 1.5390625,
      "learning_rate": 1.590646714865828e-05,
      "loss": 0.02058074176311493,
      "step": 1200,
      "token_acc": 0.9913419913419913
    },
    {
      "epoch": 0.6453333333333333,
      "grad_norm": 1.2109375,
      "learning_rate": 1.5836546095048873e-05,
      "loss": 0.02075360417366028,
      "step": 1210,
      "token_acc": 0.9903614457831326
    },
    {
      "epoch": 0.6506666666666666,
      "grad_norm": 2.15625,
      "learning_rate": 1.5766189563296027e-05,
      "loss": 0.01986580789089203,
      "step": 1220,
      "token_acc": 0.991866028708134
    },
    {
      "epoch": 0.656,
      "grad_norm": 1.0390625,
      "learning_rate": 1.5695402802862586e-05,
      "loss": 0.020870494842529296,
      "step": 1230,
      "token_acc": 0.9921052631578947
    },
    {
      "epoch": 0.6613333333333333,
      "grad_norm": 0.98828125,
      "learning_rate": 1.5624191095311736e-05,
      "loss": 0.01600797474384308,
      "step": 1240,
      "token_acc": 0.9934593023255814
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 1.828125,
      "learning_rate": 1.5552559753912952e-05,
      "loss": 0.018866974115371703,
      "step": 1250,
      "token_acc": 0.9932853717026379
    },
    {
      "epoch": 0.672,
      "grad_norm": 1.203125,
      "learning_rate": 1.5480514123245557e-05,
      "loss": 0.014872387051582336,
      "step": 1260,
      "token_acc": 0.9934782608695653
    },
    {
      "epoch": 0.6773333333333333,
      "grad_norm": 1.3515625,
      "learning_rate": 1.540805957879994e-05,
      "loss": 0.01863376349210739,
      "step": 1270,
      "token_acc": 0.9929799080125877
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 1.234375,
      "learning_rate": 1.5335201526576505e-05,
      "loss": 0.017441746592521668,
      "step": 1280,
      "token_acc": 0.9937469937469937
    },
    {
      "epoch": 0.688,
      "grad_norm": 0.7890625,
      "learning_rate": 1.5261945402682292e-05,
      "loss": 0.015908092260360718,
      "step": 1290,
      "token_acc": 0.9935189630340855
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 1.4296875,
      "learning_rate": 1.5188296672925378e-05,
      "loss": 0.01847825348377228,
      "step": 1300,
      "token_acc": 0.9921033740129217
    },
    {
      "epoch": 0.6986666666666667,
      "grad_norm": 1.3125,
      "learning_rate": 1.511426083240708e-05,
      "loss": 0.020309022068977355,
      "step": 1310,
      "token_acc": 0.9918776875298615
    },
    {
      "epoch": 0.704,
      "grad_norm": 1.109375,
      "learning_rate": 1.503984340511193e-05,
      "loss": 0.015028844773769378,
      "step": 1320,
      "token_acc": 0.9934687953555879
    },
    {
      "epoch": 0.7093333333333334,
      "grad_norm": 1.6640625,
      "learning_rate": 1.496504994349554e-05,
      "loss": 0.020722246170043944,
      "step": 1330,
      "token_acc": 0.9917993246502653
    },
    {
      "epoch": 0.7146666666666667,
      "grad_norm": 2.765625,
      "learning_rate": 1.4889886028070295e-05,
      "loss": 0.01873396784067154,
      "step": 1340,
      "token_acc": 0.9920787325972156
    },
    {
      "epoch": 0.72,
      "grad_norm": 2.828125,
      "learning_rate": 1.4814357266989e-05,
      "loss": 0.015888297557830812,
      "step": 1350,
      "token_acc": 0.9925801819052178
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 1.6015625,
      "learning_rate": 1.4738469295626435e-05,
      "loss": 0.021275366842746734,
      "step": 1360,
      "token_acc": 0.9901299951853635
    },
    {
      "epoch": 0.7306666666666667,
      "grad_norm": 2.359375,
      "learning_rate": 1.4662227776158877e-05,
      "loss": 0.019410797953605653,
      "step": 1370,
      "token_acc": 0.991321118611379
    },
    {
      "epoch": 0.736,
      "grad_norm": 1.625,
      "learning_rate": 1.4585638397141657e-05,
      "loss": 0.01648997813463211,
      "step": 1380,
      "token_acc": 0.9937769267592149
    },
    {
      "epoch": 0.7413333333333333,
      "grad_norm": 2.015625,
      "learning_rate": 1.4508706873084691e-05,
      "loss": 0.016959480941295624,
      "step": 1390,
      "token_acc": 0.9930572180991142
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 2.609375,
      "learning_rate": 1.4431438944026135e-05,
      "loss": 0.0224549800157547,
      "step": 1400,
      "token_acc": 0.9907990314769975
    },
    {
      "epoch": 0.752,
      "grad_norm": 0.8671875,
      "learning_rate": 1.4353840375104093e-05,
      "loss": 0.020980487763881683,
      "step": 1410,
      "token_acc": 0.9906429942418427
    },
    {
      "epoch": 0.7573333333333333,
      "grad_norm": 1.46875,
      "learning_rate": 1.4275916956126475e-05,
      "loss": 0.018121670186519622,
      "step": 1420,
      "token_acc": 0.9928281137939278
    },
    {
      "epoch": 0.7626666666666667,
      "grad_norm": 1.453125,
      "learning_rate": 1.4197674501138993e-05,
      "loss": 0.01867426037788391,
      "step": 1430,
      "token_acc": 0.9937634924442312
    },
    {
      "epoch": 0.768,
      "grad_norm": 1.1484375,
      "learning_rate": 1.411911884799138e-05,
      "loss": 0.02212289273738861,
      "step": 1440,
      "token_acc": 0.9910972088546679
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 1.125,
      "learning_rate": 1.4040255857901797e-05,
      "loss": 0.0170156791806221,
      "step": 1450,
      "token_acc": 0.9925641640681219
    },
    {
      "epoch": 0.7786666666666666,
      "grad_norm": 2.453125,
      "learning_rate": 1.3961091415019525e-05,
      "loss": 0.01638861894607544,
      "step": 1460,
      "token_acc": 0.992320614350852
    },
    {
      "epoch": 0.784,
      "grad_norm": 1.921875,
      "learning_rate": 1.3881631425985935e-05,
      "loss": 0.01728953719139099,
      "step": 1470,
      "token_acc": 0.993993272465161
    },
    {
      "epoch": 0.7893333333333333,
      "grad_norm": 3.0625,
      "learning_rate": 1.3801881819493772e-05,
      "loss": 0.01775331199169159,
      "step": 1480,
      "token_acc": 0.9929900894367899
    },
    {
      "epoch": 0.7946666666666666,
      "grad_norm": 1.2265625,
      "learning_rate": 1.3721848545844812e-05,
      "loss": 0.01741935908794403,
      "step": 1490,
      "token_acc": 0.9929934766851897
    },
    {
      "epoch": 0.8,
      "grad_norm": 2.46875,
      "learning_rate": 1.3641537576505882e-05,
      "loss": 0.015620550513267517,
      "step": 1500,
      "token_acc": 0.9935205183585313
    },
    {
      "epoch": 0.8053333333333333,
      "grad_norm": 1.5546875,
      "learning_rate": 1.3560954903663333e-05,
      "loss": 0.01380889117717743,
      "step": 1510,
      "token_acc": 0.9932595089070775
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 1.359375,
      "learning_rate": 1.3480106539775935e-05,
      "loss": 0.015630985796451568,
      "step": 1520,
      "token_acc": 0.9935018050541516
    },
    {
      "epoch": 0.816,
      "grad_norm": 1.6484375,
      "learning_rate": 1.3398998517126275e-05,
      "loss": 0.02101683020591736,
      "step": 1530,
      "token_acc": 0.9911100432484382
    },
    {
      "epoch": 0.8213333333333334,
      "grad_norm": 1.3125,
      "learning_rate": 1.3317636887370695e-05,
      "loss": 0.016578157246112824,
      "step": 1540,
      "token_acc": 0.9917775090689238
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 2.015625,
      "learning_rate": 1.3236027721087724e-05,
      "loss": 0.020927420258522032,
      "step": 1550,
      "token_acc": 0.990118100747168
    },
    {
      "epoch": 0.832,
      "grad_norm": 1.6484375,
      "learning_rate": 1.3154177107325174e-05,
      "loss": 0.016280189156532288,
      "step": 1560,
      "token_acc": 0.9930388862217955
    },
    {
      "epoch": 0.8373333333333334,
      "grad_norm": 1.5390625,
      "learning_rate": 1.307209115314581e-05,
      "loss": 0.01498023122549057,
      "step": 1570,
      "token_acc": 0.9932676124068286
    },
    {
      "epoch": 0.8426666666666667,
      "grad_norm": 1.203125,
      "learning_rate": 1.2989775983171688e-05,
      "loss": 0.01635483354330063,
      "step": 1580,
      "token_acc": 0.9932448733413751
    },
    {
      "epoch": 0.848,
      "grad_norm": 1.328125,
      "learning_rate": 1.2907237739127174e-05,
      "loss": 0.01580911874771118,
      "step": 1590,
      "token_acc": 0.9927606177606177
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 2.703125,
      "learning_rate": 1.2824482579380715e-05,
      "loss": 0.017236483097076417,
      "step": 1600,
      "token_acc": 0.9939990398463754
    },
    {
      "epoch": 0.8586666666666667,
      "grad_norm": 1.234375,
      "learning_rate": 1.274151667848533e-05,
      "loss": 0.013278999924659729,
      "step": 1610,
      "token_acc": 0.9952164553934465
    },
    {
      "epoch": 0.864,
      "grad_norm": 0.78515625,
      "learning_rate": 1.2658346226717917e-05,
      "loss": 0.01357889622449875,
      "step": 1620,
      "token_acc": 0.9937439846005774
    },
    {
      "epoch": 0.8693333333333333,
      "grad_norm": 1.4453125,
      "learning_rate": 1.25749774296174e-05,
      "loss": 0.019012153148651123,
      "step": 1630,
      "token_acc": 0.992816091954023
    },
    {
      "epoch": 0.8746666666666667,
      "grad_norm": 1.9296875,
      "learning_rate": 1.2491416507521692e-05,
      "loss": 0.01692788451910019,
      "step": 1640,
      "token_acc": 0.993006993006993
    },
    {
      "epoch": 0.88,
      "grad_norm": 1.5625,
      "learning_rate": 1.2407669695103602e-05,
      "loss": 0.01657618284225464,
      "step": 1650,
      "token_acc": 0.9930622009569378
    },
    {
      "epoch": 0.8853333333333333,
      "grad_norm": 1.25,
      "learning_rate": 1.2323743240905634e-05,
      "loss": 0.014970755577087403,
      "step": 1660,
      "token_acc": 0.9937243543326092
    },
    {
      "epoch": 0.8906666666666667,
      "grad_norm": 1.03125,
      "learning_rate": 1.223964340687379e-05,
      "loss": 0.015818938612937927,
      "step": 1670,
      "token_acc": 0.9932692307692308
    },
    {
      "epoch": 0.896,
      "grad_norm": 0.96875,
      "learning_rate": 1.2155376467890341e-05,
      "loss": 0.02039675712585449,
      "step": 1680,
      "token_acc": 0.9917874396135266
    },
    {
      "epoch": 0.9013333333333333,
      "grad_norm": 0.91015625,
      "learning_rate": 1.207094871130563e-05,
      "loss": 0.016360247135162355,
      "step": 1690,
      "token_acc": 0.991813147122562
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 1.0078125,
      "learning_rate": 1.1986366436468986e-05,
      "loss": 0.017489761114120483,
      "step": 1700,
      "token_acc": 0.992519305019305
    },
    {
      "epoch": 0.912,
      "grad_norm": 1.8203125,
      "learning_rate": 1.1901635954258688e-05,
      "loss": 0.02098821699619293,
      "step": 1710,
      "token_acc": 0.9916127486220944
    },
    {
      "epoch": 0.9173333333333333,
      "grad_norm": 1.578125,
      "learning_rate": 1.1816763586611121e-05,
      "loss": 0.015266384184360503,
      "step": 1720,
      "token_acc": 0.9927884615384616
    },
    {
      "epoch": 0.9226666666666666,
      "grad_norm": 1.578125,
      "learning_rate": 1.1731755666049058e-05,
      "loss": 0.017502057552337646,
      "step": 1730,
      "token_acc": 0.994256999282125
    },
    {
      "epoch": 0.928,
      "grad_norm": 1.6640625,
      "learning_rate": 1.16466185352092e-05,
      "loss": 0.01726265549659729,
      "step": 1740,
      "token_acc": 0.9923169267707083
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 2.078125,
      "learning_rate": 1.1561358546368907e-05,
      "loss": 0.015200915932655334,
      "step": 1750,
      "token_acc": 0.9925211097708082
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 0.77734375,
      "learning_rate": 1.1475982060972273e-05,
      "loss": 0.019084087014198302,
      "step": 1760,
      "token_acc": 0.9923132356473697
    },
    {
      "epoch": 0.944,
      "grad_norm": 1.0546875,
      "learning_rate": 1.1390495449155461e-05,
      "loss": 0.019373241066932678,
      "step": 1770,
      "token_acc": 0.9918288872867099
    },
    {
      "epoch": 0.9493333333333334,
      "grad_norm": 1.3046875,
      "learning_rate": 1.1304905089271419e-05,
      "loss": 0.019359979033470153,
      "step": 1780,
      "token_acc": 0.9923150816522575
    },
    {
      "epoch": 0.9546666666666667,
      "grad_norm": 1.2265625,
      "learning_rate": 1.1219217367413979e-05,
      "loss": 0.01616174578666687,
      "step": 1790,
      "token_acc": 0.9928143712574851
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.98828125,
      "learning_rate": 1.1133438676941376e-05,
      "loss": 0.016984623670578004,
      "step": 1800,
      "token_acc": 0.9930271699927867
    },
    {
      "epoch": 0.9653333333333334,
      "grad_norm": 1.0703125,
      "learning_rate": 1.1047575417999222e-05,
      "loss": 0.01455014944076538,
      "step": 1810,
      "token_acc": 0.9932627526467758
    },
    {
      "epoch": 0.9706666666666667,
      "grad_norm": 1.5625,
      "learning_rate": 1.0961633997042972e-05,
      "loss": 0.013113033771514893,
      "step": 1820,
      "token_acc": 0.9945094294581046
    },
    {
      "epoch": 0.976,
      "grad_norm": 0.60546875,
      "learning_rate": 1.0875620826359939e-05,
      "loss": 0.014685747027397156,
      "step": 1830,
      "token_acc": 0.9929679922405431
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 2.578125,
      "learning_rate": 1.0789542323590839e-05,
      "loss": 0.017240770161151886,
      "step": 1840,
      "token_acc": 0.9937590014402304
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 2.703125,
      "learning_rate": 1.0703404911250963e-05,
      "loss": 0.01656486988067627,
      "step": 1850,
      "token_acc": 0.9937530033637674
    },
    {
      "epoch": 0.992,
      "grad_norm": 1.703125,
      "learning_rate": 1.0617215016250996e-05,
      "loss": 0.01589758098125458,
      "step": 1860,
      "token_acc": 0.9944524843222383
    },
    {
      "epoch": 0.9973333333333333,
      "grad_norm": 2.734375,
      "learning_rate": 1.0530979069417463e-05,
      "loss": 0.015091650187969208,
      "step": 1870,
      "token_acc": 0.9942252165543792
    },
    {
      "epoch": 1.0026666666666666,
      "grad_norm": 0.71484375,
      "learning_rate": 1.044470350501292e-05,
      "loss": 0.00926424264907837,
      "step": 1880,
      "token_acc": 0.9962396590624216
    },
    {
      "epoch": 1.008,
      "grad_norm": 1.46875,
      "learning_rate": 1.0358394760255891e-05,
      "loss": 0.004853641241788864,
      "step": 1890,
      "token_acc": 0.9983091787439613
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 0.2578125,
      "learning_rate": 1.0272059274840555e-05,
      "loss": 0.006672994792461395,
      "step": 1900,
      "token_acc": 0.9980852082336046
    },
    {
      "epoch": 1.0186666666666666,
      "grad_norm": 1.0,
      "learning_rate": 1.0185703490456281e-05,
      "loss": 0.00521823950111866,
      "step": 1910,
      "token_acc": 0.998324958123953
    },
    {
      "epoch": 1.024,
      "grad_norm": 0.11767578125,
      "learning_rate": 1.0099333850306979e-05,
      "loss": 0.0029520409181714056,
      "step": 1920,
      "token_acc": 0.9992800575953924
    },
    {
      "epoch": 1.0293333333333334,
      "grad_norm": 0.50390625,
      "learning_rate": 1.001295679863038e-05,
      "loss": 0.005888096615672111,
      "step": 1930,
      "token_acc": 0.9980838323353294
    },
    {
      "epoch": 1.0346666666666666,
      "grad_norm": 1.1328125,
      "learning_rate": 9.926578780217198e-06,
      "loss": 0.006349328905344009,
      "step": 1940,
      "token_acc": 0.9990412272291467
    },
    {
      "epoch": 1.04,
      "grad_norm": 4.59375,
      "learning_rate": 9.840206239930286e-06,
      "loss": 0.007245439291000366,
      "step": 1950,
      "token_acc": 0.99712368168744
    },
    {
      "epoch": 1.0453333333333332,
      "grad_norm": 0.1767578125,
      "learning_rate": 9.753845622223758e-06,
      "loss": 0.005397027730941773,
      "step": 1960,
      "token_acc": 0.9983164983164983
    },
    {
      "epoch": 1.0506666666666666,
      "grad_norm": 0.130859375,
      "learning_rate": 9.66750337066215e-06,
      "loss": 0.008311130106449127,
      "step": 1970,
      "token_acc": 0.9961547704878635
    },
    {
      "epoch": 1.056,
      "grad_norm": 0.92578125,
      "learning_rate": 9.581185927439665e-06,
      "loss": 0.0037665631622076034,
      "step": 1980,
      "token_acc": 0.9987992315081652
    },
    {
      "epoch": 1.0613333333333332,
      "grad_norm": 3.171875,
      "learning_rate": 9.4948997328995e-06,
      "loss": 0.005160611867904663,
      "step": 1990,
      "token_acc": 0.9975822050290135
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 3.0,
      "learning_rate": 9.408651225053313e-06,
      "loss": 0.008499051630496978,
      "step": 2000,
      "token_acc": 0.9978354978354979
    },
    {
      "epoch": 1.072,
      "grad_norm": 0.44140625,
      "learning_rate": 9.32244683910087e-06,
      "loss": 0.0035781636834144592,
      "step": 2010,
      "token_acc": 0.9983136593591906
    },
    {
      "epoch": 1.0773333333333333,
      "grad_norm": 1.890625,
      "learning_rate": 9.236293006949901e-06,
      "loss": 0.0061306580901145935,
      "step": 2020,
      "token_acc": 0.9968884633796075
    },
    {
      "epoch": 1.0826666666666667,
      "grad_norm": 1.7265625,
      "learning_rate": 9.150196156736205e-06,
      "loss": 0.006732334196567535,
      "step": 2030,
      "token_acc": 0.9980750721847931
    },
    {
      "epoch": 1.088,
      "grad_norm": 1.8046875,
      "learning_rate": 9.064162712344015e-06,
      "loss": 0.005464298278093338,
      "step": 2040,
      "token_acc": 0.9968576262992507
    },
    {
      "epoch": 1.0933333333333333,
      "grad_norm": 3.546875,
      "learning_rate": 8.978199092926726e-06,
      "loss": 0.007541795819997787,
      "step": 2050,
      "token_acc": 0.9976133651551312
    },
    {
      "epoch": 1.0986666666666667,
      "grad_norm": 1.609375,
      "learning_rate": 8.892311712427924e-06,
      "loss": 0.004805643856525421,
      "step": 2060,
      "token_acc": 0.9985594237695078
    },
    {
      "epoch": 1.104,
      "grad_norm": 1.6875,
      "learning_rate": 8.806506979102834e-06,
      "loss": 0.0038967303931713103,
      "step": 2070,
      "token_acc": 0.9983177120884402
    },
    {
      "epoch": 1.1093333333333333,
      "grad_norm": 2.40625,
      "learning_rate": 8.720791295040175e-06,
      "loss": 0.006791643053293228,
      "step": 2080,
      "token_acc": 0.9973627427475426
    },
    {
      "epoch": 1.1146666666666667,
      "grad_norm": 0.03466796875,
      "learning_rate": 8.63517105568451e-06,
      "loss": 0.010593726485967635,
      "step": 2090,
      "token_acc": 0.9963968292097045
    },
    {
      "epoch": 1.12,
      "grad_norm": 0.61328125,
      "learning_rate": 8.549652649359053e-06,
      "loss": 0.008941850066184998,
      "step": 2100,
      "token_acc": 0.9973551334455398
    },
    {
      "epoch": 1.1253333333333333,
      "grad_norm": 0.52734375,
      "learning_rate": 8.46424245678901e-06,
      "loss": 0.002381850406527519,
      "step": 2110,
      "token_acc": 0.9997611084567606
    },
    {
      "epoch": 1.1306666666666667,
      "grad_norm": 1.078125,
      "learning_rate": 8.37894685062551e-06,
      "loss": 0.004864877089858055,
      "step": 2120,
      "token_acc": 0.9978380975258228
    },
    {
      "epoch": 1.1360000000000001,
      "grad_norm": 1.5859375,
      "learning_rate": 8.293772194970137e-06,
      "loss": 0.006302349269390106,
      "step": 2130,
      "token_acc": 0.9971167707832773
    },
    {
      "epoch": 1.1413333333333333,
      "grad_norm": 1.03125,
      "learning_rate": 8.208724844900078e-06,
      "loss": 0.006415116786956787,
      "step": 2140,
      "token_acc": 0.9975996159385502
    },
    {
      "epoch": 1.1466666666666667,
      "grad_norm": 0.333984375,
      "learning_rate": 8.123811145993943e-06,
      "loss": 0.004534322023391724,
      "step": 2150,
      "token_acc": 0.9985569985569985
    },
    {
      "epoch": 1.152,
      "grad_norm": 0.81640625,
      "learning_rate": 8.039037433858334e-06,
      "loss": 0.0036215364933013918,
      "step": 2160,
      "token_acc": 0.9985611510791367
    },
    {
      "epoch": 1.1573333333333333,
      "grad_norm": 2.53125,
      "learning_rate": 7.95441003365512e-06,
      "loss": 0.0054457664489746095,
      "step": 2170,
      "token_acc": 0.9983189241114313
    },
    {
      "epoch": 1.1626666666666667,
      "grad_norm": 1.21875,
      "learning_rate": 7.869935259629486e-06,
      "loss": 0.002699613384902477,
      "step": 2180,
      "token_acc": 0.9987931450639633
    },
    {
      "epoch": 1.168,
      "grad_norm": 0.427734375,
      "learning_rate": 7.785619414638836e-06,
      "loss": 0.0033791519701480864,
      "step": 2190,
      "token_acc": 0.9985538684020245
    },
    {
      "epoch": 1.1733333333333333,
      "grad_norm": 0.384765625,
      "learning_rate": 7.701468789682511e-06,
      "loss": 0.006151729822158813,
      "step": 2200,
      "token_acc": 0.9975874547647768
    },
    {
      "epoch": 1.1786666666666668,
      "grad_norm": 1.34375,
      "learning_rate": 7.6174896634324135e-06,
      "loss": 0.0063545525074005125,
      "step": 2210,
      "token_acc": 0.9973690504663956
    },
    {
      "epoch": 1.184,
      "grad_norm": 2.53125,
      "learning_rate": 7.533688301764511e-06,
      "loss": 0.007921293377876282,
      "step": 2220,
      "token_acc": 0.9976070830342187
    },
    {
      "epoch": 1.1893333333333334,
      "grad_norm": 0.01483154296875,
      "learning_rate": 7.450070957291366e-06,
      "loss": 0.002941630594432354,
      "step": 2230,
      "token_acc": 0.9990403071017274
    },
    {
      "epoch": 1.1946666666666665,
      "grad_norm": 1.6796875,
      "learning_rate": 7.3666438688955885e-06,
      "loss": 0.003889225795865059,
      "step": 2240,
      "token_acc": 0.9983265598852499
    },
    {
      "epoch": 1.2,
      "grad_norm": 2.4375,
      "learning_rate": 7.283413261264341e-06,
      "loss": 0.009336037933826447,
      "step": 2250,
      "token_acc": 0.9964037401102853
    },
    {
      "epoch": 1.2053333333333334,
      "grad_norm": 0.1552734375,
      "learning_rate": 7.200385344424908e-06,
      "loss": 0.0049955971539020535,
      "step": 2260,
      "token_acc": 0.9978271366489618
    },
    {
      "epoch": 1.2106666666666666,
      "grad_norm": 0.96875,
      "learning_rate": 7.117566313281346e-06,
      "loss": 0.006457388401031494,
      "step": 2270,
      "token_acc": 0.9973532242540905
    },
    {
      "epoch": 1.216,
      "grad_norm": 0.5078125,
      "learning_rate": 7.03496234715227e-06,
      "loss": 0.00416189506649971,
      "step": 2280,
      "token_acc": 0.9980755352417608
    },
    {
      "epoch": 1.2213333333333334,
      "grad_norm": 0.197265625,
      "learning_rate": 6.952579609309793e-06,
      "loss": 0.002200193703174591,
      "step": 2290,
      "token_acc": 0.9990400767938565
    },
    {
      "epoch": 1.2266666666666666,
      "grad_norm": 0.1416015625,
      "learning_rate": 6.870424246519682e-06,
      "loss": 0.002812638506293297,
      "step": 2300,
      "token_acc": 0.9992804029743344
    },
    {
      "epoch": 1.232,
      "grad_norm": 0.1015625,
      "learning_rate": 6.788502388582727e-06,
      "loss": 0.004387106746435165,
      "step": 2310,
      "token_acc": 0.9983169031017072
    },
    {
      "epoch": 1.2373333333333334,
      "grad_norm": 2.34375,
      "learning_rate": 6.706820147877388e-06,
      "loss": 0.0042403869330883024,
      "step": 2320,
      "token_acc": 0.9983156881616939
    },
    {
      "epoch": 1.2426666666666666,
      "grad_norm": 1.2734375,
      "learning_rate": 6.625383618903718e-06,
      "loss": 0.003984439373016358,
      "step": 2330,
      "token_acc": 0.9983104030895487
    },
    {
      "epoch": 1.248,
      "grad_norm": 4.40625,
      "learning_rate": 6.5441988778286625e-06,
      "loss": 0.011166787147521973,
      "step": 2340,
      "token_acc": 0.9971139971139971
    },
    {
      "epoch": 1.2533333333333334,
      "grad_norm": 0.88671875,
      "learning_rate": 6.463271982032695e-06,
      "loss": 0.005804238468408584,
      "step": 2350,
      "token_acc": 0.9983148772267694
    },
    {
      "epoch": 1.2586666666666666,
      "grad_norm": 0.64453125,
      "learning_rate": 6.382608969657847e-06,
      "loss": 0.009684956073760987,
      "step": 2360,
      "token_acc": 0.9968929254302104
    },
    {
      "epoch": 1.264,
      "grad_norm": 2.75,
      "learning_rate": 6.302215859157208e-06,
      "loss": 0.005170706287026405,
      "step": 2370,
      "token_acc": 0.9980727535533607
    },
    {
      "epoch": 1.2693333333333334,
      "grad_norm": 0.65625,
      "learning_rate": 6.22209864884587e-06,
      "loss": 0.005149983614683151,
      "step": 2380,
      "token_acc": 0.9976065102920058
    },
    {
      "epoch": 1.2746666666666666,
      "grad_norm": 1.0546875,
      "learning_rate": 6.142263316453376e-06,
      "loss": 0.004198073223233223,
      "step": 2390,
      "token_acc": 0.9985583853916387
    },
    {
      "epoch": 1.28,
      "grad_norm": 2.734375,
      "learning_rate": 6.062715818677696e-06,
      "loss": 0.00775875523686409,
      "step": 2400,
      "token_acc": 0.9971098265895953
    },
    {
      "epoch": 1.2853333333333334,
      "grad_norm": 0.83203125,
      "learning_rate": 5.983462090740811e-06,
      "loss": 0.0033920254558324815,
      "step": 2410,
      "token_acc": 0.999279711884754
    },
    {
      "epoch": 1.2906666666666666,
      "grad_norm": 0.7421875,
      "learning_rate": 5.904508045945854e-06,
      "loss": 0.005340686440467835,
      "step": 2420,
      "token_acc": 0.9971284996410624
    },
    {
      "epoch": 1.296,
      "grad_norm": 1.0546875,
      "learning_rate": 5.825859575235904e-06,
      "loss": 0.004911442846059799,
      "step": 2430,
      "token_acc": 0.9983112183353438
    },
    {
      "epoch": 1.3013333333333335,
      "grad_norm": 1.046875,
      "learning_rate": 5.747522546754456e-06,
      "loss": 0.004845966398715973,
      "step": 2440,
      "token_acc": 0.9973519499277804
    },
    {
      "epoch": 1.3066666666666666,
      "grad_norm": 2.0,
      "learning_rate": 5.669502805407592e-06,
      "loss": 0.004123274236917496,
      "step": 2450,
      "token_acc": 0.9985576923076923
    },
    {
      "epoch": 1.312,
      "grad_norm": 1.6484375,
      "learning_rate": 5.591806172427858e-06,
      "loss": 0.0051461681723594666,
      "step": 2460,
      "token_acc": 0.9985652797704447
    },
    {
      "epoch": 1.3173333333333335,
      "grad_norm": 0.421875,
      "learning_rate": 5.514438444939947e-06,
      "loss": 0.004213321581482887,
      "step": 2470,
      "token_acc": 0.9985524728588661
    },
    {
      "epoch": 1.3226666666666667,
      "grad_norm": 0.5625,
      "learning_rate": 5.437405395528148e-06,
      "loss": 0.002550625242292881,
      "step": 2480,
      "token_acc": 0.9990379990379991
    },
    {
      "epoch": 1.328,
      "grad_norm": 1.9921875,
      "learning_rate": 5.36071277180567e-06,
      "loss": 0.0048110231757164,
      "step": 2490,
      "token_acc": 0.9975973089860644
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 1.59375,
      "learning_rate": 5.284366295985741e-06,
      "loss": 0.0039034508168697356,
      "step": 2500,
      "token_acc": 0.9985604606525912
    },
    {
      "epoch": 1.3386666666666667,
      "grad_norm": 0.5703125,
      "learning_rate": 5.208371664454737e-06,
      "loss": 0.006703800708055496,
      "step": 2510,
      "token_acc": 0.9980833732630571
    },
    {
      "epoch": 1.3439999999999999,
      "grad_norm": 0.1630859375,
      "learning_rate": 5.132734547347088e-06,
      "loss": 0.004545541480183601,
      "step": 2520,
      "token_acc": 0.998081074598225
    },
    {
      "epoch": 1.3493333333333333,
      "grad_norm": 2.265625,
      "learning_rate": 5.057460588122276e-06,
      "loss": 0.006165074557065964,
      "step": 2530,
      "token_acc": 0.997837578087458
    },
    {
      "epoch": 1.3546666666666667,
      "grad_norm": 0.41015625,
      "learning_rate": 4.98255540314372e-06,
      "loss": 0.0034597426652908324,
      "step": 2540,
      "token_acc": 0.9987966305655837
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 4.46875,
      "learning_rate": 4.908024581259744e-06,
      "loss": 0.008379907160997391,
      "step": 2550,
      "token_acc": 0.997597886139803
    },
    {
      "epoch": 1.3653333333333333,
      "grad_norm": 2.265625,
      "learning_rate": 4.833873683386596e-06,
      "loss": 0.004962638020515442,
      "step": 2560,
      "token_acc": 0.9980759980759981
    },
    {
      "epoch": 1.3706666666666667,
      "grad_norm": 1.6875,
      "learning_rate": 4.760108242093493e-06,
      "loss": 0.004094836115837097,
      "step": 2570,
      "token_acc": 0.9988023952095808
    },
    {
      "epoch": 1.376,
      "grad_norm": 0.201171875,
      "learning_rate": 4.686733761189872e-06,
      "loss": 0.003802131861448288,
      "step": 2580,
      "token_acc": 0.9985524728588661
    },
    {
      "epoch": 1.3813333333333333,
      "grad_norm": 0.30078125,
      "learning_rate": 4.613755715314701e-06,
      "loss": 0.004577885195612907,
      "step": 2590,
      "token_acc": 0.9983213429256594
    },
    {
      "epoch": 1.3866666666666667,
      "grad_norm": 0.71484375,
      "learning_rate": 4.541179549528032e-06,
      "loss": 0.006140761077404022,
      "step": 2600,
      "token_acc": 0.9978417266187051
    },
    {
      "epoch": 1.392,
      "grad_norm": 1.15625,
      "learning_rate": 4.469010678904694e-06,
      "loss": 0.005562315881252289,
      "step": 2610,
      "token_acc": 0.9968629343629344
    },
    {
      "epoch": 1.3973333333333333,
      "grad_norm": 0.08203125,
      "learning_rate": 4.397254488130313e-06,
      "loss": 0.006752446293830872,
      "step": 2620,
      "token_acc": 0.9976036424634556
    },
    {
      "epoch": 1.4026666666666667,
      "grad_norm": 0.48828125,
      "learning_rate": 4.3259163310995e-06,
      "loss": 0.004103198274970054,
      "step": 2630,
      "token_acc": 0.9985514244326412
    },
    {
      "epoch": 1.408,
      "grad_norm": 0.61328125,
      "learning_rate": 4.255001530516425e-06,
      "loss": 0.003177974745631218,
      "step": 2640,
      "token_acc": 0.9988035415171094
    },
    {
      "epoch": 1.4133333333333333,
      "grad_norm": 0.3671875,
      "learning_rate": 4.184515377497643e-06,
      "loss": 0.0040819644927978516,
      "step": 2650,
      "token_acc": 0.9988012467034284
    },
    {
      "epoch": 1.4186666666666667,
      "grad_norm": 1.15625,
      "learning_rate": 4.11446313117733e-06,
      "loss": 0.006515056639909744,
      "step": 2660,
      "token_acc": 0.9985507246376811
    },
    {
      "epoch": 1.424,
      "grad_norm": 2.296875,
      "learning_rate": 4.044850018314896e-06,
      "loss": 0.008263874053955077,
      "step": 2670,
      "token_acc": 0.9973696795791487
    },
    {
      "epoch": 1.4293333333333333,
      "grad_norm": 0.228515625,
      "learning_rate": 3.975681232904971e-06,
      "loss": 0.004042870551347733,
      "step": 2680,
      "token_acc": 0.9985587316838818
    },
    {
      "epoch": 1.4346666666666668,
      "grad_norm": 1.015625,
      "learning_rate": 3.906961935789914e-06,
      "loss": 0.0033185966312885284,
      "step": 2690,
      "token_acc": 0.9992764109985528
    },
    {
      "epoch": 1.44,
      "grad_norm": 0.37109375,
      "learning_rate": 3.838697254274708e-06,
      "loss": 0.005210072547197342,
      "step": 2700,
      "token_acc": 0.9978297564504461
    },
    {
      "epoch": 1.4453333333333334,
      "grad_norm": 0.8984375,
      "learning_rate": 3.7708922817444382e-06,
      "loss": 0.004422234743833542,
      "step": 2710,
      "token_acc": 0.9980764606876653
    },
    {
      "epoch": 1.4506666666666668,
      "grad_norm": 1.3515625,
      "learning_rate": 3.7035520772842216e-06,
      "loss": 0.003228164464235306,
      "step": 2720,
      "token_acc": 0.9987974987974988
    },
    {
      "epoch": 1.456,
      "grad_norm": 0.85546875,
      "learning_rate": 3.636681665301779e-06,
      "loss": 0.00462164580821991,
      "step": 2730,
      "token_acc": 0.9980648282535075
    },
    {
      "epoch": 1.4613333333333334,
      "grad_norm": 1.4453125,
      "learning_rate": 3.5702860351525216e-06,
      "loss": 0.004252329096198082,
      "step": 2740,
      "token_acc": 0.9988026819923371
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 2.25,
      "learning_rate": 3.504370140767297e-06,
      "loss": 0.0034693241119384765,
      "step": 2750,
      "token_acc": 0.9987896393125151
    },
    {
      "epoch": 1.472,
      "grad_norm": 1.3671875,
      "learning_rate": 3.438938900282768e-06,
      "loss": 0.005826358124613762,
      "step": 2760,
      "token_acc": 0.9983144714664098
    },
    {
      "epoch": 1.4773333333333334,
      "grad_norm": 0.1552734375,
      "learning_rate": 3.3739971956744444e-06,
      "loss": 0.006960628926753998,
      "step": 2770,
      "token_acc": 0.9975944190522011
    },
    {
      "epoch": 1.4826666666666668,
      "grad_norm": 0.5625,
      "learning_rate": 3.3095498723924514e-06,
      "loss": 0.0032369595021009443,
      "step": 2780,
      "token_acc": 0.9985552612569227
    },
    {
      "epoch": 1.488,
      "grad_norm": 2.0,
      "learning_rate": 3.245601738999964e-06,
      "loss": 0.00596727654337883,
      "step": 2790,
      "token_acc": 0.9980787704130644
    },
    {
      "epoch": 1.4933333333333334,
      "grad_norm": 2.296875,
      "learning_rate": 3.182157566814471e-06,
      "loss": 0.0037505336105823515,
      "step": 2800,
      "token_acc": 0.9990407673860912
    },
    {
      "epoch": 1.4986666666666666,
      "grad_norm": 0.32421875,
      "learning_rate": 3.1192220895517434e-06,
      "loss": 0.005509653314948082,
      "step": 2810,
      "token_acc": 0.9983095870562666
    },
    {
      "epoch": 1.504,
      "grad_norm": 3.09375,
      "learning_rate": 3.056800002972655e-06,
      "loss": 0.005837666988372803,
      "step": 2820,
      "token_acc": 0.9978323699421965
    },
    {
      "epoch": 1.5093333333333332,
      "grad_norm": 2.78125,
      "learning_rate": 2.994895964532818e-06,
      "loss": 0.005459493398666382,
      "step": 2830,
      "token_acc": 0.9983253588516746
    },
    {
      "epoch": 1.5146666666666668,
      "grad_norm": 1.3125,
      "learning_rate": 2.9335145930350852e-06,
      "loss": 0.001859320141375065,
      "step": 2840,
      "token_acc": 0.9990300678952473
    },
    {
      "epoch": 1.52,
      "grad_norm": 0.2216796875,
      "learning_rate": 2.8726604682849192e-06,
      "loss": 0.003423035144805908,
      "step": 2850,
      "token_acc": 0.9978380975258228
    },
    {
      "epoch": 1.5253333333333332,
      "grad_norm": 2.5,
      "learning_rate": 2.8123381307486875e-06,
      "loss": 0.007793290168046951,
      "step": 2860,
      "token_acc": 0.9968824940047961
    },
    {
      "epoch": 1.5306666666666666,
      "grad_norm": 1.09375,
      "learning_rate": 2.752552081214899e-06,
      "loss": 0.0038124389946460726,
      "step": 2870,
      "token_acc": 0.9985601151907847
    },
    {
      "epoch": 1.536,
      "grad_norm": 1.65625,
      "learning_rate": 2.693306780458369e-06,
      "loss": 0.0020717747509479524,
      "step": 2880,
      "token_acc": 0.9987951807228915
    },
    {
      "epoch": 1.5413333333333332,
      "grad_norm": 0.1474609375,
      "learning_rate": 2.6346066489074083e-06,
      "loss": 0.0018467091023921967,
      "step": 2890,
      "token_acc": 0.9995200383969283
    },
    {
      "epoch": 1.5466666666666666,
      "grad_norm": 0.279296875,
      "learning_rate": 2.576456066313989e-06,
      "loss": 0.005197260528802872,
      "step": 2900,
      "token_acc": 0.9973715651135006
    },
    {
      "epoch": 1.552,
      "grad_norm": 0.451171875,
      "learning_rate": 2.518859371426985e-06,
      "loss": 0.0031303077936172484,
      "step": 2910,
      "token_acc": 0.9988012467034284
    },
    {
      "epoch": 1.5573333333333332,
      "grad_norm": 0.88671875,
      "learning_rate": 2.4618208616684213e-06,
      "loss": 0.0031688179820775985,
      "step": 2920,
      "token_acc": 0.9990426041168023
    },
    {
      "epoch": 1.5626666666666666,
      "grad_norm": 1.1328125,
      "learning_rate": 2.405344792812847e-06,
      "loss": 0.004901519417762757,
      "step": 2930,
      "token_acc": 0.9985535197685632
    },
    {
      "epoch": 1.568,
      "grad_norm": 1.7109375,
      "learning_rate": 2.3494353786698e-06,
      "loss": 0.003883931040763855,
      "step": 2940,
      "token_acc": 0.9985576923076923
    },
    {
      "epoch": 1.5733333333333333,
      "grad_norm": 0.78515625,
      "learning_rate": 2.294096790769411e-06,
      "loss": 0.002903797477483749,
      "step": 2950,
      "token_acc": 0.9988000959923207
    },
    {
      "epoch": 1.5786666666666667,
      "grad_norm": 0.72265625,
      "learning_rate": 2.239333158051147e-06,
      "loss": 0.0052621312439441684,
      "step": 2960,
      "token_acc": 0.9980796927508402
    },
    {
      "epoch": 1.584,
      "grad_norm": 2.0625,
      "learning_rate": 2.185148566555738e-06,
      "loss": 0.0045540638267993925,
      "step": 2970,
      "token_acc": 0.9983173076923076
    },
    {
      "epoch": 1.5893333333333333,
      "grad_norm": 2.671875,
      "learning_rate": 2.131547059120329e-06,
      "loss": 0.0034696806222200395,
      "step": 2980,
      "token_acc": 0.9980680994928761
    },
    {
      "epoch": 1.5946666666666667,
      "grad_norm": 0.375,
      "learning_rate": 2.0785326350768085e-06,
      "loss": 0.005480880290269852,
      "step": 2990,
      "token_acc": 0.9980847498204453
    },
    {
      "epoch": 1.6,
      "grad_norm": 0.1865234375,
      "learning_rate": 2.0261092499534287e-06,
      "loss": 0.0024819549173116682,
      "step": 3000,
      "token_acc": 0.9992753623188406
    },
    {
      "epoch": 1.6053333333333333,
      "grad_norm": 0.126953125,
      "learning_rate": 1.974280815179659e-06,
      "loss": 0.005214349180459976,
      "step": 3010,
      "token_acc": 0.9987992315081652
    },
    {
      "epoch": 1.6106666666666667,
      "grad_norm": 2.03125,
      "learning_rate": 1.9230511977943646e-06,
      "loss": 0.0028021618723869323,
      "step": 3020,
      "token_acc": 0.9987974987974988
    },
    {
      "epoch": 1.616,
      "grad_norm": 0.8828125,
      "learning_rate": 1.8724242201572585e-06,
      "loss": 0.002719448506832123,
      "step": 3030,
      "token_acc": 0.9985563041385948
    },
    {
      "epoch": 1.6213333333333333,
      "grad_norm": 1.3671875,
      "learning_rate": 1.822403659663715e-06,
      "loss": 0.001963297836482525,
      "step": 3040,
      "token_acc": 0.9995184204189742
    },
    {
      "epoch": 1.6266666666666667,
      "grad_norm": 1.1171875,
      "learning_rate": 1.7729932484629298e-06,
      "loss": 0.007073329389095306,
      "step": 3050,
      "token_acc": 0.9973513123043583
    },
    {
      "epoch": 1.6320000000000001,
      "grad_norm": 2.765625,
      "learning_rate": 1.724196673179458e-06,
      "loss": 0.006209851428866387,
      "step": 3060,
      "token_acc": 0.9978391356542617
    },
    {
      "epoch": 1.6373333333333333,
      "grad_norm": 0.96875,
      "learning_rate": 1.6760175746381402e-06,
      "loss": 0.0023255087435245514,
      "step": 3070,
      "token_acc": 0.9995188838104402
    },
    {
      "epoch": 1.6426666666666667,
      "grad_norm": 0.5234375,
      "learning_rate": 1.6284595475924547e-06,
      "loss": 0.005354274809360504,
      "step": 3080,
      "token_acc": 0.9985576923076923
    },
    {
      "epoch": 1.6480000000000001,
      "grad_norm": 0.162109375,
      "learning_rate": 1.5815261404563066e-06,
      "loss": 0.00551719069480896,
      "step": 3090,
      "token_acc": 0.998088867654085
    },
    {
      "epoch": 1.6533333333333333,
      "grad_norm": 3.015625,
      "learning_rate": 1.5352208550392745e-06,
      "loss": 0.003801211714744568,
      "step": 3100,
      "token_acc": 0.9980764606876653
    },
    {
      "epoch": 1.6586666666666665,
      "grad_norm": 0.40234375,
      "learning_rate": 1.489547146285325e-06,
      "loss": 0.0029349761083722115,
      "step": 3110,
      "token_acc": 0.9985535197685632
    },
    {
      "epoch": 1.6640000000000001,
      "grad_norm": 2.421875,
      "learning_rate": 1.4445084220150341e-06,
      "loss": 0.005994468182325363,
      "step": 3120,
      "token_acc": 0.9975816203143894
    },
    {
      "epoch": 1.6693333333333333,
      "grad_norm": 3.421875,
      "learning_rate": 1.4001080426713332e-06,
      "loss": 0.004013296961784363,
      "step": 3130,
      "token_acc": 0.9985608059486687
    },
    {
      "epoch": 1.6746666666666665,
      "grad_norm": 2.703125,
      "learning_rate": 1.3563493210687527e-06,
      "loss": 0.005458477884531021,
      "step": 3140,
      "token_acc": 0.9983201343892488
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 0.88671875,
      "learning_rate": 1.3132355221462778e-06,
      "loss": 0.004872192442417145,
      "step": 3150,
      "token_acc": 0.9980755352417608
    },
    {
      "epoch": 1.6853333333333333,
      "grad_norm": 3.234375,
      "learning_rate": 1.2707698627237152e-06,
      "loss": 0.0033847920596599577,
      "step": 3160,
      "token_acc": 0.998795761078998
    },
    {
      "epoch": 1.6906666666666665,
      "grad_norm": 1.640625,
      "learning_rate": 1.2289555112617024e-06,
      "loss": 0.0032213889062404633,
      "step": 3170,
      "token_acc": 0.999277108433735
    },
    {
      "epoch": 1.696,
      "grad_norm": 2.3125,
      "learning_rate": 1.1877955876252779e-06,
      "loss": 0.004248654469847679,
      "step": 3180,
      "token_acc": 0.9983156881616939
    },
    {
      "epoch": 1.7013333333333334,
      "grad_norm": 1.390625,
      "learning_rate": 1.147293162851123e-06,
      "loss": 0.008833888173103332,
      "step": 3190,
      "token_acc": 0.996867469879518
    },
    {
      "epoch": 1.7066666666666666,
      "grad_norm": 1.0390625,
      "learning_rate": 1.1074512589184105e-06,
      "loss": 0.004553095623850823,
      "step": 3200,
      "token_acc": 0.9978234582829504
    },
    {
      "epoch": 1.712,
      "grad_norm": 1.546875,
      "learning_rate": 1.0682728485233306e-06,
      "loss": 0.0025400497019290925,
      "step": 3210,
      "token_acc": 0.9990396158463385
    },
    {
      "epoch": 1.7173333333333334,
      "grad_norm": 0.435546875,
      "learning_rate": 1.0297608548573002e-06,
      "loss": 0.00552871935069561,
      "step": 3220,
      "token_acc": 0.9985510746196571
    },
    {
      "epoch": 1.7226666666666666,
      "grad_norm": 1.609375,
      "learning_rate": 9.91918151388841e-07,
      "loss": 0.007216790318489074,
      "step": 3230,
      "token_acc": 0.997834977146981
    },
    {
      "epoch": 1.728,
      "grad_norm": 1.7265625,
      "learning_rate": 9.547475616492008e-07,
      "loss": 0.003866948187351227,
      "step": 3240,
      "token_acc": 0.9987974987974988
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 2.21875,
      "learning_rate": 9.182518590216616e-07,
      "loss": 0.004370670020580292,
      "step": 3250,
      "token_acc": 0.9988083889418494
    },
    {
      "epoch": 1.7386666666666666,
      "grad_norm": 1.7890625,
      "learning_rate": 8.824337665346372e-07,
      "loss": 0.004827927052974701,
      "step": 3260,
      "token_acc": 0.9990400767938565
    },
    {
      "epoch": 1.744,
      "grad_norm": 1.1875,
      "learning_rate": 8.472959566584804e-07,
      "loss": 0.004777887836098671,
      "step": 3270,
      "token_acc": 0.9980815347721822
    },
    {
      "epoch": 1.7493333333333334,
      "grad_norm": 0.578125,
      "learning_rate": 8.128410511061002e-07,
      "loss": 0.0018575575202703476,
      "step": 3280,
      "token_acc": 0.9995191151719163
    },
    {
      "epoch": 1.7546666666666666,
      "grad_norm": 0.296875,
      "learning_rate": 7.790716206373283e-07,
      "loss": 0.00343349426984787,
      "step": 3290,
      "token_acc": 0.9987977879297908
    },
    {
      "epoch": 1.76,
      "grad_norm": 4.40625,
      "learning_rate": 7.459901848671347e-07,
      "loss": 0.004643554985523224,
      "step": 3300,
      "token_acc": 0.9980750721847931
    },
    {
      "epoch": 1.7653333333333334,
      "grad_norm": 2.375,
      "learning_rate": 7.135992120776159e-07,
      "loss": 0.006345170736312866,
      "step": 3310,
      "token_acc": 0.9973614775725593
    },
    {
      "epoch": 1.7706666666666666,
      "grad_norm": 0.1708984375,
      "learning_rate": 6.819011190338309e-07,
      "loss": 0.004708114266395569,
      "step": 3320,
      "token_acc": 0.9971243709561467
    },
    {
      "epoch": 1.776,
      "grad_norm": 1.6328125,
      "learning_rate": 6.508982708034962e-07,
      "loss": 0.005871200561523437,
      "step": 3330,
      "token_acc": 0.9975868725868726
    },
    {
      "epoch": 1.7813333333333334,
      "grad_norm": 0.068359375,
      "learning_rate": 6.205929805805e-07,
      "loss": 0.004391339421272278,
      "step": 3340,
      "token_acc": 0.9983169031017072
    },
    {
      "epoch": 1.7866666666666666,
      "grad_norm": 1.90625,
      "learning_rate": 5.90987509512333e-07,
      "loss": 0.0028297567740082743,
      "step": 3350,
      "token_acc": 0.9987948903350204
    },
    {
      "epoch": 1.792,
      "grad_norm": 1.5078125,
      "learning_rate": 5.620840665313554e-07,
      "loss": 0.0036468330770730974,
      "step": 3360,
      "token_acc": 0.9983116256632899
    },
    {
      "epoch": 1.7973333333333334,
      "grad_norm": 1.2109375,
      "learning_rate": 5.338848081900062e-07,
      "loss": 0.005594483017921448,
      "step": 3370,
      "token_acc": 0.998563562365334
    },
    {
      "epoch": 1.8026666666666666,
      "grad_norm": 0.1962890625,
      "learning_rate": 5.063918384998801e-07,
      "loss": 0.002733568102121353,
      "step": 3380,
      "token_acc": 0.9990377676208805
    },
    {
      "epoch": 1.808,
      "grad_norm": 1.625,
      "learning_rate": 4.796072087747506e-07,
      "loss": 0.00883147269487381,
      "step": 3390,
      "token_acc": 0.9975862901279267
    },
    {
      "epoch": 1.8133333333333335,
      "grad_norm": 0.166015625,
      "learning_rate": 4.5353291747751605e-07,
      "loss": 0.005349083244800568,
      "step": 3400,
      "token_acc": 0.9985621854780733
    },
    {
      "epoch": 1.8186666666666667,
      "grad_norm": 1.859375,
      "learning_rate": 4.281709100710907e-07,
      "loss": 0.004085775464773178,
      "step": 3410,
      "token_acc": 0.9985601151907847
    },
    {
      "epoch": 1.8239999999999998,
      "grad_norm": 1.625,
      "learning_rate": 4.035230788732447e-07,
      "loss": 0.003792187198996544,
      "step": 3420,
      "token_acc": 0.9987843423292001
    },
    {
      "epoch": 1.8293333333333335,
      "grad_norm": 0.90234375,
      "learning_rate": 3.7959126291541635e-07,
      "loss": 0.004388328641653061,
      "step": 3430,
      "token_acc": 0.9980718245360328
    },
    {
      "epoch": 1.8346666666666667,
      "grad_norm": 1.8359375,
      "learning_rate": 3.5637724780550386e-07,
      "loss": 0.004762783646583557,
      "step": 3440,
      "token_acc": 0.9980806142034548
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 0.984375,
      "learning_rate": 3.338827655946253e-07,
      "loss": 0.004710916429758072,
      "step": 3450,
      "token_acc": 0.998324557204404
    },
    {
      "epoch": 1.8453333333333335,
      "grad_norm": 0.1845703125,
      "learning_rate": 3.121094946478942e-07,
      "loss": 0.00310780368745327,
      "step": 3460,
      "token_acc": 0.9987977879297908
    },
    {
      "epoch": 1.8506666666666667,
      "grad_norm": 0.05908203125,
      "learning_rate": 2.910590595191898e-07,
      "loss": 0.003157524764537811,
      "step": 3470,
      "token_acc": 0.9983185202978622
    },
    {
      "epoch": 1.8559999999999999,
      "grad_norm": 0.474609375,
      "learning_rate": 2.707330308299516e-07,
      "loss": 0.00519019179046154,
      "step": 3480,
      "token_acc": 0.9985538684020245
    },
    {
      "epoch": 1.8613333333333333,
      "grad_norm": 2.875,
      "learning_rate": 2.5113292515198007e-07,
      "loss": 0.004100662097334862,
      "step": 3490,
      "token_acc": 0.9987995198079231
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 1.671875,
      "learning_rate": 2.3226020489429235e-07,
      "loss": 0.00834677368402481,
      "step": 3500,
      "token_acc": 0.9971333014811276
    },
    {
      "epoch": 1.8719999999999999,
      "grad_norm": 0.59375,
      "learning_rate": 2.1411627819400317e-07,
      "loss": 0.005914821475744248,
      "step": 3510,
      "token_acc": 0.9978281853281853
    },
    {
      "epoch": 1.8773333333333333,
      "grad_norm": 1.71875,
      "learning_rate": 1.9670249881126202e-07,
      "loss": 0.004040413722395897,
      "step": 3520,
      "token_acc": 0.9983177120884402
    },
    {
      "epoch": 1.8826666666666667,
      "grad_norm": 0.8359375,
      "learning_rate": 1.8002016602824634e-07,
      "loss": 0.003570510447025299,
      "step": 3530,
      "token_acc": 0.9985594237695078
    },
    {
      "epoch": 1.888,
      "grad_norm": 2.0625,
      "learning_rate": 1.6407052455221562e-07,
      "loss": 0.006800946593284607,
      "step": 3540,
      "token_acc": 0.9973576747537833
    },
    {
      "epoch": 1.8933333333333333,
      "grad_norm": 1.3984375,
      "learning_rate": 1.4885476442264902e-07,
      "loss": 0.005493031442165374,
      "step": 3550,
      "token_acc": 0.9983225497244189
    },
    {
      "epoch": 1.8986666666666667,
      "grad_norm": 1.1796875,
      "learning_rate": 1.3437402092244533e-07,
      "loss": 0.004691895842552185,
      "step": 3560,
      "token_acc": 0.9983185202978622
    },
    {
      "epoch": 1.904,
      "grad_norm": 0.03857421875,
      "learning_rate": 1.2062937449321854e-07,
      "loss": 0.002638164907693863,
      "step": 3570,
      "token_acc": 0.9985621854780733
    },
    {
      "epoch": 1.9093333333333333,
      "grad_norm": 1.0859375,
      "learning_rate": 1.0762185065468889e-07,
      "loss": 0.0054055720567703245,
      "step": 3580,
      "token_acc": 0.9973627427475426
    },
    {
      "epoch": 1.9146666666666667,
      "grad_norm": 2.40625,
      "learning_rate": 9.535241992816191e-08,
      "loss": 0.009028273820877075,
      "step": 3590,
      "token_acc": 0.997114691031498
    },
    {
      "epoch": 1.92,
      "grad_norm": 1.78125,
      "learning_rate": 8.382199776411526e-08,
      "loss": 0.00407477468252182,
      "step": 3600,
      "token_acc": 0.9980792316926771
    },
    {
      "epoch": 1.9253333333333333,
      "grad_norm": 1.421875,
      "learning_rate": 7.303144447389554e-08,
      "loss": 0.003363639488816261,
      "step": 3610,
      "token_acc": 0.9987925621830476
    },
    {
      "epoch": 1.9306666666666668,
      "grad_norm": 2.734375,
      "learning_rate": 6.298156516552966e-08,
      "loss": 0.002769722230732441,
      "step": 3620,
      "token_acc": 0.9990363767766803
    },
    {
      "epoch": 1.936,
      "grad_norm": 0.53515625,
      "learning_rate": 5.3673109683656245e-08,
      "loss": 0.0032248608767986298,
      "step": 3630,
      "token_acc": 0.999275887038378
    },
    {
      "epoch": 1.9413333333333334,
      "grad_norm": 1.484375,
      "learning_rate": 4.510677255357143e-08,
      "loss": 0.002857924811542034,
      "step": 3640,
      "token_acc": 0.999273607748184
    },
    {
      "epoch": 1.9466666666666668,
      "grad_norm": 1.0625,
      "learning_rate": 3.7283192929412624e-08,
      "loss": 0.003569948300719261,
      "step": 3650,
      "token_acc": 0.9983173076923076
    },
    {
      "epoch": 1.952,
      "grad_norm": 1.1796875,
      "learning_rate": 3.020295454647104e-08,
      "loss": 0.0055261336266994475,
      "step": 3660,
      "token_acc": 0.9983213429256594
    },
    {
      "epoch": 1.9573333333333334,
      "grad_norm": 2.015625,
      "learning_rate": 2.3866585677635445e-08,
      "loss": 0.00529012456536293,
      "step": 3670,
      "token_acc": 0.9983156881616939
    },
    {
      "epoch": 1.9626666666666668,
      "grad_norm": 0.71484375,
      "learning_rate": 1.827455909397813e-08,
      "loss": 0.0030386311933398246,
      "step": 3680,
      "token_acc": 0.9990391544559212
    },
    {
      "epoch": 1.968,
      "grad_norm": 0.47265625,
      "learning_rate": 1.3427292029476458e-08,
      "loss": 0.004317119717597961,
      "step": 3690,
      "token_acc": 0.9987916868052199
    },
    {
      "epoch": 1.9733333333333334,
      "grad_norm": 1.2421875,
      "learning_rate": 9.325146149888887e-09,
      "loss": 0.0020676439628005026,
      "step": 3700,
      "token_acc": 0.9992704280155642
    },
    {
      "epoch": 1.9786666666666668,
      "grad_norm": 0.33203125,
      "learning_rate": 5.96842752576543e-09,
      "loss": 0.00551963597536087,
      "step": 3710,
      "token_acc": 0.9971291866028709
    },
    {
      "epoch": 1.984,
      "grad_norm": 1.7578125,
      "learning_rate": 3.3573866096114903e-09,
      "loss": 0.00279228575527668,
      "step": 3720,
      "token_acc": 0.9985639061752034
    },
    {
      "epoch": 1.9893333333333332,
      "grad_norm": 1.6875,
      "learning_rate": 1.4922182172016908e-09,
      "loss": 0.005330391228199005,
      "step": 3730,
      "token_acc": 0.9980741454020221
    },
    {
      "epoch": 1.9946666666666668,
      "grad_norm": 1.734375,
      "learning_rate": 3.7306151304483675e-10,
      "loss": 0.004098391160368919,
      "step": 3740,
      "token_acc": 0.9987937273823885
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.045654296875,
      "learning_rate": 0.0,
      "loss": 0.006149080768227577,
      "step": 3750,
      "token_acc": 0.9972527472527473
    }
  ],
  "logging_steps": 10,
  "max_steps": 3750,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 2,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 1.6689320719024128e+18,
  "train_batch_size": 8,
  "trial_name": null,
  "trial_params": null
}