{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 2.0,
  "eval_steps": 500.0,
  "global_step": 3750,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0005333333333333334,
      "grad_norm": 161.0,
      "learning_rate": 1.7699115044247788e-07,
      "loss": 3.0240771770477295,
      "step": 1,
      "token_acc": 0.6939782823297137
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 87.0,
      "learning_rate": 1.769911504424779e-06,
      "loss": 3.004603491889106,
      "step": 10,
      "token_acc": 0.7050248481501933
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 68.0,
      "learning_rate": 3.539823008849558e-06,
      "loss": 2.3852081298828125,
      "step": 20,
      "token_acc": 0.7311625136503525
    },
    {
      "epoch": 0.016,
      "grad_norm": 18.875,
      "learning_rate": 5.309734513274337e-06,
      "loss": 1.2473203659057617,
      "step": 30,
      "token_acc": 0.7757027912983013
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 9.875,
      "learning_rate": 7.079646017699116e-06,
      "loss": 0.6646689414978028,
      "step": 40,
      "token_acc": 0.8279005251164173
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 11.0625,
      "learning_rate": 8.849557522123895e-06,
      "loss": 0.5340797901153564,
      "step": 50,
      "token_acc": 0.8438339802926247
    },
    {
      "epoch": 0.032,
      "grad_norm": 9.8125,
      "learning_rate": 1.0619469026548675e-05,
      "loss": 0.4082949638366699,
      "step": 60,
      "token_acc": 0.8741820345032718
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 7.875,
      "learning_rate": 1.2389380530973452e-05,
      "loss": 0.3634414911270142,
      "step": 70,
      "token_acc": 0.8817332538262771
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 11.0,
      "learning_rate": 1.4159292035398232e-05,
      "loss": 0.3220649480819702,
      "step": 80,
      "token_acc": 0.892123629112662
    },
    {
      "epoch": 0.048,
      "grad_norm": 13.0625,
      "learning_rate": 1.592920353982301e-05,
      "loss": 0.2919419288635254,
      "step": 90,
      "token_acc": 0.9004367679174111
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 7.96875,
      "learning_rate": 1.769911504424779e-05,
      "loss": 0.26521849632263184,
      "step": 100,
      "token_acc": 0.9107744107744108
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 7.8125,
      "learning_rate": 1.946902654867257e-05,
      "loss": 0.2592456340789795,
      "step": 110,
      "token_acc": 0.9109942448898591
    },
    {
      "epoch": 0.064,
      "grad_norm": 6.84375,
      "learning_rate": 1.9999817199278942e-05,
      "loss": 0.2438103199005127,
      "step": 120,
      "token_acc": 0.9153969526864475
    },
    {
      "epoch": 0.06933333333333333,
      "grad_norm": 8.125,
      "learning_rate": 1.9998921864897123e-05,
      "loss": 0.23656888008117677,
      "step": 130,
      "token_acc": 0.9230464494404278
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 7.8125,
      "learning_rate": 1.9997280487931355e-05,
      "loss": 0.2291872978210449,
      "step": 140,
      "token_acc": 0.9177441814203302
    },
    {
      "epoch": 0.08,
      "grad_norm": 10.6875,
      "learning_rate": 1.9994893190848556e-05,
      "loss": 0.2181375503540039,
      "step": 150,
      "token_acc": 0.922854002198461
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 9.5,
      "learning_rate": 1.999176015177046e-05,
      "loss": 0.22175416946411133,
      "step": 160,
      "token_acc": 0.9226727471002281
    },
    {
      "epoch": 0.09066666666666667,
      "grad_norm": 6.09375,
      "learning_rate": 1.998788160446032e-05,
      "loss": 0.2052232265472412,
      "step": 170,
      "token_acc": 0.9251984126984127
    },
    {
      "epoch": 0.096,
      "grad_norm": 7.375,
      "learning_rate": 1.9983257838305487e-05,
      "loss": 0.18906147480010987,
      "step": 180,
      "token_acc": 0.931604473918638
    },
    {
      "epoch": 0.10133333333333333,
      "grad_norm": 5.71875,
      "learning_rate": 1.9977889198295794e-05,
      "loss": 0.18642866611480713,
      "step": 190,
      "token_acc": 0.9307892628205128
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 7.1875,
      "learning_rate": 1.9971776084997844e-05,
      "loss": 0.19384456872940065,
      "step": 200,
      "token_acc": 0.9313900456077732
    },
    {
      "epoch": 0.112,
      "grad_norm": 6.3125,
      "learning_rate": 1.9964918954525086e-05,
      "loss": 0.1800537109375,
      "step": 210,
      "token_acc": 0.9341019779345989
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 5.96875,
      "learning_rate": 1.995731831850382e-05,
      "loss": 0.17389063835144042,
      "step": 220,
      "token_acc": 0.9366336633663367
    },
    {
      "epoch": 0.12266666666666666,
      "grad_norm": 7.1875,
      "learning_rate": 1.9948974744035002e-05,
      "loss": 0.18609018325805665,
      "step": 230,
      "token_acc": 0.931784032855855
    },
    {
      "epoch": 0.128,
      "grad_norm": 7.53125,
      "learning_rate": 1.9939888853651933e-05,
      "loss": 0.17286394834518432,
      "step": 240,
      "token_acc": 0.9370755093887335
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 9.3125,
      "learning_rate": 1.9930061325273812e-05,
      "loss": 0.17738854885101318,
      "step": 250,
      "token_acc": 0.9339761881334252
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 6.1875,
      "learning_rate": 1.9919492892155164e-05,
      "loss": 0.16766983270645142,
      "step": 260,
      "token_acc": 0.9368178632221889
    },
    {
      "epoch": 0.144,
      "grad_norm": 7.78125,
      "learning_rate": 1.990818434283112e-05,
      "loss": 0.1735897421836853,
      "step": 270,
      "token_acc": 0.9367403865311815
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 5.25,
      "learning_rate": 1.989613652105858e-05,
      "loss": 0.16657640933990478,
      "step": 280,
      "token_acc": 0.935840489586418
    },
    {
      "epoch": 0.15466666666666667,
      "grad_norm": 5.9375,
      "learning_rate": 1.9883350325753276e-05,
      "loss": 0.16750943660736084,
      "step": 290,
      "token_acc": 0.9378531073446328
    },
    {
      "epoch": 0.16,
      "grad_norm": 7.875,
      "learning_rate": 1.9869826710922676e-05,
      "loss": 0.15869977474212646,
      "step": 300,
      "token_acc": 0.9420132371826534
    },
    {
      "epoch": 0.16533333333333333,
      "grad_norm": 6.96875,
      "learning_rate": 1.9855566685594817e-05,
      "loss": 0.16268906593322754,
      "step": 310,
      "token_acc": 0.9363013017986684
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 5.375,
      "learning_rate": 1.984057131374303e-05,
      "loss": 0.1463162899017334,
      "step": 320,
      "token_acc": 0.9472634832020735
    },
    {
      "epoch": 0.176,
      "grad_norm": 6.375,
      "learning_rate": 1.982484171420654e-05,
      "loss": 0.16353240013122558,
      "step": 330,
      "token_acc": 0.9401197604790419
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 7.40625,
      "learning_rate": 1.980837906060698e-05,
      "loss": 0.16135379076004028,
      "step": 340,
      "token_acc": 0.9402807988926241
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 5.40625,
      "learning_rate": 1.979118458126085e-05,
      "loss": 0.15137779712677002,
      "step": 350,
      "token_acc": 0.9432553509208561
    },
    {
      "epoch": 0.192,
      "grad_norm": 5.15625,
      "learning_rate": 1.9773259559087838e-05,
      "loss": 0.15068085193634034,
      "step": 360,
      "token_acc": 0.93996003996004
    },
    {
      "epoch": 0.19733333333333333,
      "grad_norm": 5.9375,
      "learning_rate": 1.975460533151513e-05,
      "loss": 0.15066895484924317,
      "step": 370,
      "token_acc": 0.9436843148919294
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 6.15625,
      "learning_rate": 1.9735223290377595e-05,
      "loss": 0.14623867273330687,
      "step": 380,
      "token_acc": 0.9447365810100208
    },
    {
      "epoch": 0.208,
      "grad_norm": 5.375,
      "learning_rate": 1.971511488181395e-05,
      "loss": 0.15090563297271728,
      "step": 390,
      "token_acc": 0.941380678436818
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 5.6875,
      "learning_rate": 1.9694281606158864e-05,
      "loss": 0.151963472366333,
      "step": 400,
      "token_acc": 0.9443946188340807
    },
    {
      "epoch": 0.21866666666666668,
      "grad_norm": 6.1875,
      "learning_rate": 1.9672725017831003e-05,
      "loss": 0.14691494703292846,
      "step": 410,
      "token_acc": 0.9460314322427598
    },
    {
      "epoch": 0.224,
      "grad_norm": 5.375,
      "learning_rate": 1.9650446725217056e-05,
      "loss": 0.15266220569610595,
      "step": 420,
      "token_acc": 0.9427021696252466
    },
    {
      "epoch": 0.22933333333333333,
      "grad_norm": 5.6875,
      "learning_rate": 1.9627448390551736e-05,
      "loss": 0.1481661319732666,
      "step": 430,
      "token_acc": 0.9421021377672208
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 6.34375,
      "learning_rate": 1.9603731729793746e-05,
      "loss": 0.13831231594085694,
      "step": 440,
      "token_acc": 0.9506001388751116
    },
    {
      "epoch": 0.24,
      "grad_norm": 5.75,
      "learning_rate": 1.9579298512497758e-05,
      "loss": 0.14514718055725098,
      "step": 450,
      "token_acc": 0.9452938840349484
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 6.375,
      "learning_rate": 1.9554150561682374e-05,
      "loss": 0.14355964660644532,
      "step": 460,
      "token_acc": 0.946384409931744
    },
    {
      "epoch": 0.25066666666666665,
      "grad_norm": 6.84375,
      "learning_rate": 1.9528289753694108e-05,
      "loss": 0.14325175285339356,
      "step": 470,
      "token_acc": 0.9461576598909271
    },
    {
      "epoch": 0.256,
      "grad_norm": 6.0625,
      "learning_rate": 1.9501718018067395e-05,
      "loss": 0.1453178644180298,
      "step": 480,
      "token_acc": 0.9461149151533195
    },
    {
      "epoch": 0.2613333333333333,
      "grad_norm": 6.3125,
      "learning_rate": 1.9474437337380608e-05,
      "loss": 0.14968839883804322,
      "step": 490,
      "token_acc": 0.9441117764471058
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 5.34375,
      "learning_rate": 1.944644974710816e-05,
      "loss": 0.1389085054397583,
      "step": 500,
      "token_acc": 0.9453148388384393
    },
    {
      "epoch": 0.272,
      "grad_norm": 6.3125,
      "learning_rate": 1.9417757335468596e-05,
      "loss": 0.14659820795059203,
      "step": 510,
      "token_acc": 0.9444941808415398
    },
    {
      "epoch": 0.2773333333333333,
      "grad_norm": 5.03125,
      "learning_rate": 1.9388362243268823e-05,
      "loss": 0.13635566234588622,
      "step": 520,
      "token_acc": 0.9480803660234732
    },
    {
      "epoch": 0.2826666666666667,
      "grad_norm": 5.8125,
      "learning_rate": 1.935826666374435e-05,
      "loss": 0.12984724044799806,
      "step": 530,
      "token_acc": 0.9493569933207058
    },
    {
      "epoch": 0.288,
      "grad_norm": 5.0,
      "learning_rate": 1.9327472842395666e-05,
      "loss": 0.13808577060699462,
      "step": 540,
      "token_acc": 0.9476841380666732
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 5.46875,
      "learning_rate": 1.9295983076820687e-05,
      "loss": 0.13398956060409545,
      "step": 550,
      "token_acc": 0.9459513362584763
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 7.8125,
      "learning_rate": 1.9263799716543335e-05,
      "loss": 0.13375203609466552,
      "step": 560,
      "token_acc": 0.9468718967229395
    },
    {
      "epoch": 0.304,
      "grad_norm": 5.5625,
      "learning_rate": 1.9230925162838223e-05,
      "loss": 0.13835164308547973,
      "step": 570,
      "token_acc": 0.9464178806625424
    },
    {
      "epoch": 0.30933333333333335,
      "grad_norm": 5.0625,
      "learning_rate": 1.9197361868551498e-05,
      "loss": 0.12979514598846437,
      "step": 580,
      "token_acc": 0.951837140019861
    },
    {
      "epoch": 0.31466666666666665,
      "grad_norm": 5.59375,
      "learning_rate": 1.916311233791783e-05,
      "loss": 0.13770484924316406,
      "step": 590,
      "token_acc": 0.9471496437054632
    },
    {
      "epoch": 0.32,
      "grad_norm": 4.8125,
      "learning_rate": 1.912817912637357e-05,
      "loss": 0.1396735668182373,
      "step": 600,
      "token_acc": 0.9465330820355123
    },
    {
      "epoch": 0.3253333333333333,
      "grad_norm": 7.15625,
      "learning_rate": 1.909256484036606e-05,
      "loss": 0.13082077503204345,
      "step": 610,
      "token_acc": 0.951573133445113
    },
    {
      "epoch": 0.33066666666666666,
      "grad_norm": 5.53125,
      "learning_rate": 1.9056272137159187e-05,
      "loss": 0.12859055995941163,
      "step": 620,
      "token_acc": 0.9530718431058636
    },
    {
      "epoch": 0.336,
      "grad_norm": 5.15625,
      "learning_rate": 1.901930372463511e-05,
      "loss": 0.13520824909210205,
      "step": 630,
      "token_acc": 0.9505831191935165
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 5.75,
      "learning_rate": 1.8981662361092206e-05,
      "loss": 0.1334831714630127,
      "step": 640,
      "token_acc": 0.9487128712871287
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 5.84375,
      "learning_rate": 1.8943350855039288e-05,
      "loss": 0.1388801097869873,
      "step": 650,
      "token_acc": 0.9456208370613381
    },
    {
      "epoch": 0.352,
      "grad_norm": 4.875,
      "learning_rate": 1.8904372064986033e-05,
      "loss": 0.13052648305892944,
      "step": 660,
      "token_acc": 0.9508406253072461
    },
    {
      "epoch": 0.35733333333333334,
      "grad_norm": 5.65625,
      "learning_rate": 1.886472889922972e-05,
      "loss": 0.14282100200653075,
      "step": 670,
      "token_acc": 0.9462568170550322
    },
    {
      "epoch": 0.3626666666666667,
      "grad_norm": 4.84375,
      "learning_rate": 1.8824424315638233e-05,
      "loss": 0.12628421783447266,
      "step": 680,
      "token_acc": 0.9525287931897847
    },
    {
      "epoch": 0.368,
      "grad_norm": 5.21875,
      "learning_rate": 1.8783461321429356e-05,
      "loss": 0.12385869026184082,
      "step": 690,
      "token_acc": 0.9543329021987862
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 5.71875,
      "learning_rate": 1.874184297294641e-05,
      "loss": 0.13400530815124512,
      "step": 700,
      "token_acc": 0.9489755321265169
    },
    {
      "epoch": 0.37866666666666665,
      "grad_norm": 6.5625,
      "learning_rate": 1.8699572375430206e-05,
      "loss": 0.12999823093414306,
      "step": 710,
      "token_acc": 0.9485221186272565
    },
    {
      "epoch": 0.384,
      "grad_norm": 5.65625,
      "learning_rate": 1.8656652682787356e-05,
      "loss": 0.13085007667541504,
      "step": 720,
      "token_acc": 0.9504074736632876
    },
    {
      "epoch": 0.3893333333333333,
      "grad_norm": 5.125,
      "learning_rate": 1.861308709735496e-05,
      "loss": 0.12334835529327393,
      "step": 730,
      "token_acc": 0.9541530217326585
    },
    {
      "epoch": 0.39466666666666667,
      "grad_norm": 5.40625,
      "learning_rate": 1.856887886966166e-05,
      "loss": 0.1365646243095398,
      "step": 740,
      "token_acc": 0.9485771342985522
    },
    {
      "epoch": 0.4,
      "grad_norm": 6.09375,
      "learning_rate": 1.8524031298185114e-05,
      "loss": 0.12420816421508789,
      "step": 750,
      "token_acc": 0.9519659304743984
    },
    {
      "epoch": 0.4053333333333333,
      "grad_norm": 6.25,
      "learning_rate": 1.8478547729105898e-05,
      "loss": 0.13191494941711426,
      "step": 760,
      "token_acc": 0.9475917883932097
    },
    {
      "epoch": 0.4106666666666667,
      "grad_norm": 5.5,
      "learning_rate": 1.8432431556057832e-05,
      "loss": 0.12565431594848633,
      "step": 770,
      "token_acc": 0.9515683566778458
    },
    {
      "epoch": 0.416,
      "grad_norm": 5.625,
      "learning_rate": 1.838568621987478e-05,
      "loss": 0.12868111133575438,
      "step": 780,
      "token_acc": 0.9523903790953182
    },
    {
      "epoch": 0.42133333333333334,
      "grad_norm": 6.0625,
      "learning_rate": 1.8338315208333904e-05,
      "loss": 0.1298436164855957,
      "step": 790,
      "token_acc": 0.9512583308465135
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 5.03125,
      "learning_rate": 1.8290322055895454e-05,
      "loss": 0.12684075832366942,
      "step": 800,
      "token_acc": 0.9475461951122591
    },
    {
      "epoch": 0.432,
      "grad_norm": 4.875,
      "learning_rate": 1.8241710343439042e-05,
      "loss": 0.12810778617858887,
      "step": 810,
      "token_acc": 0.9511163568407593
    },
    {
      "epoch": 0.43733333333333335,
      "grad_norm": 6.15625,
      "learning_rate": 1.8192483697996473e-05,
      "loss": 0.12917327880859375,
      "step": 820,
      "token_acc": 0.9512437810945273
    },
    {
      "epoch": 0.44266666666666665,
      "grad_norm": 4.8125,
      "learning_rate": 1.814264579248111e-05,
      "loss": 0.12338850498199463,
      "step": 830,
      "token_acc": 0.9531187922129519
    },
    {
      "epoch": 0.448,
      "grad_norm": 4.1875,
      "learning_rate": 1.809220034541384e-05,
      "loss": 0.12673957347869874,
      "step": 840,
      "token_acc": 0.9499057633171313
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 4.53125,
      "learning_rate": 1.8041151120645622e-05,
      "loss": 0.11919513940811158,
      "step": 850,
      "token_acc": 0.9537009438648782
    },
    {
      "epoch": 0.45866666666666667,
      "grad_norm": 6.1875,
      "learning_rate": 1.7989501927076663e-05,
      "loss": 0.1332385301589966,
      "step": 860,
      "token_acc": 0.9504950495049505
    },
    {
      "epoch": 0.464,
      "grad_norm": 5.65625,
      "learning_rate": 1.793725661837223e-05,
      "loss": 0.13603968620300294,
      "step": 870,
      "token_acc": 0.9469282087025789
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 4.28125,
      "learning_rate": 1.7884419092675104e-05,
      "loss": 0.12130333185195923,
      "step": 880,
      "token_acc": 0.954468802698145
    },
    {
      "epoch": 0.4746666666666667,
      "grad_norm": 4.53125,
      "learning_rate": 1.7830993292314736e-05,
      "loss": 0.125826632976532,
      "step": 890,
      "token_acc": 0.951788026695886
    },
    {
      "epoch": 0.48,
      "grad_norm": 4.53125,
      "learning_rate": 1.7776983203513113e-05,
      "loss": 0.13028650283813475,
      "step": 900,
      "token_acc": 0.9483915531872903
    },
    {
      "epoch": 0.48533333333333334,
      "grad_norm": 5.4375,
      "learning_rate": 1.7722392856087326e-05,
      "loss": 0.12998759746551514,
      "step": 910,
      "token_acc": 0.9507042253521126
    },
    {
      "epoch": 0.49066666666666664,
      "grad_norm": 5.78125,
      "learning_rate": 1.7667226323148894e-05,
      "loss": 0.12416449785232545,
      "step": 920,
      "token_acc": 0.952191235059761
    },
    {
      "epoch": 0.496,
      "grad_norm": 6.25,
      "learning_rate": 1.7611487720799868e-05,
      "loss": 0.1253748655319214,
      "step": 930,
      "token_acc": 0.9519059845941141
    },
    {
      "epoch": 0.5013333333333333,
      "grad_norm": 5.59375,
      "learning_rate": 1.7555181207825712e-05,
      "loss": 0.11640918254852295,
      "step": 940,
      "token_acc": 0.9551645292772641
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 5.90625,
      "learning_rate": 1.749831098538501e-05,
      "loss": 0.11529660224914551,
      "step": 950,
      "token_acc": 0.9572463049300665
    },
    {
      "epoch": 0.512,
      "grad_norm": 6.1875,
      "learning_rate": 1.744088129669601e-05,
      "loss": 0.1184117078781128,
      "step": 960,
      "token_acc": 0.9557610100407595
    },
    {
      "epoch": 0.5173333333333333,
      "grad_norm": 5.875,
      "learning_rate": 1.7382896426720025e-05,
      "loss": 0.11719763278961182,
      "step": 970,
      "token_acc": 0.9543790202869866
    },
    {
      "epoch": 0.5226666666666666,
      "grad_norm": 6.1875,
      "learning_rate": 1.732436070184172e-05,
      "loss": 0.12645375728607178,
      "step": 980,
      "token_acc": 0.9505854336177814
    },
    {
      "epoch": 0.528,
      "grad_norm": 5.40625,
      "learning_rate": 1.726527848954631e-05,
      "loss": 0.12238850593566894,
      "step": 990,
      "token_acc": 0.951927842204381
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 5.90625,
      "learning_rate": 1.72056541980937e-05,
      "loss": 0.12163641452789306,
      "step": 1000,
      "token_acc": 0.9520103761348897
    },
    {
      "epoch": 0.5386666666666666,
      "grad_norm": 5.125,
      "learning_rate": 1.7145492276189565e-05,
      "loss": 0.11958187818527222,
      "step": 1010,
      "token_acc": 0.9516354208216993
    },
    {
      "epoch": 0.544,
      "grad_norm": 5.3125,
      "learning_rate": 1.7084797212653427e-05,
      "loss": 0.12016124725341797,
      "step": 1020,
      "token_acc": 0.9542204568023833
    },
    {
      "epoch": 0.5493333333333333,
      "grad_norm": 5.5625,
      "learning_rate": 1.7023573536083734e-05,
      "loss": 0.11870989799499512,
      "step": 1030,
      "token_acc": 0.953724716329551
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 5.40625,
      "learning_rate": 1.6961825814519976e-05,
      "loss": 0.11139537096023559,
      "step": 1040,
      "token_acc": 0.9583539420318528
    },
    {
      "epoch": 0.56,
      "grad_norm": 6.0625,
      "learning_rate": 1.6899558655101832e-05,
      "loss": 0.11470913887023926,
      "step": 1050,
      "token_acc": 0.9555929186035012
    },
    {
      "epoch": 0.5653333333333334,
      "grad_norm": 4.34375,
      "learning_rate": 1.683677670372544e-05,
      "loss": 0.11613589525222778,
      "step": 1060,
      "token_acc": 0.954287985690152
    },
    {
      "epoch": 0.5706666666666667,
      "grad_norm": 5.03125,
      "learning_rate": 1.6773484644696764e-05,
      "loss": 0.120987868309021,
      "step": 1070,
      "token_acc": 0.9521691866785256
    },
    {
      "epoch": 0.576,
      "grad_norm": 5.75,
      "learning_rate": 1.6709687200382057e-05,
      "loss": 0.1105571985244751,
      "step": 1080,
      "token_acc": 0.9579882247280711
    },
    {
      "epoch": 0.5813333333333334,
      "grad_norm": 5.5,
      "learning_rate": 1.6645389130855547e-05,
      "loss": 0.11375106573104858,
      "step": 1090,
      "token_acc": 0.9569710821822518
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 5.21875,
      "learning_rate": 1.658059523354425e-05,
      "loss": 0.11751453876495362,
      "step": 1100,
      "token_acc": 0.9549486693910096
    },
    {
      "epoch": 0.592,
      "grad_norm": 5.65625,
      "learning_rate": 1.6515310342870038e-05,
      "loss": 0.11175121068954467,
      "step": 1110,
      "token_acc": 0.9574026487448112
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 5.3125,
      "learning_rate": 1.6449539329888934e-05,
      "loss": 0.11051352024078369,
      "step": 1120,
      "token_acc": 0.9592908082408875
    },
    {
      "epoch": 0.6026666666666667,
      "grad_norm": 5.40625,
      "learning_rate": 1.638328710192766e-05,
      "loss": 0.11559228897094727,
      "step": 1130,
      "token_acc": 0.9572303437376531
    },
    {
      "epoch": 0.608,
      "grad_norm": 5.71875,
      "learning_rate": 1.63165586022175e-05,
      "loss": 0.12151663303375244,
      "step": 1140,
      "token_acc": 0.9510008963250672
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 5.59375,
      "learning_rate": 1.6249358809525457e-05,
      "loss": 0.10959932804107667,
      "step": 1150,
      "token_acc": 0.9576421800947867
    },
    {
      "epoch": 0.6186666666666667,
      "grad_norm": 5.4375,
      "learning_rate": 1.6181692737782806e-05,
      "loss": 0.11154863834381104,
      "step": 1160,
      "token_acc": 0.9568188570862632
    },
    {
      "epoch": 0.624,
      "grad_norm": 4.8125,
      "learning_rate": 1.6113565435710975e-05,
      "loss": 0.11755884885787964,
      "step": 1170,
      "token_acc": 0.9563193343898574
    },
    {
      "epoch": 0.6293333333333333,
      "grad_norm": 6.0625,
      "learning_rate": 1.6044981986444827e-05,
      "loss": 0.11262714862823486,
      "step": 1180,
      "token_acc": 0.9568939771030364
    },
    {
      "epoch": 0.6346666666666667,
      "grad_norm": 5.15625,
      "learning_rate": 1.597594750715344e-05,
      "loss": 0.10623650550842285,
      "step": 1190,
      "token_acc": 0.9600519324877659
    },
    {
      "epoch": 0.64,
      "grad_norm": 6.40625,
      "learning_rate": 1.590646714865828e-05,
      "loss": 0.11796576976776123,
      "step": 1200,
      "token_acc": 0.954192391953794
    },
    {
      "epoch": 0.6453333333333333,
      "grad_norm": 3.59375,
      "learning_rate": 1.5836546095048873e-05,
      "loss": 0.10432027578353882,
      "step": 1210,
      "token_acc": 0.9588485507963201
    },
    {
      "epoch": 0.6506666666666666,
      "grad_norm": 5.15625,
      "learning_rate": 1.5766189563296027e-05,
      "loss": 0.11256073713302613,
      "step": 1220,
      "token_acc": 0.9537848605577689
    },
    {
      "epoch": 0.656,
      "grad_norm": 5.3125,
      "learning_rate": 1.5695402802862586e-05,
      "loss": 0.1090101957321167,
      "step": 1230,
      "token_acc": 0.9566379566379566
    },
    {
      "epoch": 0.6613333333333333,
      "grad_norm": 5.59375,
      "learning_rate": 1.5624191095311736e-05,
      "loss": 0.1086958885192871,
      "step": 1240,
      "token_acc": 0.9592020850040096
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 4.6875,
      "learning_rate": 1.5552559753912952e-05,
      "loss": 0.11115623712539673,
      "step": 1250,
      "token_acc": 0.9561159650516283
    },
    {
      "epoch": 0.672,
      "grad_norm": 6.0625,
      "learning_rate": 1.5480514123245557e-05,
      "loss": 0.1095876932144165,
      "step": 1260,
      "token_acc": 0.9578319244157135
    },
    {
      "epoch": 0.6773333333333333,
      "grad_norm": 5.96875,
      "learning_rate": 1.540805957879994e-05,
      "loss": 0.11510846614837647,
      "step": 1270,
      "token_acc": 0.9544681276893826
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 5.03125,
      "learning_rate": 1.5335201526576505e-05,
      "loss": 0.10857385396957397,
      "step": 1280,
      "token_acc": 0.9567288606589917
    },
    {
      "epoch": 0.688,
      "grad_norm": 4.59375,
      "learning_rate": 1.5261945402682292e-05,
      "loss": 0.1099466323852539,
      "step": 1290,
      "token_acc": 0.9570320270539089
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 5.90625,
      "learning_rate": 1.5188296672925378e-05,
      "loss": 0.10625450611114502,
      "step": 1300,
      "token_acc": 0.9592585249801745
    },
    {
      "epoch": 0.6986666666666667,
      "grad_norm": 6.71875,
      "learning_rate": 1.511426083240708e-05,
      "loss": 0.10511682033538819,
      "step": 1310,
      "token_acc": 0.9581711091145053
    },
    {
      "epoch": 0.704,
      "grad_norm": 5.3125,
      "learning_rate": 1.503984340511193e-05,
      "loss": 0.10603854656219483,
      "step": 1320,
      "token_acc": 0.959593949044586
    },
    {
      "epoch": 0.7093333333333334,
      "grad_norm": 6.3125,
      "learning_rate": 1.496504994349554e-05,
      "loss": 0.10640466213226318,
      "step": 1330,
      "token_acc": 0.9608292634306788
    },
    {
      "epoch": 0.7146666666666667,
      "grad_norm": 4.6875,
      "learning_rate": 1.4889886028070295e-05,
      "loss": 0.10628764629364014,
      "step": 1340,
      "token_acc": 0.9591533972900801
    },
    {
      "epoch": 0.72,
      "grad_norm": 4.75,
      "learning_rate": 1.4814357266989e-05,
      "loss": 0.09471931457519531,
      "step": 1350,
      "token_acc": 0.96225475550244
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 5.3125,
      "learning_rate": 1.4738469295626435e-05,
      "loss": 0.11037859916687012,
      "step": 1360,
      "token_acc": 0.9583333333333334
    },
    {
      "epoch": 0.7306666666666667,
      "grad_norm": 5.34375,
      "learning_rate": 1.4662227776158877e-05,
      "loss": 0.10702688694000244,
      "step": 1370,
      "token_acc": 0.9577590480912246
    },
    {
      "epoch": 0.736,
      "grad_norm": 6.125,
      "learning_rate": 1.4585638397141657e-05,
      "loss": 0.10900003910064697,
      "step": 1380,
      "token_acc": 0.9568480300187617
    },
    {
      "epoch": 0.7413333333333333,
      "grad_norm": 5.25,
      "learning_rate": 1.4508706873084691e-05,
      "loss": 0.09608756303787232,
      "step": 1390,
      "token_acc": 0.9632034632034632
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 4.8125,
      "learning_rate": 1.4431438944026135e-05,
      "loss": 0.10125172138214111,
      "step": 1400,
      "token_acc": 0.9609785084678617
    },
    {
      "epoch": 0.752,
      "grad_norm": 5.53125,
      "learning_rate": 1.4353840375104093e-05,
      "loss": 0.09823362827301026,
      "step": 1410,
      "token_acc": 0.9601625210583689
    },
    {
      "epoch": 0.7573333333333333,
      "grad_norm": 6.875,
      "learning_rate": 1.4275916956126475e-05,
      "loss": 0.10848079919815064,
      "step": 1420,
      "token_acc": 0.9589259075087021
    },
    {
      "epoch": 0.7626666666666667,
      "grad_norm": 4.6875,
      "learning_rate": 1.4197674501138993e-05,
      "loss": 0.09750932455062866,
      "step": 1430,
      "token_acc": 0.9610363924050633
    },
    {
      "epoch": 0.768,
      "grad_norm": 5.21875,
      "learning_rate": 1.411911884799138e-05,
      "loss": 0.1041105031967163,
      "step": 1440,
      "token_acc": 0.9594903951428287
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 5.71875,
      "learning_rate": 1.4040255857901797e-05,
      "loss": 0.10584063529968261,
      "step": 1450,
      "token_acc": 0.9586686537506209
    },
    {
      "epoch": 0.7786666666666666,
      "grad_norm": 5.125,
      "learning_rate": 1.3961091415019525e-05,
      "loss": 0.0976940393447876,
      "step": 1460,
      "token_acc": 0.9595679318204341
    },
    {
      "epoch": 0.784,
      "grad_norm": 11.8125,
      "learning_rate": 1.3881631425985935e-05,
      "loss": 0.09462392330169678,
      "step": 1470,
      "token_acc": 0.962046696472926
    },
    {
      "epoch": 0.7893333333333333,
      "grad_norm": 4.875,
      "learning_rate": 1.3801881819493772e-05,
      "loss": 0.10079967975616455,
      "step": 1480,
      "token_acc": 0.9625494071146246
    },
    {
      "epoch": 0.7946666666666666,
      "grad_norm": 6.1875,
      "learning_rate": 1.3721848545844812e-05,
      "loss": 0.10591773986816407,
      "step": 1490,
      "token_acc": 0.9585358595377442
    },
    {
      "epoch": 0.8,
      "grad_norm": 5.09375,
      "learning_rate": 1.3641537576505882e-05,
      "loss": 0.09992707967758178,
      "step": 1500,
      "token_acc": 0.9617372291790897
    },
    {
      "epoch": 0.8053333333333333,
      "grad_norm": 6.125,
      "learning_rate": 1.3560954903663333e-05,
      "loss": 0.10718950033187866,
      "step": 1510,
      "token_acc": 0.9582632776184353
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 5.90625,
      "learning_rate": 1.3480106539775935e-05,
      "loss": 0.104136061668396,
      "step": 1520,
      "token_acc": 0.9613248710829037
    },
    {
      "epoch": 0.816,
      "grad_norm": 9.5,
      "learning_rate": 1.3398998517126275e-05,
      "loss": 0.10529080629348755,
      "step": 1530,
      "token_acc": 0.956207272366987
    },
    {
      "epoch": 0.8213333333333334,
      "grad_norm": 5.28125,
      "learning_rate": 1.3317636887370695e-05,
      "loss": 0.10142601728439331,
      "step": 1540,
      "token_acc": 0.961668657905217
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 5.53125,
      "learning_rate": 1.3236027721087724e-05,
      "loss": 0.09501729011535645,
      "step": 1550,
      "token_acc": 0.9636110558759197
    },
    {
      "epoch": 0.832,
      "grad_norm": 5.875,
      "learning_rate": 1.3154177107325174e-05,
      "loss": 0.09613993763923645,
      "step": 1560,
      "token_acc": 0.9610415228326264
    },
    {
      "epoch": 0.8373333333333334,
      "grad_norm": 5.75,
      "learning_rate": 1.307209115314581e-05,
      "loss": 0.10287705659866334,
      "step": 1570,
      "token_acc": 0.9613574932425668
    },
    {
      "epoch": 0.8426666666666667,
      "grad_norm": 5.40625,
      "learning_rate": 1.2989775983171688e-05,
      "loss": 0.09376062750816345,
      "step": 1580,
      "token_acc": 0.9648067823343849
    },
    {
      "epoch": 0.848,
      "grad_norm": 5.3125,
      "learning_rate": 1.2907237739127174e-05,
      "loss": 0.09870033264160157,
      "step": 1590,
      "token_acc": 0.9628045748383889
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 5.46875,
      "learning_rate": 1.2824482579380715e-05,
      "loss": 0.09684454202651978,
      "step": 1600,
      "token_acc": 0.9618441971383148
    },
    {
      "epoch": 0.8586666666666667,
      "grad_norm": 5.8125,
      "learning_rate": 1.274151667848533e-05,
      "loss": 0.09628376960754395,
      "step": 1610,
      "token_acc": 0.9608938547486033
    },
    {
      "epoch": 0.864,
      "grad_norm": 4.71875,
      "learning_rate": 1.2658346226717917e-05,
      "loss": 0.09724725484848022,
      "step": 1620,
      "token_acc": 0.9619226584907526
    },
    {
      "epoch": 0.8693333333333333,
      "grad_norm": 5.375,
      "learning_rate": 1.25749774296174e-05,
      "loss": 0.10113248825073243,
      "step": 1630,
      "token_acc": 0.9626621768842231
    },
    {
      "epoch": 0.8746666666666667,
      "grad_norm": 4.46875,
      "learning_rate": 1.2491416507521692e-05,
      "loss": 0.10067527294158936,
      "step": 1640,
      "token_acc": 0.9598209845847837
    },
    {
      "epoch": 0.88,
      "grad_norm": 5.0,
      "learning_rate": 1.2407669695103602e-05,
      "loss": 0.09440578818321228,
      "step": 1650,
      "token_acc": 0.9627329192546584
    },
    {
      "epoch": 0.8853333333333333,
      "grad_norm": 7.6875,
      "learning_rate": 1.2323743240905634e-05,
      "loss": 0.0972176194190979,
      "step": 1660,
      "token_acc": 0.9632352941176471
    },
    {
      "epoch": 0.8906666666666667,
      "grad_norm": 6.09375,
      "learning_rate": 1.223964340687379e-05,
      "loss": 0.09761661887168885,
      "step": 1670,
      "token_acc": 0.9624119805613409
    },
    {
      "epoch": 0.896,
      "grad_norm": 8.1875,
      "learning_rate": 1.2155376467890341e-05,
      "loss": 0.10594066381454467,
      "step": 1680,
      "token_acc": 0.9594741524167243
    },
    {
      "epoch": 0.9013333333333333,
      "grad_norm": 6.4375,
      "learning_rate": 1.207094871130563e-05,
      "loss": 0.09854521751403808,
      "step": 1690,
      "token_acc": 0.9625062158130283
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 4.84375,
      "learning_rate": 1.1986366436468986e-05,
      "loss": 0.08949284553527832,
      "step": 1700,
      "token_acc": 0.9651726526169981
    },
    {
      "epoch": 0.912,
      "grad_norm": 9.5625,
      "learning_rate": 1.1901635954258688e-05,
      "loss": 0.09419882297515869,
      "step": 1710,
      "token_acc": 0.9641434262948207
    },
    {
      "epoch": 0.9173333333333333,
      "grad_norm": 4.53125,
      "learning_rate": 1.1816763586611121e-05,
      "loss": 0.09756133556365967,
      "step": 1720,
      "token_acc": 0.9613712704999012
    },
    {
      "epoch": 0.9226666666666666,
      "grad_norm": 5.40625,
      "learning_rate": 1.1731755666049058e-05,
      "loss": 0.08990415334701538,
      "step": 1730,
      "token_acc": 0.9664323200316863
    },
    {
      "epoch": 0.928,
      "grad_norm": 5.625,
      "learning_rate": 1.16466185352092e-05,
      "loss": 0.09485629200935364,
      "step": 1740,
      "token_acc": 0.9621054714554269
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 5.65625,
      "learning_rate": 1.1561358546368907e-05,
      "loss": 0.09861080646514893,
      "step": 1750,
      "token_acc": 0.9598108747044918
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 6.1875,
      "learning_rate": 1.1475982060972273e-05,
      "loss": 0.09501796960830688,
      "step": 1760,
      "token_acc": 0.9628495207983401
    },
    {
      "epoch": 0.944,
      "grad_norm": 6.5625,
      "learning_rate": 1.1390495449155461e-05,
      "loss": 0.09370712041854859,
      "step": 1770,
      "token_acc": 0.9624413145539906
    },
    {
      "epoch": 0.9493333333333334,
      "grad_norm": 5.375,
      "learning_rate": 1.1304905089271419e-05,
      "loss": 0.09164633750915527,
      "step": 1780,
      "token_acc": 0.9649820931157979
    },
    {
      "epoch": 0.9546666666666667,
      "grad_norm": 5.3125,
      "learning_rate": 1.1219217367413979e-05,
      "loss": 0.09200198650360107,
      "step": 1790,
      "token_acc": 0.9639621702339473
    },
    {
      "epoch": 0.96,
      "grad_norm": 4.96875,
      "learning_rate": 1.1133438676941376e-05,
      "loss": 0.0913775086402893,
      "step": 1800,
      "token_acc": 0.9636019146390108
    },
    {
      "epoch": 0.9653333333333334,
      "grad_norm": 5.28125,
      "learning_rate": 1.1047575417999222e-05,
      "loss": 0.09320381283760071,
      "step": 1810,
      "token_acc": 0.9631204271307099
    },
    {
      "epoch": 0.9706666666666667,
      "grad_norm": 5.3125,
      "learning_rate": 1.0961633997042972e-05,
      "loss": 0.09073319435119628,
      "step": 1820,
      "token_acc": 0.9654966689867753
    },
    {
      "epoch": 0.976,
      "grad_norm": 4.8125,
      "learning_rate": 1.0875620826359939e-05,
      "loss": 0.09031926393508911,
      "step": 1830,
      "token_acc": 0.9658706467661692
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 5.15625,
      "learning_rate": 1.0789542323590839e-05,
      "loss": 0.09178189039230347,
      "step": 1840,
      "token_acc": 0.9646664034741413
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 9.875,
      "learning_rate": 1.0703404911250963e-05,
      "loss": 0.0889767050743103,
      "step": 1850,
      "token_acc": 0.9654834281231615
    },
    {
      "epoch": 0.992,
      "grad_norm": 5.8125,
      "learning_rate": 1.0617215016250996e-05,
      "loss": 0.09213165044784546,
      "step": 1860,
      "token_acc": 0.964671737389912
    },
    {
      "epoch": 0.9973333333333333,
      "grad_norm": 5.5,
      "learning_rate": 1.0530979069417463e-05,
      "loss": 0.09125626087188721,
      "step": 1870,
      "token_acc": 0.966362373486803
    },
    {
      "epoch": 1.0026666666666666,
      "grad_norm": 3.234375,
      "learning_rate": 1.044470350501292e-05,
      "loss": 0.07592885494232178,
      "step": 1880,
      "token_acc": 0.9721772561715905
    },
    {
      "epoch": 1.008,
      "grad_norm": 3.984375,
      "learning_rate": 1.0358394760255891e-05,
      "loss": 0.0530848503112793,
      "step": 1890,
      "token_acc": 0.9835562159484893
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 4.09375,
      "learning_rate": 1.0272059274840555e-05,
      "loss": 0.05034524202346802,
      "step": 1900,
      "token_acc": 0.9838533927686973
    },
    {
      "epoch": 1.0186666666666666,
      "grad_norm": 3.46875,
      "learning_rate": 1.0185703490456281e-05,
      "loss": 0.04969725012779236,
      "step": 1910,
      "token_acc": 0.9833185272924687
    },
    {
      "epoch": 1.024,
      "grad_norm": 4.15625,
      "learning_rate": 1.0099333850306979e-05,
      "loss": 0.04704121053218842,
      "step": 1920,
      "token_acc": 0.9846399361659685
    },
    {
      "epoch": 1.0293333333333334,
      "grad_norm": 3.828125,
      "learning_rate": 1.001295679863038e-05,
      "loss": 0.048529314994812014,
      "step": 1930,
      "token_acc": 0.9845605700712589
    },
    {
      "epoch": 1.0346666666666666,
      "grad_norm": 4.03125,
      "learning_rate": 9.926578780217198e-06,
      "loss": 0.05159075260162353,
      "step": 1940,
      "token_acc": 0.9818701349886688
    },
    {
      "epoch": 1.04,
      "grad_norm": 7.1875,
      "learning_rate": 9.840206239930286e-06,
      "loss": 0.04979468882083893,
      "step": 1950,
      "token_acc": 0.9831050684794561
    },
    {
      "epoch": 1.0453333333333332,
      "grad_norm": 4.9375,
      "learning_rate": 9.753845622223758e-06,
      "loss": 0.045256540179252625,
      "step": 1960,
      "token_acc": 0.9852270473924252
    },
    {
      "epoch": 1.0506666666666666,
      "grad_norm": 4.84375,
      "learning_rate": 9.66750337066215e-06,
      "loss": 0.04541871249675751,
      "step": 1970,
      "token_acc": 0.9857686911204651
    },
    {
      "epoch": 1.056,
      "grad_norm": 3.859375,
      "learning_rate": 9.581185927439665e-06,
      "loss": 0.04687809944152832,
      "step": 1980,
      "token_acc": 0.9838100913786253
    },
    {
      "epoch": 1.0613333333333332,
      "grad_norm": 4.75,
      "learning_rate": 9.4948997328995e-06,
      "loss": 0.045229172706604,
      "step": 1990,
      "token_acc": 0.9848859033883236
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 4.15625,
      "learning_rate": 9.408651225053313e-06,
      "loss": 0.05098391771316528,
      "step": 2000,
      "token_acc": 0.9816413615163243
    },
    {
      "epoch": 1.072,
      "grad_norm": 4.90625,
      "learning_rate": 9.32244683910087e-06,
      "loss": 0.0516198992729187,
      "step": 2010,
      "token_acc": 0.9823757841282486
    },
    {
      "epoch": 1.0773333333333333,
      "grad_norm": 3.59375,
      "learning_rate": 9.236293006949901e-06,
      "loss": 0.05135577917098999,
      "step": 2020,
      "token_acc": 0.9830022729518727
    },
    {
      "epoch": 1.0826666666666667,
      "grad_norm": 3.8125,
      "learning_rate": 9.150196156736205e-06,
      "loss": 0.04364476501941681,
      "step": 2030,
      "token_acc": 0.9849861714737258
    },
    {
      "epoch": 1.088,
      "grad_norm": 4.59375,
      "learning_rate": 9.064162712344015e-06,
      "loss": 0.048701542615890506,
      "step": 2040,
      "token_acc": 0.9839112621165185
    },
    {
      "epoch": 1.0933333333333333,
      "grad_norm": 3.421875,
      "learning_rate": 8.978199092926726e-06,
      "loss": 0.04445060789585113,
      "step": 2050,
      "token_acc": 0.9849736292168375
    },
    {
      "epoch": 1.0986666666666667,
      "grad_norm": 4.375,
      "learning_rate": 8.892311712427924e-06,
      "loss": 0.04172802269458771,
      "step": 2060,
      "token_acc": 0.9872592592592593
    },
    {
      "epoch": 1.104,
      "grad_norm": 4.6875,
      "learning_rate": 8.806506979102834e-06,
      "loss": 0.049462562799453734,
      "step": 2070,
      "token_acc": 0.9820827558899228
    },
    {
      "epoch": 1.1093333333333333,
      "grad_norm": 5.40625,
      "learning_rate": 8.720791295040175e-06,
      "loss": 0.04976886808872223,
      "step": 2080,
      "token_acc": 0.9825401576374339
    },
    {
      "epoch": 1.1146666666666667,
      "grad_norm": 3.515625,
      "learning_rate": 8.63517105568451e-06,
      "loss": 0.046266642212867734,
      "step": 2090,
      "token_acc": 0.984870958172649
    },
    {
      "epoch": 1.12,
      "grad_norm": 4.78125,
      "learning_rate": 8.549652649359053e-06,
      "loss": 0.04942557215690613,
      "step": 2100,
      "token_acc": 0.9834057684709601
    },
    {
      "epoch": 1.1253333333333333,
      "grad_norm": 4.0625,
      "learning_rate": 8.46424245678901e-06,
      "loss": 0.04696555435657501,
      "step": 2110,
      "token_acc": 0.9832569264500698
    },
    {
      "epoch": 1.1306666666666667,
      "grad_norm": 3.6875,
      "learning_rate": 8.37894685062551e-06,
      "loss": 0.047610795497894286,
      "step": 2120,
      "token_acc": 0.9848409294903759
    },
    {
      "epoch": 1.1360000000000001,
      "grad_norm": 3.109375,
      "learning_rate": 8.293772194970137e-06,
      "loss": 0.0464180737733841,
      "step": 2130,
      "token_acc": 0.9837536130768464
    },
    {
      "epoch": 1.1413333333333333,
      "grad_norm": 4.15625,
      "learning_rate": 8.208724844900078e-06,
      "loss": 0.0491524338722229,
      "step": 2140,
      "token_acc": 0.9825240790388243
    },
    {
      "epoch": 1.1466666666666667,
      "grad_norm": 4.03125,
      "learning_rate": 8.123811145993943e-06,
      "loss": 0.04688098430633545,
      "step": 2150,
      "token_acc": 0.9841064865401807
    },
    {
      "epoch": 1.152,
      "grad_norm": 4.78125,
      "learning_rate": 8.039037433858334e-06,
      "loss": 0.04569154977798462,
      "step": 2160,
      "token_acc": 0.9852604322278657
    },
    {
      "epoch": 1.1573333333333333,
      "grad_norm": 5.0,
      "learning_rate": 7.95441003365512e-06,
      "loss": 0.04637964069843292,
      "step": 2170,
      "token_acc": 0.9827792156082023
    },
    {
      "epoch": 1.1626666666666667,
      "grad_norm": 5.09375,
      "learning_rate": 7.869935259629486e-06,
      "loss": 0.04769515693187713,
      "step": 2180,
      "token_acc": 0.9834817012858555
    },
    {
      "epoch": 1.168,
      "grad_norm": 3.53125,
      "learning_rate": 7.785619414638836e-06,
      "loss": 0.045441615581512454,
      "step": 2190,
      "token_acc": 0.9853899308983218
    },
    {
      "epoch": 1.1733333333333333,
      "grad_norm": 3.234375,
      "learning_rate": 7.701468789682511e-06,
      "loss": 0.04217609167098999,
      "step": 2200,
      "token_acc": 0.9868120971740209
    },
    {
      "epoch": 1.1786666666666668,
      "grad_norm": 4.03125,
      "learning_rate": 7.6174896634324135e-06,
      "loss": 0.04596090614795685,
      "step": 2210,
      "token_acc": 0.9836653386454183
    },
    {
      "epoch": 1.184,
      "grad_norm": 4.0625,
      "learning_rate": 7.533688301764511e-06,
      "loss": 0.0406882107257843,
      "step": 2220,
      "token_acc": 0.986937880147572
    },
    {
      "epoch": 1.1893333333333334,
      "grad_norm": 4.96875,
      "learning_rate": 7.450070957291366e-06,
      "loss": 0.043777698278427125,
      "step": 2230,
      "token_acc": 0.984913577779998
    },
    {
      "epoch": 1.1946666666666665,
      "grad_norm": 4.03125,
      "learning_rate": 7.3666438688955885e-06,
      "loss": 0.0409196674823761,
      "step": 2240,
      "token_acc": 0.9873268493958149
    },
    {
      "epoch": 1.2,
      "grad_norm": 3.703125,
      "learning_rate": 7.283413261264341e-06,
      "loss": 0.044315993785858154,
      "step": 2250,
      "token_acc": 0.9849706380013935
    },
    {
      "epoch": 1.2053333333333334,
      "grad_norm": 3.890625,
      "learning_rate": 7.200385344424908e-06,
      "loss": 0.04352255165576935,
      "step": 2260,
      "token_acc": 0.9849781138081973
    },
    {
      "epoch": 1.2106666666666666,
      "grad_norm": 4.0,
      "learning_rate": 7.117566313281346e-06,
      "loss": 0.045627248287200925,
      "step": 2270,
      "token_acc": 0.985937967487783
    },
    {
      "epoch": 1.216,
      "grad_norm": 4.0625,
      "learning_rate": 7.03496234715227e-06,
      "loss": 0.043829864263534545,
      "step": 2280,
      "token_acc": 0.9855936413313463
    },
    {
      "epoch": 1.2213333333333334,
      "grad_norm": 4.1875,
      "learning_rate": 6.952579609309793e-06,
      "loss": 0.03742110133171082,
      "step": 2290,
      "token_acc": 0.9889042995839112
    },
    {
      "epoch": 1.2266666666666666,
      "grad_norm": 5.3125,
      "learning_rate": 6.870424246519682e-06,
      "loss": 0.04146054983139038,
      "step": 2300,
      "token_acc": 0.986350503138388
    },
    {
      "epoch": 1.232,
      "grad_norm": 4.34375,
      "learning_rate": 6.788502388582727e-06,
      "loss": 0.040186125040054324,
      "step": 2310,
      "token_acc": 0.9859307359307359
    },
    {
      "epoch": 1.2373333333333334,
      "grad_norm": 3.40625,
      "learning_rate": 6.706820147877388e-06,
      "loss": 0.0393997848033905,
      "step": 2320,
      "token_acc": 0.986780638107544
    },
    {
      "epoch": 1.2426666666666666,
      "grad_norm": 5.8125,
      "learning_rate": 6.625383618903718e-06,
      "loss": 0.04266528785228729,
      "step": 2330,
      "token_acc": 0.9865493027395905
    },
    {
      "epoch": 1.248,
      "grad_norm": 4.5,
      "learning_rate": 6.5441988778286625e-06,
      "loss": 0.03945194482803345,
      "step": 2340,
      "token_acc": 0.9867132867132867
    },
    {
      "epoch": 1.2533333333333334,
      "grad_norm": 5.59375,
      "learning_rate": 6.463271982032695e-06,
      "loss": 0.04942408800125122,
      "step": 2350,
      "token_acc": 0.983040761678072
    },
    {
      "epoch": 1.2586666666666666,
      "grad_norm": 4.375,
      "learning_rate": 6.382608969657847e-06,
      "loss": 0.048211139440536496,
      "step": 2360,
      "token_acc": 0.9825009830908376
    },
    {
      "epoch": 1.264,
      "grad_norm": 3.796875,
      "learning_rate": 6.302215859157208e-06,
      "loss": 0.04317412078380585,
      "step": 2370,
      "token_acc": 0.9849975161450572
    },
    {
      "epoch": 1.2693333333333334,
      "grad_norm": 4.28125,
      "learning_rate": 6.22209864884587e-06,
      "loss": 0.041670626401901244,
      "step": 2380,
      "token_acc": 0.9856364536899456
    },
    {
      "epoch": 1.2746666666666666,
      "grad_norm": 4.15625,
      "learning_rate": 6.142263316453376e-06,
      "loss": 0.047338935732841494,
      "step": 2390,
      "token_acc": 0.984057827507674
    },
    {
      "epoch": 1.28,
      "grad_norm": 5.1875,
      "learning_rate": 6.062715818677696e-06,
      "loss": 0.042187738418579104,
      "step": 2400,
      "token_acc": 0.9877061469265367
    },
    {
      "epoch": 1.2853333333333334,
      "grad_norm": 3.0,
      "learning_rate": 5.983462090740811e-06,
      "loss": 0.040090513229370114,
      "step": 2410,
      "token_acc": 0.987670279407378
    },
    {
      "epoch": 1.2906666666666666,
      "grad_norm": 3.328125,
      "learning_rate": 5.904508045945854e-06,
      "loss": 0.04545362889766693,
      "step": 2420,
      "token_acc": 0.9842120941316652
    },
    {
      "epoch": 1.296,
      "grad_norm": 5.46875,
      "learning_rate": 5.825859575235904e-06,
      "loss": 0.04310760498046875,
      "step": 2430,
      "token_acc": 0.9861673747653394
    },
    {
      "epoch": 1.3013333333333335,
      "grad_norm": 5.03125,
      "learning_rate": 5.747522546754456e-06,
      "loss": 0.04736645221710205,
      "step": 2440,
      "token_acc": 0.9838549920760697
    },
    {
      "epoch": 1.3066666666666666,
      "grad_norm": 3.34375,
      "learning_rate": 5.669502805407592e-06,
      "loss": 0.04285838007926941,
      "step": 2450,
      "token_acc": 0.9850805649492739
    },
    {
      "epoch": 1.312,
      "grad_norm": 4.625,
      "learning_rate": 5.591806172427858e-06,
      "loss": 0.04294385612010956,
      "step": 2460,
      "token_acc": 0.984505246641169
    },
    {
      "epoch": 1.3173333333333335,
      "grad_norm": 4.25,
      "learning_rate": 5.514438444939947e-06,
      "loss": 0.04226144552230835,
      "step": 2470,
      "token_acc": 0.9866124553748512
    },
    {
      "epoch": 1.3226666666666667,
      "grad_norm": 3.90625,
      "learning_rate": 5.437405395528148e-06,
      "loss": 0.03766881823539734,
      "step": 2480,
      "token_acc": 0.9893585280954749
    },
    {
      "epoch": 1.328,
      "grad_norm": 3.5,
      "learning_rate": 5.36071277180567e-06,
      "loss": 0.03593007028102875,
      "step": 2490,
      "token_acc": 0.9881862404447533
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 4.5625,
      "learning_rate": 5.284366295985741e-06,
      "loss": 0.04274448156356812,
      "step": 2500,
      "token_acc": 0.9863830633137859
    },
    {
      "epoch": 1.3386666666666667,
      "grad_norm": 3.53125,
      "learning_rate": 5.208371664454737e-06,
      "loss": 0.036032259464263916,
      "step": 2510,
      "token_acc": 0.9874426948375523
    },
    {
      "epoch": 1.3439999999999999,
      "grad_norm": 3.40625,
      "learning_rate": 5.132734547347088e-06,
      "loss": 0.0413934588432312,
      "step": 2520,
      "token_acc": 0.9857496288965858
    },
    {
      "epoch": 1.3493333333333333,
      "grad_norm": 3.46875,
      "learning_rate": 5.057460588122276e-06,
      "loss": 0.0397264838218689,
      "step": 2530,
      "token_acc": 0.987444389520514
    },
    {
      "epoch": 1.3546666666666667,
      "grad_norm": 3.265625,
      "learning_rate": 4.98255540314372e-06,
      "loss": 0.03860927820205688,
      "step": 2540,
      "token_acc": 0.9876049580167933
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 4.5,
      "learning_rate": 4.908024581259744e-06,
      "loss": 0.03963862061500549,
      "step": 2550,
      "token_acc": 0.9869086581374591
    },
    {
      "epoch": 1.3653333333333333,
      "grad_norm": 3.078125,
      "learning_rate": 4.833873683386596e-06,
      "loss": 0.036763495206832884,
      "step": 2560,
      "token_acc": 0.9882026370575989
    },
    {
      "epoch": 1.3706666666666667,
      "grad_norm": 5.1875,
      "learning_rate": 4.760108242093493e-06,
      "loss": 0.04345675110816956,
      "step": 2570,
      "token_acc": 0.983983286908078
    },
    {
      "epoch": 1.376,
      "grad_norm": 3.75,
      "learning_rate": 4.686733761189872e-06,
      "loss": 0.0388829231262207,
      "step": 2580,
      "token_acc": 0.9876321563933772
    },
    {
      "epoch": 1.3813333333333333,
      "grad_norm": 4.15625,
      "learning_rate": 4.613755715314701e-06,
      "loss": 0.04166227579116821,
      "step": 2590,
      "token_acc": 0.9865778484788228
    },
    {
      "epoch": 1.3866666666666667,
      "grad_norm": 3.140625,
      "learning_rate": 4.541179549528032e-06,
      "loss": 0.036478173732757566,
      "step": 2600,
      "token_acc": 0.9887729756582215
    },
    {
      "epoch": 1.392,
      "grad_norm": 3.78125,
      "learning_rate": 4.469010678904694e-06,
      "loss": 0.03990663886070252,
      "step": 2610,
      "token_acc": 0.9868264659270999
    },
    {
      "epoch": 1.3973333333333333,
      "grad_norm": 5.1875,
      "learning_rate": 4.397254488130313e-06,
      "loss": 0.043915411829948424,
      "step": 2620,
      "token_acc": 0.9850317208564632
    },
    {
      "epoch": 1.4026666666666667,
      "grad_norm": 3.390625,
      "learning_rate": 4.3259163310995e-06,
      "loss": 0.04233855605125427,
      "step": 2630,
      "token_acc": 0.9862220447284346
    },
    {
      "epoch": 1.408,
      "grad_norm": 4.15625,
      "learning_rate": 4.255001530516425e-06,
      "loss": 0.04234825372695923,
      "step": 2640,
      "token_acc": 0.9854527461652647
    },
    {
      "epoch": 1.4133333333333333,
      "grad_norm": 4.4375,
      "learning_rate": 4.184515377497643e-06,
      "loss": 0.04514653086662292,
      "step": 2650,
      "token_acc": 0.9838533927686973
    },
    {
      "epoch": 1.4186666666666667,
      "grad_norm": 4.125,
      "learning_rate": 4.11446313117733e-06,
      "loss": 0.0412144660949707,
      "step": 2660,
      "token_acc": 0.9864325618515563
    },
    {
      "epoch": 1.424,
      "grad_norm": 4.0625,
      "learning_rate": 4.044850018314896e-06,
      "loss": 0.0395661473274231,
      "step": 2670,
      "token_acc": 0.9872051179528188
    },
    {
      "epoch": 1.4293333333333333,
      "grad_norm": 4.28125,
      "learning_rate": 3.975681232904971e-06,
      "loss": 0.040367433428764345,
      "step": 2680,
      "token_acc": 0.9871325348906266
    },
    {
      "epoch": 1.4346666666666668,
      "grad_norm": 4.21875,
      "learning_rate": 3.906961935789914e-06,
      "loss": 0.039546287059783934,
      "step": 2690,
      "token_acc": 0.9881709741550696
    },
    {
      "epoch": 1.44,
      "grad_norm": 3.296875,
      "learning_rate": 3.838697254274708e-06,
      "loss": 0.043249848484992984,
      "step": 2700,
      "token_acc": 0.9855836150328097
    },
    {
      "epoch": 1.4453333333333334,
      "grad_norm": 4.375,
      "learning_rate": 3.7708922817444382e-06,
      "loss": 0.04401258826255798,
      "step": 2710,
      "token_acc": 0.9847419003269593
    },
    {
      "epoch": 1.4506666666666668,
      "grad_norm": 3.265625,
      "learning_rate": 3.7035520772842216e-06,
      "loss": 0.03827967643737793,
      "step": 2720,
      "token_acc": 0.9879434037465126
    },
    {
      "epoch": 1.456,
      "grad_norm": 3.953125,
      "learning_rate": 3.636681665301779e-06,
      "loss": 0.04192144274711609,
      "step": 2730,
      "token_acc": 0.9862782141791787
    },
    {
      "epoch": 1.4613333333333334,
      "grad_norm": 4.25,
      "learning_rate": 3.5702860351525216e-06,
      "loss": 0.03837197422981262,
      "step": 2740,
      "token_acc": 0.9874170216982067
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 3.78125,
      "learning_rate": 3.504370140767297e-06,
      "loss": 0.037566077709197995,
      "step": 2750,
      "token_acc": 0.9870942122505708
    },
    {
      "epoch": 1.472,
      "grad_norm": 3.875,
      "learning_rate": 3.438938900282768e-06,
      "loss": 0.03785140812397003,
      "step": 2760,
      "token_acc": 0.9867993301152596
    },
    {
      "epoch": 1.4773333333333334,
      "grad_norm": 3.34375,
      "learning_rate": 3.3739971956744444e-06,
      "loss": 0.04087229371070862,
      "step": 2770,
      "token_acc": 0.9853028798411122
    },
    {
      "epoch": 1.4826666666666668,
      "grad_norm": 6.59375,
      "learning_rate": 3.3095498723924514e-06,
      "loss": 0.04550619721412659,
      "step": 2780,
      "token_acc": 0.9848303393213573
    },
    {
      "epoch": 1.488,
      "grad_norm": 4.21875,
      "learning_rate": 3.245601738999964e-06,
      "loss": 0.04144806861877441,
      "step": 2790,
      "token_acc": 0.9865586084206365
    },
    {
      "epoch": 1.4933333333333334,
      "grad_norm": 3.4375,
      "learning_rate": 3.182157566814471e-06,
      "loss": 0.03926945924758911,
      "step": 2800,
      "token_acc": 0.9870852374329426
    },
    {
      "epoch": 1.4986666666666666,
      "grad_norm": 4.4375,
      "learning_rate": 3.1192220895517434e-06,
      "loss": 0.04469040036201477,
      "step": 2810,
      "token_acc": 0.9841285685765622
    },
    {
      "epoch": 1.504,
      "grad_norm": 3.515625,
      "learning_rate": 3.056800002972655e-06,
      "loss": 0.03768267929553985,
      "step": 2820,
      "token_acc": 0.9874032929974211
    },
    {
      "epoch": 1.5093333333333332,
      "grad_norm": 3.1875,
      "learning_rate": 2.994895964532818e-06,
      "loss": 0.03740772008895874,
      "step": 2830,
      "token_acc": 0.9866719320762168
    },
    {
      "epoch": 1.5146666666666668,
      "grad_norm": 4.3125,
      "learning_rate": 2.9335145930350852e-06,
      "loss": 0.03813513815402984,
      "step": 2840,
      "token_acc": 0.9872025594881024
    },
    {
      "epoch": 1.52,
      "grad_norm": 4.3125,
      "learning_rate": 2.8726604682849192e-06,
      "loss": 0.037986403703689574,
      "step": 2850,
      "token_acc": 0.9885515181682429
    },
    {
      "epoch": 1.5253333333333332,
      "grad_norm": 4.0625,
      "learning_rate": 2.8123381307486875e-06,
      "loss": 0.03967353105545044,
      "step": 2860,
      "token_acc": 0.9861526200438334
    },
    {
      "epoch": 1.5306666666666666,
      "grad_norm": 3.734375,
      "learning_rate": 2.752552081214899e-06,
      "loss": 0.03929359912872314,
      "step": 2870,
      "token_acc": 0.9870245641838352
    },
    {
      "epoch": 1.536,
      "grad_norm": 4.125,
      "learning_rate": 2.693306780458369e-06,
      "loss": 0.037700363993644716,
      "step": 2880,
      "token_acc": 0.9881058578650015
    },
    {
      "epoch": 1.5413333333333332,
      "grad_norm": 3.6875,
      "learning_rate": 2.6346066489074083e-06,
      "loss": 0.041693341732025144,
      "step": 2890,
      "token_acc": 0.9857881136950905
    },
    {
      "epoch": 1.5466666666666666,
      "grad_norm": 2.390625,
      "learning_rate": 2.576456066313989e-06,
      "loss": 0.035756158828735354,
      "step": 2900,
      "token_acc": 0.9879518072289156
    },
    {
      "epoch": 1.552,
      "grad_norm": 3.515625,
      "learning_rate": 2.518859371426985e-06,
      "loss": 0.04258395731449127,
      "step": 2910,
      "token_acc": 0.9866852146263911
    },
    {
      "epoch": 1.5573333333333332,
      "grad_norm": 4.8125,
      "learning_rate": 2.4618208616684213e-06,
      "loss": 0.03691713809967041,
      "step": 2920,
      "token_acc": 0.9884158415841584
    },
    {
      "epoch": 1.5626666666666666,
      "grad_norm": 3.921875,
      "learning_rate": 2.405344792812847e-06,
      "loss": 0.03898451030254364,
      "step": 2930,
      "token_acc": 0.9885946642864227
    },
    {
      "epoch": 1.568,
      "grad_norm": 5.375,
      "learning_rate": 2.3494353786698e-06,
      "loss": 0.04118772149085999,
      "step": 2940,
      "token_acc": 0.9864985605082894
    },
    {
      "epoch": 1.5733333333333333,
      "grad_norm": 3.984375,
      "learning_rate": 2.294096790769411e-06,
      "loss": 0.03973854184150696,
      "step": 2950,
      "token_acc": 0.987149070778964
    },
    {
      "epoch": 1.5786666666666667,
      "grad_norm": 4.125,
      "learning_rate": 2.239333158051147e-06,
      "loss": 0.04216883778572082,
      "step": 2960,
      "token_acc": 0.985914095823827
    },
    {
      "epoch": 1.584,
      "grad_norm": 3.8125,
      "learning_rate": 2.185148566555738e-06,
      "loss": 0.036406677961349485,
      "step": 2970,
      "token_acc": 0.9885492382754157
    },
    {
      "epoch": 1.5893333333333333,
      "grad_norm": 4.75,
      "learning_rate": 2.131547059120329e-06,
      "loss": 0.0353354811668396,
      "step": 2980,
      "token_acc": 0.9889804427677951
    },
    {
      "epoch": 1.5946666666666667,
      "grad_norm": 5.0625,
      "learning_rate": 2.0785326350768085e-06,
      "loss": 0.03935574293136597,
      "step": 2990,
      "token_acc": 0.9870039682539683
    },
    {
      "epoch": 1.6,
      "grad_norm": 3.71875,
      "learning_rate": 2.0261092499534287e-06,
      "loss": 0.035825759172439575,
      "step": 3000,
      "token_acc": 0.9886442184259899
    },
    {
      "epoch": 1.6053333333333333,
      "grad_norm": 3.765625,
      "learning_rate": 1.974280815179659e-06,
      "loss": 0.03752996325492859,
      "step": 3010,
      "token_acc": 0.9868238557558946
    },
    {
      "epoch": 1.6106666666666667,
      "grad_norm": 4.78125,
      "learning_rate": 1.9230511977943646e-06,
      "loss": 0.040970760583877566,
      "step": 3020,
      "token_acc": 0.9850628153130874
    },
    {
      "epoch": 1.616,
      "grad_norm": 3.4375,
      "learning_rate": 1.8724242201572585e-06,
      "loss": 0.043044912815094,
      "step": 3030,
      "token_acc": 0.9857637172516065
    },
    {
      "epoch": 1.6213333333333333,
      "grad_norm": 4.34375,
      "learning_rate": 1.822403659663715e-06,
      "loss": 0.036146676540374754,
      "step": 3040,
      "token_acc": 0.9875683739433118
    },
    {
      "epoch": 1.6266666666666667,
      "grad_norm": 3.859375,
      "learning_rate": 1.7729932484629298e-06,
      "loss": 0.03931437730789185,
      "step": 3050,
      "token_acc": 0.9890704903238745
    },
    {
      "epoch": 1.6320000000000001,
      "grad_norm": 4.4375,
      "learning_rate": 1.724196673179458e-06,
      "loss": 0.03747313618659973,
      "step": 3060,
      "token_acc": 0.9896362730443448
    },
    {
      "epoch": 1.6373333333333333,
      "grad_norm": 3.421875,
      "learning_rate": 1.6760175746381402e-06,
      "loss": 0.04139094054698944,
      "step": 3070,
      "token_acc": 0.9865765138709357
    },
    {
      "epoch": 1.6426666666666667,
      "grad_norm": 3.5,
      "learning_rate": 1.6284595475924547e-06,
      "loss": 0.0396723598241806,
      "step": 3080,
      "token_acc": 0.9874851013110846
    },
    {
      "epoch": 1.6480000000000001,
      "grad_norm": 4.28125,
      "learning_rate": 1.5815261404563066e-06,
      "loss": 0.04129367172718048,
      "step": 3090,
      "token_acc": 0.985513038265561
    },
    {
      "epoch": 1.6533333333333333,
      "grad_norm": 4.53125,
      "learning_rate": 1.5352208550392745e-06,
      "loss": 0.04074010848999023,
      "step": 3100,
      "token_acc": 0.9864541832669322
    },
    {
      "epoch": 1.6586666666666665,
      "grad_norm": 2.515625,
      "learning_rate": 1.489547146285325e-06,
      "loss": 0.03951275944709778,
      "step": 3110,
      "token_acc": 0.988421573478476
    },
    {
      "epoch": 1.6640000000000001,
      "grad_norm": 3.90625,
      "learning_rate": 1.4445084220150341e-06,
      "loss": 0.037594377994537354,
      "step": 3120,
      "token_acc": 0.9884542649547129
    },
    {
      "epoch": 1.6693333333333333,
      "grad_norm": 3.484375,
      "learning_rate": 1.4001080426713332e-06,
      "loss": 0.04155745506286621,
      "step": 3130,
      "token_acc": 0.9877453422337352
    },
    {
      "epoch": 1.6746666666666665,
      "grad_norm": 3.859375,
      "learning_rate": 1.3563493210687527e-06,
      "loss": 0.043962416052818296,
      "step": 3140,
      "token_acc": 0.9840078973346496
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 3.578125,
      "learning_rate": 1.3132355221462778e-06,
      "loss": 0.03296797275543213,
      "step": 3150,
      "token_acc": 0.9894537856929658
    },
    {
      "epoch": 1.6853333333333333,
      "grad_norm": 3.59375,
      "learning_rate": 1.2707698627237152e-06,
      "loss": 0.03483983278274536,
      "step": 3160,
      "token_acc": 0.9894310549190043
    },
    {
      "epoch": 1.6906666666666665,
      "grad_norm": 4.84375,
      "learning_rate": 1.2289555112617024e-06,
      "loss": 0.038097748160362245,
      "step": 3170,
      "token_acc": 0.9872839260878203
    },
    {
      "epoch": 1.696,
      "grad_norm": 3.890625,
      "learning_rate": 1.1877955876252779e-06,
      "loss": 0.04070072174072266,
      "step": 3180,
      "token_acc": 0.9862648221343874
    },
    {
      "epoch": 1.7013333333333334,
      "grad_norm": 4.5625,
      "learning_rate": 1.147293162851123e-06,
      "loss": 0.042076826095581055,
      "step": 3190,
      "token_acc": 0.9863341645885286
    },
    {
      "epoch": 1.7066666666666666,
      "grad_norm": 4.1875,
      "learning_rate": 1.1074512589184105e-06,
      "loss": 0.036808636784553525,
      "step": 3200,
      "token_acc": 0.9880155797463298
    },
    {
      "epoch": 1.712,
      "grad_norm": 2.9375,
      "learning_rate": 1.0682728485233306e-06,
      "loss": 0.04157693088054657,
      "step": 3210,
      "token_acc": 0.9863757527890217
    },
    {
      "epoch": 1.7173333333333334,
      "grad_norm": 4.6875,
      "learning_rate": 1.0297608548573002e-06,
      "loss": 0.03867577910423279,
      "step": 3220,
      "token_acc": 0.9868682849184242
    },
    {
      "epoch": 1.7226666666666666,
      "grad_norm": 4.0,
      "learning_rate": 9.91918151388841e-07,
      "loss": 0.03704025447368622,
      "step": 3230,
      "token_acc": 0.9880186157045252
    },
    {
      "epoch": 1.728,
      "grad_norm": 5.9375,
      "learning_rate": 9.547475616492008e-07,
      "loss": 0.04006602168083191,
      "step": 3240,
      "token_acc": 0.9858022239872914
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 4.5,
      "learning_rate": 9.182518590216616e-07,
      "loss": 0.035135465860366824,
      "step": 3250,
      "token_acc": 0.989517819706499
    },
    {
      "epoch": 1.7386666666666666,
      "grad_norm": 3.28125,
      "learning_rate": 8.824337665346372e-07,
      "loss": 0.03798290193080902,
      "step": 3260,
      "token_acc": 0.9877976190476191
    },
    {
      "epoch": 1.744,
      "grad_norm": 3.515625,
      "learning_rate": 8.472959566584804e-07,
      "loss": 0.03600641489028931,
      "step": 3270,
      "token_acc": 0.9884680385724227
    },
    {
      "epoch": 1.7493333333333334,
      "grad_norm": 2.65625,
      "learning_rate": 8.128410511061002e-07,
      "loss": 0.03648544549942016,
      "step": 3280,
      "token_acc": 0.9888472167390446
    },
    {
      "epoch": 1.7546666666666666,
      "grad_norm": 3.890625,
      "learning_rate": 7.790716206373283e-07,
      "loss": 0.03724295794963837,
      "step": 3290,
      "token_acc": 0.9882908589983272
    },
    {
      "epoch": 1.76,
      "grad_norm": 5.5,
      "learning_rate": 7.459901848671347e-07,
      "loss": 0.03567275404930115,
      "step": 3300,
      "token_acc": 0.9892803970223325
    },
    {
      "epoch": 1.7653333333333334,
      "grad_norm": 3.4375,
      "learning_rate": 7.135992120776159e-07,
      "loss": 0.03632798194885254,
      "step": 3310,
      "token_acc": 0.9883651551312649
    },
    {
      "epoch": 1.7706666666666666,
      "grad_norm": 4.25,
      "learning_rate": 6.819011190338309e-07,
      "loss": 0.04045731127262116,
      "step": 3320,
      "token_acc": 0.9866320830007981
    },
    {
      "epoch": 1.776,
      "grad_norm": 4.0,
      "learning_rate": 6.508982708034962e-07,
      "loss": 0.04045606255531311,
      "step": 3330,
      "token_acc": 0.9870064967516242
    },
    {
      "epoch": 1.7813333333333334,
      "grad_norm": 4.25,
      "learning_rate": 6.205929805805e-07,
      "loss": 0.04064445495605469,
      "step": 3340,
      "token_acc": 0.9874344513703374
    },
    {
      "epoch": 1.7866666666666666,
      "grad_norm": 4.0625,
      "learning_rate": 5.90987509512333e-07,
      "loss": 0.039674225449562076,
      "step": 3350,
      "token_acc": 0.9873617693522907
    },
    {
      "epoch": 1.792,
      "grad_norm": 3.9375,
      "learning_rate": 5.620840665313554e-07,
      "loss": 0.03971289396286011,
      "step": 3360,
      "token_acc": 0.9871845817603815
    },
    {
      "epoch": 1.7973333333333334,
      "grad_norm": 4.46875,
      "learning_rate": 5.338848081900062e-07,
      "loss": 0.03789665699005127,
      "step": 3370,
      "token_acc": 0.9868289762522451
    },
    {
      "epoch": 1.8026666666666666,
      "grad_norm": 4.28125,
      "learning_rate": 5.063918384998801e-07,
      "loss": 0.03832893967628479,
      "step": 3380,
      "token_acc": 0.9873656983684839
    },
    {
      "epoch": 1.808,
      "grad_norm": 3.625,
      "learning_rate": 4.796072087747506e-07,
      "loss": 0.03417414128780365,
      "step": 3390,
      "token_acc": 0.9885656970912738
    },
    {
      "epoch": 1.8133333333333335,
      "grad_norm": 3.3125,
      "learning_rate": 4.5353291747751605e-07,
      "loss": 0.03775486946105957,
      "step": 3400,
      "token_acc": 0.987764846314533
    },
    {
      "epoch": 1.8186666666666667,
      "grad_norm": 4.46875,
      "learning_rate": 4.281709100710907e-07,
      "loss": 0.041268390417098996,
      "step": 3410,
      "token_acc": 0.9870834154999014
    },
    {
      "epoch": 1.8239999999999998,
      "grad_norm": 3.34375,
      "learning_rate": 4.035230788732447e-07,
      "loss": 0.039685606956481934,
      "step": 3420,
      "token_acc": 0.9877361289684502
    },
    {
      "epoch": 1.8293333333333335,
      "grad_norm": 4.0625,
      "learning_rate": 3.7959126291541635e-07,
      "loss": 0.03789263963699341,
      "step": 3430,
      "token_acc": 0.9878606965174129
    },
    {
      "epoch": 1.8346666666666667,
      "grad_norm": 4.8125,
      "learning_rate": 3.5637724780550386e-07,
      "loss": 0.03865547776222229,
      "step": 3440,
      "token_acc": 0.9879853043391917
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 4.84375,
      "learning_rate": 3.338827655946253e-07,
      "loss": 0.03745532631874084,
      "step": 3450,
      "token_acc": 0.9876421156697973
    },
    {
      "epoch": 1.8453333333333335,
      "grad_norm": 4.21875,
      "learning_rate": 3.121094946478942e-07,
      "loss": 0.04047192931175232,
      "step": 3460,
      "token_acc": 0.9872889771598808
    },
    {
      "epoch": 1.8506666666666667,
      "grad_norm": 4.28125,
      "learning_rate": 2.910590595191898e-07,
      "loss": 0.040114715695381165,
      "step": 3470,
      "token_acc": 0.988480635551142
    },
    {
      "epoch": 1.8559999999999999,
      "grad_norm": 4.125,
      "learning_rate": 2.707330308299516e-07,
      "loss": 0.04216385185718537,
      "step": 3480,
      "token_acc": 0.9865373193427044
    },
    {
      "epoch": 1.8613333333333333,
      "grad_norm": 4.125,
      "learning_rate": 2.5113292515198007e-07,
      "loss": 0.040276515483856204,
      "step": 3490,
      "token_acc": 0.984169387553181
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 3.71875,
      "learning_rate": 2.3226020489429235e-07,
      "loss": 0.04182217717170715,
      "step": 3500,
      "token_acc": 0.9864570976670621
    },
    {
      "epoch": 1.8719999999999999,
      "grad_norm": 2.59375,
      "learning_rate": 2.1411627819400317e-07,
      "loss": 0.03821204304695129,
      "step": 3510,
      "token_acc": 0.987941000597967
    },
    {
      "epoch": 1.8773333333333333,
      "grad_norm": 4.46875,
      "learning_rate": 1.9670249881126202e-07,
      "loss": 0.0350002646446228,
      "step": 3520,
      "token_acc": 0.9889872173058014
    },
    {
      "epoch": 1.8826666666666667,
      "grad_norm": 4.21875,
      "learning_rate": 1.8002016602824634e-07,
      "loss": 0.04192837476730347,
      "step": 3530,
      "token_acc": 0.9864676616915423
    },
    {
      "epoch": 1.888,
      "grad_norm": 5.625,
      "learning_rate": 1.6407052455221562e-07,
      "loss": 0.03514524102210999,
      "step": 3540,
      "token_acc": 0.9886284979729062
    },
    {
      "epoch": 1.8933333333333333,
      "grad_norm": 3.625,
      "learning_rate": 1.4885476442264902e-07,
      "loss": 0.04049878716468811,
      "step": 3550,
      "token_acc": 0.9872188645595957
    },
    {
      "epoch": 1.8986666666666667,
      "grad_norm": 4.0,
      "learning_rate": 1.3437402092244533e-07,
      "loss": 0.03796062469482422,
      "step": 3560,
      "token_acc": 0.9878787878787879
    },
    {
      "epoch": 1.904,
      "grad_norm": 4.0625,
      "learning_rate": 1.2062937449321854e-07,
      "loss": 0.03846385180950165,
      "step": 3570,
      "token_acc": 0.9860460480414631
    },
    {
      "epoch": 1.9093333333333333,
      "grad_norm": 5.25,
      "learning_rate": 1.0762185065468889e-07,
      "loss": 0.04030992984771729,
      "step": 3580,
      "token_acc": 0.987700853005356
    },
    {
      "epoch": 1.9146666666666667,
      "grad_norm": 3.265625,
      "learning_rate": 9.535241992816191e-08,
      "loss": 0.042255711555480954,
      "step": 3590,
      "token_acc": 0.9876
    },
    {
      "epoch": 1.92,
      "grad_norm": 5.5625,
      "learning_rate": 8.382199776411526e-08,
      "loss": 0.03983389139175415,
      "step": 3600,
      "token_acc": 0.9855956787036111
    },
    {
      "epoch": 1.9253333333333333,
      "grad_norm": 4.1875,
      "learning_rate": 7.303144447389554e-08,
      "loss": 0.035570698976516726,
      "step": 3610,
      "token_acc": 0.9869651741293533
    },
    {
      "epoch": 1.9306666666666668,
      "grad_norm": 4.53125,
      "learning_rate": 6.298156516552966e-08,
      "loss": 0.0347730815410614,
      "step": 3620,
      "token_acc": 0.9881046788263284
    },
    {
      "epoch": 1.936,
      "grad_norm": 3.796875,
      "learning_rate": 5.3673109683656245e-08,
      "loss": 0.03999523520469665,
      "step": 3630,
      "token_acc": 0.9867116223720745
    },
    {
      "epoch": 1.9413333333333334,
      "grad_norm": 4.96875,
      "learning_rate": 4.510677255357143e-08,
      "loss": 0.038808077573776245,
      "step": 3640,
      "token_acc": 0.9859943977591037
    },
    {
      "epoch": 1.9466666666666668,
      "grad_norm": 3.671875,
      "learning_rate": 3.7283192929412624e-08,
      "loss": 0.038824063539505,
      "step": 3650,
      "token_acc": 0.9869138495092693
    },
    {
      "epoch": 1.952,
      "grad_norm": 5.0,
      "learning_rate": 3.020295454647104e-08,
      "loss": 0.039383918046951294,
      "step": 3660,
      "token_acc": 0.9874195146111937
    },
    {
      "epoch": 1.9573333333333334,
      "grad_norm": 3.5625,
      "learning_rate": 2.3866585677635445e-08,
      "loss": 0.035313469171524045,
      "step": 3670,
      "token_acc": 0.9900635930047694
    },
    {
      "epoch": 1.9626666666666668,
      "grad_norm": 4.96875,
      "learning_rate": 1.827455909397813e-08,
      "loss": 0.04173220694065094,
      "step": 3680,
      "token_acc": 0.9857867011231488
    },
    {
      "epoch": 1.968,
      "grad_norm": 2.828125,
      "learning_rate": 1.3427292029476458e-08,
      "loss": 0.04029126763343811,
      "step": 3690,
      "token_acc": 0.9877477836437892
    },
    {
      "epoch": 1.9733333333333334,
      "grad_norm": 3.9375,
      "learning_rate": 9.325146149888887e-09,
      "loss": 0.04099421203136444,
      "step": 3700,
      "token_acc": 0.9873291429711664
    },
    {
      "epoch": 1.9786666666666668,
      "grad_norm": 4.59375,
      "learning_rate": 5.96842752576543e-09,
      "loss": 0.03839865326881409,
      "step": 3710,
      "token_acc": 0.9865293185419969
    },
    {
      "epoch": 1.984,
      "grad_norm": 3.890625,
      "learning_rate": 3.3573866096114903e-09,
      "loss": 0.0387137234210968,
      "step": 3720,
      "token_acc": 0.9878769958604376
    },
    {
      "epoch": 1.9893333333333332,
      "grad_norm": 4.875,
      "learning_rate": 1.4922182172016908e-09,
      "loss": 0.0345587432384491,
      "step": 3730,
      "token_acc": 0.9903066271018793
    },
    {
      "epoch": 1.9946666666666668,
      "grad_norm": 4.25,
      "learning_rate": 3.7306151304483675e-10,
      "loss": 0.040695366263389585,
      "step": 3740,
      "token_acc": 0.98731039952414
    },
    {
      "epoch": 2.0,
      "grad_norm": 4.90625,
      "learning_rate": 0.0,
      "loss": 0.03878684341907501,
      "step": 3750,
      "token_acc": 0.9870156218299858
    }
  ],
  "logging_steps": 10,
  "max_steps": 3750,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 2,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 1.7535688265883976e+18,
  "train_batch_size": 8,
  "trial_name": null,
  "trial_params": null
}