{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 1.0,
  "eval_steps": 500,
  "global_step": 1875,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0026666666666666666,
      "grad_norm": 111.42095184326172,
      "learning_rate": 8.000000000000001e-06,
      "loss": 3.8364429473876953,
      "step": 5
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 109.14442443847656,
      "learning_rate": 1.8e-05,
      "loss": 3.9926475524902343,
      "step": 10
    },
    {
      "epoch": 0.008,
      "grad_norm": 101.42647552490234,
      "learning_rate": 2.8000000000000003e-05,
      "loss": 3.995504379272461,
      "step": 15
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 109.83303833007812,
      "learning_rate": 3.8e-05,
      "loss": 4.018572235107422,
      "step": 20
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 112.08419036865234,
      "learning_rate": 4.8e-05,
      "loss": 3.755289840698242,
      "step": 25
    },
    {
      "epoch": 0.016,
      "grad_norm": 100.94216918945312,
      "learning_rate": 5.8e-05,
      "loss": 4.246578598022461,
      "step": 30
    },
    {
      "epoch": 0.018666666666666668,
      "grad_norm": 105.94002532958984,
      "learning_rate": 6.800000000000001e-05,
      "loss": 4.087727355957031,
      "step": 35
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 105.70794677734375,
      "learning_rate": 7.800000000000001e-05,
      "loss": 4.1905662536621096,
      "step": 40
    },
    {
      "epoch": 0.024,
      "grad_norm": 98.27630615234375,
      "learning_rate": 8.800000000000001e-05,
      "loss": 4.242923736572266,
      "step": 45
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 96.04302215576172,
      "learning_rate": 9.8e-05,
      "loss": 3.6260860443115233,
      "step": 50
    },
    {
      "epoch": 0.029333333333333333,
      "grad_norm": 92.48601531982422,
      "learning_rate": 0.00010800000000000001,
      "loss": 3.8905006408691407,
      "step": 55
    },
    {
      "epoch": 0.032,
      "grad_norm": 79.16095733642578,
      "learning_rate": 0.000118,
      "loss": 3.976701354980469,
      "step": 60
    },
    {
      "epoch": 0.034666666666666665,
      "grad_norm": 49.770843505859375,
      "learning_rate": 0.00012800000000000002,
      "loss": 3.3022926330566404,
      "step": 65
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 35.14606857299805,
      "learning_rate": 0.000138,
      "loss": 3.0480682373046877,
      "step": 70
    },
    {
      "epoch": 0.04,
      "grad_norm": 17.989023208618164,
      "learning_rate": 0.000148,
      "loss": 2.969354820251465,
      "step": 75
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 10.208930015563965,
      "learning_rate": 0.00015800000000000002,
      "loss": 2.754788398742676,
      "step": 80
    },
    {
      "epoch": 0.04533333333333334,
      "grad_norm": 7.91585636138916,
      "learning_rate": 0.000168,
      "loss": 2.7410520553588866,
      "step": 85
    },
    {
      "epoch": 0.048,
      "grad_norm": 11.388216018676758,
      "learning_rate": 0.00017800000000000002,
      "loss": 2.634347915649414,
      "step": 90
    },
    {
      "epoch": 0.050666666666666665,
      "grad_norm": 13.314560890197754,
      "learning_rate": 0.000188,
      "loss": 2.7689334869384767,
      "step": 95
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 8.856882095336914,
      "learning_rate": 0.00019800000000000002,
      "loss": 2.4870817184448244,
      "step": 100
    },
    {
      "epoch": 0.056,
      "grad_norm": 9.047578811645508,
      "learning_rate": 0.0001995492957746479,
      "loss": 2.6626506805419923,
      "step": 105
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 14.89815902709961,
      "learning_rate": 0.00019898591549295775,
      "loss": 2.4955657958984374,
      "step": 110
    },
    {
      "epoch": 0.06133333333333333,
      "grad_norm": 11.615093231201172,
      "learning_rate": 0.0001984225352112676,
      "loss": 2.4722850799560545,
      "step": 115
    },
    {
      "epoch": 0.064,
      "grad_norm": 7.831632137298584,
      "learning_rate": 0.00019785915492957749,
      "loss": 2.478262710571289,
      "step": 120
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 11.921890258789062,
      "learning_rate": 0.00019729577464788734,
      "loss": 2.618533134460449,
      "step": 125
    },
    {
      "epoch": 0.06933333333333333,
      "grad_norm": 14.859938621520996,
      "learning_rate": 0.0001967323943661972,
      "loss": 2.3821949005126952,
      "step": 130
    },
    {
      "epoch": 0.072,
      "grad_norm": 9.261709213256836,
      "learning_rate": 0.00019616901408450705,
      "loss": 2.3455177307128907,
      "step": 135
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 10.13550090789795,
      "learning_rate": 0.0001956056338028169,
      "loss": 2.214771270751953,
      "step": 140
    },
    {
      "epoch": 0.07733333333333334,
      "grad_norm": 17.88613510131836,
      "learning_rate": 0.00019504225352112676,
      "loss": 2.4231706619262696,
      "step": 145
    },
    {
      "epoch": 0.08,
      "grad_norm": 12.118648529052734,
      "learning_rate": 0.00019447887323943664,
      "loss": 2.2237390518188476,
      "step": 150
    },
    {
      "epoch": 0.08266666666666667,
      "grad_norm": 7.8988237380981445,
      "learning_rate": 0.0001939154929577465,
      "loss": 2.3514604568481445,
      "step": 155
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 10.741722106933594,
      "learning_rate": 0.00019335211267605635,
      "loss": 2.2051753997802734,
      "step": 160
    },
    {
      "epoch": 0.088,
      "grad_norm": 26.805442810058594,
      "learning_rate": 0.0001927887323943662,
      "loss": 2.3654811859130858,
      "step": 165
    },
    {
      "epoch": 0.09066666666666667,
      "grad_norm": 12.131038665771484,
      "learning_rate": 0.00019222535211267606,
      "loss": 2.1395811080932616,
      "step": 170
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 17.024158477783203,
      "learning_rate": 0.00019166197183098592,
      "loss": 2.2801307678222655,
      "step": 175
    },
    {
      "epoch": 0.096,
      "grad_norm": 12.311001777648926,
      "learning_rate": 0.0001910985915492958,
      "loss": 2.2027219772338866,
      "step": 180
    },
    {
      "epoch": 0.09866666666666667,
      "grad_norm": 10.584918022155762,
      "learning_rate": 0.00019053521126760565,
      "loss": 2.1023969650268555,
      "step": 185
    },
    {
      "epoch": 0.10133333333333333,
      "grad_norm": 9.735937118530273,
      "learning_rate": 0.0001899718309859155,
      "loss": 2.1271486282348633,
      "step": 190
    },
    {
      "epoch": 0.104,
      "grad_norm": 10.524523735046387,
      "learning_rate": 0.00018940845070422536,
      "loss": 1.98572998046875,
      "step": 195
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 22.287979125976562,
      "learning_rate": 0.00018884507042253522,
      "loss": 2.1280967712402346,
      "step": 200
    },
    {
      "epoch": 0.10933333333333334,
      "grad_norm": 12.949265480041504,
      "learning_rate": 0.00018828169014084508,
      "loss": 2.35632438659668,
      "step": 205
    },
    {
      "epoch": 0.112,
      "grad_norm": 12.248553276062012,
      "learning_rate": 0.00018771830985915493,
      "loss": 2.108376312255859,
      "step": 210
    },
    {
      "epoch": 0.11466666666666667,
      "grad_norm": 20.717639923095703,
      "learning_rate": 0.00018715492957746479,
      "loss": 2.234812545776367,
      "step": 215
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 16.17305564880371,
      "learning_rate": 0.00018659154929577464,
      "loss": 2.0656204223632812,
      "step": 220
    },
    {
      "epoch": 0.12,
      "grad_norm": 8.19717788696289,
      "learning_rate": 0.0001860281690140845,
      "loss": 2.0712602615356444,
      "step": 225
    },
    {
      "epoch": 0.12266666666666666,
      "grad_norm": 12.941885948181152,
      "learning_rate": 0.00018546478873239438,
      "loss": 2.0772335052490236,
      "step": 230
    },
    {
      "epoch": 0.12533333333333332,
      "grad_norm": 10.803686141967773,
      "learning_rate": 0.00018490140845070423,
      "loss": 2.1897953033447264,
      "step": 235
    },
    {
      "epoch": 0.128,
      "grad_norm": 14.808187484741211,
      "learning_rate": 0.0001843380281690141,
      "loss": 1.918899154663086,
      "step": 240
    },
    {
      "epoch": 0.13066666666666665,
      "grad_norm": 8.39094352722168,
      "learning_rate": 0.00018377464788732394,
      "loss": 1.8229557037353517,
      "step": 245
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 12.167826652526855,
      "learning_rate": 0.0001832112676056338,
      "loss": 1.938387680053711,
      "step": 250
    },
    {
      "epoch": 0.136,
      "grad_norm": 12.469399452209473,
      "learning_rate": 0.00018264788732394368,
      "loss": 2.0133317947387694,
      "step": 255
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 11.071825981140137,
      "learning_rate": 0.00018208450704225353,
      "loss": 2.0019498825073243,
      "step": 260
    },
    {
      "epoch": 0.14133333333333334,
      "grad_norm": 7.247564792633057,
      "learning_rate": 0.0001815211267605634,
      "loss": 1.8427227020263672,
      "step": 265
    },
    {
      "epoch": 0.144,
      "grad_norm": 8.006746292114258,
      "learning_rate": 0.00018095774647887324,
      "loss": 1.7452852249145507,
      "step": 270
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 14.407325744628906,
      "learning_rate": 0.0001803943661971831,
      "loss": 2.0053468704223634,
      "step": 275
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 10.286742210388184,
      "learning_rate": 0.00017983098591549295,
      "loss": 1.7834600448608398,
      "step": 280
    },
    {
      "epoch": 0.152,
      "grad_norm": 9.0601167678833,
      "learning_rate": 0.00017926760563380284,
      "loss": 2.0129535675048826,
      "step": 285
    },
    {
      "epoch": 0.15466666666666667,
      "grad_norm": 10.650718688964844,
      "learning_rate": 0.0001787042253521127,
      "loss": 1.9546815872192382,
      "step": 290
    },
    {
      "epoch": 0.15733333333333333,
      "grad_norm": 11.976932525634766,
      "learning_rate": 0.00017814084507042255,
      "loss": 1.7800857543945312,
      "step": 295
    },
    {
      "epoch": 0.16,
      "grad_norm": 12.129305839538574,
      "learning_rate": 0.0001775774647887324,
      "loss": 1.9225830078125,
      "step": 300
    },
    {
      "epoch": 0.16266666666666665,
      "grad_norm": 7.160472869873047,
      "learning_rate": 0.00017701408450704226,
      "loss": 2.11226806640625,
      "step": 305
    },
    {
      "epoch": 0.16533333333333333,
      "grad_norm": 7.345422267913818,
      "learning_rate": 0.00017645070422535214,
      "loss": 1.6668367385864258,
      "step": 310
    },
    {
      "epoch": 0.168,
      "grad_norm": 11.568793296813965,
      "learning_rate": 0.000175887323943662,
      "loss": 2.177800941467285,
      "step": 315
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 10.568408966064453,
      "learning_rate": 0.00017532394366197185,
      "loss": 1.6589248657226563,
      "step": 320
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 12.5291748046875,
      "learning_rate": 0.0001747605633802817,
      "loss": 2.021794891357422,
      "step": 325
    },
    {
      "epoch": 0.176,
      "grad_norm": 9.078185081481934,
      "learning_rate": 0.00017419718309859156,
      "loss": 1.8950891494750977,
      "step": 330
    },
    {
      "epoch": 0.17866666666666667,
      "grad_norm": 11.55624771118164,
      "learning_rate": 0.0001736338028169014,
      "loss": 1.74400634765625,
      "step": 335
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 18.240102767944336,
      "learning_rate": 0.0001730704225352113,
      "loss": 1.9026069641113281,
      "step": 340
    },
    {
      "epoch": 0.184,
      "grad_norm": 11.563017845153809,
      "learning_rate": 0.00017250704225352115,
      "loss": 1.7250774383544922,
      "step": 345
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 11.15317153930664,
      "learning_rate": 0.000171943661971831,
      "loss": 1.7776386260986328,
      "step": 350
    },
    {
      "epoch": 0.18933333333333333,
      "grad_norm": 9.991138458251953,
      "learning_rate": 0.00017138028169014083,
      "loss": 1.8309949874877929,
      "step": 355
    },
    {
      "epoch": 0.192,
      "grad_norm": 10.5128812789917,
      "learning_rate": 0.00017081690140845072,
      "loss": 1.781858253479004,
      "step": 360
    },
    {
      "epoch": 0.19466666666666665,
      "grad_norm": 9.632908821105957,
      "learning_rate": 0.00017025352112676057,
      "loss": 1.6298736572265624,
      "step": 365
    },
    {
      "epoch": 0.19733333333333333,
      "grad_norm": 13.075124740600586,
      "learning_rate": 0.00016969014084507043,
      "loss": 1.8063199996948243,
      "step": 370
    },
    {
      "epoch": 0.2,
      "grad_norm": 12.443954467773438,
      "learning_rate": 0.00016912676056338028,
      "loss": 1.8022855758666991,
      "step": 375
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 6.060068607330322,
      "learning_rate": 0.00016856338028169014,
      "loss": 1.8483312606811524,
      "step": 380
    },
    {
      "epoch": 0.20533333333333334,
      "grad_norm": 6.94767427444458,
      "learning_rate": 0.000168,
      "loss": 1.576484489440918,
      "step": 385
    },
    {
      "epoch": 0.208,
      "grad_norm": 12.666653633117676,
      "learning_rate": 0.00016743661971830987,
      "loss": 1.7100191116333008,
      "step": 390
    },
    {
      "epoch": 0.21066666666666667,
      "grad_norm": 14.472047805786133,
      "learning_rate": 0.00016687323943661973,
      "loss": 1.8619709014892578,
      "step": 395
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 7.539713382720947,
      "learning_rate": 0.00016630985915492958,
      "loss": 1.6018537521362304,
      "step": 400
    },
    {
      "epoch": 0.216,
      "grad_norm": 13.27442741394043,
      "learning_rate": 0.00016574647887323944,
      "loss": 1.7947893142700195,
      "step": 405
    },
    {
      "epoch": 0.21866666666666668,
      "grad_norm": 9.306031227111816,
      "learning_rate": 0.0001651830985915493,
      "loss": 1.5350324630737304,
      "step": 410
    },
    {
      "epoch": 0.22133333333333333,
      "grad_norm": 9.19575309753418,
      "learning_rate": 0.00016461971830985915,
      "loss": 1.3080059051513673,
      "step": 415
    },
    {
      "epoch": 0.224,
      "grad_norm": 11.85124683380127,
      "learning_rate": 0.00016405633802816903,
      "loss": 1.5168281555175782,
      "step": 420
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 17.644533157348633,
      "learning_rate": 0.00016349295774647888,
      "loss": 1.8149856567382812,
      "step": 425
    },
    {
      "epoch": 0.22933333333333333,
      "grad_norm": 9.317895889282227,
      "learning_rate": 0.00016292957746478874,
      "loss": 1.5829595565795898,
      "step": 430
    },
    {
      "epoch": 0.232,
      "grad_norm": 8.898033142089844,
      "learning_rate": 0.0001623661971830986,
      "loss": 1.6538114547729492,
      "step": 435
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 11.282074928283691,
      "learning_rate": 0.00016180281690140845,
      "loss": 1.528157615661621,
      "step": 440
    },
    {
      "epoch": 0.23733333333333334,
      "grad_norm": 16.48333740234375,
      "learning_rate": 0.00016123943661971833,
      "loss": 1.5374095916748047,
      "step": 445
    },
    {
      "epoch": 0.24,
      "grad_norm": 12.109912872314453,
      "learning_rate": 0.0001606760563380282,
      "loss": 1.386121654510498,
      "step": 450
    },
    {
      "epoch": 0.24266666666666667,
      "grad_norm": 10.904478073120117,
      "learning_rate": 0.00016011267605633804,
      "loss": 1.668480682373047,
      "step": 455
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 6.372141361236572,
      "learning_rate": 0.0001595492957746479,
      "loss": 1.4787811279296874,
      "step": 460
    },
    {
      "epoch": 0.248,
      "grad_norm": 13.91859245300293,
      "learning_rate": 0.00015898591549295775,
      "loss": 1.6651067733764648,
      "step": 465
    },
    {
      "epoch": 0.25066666666666665,
      "grad_norm": 12.036635398864746,
      "learning_rate": 0.0001584225352112676,
      "loss": 1.5556697845458984,
      "step": 470
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 12.638498306274414,
      "learning_rate": 0.0001578591549295775,
      "loss": 1.5949674606323243,
      "step": 475
    },
    {
      "epoch": 0.256,
      "grad_norm": 14.810049057006836,
      "learning_rate": 0.00015729577464788734,
      "loss": 1.5545027732849122,
      "step": 480
    },
    {
      "epoch": 0.25866666666666666,
      "grad_norm": 12.008495330810547,
      "learning_rate": 0.0001567323943661972,
      "loss": 1.532095718383789,
      "step": 485
    },
    {
      "epoch": 0.2613333333333333,
      "grad_norm": 11.929539680480957,
      "learning_rate": 0.00015616901408450705,
      "loss": 1.528535747528076,
      "step": 490
    },
    {
      "epoch": 0.264,
      "grad_norm": 14.860784530639648,
      "learning_rate": 0.0001556056338028169,
      "loss": 1.3496550559997558,
      "step": 495
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 20.984825134277344,
      "learning_rate": 0.0001550422535211268,
      "loss": 1.6677631378173827,
      "step": 500
    },
    {
      "epoch": 0.2693333333333333,
      "grad_norm": 10.00810718536377,
      "learning_rate": 0.00015447887323943662,
      "loss": 1.6271722793579102,
      "step": 505
    },
    {
      "epoch": 0.272,
      "grad_norm": 10.55704402923584,
      "learning_rate": 0.00015391549295774647,
      "loss": 1.5874053955078125,
      "step": 510
    },
    {
      "epoch": 0.27466666666666667,
      "grad_norm": 9.05455207824707,
      "learning_rate": 0.00015335211267605633,
      "loss": 1.4935919761657714,
      "step": 515
    },
    {
      "epoch": 0.2773333333333333,
      "grad_norm": 9.206930160522461,
      "learning_rate": 0.00015278873239436618,
      "loss": 1.2563257217407227,
      "step": 520
    },
    {
      "epoch": 0.28,
      "grad_norm": 16.945716857910156,
      "learning_rate": 0.00015222535211267607,
      "loss": 1.9246967315673829,
      "step": 525
    },
    {
      "epoch": 0.2826666666666667,
      "grad_norm": 16.999794006347656,
      "learning_rate": 0.00015166197183098592,
      "loss": 1.601163101196289,
      "step": 530
    },
    {
      "epoch": 0.2853333333333333,
      "grad_norm": 11.50149154663086,
      "learning_rate": 0.00015109859154929578,
      "loss": 1.2732219696044922,
      "step": 535
    },
    {
      "epoch": 0.288,
      "grad_norm": 9.570863723754883,
      "learning_rate": 0.00015053521126760563,
      "loss": 1.5544628143310546,
      "step": 540
    },
    {
      "epoch": 0.2906666666666667,
      "grad_norm": 19.93174934387207,
      "learning_rate": 0.00014997183098591549,
      "loss": 1.430725383758545,
      "step": 545
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 14.150125503540039,
      "learning_rate": 0.00014940845070422537,
      "loss": 1.5130680084228516,
      "step": 550
    },
    {
      "epoch": 0.296,
      "grad_norm": 7.9988017082214355,
      "learning_rate": 0.00014884507042253522,
      "loss": 1.355179214477539,
      "step": 555
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 14.685370445251465,
      "learning_rate": 0.00014828169014084508,
      "loss": 1.3353240966796875,
      "step": 560
    },
    {
      "epoch": 0.30133333333333334,
      "grad_norm": 11.790184020996094,
      "learning_rate": 0.00014771830985915493,
      "loss": 1.4299575805664062,
      "step": 565
    },
    {
      "epoch": 0.304,
      "grad_norm": 14.97231388092041,
      "learning_rate": 0.0001471549295774648,
      "loss": 1.5219791412353516,
      "step": 570
    },
    {
      "epoch": 0.30666666666666664,
      "grad_norm": 19.304960250854492,
      "learning_rate": 0.00014659154929577464,
      "loss": 1.5997358322143556,
      "step": 575
    },
    {
      "epoch": 0.30933333333333335,
      "grad_norm": 7.980342864990234,
      "learning_rate": 0.00014602816901408453,
      "loss": 1.6459079742431642,
      "step": 580
    },
    {
      "epoch": 0.312,
      "grad_norm": 8.21890926361084,
      "learning_rate": 0.00014546478873239438,
      "loss": 1.384648609161377,
      "step": 585
    },
    {
      "epoch": 0.31466666666666665,
      "grad_norm": 19.46270751953125,
      "learning_rate": 0.00014490140845070424,
      "loss": 1.348591423034668,
      "step": 590
    },
    {
      "epoch": 0.31733333333333336,
      "grad_norm": 15.35805892944336,
      "learning_rate": 0.0001443380281690141,
      "loss": 1.388819122314453,
      "step": 595
    },
    {
      "epoch": 0.32,
      "grad_norm": 11.9105806350708,
      "learning_rate": 0.00014377464788732395,
      "loss": 1.5539608955383302,
      "step": 600
    },
    {
      "epoch": 0.32266666666666666,
      "grad_norm": 13.5405855178833,
      "learning_rate": 0.00014321126760563383,
      "loss": 1.4897932052612304,
      "step": 605
    },
    {
      "epoch": 0.3253333333333333,
      "grad_norm": 10.101329803466797,
      "learning_rate": 0.00014264788732394368,
      "loss": 1.2876506805419923,
      "step": 610
    },
    {
      "epoch": 0.328,
      "grad_norm": 15.316314697265625,
      "learning_rate": 0.00014208450704225354,
      "loss": 1.3048943519592284,
      "step": 615
    },
    {
      "epoch": 0.33066666666666666,
      "grad_norm": 15.9734468460083,
      "learning_rate": 0.0001415211267605634,
      "loss": 1.3341278076171874,
      "step": 620
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 11.087525367736816,
      "learning_rate": 0.00014095774647887325,
      "loss": 1.4293962478637696,
      "step": 625
    },
    {
      "epoch": 0.336,
      "grad_norm": 9.48952579498291,
      "learning_rate": 0.0001403943661971831,
      "loss": 1.6734546661376952,
      "step": 630
    },
    {
      "epoch": 0.33866666666666667,
      "grad_norm": 10.6030912399292,
      "learning_rate": 0.00013983098591549298,
      "loss": 1.4673904418945312,
      "step": 635
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 8.771355628967285,
      "learning_rate": 0.00013926760563380284,
      "loss": 1.636158561706543,
      "step": 640
    },
    {
      "epoch": 0.344,
      "grad_norm": 8.74921989440918,
      "learning_rate": 0.0001387042253521127,
      "loss": 1.3190750122070312,
      "step": 645
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 13.284067153930664,
      "learning_rate": 0.00013814084507042252,
      "loss": 1.456781768798828,
      "step": 650
    },
    {
      "epoch": 0.34933333333333333,
      "grad_norm": 12.833295822143555,
      "learning_rate": 0.00013757746478873238,
      "loss": 1.2625598907470703,
      "step": 655
    },
    {
      "epoch": 0.352,
      "grad_norm": 8.977511405944824,
      "learning_rate": 0.00013701408450704226,
      "loss": 1.421074104309082,
      "step": 660
    },
    {
      "epoch": 0.3546666666666667,
      "grad_norm": 14.199395179748535,
      "learning_rate": 0.00013645070422535211,
      "loss": 1.6143177032470704,
      "step": 665
    },
    {
      "epoch": 0.35733333333333334,
      "grad_norm": 12.90284538269043,
      "learning_rate": 0.00013588732394366197,
      "loss": 1.4177433967590332,
      "step": 670
    },
    {
      "epoch": 0.36,
      "grad_norm": 12.17825698852539,
      "learning_rate": 0.00013532394366197182,
      "loss": 1.3354944229125976,
      "step": 675
    },
    {
      "epoch": 0.3626666666666667,
      "grad_norm": 14.036163330078125,
      "learning_rate": 0.00013476056338028168,
      "loss": 1.3644773483276367,
      "step": 680
    },
    {
      "epoch": 0.36533333333333334,
      "grad_norm": 20.567636489868164,
      "learning_rate": 0.00013419718309859156,
      "loss": 1.3656501770019531,
      "step": 685
    },
    {
      "epoch": 0.368,
      "grad_norm": 14.631959915161133,
      "learning_rate": 0.00013363380281690142,
      "loss": 1.1601862907409668,
      "step": 690
    },
    {
      "epoch": 0.37066666666666664,
      "grad_norm": 20.778545379638672,
      "learning_rate": 0.00013307042253521127,
      "loss": 1.4343491554260255,
      "step": 695
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 15.387961387634277,
      "learning_rate": 0.00013250704225352113,
      "loss": 1.5348882675170898,
      "step": 700
    },
    {
      "epoch": 0.376,
      "grad_norm": 12.003610610961914,
      "learning_rate": 0.00013194366197183098,
      "loss": 1.5257287979125977,
      "step": 705
    },
    {
      "epoch": 0.37866666666666665,
      "grad_norm": 10.2384614944458,
      "learning_rate": 0.00013138028169014084,
      "loss": 1.194979763031006,
      "step": 710
    },
    {
      "epoch": 0.38133333333333336,
      "grad_norm": 13.865598678588867,
      "learning_rate": 0.00013081690140845072,
      "loss": 1.3585129737854005,
      "step": 715
    },
    {
      "epoch": 0.384,
      "grad_norm": 10.222328186035156,
      "learning_rate": 0.00013025352112676057,
      "loss": 1.1794193267822266,
      "step": 720
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 17.701696395874023,
      "learning_rate": 0.00012969014084507043,
      "loss": 1.1500323295593262,
      "step": 725
    },
    {
      "epoch": 0.3893333333333333,
      "grad_norm": 17.17775535583496,
      "learning_rate": 0.00012912676056338028,
      "loss": 1.3181532859802245,
      "step": 730
    },
    {
      "epoch": 0.392,
      "grad_norm": 10.679163932800293,
      "learning_rate": 0.00012856338028169014,
      "loss": 1.7033679962158204,
      "step": 735
    },
    {
      "epoch": 0.39466666666666667,
      "grad_norm": 9.340590476989746,
      "learning_rate": 0.00012800000000000002,
      "loss": 1.3019798278808594,
      "step": 740
    },
    {
      "epoch": 0.3973333333333333,
      "grad_norm": 13.229374885559082,
      "learning_rate": 0.00012743661971830988,
      "loss": 1.335837173461914,
      "step": 745
    },
    {
      "epoch": 0.4,
      "grad_norm": 11.435072898864746,
      "learning_rate": 0.00012687323943661973,
      "loss": 1.2970674514770508,
      "step": 750
    },
    {
      "epoch": 0.4026666666666667,
      "grad_norm": 17.41055679321289,
      "learning_rate": 0.00012630985915492959,
      "loss": 1.1411434173583985,
      "step": 755
    },
    {
      "epoch": 0.4053333333333333,
      "grad_norm": 14.012968063354492,
      "learning_rate": 0.00012574647887323944,
      "loss": 1.2636231422424316,
      "step": 760
    },
    {
      "epoch": 0.408,
      "grad_norm": 8.152549743652344,
      "learning_rate": 0.0001251830985915493,
      "loss": 1.2594858169555665,
      "step": 765
    },
    {
      "epoch": 0.4106666666666667,
      "grad_norm": 9.20104694366455,
      "learning_rate": 0.00012461971830985918,
      "loss": 1.2612009048461914,
      "step": 770
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 11.505044937133789,
      "learning_rate": 0.00012405633802816903,
      "loss": 1.331658172607422,
      "step": 775
    },
    {
      "epoch": 0.416,
      "grad_norm": 9.846095085144043,
      "learning_rate": 0.0001234929577464789,
      "loss": 1.3054898262023926,
      "step": 780
    },
    {
      "epoch": 0.4186666666666667,
      "grad_norm": 9.809595108032227,
      "learning_rate": 0.00012292957746478874,
      "loss": 1.1530959129333496,
      "step": 785
    },
    {
      "epoch": 0.42133333333333334,
      "grad_norm": 11.386530876159668,
      "learning_rate": 0.0001223661971830986,
      "loss": 1.268353271484375,
      "step": 790
    },
    {
      "epoch": 0.424,
      "grad_norm": 14.313374519348145,
      "learning_rate": 0.00012180281690140847,
      "loss": 0.9667896270751953,
      "step": 795
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 25.00824737548828,
      "learning_rate": 0.00012123943661971831,
      "loss": 1.0513657569885253,
      "step": 800
    },
    {
      "epoch": 0.42933333333333334,
      "grad_norm": 15.341448783874512,
      "learning_rate": 0.00012067605633802816,
      "loss": 1.4102449417114258,
      "step": 805
    },
    {
      "epoch": 0.432,
      "grad_norm": 22.345888137817383,
      "learning_rate": 0.00012011267605633802,
      "loss": 1.2195436477661132,
      "step": 810
    },
    {
      "epoch": 0.43466666666666665,
      "grad_norm": 12.229551315307617,
      "learning_rate": 0.00011954929577464789,
      "loss": 1.2522453308105468,
      "step": 815
    },
    {
      "epoch": 0.43733333333333335,
      "grad_norm": 12.3463134765625,
      "learning_rate": 0.00011898591549295774,
      "loss": 1.230642318725586,
      "step": 820
    },
    {
      "epoch": 0.44,
      "grad_norm": 10.814689636230469,
      "learning_rate": 0.00011842253521126761,
      "loss": 1.2064233779907227,
      "step": 825
    },
    {
      "epoch": 0.44266666666666665,
      "grad_norm": 14.333885192871094,
      "learning_rate": 0.00011785915492957747,
      "loss": 1.390138816833496,
      "step": 830
    },
    {
      "epoch": 0.44533333333333336,
      "grad_norm": 13.482339859008789,
      "learning_rate": 0.00011729577464788732,
      "loss": 1.4206034660339355,
      "step": 835
    },
    {
      "epoch": 0.448,
      "grad_norm": 9.737178802490234,
      "learning_rate": 0.00011673239436619719,
      "loss": 1.3141879081726073,
      "step": 840
    },
    {
      "epoch": 0.45066666666666666,
      "grad_norm": 9.014653205871582,
      "learning_rate": 0.00011616901408450704,
      "loss": 0.9352978706359864,
      "step": 845
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 17.233123779296875,
      "learning_rate": 0.0001156056338028169,
      "loss": 1.5230918884277345,
      "step": 850
    },
    {
      "epoch": 0.456,
      "grad_norm": 7.727634906768799,
      "learning_rate": 0.00011504225352112677,
      "loss": 1.2139328002929688,
      "step": 855
    },
    {
      "epoch": 0.45866666666666667,
      "grad_norm": 8.102723121643066,
      "learning_rate": 0.00011447887323943662,
      "loss": 1.206319522857666,
      "step": 860
    },
    {
      "epoch": 0.4613333333333333,
      "grad_norm": 14.462896347045898,
      "learning_rate": 0.00011391549295774648,
      "loss": 1.2146257400512694,
      "step": 865
    },
    {
      "epoch": 0.464,
      "grad_norm": 26.912517547607422,
      "learning_rate": 0.00011335211267605635,
      "loss": 1.6198184967041016,
      "step": 870
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 12.520406723022461,
      "learning_rate": 0.0001127887323943662,
      "loss": 1.2894514083862305,
      "step": 875
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 13.460532188415527,
      "learning_rate": 0.00011222535211267607,
      "loss": 1.1767005920410156,
      "step": 880
    },
    {
      "epoch": 0.472,
      "grad_norm": 16.371057510375977,
      "learning_rate": 0.00011166197183098592,
      "loss": 1.2162860870361327,
      "step": 885
    },
    {
      "epoch": 0.4746666666666667,
      "grad_norm": 9.483402252197266,
      "learning_rate": 0.00011109859154929578,
      "loss": 0.971930980682373,
      "step": 890
    },
    {
      "epoch": 0.47733333333333333,
      "grad_norm": 14.55411434173584,
      "learning_rate": 0.00011053521126760565,
      "loss": 1.364369010925293,
      "step": 895
    },
    {
      "epoch": 0.48,
      "grad_norm": 11.537001609802246,
      "learning_rate": 0.0001099718309859155,
      "loss": 1.4056188583374023,
      "step": 900
    },
    {
      "epoch": 0.4826666666666667,
      "grad_norm": 9.466048240661621,
      "learning_rate": 0.00010940845070422536,
      "loss": 0.9447125434875489,
      "step": 905
    },
    {
      "epoch": 0.48533333333333334,
      "grad_norm": 14.304491996765137,
      "learning_rate": 0.00010884507042253523,
      "loss": 1.0246928215026856,
      "step": 910
    },
    {
      "epoch": 0.488,
      "grad_norm": 20.34856605529785,
      "learning_rate": 0.00010828169014084508,
      "loss": 1.3922534942626954,
      "step": 915
    },
    {
      "epoch": 0.49066666666666664,
      "grad_norm": 16.395771026611328,
      "learning_rate": 0.00010771830985915494,
      "loss": 1.1523797988891602,
      "step": 920
    },
    {
      "epoch": 0.49333333333333335,
      "grad_norm": 19.27910804748535,
      "learning_rate": 0.0001071549295774648,
      "loss": 1.0734041213989258,
      "step": 925
    },
    {
      "epoch": 0.496,
      "grad_norm": 13.505451202392578,
      "learning_rate": 0.00010659154929577466,
      "loss": 0.9535470008850098,
      "step": 930
    },
    {
      "epoch": 0.49866666666666665,
      "grad_norm": 13.49181079864502,
      "learning_rate": 0.00010602816901408452,
      "loss": 1.033437442779541,
      "step": 935
    },
    {
      "epoch": 0.5013333333333333,
      "grad_norm": 12.860846519470215,
      "learning_rate": 0.00010546478873239438,
      "loss": 1.224847412109375,
      "step": 940
    },
    {
      "epoch": 0.504,
      "grad_norm": 19.469518661499023,
      "learning_rate": 0.00010490140845070423,
      "loss": 1.146999454498291,
      "step": 945
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 28.637062072753906,
      "learning_rate": 0.00010433802816901408,
      "loss": 1.1394700050354003,
      "step": 950
    },
    {
      "epoch": 0.5093333333333333,
      "grad_norm": 10.001830101013184,
      "learning_rate": 0.00010377464788732394,
      "loss": 1.2364796638488769,
      "step": 955
    },
    {
      "epoch": 0.512,
      "grad_norm": 14.869203567504883,
      "learning_rate": 0.0001032112676056338,
      "loss": 1.0928597450256348,
      "step": 960
    },
    {
      "epoch": 0.5146666666666667,
      "grad_norm": 21.60698127746582,
      "learning_rate": 0.00010264788732394366,
      "loss": 1.1428895950317384,
      "step": 965
    },
    {
      "epoch": 0.5173333333333333,
      "grad_norm": 15.12488079071045,
      "learning_rate": 0.00010208450704225351,
      "loss": 1.082827377319336,
      "step": 970
    },
    {
      "epoch": 0.52,
      "grad_norm": 16.708810806274414,
      "learning_rate": 0.00010152112676056338,
      "loss": 1.209788990020752,
      "step": 975
    },
    {
      "epoch": 0.5226666666666666,
      "grad_norm": 14.290752410888672,
      "learning_rate": 0.00010095774647887324,
      "loss": 0.9754375457763672,
      "step": 980
    },
    {
      "epoch": 0.5253333333333333,
      "grad_norm": 14.824275016784668,
      "learning_rate": 0.00010039436619718309,
      "loss": 0.9656963348388672,
      "step": 985
    },
    {
      "epoch": 0.528,
      "grad_norm": 20.584383010864258,
      "learning_rate": 9.983098591549296e-05,
      "loss": 1.084117603302002,
      "step": 990
    },
    {
      "epoch": 0.5306666666666666,
      "grad_norm": 13.401692390441895,
      "learning_rate": 9.926760563380282e-05,
      "loss": 1.1031304359436036,
      "step": 995
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 13.891364097595215,
      "learning_rate": 9.870422535211267e-05,
      "loss": 0.816834831237793,
      "step": 1000
    },
    {
      "epoch": 0.536,
      "grad_norm": 11.123870849609375,
      "learning_rate": 9.814084507042254e-05,
      "loss": 0.8152318954467773,
      "step": 1005
    },
    {
      "epoch": 0.5386666666666666,
      "grad_norm": 25.87432098388672,
      "learning_rate": 9.75774647887324e-05,
      "loss": 0.9588987350463867,
      "step": 1010
    },
    {
      "epoch": 0.5413333333333333,
      "grad_norm": 20.340354919433594,
      "learning_rate": 9.701408450704226e-05,
      "loss": 1.0968738555908204,
      "step": 1015
    },
    {
      "epoch": 0.544,
      "grad_norm": 19.68161964416504,
      "learning_rate": 9.645070422535212e-05,
      "loss": 1.1878189086914062,
      "step": 1020
    },
    {
      "epoch": 0.5466666666666666,
      "grad_norm": 9.03043270111084,
      "learning_rate": 9.588732394366197e-05,
      "loss": 0.826905345916748,
      "step": 1025
    },
    {
      "epoch": 0.5493333333333333,
      "grad_norm": 22.94878578186035,
      "learning_rate": 9.532394366197184e-05,
      "loss": 1.6063104629516602,
      "step": 1030
    },
    {
      "epoch": 0.552,
      "grad_norm": 9.159972190856934,
      "learning_rate": 9.47605633802817e-05,
      "loss": 1.243835735321045,
      "step": 1035
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 14.085321426391602,
      "learning_rate": 9.419718309859155e-05,
      "loss": 0.8413570404052735,
      "step": 1040
    },
    {
      "epoch": 0.5573333333333333,
      "grad_norm": 13.26931095123291,
      "learning_rate": 9.363380281690142e-05,
      "loss": 0.976986026763916,
      "step": 1045
    },
    {
      "epoch": 0.56,
      "grad_norm": 13.833252906799316,
      "learning_rate": 9.307042253521128e-05,
      "loss": 1.0997989654541016,
      "step": 1050
    },
    {
      "epoch": 0.5626666666666666,
      "grad_norm": 16.277999877929688,
      "learning_rate": 9.250704225352113e-05,
      "loss": 0.9721799850463867,
      "step": 1055
    },
    {
      "epoch": 0.5653333333333334,
      "grad_norm": 20.761966705322266,
      "learning_rate": 9.194366197183099e-05,
      "loss": 0.9841132164001465,
      "step": 1060
    },
    {
      "epoch": 0.568,
      "grad_norm": 11.584941864013672,
      "learning_rate": 9.138028169014084e-05,
      "loss": 0.8127043724060059,
      "step": 1065
    },
    {
      "epoch": 0.5706666666666667,
      "grad_norm": 18.548738479614258,
      "learning_rate": 9.081690140845071e-05,
      "loss": 1.3868444442749024,
      "step": 1070
    },
    {
      "epoch": 0.5733333333333334,
      "grad_norm": 16.279085159301758,
      "learning_rate": 9.025352112676056e-05,
      "loss": 1.0625202178955078,
      "step": 1075
    },
    {
      "epoch": 0.576,
      "grad_norm": 9.50605583190918,
      "learning_rate": 8.969014084507042e-05,
      "loss": 0.9510531425476074,
      "step": 1080
    },
    {
      "epoch": 0.5786666666666667,
      "grad_norm": 14.936691284179688,
      "learning_rate": 8.912676056338029e-05,
      "loss": 1.1408159255981445,
      "step": 1085
    },
    {
      "epoch": 0.5813333333333334,
      "grad_norm": 13.016457557678223,
      "learning_rate": 8.856338028169014e-05,
      "loss": 0.7949912548065186,
      "step": 1090
    },
    {
      "epoch": 0.584,
      "grad_norm": 11.177969932556152,
      "learning_rate": 8.800000000000001e-05,
      "loss": 1.1032251358032226,
      "step": 1095
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 9.565118789672852,
      "learning_rate": 8.743661971830987e-05,
      "loss": 1.1028918266296386,
      "step": 1100
    },
    {
      "epoch": 0.5893333333333334,
      "grad_norm": 17.4985294342041,
      "learning_rate": 8.687323943661972e-05,
      "loss": 0.9876574516296387,
      "step": 1105
    },
    {
      "epoch": 0.592,
      "grad_norm": 11.867959976196289,
      "learning_rate": 8.630985915492959e-05,
      "loss": 0.6008494853973388,
      "step": 1110
    },
    {
      "epoch": 0.5946666666666667,
      "grad_norm": 10.74477481842041,
      "learning_rate": 8.574647887323944e-05,
      "loss": 0.8852216720581054,
      "step": 1115
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 20.49726104736328,
      "learning_rate": 8.51830985915493e-05,
      "loss": 1.2387124061584474,
      "step": 1120
    },
    {
      "epoch": 0.6,
      "grad_norm": 19.781417846679688,
      "learning_rate": 8.461971830985917e-05,
      "loss": 1.3470808029174806,
      "step": 1125
    },
    {
      "epoch": 0.6026666666666667,
      "grad_norm": 20.8956356048584,
      "learning_rate": 8.405633802816901e-05,
      "loss": 1.0286130905151367,
      "step": 1130
    },
    {
      "epoch": 0.6053333333333333,
      "grad_norm": 10.401113510131836,
      "learning_rate": 8.349295774647888e-05,
      "loss": 0.8110701560974121,
      "step": 1135
    },
    {
      "epoch": 0.608,
      "grad_norm": 9.76196575164795,
      "learning_rate": 8.292957746478873e-05,
      "loss": 1.1098026275634765,
      "step": 1140
    },
    {
      "epoch": 0.6106666666666667,
      "grad_norm": 9.565091133117676,
      "learning_rate": 8.236619718309859e-05,
      "loss": 1.0178056716918946,
      "step": 1145
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 9.76402759552002,
      "learning_rate": 8.180281690140846e-05,
      "loss": 0.9441360473632813,
      "step": 1150
    },
    {
      "epoch": 0.616,
      "grad_norm": 17.173063278198242,
      "learning_rate": 8.123943661971831e-05,
      "loss": 0.899685287475586,
      "step": 1155
    },
    {
      "epoch": 0.6186666666666667,
      "grad_norm": 10.734676361083984,
      "learning_rate": 8.067605633802817e-05,
      "loss": 0.9201848030090332,
      "step": 1160
    },
    {
      "epoch": 0.6213333333333333,
      "grad_norm": 22.0380802154541,
      "learning_rate": 8.011267605633804e-05,
      "loss": 1.027822208404541,
      "step": 1165
    },
    {
      "epoch": 0.624,
      "grad_norm": 15.89146614074707,
      "learning_rate": 7.954929577464789e-05,
      "loss": 1.0512222290039062,
      "step": 1170
    },
    {
      "epoch": 0.6266666666666667,
      "grad_norm": 11.83669662475586,
      "learning_rate": 7.898591549295775e-05,
      "loss": 1.0372687339782716,
      "step": 1175
    },
    {
      "epoch": 0.6293333333333333,
      "grad_norm": 15.131078720092773,
      "learning_rate": 7.842253521126761e-05,
      "loss": 0.8796402931213378,
      "step": 1180
    },
    {
      "epoch": 0.632,
      "grad_norm": 8.866487503051758,
      "learning_rate": 7.785915492957747e-05,
      "loss": 0.9567805290222168,
      "step": 1185
    },
    {
      "epoch": 0.6346666666666667,
      "grad_norm": 10.498095512390137,
      "learning_rate": 7.729577464788734e-05,
      "loss": 1.0777140617370606,
      "step": 1190
    },
    {
      "epoch": 0.6373333333333333,
      "grad_norm": 14.497345924377441,
      "learning_rate": 7.673239436619719e-05,
      "loss": 0.8498645782470703,
      "step": 1195
    },
    {
      "epoch": 0.64,
      "grad_norm": 12.432170867919922,
      "learning_rate": 7.616901408450705e-05,
      "loss": 0.9739762306213379,
      "step": 1200
    },
    {
      "epoch": 0.6426666666666667,
      "grad_norm": 15.773965835571289,
      "learning_rate": 7.56056338028169e-05,
      "loss": 0.8198501586914062,
      "step": 1205
    },
    {
      "epoch": 0.6453333333333333,
      "grad_norm": 9.523857116699219,
      "learning_rate": 7.504225352112676e-05,
      "loss": 0.7660105705261231,
      "step": 1210
    },
    {
      "epoch": 0.648,
      "grad_norm": 14.207717895507812,
      "learning_rate": 7.447887323943663e-05,
      "loss": 0.9811992645263672,
      "step": 1215
    },
    {
      "epoch": 0.6506666666666666,
      "grad_norm": 17.390621185302734,
      "learning_rate": 7.391549295774648e-05,
      "loss": 1.216018009185791,
      "step": 1220
    },
    {
      "epoch": 0.6533333333333333,
      "grad_norm": 13.297640800476074,
      "learning_rate": 7.335211267605634e-05,
      "loss": 0.9281745910644531,
      "step": 1225
    },
    {
      "epoch": 0.656,
      "grad_norm": 15.898597717285156,
      "learning_rate": 7.27887323943662e-05,
      "loss": 0.8819568634033204,
      "step": 1230
    },
    {
      "epoch": 0.6586666666666666,
      "grad_norm": 9.780725479125977,
      "learning_rate": 7.222535211267606e-05,
      "loss": 0.8015809059143066,
      "step": 1235
    },
    {
      "epoch": 0.6613333333333333,
      "grad_norm": 20.154296875,
      "learning_rate": 7.166197183098591e-05,
      "loss": 0.9563629150390625,
      "step": 1240
    },
    {
      "epoch": 0.664,
      "grad_norm": 21.29193687438965,
      "learning_rate": 7.109859154929578e-05,
      "loss": 0.8515168190002441,
      "step": 1245
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 17.525287628173828,
      "learning_rate": 7.053521126760564e-05,
      "loss": 0.9831605911254883,
      "step": 1250
    },
    {
      "epoch": 0.6693333333333333,
      "grad_norm": 12.530348777770996,
      "learning_rate": 6.99718309859155e-05,
      "loss": 0.895012092590332,
      "step": 1255
    },
    {
      "epoch": 0.672,
      "grad_norm": 14.069324493408203,
      "learning_rate": 6.940845070422536e-05,
      "loss": 1.1415173530578613,
      "step": 1260
    },
    {
      "epoch": 0.6746666666666666,
      "grad_norm": 12.581381797790527,
      "learning_rate": 6.884507042253522e-05,
      "loss": 0.8772600173950196,
      "step": 1265
    },
    {
      "epoch": 0.6773333333333333,
      "grad_norm": 17.823015213012695,
      "learning_rate": 6.828169014084507e-05,
      "loss": 1.038935089111328,
      "step": 1270
    },
    {
      "epoch": 0.68,
      "grad_norm": 14.541642189025879,
      "learning_rate": 6.771830985915494e-05,
      "loss": 1.0479074478149415,
      "step": 1275
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 12.310887336730957,
      "learning_rate": 6.715492957746478e-05,
      "loss": 0.8854532241821289,
      "step": 1280
    },
    {
      "epoch": 0.6853333333333333,
      "grad_norm": 14.129690170288086,
      "learning_rate": 6.659154929577465e-05,
      "loss": 1.2202173233032227,
      "step": 1285
    },
    {
      "epoch": 0.688,
      "grad_norm": 13.904383659362793,
      "learning_rate": 6.60281690140845e-05,
      "loss": 0.8993009567260742,
      "step": 1290
    },
    {
      "epoch": 0.6906666666666667,
      "grad_norm": 10.860990524291992,
      "learning_rate": 6.546478873239436e-05,
      "loss": 0.7343950271606445,
      "step": 1295
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 25.38591957092285,
      "learning_rate": 6.490140845070423e-05,
      "loss": 1.0468032836914063,
      "step": 1300
    },
    {
      "epoch": 0.696,
      "grad_norm": 12.922870635986328,
      "learning_rate": 6.433802816901408e-05,
      "loss": 1.0598531723022462,
      "step": 1305
    },
    {
      "epoch": 0.6986666666666667,
      "grad_norm": 11.476264953613281,
      "learning_rate": 6.377464788732395e-05,
      "loss": 0.856201171875,
      "step": 1310
    },
    {
      "epoch": 0.7013333333333334,
      "grad_norm": 14.336483001708984,
      "learning_rate": 6.321126760563381e-05,
      "loss": 0.8292901039123535,
      "step": 1315
    },
    {
      "epoch": 0.704,
      "grad_norm": 19.561649322509766,
      "learning_rate": 6.264788732394366e-05,
      "loss": 0.8379043579101563,
      "step": 1320
    },
    {
      "epoch": 0.7066666666666667,
      "grad_norm": 13.40998363494873,
      "learning_rate": 6.208450704225353e-05,
      "loss": 1.0291654586791992,
      "step": 1325
    },
    {
      "epoch": 0.7093333333333334,
      "grad_norm": 22.80845069885254,
      "learning_rate": 6.152112676056339e-05,
      "loss": 1.177057933807373,
      "step": 1330
    },
    {
      "epoch": 0.712,
      "grad_norm": 21.09535789489746,
      "learning_rate": 6.095774647887325e-05,
      "loss": 1.1629014968872071,
      "step": 1335
    },
    {
      "epoch": 0.7146666666666667,
      "grad_norm": 20.199729919433594,
      "learning_rate": 6.03943661971831e-05,
      "loss": 0.8523022651672363,
      "step": 1340
    },
    {
      "epoch": 0.7173333333333334,
      "grad_norm": 15.14588451385498,
      "learning_rate": 5.9830985915492965e-05,
      "loss": 0.9984970092773438,
      "step": 1345
    },
    {
      "epoch": 0.72,
      "grad_norm": 13.1979398727417,
      "learning_rate": 5.9267605633802827e-05,
      "loss": 1.093438720703125,
      "step": 1350
    },
    {
      "epoch": 0.7226666666666667,
      "grad_norm": 8.743319511413574,
      "learning_rate": 5.8704225352112675e-05,
      "loss": 0.7706329345703125,
      "step": 1355
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 15.252840995788574,
      "learning_rate": 5.8140845070422537e-05,
      "loss": 1.070857334136963,
      "step": 1360
    },
    {
      "epoch": 0.728,
      "grad_norm": 17.094482421875,
      "learning_rate": 5.757746478873239e-05,
      "loss": 0.8949590682983398,
      "step": 1365
    },
    {
      "epoch": 0.7306666666666667,
      "grad_norm": 12.703916549682617,
      "learning_rate": 5.701408450704225e-05,
      "loss": 0.8990466117858886,
      "step": 1370
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 9.848785400390625,
      "learning_rate": 5.6450704225352115e-05,
      "loss": 0.8244762420654297,
      "step": 1375
    },
    {
      "epoch": 0.736,
      "grad_norm": 7.74479866027832,
      "learning_rate": 5.588732394366197e-05,
      "loss": 0.9082975387573242,
      "step": 1380
    },
    {
      "epoch": 0.7386666666666667,
      "grad_norm": 14.771506309509277,
      "learning_rate": 5.532394366197183e-05,
      "loss": 1.0020447731018067,
      "step": 1385
    },
    {
      "epoch": 0.7413333333333333,
      "grad_norm": 14.539424896240234,
      "learning_rate": 5.4760563380281694e-05,
      "loss": 1.0820822715759277,
      "step": 1390
    },
    {
      "epoch": 0.744,
      "grad_norm": 15.38449478149414,
      "learning_rate": 5.4197183098591556e-05,
      "loss": 0.8620599746704102,
      "step": 1395
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 16.059545516967773,
      "learning_rate": 5.363380281690141e-05,
      "loss": 0.9627724647521972,
      "step": 1400
    },
    {
      "epoch": 0.7493333333333333,
      "grad_norm": 15.914315223693848,
      "learning_rate": 5.307042253521127e-05,
      "loss": 0.8405929565429687,
      "step": 1405
    },
    {
      "epoch": 0.752,
      "grad_norm": 17.568416595458984,
      "learning_rate": 5.2507042253521134e-05,
      "loss": 0.7667024612426758,
      "step": 1410
    },
    {
      "epoch": 0.7546666666666667,
      "grad_norm": 13.681654930114746,
      "learning_rate": 5.1943661971830996e-05,
      "loss": 0.9687021255493165,
      "step": 1415
    },
    {
      "epoch": 0.7573333333333333,
      "grad_norm": 13.63232135772705,
      "learning_rate": 5.138028169014085e-05,
      "loss": 1.0848865509033203,
      "step": 1420
    },
    {
      "epoch": 0.76,
      "grad_norm": 9.816920280456543,
      "learning_rate": 5.08169014084507e-05,
      "loss": 0.7380032062530517,
      "step": 1425
    },
    {
      "epoch": 0.7626666666666667,
      "grad_norm": 14.642255783081055,
      "learning_rate": 5.025352112676056e-05,
      "loss": 1.0167881011962892,
      "step": 1430
    },
    {
      "epoch": 0.7653333333333333,
      "grad_norm": 15.029377937316895,
      "learning_rate": 4.969014084507043e-05,
      "loss": 0.7467215061187744,
      "step": 1435
    },
    {
      "epoch": 0.768,
      "grad_norm": 12.792193412780762,
      "learning_rate": 4.9126760563380284e-05,
      "loss": 1.0474912643432617,
      "step": 1440
    },
    {
      "epoch": 0.7706666666666667,
      "grad_norm": 17.54759407043457,
      "learning_rate": 4.856338028169014e-05,
      "loss": 0.8720900535583496,
      "step": 1445
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 15.774946212768555,
      "learning_rate": 4.8e-05,
      "loss": 1.0439233779907227,
      "step": 1450
    },
    {
      "epoch": 0.776,
      "grad_norm": 11.803065299987793,
      "learning_rate": 4.743661971830986e-05,
      "loss": 0.8135843276977539,
      "step": 1455
    },
    {
      "epoch": 0.7786666666666666,
      "grad_norm": 10.398380279541016,
      "learning_rate": 4.687323943661972e-05,
      "loss": 0.9753213882446289,
      "step": 1460
    },
    {
      "epoch": 0.7813333333333333,
      "grad_norm": 13.671342849731445,
      "learning_rate": 4.630985915492958e-05,
      "loss": 0.787489938735962,
      "step": 1465
    },
    {
      "epoch": 0.784,
      "grad_norm": 6.04373025894165,
      "learning_rate": 4.574647887323944e-05,
      "loss": 0.7826869010925293,
      "step": 1470
    },
    {
      "epoch": 0.7866666666666666,
      "grad_norm": 18.103078842163086,
      "learning_rate": 4.5183098591549297e-05,
      "loss": 0.7870226383209229,
      "step": 1475
    },
    {
      "epoch": 0.7893333333333333,
      "grad_norm": 21.879423141479492,
      "learning_rate": 4.461971830985916e-05,
      "loss": 1.0700525283813476,
      "step": 1480
    },
    {
      "epoch": 0.792,
      "grad_norm": 17.141613006591797,
      "learning_rate": 4.405633802816901e-05,
      "loss": 1.0236069679260253,
      "step": 1485
    },
    {
      "epoch": 0.7946666666666666,
      "grad_norm": 18.699905395507812,
      "learning_rate": 4.3492957746478875e-05,
      "loss": 1.0140624046325684,
      "step": 1490
    },
    {
      "epoch": 0.7973333333333333,
      "grad_norm": 12.515463829040527,
      "learning_rate": 4.292957746478874e-05,
      "loss": 1.0575544357299804,
      "step": 1495
    },
    {
      "epoch": 0.8,
      "grad_norm": 17.791908264160156,
      "learning_rate": 4.236619718309859e-05,
      "loss": 0.903339958190918,
      "step": 1500
    },
    {
      "epoch": 0.8026666666666666,
      "grad_norm": 12.577202796936035,
      "learning_rate": 4.1802816901408454e-05,
      "loss": 0.8581426620483399,
      "step": 1505
    },
    {
      "epoch": 0.8053333333333333,
      "grad_norm": 13.092626571655273,
      "learning_rate": 4.1239436619718315e-05,
      "loss": 0.5728759765625,
      "step": 1510
    },
    {
      "epoch": 0.808,
      "grad_norm": 14.69212818145752,
      "learning_rate": 4.067605633802817e-05,
      "loss": 0.8817619323730469,
      "step": 1515
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 14.82973575592041,
      "learning_rate": 4.0112676056338025e-05,
      "loss": 0.9013817787170411,
      "step": 1520
    },
    {
      "epoch": 0.8133333333333334,
      "grad_norm": 14.093798637390137,
      "learning_rate": 3.954929577464789e-05,
      "loss": 0.9989309310913086,
      "step": 1525
    },
    {
      "epoch": 0.816,
      "grad_norm": 12.758882522583008,
      "learning_rate": 3.898591549295775e-05,
      "loss": 0.8488927841186523,
      "step": 1530
    },
    {
      "epoch": 0.8186666666666667,
      "grad_norm": 13.375788688659668,
      "learning_rate": 3.8422535211267604e-05,
      "loss": 0.8079510688781738,
      "step": 1535
    },
    {
      "epoch": 0.8213333333333334,
      "grad_norm": 14.266255378723145,
      "learning_rate": 3.7859154929577466e-05,
      "loss": 1.0262347221374513,
      "step": 1540
    },
    {
      "epoch": 0.824,
      "grad_norm": 14.619465827941895,
      "learning_rate": 3.729577464788733e-05,
      "loss": 0.8827358245849609,
      "step": 1545
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 16.26333236694336,
      "learning_rate": 3.673239436619719e-05,
      "loss": 0.9646097183227539,
      "step": 1550
    },
    {
      "epoch": 0.8293333333333334,
      "grad_norm": 11.935120582580566,
      "learning_rate": 3.6169014084507044e-05,
      "loss": 0.7390913963317871,
      "step": 1555
    },
    {
      "epoch": 0.832,
      "grad_norm": 16.843807220458984,
      "learning_rate": 3.56056338028169e-05,
      "loss": 0.8806550979614258,
      "step": 1560
    },
    {
      "epoch": 0.8346666666666667,
      "grad_norm": 10.661538124084473,
      "learning_rate": 3.504225352112676e-05,
      "loss": 0.6919212341308594,
      "step": 1565
    },
    {
      "epoch": 0.8373333333333334,
      "grad_norm": 15.085012435913086,
      "learning_rate": 3.447887323943662e-05,
      "loss": 0.6683915615081787,
      "step": 1570
    },
    {
      "epoch": 0.84,
      "grad_norm": 15.049718856811523,
      "learning_rate": 3.391549295774648e-05,
      "loss": 0.7674442291259765,
      "step": 1575
    },
    {
      "epoch": 0.8426666666666667,
      "grad_norm": 13.923637390136719,
      "learning_rate": 3.335211267605634e-05,
      "loss": 0.9300168037414551,
      "step": 1580
    },
    {
      "epoch": 0.8453333333333334,
      "grad_norm": 16.75052833557129,
      "learning_rate": 3.27887323943662e-05,
      "loss": 1.0560007095336914,
      "step": 1585
    },
    {
      "epoch": 0.848,
      "grad_norm": 8.197928428649902,
      "learning_rate": 3.222535211267606e-05,
      "loss": 1.0378225326538086,
      "step": 1590
    },
    {
      "epoch": 0.8506666666666667,
      "grad_norm": 8.855152130126953,
      "learning_rate": 3.166197183098591e-05,
      "loss": 1.0333752632141113,
      "step": 1595
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 10.662955284118652,
      "learning_rate": 3.109859154929577e-05,
      "loss": 0.977938175201416,
      "step": 1600
    },
    {
      "epoch": 0.856,
      "grad_norm": 17.445756912231445,
      "learning_rate": 3.0535211267605635e-05,
      "loss": 0.6427709102630615,
      "step": 1605
    },
    {
      "epoch": 0.8586666666666667,
      "grad_norm": 13.900308609008789,
      "learning_rate": 2.9971830985915494e-05,
      "loss": 0.824468994140625,
      "step": 1610
    },
    {
      "epoch": 0.8613333333333333,
      "grad_norm": 18.600433349609375,
      "learning_rate": 2.9408450704225355e-05,
      "loss": 0.8357826232910156,
      "step": 1615
    },
    {
      "epoch": 0.864,
      "grad_norm": 7.859604358673096,
      "learning_rate": 2.8845070422535214e-05,
      "loss": 0.7399312019348144,
      "step": 1620
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 14.363836288452148,
      "learning_rate": 2.8281690140845075e-05,
      "loss": 0.9124371528625488,
      "step": 1625
    },
    {
      "epoch": 0.8693333333333333,
      "grad_norm": 17.32538414001465,
      "learning_rate": 2.7718309859154927e-05,
      "loss": 0.8096609115600586,
      "step": 1630
    },
    {
      "epoch": 0.872,
      "grad_norm": 19.805953979492188,
      "learning_rate": 2.715492957746479e-05,
      "loss": 0.961555290222168,
      "step": 1635
    },
    {
      "epoch": 0.8746666666666667,
      "grad_norm": 17.760648727416992,
      "learning_rate": 2.6591549295774647e-05,
      "loss": 1.0311641693115234,
      "step": 1640
    },
    {
      "epoch": 0.8773333333333333,
      "grad_norm": 8.935237884521484,
      "learning_rate": 2.602816901408451e-05,
      "loss": 0.7099412441253662,
      "step": 1645
    },
    {
      "epoch": 0.88,
      "grad_norm": 15.16008186340332,
      "learning_rate": 2.5464788732394367e-05,
      "loss": 0.7797249794006348,
      "step": 1650
    },
    {
      "epoch": 0.8826666666666667,
      "grad_norm": 10.203882217407227,
      "learning_rate": 2.490140845070423e-05,
      "loss": 0.5587462902069091,
      "step": 1655
    },
    {
      "epoch": 0.8853333333333333,
      "grad_norm": 10.797262191772461,
      "learning_rate": 2.4338028169014084e-05,
      "loss": 0.7344427585601807,
      "step": 1660
    },
    {
      "epoch": 0.888,
      "grad_norm": 10.679549217224121,
      "learning_rate": 2.3774647887323946e-05,
      "loss": 0.9067963600158692,
      "step": 1665
    },
    {
      "epoch": 0.8906666666666667,
      "grad_norm": 13.83531665802002,
      "learning_rate": 2.3211267605633804e-05,
      "loss": 0.8581069946289063,
      "step": 1670
    },
    {
      "epoch": 0.8933333333333333,
      "grad_norm": 19.637571334838867,
      "learning_rate": 2.2647887323943663e-05,
      "loss": 0.7693851470947266,
      "step": 1675
    },
    {
      "epoch": 0.896,
      "grad_norm": 10.168420791625977,
      "learning_rate": 2.208450704225352e-05,
      "loss": 0.9181459426879883,
      "step": 1680
    },
    {
      "epoch": 0.8986666666666666,
      "grad_norm": 9.159933090209961,
      "learning_rate": 2.1521126760563383e-05,
      "loss": 1.0267245292663574,
      "step": 1685
    },
    {
      "epoch": 0.9013333333333333,
      "grad_norm": 12.77058219909668,
      "learning_rate": 2.095774647887324e-05,
      "loss": 0.7762954235076904,
      "step": 1690
    },
    {
      "epoch": 0.904,
      "grad_norm": 10.468652725219727,
      "learning_rate": 2.03943661971831e-05,
      "loss": 0.7383725643157959,
      "step": 1695
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 10.291525840759277,
      "learning_rate": 1.9830985915492958e-05,
      "loss": 0.8733257293701172,
      "step": 1700
    },
    {
      "epoch": 0.9093333333333333,
      "grad_norm": 16.963106155395508,
      "learning_rate": 1.926760563380282e-05,
      "loss": 0.9532564163208008,
      "step": 1705
    },
    {
      "epoch": 0.912,
      "grad_norm": 12.970492362976074,
      "learning_rate": 1.870422535211268e-05,
      "loss": 0.8566391944885254,
      "step": 1710
    },
    {
      "epoch": 0.9146666666666666,
      "grad_norm": 18.952754974365234,
      "learning_rate": 1.8140845070422537e-05,
      "loss": 0.7218540191650391,
      "step": 1715
    },
    {
      "epoch": 0.9173333333333333,
      "grad_norm": 17.35648536682129,
      "learning_rate": 1.7577464788732395e-05,
      "loss": 0.8458446502685547,
      "step": 1720
    },
    {
      "epoch": 0.92,
      "grad_norm": 12.212597846984863,
      "learning_rate": 1.7014084507042253e-05,
      "loss": 0.739855146408081,
      "step": 1725
    },
    {
      "epoch": 0.9226666666666666,
      "grad_norm": 13.862800598144531,
      "learning_rate": 1.6450704225352112e-05,
      "loss": 0.8825209617614747,
      "step": 1730
    },
    {
      "epoch": 0.9253333333333333,
      "grad_norm": 15.820411682128906,
      "learning_rate": 1.588732394366197e-05,
      "loss": 0.8479454040527343,
      "step": 1735
    },
    {
      "epoch": 0.928,
      "grad_norm": 18.70723533630371,
      "learning_rate": 1.5323943661971832e-05,
      "loss": 0.7951144218444824,
      "step": 1740
    },
    {
      "epoch": 0.9306666666666666,
      "grad_norm": 15.519759178161621,
      "learning_rate": 1.4760563380281692e-05,
      "loss": 0.8283003807067871,
      "step": 1745
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 16.416074752807617,
      "learning_rate": 1.4197183098591549e-05,
      "loss": 1.0900680541992187,
      "step": 1750
    },
    {
      "epoch": 0.936,
      "grad_norm": 16.49802017211914,
      "learning_rate": 1.3633802816901409e-05,
      "loss": 0.7120608806610107,
      "step": 1755
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 13.894171714782715,
      "learning_rate": 1.3070422535211269e-05,
      "loss": 0.694558572769165,
      "step": 1760
    },
    {
      "epoch": 0.9413333333333334,
      "grad_norm": 23.735326766967773,
      "learning_rate": 1.2507042253521129e-05,
      "loss": 0.9606260299682617,
      "step": 1765
    },
    {
      "epoch": 0.944,
      "grad_norm": 15.684523582458496,
      "learning_rate": 1.1943661971830987e-05,
      "loss": 0.8573785781860351,
      "step": 1770
    },
    {
      "epoch": 0.9466666666666667,
      "grad_norm": 12.543280601501465,
      "learning_rate": 1.1380281690140846e-05,
      "loss": 0.595298957824707,
      "step": 1775
    },
    {
      "epoch": 0.9493333333333334,
      "grad_norm": 16.33648109436035,
      "learning_rate": 1.0816901408450706e-05,
      "loss": 0.8555801391601563,
      "step": 1780
    },
    {
      "epoch": 0.952,
      "grad_norm": 16.919790267944336,
      "learning_rate": 1.0253521126760564e-05,
      "loss": 0.7615976810455323,
      "step": 1785
    },
    {
      "epoch": 0.9546666666666667,
      "grad_norm": 16.819063186645508,
      "learning_rate": 9.690140845070424e-06,
      "loss": 0.9251697540283204,
      "step": 1790
    },
    {
      "epoch": 0.9573333333333334,
      "grad_norm": 11.041075706481934,
      "learning_rate": 9.126760563380283e-06,
      "loss": 0.8104904174804688,
      "step": 1795
    },
    {
      "epoch": 0.96,
      "grad_norm": 24.30575942993164,
      "learning_rate": 8.563380281690141e-06,
      "loss": 1.0034709930419923,
      "step": 1800
    },
    {
      "epoch": 0.9626666666666667,
      "grad_norm": 19.704416275024414,
      "learning_rate": 8.000000000000001e-06,
      "loss": 0.7715695381164551,
      "step": 1805
    },
    {
      "epoch": 0.9653333333333334,
      "grad_norm": 9.600106239318848,
      "learning_rate": 7.436619718309859e-06,
      "loss": 0.6620649337768555,
      "step": 1810
    },
    {
      "epoch": 0.968,
      "grad_norm": 15.256562232971191,
      "learning_rate": 6.873239436619719e-06,
      "loss": 0.704839038848877,
      "step": 1815
    },
    {
      "epoch": 0.9706666666666667,
      "grad_norm": 11.678616523742676,
      "learning_rate": 6.309859154929577e-06,
      "loss": 0.68502779006958,
      "step": 1820
    },
    {
      "epoch": 0.9733333333333334,
      "grad_norm": 10.754752159118652,
      "learning_rate": 5.746478873239437e-06,
      "loss": 0.7562795162200928,
      "step": 1825
    },
    {
      "epoch": 0.976,
      "grad_norm": 13.374924659729004,
      "learning_rate": 5.183098591549296e-06,
      "loss": 0.8530323028564453,
      "step": 1830
    },
    {
      "epoch": 0.9786666666666667,
      "grad_norm": 9.693758010864258,
      "learning_rate": 4.619718309859155e-06,
      "loss": 0.6800795078277588,
      "step": 1835
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 16.72907829284668,
      "learning_rate": 4.056338028169014e-06,
      "loss": 0.7294739723205567,
      "step": 1840
    },
    {
      "epoch": 0.984,
      "grad_norm": 15.313898086547852,
      "learning_rate": 3.492957746478873e-06,
      "loss": 0.855219841003418,
      "step": 1845
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 13.609386444091797,
      "learning_rate": 2.9295774647887324e-06,
      "loss": 0.6717154026031494,
      "step": 1850
    },
    {
      "epoch": 0.9893333333333333,
      "grad_norm": 16.878602981567383,
      "learning_rate": 2.3661971830985916e-06,
      "loss": 0.8576285362243652,
      "step": 1855
    },
    {
      "epoch": 0.992,
      "grad_norm": 11.00202465057373,
      "learning_rate": 1.8028169014084509e-06,
      "loss": 0.6212804317474365,
      "step": 1860
    },
    {
      "epoch": 0.9946666666666667,
      "grad_norm": 15.252646446228027,
      "learning_rate": 1.2394366197183099e-06,
      "loss": 0.7742465496063232,
      "step": 1865
    },
    {
      "epoch": 0.9973333333333333,
      "grad_norm": 7.922449111938477,
      "learning_rate": 6.760563380281691e-07,
      "loss": 0.7666064262390136,
      "step": 1870
    },
    {
      "epoch": 1.0,
      "grad_norm": 21.231048583984375,
      "learning_rate": 1.1267605633802818e-07,
      "loss": 0.6064828872680664,
      "step": 1875
    }
  ],
  "logging_steps": 5,
  "max_steps": 1875,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 1,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 0.0,
  "train_batch_size": 16,
  "trial_name": null,
  "trial_params": null
}