{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 1.0,
  "eval_steps": 500,
  "global_step": 49000,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0010204081632653062,
      "grad_norm": 1.747214674949646,
      "learning_rate": 9.600000000000001e-06,
      "loss": 2.9007135009765626,
      "step": 50
    },
    {
      "epoch": 0.0020408163265306124,
      "grad_norm": 1.4239413738250732,
      "learning_rate": 1.9600000000000002e-05,
      "loss": 1.5238629150390626,
      "step": 100
    },
    {
      "epoch": 0.003061224489795918,
      "grad_norm": 1.2353929281234741,
      "learning_rate": 2.96e-05,
      "loss": 1.0528372955322265,
      "step": 150
    },
    {
      "epoch": 0.004081632653061225,
      "grad_norm": 1.1621766090393066,
      "learning_rate": 3.960000000000001e-05,
      "loss": 0.7107688903808593,
      "step": 200
    },
    {
      "epoch": 0.00510204081632653,
      "grad_norm": 1.2706868648529053,
      "learning_rate": 4.96e-05,
      "loss": 0.5750661849975586,
      "step": 250
    },
    {
      "epoch": 0.006122448979591836,
      "grad_norm": 0.9565913677215576,
      "learning_rate": 5.96e-05,
      "loss": 0.5003826904296875,
      "step": 300
    },
    {
      "epoch": 0.007142857142857143,
      "grad_norm": 0.7394572496414185,
      "learning_rate": 6.96e-05,
      "loss": 0.47811126708984375,
      "step": 350
    },
    {
      "epoch": 0.00816326530612245,
      "grad_norm": 0.7540650367736816,
      "learning_rate": 7.960000000000001e-05,
      "loss": 0.41311241149902345,
      "step": 400
    },
    {
      "epoch": 0.009183673469387756,
      "grad_norm": 0.5830128192901611,
      "learning_rate": 8.960000000000001e-05,
      "loss": 0.42279777526855467,
      "step": 450
    },
    {
      "epoch": 0.01020408163265306,
      "grad_norm": 0.45722952485084534,
      "learning_rate": 9.960000000000001e-05,
      "loss": 0.3503189468383789,
      "step": 500
    },
    {
      "epoch": 0.011224489795918367,
      "grad_norm": 0.3943341076374054,
      "learning_rate": 0.00010960000000000001,
      "loss": 0.37160335540771483,
      "step": 550
    },
    {
      "epoch": 0.012244897959183673,
      "grad_norm": 0.5774444937705994,
      "learning_rate": 0.00011960000000000001,
      "loss": 0.3780157852172852,
      "step": 600
    },
    {
      "epoch": 0.013265306122448979,
      "grad_norm": 0.384718656539917,
      "learning_rate": 0.0001296,
      "loss": 0.3615667724609375,
      "step": 650
    },
    {
      "epoch": 0.014285714285714285,
      "grad_norm": 0.470546692609787,
      "learning_rate": 0.0001396,
      "loss": 0.36237464904785155,
      "step": 700
    },
    {
      "epoch": 0.015306122448979591,
      "grad_norm": 0.4296679198741913,
      "learning_rate": 0.0001496,
      "loss": 0.3645317077636719,
      "step": 750
    },
    {
      "epoch": 0.0163265306122449,
      "grad_norm": 0.5170298218727112,
      "learning_rate": 0.0001596,
      "loss": 0.3482204818725586,
      "step": 800
    },
    {
      "epoch": 0.017346938775510204,
      "grad_norm": 0.28658953309059143,
      "learning_rate": 0.0001696,
      "loss": 0.3285676574707031,
      "step": 850
    },
    {
      "epoch": 0.018367346938775512,
      "grad_norm": 0.27739083766937256,
      "learning_rate": 0.0001796,
      "loss": 0.25687044143676757,
      "step": 900
    },
    {
      "epoch": 0.019387755102040816,
      "grad_norm": 0.31801655888557434,
      "learning_rate": 0.0001896,
      "loss": 0.18809181213378906,
      "step": 950
    },
    {
      "epoch": 0.02040816326530612,
      "grad_norm": 0.3564321994781494,
      "learning_rate": 0.0001996,
      "loss": 0.28171655654907224,
      "step": 1000
    },
    {
      "epoch": 0.02142857142857143,
      "grad_norm": 0.34279024600982666,
      "learning_rate": 0.0001998,
      "loss": 0.3477919387817383,
      "step": 1050
    },
    {
      "epoch": 0.022448979591836733,
      "grad_norm": 0.5220856070518494,
      "learning_rate": 0.00019959166666666666,
      "loss": 0.3521986770629883,
      "step": 1100
    },
    {
      "epoch": 0.02346938775510204,
      "grad_norm": 0.3435756266117096,
      "learning_rate": 0.00019938333333333335,
      "loss": 0.34694950103759764,
      "step": 1150
    },
    {
      "epoch": 0.024489795918367346,
      "grad_norm": 0.39061853289604187,
      "learning_rate": 0.000199175,
      "loss": 0.33362808227539065,
      "step": 1200
    },
    {
      "epoch": 0.025510204081632654,
      "grad_norm": 0.6991215348243713,
      "learning_rate": 0.0001989666666666667,
      "loss": 0.3256123733520508,
      "step": 1250
    },
    {
      "epoch": 0.026530612244897958,
      "grad_norm": 0.3511783480644226,
      "learning_rate": 0.00019875833333333334,
      "loss": 0.33866146087646487,
      "step": 1300
    },
    {
      "epoch": 0.027551020408163266,
      "grad_norm": 0.3808313012123108,
      "learning_rate": 0.00019855,
      "loss": 0.30784854888916013,
      "step": 1350
    },
    {
      "epoch": 0.02857142857142857,
      "grad_norm": 0.45190656185150146,
      "learning_rate": 0.00019834166666666666,
      "loss": 0.2862832832336426,
      "step": 1400
    },
    {
      "epoch": 0.02959183673469388,
      "grad_norm": 0.3800064027309418,
      "learning_rate": 0.00019813333333333334,
      "loss": 0.32695507049560546,
      "step": 1450
    },
    {
      "epoch": 0.030612244897959183,
      "grad_norm": 0.3821946084499359,
      "learning_rate": 0.000197925,
      "loss": 0.32072910308837893,
      "step": 1500
    },
    {
      "epoch": 0.03163265306122449,
      "grad_norm": 0.356329083442688,
      "learning_rate": 0.00019771666666666668,
      "loss": 0.3068550682067871,
      "step": 1550
    },
    {
      "epoch": 0.0326530612244898,
      "grad_norm": 0.26790183782577515,
      "learning_rate": 0.00019750833333333334,
      "loss": 0.28629026412963865,
      "step": 1600
    },
    {
      "epoch": 0.0336734693877551,
      "grad_norm": 0.24051353335380554,
      "learning_rate": 0.00019730000000000003,
      "loss": 0.3116634559631348,
      "step": 1650
    },
    {
      "epoch": 0.03469387755102041,
      "grad_norm": 0.2855391502380371,
      "learning_rate": 0.00019709166666666668,
      "loss": 0.2768780517578125,
      "step": 1700
    },
    {
      "epoch": 0.03571428571428571,
      "grad_norm": 0.28543320298194885,
      "learning_rate": 0.00019688333333333334,
      "loss": 0.3128256034851074,
      "step": 1750
    },
    {
      "epoch": 0.036734693877551024,
      "grad_norm": 0.3829735517501831,
      "learning_rate": 0.000196675,
      "loss": 0.2714161109924316,
      "step": 1800
    },
    {
      "epoch": 0.03775510204081633,
      "grad_norm": 0.3017023503780365,
      "learning_rate": 0.00019646666666666665,
      "loss": 0.2929274368286133,
      "step": 1850
    },
    {
      "epoch": 0.03877551020408163,
      "grad_norm": 0.24069251120090485,
      "learning_rate": 0.00019625833333333334,
      "loss": 0.27240211486816407,
      "step": 1900
    },
    {
      "epoch": 0.03979591836734694,
      "grad_norm": 0.2976750135421753,
      "learning_rate": 0.00019605,
      "loss": 0.2899633026123047,
      "step": 1950
    },
    {
      "epoch": 0.04081632653061224,
      "grad_norm": 0.3270716667175293,
      "learning_rate": 0.00019584166666666668,
      "loss": 0.2711215591430664,
      "step": 2000
    },
    {
      "epoch": 0.04183673469387755,
      "grad_norm": 0.2565205991268158,
      "learning_rate": 0.00019563333333333334,
      "loss": 0.30275012969970705,
      "step": 2050
    },
    {
      "epoch": 0.04285714285714286,
      "grad_norm": 0.3401188552379608,
      "learning_rate": 0.00019542500000000002,
      "loss": 0.28493772506713866,
      "step": 2100
    },
    {
      "epoch": 0.04387755102040816,
      "grad_norm": 0.39523783326148987,
      "learning_rate": 0.00019521666666666668,
      "loss": 0.27601970672607423,
      "step": 2150
    },
    {
      "epoch": 0.044897959183673466,
      "grad_norm": 0.20206202566623688,
      "learning_rate": 0.00019500833333333336,
      "loss": 0.27290882110595704,
      "step": 2200
    },
    {
      "epoch": 0.04591836734693878,
      "grad_norm": 0.2421082854270935,
      "learning_rate": 0.0001948,
      "loss": 0.2691427040100098,
      "step": 2250
    },
    {
      "epoch": 0.04693877551020408,
      "grad_norm": 0.30177634954452515,
      "learning_rate": 0.00019459166666666668,
      "loss": 0.26737031936645506,
      "step": 2300
    },
    {
      "epoch": 0.04795918367346939,
      "grad_norm": 0.21533440053462982,
      "learning_rate": 0.00019438333333333333,
      "loss": 0.2751629066467285,
      "step": 2350
    },
    {
      "epoch": 0.04897959183673469,
      "grad_norm": 0.2456338256597519,
      "learning_rate": 0.00019417500000000002,
      "loss": 0.2776307487487793,
      "step": 2400
    },
    {
      "epoch": 0.05,
      "grad_norm": 0.31056123971939087,
      "learning_rate": 0.00019396666666666667,
      "loss": 0.3090613555908203,
      "step": 2450
    },
    {
      "epoch": 0.05102040816326531,
      "grad_norm": 0.2408883273601532,
      "learning_rate": 0.00019375833333333336,
      "loss": 0.28357997894287107,
      "step": 2500
    },
    {
      "epoch": 0.05204081632653061,
      "grad_norm": 0.3348694145679474,
      "learning_rate": 0.00019355000000000002,
      "loss": 0.22965316772460936,
      "step": 2550
    },
    {
      "epoch": 0.053061224489795916,
      "grad_norm": 0.18955211341381073,
      "learning_rate": 0.00019334166666666667,
      "loss": 0.25385122299194335,
      "step": 2600
    },
    {
      "epoch": 0.05408163265306123,
      "grad_norm": 0.2340240627527237,
      "learning_rate": 0.00019313333333333336,
      "loss": 0.24012853622436522,
      "step": 2650
    },
    {
      "epoch": 0.05510204081632653,
      "grad_norm": 0.3079259693622589,
      "learning_rate": 0.000192925,
      "loss": 0.2679576301574707,
      "step": 2700
    },
    {
      "epoch": 0.05612244897959184,
      "grad_norm": 0.21826183795928955,
      "learning_rate": 0.00019271666666666667,
      "loss": 0.2620100975036621,
      "step": 2750
    },
    {
      "epoch": 0.05714285714285714,
      "grad_norm": 0.23138746619224548,
      "learning_rate": 0.00019250833333333333,
      "loss": 0.2539723587036133,
      "step": 2800
    },
    {
      "epoch": 0.058163265306122446,
      "grad_norm": 0.20887167751789093,
      "learning_rate": 0.0001923,
      "loss": 0.2468751335144043,
      "step": 2850
    },
    {
      "epoch": 0.05918367346938776,
      "grad_norm": 0.268592894077301,
      "learning_rate": 0.00019209166666666667,
      "loss": 0.15909523010253906,
      "step": 2900
    },
    {
      "epoch": 0.06020408163265306,
      "grad_norm": 0.25304126739501953,
      "learning_rate": 0.00019188333333333335,
      "loss": 0.27721269607543947,
      "step": 2950
    },
    {
      "epoch": 0.061224489795918366,
      "grad_norm": 0.20484556257724762,
      "learning_rate": 0.000191675,
      "loss": 0.2851785469055176,
      "step": 3000
    },
    {
      "epoch": 0.06224489795918367,
      "grad_norm": 0.23477648198604584,
      "learning_rate": 0.0001914666666666667,
      "loss": 0.2561204528808594,
      "step": 3050
    },
    {
      "epoch": 0.06326530612244897,
      "grad_norm": 0.20200228691101074,
      "learning_rate": 0.00019125833333333335,
      "loss": 0.2533460807800293,
      "step": 3100
    },
    {
      "epoch": 0.06428571428571428,
      "grad_norm": 0.2645045220851898,
      "learning_rate": 0.00019105,
      "loss": 0.2751885223388672,
      "step": 3150
    },
    {
      "epoch": 0.0653061224489796,
      "grad_norm": 0.21196508407592773,
      "learning_rate": 0.00019084166666666667,
      "loss": 0.23478796005249022,
      "step": 3200
    },
    {
      "epoch": 0.0663265306122449,
      "grad_norm": 0.2803957462310791,
      "learning_rate": 0.00019063333333333335,
      "loss": 0.2723574638366699,
      "step": 3250
    },
    {
      "epoch": 0.0673469387755102,
      "grad_norm": 0.5901449918746948,
      "learning_rate": 0.000190425,
      "loss": 0.26311100006103516,
      "step": 3300
    },
    {
      "epoch": 0.06836734693877551,
      "grad_norm": 0.38461631536483765,
      "learning_rate": 0.00019021666666666666,
      "loss": 0.2697314262390137,
      "step": 3350
    },
    {
      "epoch": 0.06938775510204082,
      "grad_norm": 0.2759239971637726,
      "learning_rate": 0.00019000833333333335,
      "loss": 0.2560941505432129,
      "step": 3400
    },
    {
      "epoch": 0.07040816326530612,
      "grad_norm": 0.2897125780582428,
      "learning_rate": 0.0001898,
      "loss": 0.2736033058166504,
      "step": 3450
    },
    {
      "epoch": 0.07142857142857142,
      "grad_norm": 0.33106592297554016,
      "learning_rate": 0.0001895916666666667,
      "loss": 0.2775533676147461,
      "step": 3500
    },
    {
      "epoch": 0.07244897959183673,
      "grad_norm": 0.1906435638666153,
      "learning_rate": 0.00018938333333333335,
      "loss": 0.26322145462036134,
      "step": 3550
    },
    {
      "epoch": 0.07346938775510205,
      "grad_norm": 0.2763810157775879,
      "learning_rate": 0.000189175,
      "loss": 0.27947967529296874,
      "step": 3600
    },
    {
      "epoch": 0.07448979591836735,
      "grad_norm": 0.19828622043132782,
      "learning_rate": 0.00018896666666666666,
      "loss": 0.26597856521606444,
      "step": 3650
    },
    {
      "epoch": 0.07551020408163266,
      "grad_norm": 0.2526462972164154,
      "learning_rate": 0.00018875833333333335,
      "loss": 0.26246599197387693,
      "step": 3700
    },
    {
      "epoch": 0.07653061224489796,
      "grad_norm": 0.2099679410457611,
      "learning_rate": 0.00018855,
      "loss": 0.26106624603271483,
      "step": 3750
    },
    {
      "epoch": 0.07755102040816327,
      "grad_norm": 0.27196380496025085,
      "learning_rate": 0.0001883416666666667,
      "loss": 0.25065629959106445,
      "step": 3800
    },
    {
      "epoch": 0.07857142857142857,
      "grad_norm": 0.22897310554981232,
      "learning_rate": 0.00018813333333333334,
      "loss": 0.2487507629394531,
      "step": 3850
    },
    {
      "epoch": 0.07959183673469387,
      "grad_norm": 0.2111479938030243,
      "learning_rate": 0.00018792500000000003,
      "loss": 0.28081771850585935,
      "step": 3900
    },
    {
      "epoch": 0.08061224489795918,
      "grad_norm": 0.41333141922950745,
      "learning_rate": 0.00018771666666666668,
      "loss": 0.2307835578918457,
      "step": 3950
    },
    {
      "epoch": 0.08163265306122448,
      "grad_norm": 0.21056070923805237,
      "learning_rate": 0.00018750833333333334,
      "loss": 0.24496456146240234,
      "step": 4000
    },
    {
      "epoch": 0.0826530612244898,
      "grad_norm": 0.2062331885099411,
      "learning_rate": 0.0001873,
      "loss": 0.23850811004638672,
      "step": 4050
    },
    {
      "epoch": 0.0836734693877551,
      "grad_norm": 0.18119142949581146,
      "learning_rate": 0.00018709166666666666,
      "loss": 0.2702301406860352,
      "step": 4100
    },
    {
      "epoch": 0.08469387755102041,
      "grad_norm": 0.21935491263866425,
      "learning_rate": 0.00018688333333333334,
      "loss": 0.2529887008666992,
      "step": 4150
    },
    {
      "epoch": 0.08571428571428572,
      "grad_norm": 0.2520492374897003,
      "learning_rate": 0.000186675,
      "loss": 0.24680517196655274,
      "step": 4200
    },
    {
      "epoch": 0.08673469387755102,
      "grad_norm": 0.21996288001537323,
      "learning_rate": 0.00018646666666666668,
      "loss": 0.260424861907959,
      "step": 4250
    },
    {
      "epoch": 0.08775510204081632,
      "grad_norm": 0.18490734696388245,
      "learning_rate": 0.00018625833333333334,
      "loss": 0.2572420883178711,
      "step": 4300
    },
    {
      "epoch": 0.08877551020408163,
      "grad_norm": 0.19968494772911072,
      "learning_rate": 0.00018605000000000002,
      "loss": 0.25690040588378904,
      "step": 4350
    },
    {
      "epoch": 0.08979591836734693,
      "grad_norm": 0.18151628971099854,
      "learning_rate": 0.00018584166666666668,
      "loss": 0.23846803665161131,
      "step": 4400
    },
    {
      "epoch": 0.09081632653061225,
      "grad_norm": 0.19587203860282898,
      "learning_rate": 0.00018563333333333334,
      "loss": 0.2594054985046387,
      "step": 4450
    },
    {
      "epoch": 0.09183673469387756,
      "grad_norm": 0.32912376523017883,
      "learning_rate": 0.000185425,
      "loss": 0.2486746406555176,
      "step": 4500
    },
    {
      "epoch": 0.09285714285714286,
      "grad_norm": 0.2364601194858551,
      "learning_rate": 0.00018521666666666668,
      "loss": 0.2627392768859863,
      "step": 4550
    },
    {
      "epoch": 0.09387755102040816,
      "grad_norm": 0.11974240839481354,
      "learning_rate": 0.00018500833333333334,
      "loss": 0.21929288864135743,
      "step": 4600
    },
    {
      "epoch": 0.09489795918367347,
      "grad_norm": 0.19204378128051758,
      "learning_rate": 0.00018480000000000002,
      "loss": 0.18641704559326172,
      "step": 4650
    },
    {
      "epoch": 0.09591836734693877,
      "grad_norm": 0.2613525986671448,
      "learning_rate": 0.00018459166666666668,
      "loss": 0.2442936897277832,
      "step": 4700
    },
    {
      "epoch": 0.09693877551020408,
      "grad_norm": 0.22148281335830688,
      "learning_rate": 0.00018438333333333336,
      "loss": 0.25667667388916016,
      "step": 4750
    },
    {
      "epoch": 0.09795918367346938,
      "grad_norm": 0.2820097506046295,
      "learning_rate": 0.00018417500000000002,
      "loss": 0.21245412826538085,
      "step": 4800
    },
    {
      "epoch": 0.09897959183673469,
      "grad_norm": 0.2048281878232956,
      "learning_rate": 0.00018396666666666668,
      "loss": 0.23076135635375977,
      "step": 4850
    },
    {
      "epoch": 0.1,
      "grad_norm": 0.2739567160606384,
      "learning_rate": 0.00018375833333333333,
      "loss": 0.2856523323059082,
      "step": 4900
    },
    {
      "epoch": 0.10102040816326531,
      "grad_norm": 0.26582998037338257,
      "learning_rate": 0.00018355,
      "loss": 0.2545345878601074,
      "step": 4950
    },
    {
      "epoch": 0.10204081632653061,
      "grad_norm": 0.192887082695961,
      "learning_rate": 0.00018334166666666667,
      "loss": 0.2435542869567871,
      "step": 5000
    },
    {
      "epoch": 0.10306122448979592,
      "grad_norm": 0.18641699850559235,
      "learning_rate": 0.00018313333333333333,
      "loss": 0.23780487060546876,
      "step": 5050
    },
    {
      "epoch": 0.10408163265306122,
      "grad_norm": 0.26348331570625305,
      "learning_rate": 0.00018292500000000001,
      "loss": 0.25740249633789064,
      "step": 5100
    },
    {
      "epoch": 0.10510204081632653,
      "grad_norm": 0.18192711472511292,
      "learning_rate": 0.00018271666666666667,
      "loss": 0.2640067672729492,
      "step": 5150
    },
    {
      "epoch": 0.10612244897959183,
      "grad_norm": 0.24081537127494812,
      "learning_rate": 0.00018250833333333336,
      "loss": 0.24000905990600585,
      "step": 5200
    },
    {
      "epoch": 0.10714285714285714,
      "grad_norm": 0.1570502072572708,
      "learning_rate": 0.0001823,
      "loss": 0.245651912689209,
      "step": 5250
    },
    {
      "epoch": 0.10816326530612246,
      "grad_norm": 0.13232532143592834,
      "learning_rate": 0.00018209166666666667,
      "loss": 0.15869504928588868,
      "step": 5300
    },
    {
      "epoch": 0.10918367346938776,
      "grad_norm": 0.23496298491954803,
      "learning_rate": 0.00018188333333333333,
      "loss": 0.1904274559020996,
      "step": 5350
    },
    {
      "epoch": 0.11020408163265306,
      "grad_norm": 0.25786077976226807,
      "learning_rate": 0.000181675,
      "loss": 0.25172576904296873,
      "step": 5400
    },
    {
      "epoch": 0.11122448979591837,
      "grad_norm": 0.16870424151420593,
      "learning_rate": 0.00018146666666666667,
      "loss": 0.22960330963134765,
      "step": 5450
    },
    {
      "epoch": 0.11224489795918367,
      "grad_norm": 0.13842836022377014,
      "learning_rate": 0.00018125833333333335,
      "loss": 0.21614797592163085,
      "step": 5500
    },
    {
      "epoch": 0.11326530612244898,
      "grad_norm": 0.1558876633644104,
      "learning_rate": 0.00018105,
      "loss": 0.1952862548828125,
      "step": 5550
    },
    {
      "epoch": 0.11428571428571428,
      "grad_norm": 0.1988261342048645,
      "learning_rate": 0.00018084166666666667,
      "loss": 0.22747718811035156,
      "step": 5600
    },
    {
      "epoch": 0.11530612244897959,
      "grad_norm": 0.2106727659702301,
      "learning_rate": 0.00018063333333333335,
      "loss": 0.22860513687133788,
      "step": 5650
    },
    {
      "epoch": 0.11632653061224489,
      "grad_norm": 0.19396160542964935,
      "learning_rate": 0.000180425,
      "loss": 0.268677806854248,
      "step": 5700
    },
    {
      "epoch": 0.11734693877551021,
      "grad_norm": 0.2126370370388031,
      "learning_rate": 0.00018021666666666667,
      "loss": 0.23296730041503907,
      "step": 5750
    },
    {
      "epoch": 0.11836734693877551,
      "grad_norm": 0.23235207796096802,
      "learning_rate": 0.00018000833333333332,
      "loss": 0.25676736831665037,
      "step": 5800
    },
    {
      "epoch": 0.11938775510204082,
      "grad_norm": 0.20349349081516266,
      "learning_rate": 0.0001798,
      "loss": 0.22073328018188476,
      "step": 5850
    },
    {
      "epoch": 0.12040816326530612,
      "grad_norm": 0.21047183871269226,
      "learning_rate": 0.00017959166666666666,
      "loss": 0.23178285598754883,
      "step": 5900
    },
    {
      "epoch": 0.12142857142857143,
      "grad_norm": 0.17973244190216064,
      "learning_rate": 0.00017938333333333335,
      "loss": 0.2536413955688477,
      "step": 5950
    },
    {
      "epoch": 0.12244897959183673,
      "grad_norm": 0.3100139796733856,
      "learning_rate": 0.000179175,
      "loss": 0.22924301147460938,
      "step": 6000
    },
    {
      "epoch": 0.12346938775510204,
      "grad_norm": 0.23539181053638458,
      "learning_rate": 0.0001789666666666667,
      "loss": 0.3015317726135254,
      "step": 6050
    },
    {
      "epoch": 0.12448979591836734,
      "grad_norm": 0.2297438383102417,
      "learning_rate": 0.00017875833333333335,
      "loss": 0.23267417907714844,
      "step": 6100
    },
    {
      "epoch": 0.12551020408163266,
      "grad_norm": 0.24020229279994965,
      "learning_rate": 0.00017855000000000003,
      "loss": 0.2438960838317871,
      "step": 6150
    },
    {
      "epoch": 0.12653061224489795,
      "grad_norm": 0.19935473799705505,
      "learning_rate": 0.00017834166666666666,
      "loss": 0.24910968780517578,
      "step": 6200
    },
    {
      "epoch": 0.12755102040816327,
      "grad_norm": 0.14035022258758545,
      "learning_rate": 0.00017813333333333334,
      "loss": 0.19773637771606445,
      "step": 6250
    },
    {
      "epoch": 0.12857142857142856,
      "grad_norm": 0.18467874825000763,
      "learning_rate": 0.000177925,
      "loss": 0.23008169174194337,
      "step": 6300
    },
    {
      "epoch": 0.12959183673469388,
      "grad_norm": 0.18327519297599792,
      "learning_rate": 0.00017771666666666666,
      "loss": 0.22650135040283204,
      "step": 6350
    },
    {
      "epoch": 0.1306122448979592,
      "grad_norm": 0.1742118000984192,
      "learning_rate": 0.00017750833333333334,
      "loss": 0.24949928283691405,
      "step": 6400
    },
    {
      "epoch": 0.13163265306122449,
      "grad_norm": 0.2683607041835785,
      "learning_rate": 0.0001773,
      "loss": 0.23931278228759767,
      "step": 6450
    },
    {
      "epoch": 0.1326530612244898,
      "grad_norm": 0.22325648367404938,
      "learning_rate": 0.00017709166666666668,
      "loss": 0.2348464012145996,
      "step": 6500
    },
    {
      "epoch": 0.1336734693877551,
      "grad_norm": 0.23074108362197876,
      "learning_rate": 0.00017688333333333334,
      "loss": 0.22793367385864258,
      "step": 6550
    },
    {
      "epoch": 0.1346938775510204,
      "grad_norm": 0.2005387246608734,
      "learning_rate": 0.00017667500000000003,
      "loss": 0.22257186889648437,
      "step": 6600
    },
    {
      "epoch": 0.1357142857142857,
      "grad_norm": 0.22492945194244385,
      "learning_rate": 0.00017646666666666668,
      "loss": 0.2518248176574707,
      "step": 6650
    },
    {
      "epoch": 0.13673469387755102,
      "grad_norm": 0.19270016252994537,
      "learning_rate": 0.00017625833333333334,
      "loss": 0.23488008499145507,
      "step": 6700
    },
    {
      "epoch": 0.1377551020408163,
      "grad_norm": 0.2650369703769684,
      "learning_rate": 0.00017605,
      "loss": 0.2485354995727539,
      "step": 6750
    },
    {
      "epoch": 0.13877551020408163,
      "grad_norm": 0.16986238956451416,
      "learning_rate": 0.00017584166666666668,
      "loss": 0.2421465301513672,
      "step": 6800
    },
    {
      "epoch": 0.13979591836734695,
      "grad_norm": 0.584934413433075,
      "learning_rate": 0.00017563333333333334,
      "loss": 0.21577610015869142,
      "step": 6850
    },
    {
      "epoch": 0.14081632653061224,
      "grad_norm": 0.211620032787323,
      "learning_rate": 0.00017542500000000002,
      "loss": 0.2501153373718262,
      "step": 6900
    },
    {
      "epoch": 0.14183673469387756,
      "grad_norm": 0.22148476541042328,
      "learning_rate": 0.00017521666666666668,
      "loss": 0.27484086990356443,
      "step": 6950
    },
    {
      "epoch": 0.14285714285714285,
      "grad_norm": 0.19075964391231537,
      "learning_rate": 0.00017500833333333336,
      "loss": 0.22781301498413087,
      "step": 7000
    },
    {
      "epoch": 0.14387755102040817,
      "grad_norm": 0.1916443407535553,
      "learning_rate": 0.00017480000000000002,
      "loss": 0.2180193519592285,
      "step": 7050
    },
    {
      "epoch": 0.14489795918367346,
      "grad_norm": 0.15787392854690552,
      "learning_rate": 0.00017459166666666668,
      "loss": 0.24084676742553712,
      "step": 7100
    },
    {
      "epoch": 0.14591836734693878,
      "grad_norm": 0.14521488547325134,
      "learning_rate": 0.00017438333333333333,
      "loss": 0.1710742950439453,
      "step": 7150
    },
    {
      "epoch": 0.1469387755102041,
      "grad_norm": 0.2912120819091797,
      "learning_rate": 0.000174175,
      "loss": 0.19460933685302734,
      "step": 7200
    },
    {
      "epoch": 0.14795918367346939,
      "grad_norm": 0.235012486577034,
      "learning_rate": 0.00017396666666666668,
      "loss": 0.24076326370239257,
      "step": 7250
    },
    {
      "epoch": 0.1489795918367347,
      "grad_norm": 0.15365862846374512,
      "learning_rate": 0.00017375833333333333,
      "loss": 0.15890993118286134,
      "step": 7300
    },
    {
      "epoch": 0.15,
      "grad_norm": 0.1753380447626114,
      "learning_rate": 0.00017355000000000002,
      "loss": 0.1807994270324707,
      "step": 7350
    },
    {
      "epoch": 0.1510204081632653,
      "grad_norm": 0.1783948391675949,
      "learning_rate": 0.00017334166666666667,
      "loss": 0.1949660873413086,
      "step": 7400
    },
    {
      "epoch": 0.1520408163265306,
      "grad_norm": 0.21300694346427917,
      "learning_rate": 0.00017313333333333336,
      "loss": 0.26889331817626955,
      "step": 7450
    },
    {
      "epoch": 0.15306122448979592,
      "grad_norm": 0.17175327241420746,
      "learning_rate": 0.00017292500000000002,
      "loss": 0.2403140640258789,
      "step": 7500
    },
    {
      "epoch": 0.1540816326530612,
      "grad_norm": 0.17446576058864594,
      "learning_rate": 0.00017271666666666667,
      "loss": 0.2203696060180664,
      "step": 7550
    },
    {
      "epoch": 0.15510204081632653,
      "grad_norm": 0.18991930782794952,
      "learning_rate": 0.00017250833333333333,
      "loss": 0.21493810653686524,
      "step": 7600
    },
    {
      "epoch": 0.15612244897959185,
      "grad_norm": 0.17720980942249298,
      "learning_rate": 0.00017230000000000001,
      "loss": 0.2457187843322754,
      "step": 7650
    },
    {
      "epoch": 0.15714285714285714,
      "grad_norm": 0.22987200319766998,
      "learning_rate": 0.00017209166666666667,
      "loss": 0.24987890243530272,
      "step": 7700
    },
    {
      "epoch": 0.15816326530612246,
      "grad_norm": 0.20722761750221252,
      "learning_rate": 0.00017188333333333336,
      "loss": 0.22456403732299804,
      "step": 7750
    },
    {
      "epoch": 0.15918367346938775,
      "grad_norm": 0.17368385195732117,
      "learning_rate": 0.000171675,
      "loss": 0.23329797744750977,
      "step": 7800
    },
    {
      "epoch": 0.16020408163265307,
      "grad_norm": 0.1477518379688263,
      "learning_rate": 0.00017146666666666667,
      "loss": 0.150212345123291,
      "step": 7850
    },
    {
      "epoch": 0.16122448979591836,
      "grad_norm": 0.23035384714603424,
      "learning_rate": 0.00017125833333333335,
      "loss": 0.18162582397460938,
      "step": 7900
    },
    {
      "epoch": 0.16224489795918368,
      "grad_norm": 0.2011357545852661,
      "learning_rate": 0.00017105,
      "loss": 0.23587108612060548,
      "step": 7950
    },
    {
      "epoch": 0.16326530612244897,
      "grad_norm": 0.23610138893127441,
      "learning_rate": 0.00017084166666666667,
      "loss": 0.25925134658813476,
      "step": 8000
    },
    {
      "epoch": 0.16428571428571428,
      "grad_norm": 0.33437424898147583,
      "learning_rate": 0.00017063333333333332,
      "loss": 0.2467789649963379,
      "step": 8050
    },
    {
      "epoch": 0.1653061224489796,
      "grad_norm": 0.16571049392223358,
      "learning_rate": 0.000170425,
      "loss": 0.22530656814575195,
      "step": 8100
    },
    {
      "epoch": 0.1663265306122449,
      "grad_norm": 0.19635702669620514,
      "learning_rate": 0.00017021666666666667,
      "loss": 0.2387130355834961,
      "step": 8150
    },
    {
      "epoch": 0.1673469387755102,
      "grad_norm": 0.2154119610786438,
      "learning_rate": 0.00017000833333333335,
      "loss": 0.22704246520996094,
      "step": 8200
    },
    {
      "epoch": 0.1683673469387755,
      "grad_norm": 0.177113875746727,
      "learning_rate": 0.0001698,
      "loss": 0.2153651237487793,
      "step": 8250
    },
    {
      "epoch": 0.16938775510204082,
      "grad_norm": 0.16632798314094543,
      "learning_rate": 0.0001695916666666667,
      "loss": 0.22499719619750977,
      "step": 8300
    },
    {
      "epoch": 0.1704081632653061,
      "grad_norm": 0.12536615133285522,
      "learning_rate": 0.00016938333333333335,
      "loss": 0.18060928344726562,
      "step": 8350
    },
    {
      "epoch": 0.17142857142857143,
      "grad_norm": 0.17900407314300537,
      "learning_rate": 0.000169175,
      "loss": 0.1342845344543457,
      "step": 8400
    },
    {
      "epoch": 0.17244897959183675,
      "grad_norm": 0.36062344908714294,
      "learning_rate": 0.00016896666666666666,
      "loss": 0.2387704086303711,
      "step": 8450
    },
    {
      "epoch": 0.17346938775510204,
      "grad_norm": 0.21417365968227386,
      "learning_rate": 0.00016875833333333335,
      "loss": 0.2395523452758789,
      "step": 8500
    },
    {
      "epoch": 0.17448979591836736,
      "grad_norm": 0.15625624358654022,
      "learning_rate": 0.00016855,
      "loss": 0.23403961181640626,
      "step": 8550
    },
    {
      "epoch": 0.17551020408163265,
      "grad_norm": 0.2608756422996521,
      "learning_rate": 0.00016834166666666666,
      "loss": 0.20653511047363282,
      "step": 8600
    },
    {
      "epoch": 0.17653061224489797,
      "grad_norm": 0.14978773891925812,
      "learning_rate": 0.00016813333333333335,
      "loss": 0.2276185607910156,
      "step": 8650
    },
    {
      "epoch": 0.17755102040816326,
      "grad_norm": 0.164831280708313,
      "learning_rate": 0.000167925,
      "loss": 0.2196169090270996,
      "step": 8700
    },
    {
      "epoch": 0.17857142857142858,
      "grad_norm": 0.2136063277721405,
      "learning_rate": 0.0001677166666666667,
      "loss": 0.22439205169677734,
      "step": 8750
    },
    {
      "epoch": 0.17959183673469387,
      "grad_norm": 0.2042110115289688,
      "learning_rate": 0.00016750833333333334,
      "loss": 0.25702680587768556,
      "step": 8800
    },
    {
      "epoch": 0.18061224489795918,
      "grad_norm": 0.15435971319675446,
      "learning_rate": 0.0001673,
      "loss": 0.21708799362182618,
      "step": 8850
    },
    {
      "epoch": 0.1816326530612245,
      "grad_norm": 0.15783603489398956,
      "learning_rate": 0.00016709166666666666,
      "loss": 0.2066781997680664,
      "step": 8900
    },
    {
      "epoch": 0.1826530612244898,
      "grad_norm": 0.15515024960041046,
      "learning_rate": 0.00016688333333333334,
      "loss": 0.20220188140869141,
      "step": 8950
    },
    {
      "epoch": 0.1836734693877551,
      "grad_norm": 0.13879244029521942,
      "learning_rate": 0.000166675,
      "loss": 0.15490728378295898,
      "step": 9000
    },
    {
      "epoch": 0.1846938775510204,
      "grad_norm": 0.17483779788017273,
      "learning_rate": 0.00016646666666666668,
      "loss": 0.19913965225219726,
      "step": 9050
    },
    {
      "epoch": 0.18571428571428572,
      "grad_norm": 0.14338476955890656,
      "learning_rate": 0.00016625833333333334,
      "loss": 0.2302665901184082,
      "step": 9100
    },
    {
      "epoch": 0.186734693877551,
      "grad_norm": 0.19108951091766357,
      "learning_rate": 0.00016605000000000002,
      "loss": 0.2207638168334961,
      "step": 9150
    },
    {
      "epoch": 0.18775510204081633,
      "grad_norm": 0.2902897894382477,
      "learning_rate": 0.00016584166666666668,
      "loss": 0.26275455474853515,
      "step": 9200
    },
    {
      "epoch": 0.18877551020408162,
      "grad_norm": 0.2468404471874237,
      "learning_rate": 0.00016563333333333334,
      "loss": 0.22652421951293944,
      "step": 9250
    },
    {
      "epoch": 0.18979591836734694,
      "grad_norm": 0.15006621181964874,
      "learning_rate": 0.000165425,
      "loss": 0.234797420501709,
      "step": 9300
    },
    {
      "epoch": 0.19081632653061226,
      "grad_norm": 0.3083290159702301,
      "learning_rate": 0.00016521666666666665,
      "loss": 0.2213102912902832,
      "step": 9350
    },
    {
      "epoch": 0.19183673469387755,
      "grad_norm": 0.23879224061965942,
      "learning_rate": 0.00016500833333333334,
      "loss": 0.23831743240356446,
      "step": 9400
    },
    {
      "epoch": 0.19285714285714287,
      "grad_norm": 0.24960699677467346,
      "learning_rate": 0.0001648,
      "loss": 0.23019039154052734,
      "step": 9450
    },
    {
      "epoch": 0.19387755102040816,
      "grad_norm": 0.23694069683551788,
      "learning_rate": 0.00016459166666666668,
      "loss": 0.1808626174926758,
      "step": 9500
    },
    {
      "epoch": 0.19489795918367347,
      "grad_norm": 0.1712574064731598,
      "learning_rate": 0.00016438333333333334,
      "loss": 0.23488353729248046,
      "step": 9550
    },
    {
      "epoch": 0.19591836734693877,
      "grad_norm": 0.22367513179779053,
      "learning_rate": 0.00016417500000000002,
      "loss": 0.21684967041015624,
      "step": 9600
    },
    {
      "epoch": 0.19693877551020408,
      "grad_norm": 0.16823172569274902,
      "learning_rate": 0.00016396666666666668,
      "loss": 0.23959226608276368,
      "step": 9650
    },
    {
      "epoch": 0.19795918367346937,
      "grad_norm": 0.25998687744140625,
      "learning_rate": 0.00016375833333333333,
      "loss": 0.22377561569213866,
      "step": 9700
    },
    {
      "epoch": 0.1989795918367347,
      "grad_norm": 0.18959476053714752,
      "learning_rate": 0.00016355,
      "loss": 0.2755254554748535,
      "step": 9750
    },
    {
      "epoch": 0.2,
      "grad_norm": 0.26864951848983765,
      "learning_rate": 0.00016334166666666668,
      "loss": 0.239896240234375,
      "step": 9800
    },
    {
      "epoch": 0.2010204081632653,
      "grad_norm": 0.16514073312282562,
      "learning_rate": 0.00016313333333333333,
      "loss": 0.20732919692993165,
      "step": 9850
    },
    {
      "epoch": 0.20204081632653062,
      "grad_norm": 0.19930091500282288,
      "learning_rate": 0.00016292500000000002,
      "loss": 0.22147659301757813,
      "step": 9900
    },
    {
      "epoch": 0.2030612244897959,
      "grad_norm": 0.20155663788318634,
      "learning_rate": 0.00016271666666666667,
      "loss": 0.21227607727050782,
      "step": 9950
    },
    {
      "epoch": 0.20408163265306123,
      "grad_norm": 0.15768975019454956,
      "learning_rate": 0.00016250833333333336,
      "loss": 0.20134233474731444,
      "step": 10000
    },
    {
      "epoch": 0.20510204081632652,
      "grad_norm": 0.2521868348121643,
      "learning_rate": 0.00016230000000000001,
      "loss": 0.22343421936035157,
      "step": 10050
    },
    {
      "epoch": 0.20612244897959184,
      "grad_norm": 0.15740498900413513,
      "learning_rate": 0.00016209166666666667,
      "loss": 0.2235814094543457,
      "step": 10100
    },
    {
      "epoch": 0.20714285714285716,
      "grad_norm": 0.2574876844882965,
      "learning_rate": 0.00016188333333333333,
      "loss": 0.22124135971069336,
      "step": 10150
    },
    {
      "epoch": 0.20816326530612245,
      "grad_norm": 0.1711849570274353,
      "learning_rate": 0.00016167499999999999,
      "loss": 0.22449752807617188,
      "step": 10200
    },
    {
      "epoch": 0.20918367346938777,
      "grad_norm": 0.16069597005844116,
      "learning_rate": 0.00016146666666666667,
      "loss": 0.22119144439697266,
      "step": 10250
    },
    {
      "epoch": 0.21020408163265306,
      "grad_norm": 0.16962496936321259,
      "learning_rate": 0.00016125833333333333,
      "loss": 0.23080724716186524,
      "step": 10300
    },
    {
      "epoch": 0.21122448979591837,
      "grad_norm": 0.22259433567523956,
      "learning_rate": 0.00016105,
      "loss": 0.19102418899536133,
      "step": 10350
    },
    {
      "epoch": 0.21224489795918366,
      "grad_norm": 0.14817878603935242,
      "learning_rate": 0.00016084166666666667,
      "loss": 0.21070737838745118,
      "step": 10400
    },
    {
      "epoch": 0.21326530612244898,
      "grad_norm": 0.3290054202079773,
      "learning_rate": 0.00016063333333333335,
      "loss": 0.18405279159545898,
      "step": 10450
    },
    {
      "epoch": 0.21428571428571427,
      "grad_norm": 0.34895798563957214,
      "learning_rate": 0.000160425,
      "loss": 0.21118934631347655,
      "step": 10500
    },
    {
      "epoch": 0.2153061224489796,
      "grad_norm": 0.18928605318069458,
      "learning_rate": 0.0001602166666666667,
      "loss": 0.2026797866821289,
      "step": 10550
    },
    {
      "epoch": 0.2163265306122449,
      "grad_norm": 0.31760379672050476,
      "learning_rate": 0.00016000833333333335,
      "loss": 0.20241106033325196,
      "step": 10600
    },
    {
      "epoch": 0.2173469387755102,
      "grad_norm": 0.21261534094810486,
      "learning_rate": 0.0001598,
      "loss": 0.2348382568359375,
      "step": 10650
    },
    {
      "epoch": 0.21836734693877552,
      "grad_norm": 0.25979313254356384,
      "learning_rate": 0.00015959166666666667,
      "loss": 0.1868024253845215,
      "step": 10700
    },
    {
      "epoch": 0.2193877551020408,
      "grad_norm": 0.18968409299850464,
      "learning_rate": 0.00015938333333333335,
      "loss": 0.23709041595458985,
      "step": 10750
    },
    {
      "epoch": 0.22040816326530613,
      "grad_norm": 0.113967664539814,
      "learning_rate": 0.000159175,
      "loss": 0.18982641220092775,
      "step": 10800
    },
    {
      "epoch": 0.22142857142857142,
      "grad_norm": 0.17538873851299286,
      "learning_rate": 0.00015896666666666666,
      "loss": 0.1972733497619629,
      "step": 10850
    },
    {
      "epoch": 0.22244897959183674,
      "grad_norm": 0.22401735186576843,
      "learning_rate": 0.00015875833333333335,
      "loss": 0.21322017669677734,
      "step": 10900
    },
    {
      "epoch": 0.22346938775510203,
      "grad_norm": 0.1772245168685913,
      "learning_rate": 0.00015855,
      "loss": 0.21429908752441407,
      "step": 10950
    },
    {
      "epoch": 0.22448979591836735,
      "grad_norm": 0.16962389647960663,
      "learning_rate": 0.0001583416666666667,
      "loss": 0.22701108932495118,
      "step": 11000
    },
    {
      "epoch": 0.22551020408163266,
      "grad_norm": 0.16838356852531433,
      "learning_rate": 0.00015813333333333335,
      "loss": 0.19800830841064454,
      "step": 11050
    },
    {
      "epoch": 0.22653061224489796,
      "grad_norm": 0.14440977573394775,
      "learning_rate": 0.000157925,
      "loss": 0.2604854774475098,
      "step": 11100
    },
    {
      "epoch": 0.22755102040816327,
      "grad_norm": 0.16742219030857086,
      "learning_rate": 0.00015771666666666666,
      "loss": 0.2227446937561035,
      "step": 11150
    },
    {
      "epoch": 0.22857142857142856,
      "grad_norm": 0.21329857409000397,
      "learning_rate": 0.00015750833333333334,
      "loss": 0.2092646026611328,
      "step": 11200
    },
    {
      "epoch": 0.22959183673469388,
      "grad_norm": 0.14716580510139465,
      "learning_rate": 0.0001573,
      "loss": 0.20734121322631835,
      "step": 11250
    },
    {
      "epoch": 0.23061224489795917,
      "grad_norm": 0.17271864414215088,
      "learning_rate": 0.00015709166666666669,
      "loss": 0.14340096473693847,
      "step": 11300
    },
    {
      "epoch": 0.2316326530612245,
      "grad_norm": 0.15021106600761414,
      "learning_rate": 0.00015688333333333334,
      "loss": 0.18479793548583984,
      "step": 11350
    },
    {
      "epoch": 0.23265306122448978,
      "grad_norm": 0.22414959967136383,
      "learning_rate": 0.00015667500000000003,
      "loss": 0.2072342300415039,
      "step": 11400
    },
    {
      "epoch": 0.2336734693877551,
      "grad_norm": 0.20402732491493225,
      "learning_rate": 0.00015646666666666668,
      "loss": 0.21692256927490233,
      "step": 11450
    },
    {
      "epoch": 0.23469387755102042,
      "grad_norm": 0.15619000792503357,
      "learning_rate": 0.00015625833333333334,
      "loss": 0.22381683349609374,
      "step": 11500
    },
    {
      "epoch": 0.2357142857142857,
      "grad_norm": 0.16317050158977509,
      "learning_rate": 0.00015605,
      "loss": 0.23182619094848633,
      "step": 11550
    },
    {
      "epoch": 0.23673469387755103,
      "grad_norm": 0.18910205364227295,
      "learning_rate": 0.00015584166666666666,
      "loss": 0.25546884536743164,
      "step": 11600
    },
    {
      "epoch": 0.23775510204081632,
      "grad_norm": 0.14334766566753387,
      "learning_rate": 0.00015563333333333334,
      "loss": 0.22352867126464843,
      "step": 11650
    },
    {
      "epoch": 0.23877551020408164,
      "grad_norm": 0.18432728946208954,
      "learning_rate": 0.000155425,
      "loss": 0.1954519271850586,
      "step": 11700
    },
    {
      "epoch": 0.23979591836734693,
      "grad_norm": 0.13672347366809845,
      "learning_rate": 0.00015521666666666668,
      "loss": 0.18877283096313477,
      "step": 11750
    },
    {
      "epoch": 0.24081632653061225,
      "grad_norm": 0.20067130029201508,
      "learning_rate": 0.00015500833333333334,
      "loss": 0.1814111328125,
      "step": 11800
    },
    {
      "epoch": 0.24183673469387756,
      "grad_norm": 0.11683396250009537,
      "learning_rate": 0.00015480000000000002,
      "loss": 0.21560895919799805,
      "step": 11850
    },
    {
      "epoch": 0.24285714285714285,
      "grad_norm": 0.11114772409200668,
      "learning_rate": 0.00015459166666666668,
      "loss": 0.20422132492065428,
      "step": 11900
    },
    {
      "epoch": 0.24387755102040817,
      "grad_norm": 0.17009824514389038,
      "learning_rate": 0.00015438333333333334,
      "loss": 0.23441919326782226,
      "step": 11950
    },
    {
      "epoch": 0.24489795918367346,
      "grad_norm": 0.10565453767776489,
      "learning_rate": 0.00015417916666666666,
      "loss": 0.214456729888916,
      "step": 12000
    },
    {
      "epoch": 0.24591836734693878,
      "grad_norm": 0.21939121186733246,
      "learning_rate": 0.00015397083333333332,
      "loss": 0.2204405975341797,
      "step": 12050
    },
    {
      "epoch": 0.24693877551020407,
      "grad_norm": 0.1426985263824463,
      "learning_rate": 0.0001537625,
      "loss": 0.2276213264465332,
      "step": 12100
    },
    {
      "epoch": 0.2479591836734694,
      "grad_norm": 0.16745182871818542,
      "learning_rate": 0.00015355416666666666,
      "loss": 0.21220468521118163,
      "step": 12150
    },
    {
      "epoch": 0.24897959183673468,
      "grad_norm": 0.31632089614868164,
      "learning_rate": 0.00015334583333333335,
      "loss": 0.1934981346130371,
      "step": 12200
    },
    {
      "epoch": 0.25,
      "grad_norm": 0.16067934036254883,
      "learning_rate": 0.0001531375,
      "loss": 0.20258354187011718,
      "step": 12250
    },
    {
      "epoch": 0.2510204081632653,
      "grad_norm": 0.17517229914665222,
      "learning_rate": 0.00015292916666666669,
      "loss": 0.2431671905517578,
      "step": 12300
    },
    {
      "epoch": 0.25204081632653064,
      "grad_norm": 0.13739600777626038,
      "learning_rate": 0.00015272083333333334,
      "loss": 0.2115278434753418,
      "step": 12350
    },
    {
      "epoch": 0.2530612244897959,
      "grad_norm": 0.13237659633159637,
      "learning_rate": 0.0001525125,
      "loss": 0.14292340278625487,
      "step": 12400
    },
    {
      "epoch": 0.2540816326530612,
      "grad_norm": 0.19046801328659058,
      "learning_rate": 0.00015230416666666666,
      "loss": 0.21214740753173827,
      "step": 12450
    },
    {
      "epoch": 0.25510204081632654,
      "grad_norm": 0.1318289339542389,
      "learning_rate": 0.00015209583333333334,
      "loss": 0.21549345016479493,
      "step": 12500
    },
    {
      "epoch": 0.25612244897959185,
      "grad_norm": 0.18249279260635376,
      "learning_rate": 0.0001518875,
      "loss": 0.2081346893310547,
      "step": 12550
    },
    {
      "epoch": 0.2571428571428571,
      "grad_norm": 0.14595630764961243,
      "learning_rate": 0.00015167916666666668,
      "loss": 0.22366453170776368,
      "step": 12600
    },
    {
      "epoch": 0.25816326530612244,
      "grad_norm": 0.1734742671251297,
      "learning_rate": 0.000151475,
      "loss": 0.2523087120056152,
      "step": 12650
    },
    {
      "epoch": 0.25918367346938775,
      "grad_norm": 0.17593304812908173,
      "learning_rate": 0.00015126666666666667,
      "loss": 0.20111059188842773,
      "step": 12700
    },
    {
      "epoch": 0.2602040816326531,
      "grad_norm": 0.1608940213918686,
      "learning_rate": 0.00015105833333333335,
      "loss": 0.20536836624145507,
      "step": 12750
    },
    {
      "epoch": 0.2612244897959184,
      "grad_norm": 0.10997316241264343,
      "learning_rate": 0.00015085,
      "loss": 0.2102074432373047,
      "step": 12800
    },
    {
      "epoch": 0.26224489795918365,
      "grad_norm": 0.18243081867694855,
      "learning_rate": 0.0001506416666666667,
      "loss": 0.21278114318847657,
      "step": 12850
    },
    {
      "epoch": 0.26326530612244897,
      "grad_norm": 0.16395965218544006,
      "learning_rate": 0.00015043333333333335,
      "loss": 0.21783830642700194,
      "step": 12900
    },
    {
      "epoch": 0.2642857142857143,
      "grad_norm": 0.1172817125916481,
      "learning_rate": 0.000150225,
      "loss": 0.20723285675048828,
      "step": 12950
    },
    {
      "epoch": 0.2653061224489796,
      "grad_norm": 0.18447045981884003,
      "learning_rate": 0.00015001666666666666,
      "loss": 0.2183824348449707,
      "step": 13000
    },
    {
      "epoch": 0.26632653061224487,
      "grad_norm": 0.1754911243915558,
      "learning_rate": 0.00014980833333333335,
      "loss": 0.21639692306518554,
      "step": 13050
    },
    {
      "epoch": 0.2673469387755102,
      "grad_norm": 0.20869971811771393,
      "learning_rate": 0.0001496,
      "loss": 0.22688184738159178,
      "step": 13100
    },
    {
      "epoch": 0.2683673469387755,
      "grad_norm": 0.2710501253604889,
      "learning_rate": 0.00014939166666666666,
      "loss": 0.20403726577758788,
      "step": 13150
    },
    {
      "epoch": 0.2693877551020408,
      "grad_norm": 0.20377513766288757,
      "learning_rate": 0.00014918333333333335,
      "loss": 0.21639616012573243,
      "step": 13200
    },
    {
      "epoch": 0.27040816326530615,
      "grad_norm": 0.20667989552021027,
      "learning_rate": 0.000148975,
      "loss": 0.20512529373168945,
      "step": 13250
    },
    {
      "epoch": 0.2714285714285714,
      "grad_norm": 0.31901517510414124,
      "learning_rate": 0.0001487666666666667,
      "loss": 0.20101198196411132,
      "step": 13300
    },
    {
      "epoch": 0.2724489795918367,
      "grad_norm": 0.3628154993057251,
      "learning_rate": 0.00014855833333333334,
      "loss": 0.1903107452392578,
      "step": 13350
    },
    {
      "epoch": 0.27346938775510204,
      "grad_norm": 0.20295929908752441,
      "learning_rate": 0.00014835,
      "loss": 0.22166210174560547,
      "step": 13400
    },
    {
      "epoch": 0.27448979591836736,
      "grad_norm": 0.19172048568725586,
      "learning_rate": 0.00014814166666666666,
      "loss": 0.20491140365600585,
      "step": 13450
    },
    {
      "epoch": 0.2755102040816326,
      "grad_norm": 0.22426478564739227,
      "learning_rate": 0.00014793333333333334,
      "loss": 0.2474876594543457,
      "step": 13500
    },
    {
      "epoch": 0.27653061224489794,
      "grad_norm": 0.15273892879486084,
      "learning_rate": 0.000147725,
      "loss": 0.21244457244873047,
      "step": 13550
    },
    {
      "epoch": 0.27755102040816326,
      "grad_norm": 0.12474813312292099,
      "learning_rate": 0.00014751666666666668,
      "loss": 0.1948986053466797,
      "step": 13600
    },
    {
      "epoch": 0.2785714285714286,
      "grad_norm": 0.1677834391593933,
      "learning_rate": 0.00014730833333333334,
      "loss": 0.21693151473999023,
      "step": 13650
    },
    {
      "epoch": 0.2795918367346939,
      "grad_norm": 0.1882069855928421,
      "learning_rate": 0.00014710000000000002,
      "loss": 0.22328054428100585,
      "step": 13700
    },
    {
      "epoch": 0.28061224489795916,
      "grad_norm": 0.21768781542778015,
      "learning_rate": 0.00014689166666666668,
      "loss": 0.24165786743164064,
      "step": 13750
    },
    {
      "epoch": 0.2816326530612245,
      "grad_norm": 0.1738264113664627,
      "learning_rate": 0.00014668333333333334,
      "loss": 0.22251943588256837,
      "step": 13800
    },
    {
      "epoch": 0.2826530612244898,
      "grad_norm": 0.15541969239711761,
      "learning_rate": 0.000146475,
      "loss": 0.21156435012817382,
      "step": 13850
    },
    {
      "epoch": 0.2836734693877551,
      "grad_norm": 0.26248255372047424,
      "learning_rate": 0.00014626666666666665,
      "loss": 0.21172939300537108,
      "step": 13900
    },
    {
      "epoch": 0.28469387755102044,
      "grad_norm": 0.1985601931810379,
      "learning_rate": 0.00014605833333333334,
      "loss": 0.2555007553100586,
      "step": 13950
    },
    {
      "epoch": 0.2857142857142857,
      "grad_norm": 0.16674289107322693,
      "learning_rate": 0.00014585,
      "loss": 0.22686000823974609,
      "step": 14000
    },
    {
      "epoch": 0.286734693877551,
      "grad_norm": 0.08805567771196365,
      "learning_rate": 0.00014564166666666668,
      "loss": 0.1840823173522949,
      "step": 14050
    },
    {
      "epoch": 0.28775510204081634,
      "grad_norm": 0.14864468574523926,
      "learning_rate": 0.00014543333333333334,
      "loss": 0.20063446044921876,
      "step": 14100
    },
    {
      "epoch": 0.28877551020408165,
      "grad_norm": 0.16803936660289764,
      "learning_rate": 0.00014522500000000002,
      "loss": 0.17357282638549804,
      "step": 14150
    },
    {
      "epoch": 0.2897959183673469,
      "grad_norm": 0.17610159516334534,
      "learning_rate": 0.00014501666666666668,
      "loss": 0.2013835906982422,
      "step": 14200
    },
    {
      "epoch": 0.29081632653061223,
      "grad_norm": 0.13486459851264954,
      "learning_rate": 0.00014480833333333333,
      "loss": 0.19870820999145508,
      "step": 14250
    },
    {
      "epoch": 0.29183673469387755,
      "grad_norm": 0.17316874861717224,
      "learning_rate": 0.0001446,
      "loss": 0.2167327308654785,
      "step": 14300
    },
    {
      "epoch": 0.29285714285714287,
      "grad_norm": 0.1329314410686493,
      "learning_rate": 0.00014439166666666668,
      "loss": 0.20319538116455077,
      "step": 14350
    },
    {
      "epoch": 0.2938775510204082,
      "grad_norm": 0.12000191956758499,
      "learning_rate": 0.00014418333333333333,
      "loss": 0.12253636360168457,
      "step": 14400
    },
    {
      "epoch": 0.29489795918367345,
      "grad_norm": 0.17667782306671143,
      "learning_rate": 0.00014397500000000002,
      "loss": 0.18405498504638673,
      "step": 14450
    },
    {
      "epoch": 0.29591836734693877,
      "grad_norm": 0.18920040130615234,
      "learning_rate": 0.00014376666666666667,
      "loss": 0.21451929092407226,
      "step": 14500
    },
    {
      "epoch": 0.2969387755102041,
      "grad_norm": 0.21450640261173248,
      "learning_rate": 0.00014355833333333336,
      "loss": 0.21518003463745117,
      "step": 14550
    },
    {
      "epoch": 0.2979591836734694,
      "grad_norm": 0.1683834046125412,
      "learning_rate": 0.00014335000000000001,
      "loss": 0.20549680709838866,
      "step": 14600
    },
    {
      "epoch": 0.29897959183673467,
      "grad_norm": 0.14073589444160461,
      "learning_rate": 0.00014314166666666667,
      "loss": 0.17846385955810548,
      "step": 14650
    },
    {
      "epoch": 0.3,
      "grad_norm": 0.12049887329339981,
      "learning_rate": 0.00014293333333333333,
      "loss": 0.14772893905639647,
      "step": 14700
    },
    {
      "epoch": 0.3010204081632653,
      "grad_norm": 0.1303739845752716,
      "learning_rate": 0.00014272499999999999,
      "loss": 0.12617334365844726,
      "step": 14750
    },
    {
      "epoch": 0.3020408163265306,
      "grad_norm": 0.13680632412433624,
      "learning_rate": 0.00014251666666666667,
      "loss": 0.21211812973022462,
      "step": 14800
    },
    {
      "epoch": 0.30306122448979594,
      "grad_norm": 0.19090735912322998,
      "learning_rate": 0.00014230833333333333,
      "loss": 0.1917464828491211,
      "step": 14850
    },
    {
      "epoch": 0.3040816326530612,
      "grad_norm": 0.15105141699314117,
      "learning_rate": 0.0001421,
      "loss": 0.1993863868713379,
      "step": 14900
    },
    {
      "epoch": 0.3051020408163265,
      "grad_norm": 0.177749902009964,
      "learning_rate": 0.00014189166666666667,
      "loss": 0.20117059707641602,
      "step": 14950
    },
    {
      "epoch": 0.30612244897959184,
      "grad_norm": 0.20181018114089966,
      "learning_rate": 0.00014168333333333335,
      "loss": 0.18704294204711913,
      "step": 15000
    },
    {
      "epoch": 0.30714285714285716,
      "grad_norm": 0.19316235184669495,
      "learning_rate": 0.000141475,
      "loss": 0.2391501235961914,
      "step": 15050
    },
    {
      "epoch": 0.3081632653061224,
      "grad_norm": 0.24478937685489655,
      "learning_rate": 0.00014126666666666667,
      "loss": 0.2043419075012207,
      "step": 15100
    },
    {
      "epoch": 0.30918367346938774,
      "grad_norm": 0.21967218816280365,
      "learning_rate": 0.00014105833333333332,
      "loss": 0.22933086395263672,
      "step": 15150
    },
    {
      "epoch": 0.31020408163265306,
      "grad_norm": 0.16746099293231964,
      "learning_rate": 0.00014085416666666668,
      "loss": 0.21231243133544922,
      "step": 15200
    },
    {
      "epoch": 0.3112244897959184,
      "grad_norm": 0.18917246162891388,
      "learning_rate": 0.00014064583333333333,
      "loss": 0.22859695434570312,
      "step": 15250
    },
    {
      "epoch": 0.3122448979591837,
      "grad_norm": 0.2702839970588684,
      "learning_rate": 0.0001404375,
      "loss": 0.19720211029052734,
      "step": 15300
    },
    {
      "epoch": 0.31326530612244896,
      "grad_norm": 0.1158054769039154,
      "learning_rate": 0.00014022916666666668,
      "loss": 0.19617162704467772,
      "step": 15350
    },
    {
      "epoch": 0.3142857142857143,
      "grad_norm": 0.22025619447231293,
      "learning_rate": 0.00014002083333333333,
      "loss": 0.20038124084472655,
      "step": 15400
    },
    {
      "epoch": 0.3153061224489796,
      "grad_norm": 0.16724291443824768,
      "learning_rate": 0.00013981250000000002,
      "loss": 0.20154199600219727,
      "step": 15450
    },
    {
      "epoch": 0.3163265306122449,
      "grad_norm": 0.2141387015581131,
      "learning_rate": 0.00013960416666666667,
      "loss": 0.2146558380126953,
      "step": 15500
    },
    {
      "epoch": 0.3173469387755102,
      "grad_norm": 0.13922351598739624,
      "learning_rate": 0.00013939583333333336,
      "loss": 0.15184280395507813,
      "step": 15550
    },
    {
      "epoch": 0.3183673469387755,
      "grad_norm": 0.11073990911245346,
      "learning_rate": 0.00013918750000000002,
      "loss": 0.11846443176269532,
      "step": 15600
    },
    {
      "epoch": 0.3193877551020408,
      "grad_norm": 0.2762114405632019,
      "learning_rate": 0.00013897916666666667,
      "loss": 0.1905454635620117,
      "step": 15650
    },
    {
      "epoch": 0.32040816326530613,
      "grad_norm": 0.22723205387592316,
      "learning_rate": 0.00013877083333333333,
      "loss": 0.19393016815185546,
      "step": 15700
    },
    {
      "epoch": 0.32142857142857145,
      "grad_norm": 0.24777233600616455,
      "learning_rate": 0.00013856250000000001,
      "loss": 0.20483108520507812,
      "step": 15750
    },
    {
      "epoch": 0.3224489795918367,
      "grad_norm": 0.17726479470729828,
      "learning_rate": 0.00013835416666666667,
      "loss": 0.22141836166381837,
      "step": 15800
    },
    {
      "epoch": 0.32346938775510203,
      "grad_norm": 0.20626652240753174,
      "learning_rate": 0.00013814583333333333,
      "loss": 0.22326576232910156,
      "step": 15850
    },
    {
      "epoch": 0.32448979591836735,
      "grad_norm": 0.15777790546417236,
      "learning_rate": 0.0001379375,
      "loss": 0.2150650978088379,
      "step": 15900
    },
    {
      "epoch": 0.32551020408163267,
      "grad_norm": 0.15837018191814423,
      "learning_rate": 0.00013772916666666667,
      "loss": 0.13302292823791503,
      "step": 15950
    },
    {
      "epoch": 0.32653061224489793,
      "grad_norm": 0.12448123842477798,
      "learning_rate": 0.00013752083333333335,
      "loss": 0.1244437599182129,
      "step": 16000
    },
    {
      "epoch": 0.32755102040816325,
      "grad_norm": 0.21877269446849823,
      "learning_rate": 0.0001373125,
      "loss": 0.19579626083374024,
      "step": 16050
    },
    {
      "epoch": 0.32857142857142857,
      "grad_norm": 0.14148931205272675,
      "learning_rate": 0.00013710416666666667,
      "loss": 0.20735546112060546,
      "step": 16100
    },
    {
      "epoch": 0.3295918367346939,
      "grad_norm": 0.17035670578479767,
      "learning_rate": 0.00013689583333333332,
      "loss": 0.1896759605407715,
      "step": 16150
    },
    {
      "epoch": 0.3306122448979592,
      "grad_norm": 0.12121950089931488,
      "learning_rate": 0.0001366875,
      "loss": 0.1927642822265625,
      "step": 16200
    },
    {
      "epoch": 0.33163265306122447,
      "grad_norm": 0.25413230061531067,
      "learning_rate": 0.00013647916666666667,
      "loss": 0.19843025207519532,
      "step": 16250
    },
    {
      "epoch": 0.3326530612244898,
      "grad_norm": 0.08759265393018723,
      "learning_rate": 0.00013627083333333335,
      "loss": 0.18141515731811522,
      "step": 16300
    },
    {
      "epoch": 0.3336734693877551,
      "grad_norm": 0.18287113308906555,
      "learning_rate": 0.0001360625,
      "loss": 0.22243984222412108,
      "step": 16350
    },
    {
      "epoch": 0.3346938775510204,
      "grad_norm": 0.2288346141576767,
      "learning_rate": 0.0001358541666666667,
      "loss": 0.2296261215209961,
      "step": 16400
    },
    {
      "epoch": 0.3357142857142857,
      "grad_norm": 0.19713585078716278,
      "learning_rate": 0.00013564583333333335,
      "loss": 0.2095242691040039,
      "step": 16450
    },
    {
      "epoch": 0.336734693877551,
      "grad_norm": 0.08195829391479492,
      "learning_rate": 0.0001354375,
      "loss": 0.19855600357055664,
      "step": 16500
    },
    {
      "epoch": 0.3377551020408163,
      "grad_norm": 0.14508482813835144,
      "learning_rate": 0.00013522916666666666,
      "loss": 0.19972381591796876,
      "step": 16550
    },
    {
      "epoch": 0.33877551020408164,
      "grad_norm": 0.10825417190790176,
      "learning_rate": 0.00013502083333333332,
      "loss": 0.17222192764282226,
      "step": 16600
    },
    {
      "epoch": 0.33979591836734696,
      "grad_norm": 0.13268212974071503,
      "learning_rate": 0.0001348125,
      "loss": 0.12606014251708986,
      "step": 16650
    },
    {
      "epoch": 0.3408163265306122,
      "grad_norm": 0.1764751672744751,
      "learning_rate": 0.00013460416666666666,
      "loss": 0.183403377532959,
      "step": 16700
    },
    {
      "epoch": 0.34183673469387754,
      "grad_norm": 0.21741646528244019,
      "learning_rate": 0.00013439583333333335,
      "loss": 0.19946996688842775,
      "step": 16750
    },
    {
      "epoch": 0.34285714285714286,
      "grad_norm": 0.16558875143527985,
      "learning_rate": 0.0001341875,
      "loss": 0.21058109283447266,
      "step": 16800
    },
    {
      "epoch": 0.3438775510204082,
      "grad_norm": 0.27157577872276306,
      "learning_rate": 0.0001339791666666667,
      "loss": 0.19955120086669922,
      "step": 16850
    },
    {
      "epoch": 0.3448979591836735,
      "grad_norm": 0.2037670761346817,
      "learning_rate": 0.00013377083333333334,
      "loss": 0.1966884994506836,
      "step": 16900
    },
    {
      "epoch": 0.34591836734693876,
      "grad_norm": 0.23232632875442505,
      "learning_rate": 0.0001335625,
      "loss": 0.20686569213867187,
      "step": 16950
    },
    {
      "epoch": 0.3469387755102041,
      "grad_norm": 0.1624077707529068,
      "learning_rate": 0.00013335416666666666,
      "loss": 0.20075689315795897,
      "step": 17000
    },
    {
      "epoch": 0.3479591836734694,
      "grad_norm": 0.20937331020832062,
      "learning_rate": 0.00013314583333333334,
      "loss": 0.18493799209594727,
      "step": 17050
    },
    {
      "epoch": 0.3489795918367347,
      "grad_norm": 0.11835204064846039,
      "learning_rate": 0.0001329375,
      "loss": 0.19891904830932616,
      "step": 17100
    },
    {
      "epoch": 0.35,
      "grad_norm": 0.13524866104125977,
      "learning_rate": 0.00013272916666666668,
      "loss": 0.20436981201171875,
      "step": 17150
    },
    {
      "epoch": 0.3510204081632653,
      "grad_norm": 0.15755361318588257,
      "learning_rate": 0.00013252083333333334,
      "loss": 0.21048551559448242,
      "step": 17200
    },
    {
      "epoch": 0.3520408163265306,
      "grad_norm": 0.22293004393577576,
      "learning_rate": 0.00013231250000000002,
      "loss": 0.20778837203979492,
      "step": 17250
    },
    {
      "epoch": 0.35306122448979593,
      "grad_norm": 0.19373543560504913,
      "learning_rate": 0.00013210416666666668,
      "loss": 0.20396459579467774,
      "step": 17300
    },
    {
      "epoch": 0.35408163265306125,
      "grad_norm": 0.3679802119731903,
      "learning_rate": 0.00013189583333333334,
      "loss": 0.19777801513671875,
      "step": 17350
    },
    {
      "epoch": 0.3551020408163265,
      "grad_norm": 0.17816053330898285,
      "learning_rate": 0.0001316875,
      "loss": 0.176708927154541,
      "step": 17400
    },
    {
      "epoch": 0.35612244897959183,
      "grad_norm": 0.17044921219348907,
      "learning_rate": 0.00013147916666666665,
      "loss": 0.20279596328735353,
      "step": 17450
    },
    {
      "epoch": 0.35714285714285715,
      "grad_norm": 0.12418626993894577,
      "learning_rate": 0.00013127083333333334,
      "loss": 0.14005967140197753,
      "step": 17500
    },
    {
      "epoch": 0.35816326530612247,
      "grad_norm": 0.13893789052963257,
      "learning_rate": 0.0001310625,
      "loss": 0.12252273559570312,
      "step": 17550
    },
    {
      "epoch": 0.35918367346938773,
      "grad_norm": 0.12449125945568085,
      "learning_rate": 0.00013085416666666668,
      "loss": 0.1294875717163086,
      "step": 17600
    },
    {
      "epoch": 0.36020408163265305,
      "grad_norm": 0.11940774321556091,
      "learning_rate": 0.00013064583333333334,
      "loss": 0.21808555603027344,
      "step": 17650
    },
    {
      "epoch": 0.36122448979591837,
      "grad_norm": 0.16444045305252075,
      "learning_rate": 0.00013043750000000002,
      "loss": 0.18556377410888672,
      "step": 17700
    },
    {
      "epoch": 0.3622448979591837,
      "grad_norm": 0.17309384047985077,
      "learning_rate": 0.00013022916666666668,
      "loss": 0.20985712051391603,
      "step": 17750
    },
    {
      "epoch": 0.363265306122449,
      "grad_norm": 0.19860877096652985,
      "learning_rate": 0.00013002083333333333,
      "loss": 0.19437423706054688,
      "step": 17800
    },
    {
      "epoch": 0.36428571428571427,
      "grad_norm": 0.18023747205734253,
      "learning_rate": 0.0001298125,
      "loss": 0.1935722541809082,
      "step": 17850
    },
    {
      "epoch": 0.3653061224489796,
      "grad_norm": 0.18868409097194672,
      "learning_rate": 0.00012960416666666668,
      "loss": 0.2154340934753418,
      "step": 17900
    },
    {
      "epoch": 0.3663265306122449,
      "grad_norm": 0.19930492341518402,
      "learning_rate": 0.00012939583333333333,
      "loss": 0.19957744598388671,
      "step": 17950
    },
    {
      "epoch": 0.3673469387755102,
      "grad_norm": 0.18167056143283844,
      "learning_rate": 0.00012918750000000002,
      "loss": 0.15686763763427736,
      "step": 18000
    },
    {
      "epoch": 0.3683673469387755,
      "grad_norm": 0.2629138231277466,
      "learning_rate": 0.00012897916666666667,
      "loss": 0.22448341369628907,
      "step": 18050
    },
    {
      "epoch": 0.3693877551020408,
      "grad_norm": 0.20073753595352173,
      "learning_rate": 0.00012877083333333333,
      "loss": 0.2116405487060547,
      "step": 18100
    },
    {
      "epoch": 0.3704081632653061,
      "grad_norm": 0.2358439415693283,
      "learning_rate": 0.00012856250000000001,
      "loss": 0.2034568214416504,
      "step": 18150
    },
    {
      "epoch": 0.37142857142857144,
      "grad_norm": 0.1448625773191452,
      "learning_rate": 0.00012835416666666667,
      "loss": 0.20943548202514647,
      "step": 18200
    },
    {
      "epoch": 0.37244897959183676,
      "grad_norm": 0.39532026648521423,
      "learning_rate": 0.00012814583333333336,
      "loss": 0.2011641502380371,
      "step": 18250
    },
    {
      "epoch": 0.373469387755102,
      "grad_norm": 0.12298086285591125,
      "learning_rate": 0.00012793749999999999,
      "loss": 0.1635613250732422,
      "step": 18300
    },
    {
      "epoch": 0.37448979591836734,
      "grad_norm": 0.16486021876335144,
      "learning_rate": 0.00012772916666666667,
      "loss": 0.19621923446655273,
      "step": 18350
    },
    {
      "epoch": 0.37551020408163266,
      "grad_norm": 0.20563790202140808,
      "learning_rate": 0.00012752083333333333,
      "loss": 0.25450227737426756,
      "step": 18400
    },
    {
      "epoch": 0.376530612244898,
      "grad_norm": 0.14039361476898193,
      "learning_rate": 0.0001273125,
      "loss": 0.20071006774902345,
      "step": 18450
    },
    {
      "epoch": 0.37755102040816324,
      "grad_norm": 0.12278524041175842,
      "learning_rate": 0.00012710416666666667,
      "loss": 0.1823217010498047,
      "step": 18500
    },
    {
      "epoch": 0.37857142857142856,
      "grad_norm": 0.17723079025745392,
      "learning_rate": 0.00012689583333333335,
      "loss": 0.18245498657226564,
      "step": 18550
    },
    {
      "epoch": 0.3795918367346939,
      "grad_norm": 0.14125439524650574,
      "learning_rate": 0.0001266875,
      "loss": 0.22428083419799805,
      "step": 18600
    },
    {
      "epoch": 0.3806122448979592,
      "grad_norm": 0.13816727697849274,
      "learning_rate": 0.0001264791666666667,
      "loss": 0.1764548873901367,
      "step": 18650
    },
    {
      "epoch": 0.3816326530612245,
      "grad_norm": 0.2603978216648102,
      "learning_rate": 0.00012627083333333335,
      "loss": 0.20926473617553712,
      "step": 18700
    },
    {
      "epoch": 0.3826530612244898,
      "grad_norm": 0.2258712649345398,
      "learning_rate": 0.0001260625,
      "loss": 0.19603876113891602,
      "step": 18750
    },
    {
      "epoch": 0.3836734693877551,
      "grad_norm": 0.27304700016975403,
      "learning_rate": 0.00012585416666666667,
      "loss": 0.22457117080688477,
      "step": 18800
    },
    {
      "epoch": 0.3846938775510204,
      "grad_norm": 0.21007055044174194,
      "learning_rate": 0.00012564583333333332,
      "loss": 0.1995391082763672,
      "step": 18850
    },
    {
      "epoch": 0.38571428571428573,
      "grad_norm": 0.18496140837669373,
      "learning_rate": 0.0001254375,
      "loss": 0.18473093032836915,
      "step": 18900
    },
    {
      "epoch": 0.386734693877551,
      "grad_norm": 0.13952362537384033,
      "learning_rate": 0.00012522916666666666,
      "loss": 0.22313592910766603,
      "step": 18950
    },
    {
      "epoch": 0.3877551020408163,
      "grad_norm": 0.31036996841430664,
      "learning_rate": 0.00012502083333333335,
      "loss": 0.20665483474731444,
      "step": 19000
    },
    {
      "epoch": 0.38877551020408163,
      "grad_norm": 0.19020035862922668,
      "learning_rate": 0.0001248125,
      "loss": 0.22109838485717773,
      "step": 19050
    },
    {
      "epoch": 0.38979591836734695,
      "grad_norm": 0.22469305992126465,
      "learning_rate": 0.0001246041666666667,
      "loss": 0.21268951416015625,
      "step": 19100
    },
    {
      "epoch": 0.39081632653061227,
      "grad_norm": 0.17466503381729126,
      "learning_rate": 0.00012439583333333335,
      "loss": 0.20178163528442383,
      "step": 19150
    },
    {
      "epoch": 0.39183673469387753,
      "grad_norm": 0.14300084114074707,
      "learning_rate": 0.0001241875,
      "loss": 0.24622438430786134,
      "step": 19200
    },
    {
      "epoch": 0.39285714285714285,
      "grad_norm": 0.1847544014453888,
      "learning_rate": 0.00012397916666666666,
      "loss": 0.2195741081237793,
      "step": 19250
    },
    {
      "epoch": 0.39387755102040817,
      "grad_norm": 0.09982876479625702,
      "learning_rate": 0.00012377083333333334,
      "loss": 0.204034481048584,
      "step": 19300
    },
    {
      "epoch": 0.3948979591836735,
      "grad_norm": 0.18855072557926178,
      "learning_rate": 0.0001235625,
      "loss": 0.18522701263427735,
      "step": 19350
    },
    {
      "epoch": 0.39591836734693875,
      "grad_norm": 0.13189591467380524,
      "learning_rate": 0.00012335416666666669,
      "loss": 0.18743988037109374,
      "step": 19400
    },
    {
      "epoch": 0.39693877551020407,
      "grad_norm": 0.09443347156047821,
      "learning_rate": 0.00012314583333333334,
      "loss": 0.18457218170166015,
      "step": 19450
    },
    {
      "epoch": 0.3979591836734694,
      "grad_norm": 0.13609136641025543,
      "learning_rate": 0.00012293750000000003,
      "loss": 0.1992996597290039,
      "step": 19500
    },
    {
      "epoch": 0.3989795918367347,
      "grad_norm": 0.1060328483581543,
      "learning_rate": 0.00012272916666666668,
      "loss": 0.18354759216308594,
      "step": 19550
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.1333695501089096,
      "learning_rate": 0.00012252083333333334,
      "loss": 0.19399749755859375,
      "step": 19600
    },
    {
      "epoch": 0.4010204081632653,
      "grad_norm": 0.1901199072599411,
      "learning_rate": 0.0001223125,
      "loss": 0.2290254592895508,
      "step": 19650
    },
    {
      "epoch": 0.4020408163265306,
      "grad_norm": 0.2177937775850296,
      "learning_rate": 0.00012210416666666666,
      "loss": 0.24125240325927735,
      "step": 19700
    },
    {
      "epoch": 0.4030612244897959,
      "grad_norm": 0.12752966582775116,
      "learning_rate": 0.00012189583333333334,
      "loss": 0.22714794158935547,
      "step": 19750
    },
    {
      "epoch": 0.40408163265306124,
      "grad_norm": 0.18761104345321655,
      "learning_rate": 0.0001216875,
      "loss": 0.18184953689575195,
      "step": 19800
    },
    {
      "epoch": 0.4051020408163265,
      "grad_norm": 0.127014622092247,
      "learning_rate": 0.00012147916666666668,
      "loss": 0.19482044219970704,
      "step": 19850
    },
    {
      "epoch": 0.4061224489795918,
      "grad_norm": 0.10520447790622711,
      "learning_rate": 0.00012127083333333334,
      "loss": 0.14860014915466307,
      "step": 19900
    },
    {
      "epoch": 0.40714285714285714,
      "grad_norm": 0.12470293045043945,
      "learning_rate": 0.00012106250000000001,
      "loss": 0.16204519271850587,
      "step": 19950
    },
    {
      "epoch": 0.40816326530612246,
      "grad_norm": 0.12424734234809875,
      "learning_rate": 0.00012085416666666667,
      "loss": 0.16527006149291992,
      "step": 20000
    },
    {
      "epoch": 0.4091836734693878,
      "grad_norm": 0.14997172355651855,
      "learning_rate": 0.00012064583333333335,
      "loss": 0.18037498474121094,
      "step": 20050
    },
    {
      "epoch": 0.41020408163265304,
      "grad_norm": 0.17725597321987152,
      "learning_rate": 0.00012043750000000001,
      "loss": 0.2216799736022949,
      "step": 20100
    },
    {
      "epoch": 0.41122448979591836,
      "grad_norm": 0.1883675903081894,
      "learning_rate": 0.00012022916666666668,
      "loss": 0.18260782241821288,
      "step": 20150
    },
    {
      "epoch": 0.4122448979591837,
      "grad_norm": 0.19166825711727142,
      "learning_rate": 0.00012002083333333333,
      "loss": 0.196572265625,
      "step": 20200
    },
    {
      "epoch": 0.413265306122449,
      "grad_norm": 0.13306336104869843,
      "learning_rate": 0.00011981250000000002,
      "loss": 0.16494216918945312,
      "step": 20250
    },
    {
      "epoch": 0.4142857142857143,
      "grad_norm": 0.22641228139400482,
      "learning_rate": 0.00011960416666666668,
      "loss": 0.20227954864501954,
      "step": 20300
    },
    {
      "epoch": 0.4153061224489796,
      "grad_norm": 0.16950534284114838,
      "learning_rate": 0.00011939583333333333,
      "loss": 0.24698841094970703,
      "step": 20350
    },
    {
      "epoch": 0.4163265306122449,
      "grad_norm": 0.1433454155921936,
      "learning_rate": 0.0001191875,
      "loss": 0.2045128631591797,
      "step": 20400
    },
    {
      "epoch": 0.4173469387755102,
      "grad_norm": 0.1904461830854416,
      "learning_rate": 0.00011897916666666666,
      "loss": 0.1645878028869629,
      "step": 20450
    },
    {
      "epoch": 0.41836734693877553,
      "grad_norm": 0.227298766374588,
      "learning_rate": 0.00011877083333333334,
      "loss": 0.16797447204589844,
      "step": 20500
    },
    {
      "epoch": 0.4193877551020408,
      "grad_norm": 0.16995885968208313,
      "learning_rate": 0.0001185625,
      "loss": 0.193846435546875,
      "step": 20550
    },
    {
      "epoch": 0.4204081632653061,
      "grad_norm": 0.14499473571777344,
      "learning_rate": 0.00011835416666666667,
      "loss": 0.18684532165527343,
      "step": 20600
    },
    {
      "epoch": 0.42142857142857143,
      "grad_norm": 0.1715216338634491,
      "learning_rate": 0.00011814583333333333,
      "loss": 0.18035064697265624,
      "step": 20650
    },
    {
      "epoch": 0.42244897959183675,
      "grad_norm": 0.14939017593860626,
      "learning_rate": 0.00011793750000000001,
      "loss": 0.1902223014831543,
      "step": 20700
    },
    {
      "epoch": 0.42346938775510207,
      "grad_norm": 0.10494500398635864,
      "learning_rate": 0.00011772916666666667,
      "loss": 0.121597900390625,
      "step": 20750
    },
    {
      "epoch": 0.42448979591836733,
      "grad_norm": 0.1562127023935318,
      "learning_rate": 0.00011752083333333334,
      "loss": 0.17706047058105467,
      "step": 20800
    },
    {
      "epoch": 0.42551020408163265,
      "grad_norm": 0.14377187192440033,
      "learning_rate": 0.0001173125,
      "loss": 0.17805103302001954,
      "step": 20850
    },
    {
      "epoch": 0.42653061224489797,
      "grad_norm": 0.12476065754890442,
      "learning_rate": 0.00011710416666666668,
      "loss": 0.18395469665527345,
      "step": 20900
    },
    {
      "epoch": 0.4275510204081633,
      "grad_norm": 0.14680302143096924,
      "learning_rate": 0.00011689583333333334,
      "loss": 0.14980695724487306,
      "step": 20950
    },
    {
      "epoch": 0.42857142857142855,
      "grad_norm": 0.44721558690071106,
      "learning_rate": 0.00011668750000000001,
      "loss": 0.18807683944702147,
      "step": 21000
    },
    {
      "epoch": 0.42959183673469387,
      "grad_norm": 0.1630980372428894,
      "learning_rate": 0.00011647916666666667,
      "loss": 0.16178571701049804,
      "step": 21050
    },
    {
      "epoch": 0.4306122448979592,
      "grad_norm": 0.18277651071548462,
      "learning_rate": 0.00011627083333333332,
      "loss": 0.19975339889526367,
      "step": 21100
    },
    {
      "epoch": 0.4316326530612245,
      "grad_norm": 0.14588306844234467,
      "learning_rate": 0.00011606250000000001,
      "loss": 0.2004733657836914,
      "step": 21150
    },
    {
      "epoch": 0.4326530612244898,
      "grad_norm": 0.30171841382980347,
      "learning_rate": 0.00011585416666666667,
      "loss": 0.21247049331665038,
      "step": 21200
    },
    {
      "epoch": 0.4336734693877551,
      "grad_norm": 0.21481254696846008,
      "learning_rate": 0.00011564583333333334,
      "loss": 0.163582706451416,
      "step": 21250
    },
    {
      "epoch": 0.4346938775510204,
      "grad_norm": 0.21892467141151428,
      "learning_rate": 0.0001154375,
      "loss": 0.17682687759399415,
      "step": 21300
    },
    {
      "epoch": 0.4357142857142857,
      "grad_norm": 0.3684554100036621,
      "learning_rate": 0.00011522916666666668,
      "loss": 0.21702127456665038,
      "step": 21350
    },
    {
      "epoch": 0.43673469387755104,
      "grad_norm": 0.1822352409362793,
      "learning_rate": 0.00011502083333333334,
      "loss": 0.20249832153320313,
      "step": 21400
    },
    {
      "epoch": 0.4377551020408163,
      "grad_norm": 0.14486338198184967,
      "learning_rate": 0.0001148125,
      "loss": 0.16668758392333985,
      "step": 21450
    },
    {
      "epoch": 0.4387755102040816,
      "grad_norm": 0.12427511811256409,
      "learning_rate": 0.00011460416666666666,
      "loss": 0.22259849548339844,
      "step": 21500
    },
    {
      "epoch": 0.43979591836734694,
      "grad_norm": 0.12884387373924255,
      "learning_rate": 0.00011439583333333335,
      "loss": 0.19325353622436522,
      "step": 21550
    },
    {
      "epoch": 0.44081632653061226,
      "grad_norm": 0.19641028344631195,
      "learning_rate": 0.0001141875,
      "loss": 0.18497804641723634,
      "step": 21600
    },
    {
      "epoch": 0.4418367346938776,
      "grad_norm": 0.1729995608329773,
      "learning_rate": 0.00011397916666666667,
      "loss": 0.18649446487426757,
      "step": 21650
    },
    {
      "epoch": 0.44285714285714284,
      "grad_norm": 0.15542583167552948,
      "learning_rate": 0.00011377083333333333,
      "loss": 0.18261802673339844,
      "step": 21700
    },
    {
      "epoch": 0.44387755102040816,
      "grad_norm": 0.2611772119998932,
      "learning_rate": 0.00011356250000000002,
      "loss": 0.2124016761779785,
      "step": 21750
    },
    {
      "epoch": 0.4448979591836735,
      "grad_norm": 0.18791942298412323,
      "learning_rate": 0.00011335416666666667,
      "loss": 0.18935688018798827,
      "step": 21800
    },
    {
      "epoch": 0.4459183673469388,
      "grad_norm": 0.13250787556171417,
      "learning_rate": 0.00011314583333333333,
      "loss": 0.20374603271484376,
      "step": 21850
    },
    {
      "epoch": 0.44693877551020406,
      "grad_norm": 0.3324398398399353,
      "learning_rate": 0.0001129375,
      "loss": 0.20623138427734375,
      "step": 21900
    },
    {
      "epoch": 0.4479591836734694,
      "grad_norm": 0.1987542361021042,
      "learning_rate": 0.00011272916666666666,
      "loss": 0.1954686737060547,
      "step": 21950
    },
    {
      "epoch": 0.4489795918367347,
      "grad_norm": 0.10962691158056259,
      "learning_rate": 0.00011252083333333334,
      "loss": 0.16852352142333984,
      "step": 22000
    },
    {
      "epoch": 0.45,
      "grad_norm": 0.1651119887828827,
      "learning_rate": 0.0001123125,
      "loss": 0.1804306411743164,
      "step": 22050
    },
    {
      "epoch": 0.45102040816326533,
      "grad_norm": 0.135285884141922,
      "learning_rate": 0.00011210416666666668,
      "loss": 0.1708018112182617,
      "step": 22100
    },
    {
      "epoch": 0.4520408163265306,
      "grad_norm": 0.16042831540107727,
      "learning_rate": 0.00011189583333333333,
      "loss": 0.20246376037597658,
      "step": 22150
    },
    {
      "epoch": 0.4530612244897959,
      "grad_norm": 0.1572142094373703,
      "learning_rate": 0.00011168750000000001,
      "loss": 0.20286598205566406,
      "step": 22200
    },
    {
      "epoch": 0.45408163265306123,
      "grad_norm": 0.23938754200935364,
      "learning_rate": 0.00011147916666666667,
      "loss": 0.19506494522094728,
      "step": 22250
    },
    {
      "epoch": 0.45510204081632655,
      "grad_norm": 0.09990780800580978,
      "learning_rate": 0.00011127083333333335,
      "loss": 0.18617202758789062,
      "step": 22300
    },
    {
      "epoch": 0.4561224489795918,
      "grad_norm": 0.1848301887512207,
      "learning_rate": 0.00011106250000000001,
      "loss": 0.17628313064575196,
      "step": 22350
    },
    {
      "epoch": 0.45714285714285713,
      "grad_norm": 0.10634121298789978,
      "learning_rate": 0.00011085416666666668,
      "loss": 0.20597057342529296,
      "step": 22400
    },
    {
      "epoch": 0.45816326530612245,
      "grad_norm": 0.15891435742378235,
      "learning_rate": 0.00011064583333333334,
      "loss": 0.18053476333618165,
      "step": 22450
    },
    {
      "epoch": 0.45918367346938777,
      "grad_norm": 0.13435883820056915,
      "learning_rate": 0.00011043750000000002,
      "loss": 0.17978906631469727,
      "step": 22500
    },
    {
      "epoch": 0.4602040816326531,
      "grad_norm": 0.13572899997234344,
      "learning_rate": 0.00011022916666666668,
      "loss": 0.18978822708129883,
      "step": 22550
    },
    {
      "epoch": 0.46122448979591835,
      "grad_norm": 0.17398372292518616,
      "learning_rate": 0.00011002083333333332,
      "loss": 0.2147346878051758,
      "step": 22600
    },
    {
      "epoch": 0.46224489795918366,
      "grad_norm": 0.17112791538238525,
      "learning_rate": 0.0001098125,
      "loss": 0.17975505828857422,
      "step": 22650
    },
    {
      "epoch": 0.463265306122449,
      "grad_norm": 0.19042028486728668,
      "learning_rate": 0.00010960416666666666,
      "loss": 0.1823933219909668,
      "step": 22700
    },
    {
      "epoch": 0.4642857142857143,
      "grad_norm": 0.24797481298446655,
      "learning_rate": 0.00010939583333333335,
      "loss": 0.21492622375488282,
      "step": 22750
    },
    {
      "epoch": 0.46530612244897956,
      "grad_norm": 0.3532654643058777,
      "learning_rate": 0.0001091875,
      "loss": 0.18178869247436524,
      "step": 22800
    },
    {
      "epoch": 0.4663265306122449,
      "grad_norm": 0.11487548053264618,
      "learning_rate": 0.00010897916666666668,
      "loss": 0.2208608627319336,
      "step": 22850
    },
    {
      "epoch": 0.4673469387755102,
      "grad_norm": 0.15501990914344788,
      "learning_rate": 0.00010877083333333333,
      "loss": 0.17604400634765624,
      "step": 22900
    },
    {
      "epoch": 0.4683673469387755,
      "grad_norm": 0.1941416710615158,
      "learning_rate": 0.00010856250000000002,
      "loss": 0.18979434967041015,
      "step": 22950
    },
    {
      "epoch": 0.46938775510204084,
      "grad_norm": 0.20254535973072052,
      "learning_rate": 0.00010835416666666667,
      "loss": 0.19501394271850586,
      "step": 23000
    },
    {
      "epoch": 0.4704081632653061,
      "grad_norm": 0.1467224657535553,
      "learning_rate": 0.00010814583333333334,
      "loss": 0.18560121536254884,
      "step": 23050
    },
    {
      "epoch": 0.4714285714285714,
      "grad_norm": 0.1789759397506714,
      "learning_rate": 0.0001079375,
      "loss": 0.20693172454833986,
      "step": 23100
    },
    {
      "epoch": 0.47244897959183674,
      "grad_norm": 0.17060811817646027,
      "learning_rate": 0.00010772916666666669,
      "loss": 0.24144332885742187,
      "step": 23150
    },
    {
      "epoch": 0.47346938775510206,
      "grad_norm": 0.13840524852275848,
      "learning_rate": 0.00010752500000000001,
      "loss": 0.22703798294067382,
      "step": 23200
    },
    {
      "epoch": 0.4744897959183674,
      "grad_norm": 0.22518107295036316,
      "learning_rate": 0.00010731666666666667,
      "loss": 0.18032278060913087,
      "step": 23250
    },
    {
      "epoch": 0.47551020408163264,
      "grad_norm": 0.14671215415000916,
      "learning_rate": 0.00010710833333333334,
      "loss": 0.19824394226074218,
      "step": 23300
    },
    {
      "epoch": 0.47653061224489796,
      "grad_norm": 0.15659059584140778,
      "learning_rate": 0.0001069,
      "loss": 0.1770372772216797,
      "step": 23350
    },
    {
      "epoch": 0.4775510204081633,
      "grad_norm": 0.29906657338142395,
      "learning_rate": 0.00010669166666666668,
      "loss": 0.16190267562866212,
      "step": 23400
    },
    {
      "epoch": 0.4785714285714286,
      "grad_norm": 0.1921195089817047,
      "learning_rate": 0.00010648333333333334,
      "loss": 0.1724691581726074,
      "step": 23450
    },
    {
      "epoch": 0.47959183673469385,
      "grad_norm": 0.22063606977462769,
      "learning_rate": 0.00010627500000000001,
      "loss": 0.18350271224975587,
      "step": 23500
    },
    {
      "epoch": 0.4806122448979592,
      "grad_norm": 0.1806723177433014,
      "learning_rate": 0.00010606666666666667,
      "loss": 0.23431238174438476,
      "step": 23550
    },
    {
      "epoch": 0.4816326530612245,
      "grad_norm": 0.14175860583782196,
      "learning_rate": 0.00010585833333333335,
      "loss": 0.1887098503112793,
      "step": 23600
    },
    {
      "epoch": 0.4826530612244898,
      "grad_norm": 0.2510957717895508,
      "learning_rate": 0.00010565,
      "loss": 0.18034719467163085,
      "step": 23650
    },
    {
      "epoch": 0.48367346938775513,
      "grad_norm": 0.2018708735704422,
      "learning_rate": 0.00010544166666666666,
      "loss": 0.18103116989135742,
      "step": 23700
    },
    {
      "epoch": 0.4846938775510204,
      "grad_norm": 0.15439936518669128,
      "learning_rate": 0.00010523333333333333,
      "loss": 0.14322800636291505,
      "step": 23750
    },
    {
      "epoch": 0.4857142857142857,
      "grad_norm": 0.15107983350753784,
      "learning_rate": 0.00010502499999999999,
      "loss": 0.19188661575317384,
      "step": 23800
    },
    {
      "epoch": 0.48673469387755103,
      "grad_norm": 0.16207917034626007,
      "learning_rate": 0.00010481666666666668,
      "loss": 0.1676897621154785,
      "step": 23850
    },
    {
      "epoch": 0.48775510204081635,
      "grad_norm": 0.17554081976413727,
      "learning_rate": 0.00010460833333333333,
      "loss": 0.1537460517883301,
      "step": 23900
    },
    {
      "epoch": 0.4887755102040816,
      "grad_norm": 0.18597754836082458,
      "learning_rate": 0.0001044,
      "loss": 0.16681880950927735,
      "step": 23950
    },
    {
      "epoch": 0.4897959183673469,
      "grad_norm": 0.15398620069026947,
      "learning_rate": 0.00010419166666666666,
      "loss": 0.19642560958862304,
      "step": 24000
    },
    {
      "epoch": 0.49081632653061225,
      "grad_norm": 0.2529297173023224,
      "learning_rate": 0.00010398333333333334,
      "loss": 0.19098554611206053,
      "step": 24050
    },
    {
      "epoch": 0.49183673469387756,
      "grad_norm": 0.1370229721069336,
      "learning_rate": 0.000103775,
      "loss": 0.18588760375976562,
      "step": 24100
    },
    {
      "epoch": 0.4928571428571429,
      "grad_norm": 0.16766472160816193,
      "learning_rate": 0.00010356666666666667,
      "loss": 0.20669187545776369,
      "step": 24150
    },
    {
      "epoch": 0.49387755102040815,
      "grad_norm": 0.1888003945350647,
      "learning_rate": 0.00010335833333333333,
      "loss": 0.1881814956665039,
      "step": 24200
    },
    {
      "epoch": 0.49489795918367346,
      "grad_norm": 0.15162178874015808,
      "learning_rate": 0.00010315000000000001,
      "loss": 0.19838417053222657,
      "step": 24250
    },
    {
      "epoch": 0.4959183673469388,
      "grad_norm": 0.12254944443702698,
      "learning_rate": 0.00010294166666666667,
      "loss": 0.20314399719238282,
      "step": 24300
    },
    {
      "epoch": 0.4969387755102041,
      "grad_norm": 0.21737927198410034,
      "learning_rate": 0.00010273333333333334,
      "loss": 0.20496267318725586,
      "step": 24350
    },
    {
      "epoch": 0.49795918367346936,
      "grad_norm": 0.17958377301692963,
      "learning_rate": 0.000102525,
      "loss": 0.17489883422851563,
      "step": 24400
    },
    {
      "epoch": 0.4989795918367347,
      "grad_norm": 0.13511185348033905,
      "learning_rate": 0.00010231666666666666,
      "loss": 0.17418720245361327,
      "step": 24450
    },
    {
      "epoch": 0.5,
      "grad_norm": 0.2787463665008545,
      "learning_rate": 0.00010210833333333334,
      "loss": 0.17176372528076173,
      "step": 24500
    },
    {
      "epoch": 0.5010204081632653,
      "grad_norm": 0.18124207854270935,
      "learning_rate": 0.0001019,
      "loss": 0.1850296974182129,
      "step": 24550
    },
    {
      "epoch": 0.5020408163265306,
      "grad_norm": 0.1749614179134369,
      "learning_rate": 0.00010169166666666667,
      "loss": 0.17426204681396484,
      "step": 24600
    },
    {
      "epoch": 0.503061224489796,
      "grad_norm": 0.16055095195770264,
      "learning_rate": 0.00010148333333333332,
      "loss": 0.21457443237304688,
      "step": 24650
    },
    {
      "epoch": 0.5040816326530613,
      "grad_norm": 0.25023123621940613,
      "learning_rate": 0.00010127500000000001,
      "loss": 0.2075656509399414,
      "step": 24700
    },
    {
      "epoch": 0.5051020408163265,
      "grad_norm": 0.2181357741355896,
      "learning_rate": 0.00010106666666666667,
      "loss": 0.17456653594970703,
      "step": 24750
    },
    {
      "epoch": 0.5061224489795918,
      "grad_norm": 0.17197753489017487,
      "learning_rate": 0.00010085833333333335,
      "loss": 0.1632823371887207,
      "step": 24800
    },
    {
      "epoch": 0.5071428571428571,
      "grad_norm": 0.21415536105632782,
      "learning_rate": 0.00010065,
      "loss": 0.19841451644897462,
      "step": 24850
    },
    {
      "epoch": 0.5081632653061224,
      "grad_norm": 0.20820344984531403,
      "learning_rate": 0.00010044166666666668,
      "loss": 0.17958457946777343,
      "step": 24900
    },
    {
      "epoch": 0.5091836734693878,
      "grad_norm": 0.18609052896499634,
      "learning_rate": 0.00010023333333333333,
      "loss": 0.17983253479003905,
      "step": 24950
    },
    {
      "epoch": 0.5102040816326531,
      "grad_norm": 0.2240186482667923,
      "learning_rate": 0.00010002500000000002,
      "loss": 0.1995364761352539,
      "step": 25000
    },
    {
      "epoch": 0.5112244897959184,
      "grad_norm": 0.2212294191122055,
      "learning_rate": 9.981666666666668e-05,
      "loss": 0.1803879165649414,
      "step": 25050
    },
    {
      "epoch": 0.5122448979591837,
      "grad_norm": 0.15916708111763,
      "learning_rate": 9.960833333333333e-05,
      "loss": 0.1730225944519043,
      "step": 25100
    },
    {
      "epoch": 0.513265306122449,
      "grad_norm": 0.16600583493709564,
      "learning_rate": 9.94e-05,
      "loss": 0.1652672004699707,
      "step": 25150
    },
    {
      "epoch": 0.5142857142857142,
      "grad_norm": 0.17638596892356873,
      "learning_rate": 9.919166666666667e-05,
      "loss": 0.202372989654541,
      "step": 25200
    },
    {
      "epoch": 0.5153061224489796,
      "grad_norm": 0.14149129390716553,
      "learning_rate": 9.898333333333335e-05,
      "loss": 0.17594612121582032,
      "step": 25250
    },
    {
      "epoch": 0.5163265306122449,
      "grad_norm": 0.1270650029182434,
      "learning_rate": 9.8775e-05,
      "loss": 0.18878219604492188,
      "step": 25300
    },
    {
      "epoch": 0.5173469387755102,
      "grad_norm": 0.17733386158943176,
      "learning_rate": 9.856666666666667e-05,
      "loss": 0.2115381622314453,
      "step": 25350
    },
    {
      "epoch": 0.5183673469387755,
      "grad_norm": 0.1744958609342575,
      "learning_rate": 9.835833333333334e-05,
      "loss": 0.16448768615722656,
      "step": 25400
    },
    {
      "epoch": 0.5193877551020408,
      "grad_norm": 0.21373602747917175,
      "learning_rate": 9.815000000000001e-05,
      "loss": 0.1772871208190918,
      "step": 25450
    },
    {
      "epoch": 0.5204081632653061,
      "grad_norm": 0.1898619532585144,
      "learning_rate": 9.794166666666667e-05,
      "loss": 0.2503120231628418,
      "step": 25500
    },
    {
      "epoch": 0.5214285714285715,
      "grad_norm": 0.28234219551086426,
      "learning_rate": 9.773333333333334e-05,
      "loss": 0.17822504043579102,
      "step": 25550
    },
    {
      "epoch": 0.5224489795918368,
      "grad_norm": 0.11259794235229492,
      "learning_rate": 9.7525e-05,
      "loss": 0.1666012191772461,
      "step": 25600
    },
    {
      "epoch": 0.523469387755102,
      "grad_norm": 0.1492464244365692,
      "learning_rate": 9.731666666666667e-05,
      "loss": 0.17302135467529298,
      "step": 25650
    },
    {
      "epoch": 0.5244897959183673,
      "grad_norm": 0.17087487876415253,
      "learning_rate": 9.710833333333334e-05,
      "loss": 0.17946313858032226,
      "step": 25700
    },
    {
      "epoch": 0.5255102040816326,
      "grad_norm": 0.12258443981409073,
      "learning_rate": 9.69e-05,
      "loss": 0.18571706771850585,
      "step": 25750
    },
    {
      "epoch": 0.5265306122448979,
      "grad_norm": 0.1733115315437317,
      "learning_rate": 9.669166666666667e-05,
      "loss": 0.1553201961517334,
      "step": 25800
    },
    {
      "epoch": 0.5275510204081633,
      "grad_norm": 0.13839919865131378,
      "learning_rate": 9.648333333333334e-05,
      "loss": 0.19531139373779297,
      "step": 25850
    },
    {
      "epoch": 0.5285714285714286,
      "grad_norm": 0.20602594316005707,
      "learning_rate": 9.627500000000001e-05,
      "loss": 0.16800386428833008,
      "step": 25900
    },
    {
      "epoch": 0.5295918367346939,
      "grad_norm": 0.20680412650108337,
      "learning_rate": 9.606666666666667e-05,
      "loss": 0.1898546600341797,
      "step": 25950
    },
    {
      "epoch": 0.5306122448979592,
      "grad_norm": 0.16150370240211487,
      "learning_rate": 9.585833333333334e-05,
      "loss": 0.15692392349243164,
      "step": 26000
    },
    {
      "epoch": 0.5316326530612245,
      "grad_norm": 0.1982293277978897,
      "learning_rate": 9.565000000000001e-05,
      "loss": 0.19491943359375,
      "step": 26050
    },
    {
      "epoch": 0.5326530612244897,
      "grad_norm": 0.1009984016418457,
      "learning_rate": 9.544166666666668e-05,
      "loss": 0.20024131774902343,
      "step": 26100
    },
    {
      "epoch": 0.5336734693877551,
      "grad_norm": 0.20309703052043915,
      "learning_rate": 9.523333333333334e-05,
      "loss": 0.16962615966796876,
      "step": 26150
    },
    {
      "epoch": 0.5346938775510204,
      "grad_norm": 0.17204195261001587,
      "learning_rate": 9.5025e-05,
      "loss": 0.1707878303527832,
      "step": 26200
    },
    {
      "epoch": 0.5357142857142857,
      "grad_norm": 0.1919504553079605,
      "learning_rate": 9.481666666666668e-05,
      "loss": 0.17004173278808593,
      "step": 26250
    },
    {
      "epoch": 0.536734693877551,
      "grad_norm": 0.15040870010852814,
      "learning_rate": 9.460833333333335e-05,
      "loss": 0.18361337661743163,
      "step": 26300
    },
    {
      "epoch": 0.5377551020408163,
      "grad_norm": 0.1572142243385315,
      "learning_rate": 9.44e-05,
      "loss": 0.1793185615539551,
      "step": 26350
    },
    {
      "epoch": 0.5387755102040817,
      "grad_norm": 0.2479061782360077,
      "learning_rate": 9.419166666666666e-05,
      "loss": 0.17476287841796875,
      "step": 26400
    },
    {
      "epoch": 0.539795918367347,
      "grad_norm": 0.1852135807275772,
      "learning_rate": 9.398333333333333e-05,
      "loss": 0.16330987930297852,
      "step": 26450
    },
    {
      "epoch": 0.5408163265306123,
      "grad_norm": 0.19276225566864014,
      "learning_rate": 9.3775e-05,
      "loss": 0.16047971725463867,
      "step": 26500
    },
    {
      "epoch": 0.5418367346938775,
      "grad_norm": 0.1404666304588318,
      "learning_rate": 9.356666666666667e-05,
      "loss": 0.1972671127319336,
      "step": 26550
    },
    {
      "epoch": 0.5428571428571428,
      "grad_norm": 0.10398276150226593,
      "learning_rate": 9.335833333333333e-05,
      "loss": 0.14255274772644044,
      "step": 26600
    },
    {
      "epoch": 0.5438775510204081,
      "grad_norm": 0.14555589854717255,
      "learning_rate": 9.315e-05,
      "loss": 0.16434885025024415,
      "step": 26650
    },
    {
      "epoch": 0.5448979591836735,
      "grad_norm": 0.1104368194937706,
      "learning_rate": 9.294166666666667e-05,
      "loss": 0.16342899322509766,
      "step": 26700
    },
    {
      "epoch": 0.5459183673469388,
      "grad_norm": 0.11711753159761429,
      "learning_rate": 9.273333333333334e-05,
      "loss": 0.1949435806274414,
      "step": 26750
    },
    {
      "epoch": 0.5469387755102041,
      "grad_norm": 0.12293335795402527,
      "learning_rate": 9.252916666666667e-05,
      "loss": 0.18458440780639648,
      "step": 26800
    },
    {
      "epoch": 0.5479591836734694,
      "grad_norm": 0.23470911383628845,
      "learning_rate": 9.232083333333334e-05,
      "loss": 0.19848438262939452,
      "step": 26850
    },
    {
      "epoch": 0.5489795918367347,
      "grad_norm": 0.16929446160793304,
      "learning_rate": 9.21125e-05,
      "loss": 0.1938508415222168,
      "step": 26900
    },
    {
      "epoch": 0.55,
      "grad_norm": 0.22963696718215942,
      "learning_rate": 9.190416666666667e-05,
      "loss": 0.18044023513793944,
      "step": 26950
    },
    {
      "epoch": 0.5510204081632653,
      "grad_norm": 0.21981900930404663,
      "learning_rate": 9.169583333333334e-05,
      "loss": 0.18905908584594727,
      "step": 27000
    },
    {
      "epoch": 0.5520408163265306,
      "grad_norm": 0.10104738175868988,
      "learning_rate": 9.148750000000001e-05,
      "loss": 0.17186660766601564,
      "step": 27050
    },
    {
      "epoch": 0.5530612244897959,
      "grad_norm": 0.27401968836784363,
      "learning_rate": 9.127916666666667e-05,
      "loss": 0.1650037384033203,
      "step": 27100
    },
    {
      "epoch": 0.5540816326530612,
      "grad_norm": 0.20953841507434845,
      "learning_rate": 9.107083333333334e-05,
      "loss": 0.1946626091003418,
      "step": 27150
    },
    {
      "epoch": 0.5551020408163265,
      "grad_norm": 0.20660588145256042,
      "learning_rate": 9.08625e-05,
      "loss": 0.2258216667175293,
      "step": 27200
    },
    {
      "epoch": 0.5561224489795918,
      "grad_norm": 0.1534866839647293,
      "learning_rate": 9.065416666666668e-05,
      "loss": 0.20488595962524414,
      "step": 27250
    },
    {
      "epoch": 0.5571428571428572,
      "grad_norm": 0.14898627996444702,
      "learning_rate": 9.044583333333333e-05,
      "loss": 0.16483705520629882,
      "step": 27300
    },
    {
      "epoch": 0.5581632653061225,
      "grad_norm": 0.12369991093873978,
      "learning_rate": 9.02375e-05,
      "loss": 0.18049694061279298,
      "step": 27350
    },
    {
      "epoch": 0.5591836734693878,
      "grad_norm": 0.20999008417129517,
      "learning_rate": 9.002916666666668e-05,
      "loss": 0.16304676055908204,
      "step": 27400
    },
    {
      "epoch": 0.560204081632653,
      "grad_norm": 0.1313706636428833,
      "learning_rate": 8.982083333333335e-05,
      "loss": 0.19436006546020507,
      "step": 27450
    },
    {
      "epoch": 0.5612244897959183,
      "grad_norm": 0.10687727481126785,
      "learning_rate": 8.96125e-05,
      "loss": 0.1658367919921875,
      "step": 27500
    },
    {
      "epoch": 0.5622448979591836,
      "grad_norm": 0.19357901811599731,
      "learning_rate": 8.940416666666666e-05,
      "loss": 0.15278014183044433,
      "step": 27550
    },
    {
      "epoch": 0.563265306122449,
      "grad_norm": 0.21208421885967255,
      "learning_rate": 8.919583333333333e-05,
      "loss": 0.14099541664123535,
      "step": 27600
    },
    {
      "epoch": 0.5642857142857143,
      "grad_norm": 0.1888977587223053,
      "learning_rate": 8.89875e-05,
      "loss": 0.18072011947631836,
      "step": 27650
    },
    {
      "epoch": 0.5653061224489796,
      "grad_norm": 0.12501735985279083,
      "learning_rate": 8.877916666666667e-05,
      "loss": 0.16086437225341796,
      "step": 27700
    },
    {
      "epoch": 0.5663265306122449,
      "grad_norm": 0.18862837553024292,
      "learning_rate": 8.857083333333334e-05,
      "loss": 0.1829837989807129,
      "step": 27750
    },
    {
      "epoch": 0.5673469387755102,
      "grad_norm": 0.15165726840496063,
      "learning_rate": 8.83625e-05,
      "loss": 0.1913384437561035,
      "step": 27800
    },
    {
      "epoch": 0.5683673469387756,
      "grad_norm": 0.2055622786283493,
      "learning_rate": 8.815416666666667e-05,
      "loss": 0.18679183959960938,
      "step": 27850
    },
    {
      "epoch": 0.5693877551020409,
      "grad_norm": 0.17202599346637726,
      "learning_rate": 8.794583333333334e-05,
      "loss": 0.1639151954650879,
      "step": 27900
    },
    {
      "epoch": 0.5704081632653061,
      "grad_norm": 0.20725397765636444,
      "learning_rate": 8.773750000000001e-05,
      "loss": 0.165450439453125,
      "step": 27950
    },
    {
      "epoch": 0.5714285714285714,
      "grad_norm": 0.1799977719783783,
      "learning_rate": 8.752916666666667e-05,
      "loss": 0.15639174461364747,
      "step": 28000
    },
    {
      "epoch": 0.5724489795918367,
      "grad_norm": 0.2165798842906952,
      "learning_rate": 8.732083333333334e-05,
      "loss": 0.17581111907958985,
      "step": 28050
    },
    {
      "epoch": 0.573469387755102,
      "grad_norm": 0.15645107626914978,
      "learning_rate": 8.711250000000001e-05,
      "loss": 0.184375057220459,
      "step": 28100
    },
    {
      "epoch": 0.5744897959183674,
      "grad_norm": 0.16599629819393158,
      "learning_rate": 8.690416666666668e-05,
      "loss": 0.17481328964233397,
      "step": 28150
    },
    {
      "epoch": 0.5755102040816327,
      "grad_norm": 0.13364972174167633,
      "learning_rate": 8.669583333333334e-05,
      "loss": 0.19754388809204101,
      "step": 28200
    },
    {
      "epoch": 0.576530612244898,
      "grad_norm": 0.14583703875541687,
      "learning_rate": 8.64875e-05,
      "loss": 0.21159143447875978,
      "step": 28250
    },
    {
      "epoch": 0.5775510204081633,
      "grad_norm": 0.20671476423740387,
      "learning_rate": 8.627916666666667e-05,
      "loss": 0.16632991790771484,
      "step": 28300
    },
    {
      "epoch": 0.5785714285714286,
      "grad_norm": 0.21721985936164856,
      "learning_rate": 8.607083333333334e-05,
      "loss": 0.17269231796264647,
      "step": 28350
    },
    {
      "epoch": 0.5795918367346938,
      "grad_norm": 0.15544889867305756,
      "learning_rate": 8.58625e-05,
      "loss": 0.17736480712890626,
      "step": 28400
    },
    {
      "epoch": 0.5806122448979592,
      "grad_norm": 0.13705679774284363,
      "learning_rate": 8.565416666666666e-05,
      "loss": 0.2022319984436035,
      "step": 28450
    },
    {
      "epoch": 0.5816326530612245,
      "grad_norm": 0.1865527480840683,
      "learning_rate": 8.544583333333333e-05,
      "loss": 0.18072795867919922,
      "step": 28500
    },
    {
      "epoch": 0.5826530612244898,
      "grad_norm": 0.1536557823419571,
      "learning_rate": 8.52375e-05,
      "loss": 0.1788094711303711,
      "step": 28550
    },
    {
      "epoch": 0.5836734693877551,
      "grad_norm": 0.21039696037769318,
      "learning_rate": 8.502916666666668e-05,
      "loss": 0.16440990447998047,
      "step": 28600
    },
    {
      "epoch": 0.5846938775510204,
      "grad_norm": 0.12752863764762878,
      "learning_rate": 8.482083333333333e-05,
      "loss": 0.18658769607543946,
      "step": 28650
    },
    {
      "epoch": 0.5857142857142857,
      "grad_norm": 0.2432672679424286,
      "learning_rate": 8.46125e-05,
      "loss": 0.17903919219970704,
      "step": 28700
    },
    {
      "epoch": 0.5867346938775511,
      "grad_norm": 0.1309838593006134,
      "learning_rate": 8.440416666666667e-05,
      "loss": 0.16778242111206054,
      "step": 28750
    },
    {
      "epoch": 0.5877551020408164,
      "grad_norm": 0.17199347913265228,
      "learning_rate": 8.419583333333334e-05,
      "loss": 0.19217905044555664,
      "step": 28800
    },
    {
      "epoch": 0.5887755102040816,
      "grad_norm": 0.1479269117116928,
      "learning_rate": 8.39875e-05,
      "loss": 0.14942014694213868,
      "step": 28850
    },
    {
      "epoch": 0.5897959183673469,
      "grad_norm": 0.15467581152915955,
      "learning_rate": 8.377916666666667e-05,
      "loss": 0.1766769027709961,
      "step": 28900
    },
    {
      "epoch": 0.5908163265306122,
      "grad_norm": 0.14890123903751373,
      "learning_rate": 8.357083333333334e-05,
      "loss": 0.18058040618896484,
      "step": 28950
    },
    {
      "epoch": 0.5918367346938775,
      "grad_norm": 0.17233826220035553,
      "learning_rate": 8.33625e-05,
      "loss": 0.16066322326660157,
      "step": 29000
    },
    {
      "epoch": 0.5928571428571429,
      "grad_norm": 0.11463279277086258,
      "learning_rate": 8.315416666666667e-05,
      "loss": 0.14516469955444336,
      "step": 29050
    },
    {
      "epoch": 0.5938775510204082,
      "grad_norm": 0.19112053513526917,
      "learning_rate": 8.294583333333333e-05,
      "loss": 0.18832321166992189,
      "step": 29100
    },
    {
      "epoch": 0.5948979591836735,
      "grad_norm": 0.10975775122642517,
      "learning_rate": 8.274166666666667e-05,
      "loss": 0.17870872497558593,
      "step": 29150
    },
    {
      "epoch": 0.5959183673469388,
      "grad_norm": 0.1835976541042328,
      "learning_rate": 8.253333333333334e-05,
      "loss": 0.15557955741882323,
      "step": 29200
    },
    {
      "epoch": 0.5969387755102041,
      "grad_norm": 0.2260265052318573,
      "learning_rate": 8.232500000000001e-05,
      "loss": 0.16450485229492187,
      "step": 29250
    },
    {
      "epoch": 0.5979591836734693,
      "grad_norm": 0.1235552653670311,
      "learning_rate": 8.211666666666668e-05,
      "loss": 0.16741344451904297,
      "step": 29300
    },
    {
      "epoch": 0.5989795918367347,
      "grad_norm": 0.1380196213722229,
      "learning_rate": 8.190833333333334e-05,
      "loss": 0.18348945617675783,
      "step": 29350
    },
    {
      "epoch": 0.6,
      "grad_norm": 0.1534113883972168,
      "learning_rate": 8.17e-05,
      "loss": 0.17626720428466797,
      "step": 29400
    },
    {
      "epoch": 0.6010204081632653,
      "grad_norm": 0.17966432869434357,
      "learning_rate": 8.149166666666666e-05,
      "loss": 0.18582574844360353,
      "step": 29450
    },
    {
      "epoch": 0.6020408163265306,
      "grad_norm": 0.17597244679927826,
      "learning_rate": 8.128333333333333e-05,
      "loss": 0.1618438720703125,
      "step": 29500
    },
    {
      "epoch": 0.6030612244897959,
      "grad_norm": 0.1751350611448288,
      "learning_rate": 8.1075e-05,
      "loss": 0.17317716598510743,
      "step": 29550
    },
    {
      "epoch": 0.6040816326530613,
      "grad_norm": 0.2299734205007553,
      "learning_rate": 8.086666666666666e-05,
      "loss": 0.19614763259887696,
      "step": 29600
    },
    {
      "epoch": 0.6051020408163266,
      "grad_norm": 0.19768504798412323,
      "learning_rate": 8.065833333333333e-05,
      "loss": 0.18232860565185546,
      "step": 29650
    },
    {
      "epoch": 0.6061224489795919,
      "grad_norm": 0.14797262847423553,
      "learning_rate": 8.045e-05,
      "loss": 0.18202657699584962,
      "step": 29700
    },
    {
      "epoch": 0.6071428571428571,
      "grad_norm": 0.18453800678253174,
      "learning_rate": 8.024166666666667e-05,
      "loss": 0.1945005989074707,
      "step": 29750
    },
    {
      "epoch": 0.6081632653061224,
      "grad_norm": 0.24138791859149933,
      "learning_rate": 8.003333333333333e-05,
      "loss": 0.15666120529174804,
      "step": 29800
    },
    {
      "epoch": 0.6091836734693877,
      "grad_norm": 0.09741450846195221,
      "learning_rate": 7.9825e-05,
      "loss": 0.13373960494995119,
      "step": 29850
    },
    {
      "epoch": 0.610204081632653,
      "grad_norm": 0.1770496666431427,
      "learning_rate": 7.961666666666667e-05,
      "loss": 0.16969673156738282,
      "step": 29900
    },
    {
      "epoch": 0.6112244897959184,
      "grad_norm": 0.13566668331623077,
      "learning_rate": 7.940833333333334e-05,
      "loss": 0.1536888599395752,
      "step": 29950
    },
    {
      "epoch": 0.6122448979591837,
      "grad_norm": 0.2294454276561737,
      "learning_rate": 7.920000000000001e-05,
      "loss": 0.1650291633605957,
      "step": 30000
    },
    {
      "epoch": 0.613265306122449,
      "grad_norm": 0.1496036797761917,
      "learning_rate": 7.899166666666667e-05,
      "loss": 0.1761037826538086,
      "step": 30050
    },
    {
      "epoch": 0.6142857142857143,
      "grad_norm": 0.08214724063873291,
      "learning_rate": 7.878333333333334e-05,
      "loss": 0.19763166427612305,
      "step": 30100
    },
    {
      "epoch": 0.6153061224489796,
      "grad_norm": 0.10310641676187515,
      "learning_rate": 7.8575e-05,
      "loss": 0.1637880516052246,
      "step": 30150
    },
    {
      "epoch": 0.6163265306122448,
      "grad_norm": 0.1486400067806244,
      "learning_rate": 7.836666666666667e-05,
      "loss": 0.1754462242126465,
      "step": 30200
    },
    {
      "epoch": 0.6173469387755102,
      "grad_norm": 0.1679656207561493,
      "learning_rate": 7.815833333333333e-05,
      "loss": 0.14919873237609863,
      "step": 30250
    },
    {
      "epoch": 0.6183673469387755,
      "grad_norm": 0.18345525860786438,
      "learning_rate": 7.795e-05,
      "loss": 0.19217906951904296,
      "step": 30300
    },
    {
      "epoch": 0.6193877551020408,
      "grad_norm": 0.15979202091693878,
      "learning_rate": 7.774166666666667e-05,
      "loss": 0.18305580139160157,
      "step": 30350
    },
    {
      "epoch": 0.6204081632653061,
      "grad_norm": 0.15286119282245636,
      "learning_rate": 7.753333333333334e-05,
      "loss": 0.14841639518737793,
      "step": 30400
    },
    {
      "epoch": 0.6214285714285714,
      "grad_norm": 0.20205309987068176,
      "learning_rate": 7.732500000000001e-05,
      "loss": 0.1803289222717285,
      "step": 30450
    },
    {
      "epoch": 0.6224489795918368,
      "grad_norm": 0.10329090803861618,
      "learning_rate": 7.711666666666667e-05,
      "loss": 0.19099008560180664,
      "step": 30500
    },
    {
      "epoch": 0.6234693877551021,
      "grad_norm": 0.2586289346218109,
      "learning_rate": 7.690833333333334e-05,
      "loss": 0.194241943359375,
      "step": 30550
    },
    {
      "epoch": 0.6244897959183674,
      "grad_norm": 0.18437634408473969,
      "learning_rate": 7.670000000000001e-05,
      "loss": 0.19446161270141601,
      "step": 30600
    },
    {
      "epoch": 0.6255102040816326,
      "grad_norm": 0.20497523248195648,
      "learning_rate": 7.649166666666668e-05,
      "loss": 0.16262346267700195,
      "step": 30650
    },
    {
      "epoch": 0.6265306122448979,
      "grad_norm": 0.15078936517238617,
      "learning_rate": 7.628333333333334e-05,
      "loss": 0.1567188549041748,
      "step": 30700
    },
    {
      "epoch": 0.6275510204081632,
      "grad_norm": 0.13786426186561584,
      "learning_rate": 7.6075e-05,
      "loss": 0.14639299392700195,
      "step": 30750
    },
    {
      "epoch": 0.6285714285714286,
      "grad_norm": 0.16654115915298462,
      "learning_rate": 7.586666666666668e-05,
      "loss": 0.1610732650756836,
      "step": 30800
    },
    {
      "epoch": 0.6295918367346939,
      "grad_norm": 0.16476523876190186,
      "learning_rate": 7.565833333333335e-05,
      "loss": 0.17198530197143555,
      "step": 30850
    },
    {
      "epoch": 0.6306122448979592,
      "grad_norm": 0.29812154173851013,
      "learning_rate": 7.545e-05,
      "loss": 0.18083591461181642,
      "step": 30900
    },
    {
      "epoch": 0.6316326530612245,
      "grad_norm": 0.18219386041164398,
      "learning_rate": 7.524166666666666e-05,
      "loss": 0.1330328941345215,
      "step": 30950
    },
    {
      "epoch": 0.6326530612244898,
      "grad_norm": 0.1219499409198761,
      "learning_rate": 7.503333333333333e-05,
      "loss": 0.1631675910949707,
      "step": 31000
    },
    {
      "epoch": 0.6336734693877552,
      "grad_norm": 0.16549046337604523,
      "learning_rate": 7.4825e-05,
      "loss": 0.1869835662841797,
      "step": 31050
    },
    {
      "epoch": 0.6346938775510204,
      "grad_norm": 0.13592897355556488,
      "learning_rate": 7.461666666666667e-05,
      "loss": 0.16354337692260743,
      "step": 31100
    },
    {
      "epoch": 0.6357142857142857,
      "grad_norm": 0.25532266497612,
      "learning_rate": 7.440833333333333e-05,
      "loss": 0.1795151138305664,
      "step": 31150
    },
    {
      "epoch": 0.636734693877551,
      "grad_norm": 0.13497677445411682,
      "learning_rate": 7.42e-05,
      "loss": 0.17722156524658203,
      "step": 31200
    },
    {
      "epoch": 0.6377551020408163,
      "grad_norm": 0.10550568997859955,
      "learning_rate": 7.399166666666667e-05,
      "loss": 0.16642751693725585,
      "step": 31250
    },
    {
      "epoch": 0.6387755102040816,
      "grad_norm": 0.1571359634399414,
      "learning_rate": 7.378333333333334e-05,
      "loss": 0.14314020156860352,
      "step": 31300
    },
    {
      "epoch": 0.639795918367347,
      "grad_norm": 0.16488172113895416,
      "learning_rate": 7.3575e-05,
      "loss": 0.17789432525634766,
      "step": 31350
    },
    {
      "epoch": 0.6408163265306123,
      "grad_norm": 0.15754637122154236,
      "learning_rate": 7.336666666666667e-05,
      "loss": 0.1632952880859375,
      "step": 31400
    },
    {
      "epoch": 0.6418367346938776,
      "grad_norm": 0.16609132289886475,
      "learning_rate": 7.315833333333334e-05,
      "loss": 0.17927698135375977,
      "step": 31450
    },
    {
      "epoch": 0.6428571428571429,
      "grad_norm": 0.16577483713626862,
      "learning_rate": 7.295000000000001e-05,
      "loss": 0.16777738571166992,
      "step": 31500
    },
    {
      "epoch": 0.6438775510204081,
      "grad_norm": 0.1324053853750229,
      "learning_rate": 7.274166666666667e-05,
      "loss": 0.17467840194702147,
      "step": 31550
    },
    {
      "epoch": 0.6448979591836734,
      "grad_norm": 0.15986141562461853,
      "learning_rate": 7.253333333333334e-05,
      "loss": 0.1784464454650879,
      "step": 31600
    },
    {
      "epoch": 0.6459183673469387,
      "grad_norm": 0.1035812571644783,
      "learning_rate": 7.2325e-05,
      "loss": 0.17713926315307618,
      "step": 31650
    },
    {
      "epoch": 0.6469387755102041,
      "grad_norm": 0.20758819580078125,
      "learning_rate": 7.211666666666667e-05,
      "loss": 0.15218260765075683,
      "step": 31700
    },
    {
      "epoch": 0.6479591836734694,
      "grad_norm": 0.16112469136714935,
      "learning_rate": 7.190833333333334e-05,
      "loss": 0.14512678146362304,
      "step": 31750
    },
    {
      "epoch": 0.6489795918367347,
      "grad_norm": 0.1377130150794983,
      "learning_rate": 7.17e-05,
      "loss": 0.15772339820861817,
      "step": 31800
    },
    {
      "epoch": 0.65,
      "grad_norm": 0.16242578625679016,
      "learning_rate": 7.149166666666667e-05,
      "loss": 0.15441008567810058,
      "step": 31850
    },
    {
      "epoch": 0.6510204081632653,
      "grad_norm": 0.19400998950004578,
      "learning_rate": 7.128333333333334e-05,
      "loss": 0.14529372215270997,
      "step": 31900
    },
    {
      "epoch": 0.6520408163265307,
      "grad_norm": 0.13732214272022247,
      "learning_rate": 7.1075e-05,
      "loss": 0.20341796875,
      "step": 31950
    },
    {
      "epoch": 0.6530612244897959,
      "grad_norm": 0.1565335988998413,
      "learning_rate": 7.086666666666666e-05,
      "loss": 0.15315020561218262,
      "step": 32000
    },
    {
      "epoch": 0.6540816326530612,
      "grad_norm": 0.1519925892353058,
      "learning_rate": 7.065833333333333e-05,
      "loss": 0.17672977447509766,
      "step": 32050
    },
    {
      "epoch": 0.6551020408163265,
      "grad_norm": 0.10438583046197891,
      "learning_rate": 7.045e-05,
      "loss": 0.1952037239074707,
      "step": 32100
    },
    {
      "epoch": 0.6561224489795918,
      "grad_norm": 0.12770964205265045,
      "learning_rate": 7.024166666666668e-05,
      "loss": 0.14889378547668458,
      "step": 32150
    },
    {
      "epoch": 0.6571428571428571,
      "grad_norm": 0.15392087399959564,
      "learning_rate": 7.003333333333335e-05,
      "loss": 0.19392810821533202,
      "step": 32200
    },
    {
      "epoch": 0.6581632653061225,
      "grad_norm": 0.16497986018657684,
      "learning_rate": 6.9825e-05,
      "loss": 0.14279278755187988,
      "step": 32250
    },
    {
      "epoch": 0.6591836734693878,
      "grad_norm": 0.16945810616016388,
      "learning_rate": 6.961666666666667e-05,
      "loss": 0.1629298973083496,
      "step": 32300
    },
    {
      "epoch": 0.6602040816326531,
      "grad_norm": 0.08853259682655334,
      "learning_rate": 6.940833333333334e-05,
      "loss": 0.1372718906402588,
      "step": 32350
    },
    {
      "epoch": 0.6612244897959184,
      "grad_norm": 0.10184511542320251,
      "learning_rate": 6.92e-05,
      "loss": 0.12464181900024414,
      "step": 32400
    },
    {
      "epoch": 0.6622448979591836,
      "grad_norm": 0.1579914540052414,
      "learning_rate": 6.899166666666667e-05,
      "loss": 0.1898073959350586,
      "step": 32450
    },
    {
      "epoch": 0.6632653061224489,
      "grad_norm": 0.23278109729290009,
      "learning_rate": 6.878333333333333e-05,
      "loss": 0.19114408493041993,
      "step": 32500
    },
    {
      "epoch": 0.6642857142857143,
      "grad_norm": 0.18605078756809235,
      "learning_rate": 6.8575e-05,
      "loss": 0.14429281234741212,
      "step": 32550
    },
    {
      "epoch": 0.6653061224489796,
      "grad_norm": 0.20744793117046356,
      "learning_rate": 6.836666666666667e-05,
      "loss": 0.15178895950317384,
      "step": 32600
    },
    {
      "epoch": 0.6663265306122449,
      "grad_norm": 0.1467064917087555,
      "learning_rate": 6.816250000000001e-05,
      "loss": 0.17128976821899414,
      "step": 32650
    },
    {
      "epoch": 0.6673469387755102,
      "grad_norm": 0.21961116790771484,
      "learning_rate": 6.795416666666668e-05,
      "loss": 0.14988475799560547,
      "step": 32700
    },
    {
      "epoch": 0.6683673469387755,
      "grad_norm": 0.19205953180789948,
      "learning_rate": 6.774583333333334e-05,
      "loss": 0.15868806838989258,
      "step": 32750
    },
    {
      "epoch": 0.6693877551020408,
      "grad_norm": 0.19790537655353546,
      "learning_rate": 6.75375e-05,
      "loss": 0.22682212829589843,
      "step": 32800
    },
    {
      "epoch": 0.6704081632653062,
      "grad_norm": 0.12448656558990479,
      "learning_rate": 6.732916666666667e-05,
      "loss": 0.16850042343139648,
      "step": 32850
    },
    {
      "epoch": 0.6714285714285714,
      "grad_norm": 0.20378604531288147,
      "learning_rate": 6.712083333333334e-05,
      "loss": 0.16008363723754881,
      "step": 32900
    },
    {
      "epoch": 0.6724489795918367,
      "grad_norm": 0.23952776193618774,
      "learning_rate": 6.691250000000001e-05,
      "loss": 0.20326755523681642,
      "step": 32950
    },
    {
      "epoch": 0.673469387755102,
      "grad_norm": 0.17432567477226257,
      "learning_rate": 6.670416666666666e-05,
      "loss": 0.18787288665771484,
      "step": 33000
    },
    {
      "epoch": 0.6744897959183673,
      "grad_norm": 0.20003508031368256,
      "learning_rate": 6.649583333333333e-05,
      "loss": 0.17611515045166015,
      "step": 33050
    },
    {
      "epoch": 0.6755102040816326,
      "grad_norm": 0.19111096858978271,
      "learning_rate": 6.62875e-05,
      "loss": 0.16515064239501953,
      "step": 33100
    },
    {
      "epoch": 0.676530612244898,
      "grad_norm": 0.1962498277425766,
      "learning_rate": 6.607916666666668e-05,
      "loss": 0.2007039260864258,
      "step": 33150
    },
    {
      "epoch": 0.6775510204081633,
      "grad_norm": 0.21504424512386322,
      "learning_rate": 6.587083333333333e-05,
      "loss": 0.21071577072143555,
      "step": 33200
    },
    {
      "epoch": 0.6785714285714286,
      "grad_norm": 0.19784651696681976,
      "learning_rate": 6.56625e-05,
      "loss": 0.16339536666870116,
      "step": 33250
    },
    {
      "epoch": 0.6795918367346939,
      "grad_norm": 0.21860648691654205,
      "learning_rate": 6.545416666666667e-05,
      "loss": 0.17276811599731445,
      "step": 33300
    },
    {
      "epoch": 0.6806122448979591,
      "grad_norm": 0.12416710704565048,
      "learning_rate": 6.524583333333334e-05,
      "loss": 0.17321861267089844,
      "step": 33350
    },
    {
      "epoch": 0.6816326530612244,
      "grad_norm": 0.14108151197433472,
      "learning_rate": 6.50375e-05,
      "loss": 0.16422855377197265,
      "step": 33400
    },
    {
      "epoch": 0.6826530612244898,
      "grad_norm": 0.12449406087398529,
      "learning_rate": 6.482916666666667e-05,
      "loss": 0.1222480583190918,
      "step": 33450
    },
    {
      "epoch": 0.6836734693877551,
      "grad_norm": 0.1724015772342682,
      "learning_rate": 6.462083333333334e-05,
      "loss": 0.15967099189758302,
      "step": 33500
    },
    {
      "epoch": 0.6846938775510204,
      "grad_norm": 0.27706989645957947,
      "learning_rate": 6.44125e-05,
      "loss": 0.21222850799560547,
      "step": 33550
    },
    {
      "epoch": 0.6857142857142857,
      "grad_norm": 0.21608980000019073,
      "learning_rate": 6.420416666666667e-05,
      "loss": 0.19895681381225586,
      "step": 33600
    },
    {
      "epoch": 0.686734693877551,
      "grad_norm": 0.17284168303012848,
      "learning_rate": 6.399583333333333e-05,
      "loss": 0.16315589904785155,
      "step": 33650
    },
    {
      "epoch": 0.6877551020408164,
      "grad_norm": 0.2790461480617523,
      "learning_rate": 6.37875e-05,
      "loss": 0.17992326736450195,
      "step": 33700
    },
    {
      "epoch": 0.6887755102040817,
      "grad_norm": 0.1978480964899063,
      "learning_rate": 6.357916666666667e-05,
      "loss": 0.19150606155395508,
      "step": 33750
    },
    {
      "epoch": 0.689795918367347,
      "grad_norm": 0.22785209119319916,
      "learning_rate": 6.337083333333334e-05,
      "loss": 0.1392769718170166,
      "step": 33800
    },
    {
      "epoch": 0.6908163265306122,
      "grad_norm": 0.15017133951187134,
      "learning_rate": 6.31625e-05,
      "loss": 0.1485874366760254,
      "step": 33850
    },
    {
      "epoch": 0.6918367346938775,
      "grad_norm": 0.15515482425689697,
      "learning_rate": 6.295416666666667e-05,
      "loss": 0.13293993949890137,
      "step": 33900
    },
    {
      "epoch": 0.6928571428571428,
      "grad_norm": 0.1759190857410431,
      "learning_rate": 6.274583333333334e-05,
      "loss": 0.15329167366027832,
      "step": 33950
    },
    {
      "epoch": 0.6938775510204082,
      "grad_norm": 0.2007198929786682,
      "learning_rate": 6.253750000000001e-05,
      "loss": 0.16196441650390625,
      "step": 34000
    },
    {
      "epoch": 0.6948979591836735,
      "grad_norm": 0.07480475306510925,
      "learning_rate": 6.232916666666667e-05,
      "loss": 0.14109251976013185,
      "step": 34050
    },
    {
      "epoch": 0.6959183673469388,
      "grad_norm": 0.12071823328733444,
      "learning_rate": 6.212083333333334e-05,
      "loss": 0.15877034187316894,
      "step": 34100
    },
    {
      "epoch": 0.6969387755102041,
      "grad_norm": 0.175904780626297,
      "learning_rate": 6.191250000000001e-05,
      "loss": 0.14621192932128907,
      "step": 34150
    },
    {
      "epoch": 0.6979591836734694,
      "grad_norm": 0.09303800016641617,
      "learning_rate": 6.170416666666668e-05,
      "loss": 0.16565973281860352,
      "step": 34200
    },
    {
      "epoch": 0.6989795918367347,
      "grad_norm": 0.38047531247138977,
      "learning_rate": 6.149583333333334e-05,
      "loss": 0.167867488861084,
      "step": 34250
    },
    {
      "epoch": 0.7,
      "grad_norm": 0.1675473004579544,
      "learning_rate": 6.128749999999999e-05,
      "loss": 0.17095783233642578,
      "step": 34300
    },
    {
      "epoch": 0.7010204081632653,
      "grad_norm": 0.12302542477846146,
      "learning_rate": 6.107916666666666e-05,
      "loss": 0.17203062057495117,
      "step": 34350
    },
    {
      "epoch": 0.7020408163265306,
      "grad_norm": 0.1513855755329132,
      "learning_rate": 6.0870833333333333e-05,
      "loss": 0.1459299373626709,
      "step": 34400
    },
    {
      "epoch": 0.7030612244897959,
      "grad_norm": 0.1730256825685501,
      "learning_rate": 6.06625e-05,
      "loss": 0.15072107315063477,
      "step": 34450
    },
    {
      "epoch": 0.7040816326530612,
      "grad_norm": 0.18623055517673492,
      "learning_rate": 6.045416666666667e-05,
      "loss": 0.12694622993469237,
      "step": 34500
    },
    {
      "epoch": 0.7051020408163265,
      "grad_norm": 0.15233691036701202,
      "learning_rate": 6.024583333333333e-05,
      "loss": 0.17883399963378907,
      "step": 34550
    },
    {
      "epoch": 0.7061224489795919,
      "grad_norm": 0.13142655789852142,
      "learning_rate": 6.00375e-05,
      "loss": 0.1831110382080078,
      "step": 34600
    },
    {
      "epoch": 0.7071428571428572,
      "grad_norm": 0.17817802727222443,
      "learning_rate": 5.9829166666666666e-05,
      "loss": 0.16313209533691406,
      "step": 34650
    },
    {
      "epoch": 0.7081632653061225,
      "grad_norm": 0.14485876262187958,
      "learning_rate": 5.962083333333334e-05,
      "loss": 0.16395410537719726,
      "step": 34700
    },
    {
      "epoch": 0.7091836734693877,
      "grad_norm": 0.17738710343837738,
      "learning_rate": 5.941250000000001e-05,
      "loss": 0.14464349746704103,
      "step": 34750
    },
    {
      "epoch": 0.710204081632653,
      "grad_norm": 0.12579292058944702,
      "learning_rate": 5.920416666666667e-05,
      "loss": 0.17616662979125977,
      "step": 34800
    },
    {
      "epoch": 0.7112244897959183,
      "grad_norm": 0.09561062604188919,
      "learning_rate": 5.899583333333334e-05,
      "loss": 0.11348544120788574,
      "step": 34850
    },
    {
      "epoch": 0.7122448979591837,
      "grad_norm": 0.14961975812911987,
      "learning_rate": 5.8787500000000006e-05,
      "loss": 0.17728403091430664,
      "step": 34900
    },
    {
      "epoch": 0.713265306122449,
      "grad_norm": 0.18672503530979156,
      "learning_rate": 5.8579166666666677e-05,
      "loss": 0.16636423110961915,
      "step": 34950
    },
    {
      "epoch": 0.7142857142857143,
      "grad_norm": 0.13996222615242004,
      "learning_rate": 5.837083333333334e-05,
      "loss": 0.14518523216247559,
      "step": 35000
    },
    {
      "epoch": 0.7153061224489796,
      "grad_norm": 0.06967910379171371,
      "learning_rate": 5.81625e-05,
      "loss": 0.17640968322753905,
      "step": 35050
    },
    {
      "epoch": 0.7163265306122449,
      "grad_norm": 0.07042952626943588,
      "learning_rate": 5.795416666666667e-05,
      "loss": 0.14964930534362794,
      "step": 35100
    },
    {
      "epoch": 0.7173469387755103,
      "grad_norm": 0.12094786763191223,
      "learning_rate": 5.774583333333333e-05,
      "loss": 0.16445869445800781,
      "step": 35150
    },
    {
      "epoch": 0.7183673469387755,
      "grad_norm": 0.1543540060520172,
      "learning_rate": 5.75375e-05,
      "loss": 0.13257647514343263,
      "step": 35200
    },
    {
      "epoch": 0.7193877551020408,
      "grad_norm": 0.14520111680030823,
      "learning_rate": 5.7329166666666667e-05,
      "loss": 0.16949567794799805,
      "step": 35250
    },
    {
      "epoch": 0.7204081632653061,
      "grad_norm": 0.17580607533454895,
      "learning_rate": 5.712083333333334e-05,
      "loss": 0.16740028381347657,
      "step": 35300
    },
    {
      "epoch": 0.7214285714285714,
      "grad_norm": 0.1910821497440338,
      "learning_rate": 5.69125e-05,
      "loss": 0.1391041946411133,
      "step": 35350
    },
    {
      "epoch": 0.7224489795918367,
      "grad_norm": 0.0856727808713913,
      "learning_rate": 5.670416666666667e-05,
      "loss": 0.13688218116760253,
      "step": 35400
    },
    {
      "epoch": 0.7234693877551021,
      "grad_norm": 0.22578872740268707,
      "learning_rate": 5.6495833333333336e-05,
      "loss": 0.13912582397460938,
      "step": 35450
    },
    {
      "epoch": 0.7244897959183674,
      "grad_norm": 0.15911556780338287,
      "learning_rate": 5.6287500000000006e-05,
      "loss": 0.14832959175109864,
      "step": 35500
    },
    {
      "epoch": 0.7255102040816327,
      "grad_norm": 0.18621928989887238,
      "learning_rate": 5.607916666666667e-05,
      "loss": 0.1669852066040039,
      "step": 35550
    },
    {
      "epoch": 0.726530612244898,
      "grad_norm": 0.2119055539369583,
      "learning_rate": 5.587083333333334e-05,
      "loss": 0.1806819534301758,
      "step": 35600
    },
    {
      "epoch": 0.7275510204081632,
      "grad_norm": 0.07961991429328918,
      "learning_rate": 5.5662500000000005e-05,
      "loss": 0.16743293762207032,
      "step": 35650
    },
    {
      "epoch": 0.7285714285714285,
      "grad_norm": 0.1379423886537552,
      "learning_rate": 5.5454166666666675e-05,
      "loss": 0.15212342262268067,
      "step": 35700
    },
    {
      "epoch": 0.7295918367346939,
      "grad_norm": 0.15476073324680328,
      "learning_rate": 5.524583333333334e-05,
      "loss": 0.16397836685180664,
      "step": 35750
    },
    {
      "epoch": 0.7306122448979592,
      "grad_norm": 0.09884586185216904,
      "learning_rate": 5.5037499999999996e-05,
      "loss": 0.14825711250305176,
      "step": 35800
    },
    {
      "epoch": 0.7316326530612245,
      "grad_norm": 0.13884589076042175,
      "learning_rate": 5.482916666666667e-05,
      "loss": 0.14152326583862304,
      "step": 35850
    },
    {
      "epoch": 0.7326530612244898,
      "grad_norm": 0.21771541237831116,
      "learning_rate": 5.462083333333333e-05,
      "loss": 0.15861477851867675,
      "step": 35900
    },
    {
      "epoch": 0.7336734693877551,
      "grad_norm": 0.14293690025806427,
      "learning_rate": 5.44125e-05,
      "loss": 0.15552971839904786,
      "step": 35950
    },
    {
      "epoch": 0.7346938775510204,
      "grad_norm": 0.25441673398017883,
      "learning_rate": 5.4204166666666665e-05,
      "loss": 0.16837917327880858,
      "step": 36000
    },
    {
      "epoch": 0.7357142857142858,
      "grad_norm": 0.15737579762935638,
      "learning_rate": 5.3995833333333336e-05,
      "loss": 0.15274593353271484,
      "step": 36050
    },
    {
      "epoch": 0.736734693877551,
      "grad_norm": 0.15187661349773407,
      "learning_rate": 5.37875e-05,
      "loss": 0.1639406967163086,
      "step": 36100
    },
    {
      "epoch": 0.7377551020408163,
      "grad_norm": 0.24913407862186432,
      "learning_rate": 5.357916666666667e-05,
      "loss": 0.12389989852905274,
      "step": 36150
    },
    {
      "epoch": 0.7387755102040816,
      "grad_norm": 0.17340479791164398,
      "learning_rate": 5.3370833333333334e-05,
      "loss": 0.2008836555480957,
      "step": 36200
    },
    {
      "epoch": 0.7397959183673469,
      "grad_norm": 0.2266087830066681,
      "learning_rate": 5.3162500000000005e-05,
      "loss": 0.15062840461730956,
      "step": 36250
    },
    {
      "epoch": 0.7408163265306122,
      "grad_norm": 0.1296575516462326,
      "learning_rate": 5.295416666666667e-05,
      "loss": 0.14468287467956542,
      "step": 36300
    },
    {
      "epoch": 0.7418367346938776,
      "grad_norm": 0.17865030467510223,
      "learning_rate": 5.274583333333334e-05,
      "loss": 0.13884951591491698,
      "step": 36350
    },
    {
      "epoch": 0.7428571428571429,
      "grad_norm": 0.16539889574050903,
      "learning_rate": 5.25375e-05,
      "loss": 0.1667474365234375,
      "step": 36400
    },
    {
      "epoch": 0.7438775510204082,
      "grad_norm": 0.17142266035079956,
      "learning_rate": 5.2329166666666674e-05,
      "loss": 0.14144489288330078,
      "step": 36450
    },
    {
      "epoch": 0.7448979591836735,
      "grad_norm": 0.08687719702720642,
      "learning_rate": 5.212083333333334e-05,
      "loss": 0.14284836769104003,
      "step": 36500
    },
    {
      "epoch": 0.7459183673469387,
      "grad_norm": 0.11344967782497406,
      "learning_rate": 5.1912499999999995e-05,
      "loss": 0.1589106559753418,
      "step": 36550
    },
    {
      "epoch": 0.746938775510204,
      "grad_norm": 0.126994788646698,
      "learning_rate": 5.1704166666666665e-05,
      "loss": 0.1657052993774414,
      "step": 36600
    },
    {
      "epoch": 0.7479591836734694,
      "grad_norm": 0.11640670150518417,
      "learning_rate": 5.149583333333333e-05,
      "loss": 0.15780337333679198,
      "step": 36650
    },
    {
      "epoch": 0.7489795918367347,
      "grad_norm": 0.14036226272583008,
      "learning_rate": 5.12875e-05,
      "loss": 0.1352565383911133,
      "step": 36700
    },
    {
      "epoch": 0.75,
      "grad_norm": 0.18937057256698608,
      "learning_rate": 5.108333333333334e-05,
      "loss": 0.15480207443237304,
      "step": 36750
    },
    {
      "epoch": 0.7510204081632653,
      "grad_norm": 0.0924379974603653,
      "learning_rate": 5.0875e-05,
      "loss": 0.1446268367767334,
      "step": 36800
    },
    {
      "epoch": 0.7520408163265306,
      "grad_norm": 0.19327092170715332,
      "learning_rate": 5.0666666666666674e-05,
      "loss": 0.13928128242492677,
      "step": 36850
    },
    {
      "epoch": 0.753061224489796,
      "grad_norm": 0.17900340259075165,
      "learning_rate": 5.045833333333334e-05,
      "loss": 0.1468774127960205,
      "step": 36900
    },
    {
      "epoch": 0.7540816326530613,
      "grad_norm": 0.11567780375480652,
      "learning_rate": 5.0249999999999995e-05,
      "loss": 0.14537551879882812,
      "step": 36950
    },
    {
      "epoch": 0.7551020408163265,
      "grad_norm": 0.132771298289299,
      "learning_rate": 5.0041666666666666e-05,
      "loss": 0.18957576751708985,
      "step": 37000
    },
    {
      "epoch": 0.7561224489795918,
      "grad_norm": 0.2857951819896698,
      "learning_rate": 4.9833333333333336e-05,
      "loss": 0.14247038841247558,
      "step": 37050
    },
    {
      "epoch": 0.7571428571428571,
      "grad_norm": 0.24694068729877472,
      "learning_rate": 4.962500000000001e-05,
      "loss": 0.16788265228271484,
      "step": 37100
    },
    {
      "epoch": 0.7581632653061224,
      "grad_norm": 0.14023227989673615,
      "learning_rate": 4.9416666666666664e-05,
      "loss": 0.1499267864227295,
      "step": 37150
    },
    {
      "epoch": 0.7591836734693878,
      "grad_norm": 0.22128233313560486,
      "learning_rate": 4.9208333333333335e-05,
      "loss": 0.1711456298828125,
      "step": 37200
    },
    {
      "epoch": 0.7602040816326531,
      "grad_norm": 0.16241143643856049,
      "learning_rate": 4.9e-05,
      "loss": 0.14633071899414063,
      "step": 37250
    },
    {
      "epoch": 0.7612244897959184,
      "grad_norm": 0.0808044821023941,
      "learning_rate": 4.879166666666667e-05,
      "loss": 0.16124568939208983,
      "step": 37300
    },
    {
      "epoch": 0.7622448979591837,
      "grad_norm": 0.16860656440258026,
      "learning_rate": 4.858333333333333e-05,
      "loss": 0.11210680961608886,
      "step": 37350
    },
    {
      "epoch": 0.763265306122449,
      "grad_norm": 0.10932660102844238,
      "learning_rate": 4.8375000000000004e-05,
      "loss": 0.1334698486328125,
      "step": 37400
    },
    {
      "epoch": 0.7642857142857142,
      "grad_norm": 0.16516442596912384,
      "learning_rate": 4.8166666666666674e-05,
      "loss": 0.15440690994262696,
      "step": 37450
    },
    {
      "epoch": 0.7653061224489796,
      "grad_norm": 0.17629872262477875,
      "learning_rate": 4.795833333333333e-05,
      "loss": 0.15302536010742188,
      "step": 37500
    },
    {
      "epoch": 0.7663265306122449,
      "grad_norm": 0.1887020468711853,
      "learning_rate": 4.775e-05,
      "loss": 0.18522512435913085,
      "step": 37550
    },
    {
      "epoch": 0.7673469387755102,
      "grad_norm": 0.2348717302083969,
      "learning_rate": 4.7541666666666666e-05,
      "loss": 0.15498061180114747,
      "step": 37600
    },
    {
      "epoch": 0.7683673469387755,
      "grad_norm": 0.12663526833057404,
      "learning_rate": 4.73375e-05,
      "loss": 0.17798063278198242,
      "step": 37650
    },
    {
      "epoch": 0.7693877551020408,
      "grad_norm": 0.09127508103847504,
      "learning_rate": 4.712916666666667e-05,
      "loss": 0.15106979370117188,
      "step": 37700
    },
    {
      "epoch": 0.7704081632653061,
      "grad_norm": 0.1976308673620224,
      "learning_rate": 4.692083333333333e-05,
      "loss": 0.1309073066711426,
      "step": 37750
    },
    {
      "epoch": 0.7714285714285715,
      "grad_norm": 0.17086738348007202,
      "learning_rate": 4.6712500000000004e-05,
      "loss": 0.14809440612792968,
      "step": 37800
    },
    {
      "epoch": 0.7724489795918368,
      "grad_norm": 0.19537247717380524,
      "learning_rate": 4.650416666666667e-05,
      "loss": 0.1556560516357422,
      "step": 37850
    },
    {
      "epoch": 0.773469387755102,
      "grad_norm": 0.18661127984523773,
      "learning_rate": 4.629583333333334e-05,
      "loss": 0.1466090488433838,
      "step": 37900
    },
    {
      "epoch": 0.7744897959183673,
      "grad_norm": 0.17013102769851685,
      "learning_rate": 4.60875e-05,
      "loss": 0.1757086181640625,
      "step": 37950
    },
    {
      "epoch": 0.7755102040816326,
      "grad_norm": 0.1524754762649536,
      "learning_rate": 4.5879166666666666e-05,
      "loss": 0.16644367218017578,
      "step": 38000
    },
    {
      "epoch": 0.7765306122448979,
      "grad_norm": 0.1900121122598648,
      "learning_rate": 4.567083333333334e-05,
      "loss": 0.16857398986816408,
      "step": 38050
    },
    {
      "epoch": 0.7775510204081633,
      "grad_norm": 0.10611417144536972,
      "learning_rate": 4.54625e-05,
      "loss": 0.14672259330749512,
      "step": 38100
    },
    {
      "epoch": 0.7785714285714286,
      "grad_norm": 0.18626046180725098,
      "learning_rate": 4.525416666666667e-05,
      "loss": 0.18764514923095704,
      "step": 38150
    },
    {
      "epoch": 0.7795918367346939,
      "grad_norm": 0.24131523072719574,
      "learning_rate": 4.5045833333333335e-05,
      "loss": 0.1816444206237793,
      "step": 38200
    },
    {
      "epoch": 0.7806122448979592,
      "grad_norm": 0.17299646139144897,
      "learning_rate": 4.4837500000000006e-05,
      "loss": 0.15335065841674805,
      "step": 38250
    },
    {
      "epoch": 0.7816326530612245,
      "grad_norm": 0.17390669882297516,
      "learning_rate": 4.462916666666667e-05,
      "loss": 0.18706804275512695,
      "step": 38300
    },
    {
      "epoch": 0.7826530612244897,
      "grad_norm": 0.09298673272132874,
      "learning_rate": 4.442083333333333e-05,
      "loss": 0.18538618087768555,
      "step": 38350
    },
    {
      "epoch": 0.7836734693877551,
      "grad_norm": 0.15914246439933777,
      "learning_rate": 4.4212500000000004e-05,
      "loss": 0.1349315643310547,
      "step": 38400
    },
    {
      "epoch": 0.7846938775510204,
      "grad_norm": 0.08660084754228592,
      "learning_rate": 4.400416666666667e-05,
      "loss": 0.12608378410339355,
      "step": 38450
    },
    {
      "epoch": 0.7857142857142857,
      "grad_norm": 0.21280916035175323,
      "learning_rate": 4.379583333333334e-05,
      "loss": 0.20869346618652343,
      "step": 38500
    },
    {
      "epoch": 0.786734693877551,
      "grad_norm": 0.11491119861602783,
      "learning_rate": 4.35875e-05,
      "loss": 0.1711391258239746,
      "step": 38550
    },
    {
      "epoch": 0.7877551020408163,
      "grad_norm": 0.154352068901062,
      "learning_rate": 4.337916666666667e-05,
      "loss": 0.1766732406616211,
      "step": 38600
    },
    {
      "epoch": 0.7887755102040817,
      "grad_norm": 0.16147321462631226,
      "learning_rate": 4.317083333333334e-05,
      "loss": 0.16638633728027344,
      "step": 38650
    },
    {
      "epoch": 0.789795918367347,
      "grad_norm": 0.08217877149581909,
      "learning_rate": 4.29625e-05,
      "loss": 0.14051429748535157,
      "step": 38700
    },
    {
      "epoch": 0.7908163265306123,
      "grad_norm": 0.4309787154197693,
      "learning_rate": 4.2754166666666665e-05,
      "loss": 0.15030960083007813,
      "step": 38750
    },
    {
      "epoch": 0.7918367346938775,
      "grad_norm": 0.08852960914373398,
      "learning_rate": 4.2545833333333335e-05,
      "loss": 0.15894084930419922,
      "step": 38800
    },
    {
      "epoch": 0.7928571428571428,
      "grad_norm": 0.20330609381198883,
      "learning_rate": 4.23375e-05,
      "loss": 0.16075292587280274,
      "step": 38850
    },
    {
      "epoch": 0.7938775510204081,
      "grad_norm": 0.15123698115348816,
      "learning_rate": 4.212916666666667e-05,
      "loss": 0.14566773414611817,
      "step": 38900
    },
    {
      "epoch": 0.7948979591836735,
      "grad_norm": 0.09001250565052032,
      "learning_rate": 4.1920833333333334e-05,
      "loss": 0.15867124557495116,
      "step": 38950
    },
    {
      "epoch": 0.7959183673469388,
      "grad_norm": 0.1784236878156662,
      "learning_rate": 4.1712500000000004e-05,
      "loss": 0.1991616439819336,
      "step": 39000
    },
    {
      "epoch": 0.7969387755102041,
      "grad_norm": 0.15025418996810913,
      "learning_rate": 4.150416666666667e-05,
      "loss": 0.151847505569458,
      "step": 39050
    },
    {
      "epoch": 0.7979591836734694,
      "grad_norm": 0.21809156239032745,
      "learning_rate": 4.129583333333333e-05,
      "loss": 0.15395938873291015,
      "step": 39100
    },
    {
      "epoch": 0.7989795918367347,
      "grad_norm": 0.19765830039978027,
      "learning_rate": 4.10875e-05,
      "loss": 0.16577257156372072,
      "step": 39150
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.12601009011268616,
      "learning_rate": 4.0879166666666666e-05,
      "loss": 0.17003007888793945,
      "step": 39200
    },
    {
      "epoch": 0.8010204081632653,
      "grad_norm": 0.17706438899040222,
      "learning_rate": 4.067083333333334e-05,
      "loss": 0.18737960815429688,
      "step": 39250
    },
    {
      "epoch": 0.8020408163265306,
      "grad_norm": 0.09074155986309052,
      "learning_rate": 4.04625e-05,
      "loss": 0.17569421768188476,
      "step": 39300
    },
    {
      "epoch": 0.8030612244897959,
      "grad_norm": 0.12752097845077515,
      "learning_rate": 4.025416666666667e-05,
      "loss": 0.14584141731262207,
      "step": 39350
    },
    {
      "epoch": 0.8040816326530612,
      "grad_norm": 0.18636369705200195,
      "learning_rate": 4.0045833333333335e-05,
      "loss": 0.1786494255065918,
      "step": 39400
    },
    {
      "epoch": 0.8051020408163265,
      "grad_norm": 0.07327538728713989,
      "learning_rate": 3.98375e-05,
      "loss": 0.17225727081298828,
      "step": 39450
    },
    {
      "epoch": 0.8061224489795918,
      "grad_norm": 0.14465896785259247,
      "learning_rate": 3.962916666666667e-05,
      "loss": 0.15083393096923828,
      "step": 39500
    },
    {
      "epoch": 0.8071428571428572,
      "grad_norm": 0.2394832968711853,
      "learning_rate": 3.9420833333333334e-05,
      "loss": 0.19293224334716796,
      "step": 39550
    },
    {
      "epoch": 0.8081632653061225,
      "grad_norm": 0.18358109891414642,
      "learning_rate": 3.9212500000000004e-05,
      "loss": 0.14710227966308595,
      "step": 39600
    },
    {
      "epoch": 0.8091836734693878,
      "grad_norm": 0.18446484208106995,
      "learning_rate": 3.900416666666667e-05,
      "loss": 0.12325849533081054,
      "step": 39650
    },
    {
      "epoch": 0.810204081632653,
      "grad_norm": 0.14655612409114838,
      "learning_rate": 3.879583333333334e-05,
      "loss": 0.1633004951477051,
      "step": 39700
    },
    {
      "epoch": 0.8112244897959183,
      "grad_norm": 0.07564426213502884,
      "learning_rate": 3.85875e-05,
      "loss": 0.18752107620239258,
      "step": 39750
    },
    {
      "epoch": 0.8122448979591836,
      "grad_norm": 0.11330200731754303,
      "learning_rate": 3.837916666666667e-05,
      "loss": 0.1585384750366211,
      "step": 39800
    },
    {
      "epoch": 0.813265306122449,
      "grad_norm": 0.09287655353546143,
      "learning_rate": 3.817083333333333e-05,
      "loss": 0.13122535705566407,
      "step": 39850
    },
    {
      "epoch": 0.8142857142857143,
      "grad_norm": 0.2616575360298157,
      "learning_rate": 3.79625e-05,
      "loss": 0.18795604705810548,
      "step": 39900
    },
    {
      "epoch": 0.8153061224489796,
      "grad_norm": 0.11491675674915314,
      "learning_rate": 3.7754166666666665e-05,
      "loss": 0.13429009437561035,
      "step": 39950
    },
    {
      "epoch": 0.8163265306122449,
      "grad_norm": 0.1451539248228073,
      "learning_rate": 3.7545833333333336e-05,
      "loss": 0.13625697135925294,
      "step": 40000
    },
    {
      "epoch": 0.8173469387755102,
      "grad_norm": 0.2314739227294922,
      "learning_rate": 3.7337500000000006e-05,
      "loss": 0.16612844467163085,
      "step": 40050
    },
    {
      "epoch": 0.8183673469387756,
      "grad_norm": 0.19042688608169556,
      "learning_rate": 3.712916666666667e-05,
      "loss": 0.1493498992919922,
      "step": 40100
    },
    {
      "epoch": 0.8193877551020409,
      "grad_norm": 0.2371101975440979,
      "learning_rate": 3.692083333333334e-05,
      "loss": 0.17770370483398437,
      "step": 40150
    },
    {
      "epoch": 0.8204081632653061,
      "grad_norm": 0.1424565613269806,
      "learning_rate": 3.67125e-05,
      "loss": 0.18499235153198243,
      "step": 40200
    },
    {
      "epoch": 0.8214285714285714,
      "grad_norm": 0.1678062230348587,
      "learning_rate": 3.650416666666667e-05,
      "loss": 0.140090913772583,
      "step": 40250
    },
    {
      "epoch": 0.8224489795918367,
      "grad_norm": 0.16148346662521362,
      "learning_rate": 3.629583333333333e-05,
      "loss": 0.19844322204589843,
      "step": 40300
    },
    {
      "epoch": 0.823469387755102,
      "grad_norm": 0.1150701716542244,
      "learning_rate": 3.60875e-05,
      "loss": 0.1799906921386719,
      "step": 40350
    },
    {
      "epoch": 0.8244897959183674,
      "grad_norm": 0.14582528173923492,
      "learning_rate": 3.587916666666667e-05,
      "loss": 0.1387934684753418,
      "step": 40400
    },
    {
      "epoch": 0.8255102040816327,
      "grad_norm": 0.17526212334632874,
      "learning_rate": 3.567083333333334e-05,
      "loss": 0.13370927810668945,
      "step": 40450
    },
    {
      "epoch": 0.826530612244898,
      "grad_norm": 0.13824090361595154,
      "learning_rate": 3.54625e-05,
      "loss": 0.17501338958740234,
      "step": 40500
    },
    {
      "epoch": 0.8275510204081633,
      "grad_norm": 0.18103674054145813,
      "learning_rate": 3.5254166666666665e-05,
      "loss": 0.16202123641967772,
      "step": 40550
    },
    {
      "epoch": 0.8285714285714286,
      "grad_norm": 0.10612452030181885,
      "learning_rate": 3.5045833333333336e-05,
      "loss": 0.1486236572265625,
      "step": 40600
    },
    {
      "epoch": 0.8295918367346938,
      "grad_norm": 0.18228718638420105,
      "learning_rate": 3.48375e-05,
      "loss": 0.1618939781188965,
      "step": 40650
    },
    {
      "epoch": 0.8306122448979592,
      "grad_norm": 0.2844036817550659,
      "learning_rate": 3.462916666666667e-05,
      "loss": 0.19489418029785155,
      "step": 40700
    },
    {
      "epoch": 0.8316326530612245,
      "grad_norm": 0.17485639452934265,
      "learning_rate": 3.4420833333333334e-05,
      "loss": 0.16676589965820313,
      "step": 40750
    },
    {
      "epoch": 0.8326530612244898,
      "grad_norm": 0.23534175753593445,
      "learning_rate": 3.4212500000000005e-05,
      "loss": 0.1604459762573242,
      "step": 40800
    },
    {
      "epoch": 0.8336734693877551,
      "grad_norm": 0.31001633405685425,
      "learning_rate": 3.400416666666667e-05,
      "loss": 0.19572820663452148,
      "step": 40850
    },
    {
      "epoch": 0.8346938775510204,
      "grad_norm": 0.14709772169589996,
      "learning_rate": 3.379583333333334e-05,
      "loss": 0.15393299102783203,
      "step": 40900
    },
    {
      "epoch": 0.8357142857142857,
      "grad_norm": 0.2015165537595749,
      "learning_rate": 3.3587499999999996e-05,
      "loss": 0.16096088409423828,
      "step": 40950
    },
    {
      "epoch": 0.8367346938775511,
      "grad_norm": 0.1936115324497223,
      "learning_rate": 3.337916666666667e-05,
      "loss": 0.13105152130126954,
      "step": 41000
    },
    {
      "epoch": 0.8377551020408164,
      "grad_norm": 0.29701679944992065,
      "learning_rate": 3.317083333333333e-05,
      "loss": 0.15563657760620117,
      "step": 41050
    },
    {
      "epoch": 0.8387755102040816,
      "grad_norm": 0.18862281739711761,
      "learning_rate": 3.29625e-05,
      "loss": 0.1588943386077881,
      "step": 41100
    },
    {
      "epoch": 0.8397959183673469,
      "grad_norm": 0.19941005110740662,
      "learning_rate": 3.275416666666667e-05,
      "loss": 0.15184050559997558,
      "step": 41150
    },
    {
      "epoch": 0.8408163265306122,
      "grad_norm": 0.16846665740013123,
      "learning_rate": 3.2545833333333336e-05,
      "loss": 0.19719802856445312,
      "step": 41200
    },
    {
      "epoch": 0.8418367346938775,
      "grad_norm": 0.16473744809627533,
      "learning_rate": 3.233750000000001e-05,
      "loss": 0.17479293823242187,
      "step": 41250
    },
    {
      "epoch": 0.8428571428571429,
      "grad_norm": 0.1598232537508011,
      "learning_rate": 3.2129166666666664e-05,
      "loss": 0.15978538513183593,
      "step": 41300
    },
    {
      "epoch": 0.8438775510204082,
      "grad_norm": 0.17177850008010864,
      "learning_rate": 3.1920833333333334e-05,
      "loss": 0.1575559616088867,
      "step": 41350
    },
    {
      "epoch": 0.8448979591836735,
      "grad_norm": 0.1356944888830185,
      "learning_rate": 3.17125e-05,
      "loss": 0.1598154830932617,
      "step": 41400
    },
    {
      "epoch": 0.8459183673469388,
      "grad_norm": 0.12465784698724747,
      "learning_rate": 3.150416666666667e-05,
      "loss": 0.15516016960144044,
      "step": 41450
    },
    {
      "epoch": 0.8469387755102041,
      "grad_norm": 0.2187613993883133,
      "learning_rate": 3.129583333333333e-05,
      "loss": 0.1535673427581787,
      "step": 41500
    },
    {
      "epoch": 0.8479591836734693,
      "grad_norm": 0.134515643119812,
      "learning_rate": 3.1087500000000003e-05,
      "loss": 0.15695632934570314,
      "step": 41550
    },
    {
      "epoch": 0.8489795918367347,
      "grad_norm": 0.19475696980953217,
      "learning_rate": 3.087916666666667e-05,
      "loss": 0.15306434631347657,
      "step": 41600
    },
    {
      "epoch": 0.85,
      "grad_norm": 0.16016463935375214,
      "learning_rate": 3.067500000000001e-05,
      "loss": 0.1699496841430664,
      "step": 41650
    },
    {
      "epoch": 0.8510204081632653,
      "grad_norm": 0.22221848368644714,
      "learning_rate": 3.0466666666666664e-05,
      "loss": 0.22820037841796875,
      "step": 41700
    },
    {
      "epoch": 0.8520408163265306,
      "grad_norm": 0.13827036321163177,
      "learning_rate": 3.025833333333333e-05,
      "loss": 0.19656036376953126,
      "step": 41750
    },
    {
      "epoch": 0.8530612244897959,
      "grad_norm": 0.19884911179542542,
      "learning_rate": 3.0050000000000002e-05,
      "loss": 0.17680858612060546,
      "step": 41800
    },
    {
      "epoch": 0.8540816326530613,
      "grad_norm": 0.20734833180904388,
      "learning_rate": 2.984166666666667e-05,
      "loss": 0.2142172050476074,
      "step": 41850
    },
    {
      "epoch": 0.8551020408163266,
      "grad_norm": 0.25795796513557434,
      "learning_rate": 2.9633333333333336e-05,
      "loss": 0.21104377746582031,
      "step": 41900
    },
    {
      "epoch": 0.8561224489795919,
      "grad_norm": 0.33637145161628723,
      "learning_rate": 2.9425000000000004e-05,
      "loss": 0.20429901123046876,
      "step": 41950
    },
    {
      "epoch": 0.8571428571428571,
      "grad_norm": 0.16273394227027893,
      "learning_rate": 2.921666666666667e-05,
      "loss": 0.17451427459716798,
      "step": 42000
    },
    {
      "epoch": 0.8581632653061224,
      "grad_norm": 0.1235772967338562,
      "learning_rate": 2.9008333333333338e-05,
      "loss": 0.12104739189147949,
      "step": 42050
    },
    {
      "epoch": 0.8591836734693877,
      "grad_norm": 0.20922167599201202,
      "learning_rate": 2.88e-05,
      "loss": 0.1750694465637207,
      "step": 42100
    },
    {
      "epoch": 0.860204081632653,
      "grad_norm": 0.15653084218502045,
      "learning_rate": 2.8591666666666666e-05,
      "loss": 0.1647883415222168,
      "step": 42150
    },
    {
      "epoch": 0.8612244897959184,
      "grad_norm": 0.21672451496124268,
      "learning_rate": 2.8383333333333333e-05,
      "loss": 0.1777618408203125,
      "step": 42200
    },
    {
      "epoch": 0.8622448979591837,
      "grad_norm": 0.16229403018951416,
      "learning_rate": 2.8175e-05,
      "loss": 0.14013175010681153,
      "step": 42250
    },
    {
      "epoch": 0.863265306122449,
      "grad_norm": 0.23231209814548492,
      "learning_rate": 2.7966666666666668e-05,
      "loss": 0.1481611442565918,
      "step": 42300
    },
    {
      "epoch": 0.8642857142857143,
      "grad_norm": 0.11112941056489944,
      "learning_rate": 2.7758333333333335e-05,
      "loss": 0.1890835189819336,
      "step": 42350
    },
    {
      "epoch": 0.8653061224489796,
      "grad_norm": 0.2170908898115158,
      "learning_rate": 2.7550000000000002e-05,
      "loss": 0.16120462417602538,
      "step": 42400
    },
    {
      "epoch": 0.8663265306122448,
      "grad_norm": 0.1535445749759674,
      "learning_rate": 2.7341666666666666e-05,
      "loss": 0.15845059394836425,
      "step": 42450
    },
    {
      "epoch": 0.8673469387755102,
      "grad_norm": 0.1733650416135788,
      "learning_rate": 2.7133333333333333e-05,
      "loss": 0.1984349822998047,
      "step": 42500
    },
    {
      "epoch": 0.8683673469387755,
      "grad_norm": 0.13763122260570526,
      "learning_rate": 2.6925e-05,
      "loss": 0.17453062057495117,
      "step": 42550
    },
    {
      "epoch": 0.8693877551020408,
      "grad_norm": 0.06716243177652359,
      "learning_rate": 2.6716666666666668e-05,
      "loss": 0.12827292442321778,
      "step": 42600
    },
    {
      "epoch": 0.8704081632653061,
      "grad_norm": 0.06482294201850891,
      "learning_rate": 2.6508333333333335e-05,
      "loss": 0.14777050971984862,
      "step": 42650
    },
    {
      "epoch": 0.8714285714285714,
      "grad_norm": 0.11893775314092636,
      "learning_rate": 2.6300000000000002e-05,
      "loss": 0.14279632568359374,
      "step": 42700
    },
    {
      "epoch": 0.8724489795918368,
      "grad_norm": 0.11864366382360458,
      "learning_rate": 2.609166666666667e-05,
      "loss": 0.15069831848144533,
      "step": 42750
    },
    {
      "epoch": 0.8734693877551021,
      "grad_norm": 0.11892051994800568,
      "learning_rate": 2.5883333333333337e-05,
      "loss": 0.17250820159912109,
      "step": 42800
    },
    {
      "epoch": 0.8744897959183674,
      "grad_norm": 0.18396931886672974,
      "learning_rate": 2.5675e-05,
      "loss": 0.14836503982543944,
      "step": 42850
    },
    {
      "epoch": 0.8755102040816326,
      "grad_norm": 0.1566888689994812,
      "learning_rate": 2.5466666666666668e-05,
      "loss": 0.16654870986938478,
      "step": 42900
    },
    {
      "epoch": 0.8765306122448979,
      "grad_norm": 0.0947994589805603,
      "learning_rate": 2.5258333333333335e-05,
      "loss": 0.1264040946960449,
      "step": 42950
    },
    {
      "epoch": 0.8775510204081632,
      "grad_norm": 0.18539394438266754,
      "learning_rate": 2.5050000000000002e-05,
      "loss": 0.1276088047027588,
      "step": 43000
    },
    {
      "epoch": 0.8785714285714286,
      "grad_norm": 0.15481586754322052,
      "learning_rate": 2.484166666666667e-05,
      "loss": 0.17538042068481446,
      "step": 43050
    },
    {
      "epoch": 0.8795918367346939,
      "grad_norm": 0.2394324243068695,
      "learning_rate": 2.4633333333333334e-05,
      "loss": 0.14613781929016112,
      "step": 43100
    },
    {
      "epoch": 0.8806122448979592,
      "grad_norm": 0.1770860105752945,
      "learning_rate": 2.4425e-05,
      "loss": 0.14055556297302246,
      "step": 43150
    },
    {
      "epoch": 0.8816326530612245,
      "grad_norm": 0.26251518726348877,
      "learning_rate": 2.4216666666666668e-05,
      "loss": 0.18869239807128907,
      "step": 43200
    },
    {
      "epoch": 0.8826530612244898,
      "grad_norm": 0.24112340807914734,
      "learning_rate": 2.4008333333333335e-05,
      "loss": 0.16565069198608398,
      "step": 43250
    },
    {
      "epoch": 0.8836734693877552,
      "grad_norm": 0.18587692081928253,
      "learning_rate": 2.38e-05,
      "loss": 0.1443570613861084,
      "step": 43300
    },
    {
      "epoch": 0.8846938775510204,
      "grad_norm": 0.13177326321601868,
      "learning_rate": 2.3591666666666666e-05,
      "loss": 0.1775250816345215,
      "step": 43350
    },
    {
      "epoch": 0.8857142857142857,
      "grad_norm": 0.2826145589351654,
      "learning_rate": 2.3383333333333334e-05,
      "loss": 0.19880430221557618,
      "step": 43400
    },
    {
      "epoch": 0.886734693877551,
      "grad_norm": 0.15196163952350616,
      "learning_rate": 2.3175e-05,
      "loss": 0.1795181465148926,
      "step": 43450
    },
    {
      "epoch": 0.8877551020408163,
      "grad_norm": 0.1676856428384781,
      "learning_rate": 2.2966666666666668e-05,
      "loss": 0.11898002624511719,
      "step": 43500
    },
    {
      "epoch": 0.8887755102040816,
      "grad_norm": 0.22324547171592712,
      "learning_rate": 2.2758333333333335e-05,
      "loss": 0.15103040695190428,
      "step": 43550
    },
    {
      "epoch": 0.889795918367347,
      "grad_norm": 0.18912465870380402,
      "learning_rate": 2.2550000000000003e-05,
      "loss": 0.17227333068847656,
      "step": 43600
    },
    {
      "epoch": 0.8908163265306123,
      "grad_norm": 0.13828060030937195,
      "learning_rate": 2.234166666666667e-05,
      "loss": 0.1739276695251465,
      "step": 43650
    },
    {
      "epoch": 0.8918367346938776,
      "grad_norm": 0.17106176912784576,
      "learning_rate": 2.21375e-05,
      "loss": 0.1273856544494629,
      "step": 43700
    },
    {
      "epoch": 0.8928571428571429,
      "grad_norm": 0.17478223145008087,
      "learning_rate": 2.1929166666666667e-05,
      "loss": 0.11760704040527344,
      "step": 43750
    },
    {
      "epoch": 0.8938775510204081,
      "grad_norm": 0.15052562952041626,
      "learning_rate": 2.1720833333333334e-05,
      "loss": 0.16121845245361327,
      "step": 43800
    },
    {
      "epoch": 0.8948979591836734,
      "grad_norm": 0.2820034921169281,
      "learning_rate": 2.15125e-05,
      "loss": 0.1849671173095703,
      "step": 43850
    },
    {
      "epoch": 0.8959183673469387,
      "grad_norm": 0.18933306634426117,
      "learning_rate": 2.130416666666667e-05,
      "loss": 0.19127286911010744,
      "step": 43900
    },
    {
      "epoch": 0.8969387755102041,
      "grad_norm": 0.1372126191854477,
      "learning_rate": 2.1095833333333336e-05,
      "loss": 0.18945589065551757,
      "step": 43950
    },
    {
      "epoch": 0.8979591836734694,
      "grad_norm": 0.22014056146144867,
      "learning_rate": 2.0887500000000003e-05,
      "loss": 0.1549460220336914,
      "step": 44000
    },
    {
      "epoch": 0.8989795918367347,
      "grad_norm": 0.12489187717437744,
      "learning_rate": 2.067916666666667e-05,
      "loss": 0.1980477523803711,
      "step": 44050
    },
    {
      "epoch": 0.9,
      "grad_norm": 0.19070874154567719,
      "learning_rate": 2.0470833333333334e-05,
      "loss": 0.12702374458312987,
      "step": 44100
    },
    {
      "epoch": 0.9010204081632653,
      "grad_norm": 0.16794297099113464,
      "learning_rate": 2.02625e-05,
      "loss": 0.11833565711975097,
      "step": 44150
    },
    {
      "epoch": 0.9020408163265307,
      "grad_norm": 0.2177940309047699,
      "learning_rate": 2.005416666666667e-05,
      "loss": 0.13561912536621093,
      "step": 44200
    },
    {
      "epoch": 0.9030612244897959,
      "grad_norm": 0.14129720628261566,
      "learning_rate": 1.9845833333333332e-05,
      "loss": 0.15628966331481933,
      "step": 44250
    },
    {
      "epoch": 0.9040816326530612,
      "grad_norm": 0.14769406616687775,
      "learning_rate": 1.96375e-05,
      "loss": 0.15256972312927247,
      "step": 44300
    },
    {
      "epoch": 0.9051020408163265,
      "grad_norm": 0.2667403221130371,
      "learning_rate": 1.9429166666666667e-05,
      "loss": 0.14853564262390137,
      "step": 44350
    },
    {
      "epoch": 0.9061224489795918,
      "grad_norm": 0.0967816635966301,
      "learning_rate": 1.9220833333333334e-05,
      "loss": 0.14923785209655763,
      "step": 44400
    },
    {
      "epoch": 0.9071428571428571,
      "grad_norm": 0.16255813837051392,
      "learning_rate": 1.90125e-05,
      "loss": 0.1490318012237549,
      "step": 44450
    },
    {
      "epoch": 0.9081632653061225,
      "grad_norm": 0.18926061689853668,
      "learning_rate": 1.880416666666667e-05,
      "loss": 0.149087553024292,
      "step": 44500
    },
    {
      "epoch": 0.9091836734693878,
      "grad_norm": 0.1748647391796112,
      "learning_rate": 1.8595833333333336e-05,
      "loss": 0.14986876487731934,
      "step": 44550
    },
    {
      "epoch": 0.9102040816326531,
      "grad_norm": 0.08740395307540894,
      "learning_rate": 1.8387500000000003e-05,
      "loss": 0.1448510456085205,
      "step": 44600
    },
    {
      "epoch": 0.9112244897959184,
      "grad_norm": 0.1446746289730072,
      "learning_rate": 1.8179166666666667e-05,
      "loss": 0.15715752601623534,
      "step": 44650
    },
    {
      "epoch": 0.9122448979591836,
      "grad_norm": 0.1801069974899292,
      "learning_rate": 1.7970833333333334e-05,
      "loss": 0.16352605819702148,
      "step": 44700
    },
    {
      "epoch": 0.9132653061224489,
      "grad_norm": 0.18530972301959991,
      "learning_rate": 1.77625e-05,
      "loss": 0.1280909538269043,
      "step": 44750
    },
    {
      "epoch": 0.9142857142857143,
      "grad_norm": 0.1628209501504898,
      "learning_rate": 1.755416666666667e-05,
      "loss": 0.14237693786621095,
      "step": 44800
    },
    {
      "epoch": 0.9153061224489796,
      "grad_norm": 0.17065215110778809,
      "learning_rate": 1.7345833333333333e-05,
      "loss": 0.15755342483520507,
      "step": 44850
    },
    {
      "epoch": 0.9163265306122449,
      "grad_norm": 0.20158743858337402,
      "learning_rate": 1.71375e-05,
      "loss": 0.15958144187927245,
      "step": 44900
    },
    {
      "epoch": 0.9173469387755102,
      "grad_norm": 0.17208772897720337,
      "learning_rate": 1.6929166666666667e-05,
      "loss": 0.1588733959197998,
      "step": 44950
    },
    {
      "epoch": 0.9183673469387755,
      "grad_norm": 0.24862460792064667,
      "learning_rate": 1.6720833333333334e-05,
      "loss": 0.1676609230041504,
      "step": 45000
    },
    {
      "epoch": 0.9193877551020408,
      "grad_norm": 0.19340603053569794,
      "learning_rate": 1.65125e-05,
      "loss": 0.13490391731262208,
      "step": 45050
    },
    {
      "epoch": 0.9204081632653062,
      "grad_norm": 0.1150607094168663,
      "learning_rate": 1.630416666666667e-05,
      "loss": 0.14526805877685547,
      "step": 45100
    },
    {
      "epoch": 0.9214285714285714,
      "grad_norm": 0.1659056395292282,
      "learning_rate": 1.6095833333333336e-05,
      "loss": 0.12483659744262696,
      "step": 45150
    },
    {
      "epoch": 0.9224489795918367,
      "grad_norm": 0.14368687570095062,
      "learning_rate": 1.58875e-05,
      "loss": 0.1377216911315918,
      "step": 45200
    },
    {
      "epoch": 0.923469387755102,
      "grad_norm": 0.21673353016376495,
      "learning_rate": 1.5679166666666667e-05,
      "loss": 0.15858871459960938,
      "step": 45250
    },
    {
      "epoch": 0.9244897959183673,
      "grad_norm": 0.17419950664043427,
      "learning_rate": 1.5475e-05,
      "loss": 0.19050765991210938,
      "step": 45300
    },
    {
      "epoch": 0.9255102040816326,
      "grad_norm": 0.21734727919101715,
      "learning_rate": 1.5266666666666667e-05,
      "loss": 0.21033607482910155,
      "step": 45350
    },
    {
      "epoch": 0.926530612244898,
      "grad_norm": 0.10595092177391052,
      "learning_rate": 1.5058333333333335e-05,
      "loss": 0.147692928314209,
      "step": 45400
    },
    {
      "epoch": 0.9275510204081633,
      "grad_norm": 0.2282629758119583,
      "learning_rate": 1.485e-05,
      "loss": 0.1583467388153076,
      "step": 45450
    },
    {
      "epoch": 0.9285714285714286,
      "grad_norm": 0.21286144852638245,
      "learning_rate": 1.4641666666666667e-05,
      "loss": 0.17015981674194336,
      "step": 45500
    },
    {
      "epoch": 0.9295918367346939,
      "grad_norm": 0.1904076337814331,
      "learning_rate": 1.4433333333333335e-05,
      "loss": 0.14135570526123048,
      "step": 45550
    },
    {
      "epoch": 0.9306122448979591,
      "grad_norm": 0.21782186627388,
      "learning_rate": 1.4225e-05,
      "loss": 0.1650140380859375,
      "step": 45600
    },
    {
      "epoch": 0.9316326530612244,
      "grad_norm": 0.18759101629257202,
      "learning_rate": 1.4016666666666667e-05,
      "loss": 0.15609244346618653,
      "step": 45650
    },
    {
      "epoch": 0.9326530612244898,
      "grad_norm": 0.3018854260444641,
      "learning_rate": 1.3808333333333335e-05,
      "loss": 0.1812250518798828,
      "step": 45700
    },
    {
      "epoch": 0.9336734693877551,
      "grad_norm": 0.08052978664636612,
      "learning_rate": 1.3600000000000002e-05,
      "loss": 0.15423359870910644,
      "step": 45750
    },
    {
      "epoch": 0.9346938775510204,
      "grad_norm": 0.19563402235507965,
      "learning_rate": 1.3391666666666666e-05,
      "loss": 0.16699079513549805,
      "step": 45800
    },
    {
      "epoch": 0.9357142857142857,
      "grad_norm": 0.28332799673080444,
      "learning_rate": 1.3183333333333333e-05,
      "loss": 0.1548442554473877,
      "step": 45850
    },
    {
      "epoch": 0.936734693877551,
      "grad_norm": 0.09308453649282455,
      "learning_rate": 1.2975e-05,
      "loss": 0.12824472427368164,
      "step": 45900
    },
    {
      "epoch": 0.9377551020408164,
      "grad_norm": 0.18038895726203918,
      "learning_rate": 1.276666666666667e-05,
      "loss": 0.12438959121704102,
      "step": 45950
    },
    {
      "epoch": 0.9387755102040817,
      "grad_norm": 0.284365177154541,
      "learning_rate": 1.2558333333333333e-05,
      "loss": 0.14871647834777832,
      "step": 46000
    },
    {
      "epoch": 0.939795918367347,
      "grad_norm": 0.08927145600318909,
      "learning_rate": 1.235e-05,
      "loss": 0.18119024276733398,
      "step": 46050
    },
    {
      "epoch": 0.9408163265306122,
      "grad_norm": 0.164076566696167,
      "learning_rate": 1.2141666666666668e-05,
      "loss": 0.12674145698547362,
      "step": 46100
    },
    {
      "epoch": 0.9418367346938775,
      "grad_norm": 0.17570029199123383,
      "learning_rate": 1.1933333333333333e-05,
      "loss": 0.12326807022094727,
      "step": 46150
    },
    {
      "epoch": 0.9428571428571428,
      "grad_norm": 0.08642779290676117,
      "learning_rate": 1.1725e-05,
      "loss": 0.156142520904541,
      "step": 46200
    },
    {
      "epoch": 0.9438775510204082,
      "grad_norm": 0.07523858547210693,
      "learning_rate": 1.1516666666666668e-05,
      "loss": 0.17178312301635743,
      "step": 46250
    },
    {
      "epoch": 0.9448979591836735,
      "grad_norm": 0.1016625389456749,
      "learning_rate": 1.1308333333333333e-05,
      "loss": 0.14302874565124513,
      "step": 46300
    },
    {
      "epoch": 0.9459183673469388,
      "grad_norm": 0.1725875735282898,
      "learning_rate": 1.11e-05,
      "loss": 0.15991040229797363,
      "step": 46350
    },
    {
      "epoch": 0.9469387755102041,
      "grad_norm": 0.16149602830410004,
      "learning_rate": 1.0891666666666666e-05,
      "loss": 0.1201127052307129,
      "step": 46400
    },
    {
      "epoch": 0.9479591836734694,
      "grad_norm": 0.1727629154920578,
      "learning_rate": 1.0683333333333333e-05,
      "loss": 0.13722600936889648,
      "step": 46450
    },
    {
      "epoch": 0.9489795918367347,
      "grad_norm": 0.2521125078201294,
      "learning_rate": 1.0475e-05,
      "loss": 0.15148849487304689,
      "step": 46500
    },
    {
      "epoch": 0.95,
      "grad_norm": 0.1248711571097374,
      "learning_rate": 1.0266666666666668e-05,
      "loss": 0.13328912734985351,
      "step": 46550
    },
    {
      "epoch": 0.9510204081632653,
      "grad_norm": 0.12489352375268936,
      "learning_rate": 1.0058333333333333e-05,
      "loss": 0.13712240219116212,
      "step": 46600
    },
    {
      "epoch": 0.9520408163265306,
      "grad_norm": 0.20619699358940125,
      "learning_rate": 9.85e-06,
      "loss": 0.19411802291870117,
      "step": 46650
    },
    {
      "epoch": 0.9530612244897959,
      "grad_norm": 0.1441294401884079,
      "learning_rate": 9.641666666666666e-06,
      "loss": 0.14243923187255858,
      "step": 46700
    },
    {
      "epoch": 0.9540816326530612,
      "grad_norm": 0.1757134050130844,
      "learning_rate": 9.433333333333335e-06,
      "loss": 0.15012696266174316,
      "step": 46750
    },
    {
      "epoch": 0.9551020408163265,
      "grad_norm": 0.18133866786956787,
      "learning_rate": 9.225e-06,
      "loss": 0.1927376937866211,
      "step": 46800
    },
    {
      "epoch": 0.9561224489795919,
      "grad_norm": 0.13889610767364502,
      "learning_rate": 9.016666666666668e-06,
      "loss": 0.16268184661865234,
      "step": 46850
    },
    {
      "epoch": 0.9571428571428572,
      "grad_norm": 0.18234698474407196,
      "learning_rate": 8.808333333333333e-06,
      "loss": 0.12941916465759276,
      "step": 46900
    },
    {
      "epoch": 0.9581632653061225,
      "grad_norm": 0.07498206943273544,
      "learning_rate": 8.599999999999999e-06,
      "loss": 0.11336485862731933,
      "step": 46950
    },
    {
      "epoch": 0.9591836734693877,
      "grad_norm": 0.16107463836669922,
      "learning_rate": 8.391666666666668e-06,
      "loss": 0.1522255325317383,
      "step": 47000
    },
    {
      "epoch": 0.960204081632653,
      "grad_norm": 0.14342018961906433,
      "learning_rate": 8.183333333333333e-06,
      "loss": 0.1549225330352783,
      "step": 47050
    },
    {
      "epoch": 0.9612244897959183,
      "grad_norm": 0.18782129883766174,
      "learning_rate": 7.975e-06,
      "loss": 0.12517114639282226,
      "step": 47100
    },
    {
      "epoch": 0.9622448979591837,
      "grad_norm": 0.16637246310710907,
      "learning_rate": 7.766666666666666e-06,
      "loss": 0.12270540237426758,
      "step": 47150
    },
    {
      "epoch": 0.963265306122449,
      "grad_norm": 0.17614801228046417,
      "learning_rate": 7.5583333333333335e-06,
      "loss": 0.16167043685913085,
      "step": 47200
    },
    {
      "epoch": 0.9642857142857143,
      "grad_norm": 0.16295582056045532,
      "learning_rate": 7.35e-06,
      "loss": 0.15760794639587403,
      "step": 47250
    },
    {
      "epoch": 0.9653061224489796,
      "grad_norm": 0.16819341480731964,
      "learning_rate": 7.141666666666667e-06,
      "loss": 0.15348422050476074,
      "step": 47300
    },
    {
      "epoch": 0.9663265306122449,
      "grad_norm": 0.13780109584331512,
      "learning_rate": 6.933333333333334e-06,
      "loss": 0.21739179611206055,
      "step": 47350
    },
    {
      "epoch": 0.9673469387755103,
      "grad_norm": 0.1997690051794052,
      "learning_rate": 6.725000000000001e-06,
      "loss": 0.1916204833984375,
      "step": 47400
    },
    {
      "epoch": 0.9683673469387755,
      "grad_norm": 0.20390348136425018,
      "learning_rate": 6.516666666666666e-06,
      "loss": 0.19516635894775392,
      "step": 47450
    },
    {
      "epoch": 0.9693877551020408,
      "grad_norm": 0.20894251763820648,
      "learning_rate": 6.3083333333333345e-06,
      "loss": 0.13695528030395507,
      "step": 47500
    },
    {
      "epoch": 0.9704081632653061,
      "grad_norm": 0.21236304938793182,
      "learning_rate": 6.1e-06,
      "loss": 0.1616962432861328,
      "step": 47550
    },
    {
      "epoch": 0.9714285714285714,
      "grad_norm": 0.17135925590991974,
      "learning_rate": 5.8916666666666664e-06,
      "loss": 0.1553780937194824,
      "step": 47600
    },
    {
      "epoch": 0.9724489795918367,
      "grad_norm": 0.1508631408214569,
      "learning_rate": 5.683333333333334e-06,
      "loss": 0.17776111602783204,
      "step": 47650
    },
    {
      "epoch": 0.9734693877551021,
      "grad_norm": 0.1170727014541626,
      "learning_rate": 5.475e-06,
      "loss": 0.15449726104736328,
      "step": 47700
    },
    {
      "epoch": 0.9744897959183674,
      "grad_norm": 0.08011742681264877,
      "learning_rate": 5.266666666666667e-06,
      "loss": 0.16335371017456055,
      "step": 47750
    },
    {
      "epoch": 0.9755102040816327,
      "grad_norm": 0.16246938705444336,
      "learning_rate": 5.058333333333334e-06,
      "loss": 0.17171213150024414,
      "step": 47800
    },
    {
      "epoch": 0.976530612244898,
      "grad_norm": 0.2613607347011566,
      "learning_rate": 4.85e-06,
      "loss": 0.1732192802429199,
      "step": 47850
    },
    {
      "epoch": 0.9775510204081632,
      "grad_norm": 0.1639399230480194,
      "learning_rate": 4.641666666666667e-06,
      "loss": 0.16643882751464845,
      "step": 47900
    },
    {
      "epoch": 0.9785714285714285,
      "grad_norm": 0.20391270518302917,
      "learning_rate": 4.433333333333334e-06,
      "loss": 0.20850187301635742,
      "step": 47950
    },
    {
      "epoch": 0.9795918367346939,
      "grad_norm": 0.16264182329177856,
      "learning_rate": 4.225e-06,
      "loss": 0.1264016342163086,
      "step": 48000
    },
    {
      "epoch": 0.9806122448979592,
      "grad_norm": 0.16377340257167816,
      "learning_rate": 4.0166666666666675e-06,
      "loss": 0.13366284370422363,
      "step": 48050
    },
    {
      "epoch": 0.9816326530612245,
      "grad_norm": 0.3015822470188141,
      "learning_rate": 3.808333333333333e-06,
      "loss": 0.17203302383422853,
      "step": 48100
    },
    {
      "epoch": 0.9826530612244898,
      "grad_norm": 0.2096152901649475,
      "learning_rate": 3.6e-06,
      "loss": 0.15525418281555176,
      "step": 48150
    },
    {
      "epoch": 0.9836734693877551,
      "grad_norm": 0.11033011227846146,
      "learning_rate": 3.3916666666666667e-06,
      "loss": 0.1616972541809082,
      "step": 48200
    },
    {
      "epoch": 0.9846938775510204,
      "grad_norm": 0.13373948633670807,
      "learning_rate": 3.1833333333333335e-06,
      "loss": 0.1649748420715332,
      "step": 48250
    },
    {
      "epoch": 0.9857142857142858,
      "grad_norm": 0.2140713632106781,
      "learning_rate": 2.975e-06,
      "loss": 0.16883108139038086,
      "step": 48300
    },
    {
      "epoch": 0.986734693877551,
      "grad_norm": 0.17408621311187744,
      "learning_rate": 2.7666666666666667e-06,
      "loss": 0.13446310997009278,
      "step": 48350
    },
    {
      "epoch": 0.9877551020408163,
      "grad_norm": 0.20199894905090332,
      "learning_rate": 2.5583333333333335e-06,
      "loss": 0.13248960494995118,
      "step": 48400
    },
    {
      "epoch": 0.9887755102040816,
      "grad_norm": 0.14944599568843842,
      "learning_rate": 2.35e-06,
      "loss": 0.14918691635131837,
      "step": 48450
    },
    {
      "epoch": 0.9897959183673469,
      "grad_norm": 0.15428166091442108,
      "learning_rate": 2.1416666666666668e-06,
      "loss": 0.15254539489746094,
      "step": 48500
    },
    {
      "epoch": 0.9908163265306122,
      "grad_norm": 0.16505689918994904,
      "learning_rate": 1.9333333333333336e-06,
      "loss": 0.1494508457183838,
      "step": 48550
    },
    {
      "epoch": 0.9918367346938776,
      "grad_norm": 0.2804460823535919,
      "learning_rate": 1.7250000000000002e-06,
      "loss": 0.17887117385864257,
      "step": 48600
    },
    {
      "epoch": 0.9928571428571429,
      "grad_norm": 0.1674233078956604,
      "learning_rate": 1.5166666666666668e-06,
      "loss": 0.15268464088439943,
      "step": 48650
    },
    {
      "epoch": 0.9938775510204082,
      "grad_norm": 0.31654107570648193,
      "learning_rate": 1.3083333333333334e-06,
      "loss": 0.16254812240600586,
      "step": 48700
    },
    {
      "epoch": 0.9948979591836735,
      "grad_norm": 0.26694899797439575,
      "learning_rate": 1.1e-06,
      "loss": 0.1348856258392334,
      "step": 48750
    },
    {
      "epoch": 0.9959183673469387,
      "grad_norm": 0.22508712112903595,
      "learning_rate": 8.916666666666667e-07,
      "loss": 0.1560036563873291,
      "step": 48800
    },
    {
      "epoch": 0.996938775510204,
      "grad_norm": 0.45271170139312744,
      "learning_rate": 6.833333333333334e-07,
      "loss": 0.18016895294189453,
      "step": 48850
    },
    {
      "epoch": 0.9979591836734694,
      "grad_norm": 0.13831569254398346,
      "learning_rate": 4.75e-07,
      "loss": 0.14795190811157227,
      "step": 48900
    },
    {
      "epoch": 0.9989795918367347,
      "grad_norm": 0.1551358997821808,
      "learning_rate": 2.6666666666666667e-07,
      "loss": 0.14964211463928223,
      "step": 48950
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.11065558344125748,
      "learning_rate": 5.833333333333334e-08,
      "loss": 0.14807978630065918,
      "step": 49000
    }
  ],
  "logging_steps": 50,
  "max_steps": 49000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 9223372036854775807,
  "save_steps": 5000,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 3.05679015936e+17,
  "train_batch_size": 4,
  "trial_name": null,
  "trial_params": null
}