{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 1.0,
  "eval_steps": 500,
  "global_step": 7500,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0013333333333333333,
      "grad_norm": 8.54599380493164,
      "learning_rate": 1.8e-05,
      "loss": 5.4609,
      "step": 10
    },
    {
      "epoch": 0.0026666666666666666,
      "grad_norm": 4.442131519317627,
      "learning_rate": 3.8e-05,
      "loss": 4.4953,
      "step": 20
    },
    {
      "epoch": 0.004,
      "grad_norm": 2.5090410709381104,
      "learning_rate": 5.8e-05,
      "loss": 3.6086,
      "step": 30
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 2.2689425945281982,
      "learning_rate": 7.800000000000001e-05,
      "loss": 3.2301,
      "step": 40
    },
    {
      "epoch": 0.006666666666666667,
      "grad_norm": 2.368473768234253,
      "learning_rate": 9.8e-05,
      "loss": 3.1415,
      "step": 50
    },
    {
      "epoch": 0.008,
      "grad_norm": 2.5440406799316406,
      "learning_rate": 0.000118,
      "loss": 2.812,
      "step": 60
    },
    {
      "epoch": 0.009333333333333334,
      "grad_norm": 3.2771072387695312,
      "learning_rate": 0.000138,
      "loss": 2.7536,
      "step": 70
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 3.1553053855895996,
      "learning_rate": 0.00015800000000000002,
      "loss": 3.0832,
      "step": 80
    },
    {
      "epoch": 0.012,
      "grad_norm": 2.804758310317993,
      "learning_rate": 0.00017800000000000002,
      "loss": 2.5819,
      "step": 90
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 3.1417534351348877,
      "learning_rate": 0.00019800000000000002,
      "loss": 2.5907,
      "step": 100
    },
    {
      "epoch": 0.014666666666666666,
      "grad_norm": 4.256618022918701,
      "learning_rate": 0.00019975675675675675,
      "loss": 2.6703,
      "step": 110
    },
    {
      "epoch": 0.016,
      "grad_norm": 3.272716760635376,
      "learning_rate": 0.00019948648648648648,
      "loss": 2.6242,
      "step": 120
    },
    {
      "epoch": 0.017333333333333333,
      "grad_norm": 2.649427652359009,
      "learning_rate": 0.00019921621621621623,
      "loss": 2.522,
      "step": 130
    },
    {
      "epoch": 0.018666666666666668,
      "grad_norm": 3.259302854537964,
      "learning_rate": 0.00019894594594594596,
      "loss": 2.5605,
      "step": 140
    },
    {
      "epoch": 0.02,
      "grad_norm": 3.081885814666748,
      "learning_rate": 0.0001986756756756757,
      "loss": 2.4966,
      "step": 150
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 3.1175105571746826,
      "learning_rate": 0.00019840540540540542,
      "loss": 2.5449,
      "step": 160
    },
    {
      "epoch": 0.02266666666666667,
      "grad_norm": 2.9999260902404785,
      "learning_rate": 0.00019813513513513515,
      "loss": 2.444,
      "step": 170
    },
    {
      "epoch": 0.024,
      "grad_norm": 2.9630610942840576,
      "learning_rate": 0.00019786486486486488,
      "loss": 2.3259,
      "step": 180
    },
    {
      "epoch": 0.025333333333333333,
      "grad_norm": 2.424903392791748,
      "learning_rate": 0.0001975945945945946,
      "loss": 2.4376,
      "step": 190
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 2.5037362575531006,
      "learning_rate": 0.00019732432432432434,
      "loss": 2.4054,
      "step": 200
    },
    {
      "epoch": 0.028,
      "grad_norm": 2.698734998703003,
      "learning_rate": 0.00019705405405405407,
      "loss": 2.4893,
      "step": 210
    },
    {
      "epoch": 0.029333333333333333,
      "grad_norm": 2.93727445602417,
      "learning_rate": 0.0001967837837837838,
      "loss": 2.4322,
      "step": 220
    },
    {
      "epoch": 0.030666666666666665,
      "grad_norm": 2.732948064804077,
      "learning_rate": 0.00019651351351351352,
      "loss": 2.4059,
      "step": 230
    },
    {
      "epoch": 0.032,
      "grad_norm": 2.547001838684082,
      "learning_rate": 0.00019624324324324325,
      "loss": 2.3939,
      "step": 240
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 3.1220786571502686,
      "learning_rate": 0.00019597297297297298,
      "loss": 2.4073,
      "step": 250
    },
    {
      "epoch": 0.034666666666666665,
      "grad_norm": 2.666619300842285,
      "learning_rate": 0.0001957027027027027,
      "loss": 2.4248,
      "step": 260
    },
    {
      "epoch": 0.036,
      "grad_norm": 2.6100213527679443,
      "learning_rate": 0.00019543243243243244,
      "loss": 2.4226,
      "step": 270
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 2.719904661178589,
      "learning_rate": 0.00019516216216216217,
      "loss": 2.3225,
      "step": 280
    },
    {
      "epoch": 0.03866666666666667,
      "grad_norm": 2.7894270420074463,
      "learning_rate": 0.0001948918918918919,
      "loss": 2.4674,
      "step": 290
    },
    {
      "epoch": 0.04,
      "grad_norm": 2.681861400604248,
      "learning_rate": 0.00019462162162162163,
      "loss": 2.3162,
      "step": 300
    },
    {
      "epoch": 0.04133333333333333,
      "grad_norm": 2.6987245082855225,
      "learning_rate": 0.00019435135135135136,
      "loss": 2.3305,
      "step": 310
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 3.070972442626953,
      "learning_rate": 0.00019408108108108109,
      "loss": 2.4287,
      "step": 320
    },
    {
      "epoch": 0.044,
      "grad_norm": 3.182809591293335,
      "learning_rate": 0.00019381081081081082,
      "loss": 2.3388,
      "step": 330
    },
    {
      "epoch": 0.04533333333333334,
      "grad_norm": 2.537672281265259,
      "learning_rate": 0.00019354054054054057,
      "loss": 2.4681,
      "step": 340
    },
    {
      "epoch": 0.04666666666666667,
      "grad_norm": 3.020998239517212,
      "learning_rate": 0.00019327027027027027,
      "loss": 2.2711,
      "step": 350
    },
    {
      "epoch": 0.048,
      "grad_norm": 2.513453245162964,
      "learning_rate": 0.000193,
      "loss": 2.2022,
      "step": 360
    },
    {
      "epoch": 0.04933333333333333,
      "grad_norm": 2.6128101348876953,
      "learning_rate": 0.00019272972972972973,
      "loss": 2.1995,
      "step": 370
    },
    {
      "epoch": 0.050666666666666665,
      "grad_norm": 2.2417399883270264,
      "learning_rate": 0.00019245945945945946,
      "loss": 2.4493,
      "step": 380
    },
    {
      "epoch": 0.052,
      "grad_norm": 2.059178590774536,
      "learning_rate": 0.0001921891891891892,
      "loss": 2.2551,
      "step": 390
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 2.5995736122131348,
      "learning_rate": 0.00019191891891891895,
      "loss": 2.2236,
      "step": 400
    },
    {
      "epoch": 0.05466666666666667,
      "grad_norm": 2.6002516746520996,
      "learning_rate": 0.00019164864864864867,
      "loss": 2.3687,
      "step": 410
    },
    {
      "epoch": 0.056,
      "grad_norm": 2.8979287147521973,
      "learning_rate": 0.0001913783783783784,
      "loss": 2.2049,
      "step": 420
    },
    {
      "epoch": 0.05733333333333333,
      "grad_norm": 2.6748251914978027,
      "learning_rate": 0.0001911081081081081,
      "loss": 2.1391,
      "step": 430
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 2.5248448848724365,
      "learning_rate": 0.00019083783783783783,
      "loss": 2.2802,
      "step": 440
    },
    {
      "epoch": 0.06,
      "grad_norm": 3.0248875617980957,
      "learning_rate": 0.00019056756756756756,
      "loss": 2.3581,
      "step": 450
    },
    {
      "epoch": 0.06133333333333333,
      "grad_norm": 2.5311789512634277,
      "learning_rate": 0.0001902972972972973,
      "loss": 2.2591,
      "step": 460
    },
    {
      "epoch": 0.06266666666666666,
      "grad_norm": 2.5081493854522705,
      "learning_rate": 0.00019002702702702705,
      "loss": 2.1174,
      "step": 470
    },
    {
      "epoch": 0.064,
      "grad_norm": 2.6198976039886475,
      "learning_rate": 0.00018975675675675678,
      "loss": 2.0521,
      "step": 480
    },
    {
      "epoch": 0.06533333333333333,
      "grad_norm": 2.45538330078125,
      "learning_rate": 0.0001894864864864865,
      "loss": 2.2505,
      "step": 490
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 2.385469675064087,
      "learning_rate": 0.00018921621621621624,
      "loss": 2.2058,
      "step": 500
    },
    {
      "epoch": 0.068,
      "grad_norm": 2.725461483001709,
      "learning_rate": 0.00018894594594594594,
      "loss": 2.204,
      "step": 510
    },
    {
      "epoch": 0.06933333333333333,
      "grad_norm": 2.841071128845215,
      "learning_rate": 0.00018867567567567567,
      "loss": 2.2056,
      "step": 520
    },
    {
      "epoch": 0.07066666666666667,
      "grad_norm": 2.7167351245880127,
      "learning_rate": 0.00018840540540540542,
      "loss": 2.3119,
      "step": 530
    },
    {
      "epoch": 0.072,
      "grad_norm": 2.4602131843566895,
      "learning_rate": 0.00018813513513513515,
      "loss": 2.1392,
      "step": 540
    },
    {
      "epoch": 0.07333333333333333,
      "grad_norm": 2.702946186065674,
      "learning_rate": 0.00018786486486486488,
      "loss": 2.134,
      "step": 550
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 2.299375057220459,
      "learning_rate": 0.0001875945945945946,
      "loss": 2.1797,
      "step": 560
    },
    {
      "epoch": 0.076,
      "grad_norm": 2.5447652339935303,
      "learning_rate": 0.00018732432432432434,
      "loss": 2.3235,
      "step": 570
    },
    {
      "epoch": 0.07733333333333334,
      "grad_norm": 2.616107702255249,
      "learning_rate": 0.00018705405405405407,
      "loss": 2.2475,
      "step": 580
    },
    {
      "epoch": 0.07866666666666666,
      "grad_norm": 3.0087509155273438,
      "learning_rate": 0.0001867837837837838,
      "loss": 2.2688,
      "step": 590
    },
    {
      "epoch": 0.08,
      "grad_norm": 2.919137716293335,
      "learning_rate": 0.00018651351351351353,
      "loss": 2.2384,
      "step": 600
    },
    {
      "epoch": 0.08133333333333333,
      "grad_norm": 2.334582805633545,
      "learning_rate": 0.00018624324324324325,
      "loss": 2.1417,
      "step": 610
    },
    {
      "epoch": 0.08266666666666667,
      "grad_norm": 2.6818926334381104,
      "learning_rate": 0.00018597297297297298,
      "loss": 2.2346,
      "step": 620
    },
    {
      "epoch": 0.084,
      "grad_norm": 3.2101333141326904,
      "learning_rate": 0.0001857027027027027,
      "loss": 2.1733,
      "step": 630
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 2.108243703842163,
      "learning_rate": 0.00018543243243243244,
      "loss": 2.2037,
      "step": 640
    },
    {
      "epoch": 0.08666666666666667,
      "grad_norm": 2.615994691848755,
      "learning_rate": 0.00018516216216216217,
      "loss": 2.1014,
      "step": 650
    },
    {
      "epoch": 0.088,
      "grad_norm": 2.4982452392578125,
      "learning_rate": 0.0001848918918918919,
      "loss": 2.1369,
      "step": 660
    },
    {
      "epoch": 0.08933333333333333,
      "grad_norm": 2.39957332611084,
      "learning_rate": 0.00018462162162162163,
      "loss": 2.1687,
      "step": 670
    },
    {
      "epoch": 0.09066666666666667,
      "grad_norm": 2.402393102645874,
      "learning_rate": 0.00018435135135135136,
      "loss": 2.0967,
      "step": 680
    },
    {
      "epoch": 0.092,
      "grad_norm": 2.9548466205596924,
      "learning_rate": 0.0001840810810810811,
      "loss": 2.0859,
      "step": 690
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 2.752746105194092,
      "learning_rate": 0.00018381081081081082,
      "loss": 2.2127,
      "step": 700
    },
    {
      "epoch": 0.09466666666666666,
      "grad_norm": 2.451632022857666,
      "learning_rate": 0.00018354054054054054,
      "loss": 2.1961,
      "step": 710
    },
    {
      "epoch": 0.096,
      "grad_norm": 2.4328248500823975,
      "learning_rate": 0.00018327027027027027,
      "loss": 2.1844,
      "step": 720
    },
    {
      "epoch": 0.09733333333333333,
      "grad_norm": 2.9737393856048584,
      "learning_rate": 0.000183,
      "loss": 2.152,
      "step": 730
    },
    {
      "epoch": 0.09866666666666667,
      "grad_norm": 2.3271377086639404,
      "learning_rate": 0.00018272972972972976,
      "loss": 2.0511,
      "step": 740
    },
    {
      "epoch": 0.1,
      "grad_norm": 2.575824022293091,
      "learning_rate": 0.00018245945945945946,
      "loss": 2.2377,
      "step": 750
    },
    {
      "epoch": 0.10133333333333333,
      "grad_norm": 2.394209146499634,
      "learning_rate": 0.0001821891891891892,
      "loss": 2.1904,
      "step": 760
    },
    {
      "epoch": 0.10266666666666667,
      "grad_norm": 2.2639620304107666,
      "learning_rate": 0.00018191891891891892,
      "loss": 2.2071,
      "step": 770
    },
    {
      "epoch": 0.104,
      "grad_norm": 2.454848051071167,
      "learning_rate": 0.00018164864864864865,
      "loss": 2.1308,
      "step": 780
    },
    {
      "epoch": 0.10533333333333333,
      "grad_norm": 2.4239871501922607,
      "learning_rate": 0.00018137837837837838,
      "loss": 2.3019,
      "step": 790
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 2.4817445278167725,
      "learning_rate": 0.00018110810810810813,
      "loss": 2.128,
      "step": 800
    },
    {
      "epoch": 0.108,
      "grad_norm": 2.6659679412841797,
      "learning_rate": 0.00018083783783783786,
      "loss": 1.9202,
      "step": 810
    },
    {
      "epoch": 0.10933333333333334,
      "grad_norm": 2.231278419494629,
      "learning_rate": 0.0001805675675675676,
      "loss": 2.1227,
      "step": 820
    },
    {
      "epoch": 0.11066666666666666,
      "grad_norm": 2.6334681510925293,
      "learning_rate": 0.0001802972972972973,
      "loss": 2.0482,
      "step": 830
    },
    {
      "epoch": 0.112,
      "grad_norm": 2.4232165813446045,
      "learning_rate": 0.00018002702702702702,
      "loss": 2.0708,
      "step": 840
    },
    {
      "epoch": 0.11333333333333333,
      "grad_norm": 2.354008674621582,
      "learning_rate": 0.00017975675675675675,
      "loss": 2.0493,
      "step": 850
    },
    {
      "epoch": 0.11466666666666667,
      "grad_norm": 2.582345724105835,
      "learning_rate": 0.00017948648648648648,
      "loss": 2.221,
      "step": 860
    },
    {
      "epoch": 0.116,
      "grad_norm": 2.4354162216186523,
      "learning_rate": 0.00017921621621621624,
      "loss": 2.0123,
      "step": 870
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 3.0853333473205566,
      "learning_rate": 0.00017894594594594597,
      "loss": 2.024,
      "step": 880
    },
    {
      "epoch": 0.11866666666666667,
      "grad_norm": 2.249725818634033,
      "learning_rate": 0.0001786756756756757,
      "loss": 2.1998,
      "step": 890
    },
    {
      "epoch": 0.12,
      "grad_norm": 2.403038740158081,
      "learning_rate": 0.00017840540540540542,
      "loss": 2.1166,
      "step": 900
    },
    {
      "epoch": 0.12133333333333333,
      "grad_norm": 2.416254997253418,
      "learning_rate": 0.00017813513513513513,
      "loss": 2.1032,
      "step": 910
    },
    {
      "epoch": 0.12266666666666666,
      "grad_norm": 2.6445345878601074,
      "learning_rate": 0.00017786486486486485,
      "loss": 2.0197,
      "step": 920
    },
    {
      "epoch": 0.124,
      "grad_norm": 2.84909987449646,
      "learning_rate": 0.0001775945945945946,
      "loss": 2.0796,
      "step": 930
    },
    {
      "epoch": 0.12533333333333332,
      "grad_norm": 2.1707866191864014,
      "learning_rate": 0.00017732432432432434,
      "loss": 2.1496,
      "step": 940
    },
    {
      "epoch": 0.12666666666666668,
      "grad_norm": 2.600884437561035,
      "learning_rate": 0.00017705405405405407,
      "loss": 1.9924,
      "step": 950
    },
    {
      "epoch": 0.128,
      "grad_norm": 2.818328857421875,
      "learning_rate": 0.0001767837837837838,
      "loss": 1.9545,
      "step": 960
    },
    {
      "epoch": 0.12933333333333333,
      "grad_norm": 2.4547555446624756,
      "learning_rate": 0.00017651351351351353,
      "loss": 2.089,
      "step": 970
    },
    {
      "epoch": 0.13066666666666665,
      "grad_norm": 2.362712860107422,
      "learning_rate": 0.00017624324324324326,
      "loss": 2.0058,
      "step": 980
    },
    {
      "epoch": 0.132,
      "grad_norm": 2.355741262435913,
      "learning_rate": 0.00017597297297297298,
      "loss": 2.028,
      "step": 990
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 2.233793258666992,
      "learning_rate": 0.00017570270270270271,
      "loss": 2.2153,
      "step": 1000
    },
    {
      "epoch": 0.13466666666666666,
      "grad_norm": 2.3833236694335938,
      "learning_rate": 0.00017543243243243244,
      "loss": 2.0436,
      "step": 1010
    },
    {
      "epoch": 0.136,
      "grad_norm": 2.710584878921509,
      "learning_rate": 0.00017516216216216217,
      "loss": 2.0223,
      "step": 1020
    },
    {
      "epoch": 0.13733333333333334,
      "grad_norm": 2.614525556564331,
      "learning_rate": 0.0001748918918918919,
      "loss": 2.0186,
      "step": 1030
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 2.5518527030944824,
      "learning_rate": 0.00017462162162162163,
      "loss": 2.1302,
      "step": 1040
    },
    {
      "epoch": 0.14,
      "grad_norm": 2.047034502029419,
      "learning_rate": 0.00017435135135135136,
      "loss": 1.9576,
      "step": 1050
    },
    {
      "epoch": 0.14133333333333334,
      "grad_norm": 2.1909399032592773,
      "learning_rate": 0.0001740810810810811,
      "loss": 1.9832,
      "step": 1060
    },
    {
      "epoch": 0.14266666666666666,
      "grad_norm": 2.759376049041748,
      "learning_rate": 0.00017381081081081082,
      "loss": 1.9669,
      "step": 1070
    },
    {
      "epoch": 0.144,
      "grad_norm": 2.1014363765716553,
      "learning_rate": 0.00017354054054054055,
      "loss": 1.9592,
      "step": 1080
    },
    {
      "epoch": 0.14533333333333334,
      "grad_norm": 2.471461296081543,
      "learning_rate": 0.00017327027027027027,
      "loss": 2.0039,
      "step": 1090
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 2.4198598861694336,
      "learning_rate": 0.000173,
      "loss": 2.2345,
      "step": 1100
    },
    {
      "epoch": 0.148,
      "grad_norm": 2.2740516662597656,
      "learning_rate": 0.00017272972972972973,
      "loss": 1.9767,
      "step": 1110
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 2.3317854404449463,
      "learning_rate": 0.00017245945945945946,
      "loss": 1.8423,
      "step": 1120
    },
    {
      "epoch": 0.15066666666666667,
      "grad_norm": 2.584611177444458,
      "learning_rate": 0.0001721891891891892,
      "loss": 2.0966,
      "step": 1130
    },
    {
      "epoch": 0.152,
      "grad_norm": 2.548743486404419,
      "learning_rate": 0.00017191891891891895,
      "loss": 2.1091,
      "step": 1140
    },
    {
      "epoch": 0.15333333333333332,
      "grad_norm": 2.825737476348877,
      "learning_rate": 0.00017164864864864865,
      "loss": 2.0788,
      "step": 1150
    },
    {
      "epoch": 0.15466666666666667,
      "grad_norm": 2.088826894760132,
      "learning_rate": 0.00017137837837837838,
      "loss": 2.1464,
      "step": 1160
    },
    {
      "epoch": 0.156,
      "grad_norm": 2.2038209438323975,
      "learning_rate": 0.0001711081081081081,
      "loss": 2.0624,
      "step": 1170
    },
    {
      "epoch": 0.15733333333333333,
      "grad_norm": 2.4896717071533203,
      "learning_rate": 0.00017083783783783784,
      "loss": 1.967,
      "step": 1180
    },
    {
      "epoch": 0.15866666666666668,
      "grad_norm": 2.3541336059570312,
      "learning_rate": 0.00017056756756756757,
      "loss": 2.0084,
      "step": 1190
    },
    {
      "epoch": 0.16,
      "grad_norm": 2.453277349472046,
      "learning_rate": 0.00017029729729729732,
      "loss": 2.0833,
      "step": 1200
    },
    {
      "epoch": 0.16133333333333333,
      "grad_norm": 2.260068655014038,
      "learning_rate": 0.00017002702702702705,
      "loss": 2.1794,
      "step": 1210
    },
    {
      "epoch": 0.16266666666666665,
      "grad_norm": 2.3417861461639404,
      "learning_rate": 0.00016975675675675678,
      "loss": 2.041,
      "step": 1220
    },
    {
      "epoch": 0.164,
      "grad_norm": 2.2368979454040527,
      "learning_rate": 0.00016948648648648648,
      "loss": 1.948,
      "step": 1230
    },
    {
      "epoch": 0.16533333333333333,
      "grad_norm": 2.455191135406494,
      "learning_rate": 0.0001692162162162162,
      "loss": 2.097,
      "step": 1240
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 2.4021196365356445,
      "learning_rate": 0.00016894594594594594,
      "loss": 2.2503,
      "step": 1250
    },
    {
      "epoch": 0.168,
      "grad_norm": 2.4756224155426025,
      "learning_rate": 0.0001686756756756757,
      "loss": 2.1246,
      "step": 1260
    },
    {
      "epoch": 0.16933333333333334,
      "grad_norm": 2.039151668548584,
      "learning_rate": 0.00016840540540540542,
      "loss": 2.0853,
      "step": 1270
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 2.3654773235321045,
      "learning_rate": 0.00016813513513513515,
      "loss": 1.8093,
      "step": 1280
    },
    {
      "epoch": 0.172,
      "grad_norm": 2.2299022674560547,
      "learning_rate": 0.00016786486486486488,
      "loss": 2.1571,
      "step": 1290
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 2.2870802879333496,
      "learning_rate": 0.0001675945945945946,
      "loss": 2.0854,
      "step": 1300
    },
    {
      "epoch": 0.17466666666666666,
      "grad_norm": 2.5499372482299805,
      "learning_rate": 0.0001673243243243243,
      "loss": 1.9018,
      "step": 1310
    },
    {
      "epoch": 0.176,
      "grad_norm": 2.303187608718872,
      "learning_rate": 0.00016705405405405404,
      "loss": 1.8708,
      "step": 1320
    },
    {
      "epoch": 0.17733333333333334,
      "grad_norm": 2.691697359085083,
      "learning_rate": 0.0001667837837837838,
      "loss": 2.0391,
      "step": 1330
    },
    {
      "epoch": 0.17866666666666667,
      "grad_norm": 2.1159846782684326,
      "learning_rate": 0.00016651351351351353,
      "loss": 2.0662,
      "step": 1340
    },
    {
      "epoch": 0.18,
      "grad_norm": 2.203563928604126,
      "learning_rate": 0.00016624324324324326,
      "loss": 2.1151,
      "step": 1350
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 2.6186702251434326,
      "learning_rate": 0.00016597297297297299,
      "loss": 2.0718,
      "step": 1360
    },
    {
      "epoch": 0.18266666666666667,
      "grad_norm": 2.2199795246124268,
      "learning_rate": 0.00016570270270270271,
      "loss": 2.0022,
      "step": 1370
    },
    {
      "epoch": 0.184,
      "grad_norm": 2.2812774181365967,
      "learning_rate": 0.00016543243243243244,
      "loss": 2.0641,
      "step": 1380
    },
    {
      "epoch": 0.18533333333333332,
      "grad_norm": 2.3244810104370117,
      "learning_rate": 0.00016516216216216217,
      "loss": 1.9985,
      "step": 1390
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 2.5323832035064697,
      "learning_rate": 0.0001648918918918919,
      "loss": 2.1556,
      "step": 1400
    },
    {
      "epoch": 0.188,
      "grad_norm": 2.3235483169555664,
      "learning_rate": 0.00016462162162162163,
      "loss": 2.0925,
      "step": 1410
    },
    {
      "epoch": 0.18933333333333333,
      "grad_norm": 2.1113898754119873,
      "learning_rate": 0.00016435135135135136,
      "loss": 1.9516,
      "step": 1420
    },
    {
      "epoch": 0.19066666666666668,
      "grad_norm": 2.413828134536743,
      "learning_rate": 0.0001640810810810811,
      "loss": 1.967,
      "step": 1430
    },
    {
      "epoch": 0.192,
      "grad_norm": 2.5828988552093506,
      "learning_rate": 0.00016381081081081082,
      "loss": 1.9044,
      "step": 1440
    },
    {
      "epoch": 0.19333333333333333,
      "grad_norm": 2.4083187580108643,
      "learning_rate": 0.00016354054054054055,
      "loss": 2.0735,
      "step": 1450
    },
    {
      "epoch": 0.19466666666666665,
      "grad_norm": 2.087176561355591,
      "learning_rate": 0.00016327027027027028,
      "loss": 2.1443,
      "step": 1460
    },
    {
      "epoch": 0.196,
      "grad_norm": 2.379067897796631,
      "learning_rate": 0.000163,
      "loss": 1.9315,
      "step": 1470
    },
    {
      "epoch": 0.19733333333333333,
      "grad_norm": 2.18395733833313,
      "learning_rate": 0.00016272972972972973,
      "loss": 1.9611,
      "step": 1480
    },
    {
      "epoch": 0.19866666666666666,
      "grad_norm": 2.779679298400879,
      "learning_rate": 0.00016245945945945946,
      "loss": 1.9477,
      "step": 1490
    },
    {
      "epoch": 0.2,
      "grad_norm": 2.5839364528656006,
      "learning_rate": 0.0001621891891891892,
      "loss": 2.0883,
      "step": 1500
    },
    {
      "epoch": 0.20133333333333334,
      "grad_norm": 2.2403440475463867,
      "learning_rate": 0.00016191891891891892,
      "loss": 1.9674,
      "step": 1510
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 2.212310552597046,
      "learning_rate": 0.00016164864864864865,
      "loss": 1.9615,
      "step": 1520
    },
    {
      "epoch": 0.204,
      "grad_norm": 2.061232089996338,
      "learning_rate": 0.00016137837837837838,
      "loss": 1.8414,
      "step": 1530
    },
    {
      "epoch": 0.20533333333333334,
      "grad_norm": 2.308788299560547,
      "learning_rate": 0.00016110810810810813,
      "loss": 2.1248,
      "step": 1540
    },
    {
      "epoch": 0.20666666666666667,
      "grad_norm": 2.8568644523620605,
      "learning_rate": 0.00016083783783783784,
      "loss": 2.0214,
      "step": 1550
    },
    {
      "epoch": 0.208,
      "grad_norm": 2.2601778507232666,
      "learning_rate": 0.00016056756756756757,
      "loss": 2.0157,
      "step": 1560
    },
    {
      "epoch": 0.20933333333333334,
      "grad_norm": 2.2495760917663574,
      "learning_rate": 0.0001602972972972973,
      "loss": 1.8412,
      "step": 1570
    },
    {
      "epoch": 0.21066666666666667,
      "grad_norm": 2.428441047668457,
      "learning_rate": 0.00016002702702702702,
      "loss": 1.9386,
      "step": 1580
    },
    {
      "epoch": 0.212,
      "grad_norm": 2.09167742729187,
      "learning_rate": 0.00015975675675675675,
      "loss": 1.973,
      "step": 1590
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 2.3817343711853027,
      "learning_rate": 0.0001594864864864865,
      "loss": 1.8546,
      "step": 1600
    },
    {
      "epoch": 0.21466666666666667,
      "grad_norm": 2.8860208988189697,
      "learning_rate": 0.00015921621621621624,
      "loss": 2.012,
      "step": 1610
    },
    {
      "epoch": 0.216,
      "grad_norm": 2.051791191101074,
      "learning_rate": 0.00015894594594594597,
      "loss": 2.0164,
      "step": 1620
    },
    {
      "epoch": 0.21733333333333332,
      "grad_norm": 2.287928819656372,
      "learning_rate": 0.00015867567567567567,
      "loss": 2.0204,
      "step": 1630
    },
    {
      "epoch": 0.21866666666666668,
      "grad_norm": 2.236645221710205,
      "learning_rate": 0.0001584054054054054,
      "loss": 1.9511,
      "step": 1640
    },
    {
      "epoch": 0.22,
      "grad_norm": 2.5095677375793457,
      "learning_rate": 0.00015813513513513513,
      "loss": 1.8854,
      "step": 1650
    },
    {
      "epoch": 0.22133333333333333,
      "grad_norm": 2.1247832775115967,
      "learning_rate": 0.00015786486486486488,
      "loss": 1.9322,
      "step": 1660
    },
    {
      "epoch": 0.22266666666666668,
      "grad_norm": 2.481032371520996,
      "learning_rate": 0.0001575945945945946,
      "loss": 2.0147,
      "step": 1670
    },
    {
      "epoch": 0.224,
      "grad_norm": 2.2294256687164307,
      "learning_rate": 0.00015732432432432434,
      "loss": 1.9696,
      "step": 1680
    },
    {
      "epoch": 0.22533333333333333,
      "grad_norm": 2.1882622241973877,
      "learning_rate": 0.00015705405405405407,
      "loss": 1.9985,
      "step": 1690
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 2.462214946746826,
      "learning_rate": 0.0001567837837837838,
      "loss": 1.9962,
      "step": 1700
    },
    {
      "epoch": 0.228,
      "grad_norm": 2.432840585708618,
      "learning_rate": 0.0001565135135135135,
      "loss": 1.9907,
      "step": 1710
    },
    {
      "epoch": 0.22933333333333333,
      "grad_norm": 2.3330256938934326,
      "learning_rate": 0.00015624324324324323,
      "loss": 2.0143,
      "step": 1720
    },
    {
      "epoch": 0.23066666666666666,
      "grad_norm": 2.855696439743042,
      "learning_rate": 0.00015597297297297299,
      "loss": 1.9473,
      "step": 1730
    },
    {
      "epoch": 0.232,
      "grad_norm": 2.1184675693511963,
      "learning_rate": 0.00015570270270270272,
      "loss": 1.753,
      "step": 1740
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 2.4657397270202637,
      "learning_rate": 0.00015543243243243244,
      "loss": 2.0217,
      "step": 1750
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 2.0865886211395264,
      "learning_rate": 0.00015516216216216217,
      "loss": 1.8535,
      "step": 1760
    },
    {
      "epoch": 0.236,
      "grad_norm": 2.6373355388641357,
      "learning_rate": 0.0001548918918918919,
      "loss": 2.0945,
      "step": 1770
    },
    {
      "epoch": 0.23733333333333334,
      "grad_norm": 2.4117348194122314,
      "learning_rate": 0.00015462162162162163,
      "loss": 1.8543,
      "step": 1780
    },
    {
      "epoch": 0.23866666666666667,
      "grad_norm": 2.3577213287353516,
      "learning_rate": 0.00015435135135135136,
      "loss": 1.7954,
      "step": 1790
    },
    {
      "epoch": 0.24,
      "grad_norm": 2.1598386764526367,
      "learning_rate": 0.0001540810810810811,
      "loss": 1.7916,
      "step": 1800
    },
    {
      "epoch": 0.24133333333333334,
      "grad_norm": 2.6178441047668457,
      "learning_rate": 0.00015381081081081082,
      "loss": 1.9397,
      "step": 1810
    },
    {
      "epoch": 0.24266666666666667,
      "grad_norm": 2.4125001430511475,
      "learning_rate": 0.00015354054054054055,
      "loss": 1.9107,
      "step": 1820
    },
    {
      "epoch": 0.244,
      "grad_norm": 2.800724744796753,
      "learning_rate": 0.00015327027027027028,
      "loss": 2.0856,
      "step": 1830
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 2.2823989391326904,
      "learning_rate": 0.000153,
      "loss": 2.0139,
      "step": 1840
    },
    {
      "epoch": 0.24666666666666667,
      "grad_norm": 2.6119205951690674,
      "learning_rate": 0.00015272972972972973,
      "loss": 1.9756,
      "step": 1850
    },
    {
      "epoch": 0.248,
      "grad_norm": 2.471101999282837,
      "learning_rate": 0.00015245945945945946,
      "loss": 2.0031,
      "step": 1860
    },
    {
      "epoch": 0.24933333333333332,
      "grad_norm": 3.342244863510132,
      "learning_rate": 0.00015218918918918922,
      "loss": 1.961,
      "step": 1870
    },
    {
      "epoch": 0.25066666666666665,
      "grad_norm": 2.2568140029907227,
      "learning_rate": 0.00015191891891891892,
      "loss": 1.8824,
      "step": 1880
    },
    {
      "epoch": 0.252,
      "grad_norm": 2.2656123638153076,
      "learning_rate": 0.00015164864864864865,
      "loss": 1.9523,
      "step": 1890
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 2.502617120742798,
      "learning_rate": 0.00015137837837837838,
      "loss": 1.9268,
      "step": 1900
    },
    {
      "epoch": 0.25466666666666665,
      "grad_norm": 1.9510729312896729,
      "learning_rate": 0.0001511081081081081,
      "loss": 2.0174,
      "step": 1910
    },
    {
      "epoch": 0.256,
      "grad_norm": 2.3908302783966064,
      "learning_rate": 0.00015083783783783784,
      "loss": 1.9687,
      "step": 1920
    },
    {
      "epoch": 0.25733333333333336,
      "grad_norm": 2.6163437366485596,
      "learning_rate": 0.00015056756756756757,
      "loss": 1.9372,
      "step": 1930
    },
    {
      "epoch": 0.25866666666666666,
      "grad_norm": 2.542884349822998,
      "learning_rate": 0.00015029729729729732,
      "loss": 1.8967,
      "step": 1940
    },
    {
      "epoch": 0.26,
      "grad_norm": 2.367628812789917,
      "learning_rate": 0.00015002702702702705,
      "loss": 2.0635,
      "step": 1950
    },
    {
      "epoch": 0.2613333333333333,
      "grad_norm": 2.3614468574523926,
      "learning_rate": 0.00014975675675675675,
      "loss": 1.8329,
      "step": 1960
    },
    {
      "epoch": 0.26266666666666666,
      "grad_norm": 2.4361073970794678,
      "learning_rate": 0.00014948648648648648,
      "loss": 1.883,
      "step": 1970
    },
    {
      "epoch": 0.264,
      "grad_norm": 2.4619548320770264,
      "learning_rate": 0.0001492162162162162,
      "loss": 1.8639,
      "step": 1980
    },
    {
      "epoch": 0.2653333333333333,
      "grad_norm": 2.17228364944458,
      "learning_rate": 0.00014894594594594594,
      "loss": 1.9439,
      "step": 1990
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 2.700016975402832,
      "learning_rate": 0.0001486756756756757,
      "loss": 1.8936,
      "step": 2000
    },
    {
      "epoch": 0.268,
      "grad_norm": 2.6100916862487793,
      "learning_rate": 0.00014840540540540543,
      "loss": 1.8344,
      "step": 2010
    },
    {
      "epoch": 0.2693333333333333,
      "grad_norm": 2.815261125564575,
      "learning_rate": 0.00014813513513513516,
      "loss": 1.9495,
      "step": 2020
    },
    {
      "epoch": 0.27066666666666667,
      "grad_norm": 2.138500452041626,
      "learning_rate": 0.00014786486486486488,
      "loss": 1.8193,
      "step": 2030
    },
    {
      "epoch": 0.272,
      "grad_norm": 2.1488797664642334,
      "learning_rate": 0.00014759459459459459,
      "loss": 1.9433,
      "step": 2040
    },
    {
      "epoch": 0.2733333333333333,
      "grad_norm": 2.1589486598968506,
      "learning_rate": 0.00014732432432432432,
      "loss": 1.6762,
      "step": 2050
    },
    {
      "epoch": 0.27466666666666667,
      "grad_norm": 2.2638726234436035,
      "learning_rate": 0.00014705405405405407,
      "loss": 1.9194,
      "step": 2060
    },
    {
      "epoch": 0.276,
      "grad_norm": 2.4697513580322266,
      "learning_rate": 0.0001467837837837838,
      "loss": 1.8012,
      "step": 2070
    },
    {
      "epoch": 0.2773333333333333,
      "grad_norm": 2.354917287826538,
      "learning_rate": 0.00014651351351351353,
      "loss": 1.9185,
      "step": 2080
    },
    {
      "epoch": 0.2786666666666667,
      "grad_norm": 2.6465835571289062,
      "learning_rate": 0.00014624324324324326,
      "loss": 1.8993,
      "step": 2090
    },
    {
      "epoch": 0.28,
      "grad_norm": 2.190953493118286,
      "learning_rate": 0.000145972972972973,
      "loss": 1.8787,
      "step": 2100
    },
    {
      "epoch": 0.2813333333333333,
      "grad_norm": 1.9679425954818726,
      "learning_rate": 0.00014570270270270272,
      "loss": 1.9927,
      "step": 2110
    },
    {
      "epoch": 0.2826666666666667,
      "grad_norm": 2.415135622024536,
      "learning_rate": 0.00014543243243243242,
      "loss": 1.9229,
      "step": 2120
    },
    {
      "epoch": 0.284,
      "grad_norm": 2.4086499214172363,
      "learning_rate": 0.00014516216216216217,
      "loss": 2.0727,
      "step": 2130
    },
    {
      "epoch": 0.2853333333333333,
      "grad_norm": 2.392893075942993,
      "learning_rate": 0.0001448918918918919,
      "loss": 1.7448,
      "step": 2140
    },
    {
      "epoch": 0.2866666666666667,
      "grad_norm": 2.770169258117676,
      "learning_rate": 0.00014462162162162163,
      "loss": 1.9505,
      "step": 2150
    },
    {
      "epoch": 0.288,
      "grad_norm": 2.311103582382202,
      "learning_rate": 0.00014435135135135136,
      "loss": 1.6804,
      "step": 2160
    },
    {
      "epoch": 0.28933333333333333,
      "grad_norm": 2.165285587310791,
      "learning_rate": 0.0001440810810810811,
      "loss": 1.9187,
      "step": 2170
    },
    {
      "epoch": 0.2906666666666667,
      "grad_norm": 2.094935178756714,
      "learning_rate": 0.00014381081081081082,
      "loss": 1.8903,
      "step": 2180
    },
    {
      "epoch": 0.292,
      "grad_norm": 2.519655466079712,
      "learning_rate": 0.00014354054054054055,
      "loss": 1.8652,
      "step": 2190
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 2.7851929664611816,
      "learning_rate": 0.00014327027027027028,
      "loss": 1.967,
      "step": 2200
    },
    {
      "epoch": 0.2946666666666667,
      "grad_norm": 2.0721092224121094,
      "learning_rate": 0.000143,
      "loss": 1.781,
      "step": 2210
    },
    {
      "epoch": 0.296,
      "grad_norm": 2.5341694355010986,
      "learning_rate": 0.00014272972972972974,
      "loss": 1.8954,
      "step": 2220
    },
    {
      "epoch": 0.29733333333333334,
      "grad_norm": 2.5309038162231445,
      "learning_rate": 0.00014245945945945946,
      "loss": 1.7745,
      "step": 2230
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 2.662684440612793,
      "learning_rate": 0.0001421891891891892,
      "loss": 1.9238,
      "step": 2240
    },
    {
      "epoch": 0.3,
      "grad_norm": 2.6758480072021484,
      "learning_rate": 0.00014191891891891892,
      "loss": 1.9235,
      "step": 2250
    },
    {
      "epoch": 0.30133333333333334,
      "grad_norm": 2.1309969425201416,
      "learning_rate": 0.00014164864864864865,
      "loss": 1.8598,
      "step": 2260
    },
    {
      "epoch": 0.30266666666666664,
      "grad_norm": 2.1839652061462402,
      "learning_rate": 0.0001413783783783784,
      "loss": 1.9754,
      "step": 2270
    },
    {
      "epoch": 0.304,
      "grad_norm": 2.4292712211608887,
      "learning_rate": 0.0001411081081081081,
      "loss": 1.8616,
      "step": 2280
    },
    {
      "epoch": 0.30533333333333335,
      "grad_norm": 2.4542698860168457,
      "learning_rate": 0.00014083783783783784,
      "loss": 1.8174,
      "step": 2290
    },
    {
      "epoch": 0.30666666666666664,
      "grad_norm": 2.242682456970215,
      "learning_rate": 0.00014056756756756757,
      "loss": 1.9928,
      "step": 2300
    },
    {
      "epoch": 0.308,
      "grad_norm": 2.100231885910034,
      "learning_rate": 0.0001402972972972973,
      "loss": 1.7233,
      "step": 2310
    },
    {
      "epoch": 0.30933333333333335,
      "grad_norm": 2.2382125854492188,
      "learning_rate": 0.00014002702702702703,
      "loss": 1.7495,
      "step": 2320
    },
    {
      "epoch": 0.31066666666666665,
      "grad_norm": 2.4526655673980713,
      "learning_rate": 0.00013975675675675675,
      "loss": 1.8347,
      "step": 2330
    },
    {
      "epoch": 0.312,
      "grad_norm": 2.5950348377227783,
      "learning_rate": 0.0001394864864864865,
      "loss": 2.0072,
      "step": 2340
    },
    {
      "epoch": 0.31333333333333335,
      "grad_norm": 2.5388689041137695,
      "learning_rate": 0.00013921621621621624,
      "loss": 1.797,
      "step": 2350
    },
    {
      "epoch": 0.31466666666666665,
      "grad_norm": 2.236910343170166,
      "learning_rate": 0.00013894594594594594,
      "loss": 1.9876,
      "step": 2360
    },
    {
      "epoch": 0.316,
      "grad_norm": 2.8742430210113525,
      "learning_rate": 0.00013867567567567567,
      "loss": 1.8521,
      "step": 2370
    },
    {
      "epoch": 0.31733333333333336,
      "grad_norm": 2.561190605163574,
      "learning_rate": 0.0001384054054054054,
      "loss": 2.0232,
      "step": 2380
    },
    {
      "epoch": 0.31866666666666665,
      "grad_norm": 2.38421893119812,
      "learning_rate": 0.00013813513513513513,
      "loss": 1.961,
      "step": 2390
    },
    {
      "epoch": 0.32,
      "grad_norm": 2.2902133464813232,
      "learning_rate": 0.00013786486486486488,
      "loss": 1.9902,
      "step": 2400
    },
    {
      "epoch": 0.32133333333333336,
      "grad_norm": 2.5904157161712646,
      "learning_rate": 0.00013759459459459461,
      "loss": 1.781,
      "step": 2410
    },
    {
      "epoch": 0.32266666666666666,
      "grad_norm": 2.5587573051452637,
      "learning_rate": 0.00013732432432432434,
      "loss": 1.9068,
      "step": 2420
    },
    {
      "epoch": 0.324,
      "grad_norm": 2.613391399383545,
      "learning_rate": 0.00013705405405405407,
      "loss": 2.0022,
      "step": 2430
    },
    {
      "epoch": 0.3253333333333333,
      "grad_norm": 2.584764003753662,
      "learning_rate": 0.00013678378378378377,
      "loss": 1.8805,
      "step": 2440
    },
    {
      "epoch": 0.32666666666666666,
      "grad_norm": 2.3512659072875977,
      "learning_rate": 0.0001365135135135135,
      "loss": 1.9629,
      "step": 2450
    },
    {
      "epoch": 0.328,
      "grad_norm": 2.413891315460205,
      "learning_rate": 0.00013624324324324326,
      "loss": 1.8533,
      "step": 2460
    },
    {
      "epoch": 0.3293333333333333,
      "grad_norm": 2.387099504470825,
      "learning_rate": 0.000135972972972973,
      "loss": 1.8711,
      "step": 2470
    },
    {
      "epoch": 0.33066666666666666,
      "grad_norm": 2.6385467052459717,
      "learning_rate": 0.00013570270270270272,
      "loss": 1.9717,
      "step": 2480
    },
    {
      "epoch": 0.332,
      "grad_norm": 2.960862874984741,
      "learning_rate": 0.00013543243243243245,
      "loss": 1.8296,
      "step": 2490
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 2.1800155639648438,
      "learning_rate": 0.00013516216216216218,
      "loss": 1.9322,
      "step": 2500
    },
    {
      "epoch": 0.33466666666666667,
      "grad_norm": 2.5185933113098145,
      "learning_rate": 0.0001348918918918919,
      "loss": 1.8675,
      "step": 2510
    },
    {
      "epoch": 0.336,
      "grad_norm": 2.2519352436065674,
      "learning_rate": 0.0001346216216216216,
      "loss": 1.7972,
      "step": 2520
    },
    {
      "epoch": 0.3373333333333333,
      "grad_norm": 2.6340436935424805,
      "learning_rate": 0.00013435135135135136,
      "loss": 1.9534,
      "step": 2530
    },
    {
      "epoch": 0.33866666666666667,
      "grad_norm": 2.165707588195801,
      "learning_rate": 0.0001340810810810811,
      "loss": 1.7994,
      "step": 2540
    },
    {
      "epoch": 0.34,
      "grad_norm": 2.348612070083618,
      "learning_rate": 0.00013381081081081082,
      "loss": 1.9858,
      "step": 2550
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 2.3681528568267822,
      "learning_rate": 0.00013354054054054055,
      "loss": 1.7415,
      "step": 2560
    },
    {
      "epoch": 0.3426666666666667,
      "grad_norm": 2.5608510971069336,
      "learning_rate": 0.00013327027027027028,
      "loss": 1.8823,
      "step": 2570
    },
    {
      "epoch": 0.344,
      "grad_norm": 2.6806623935699463,
      "learning_rate": 0.000133,
      "loss": 1.8476,
      "step": 2580
    },
    {
      "epoch": 0.3453333333333333,
      "grad_norm": 2.831604242324829,
      "learning_rate": 0.00013272972972972974,
      "loss": 1.9141,
      "step": 2590
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 1.9012176990509033,
      "learning_rate": 0.00013245945945945947,
      "loss": 1.8499,
      "step": 2600
    },
    {
      "epoch": 0.348,
      "grad_norm": 2.3375415802001953,
      "learning_rate": 0.0001321891891891892,
      "loss": 1.7699,
      "step": 2610
    },
    {
      "epoch": 0.34933333333333333,
      "grad_norm": 2.512385368347168,
      "learning_rate": 0.00013191891891891892,
      "loss": 1.8884,
      "step": 2620
    },
    {
      "epoch": 0.3506666666666667,
      "grad_norm": 2.3544890880584717,
      "learning_rate": 0.00013164864864864865,
      "loss": 1.9272,
      "step": 2630
    },
    {
      "epoch": 0.352,
      "grad_norm": 2.4715840816497803,
      "learning_rate": 0.00013137837837837838,
      "loss": 1.7804,
      "step": 2640
    },
    {
      "epoch": 0.35333333333333333,
      "grad_norm": 2.5176870822906494,
      "learning_rate": 0.0001311081081081081,
      "loss": 1.9021,
      "step": 2650
    },
    {
      "epoch": 0.3546666666666667,
      "grad_norm": 2.504687786102295,
      "learning_rate": 0.00013083783783783784,
      "loss": 1.8654,
      "step": 2660
    },
    {
      "epoch": 0.356,
      "grad_norm": 2.0953216552734375,
      "learning_rate": 0.0001305675675675676,
      "loss": 2.0281,
      "step": 2670
    },
    {
      "epoch": 0.35733333333333334,
      "grad_norm": 2.504034996032715,
      "learning_rate": 0.0001302972972972973,
      "loss": 1.8217,
      "step": 2680
    },
    {
      "epoch": 0.3586666666666667,
      "grad_norm": 2.6822965145111084,
      "learning_rate": 0.00013002702702702703,
      "loss": 1.8937,
      "step": 2690
    },
    {
      "epoch": 0.36,
      "grad_norm": 2.371816396713257,
      "learning_rate": 0.00012975675675675676,
      "loss": 2.0069,
      "step": 2700
    },
    {
      "epoch": 0.36133333333333334,
      "grad_norm": 2.483445167541504,
      "learning_rate": 0.00012948648648648648,
      "loss": 1.8049,
      "step": 2710
    },
    {
      "epoch": 0.3626666666666667,
      "grad_norm": 2.2719194889068604,
      "learning_rate": 0.00012921621621621621,
      "loss": 1.8349,
      "step": 2720
    },
    {
      "epoch": 0.364,
      "grad_norm": 3.004281759262085,
      "learning_rate": 0.00012894594594594597,
      "loss": 1.9028,
      "step": 2730
    },
    {
      "epoch": 0.36533333333333334,
      "grad_norm": 2.079331636428833,
      "learning_rate": 0.0001286756756756757,
      "loss": 1.9015,
      "step": 2740
    },
    {
      "epoch": 0.36666666666666664,
      "grad_norm": 2.302001953125,
      "learning_rate": 0.00012840540540540543,
      "loss": 1.7912,
      "step": 2750
    },
    {
      "epoch": 0.368,
      "grad_norm": 2.505072593688965,
      "learning_rate": 0.00012813513513513513,
      "loss": 1.7402,
      "step": 2760
    },
    {
      "epoch": 0.36933333333333335,
      "grad_norm": 2.2121100425720215,
      "learning_rate": 0.00012786486486486486,
      "loss": 1.8438,
      "step": 2770
    },
    {
      "epoch": 0.37066666666666664,
      "grad_norm": 2.7014358043670654,
      "learning_rate": 0.0001275945945945946,
      "loss": 1.8281,
      "step": 2780
    },
    {
      "epoch": 0.372,
      "grad_norm": 2.3546624183654785,
      "learning_rate": 0.00012732432432432432,
      "loss": 1.7845,
      "step": 2790
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 2.6270368099212646,
      "learning_rate": 0.00012705405405405407,
      "loss": 1.7712,
      "step": 2800
    },
    {
      "epoch": 0.37466666666666665,
      "grad_norm": 2.2024219036102295,
      "learning_rate": 0.0001267837837837838,
      "loss": 1.8937,
      "step": 2810
    },
    {
      "epoch": 0.376,
      "grad_norm": 2.725980281829834,
      "learning_rate": 0.00012651351351351353,
      "loss": 1.8,
      "step": 2820
    },
    {
      "epoch": 0.37733333333333335,
      "grad_norm": 2.736056327819824,
      "learning_rate": 0.00012624324324324326,
      "loss": 1.7882,
      "step": 2830
    },
    {
      "epoch": 0.37866666666666665,
      "grad_norm": 2.295846939086914,
      "learning_rate": 0.00012597297297297296,
      "loss": 1.8812,
      "step": 2840
    },
    {
      "epoch": 0.38,
      "grad_norm": 2.3466341495513916,
      "learning_rate": 0.0001257027027027027,
      "loss": 1.8526,
      "step": 2850
    },
    {
      "epoch": 0.38133333333333336,
      "grad_norm": 2.5064749717712402,
      "learning_rate": 0.00012543243243243245,
      "loss": 1.8277,
      "step": 2860
    },
    {
      "epoch": 0.38266666666666665,
      "grad_norm": 2.057648181915283,
      "learning_rate": 0.00012516216216216218,
      "loss": 1.8434,
      "step": 2870
    },
    {
      "epoch": 0.384,
      "grad_norm": 2.188091516494751,
      "learning_rate": 0.0001248918918918919,
      "loss": 1.7555,
      "step": 2880
    },
    {
      "epoch": 0.38533333333333336,
      "grad_norm": 2.241875410079956,
      "learning_rate": 0.00012462162162162163,
      "loss": 1.7676,
      "step": 2890
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 2.3929405212402344,
      "learning_rate": 0.00012435135135135136,
      "loss": 1.8402,
      "step": 2900
    },
    {
      "epoch": 0.388,
      "grad_norm": 2.52616024017334,
      "learning_rate": 0.0001240810810810811,
      "loss": 1.7849,
      "step": 2910
    },
    {
      "epoch": 0.3893333333333333,
      "grad_norm": 2.8403215408325195,
      "learning_rate": 0.0001238108108108108,
      "loss": 1.9443,
      "step": 2920
    },
    {
      "epoch": 0.39066666666666666,
      "grad_norm": 2.620992422103882,
      "learning_rate": 0.00012354054054054055,
      "loss": 1.8759,
      "step": 2930
    },
    {
      "epoch": 0.392,
      "grad_norm": 2.383084535598755,
      "learning_rate": 0.00012327027027027028,
      "loss": 1.7983,
      "step": 2940
    },
    {
      "epoch": 0.3933333333333333,
      "grad_norm": 2.5578014850616455,
      "learning_rate": 0.000123,
      "loss": 1.81,
      "step": 2950
    },
    {
      "epoch": 0.39466666666666667,
      "grad_norm": 2.495368003845215,
      "learning_rate": 0.00012272972972972974,
      "loss": 1.7728,
      "step": 2960
    },
    {
      "epoch": 0.396,
      "grad_norm": 2.232659101486206,
      "learning_rate": 0.00012245945945945947,
      "loss": 1.8377,
      "step": 2970
    },
    {
      "epoch": 0.3973333333333333,
      "grad_norm": 2.6198713779449463,
      "learning_rate": 0.0001221891891891892,
      "loss": 1.9587,
      "step": 2980
    },
    {
      "epoch": 0.39866666666666667,
      "grad_norm": 2.1526083946228027,
      "learning_rate": 0.00012191891891891894,
      "loss": 1.809,
      "step": 2990
    },
    {
      "epoch": 0.4,
      "grad_norm": 2.3453357219696045,
      "learning_rate": 0.00012164864864864864,
      "loss": 1.9066,
      "step": 3000
    },
    {
      "epoch": 0.4013333333333333,
      "grad_norm": 2.4124536514282227,
      "learning_rate": 0.00012137837837837838,
      "loss": 1.8622,
      "step": 3010
    },
    {
      "epoch": 0.4026666666666667,
      "grad_norm": 2.6172194480895996,
      "learning_rate": 0.00012110810810810811,
      "loss": 1.8597,
      "step": 3020
    },
    {
      "epoch": 0.404,
      "grad_norm": 2.4721031188964844,
      "learning_rate": 0.00012083783783783784,
      "loss": 1.8155,
      "step": 3030
    },
    {
      "epoch": 0.4053333333333333,
      "grad_norm": 2.181688070297241,
      "learning_rate": 0.00012056756756756757,
      "loss": 1.7773,
      "step": 3040
    },
    {
      "epoch": 0.4066666666666667,
      "grad_norm": 2.3668036460876465,
      "learning_rate": 0.00012029729729729731,
      "loss": 1.8723,
      "step": 3050
    },
    {
      "epoch": 0.408,
      "grad_norm": 2.3490967750549316,
      "learning_rate": 0.00012002702702702704,
      "loss": 1.9486,
      "step": 3060
    },
    {
      "epoch": 0.4093333333333333,
      "grad_norm": 2.873337984085083,
      "learning_rate": 0.00011975675675675677,
      "loss": 1.6982,
      "step": 3070
    },
    {
      "epoch": 0.4106666666666667,
      "grad_norm": 2.973256826400757,
      "learning_rate": 0.00011948648648648649,
      "loss": 1.8668,
      "step": 3080
    },
    {
      "epoch": 0.412,
      "grad_norm": 2.4113101959228516,
      "learning_rate": 0.00011921621621621621,
      "loss": 1.8744,
      "step": 3090
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 2.451672077178955,
      "learning_rate": 0.00011894594594594594,
      "loss": 1.8917,
      "step": 3100
    },
    {
      "epoch": 0.4146666666666667,
      "grad_norm": 2.1510443687438965,
      "learning_rate": 0.00011867567567567569,
      "loss": 1.867,
      "step": 3110
    },
    {
      "epoch": 0.416,
      "grad_norm": 2.453091621398926,
      "learning_rate": 0.00011840540540540542,
      "loss": 1.8437,
      "step": 3120
    },
    {
      "epoch": 0.41733333333333333,
      "grad_norm": 2.2953782081604004,
      "learning_rate": 0.00011813513513513514,
      "loss": 1.8312,
      "step": 3130
    },
    {
      "epoch": 0.4186666666666667,
      "grad_norm": 2.1897218227386475,
      "learning_rate": 0.00011786486486486487,
      "loss": 1.7924,
      "step": 3140
    },
    {
      "epoch": 0.42,
      "grad_norm": 2.358774185180664,
      "learning_rate": 0.00011759459459459462,
      "loss": 1.8807,
      "step": 3150
    },
    {
      "epoch": 0.42133333333333334,
      "grad_norm": 2.3652596473693848,
      "learning_rate": 0.00011732432432432432,
      "loss": 1.7519,
      "step": 3160
    },
    {
      "epoch": 0.4226666666666667,
      "grad_norm": 2.2734439373016357,
      "learning_rate": 0.00011705405405405405,
      "loss": 1.9866,
      "step": 3170
    },
    {
      "epoch": 0.424,
      "grad_norm": 2.14550518989563,
      "learning_rate": 0.00011678378378378379,
      "loss": 1.7491,
      "step": 3180
    },
    {
      "epoch": 0.42533333333333334,
      "grad_norm": 2.2799768447875977,
      "learning_rate": 0.00011651351351351352,
      "loss": 1.8064,
      "step": 3190
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 2.2822225093841553,
      "learning_rate": 0.00011624324324324325,
      "loss": 1.8875,
      "step": 3200
    },
    {
      "epoch": 0.428,
      "grad_norm": 2.3406484127044678,
      "learning_rate": 0.00011597297297297298,
      "loss": 1.7164,
      "step": 3210
    },
    {
      "epoch": 0.42933333333333334,
      "grad_norm": 2.42501163482666,
      "learning_rate": 0.00011570270270270272,
      "loss": 1.6375,
      "step": 3220
    },
    {
      "epoch": 0.43066666666666664,
      "grad_norm": 2.5525708198547363,
      "learning_rate": 0.00011543243243243245,
      "loss": 1.8152,
      "step": 3230
    },
    {
      "epoch": 0.432,
      "grad_norm": 2.5526885986328125,
      "learning_rate": 0.00011516216216216216,
      "loss": 1.8527,
      "step": 3240
    },
    {
      "epoch": 0.43333333333333335,
      "grad_norm": 2.4633045196533203,
      "learning_rate": 0.00011489189189189189,
      "loss": 1.9891,
      "step": 3250
    },
    {
      "epoch": 0.43466666666666665,
      "grad_norm": 2.543779134750366,
      "learning_rate": 0.00011462162162162162,
      "loss": 1.657,
      "step": 3260
    },
    {
      "epoch": 0.436,
      "grad_norm": 2.3144562244415283,
      "learning_rate": 0.00011435135135135135,
      "loss": 1.7782,
      "step": 3270
    },
    {
      "epoch": 0.43733333333333335,
      "grad_norm": 2.4620347023010254,
      "learning_rate": 0.00011408108108108109,
      "loss": 1.671,
      "step": 3280
    },
    {
      "epoch": 0.43866666666666665,
      "grad_norm": 2.1379547119140625,
      "learning_rate": 0.00011381081081081082,
      "loss": 1.7785,
      "step": 3290
    },
    {
      "epoch": 0.44,
      "grad_norm": 2.7815945148468018,
      "learning_rate": 0.00011354054054054055,
      "loss": 1.8815,
      "step": 3300
    },
    {
      "epoch": 0.44133333333333336,
      "grad_norm": 2.363492012023926,
      "learning_rate": 0.00011327027027027028,
      "loss": 1.7913,
      "step": 3310
    },
    {
      "epoch": 0.44266666666666665,
      "grad_norm": 2.4313836097717285,
      "learning_rate": 0.000113,
      "loss": 1.6717,
      "step": 3320
    },
    {
      "epoch": 0.444,
      "grad_norm": 2.3215606212615967,
      "learning_rate": 0.00011272972972972972,
      "loss": 1.7141,
      "step": 3330
    },
    {
      "epoch": 0.44533333333333336,
      "grad_norm": 2.645784854888916,
      "learning_rate": 0.00011245945945945945,
      "loss": 1.7668,
      "step": 3340
    },
    {
      "epoch": 0.44666666666666666,
      "grad_norm": 2.1791491508483887,
      "learning_rate": 0.0001121891891891892,
      "loss": 1.6896,
      "step": 3350
    },
    {
      "epoch": 0.448,
      "grad_norm": 2.405156135559082,
      "learning_rate": 0.00011191891891891893,
      "loss": 1.7193,
      "step": 3360
    },
    {
      "epoch": 0.4493333333333333,
      "grad_norm": 2.422961473464966,
      "learning_rate": 0.00011164864864864865,
      "loss": 1.7974,
      "step": 3370
    },
    {
      "epoch": 0.45066666666666666,
      "grad_norm": 2.448552370071411,
      "learning_rate": 0.00011137837837837838,
      "loss": 1.7334,
      "step": 3380
    },
    {
      "epoch": 0.452,
      "grad_norm": 2.373347520828247,
      "learning_rate": 0.00011110810810810813,
      "loss": 1.8613,
      "step": 3390
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 2.2626328468322754,
      "learning_rate": 0.00011083783783783783,
      "loss": 1.9542,
      "step": 3400
    },
    {
      "epoch": 0.45466666666666666,
      "grad_norm": 2.335479497909546,
      "learning_rate": 0.00011056756756756757,
      "loss": 1.7644,
      "step": 3410
    },
    {
      "epoch": 0.456,
      "grad_norm": 2.395338773727417,
      "learning_rate": 0.0001102972972972973,
      "loss": 1.8408,
      "step": 3420
    },
    {
      "epoch": 0.4573333333333333,
      "grad_norm": 2.3638622760772705,
      "learning_rate": 0.00011002702702702703,
      "loss": 1.7154,
      "step": 3430
    },
    {
      "epoch": 0.45866666666666667,
      "grad_norm": 2.7765445709228516,
      "learning_rate": 0.00010975675675675676,
      "loss": 1.9639,
      "step": 3440
    },
    {
      "epoch": 0.46,
      "grad_norm": 2.2215042114257812,
      "learning_rate": 0.0001094864864864865,
      "loss": 1.6793,
      "step": 3450
    },
    {
      "epoch": 0.4613333333333333,
      "grad_norm": 2.3340561389923096,
      "learning_rate": 0.00010921621621621623,
      "loss": 1.8801,
      "step": 3460
    },
    {
      "epoch": 0.46266666666666667,
      "grad_norm": 2.5933775901794434,
      "learning_rate": 0.00010894594594594596,
      "loss": 1.7788,
      "step": 3470
    },
    {
      "epoch": 0.464,
      "grad_norm": 2.8188467025756836,
      "learning_rate": 0.00010867567567567567,
      "loss": 1.7195,
      "step": 3480
    },
    {
      "epoch": 0.4653333333333333,
      "grad_norm": 2.4774179458618164,
      "learning_rate": 0.0001084054054054054,
      "loss": 1.8218,
      "step": 3490
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 2.1092641353607178,
      "learning_rate": 0.00010813513513513513,
      "loss": 1.8152,
      "step": 3500
    },
    {
      "epoch": 0.468,
      "grad_norm": 2.6163859367370605,
      "learning_rate": 0.00010786486486486487,
      "loss": 1.8379,
      "step": 3510
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 2.596951484680176,
      "learning_rate": 0.0001075945945945946,
      "loss": 1.7957,
      "step": 3520
    },
    {
      "epoch": 0.4706666666666667,
      "grad_norm": 2.303182601928711,
      "learning_rate": 0.00010732432432432433,
      "loss": 1.8729,
      "step": 3530
    },
    {
      "epoch": 0.472,
      "grad_norm": 2.363114595413208,
      "learning_rate": 0.00010705405405405406,
      "loss": 1.963,
      "step": 3540
    },
    {
      "epoch": 0.47333333333333333,
      "grad_norm": 2.3271377086639404,
      "learning_rate": 0.0001067837837837838,
      "loss": 1.7534,
      "step": 3550
    },
    {
      "epoch": 0.4746666666666667,
      "grad_norm": 2.517594337463379,
      "learning_rate": 0.0001065135135135135,
      "loss": 1.737,
      "step": 3560
    },
    {
      "epoch": 0.476,
      "grad_norm": 2.4857470989227295,
      "learning_rate": 0.00010624324324324323,
      "loss": 1.7539,
      "step": 3570
    },
    {
      "epoch": 0.47733333333333333,
      "grad_norm": 2.998281478881836,
      "learning_rate": 0.00010597297297297298,
      "loss": 1.808,
      "step": 3580
    },
    {
      "epoch": 0.4786666666666667,
      "grad_norm": 2.3807339668273926,
      "learning_rate": 0.0001057027027027027,
      "loss": 1.8887,
      "step": 3590
    },
    {
      "epoch": 0.48,
      "grad_norm": 2.3057262897491455,
      "learning_rate": 0.00010543243243243244,
      "loss": 1.773,
      "step": 3600
    },
    {
      "epoch": 0.48133333333333334,
      "grad_norm": 2.498272657394409,
      "learning_rate": 0.00010516216216216216,
      "loss": 1.7171,
      "step": 3610
    },
    {
      "epoch": 0.4826666666666667,
      "grad_norm": 2.491147994995117,
      "learning_rate": 0.00010489189189189191,
      "loss": 1.8013,
      "step": 3620
    },
    {
      "epoch": 0.484,
      "grad_norm": 2.615712881088257,
      "learning_rate": 0.00010462162162162164,
      "loss": 1.9365,
      "step": 3630
    },
    {
      "epoch": 0.48533333333333334,
      "grad_norm": 2.81484055519104,
      "learning_rate": 0.00010435135135135136,
      "loss": 1.714,
      "step": 3640
    },
    {
      "epoch": 0.4866666666666667,
      "grad_norm": 2.371706247329712,
      "learning_rate": 0.00010408108108108108,
      "loss": 1.801,
      "step": 3650
    },
    {
      "epoch": 0.488,
      "grad_norm": 2.4274868965148926,
      "learning_rate": 0.00010381081081081081,
      "loss": 1.6728,
      "step": 3660
    },
    {
      "epoch": 0.48933333333333334,
      "grad_norm": 2.419053316116333,
      "learning_rate": 0.00010354054054054054,
      "loss": 1.7538,
      "step": 3670
    },
    {
      "epoch": 0.49066666666666664,
      "grad_norm": 2.3377275466918945,
      "learning_rate": 0.00010327027027027028,
      "loss": 1.6784,
      "step": 3680
    },
    {
      "epoch": 0.492,
      "grad_norm": 2.5018696784973145,
      "learning_rate": 0.00010300000000000001,
      "loss": 1.8772,
      "step": 3690
    },
    {
      "epoch": 0.49333333333333335,
      "grad_norm": 2.106964349746704,
      "learning_rate": 0.00010272972972972974,
      "loss": 1.7381,
      "step": 3700
    },
    {
      "epoch": 0.49466666666666664,
      "grad_norm": 2.7904281616210938,
      "learning_rate": 0.00010245945945945947,
      "loss": 1.7774,
      "step": 3710
    },
    {
      "epoch": 0.496,
      "grad_norm": 2.5653111934661865,
      "learning_rate": 0.00010218918918918921,
      "loss": 1.861,
      "step": 3720
    },
    {
      "epoch": 0.49733333333333335,
      "grad_norm": 2.198683261871338,
      "learning_rate": 0.00010191891891891891,
      "loss": 1.7723,
      "step": 3730
    },
    {
      "epoch": 0.49866666666666665,
      "grad_norm": 2.7365922927856445,
      "learning_rate": 0.00010164864864864864,
      "loss": 1.7066,
      "step": 3740
    },
    {
      "epoch": 0.5,
      "grad_norm": 2.3762874603271484,
      "learning_rate": 0.00010137837837837838,
      "loss": 1.8504,
      "step": 3750
    },
    {
      "epoch": 0.5013333333333333,
      "grad_norm": 2.620673179626465,
      "learning_rate": 0.00010110810810810811,
      "loss": 1.8199,
      "step": 3760
    },
    {
      "epoch": 0.5026666666666667,
      "grad_norm": 2.5394673347473145,
      "learning_rate": 0.00010083783783783784,
      "loss": 1.8501,
      "step": 3770
    },
    {
      "epoch": 0.504,
      "grad_norm": 2.297248125076294,
      "learning_rate": 0.00010056756756756757,
      "loss": 1.6851,
      "step": 3780
    },
    {
      "epoch": 0.5053333333333333,
      "grad_norm": 2.316267967224121,
      "learning_rate": 0.00010029729729729731,
      "loss": 1.7737,
      "step": 3790
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 2.332772970199585,
      "learning_rate": 0.00010002702702702704,
      "loss": 1.7312,
      "step": 3800
    },
    {
      "epoch": 0.508,
      "grad_norm": 2.190260410308838,
      "learning_rate": 9.975675675675676e-05,
      "loss": 1.7734,
      "step": 3810
    },
    {
      "epoch": 0.5093333333333333,
      "grad_norm": 2.7426130771636963,
      "learning_rate": 9.94864864864865e-05,
      "loss": 1.7855,
      "step": 3820
    },
    {
      "epoch": 0.5106666666666667,
      "grad_norm": 2.242137908935547,
      "learning_rate": 9.921621621621622e-05,
      "loss": 1.7832,
      "step": 3830
    },
    {
      "epoch": 0.512,
      "grad_norm": 2.5682225227355957,
      "learning_rate": 9.894594594594595e-05,
      "loss": 1.6038,
      "step": 3840
    },
    {
      "epoch": 0.5133333333333333,
      "grad_norm": 2.2677552700042725,
      "learning_rate": 9.867567567567569e-05,
      "loss": 1.6608,
      "step": 3850
    },
    {
      "epoch": 0.5146666666666667,
      "grad_norm": 2.7266035079956055,
      "learning_rate": 9.840540540540542e-05,
      "loss": 1.82,
      "step": 3860
    },
    {
      "epoch": 0.516,
      "grad_norm": 2.479783058166504,
      "learning_rate": 9.813513513513513e-05,
      "loss": 1.7791,
      "step": 3870
    },
    {
      "epoch": 0.5173333333333333,
      "grad_norm": 2.4355106353759766,
      "learning_rate": 9.786486486486487e-05,
      "loss": 1.7157,
      "step": 3880
    },
    {
      "epoch": 0.5186666666666667,
      "grad_norm": 2.2603278160095215,
      "learning_rate": 9.75945945945946e-05,
      "loss": 1.8092,
      "step": 3890
    },
    {
      "epoch": 0.52,
      "grad_norm": 2.4887278079986572,
      "learning_rate": 9.732432432432433e-05,
      "loss": 1.7094,
      "step": 3900
    },
    {
      "epoch": 0.5213333333333333,
      "grad_norm": 2.621600866317749,
      "learning_rate": 9.705405405405406e-05,
      "loss": 1.8193,
      "step": 3910
    },
    {
      "epoch": 0.5226666666666666,
      "grad_norm": 2.263338565826416,
      "learning_rate": 9.678378378378379e-05,
      "loss": 1.9238,
      "step": 3920
    },
    {
      "epoch": 0.524,
      "grad_norm": 2.3326528072357178,
      "learning_rate": 9.651351351351352e-05,
      "loss": 1.7959,
      "step": 3930
    },
    {
      "epoch": 0.5253333333333333,
      "grad_norm": 2.843334913253784,
      "learning_rate": 9.624324324324325e-05,
      "loss": 1.7858,
      "step": 3940
    },
    {
      "epoch": 0.5266666666666666,
      "grad_norm": 2.7273387908935547,
      "learning_rate": 9.597297297297298e-05,
      "loss": 1.6727,
      "step": 3950
    },
    {
      "epoch": 0.528,
      "grad_norm": 2.3087942600250244,
      "learning_rate": 9.570270270270271e-05,
      "loss": 1.7141,
      "step": 3960
    },
    {
      "epoch": 0.5293333333333333,
      "grad_norm": 2.8893113136291504,
      "learning_rate": 9.543243243243244e-05,
      "loss": 1.8398,
      "step": 3970
    },
    {
      "epoch": 0.5306666666666666,
      "grad_norm": 2.326162576675415,
      "learning_rate": 9.516216216216217e-05,
      "loss": 1.684,
      "step": 3980
    },
    {
      "epoch": 0.532,
      "grad_norm": 2.185478925704956,
      "learning_rate": 9.48918918918919e-05,
      "loss": 1.7513,
      "step": 3990
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 2.5856521129608154,
      "learning_rate": 9.462162162162162e-05,
      "loss": 1.7606,
      "step": 4000
    },
    {
      "epoch": 0.5346666666666666,
      "grad_norm": 2.2908594608306885,
      "learning_rate": 9.435135135135135e-05,
      "loss": 1.771,
      "step": 4010
    },
    {
      "epoch": 0.536,
      "grad_norm": 2.780820369720459,
      "learning_rate": 9.40810810810811e-05,
      "loss": 1.7179,
      "step": 4020
    },
    {
      "epoch": 0.5373333333333333,
      "grad_norm": 2.564866781234741,
      "learning_rate": 9.381081081081081e-05,
      "loss": 1.7235,
      "step": 4030
    },
    {
      "epoch": 0.5386666666666666,
      "grad_norm": 2.4878122806549072,
      "learning_rate": 9.354054054054054e-05,
      "loss": 1.6965,
      "step": 4040
    },
    {
      "epoch": 0.54,
      "grad_norm": 2.3223400115966797,
      "learning_rate": 9.327027027027028e-05,
      "loss": 1.9201,
      "step": 4050
    },
    {
      "epoch": 0.5413333333333333,
      "grad_norm": 2.294663667678833,
      "learning_rate": 9.300000000000001e-05,
      "loss": 1.7465,
      "step": 4060
    },
    {
      "epoch": 0.5426666666666666,
      "grad_norm": 2.4434211254119873,
      "learning_rate": 9.272972972972973e-05,
      "loss": 1.8371,
      "step": 4070
    },
    {
      "epoch": 0.544,
      "grad_norm": 2.2722768783569336,
      "learning_rate": 9.245945945945947e-05,
      "loss": 1.6401,
      "step": 4080
    },
    {
      "epoch": 0.5453333333333333,
      "grad_norm": 2.0681846141815186,
      "learning_rate": 9.21891891891892e-05,
      "loss": 1.7559,
      "step": 4090
    },
    {
      "epoch": 0.5466666666666666,
      "grad_norm": 2.4701437950134277,
      "learning_rate": 9.191891891891893e-05,
      "loss": 1.7718,
      "step": 4100
    },
    {
      "epoch": 0.548,
      "grad_norm": 2.545989513397217,
      "learning_rate": 9.164864864864866e-05,
      "loss": 1.7521,
      "step": 4110
    },
    {
      "epoch": 0.5493333333333333,
      "grad_norm": 2.7108235359191895,
      "learning_rate": 9.137837837837838e-05,
      "loss": 1.7254,
      "step": 4120
    },
    {
      "epoch": 0.5506666666666666,
      "grad_norm": 2.4735264778137207,
      "learning_rate": 9.110810810810811e-05,
      "loss": 1.7458,
      "step": 4130
    },
    {
      "epoch": 0.552,
      "grad_norm": 2.220050573348999,
      "learning_rate": 9.083783783783784e-05,
      "loss": 1.77,
      "step": 4140
    },
    {
      "epoch": 0.5533333333333333,
      "grad_norm": 2.395819902420044,
      "learning_rate": 9.056756756756757e-05,
      "loss": 1.7674,
      "step": 4150
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 2.2065374851226807,
      "learning_rate": 9.02972972972973e-05,
      "loss": 1.6576,
      "step": 4160
    },
    {
      "epoch": 0.556,
      "grad_norm": 2.499130964279175,
      "learning_rate": 9.002702702702703e-05,
      "loss": 1.7199,
      "step": 4170
    },
    {
      "epoch": 0.5573333333333333,
      "grad_norm": 2.316784381866455,
      "learning_rate": 8.975675675675676e-05,
      "loss": 1.7379,
      "step": 4180
    },
    {
      "epoch": 0.5586666666666666,
      "grad_norm": 2.3874051570892334,
      "learning_rate": 8.948648648648649e-05,
      "loss": 1.6866,
      "step": 4190
    },
    {
      "epoch": 0.56,
      "grad_norm": 2.3450894355773926,
      "learning_rate": 8.921621621621622e-05,
      "loss": 1.7862,
      "step": 4200
    },
    {
      "epoch": 0.5613333333333334,
      "grad_norm": 2.4151878356933594,
      "learning_rate": 8.894594594594595e-05,
      "loss": 1.8199,
      "step": 4210
    },
    {
      "epoch": 0.5626666666666666,
      "grad_norm": 2.5283477306365967,
      "learning_rate": 8.867567567567569e-05,
      "loss": 1.8578,
      "step": 4220
    },
    {
      "epoch": 0.564,
      "grad_norm": 2.4942572116851807,
      "learning_rate": 8.84054054054054e-05,
      "loss": 1.7759,
      "step": 4230
    },
    {
      "epoch": 0.5653333333333334,
      "grad_norm": 2.476116895675659,
      "learning_rate": 8.813513513513513e-05,
      "loss": 1.8068,
      "step": 4240
    },
    {
      "epoch": 0.5666666666666667,
      "grad_norm": 2.4816012382507324,
      "learning_rate": 8.786486486486488e-05,
      "loss": 1.7716,
      "step": 4250
    },
    {
      "epoch": 0.568,
      "grad_norm": 2.349569320678711,
      "learning_rate": 8.75945945945946e-05,
      "loss": 1.6928,
      "step": 4260
    },
    {
      "epoch": 0.5693333333333334,
      "grad_norm": 2.599334955215454,
      "learning_rate": 8.732432432432432e-05,
      "loss": 1.7631,
      "step": 4270
    },
    {
      "epoch": 0.5706666666666667,
      "grad_norm": 2.4788341522216797,
      "learning_rate": 8.705405405405406e-05,
      "loss": 1.5607,
      "step": 4280
    },
    {
      "epoch": 0.572,
      "grad_norm": 2.4678757190704346,
      "learning_rate": 8.678378378378379e-05,
      "loss": 1.7926,
      "step": 4290
    },
    {
      "epoch": 0.5733333333333334,
      "grad_norm": 2.707916736602783,
      "learning_rate": 8.651351351351352e-05,
      "loss": 1.7541,
      "step": 4300
    },
    {
      "epoch": 0.5746666666666667,
      "grad_norm": 2.478193759918213,
      "learning_rate": 8.624324324324325e-05,
      "loss": 1.6382,
      "step": 4310
    },
    {
      "epoch": 0.576,
      "grad_norm": 2.7475545406341553,
      "learning_rate": 8.597297297297298e-05,
      "loss": 1.6723,
      "step": 4320
    },
    {
      "epoch": 0.5773333333333334,
      "grad_norm": 2.6279048919677734,
      "learning_rate": 8.570270270270271e-05,
      "loss": 1.8845,
      "step": 4330
    },
    {
      "epoch": 0.5786666666666667,
      "grad_norm": 2.270444393157959,
      "learning_rate": 8.543243243243244e-05,
      "loss": 1.8199,
      "step": 4340
    },
    {
      "epoch": 0.58,
      "grad_norm": 2.681002616882324,
      "learning_rate": 8.516216216216217e-05,
      "loss": 1.7343,
      "step": 4350
    },
    {
      "epoch": 0.5813333333333334,
      "grad_norm": 2.756366014480591,
      "learning_rate": 8.48918918918919e-05,
      "loss": 1.7764,
      "step": 4360
    },
    {
      "epoch": 0.5826666666666667,
      "grad_norm": 2.6855266094207764,
      "learning_rate": 8.462162162162162e-05,
      "loss": 1.6117,
      "step": 4370
    },
    {
      "epoch": 0.584,
      "grad_norm": 2.4041712284088135,
      "learning_rate": 8.435135135135135e-05,
      "loss": 1.7411,
      "step": 4380
    },
    {
      "epoch": 0.5853333333333334,
      "grad_norm": 2.4793505668640137,
      "learning_rate": 8.408108108108108e-05,
      "loss": 1.7765,
      "step": 4390
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 2.3179032802581787,
      "learning_rate": 8.381081081081081e-05,
      "loss": 1.7906,
      "step": 4400
    },
    {
      "epoch": 0.588,
      "grad_norm": 2.4121007919311523,
      "learning_rate": 8.354054054054054e-05,
      "loss": 1.5975,
      "step": 4410
    },
    {
      "epoch": 0.5893333333333334,
      "grad_norm": 2.316859722137451,
      "learning_rate": 8.327027027027028e-05,
      "loss": 1.7897,
      "step": 4420
    },
    {
      "epoch": 0.5906666666666667,
      "grad_norm": 2.4854021072387695,
      "learning_rate": 8.3e-05,
      "loss": 1.8299,
      "step": 4430
    },
    {
      "epoch": 0.592,
      "grad_norm": 2.215632677078247,
      "learning_rate": 8.272972972972973e-05,
      "loss": 1.7155,
      "step": 4440
    },
    {
      "epoch": 0.5933333333333334,
      "grad_norm": 2.052816390991211,
      "learning_rate": 8.245945945945947e-05,
      "loss": 1.842,
      "step": 4450
    },
    {
      "epoch": 0.5946666666666667,
      "grad_norm": 2.4223296642303467,
      "learning_rate": 8.21891891891892e-05,
      "loss": 1.7534,
      "step": 4460
    },
    {
      "epoch": 0.596,
      "grad_norm": 2.5604755878448486,
      "learning_rate": 8.191891891891891e-05,
      "loss": 1.8931,
      "step": 4470
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 2.4084320068359375,
      "learning_rate": 8.164864864864866e-05,
      "loss": 1.8604,
      "step": 4480
    },
    {
      "epoch": 0.5986666666666667,
      "grad_norm": 2.3748981952667236,
      "learning_rate": 8.137837837837839e-05,
      "loss": 1.6899,
      "step": 4490
    },
    {
      "epoch": 0.6,
      "grad_norm": 2.626437187194824,
      "learning_rate": 8.110810810810811e-05,
      "loss": 1.7266,
      "step": 4500
    },
    {
      "epoch": 0.6013333333333334,
      "grad_norm": 2.8805296421051025,
      "learning_rate": 8.083783783783784e-05,
      "loss": 1.6474,
      "step": 4510
    },
    {
      "epoch": 0.6026666666666667,
      "grad_norm": 2.7690365314483643,
      "learning_rate": 8.056756756756757e-05,
      "loss": 1.8816,
      "step": 4520
    },
    {
      "epoch": 0.604,
      "grad_norm": 2.068767786026001,
      "learning_rate": 8.02972972972973e-05,
      "loss": 1.6933,
      "step": 4530
    },
    {
      "epoch": 0.6053333333333333,
      "grad_norm": 2.304553270339966,
      "learning_rate": 8.002702702702703e-05,
      "loss": 1.7292,
      "step": 4540
    },
    {
      "epoch": 0.6066666666666667,
      "grad_norm": 2.5072391033172607,
      "learning_rate": 7.975675675675676e-05,
      "loss": 1.6681,
      "step": 4550
    },
    {
      "epoch": 0.608,
      "grad_norm": 2.6145615577697754,
      "learning_rate": 7.948648648648649e-05,
      "loss": 1.6283,
      "step": 4560
    },
    {
      "epoch": 0.6093333333333333,
      "grad_norm": 2.449979066848755,
      "learning_rate": 7.921621621621622e-05,
      "loss": 1.8048,
      "step": 4570
    },
    {
      "epoch": 0.6106666666666667,
      "grad_norm": 2.9940662384033203,
      "learning_rate": 7.894594594594596e-05,
      "loss": 1.9057,
      "step": 4580
    },
    {
      "epoch": 0.612,
      "grad_norm": 2.5613086223602295,
      "learning_rate": 7.867567567567568e-05,
      "loss": 1.7684,
      "step": 4590
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 2.5477535724639893,
      "learning_rate": 7.84054054054054e-05,
      "loss": 1.6731,
      "step": 4600
    },
    {
      "epoch": 0.6146666666666667,
      "grad_norm": 2.6440248489379883,
      "learning_rate": 7.813513513513513e-05,
      "loss": 1.636,
      "step": 4610
    },
    {
      "epoch": 0.616,
      "grad_norm": 2.123093605041504,
      "learning_rate": 7.786486486486488e-05,
      "loss": 1.8323,
      "step": 4620
    },
    {
      "epoch": 0.6173333333333333,
      "grad_norm": 2.5474610328674316,
      "learning_rate": 7.759459459459459e-05,
      "loss": 1.7251,
      "step": 4630
    },
    {
      "epoch": 0.6186666666666667,
      "grad_norm": 2.78224778175354,
      "learning_rate": 7.732432432432432e-05,
      "loss": 1.7143,
      "step": 4640
    },
    {
      "epoch": 0.62,
      "grad_norm": 2.470123767852783,
      "learning_rate": 7.705405405405406e-05,
      "loss": 1.7682,
      "step": 4650
    },
    {
      "epoch": 0.6213333333333333,
      "grad_norm": 2.5710723400115967,
      "learning_rate": 7.678378378378379e-05,
      "loss": 1.8062,
      "step": 4660
    },
    {
      "epoch": 0.6226666666666667,
      "grad_norm": 2.321366310119629,
      "learning_rate": 7.651351351351351e-05,
      "loss": 1.7087,
      "step": 4670
    },
    {
      "epoch": 0.624,
      "grad_norm": 2.769404411315918,
      "learning_rate": 7.624324324324325e-05,
      "loss": 1.8375,
      "step": 4680
    },
    {
      "epoch": 0.6253333333333333,
      "grad_norm": 2.4478726387023926,
      "learning_rate": 7.597297297297298e-05,
      "loss": 1.663,
      "step": 4690
    },
    {
      "epoch": 0.6266666666666667,
      "grad_norm": 2.865020275115967,
      "learning_rate": 7.570270270270271e-05,
      "loss": 1.7983,
      "step": 4700
    },
    {
      "epoch": 0.628,
      "grad_norm": 2.564938545227051,
      "learning_rate": 7.543243243243244e-05,
      "loss": 1.7516,
      "step": 4710
    },
    {
      "epoch": 0.6293333333333333,
      "grad_norm": 2.2252092361450195,
      "learning_rate": 7.516216216216217e-05,
      "loss": 1.716,
      "step": 4720
    },
    {
      "epoch": 0.6306666666666667,
      "grad_norm": 2.067749261856079,
      "learning_rate": 7.48918918918919e-05,
      "loss": 1.6779,
      "step": 4730
    },
    {
      "epoch": 0.632,
      "grad_norm": 2.7093424797058105,
      "learning_rate": 7.462162162162162e-05,
      "loss": 1.7285,
      "step": 4740
    },
    {
      "epoch": 0.6333333333333333,
      "grad_norm": 2.576286554336548,
      "learning_rate": 7.435135135135135e-05,
      "loss": 1.619,
      "step": 4750
    },
    {
      "epoch": 0.6346666666666667,
      "grad_norm": 2.5047481060028076,
      "learning_rate": 7.408108108108108e-05,
      "loss": 1.9123,
      "step": 4760
    },
    {
      "epoch": 0.636,
      "grad_norm": 2.2953903675079346,
      "learning_rate": 7.381081081081081e-05,
      "loss": 1.6716,
      "step": 4770
    },
    {
      "epoch": 0.6373333333333333,
      "grad_norm": 2.3581738471984863,
      "learning_rate": 7.354054054054055e-05,
      "loss": 1.7734,
      "step": 4780
    },
    {
      "epoch": 0.6386666666666667,
      "grad_norm": 2.7139110565185547,
      "learning_rate": 7.327027027027027e-05,
      "loss": 1.758,
      "step": 4790
    },
    {
      "epoch": 0.64,
      "grad_norm": 2.26751971244812,
      "learning_rate": 7.3e-05,
      "loss": 1.6165,
      "step": 4800
    },
    {
      "epoch": 0.6413333333333333,
      "grad_norm": 2.472557306289673,
      "learning_rate": 7.272972972972973e-05,
      "loss": 1.7257,
      "step": 4810
    },
    {
      "epoch": 0.6426666666666667,
      "grad_norm": 2.4562666416168213,
      "learning_rate": 7.245945945945947e-05,
      "loss": 1.6237,
      "step": 4820
    },
    {
      "epoch": 0.644,
      "grad_norm": 2.587217092514038,
      "learning_rate": 7.218918918918919e-05,
      "loss": 1.7768,
      "step": 4830
    },
    {
      "epoch": 0.6453333333333333,
      "grad_norm": 2.319197416305542,
      "learning_rate": 7.191891891891892e-05,
      "loss": 1.8886,
      "step": 4840
    },
    {
      "epoch": 0.6466666666666666,
      "grad_norm": 2.6838629245758057,
      "learning_rate": 7.164864864864866e-05,
      "loss": 1.8624,
      "step": 4850
    },
    {
      "epoch": 0.648,
      "grad_norm": 2.459134578704834,
      "learning_rate": 7.137837837837839e-05,
      "loss": 1.8797,
      "step": 4860
    },
    {
      "epoch": 0.6493333333333333,
      "grad_norm": 2.434612274169922,
      "learning_rate": 7.11081081081081e-05,
      "loss": 1.7052,
      "step": 4870
    },
    {
      "epoch": 0.6506666666666666,
      "grad_norm": 2.676539897918701,
      "learning_rate": 7.083783783783784e-05,
      "loss": 1.5103,
      "step": 4880
    },
    {
      "epoch": 0.652,
      "grad_norm": 2.1555585861206055,
      "learning_rate": 7.056756756756757e-05,
      "loss": 1.7087,
      "step": 4890
    },
    {
      "epoch": 0.6533333333333333,
      "grad_norm": 2.6224405765533447,
      "learning_rate": 7.02972972972973e-05,
      "loss": 1.7359,
      "step": 4900
    },
    {
      "epoch": 0.6546666666666666,
      "grad_norm": 2.353959798812866,
      "learning_rate": 7.002702702702703e-05,
      "loss": 1.7143,
      "step": 4910
    },
    {
      "epoch": 0.656,
      "grad_norm": 2.266991376876831,
      "learning_rate": 6.975675675675676e-05,
      "loss": 1.6933,
      "step": 4920
    },
    {
      "epoch": 0.6573333333333333,
      "grad_norm": 2.238447904586792,
      "learning_rate": 6.948648648648649e-05,
      "loss": 1.6179,
      "step": 4930
    },
    {
      "epoch": 0.6586666666666666,
      "grad_norm": 2.6156067848205566,
      "learning_rate": 6.921621621621622e-05,
      "loss": 1.6184,
      "step": 4940
    },
    {
      "epoch": 0.66,
      "grad_norm": 2.658324718475342,
      "learning_rate": 6.894594594594595e-05,
      "loss": 1.8393,
      "step": 4950
    },
    {
      "epoch": 0.6613333333333333,
      "grad_norm": 3.0969736576080322,
      "learning_rate": 6.867567567567568e-05,
      "loss": 1.7887,
      "step": 4960
    },
    {
      "epoch": 0.6626666666666666,
      "grad_norm": 2.7049593925476074,
      "learning_rate": 6.84054054054054e-05,
      "loss": 1.7723,
      "step": 4970
    },
    {
      "epoch": 0.664,
      "grad_norm": 2.2911875247955322,
      "learning_rate": 6.813513513513515e-05,
      "loss": 1.6815,
      "step": 4980
    },
    {
      "epoch": 0.6653333333333333,
      "grad_norm": 2.4017186164855957,
      "learning_rate": 6.786486486486486e-05,
      "loss": 1.7622,
      "step": 4990
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 2.133009672164917,
      "learning_rate": 6.759459459459459e-05,
      "loss": 1.6369,
      "step": 5000
    },
    {
      "epoch": 0.668,
      "grad_norm": 2.7822725772857666,
      "learning_rate": 6.732432432432432e-05,
      "loss": 1.7423,
      "step": 5010
    },
    {
      "epoch": 0.6693333333333333,
      "grad_norm": 2.395003080368042,
      "learning_rate": 6.705405405405406e-05,
      "loss": 1.665,
      "step": 5020
    },
    {
      "epoch": 0.6706666666666666,
      "grad_norm": 2.3305490016937256,
      "learning_rate": 6.678378378378378e-05,
      "loss": 1.7307,
      "step": 5030
    },
    {
      "epoch": 0.672,
      "grad_norm": 2.327988862991333,
      "learning_rate": 6.651351351351351e-05,
      "loss": 1.6633,
      "step": 5040
    },
    {
      "epoch": 0.6733333333333333,
      "grad_norm": 2.212411880493164,
      "learning_rate": 6.624324324324325e-05,
      "loss": 1.63,
      "step": 5050
    },
    {
      "epoch": 0.6746666666666666,
      "grad_norm": 2.9532217979431152,
      "learning_rate": 6.597297297297298e-05,
      "loss": 1.7147,
      "step": 5060
    },
    {
      "epoch": 0.676,
      "grad_norm": 2.410266160964966,
      "learning_rate": 6.57027027027027e-05,
      "loss": 1.7012,
      "step": 5070
    },
    {
      "epoch": 0.6773333333333333,
      "grad_norm": 2.47847056388855,
      "learning_rate": 6.543243243243244e-05,
      "loss": 1.6846,
      "step": 5080
    },
    {
      "epoch": 0.6786666666666666,
      "grad_norm": 2.3797738552093506,
      "learning_rate": 6.516216216216217e-05,
      "loss": 1.7244,
      "step": 5090
    },
    {
      "epoch": 0.68,
      "grad_norm": 2.260364294052124,
      "learning_rate": 6.48918918918919e-05,
      "loss": 1.6383,
      "step": 5100
    },
    {
      "epoch": 0.6813333333333333,
      "grad_norm": 7.000325679779053,
      "learning_rate": 6.462162162162163e-05,
      "loss": 1.9112,
      "step": 5110
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 2.6418049335479736,
      "learning_rate": 6.435135135135135e-05,
      "loss": 1.7482,
      "step": 5120
    },
    {
      "epoch": 0.684,
      "grad_norm": 2.709291458129883,
      "learning_rate": 6.408108108108108e-05,
      "loss": 1.763,
      "step": 5130
    },
    {
      "epoch": 0.6853333333333333,
      "grad_norm": 3.0964314937591553,
      "learning_rate": 6.381081081081081e-05,
      "loss": 1.7461,
      "step": 5140
    },
    {
      "epoch": 0.6866666666666666,
      "grad_norm": 2.2311952114105225,
      "learning_rate": 6.354054054054054e-05,
      "loss": 1.8129,
      "step": 5150
    },
    {
      "epoch": 0.688,
      "grad_norm": 2.4658689498901367,
      "learning_rate": 6.327027027027027e-05,
      "loss": 1.7197,
      "step": 5160
    },
    {
      "epoch": 0.6893333333333334,
      "grad_norm": 2.494281053543091,
      "learning_rate": 6.3e-05,
      "loss": 1.7131,
      "step": 5170
    },
    {
      "epoch": 0.6906666666666667,
      "grad_norm": 2.337458848953247,
      "learning_rate": 6.272972972972974e-05,
      "loss": 1.8182,
      "step": 5180
    },
    {
      "epoch": 0.692,
      "grad_norm": 2.2860753536224365,
      "learning_rate": 6.245945945945946e-05,
      "loss": 1.8402,
      "step": 5190
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 2.654182195663452,
      "learning_rate": 6.218918918918919e-05,
      "loss": 1.7607,
      "step": 5200
    },
    {
      "epoch": 0.6946666666666667,
      "grad_norm": 2.4384946823120117,
      "learning_rate": 6.191891891891892e-05,
      "loss": 1.8643,
      "step": 5210
    },
    {
      "epoch": 0.696,
      "grad_norm": 2.5063271522521973,
      "learning_rate": 6.164864864864866e-05,
      "loss": 1.7459,
      "step": 5220
    },
    {
      "epoch": 0.6973333333333334,
      "grad_norm": 2.3819327354431152,
      "learning_rate": 6.137837837837837e-05,
      "loss": 1.7328,
      "step": 5230
    },
    {
      "epoch": 0.6986666666666667,
      "grad_norm": 2.353322744369507,
      "learning_rate": 6.11081081081081e-05,
      "loss": 1.6994,
      "step": 5240
    },
    {
      "epoch": 0.7,
      "grad_norm": 2.059305429458618,
      "learning_rate": 6.083783783783784e-05,
      "loss": 1.6366,
      "step": 5250
    },
    {
      "epoch": 0.7013333333333334,
      "grad_norm": 2.6309072971343994,
      "learning_rate": 6.0567567567567575e-05,
      "loss": 1.8112,
      "step": 5260
    },
    {
      "epoch": 0.7026666666666667,
      "grad_norm": 2.3017349243164062,
      "learning_rate": 6.02972972972973e-05,
      "loss": 1.6129,
      "step": 5270
    },
    {
      "epoch": 0.704,
      "grad_norm": 2.3827080726623535,
      "learning_rate": 6.0027027027027026e-05,
      "loss": 1.7627,
      "step": 5280
    },
    {
      "epoch": 0.7053333333333334,
      "grad_norm": 2.489391565322876,
      "learning_rate": 5.975675675675676e-05,
      "loss": 1.6755,
      "step": 5290
    },
    {
      "epoch": 0.7066666666666667,
      "grad_norm": 2.4546420574188232,
      "learning_rate": 5.948648648648649e-05,
      "loss": 1.637,
      "step": 5300
    },
    {
      "epoch": 0.708,
      "grad_norm": 2.1778452396392822,
      "learning_rate": 5.921621621621621e-05,
      "loss": 1.7271,
      "step": 5310
    },
    {
      "epoch": 0.7093333333333334,
      "grad_norm": 2.3320977687835693,
      "learning_rate": 5.894594594594595e-05,
      "loss": 1.7104,
      "step": 5320
    },
    {
      "epoch": 0.7106666666666667,
      "grad_norm": 2.9002904891967773,
      "learning_rate": 5.867567567567568e-05,
      "loss": 1.768,
      "step": 5330
    },
    {
      "epoch": 0.712,
      "grad_norm": 2.236595392227173,
      "learning_rate": 5.8405405405405414e-05,
      "loss": 1.7603,
      "step": 5340
    },
    {
      "epoch": 0.7133333333333334,
      "grad_norm": 2.342060089111328,
      "learning_rate": 5.8135135135135136e-05,
      "loss": 1.756,
      "step": 5350
    },
    {
      "epoch": 0.7146666666666667,
      "grad_norm": 2.43502140045166,
      "learning_rate": 5.7864864864864865e-05,
      "loss": 1.6526,
      "step": 5360
    },
    {
      "epoch": 0.716,
      "grad_norm": 2.416416883468628,
      "learning_rate": 5.75945945945946e-05,
      "loss": 1.6821,
      "step": 5370
    },
    {
      "epoch": 0.7173333333333334,
      "grad_norm": 2.79465651512146,
      "learning_rate": 5.732432432432433e-05,
      "loss": 1.653,
      "step": 5380
    },
    {
      "epoch": 0.7186666666666667,
      "grad_norm": 2.1442489624023438,
      "learning_rate": 5.705405405405405e-05,
      "loss": 1.6052,
      "step": 5390
    },
    {
      "epoch": 0.72,
      "grad_norm": 2.3195009231567383,
      "learning_rate": 5.678378378378378e-05,
      "loss": 1.773,
      "step": 5400
    },
    {
      "epoch": 0.7213333333333334,
      "grad_norm": 2.435551166534424,
      "learning_rate": 5.651351351351352e-05,
      "loss": 1.6717,
      "step": 5410
    },
    {
      "epoch": 0.7226666666666667,
      "grad_norm": 2.9846158027648926,
      "learning_rate": 5.6243243243243246e-05,
      "loss": 1.6524,
      "step": 5420
    },
    {
      "epoch": 0.724,
      "grad_norm": 2.2463107109069824,
      "learning_rate": 5.597297297297297e-05,
      "loss": 1.5635,
      "step": 5430
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 2.6960723400115967,
      "learning_rate": 5.5702702702702704e-05,
      "loss": 1.5236,
      "step": 5440
    },
    {
      "epoch": 0.7266666666666667,
      "grad_norm": 2.4956061840057373,
      "learning_rate": 5.543243243243243e-05,
      "loss": 1.7235,
      "step": 5450
    },
    {
      "epoch": 0.728,
      "grad_norm": 2.218177080154419,
      "learning_rate": 5.516216216216217e-05,
      "loss": 1.682,
      "step": 5460
    },
    {
      "epoch": 0.7293333333333333,
      "grad_norm": 2.515575647354126,
      "learning_rate": 5.48918918918919e-05,
      "loss": 1.7251,
      "step": 5470
    },
    {
      "epoch": 0.7306666666666667,
      "grad_norm": 2.859912395477295,
      "learning_rate": 5.462162162162162e-05,
      "loss": 1.7788,
      "step": 5480
    },
    {
      "epoch": 0.732,
      "grad_norm": 2.5170841217041016,
      "learning_rate": 5.4351351351351356e-05,
      "loss": 1.7671,
      "step": 5490
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 3.0050339698791504,
      "learning_rate": 5.4081081081081085e-05,
      "loss": 1.6537,
      "step": 5500
    },
    {
      "epoch": 0.7346666666666667,
      "grad_norm": 2.685117483139038,
      "learning_rate": 5.381081081081082e-05,
      "loss": 1.7784,
      "step": 5510
    },
    {
      "epoch": 0.736,
      "grad_norm": 2.6302332878112793,
      "learning_rate": 5.354054054054054e-05,
      "loss": 1.8508,
      "step": 5520
    },
    {
      "epoch": 0.7373333333333333,
      "grad_norm": 2.4447121620178223,
      "learning_rate": 5.327027027027027e-05,
      "loss": 1.5135,
      "step": 5530
    },
    {
      "epoch": 0.7386666666666667,
      "grad_norm": 2.059255361557007,
      "learning_rate": 5.300000000000001e-05,
      "loss": 1.6182,
      "step": 5540
    },
    {
      "epoch": 0.74,
      "grad_norm": 2.508316993713379,
      "learning_rate": 5.2729729729729737e-05,
      "loss": 1.7946,
      "step": 5550
    },
    {
      "epoch": 0.7413333333333333,
      "grad_norm": 2.500084161758423,
      "learning_rate": 5.245945945945946e-05,
      "loss": 1.6965,
      "step": 5560
    },
    {
      "epoch": 0.7426666666666667,
      "grad_norm": 2.6352810859680176,
      "learning_rate": 5.2189189189189195e-05,
      "loss": 1.5864,
      "step": 5570
    },
    {
      "epoch": 0.744,
      "grad_norm": 2.924647092819214,
      "learning_rate": 5.1918918918918924e-05,
      "loss": 1.7354,
      "step": 5580
    },
    {
      "epoch": 0.7453333333333333,
      "grad_norm": 2.4402995109558105,
      "learning_rate": 5.164864864864866e-05,
      "loss": 1.6326,
      "step": 5590
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 3.5275487899780273,
      "learning_rate": 5.1378378378378375e-05,
      "loss": 1.6526,
      "step": 5600
    },
    {
      "epoch": 0.748,
      "grad_norm": 2.640603542327881,
      "learning_rate": 5.110810810810811e-05,
      "loss": 1.6978,
      "step": 5610
    },
    {
      "epoch": 0.7493333333333333,
      "grad_norm": 2.4517879486083984,
      "learning_rate": 5.083783783783784e-05,
      "loss": 1.6873,
      "step": 5620
    },
    {
      "epoch": 0.7506666666666667,
      "grad_norm": 2.5826404094696045,
      "learning_rate": 5.0567567567567576e-05,
      "loss": 1.7209,
      "step": 5630
    },
    {
      "epoch": 0.752,
      "grad_norm": 3.254995822906494,
      "learning_rate": 5.02972972972973e-05,
      "loss": 1.7182,
      "step": 5640
    },
    {
      "epoch": 0.7533333333333333,
      "grad_norm": 2.4099812507629395,
      "learning_rate": 5.002702702702703e-05,
      "loss": 1.5186,
      "step": 5650
    },
    {
      "epoch": 0.7546666666666667,
      "grad_norm": 2.534217357635498,
      "learning_rate": 4.975675675675676e-05,
      "loss": 1.8553,
      "step": 5660
    },
    {
      "epoch": 0.756,
      "grad_norm": 2.5693318843841553,
      "learning_rate": 4.948648648648649e-05,
      "loss": 1.8622,
      "step": 5670
    },
    {
      "epoch": 0.7573333333333333,
      "grad_norm": 2.573843002319336,
      "learning_rate": 4.921621621621622e-05,
      "loss": 1.6448,
      "step": 5680
    },
    {
      "epoch": 0.7586666666666667,
      "grad_norm": 2.8359835147857666,
      "learning_rate": 4.894594594594595e-05,
      "loss": 1.6768,
      "step": 5690
    },
    {
      "epoch": 0.76,
      "grad_norm": 2.405327081680298,
      "learning_rate": 4.867567567567568e-05,
      "loss": 1.7944,
      "step": 5700
    },
    {
      "epoch": 0.7613333333333333,
      "grad_norm": 2.5962822437286377,
      "learning_rate": 4.840540540540541e-05,
      "loss": 1.589,
      "step": 5710
    },
    {
      "epoch": 0.7626666666666667,
      "grad_norm": 2.4753477573394775,
      "learning_rate": 4.813513513513514e-05,
      "loss": 1.767,
      "step": 5720
    },
    {
      "epoch": 0.764,
      "grad_norm": 2.732316017150879,
      "learning_rate": 4.7864864864864866e-05,
      "loss": 1.7758,
      "step": 5730
    },
    {
      "epoch": 0.7653333333333333,
      "grad_norm": 2.772697925567627,
      "learning_rate": 4.75945945945946e-05,
      "loss": 1.6539,
      "step": 5740
    },
    {
      "epoch": 0.7666666666666667,
      "grad_norm": 2.8475613594055176,
      "learning_rate": 4.7324324324324324e-05,
      "loss": 1.688,
      "step": 5750
    },
    {
      "epoch": 0.768,
      "grad_norm": 2.7171499729156494,
      "learning_rate": 4.705405405405406e-05,
      "loss": 1.6328,
      "step": 5760
    },
    {
      "epoch": 0.7693333333333333,
      "grad_norm": 2.5793089866638184,
      "learning_rate": 4.678378378378379e-05,
      "loss": 1.5797,
      "step": 5770
    },
    {
      "epoch": 0.7706666666666667,
      "grad_norm": 2.263705015182495,
      "learning_rate": 4.651351351351352e-05,
      "loss": 1.7494,
      "step": 5780
    },
    {
      "epoch": 0.772,
      "grad_norm": 2.689951181411743,
      "learning_rate": 4.624324324324325e-05,
      "loss": 1.642,
      "step": 5790
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 2.384277105331421,
      "learning_rate": 4.5972972972972976e-05,
      "loss": 1.822,
      "step": 5800
    },
    {
      "epoch": 0.7746666666666666,
      "grad_norm": 2.517409324645996,
      "learning_rate": 4.5702702702702705e-05,
      "loss": 1.6411,
      "step": 5810
    },
    {
      "epoch": 0.776,
      "grad_norm": 2.7147343158721924,
      "learning_rate": 4.5432432432432434e-05,
      "loss": 1.7847,
      "step": 5820
    },
    {
      "epoch": 0.7773333333333333,
      "grad_norm": 2.289916515350342,
      "learning_rate": 4.516216216216216e-05,
      "loss": 1.7548,
      "step": 5830
    },
    {
      "epoch": 0.7786666666666666,
      "grad_norm": 2.620067596435547,
      "learning_rate": 4.48918918918919e-05,
      "loss": 1.5818,
      "step": 5840
    },
    {
      "epoch": 0.78,
      "grad_norm": 2.3116276264190674,
      "learning_rate": 4.462162162162162e-05,
      "loss": 1.6786,
      "step": 5850
    },
    {
      "epoch": 0.7813333333333333,
      "grad_norm": 2.479151964187622,
      "learning_rate": 4.4351351351351357e-05,
      "loss": 1.7516,
      "step": 5860
    },
    {
      "epoch": 0.7826666666666666,
      "grad_norm": 2.3408565521240234,
      "learning_rate": 4.4081081081081086e-05,
      "loss": 1.6726,
      "step": 5870
    },
    {
      "epoch": 0.784,
      "grad_norm": 2.4903507232666016,
      "learning_rate": 4.3810810810810815e-05,
      "loss": 1.7151,
      "step": 5880
    },
    {
      "epoch": 0.7853333333333333,
      "grad_norm": 2.7375853061676025,
      "learning_rate": 4.3540540540540544e-05,
      "loss": 1.712,
      "step": 5890
    },
    {
      "epoch": 0.7866666666666666,
      "grad_norm": 2.2988908290863037,
      "learning_rate": 4.327027027027027e-05,
      "loss": 1.7197,
      "step": 5900
    },
    {
      "epoch": 0.788,
      "grad_norm": 2.9923717975616455,
      "learning_rate": 4.3e-05,
      "loss": 1.4819,
      "step": 5910
    },
    {
      "epoch": 0.7893333333333333,
      "grad_norm": 2.4413089752197266,
      "learning_rate": 4.272972972972973e-05,
      "loss": 1.5703,
      "step": 5920
    },
    {
      "epoch": 0.7906666666666666,
      "grad_norm": 2.3859667778015137,
      "learning_rate": 4.245945945945946e-05,
      "loss": 1.7052,
      "step": 5930
    },
    {
      "epoch": 0.792,
      "grad_norm": 2.527226209640503,
      "learning_rate": 4.2189189189189195e-05,
      "loss": 1.7125,
      "step": 5940
    },
    {
      "epoch": 0.7933333333333333,
      "grad_norm": 3.1854281425476074,
      "learning_rate": 4.191891891891892e-05,
      "loss": 1.7037,
      "step": 5950
    },
    {
      "epoch": 0.7946666666666666,
      "grad_norm": 2.814861297607422,
      "learning_rate": 4.1648648648648654e-05,
      "loss": 1.6434,
      "step": 5960
    },
    {
      "epoch": 0.796,
      "grad_norm": 2.9175212383270264,
      "learning_rate": 4.137837837837838e-05,
      "loss": 1.7307,
      "step": 5970
    },
    {
      "epoch": 0.7973333333333333,
      "grad_norm": 2.400646924972534,
      "learning_rate": 4.110810810810811e-05,
      "loss": 1.5439,
      "step": 5980
    },
    {
      "epoch": 0.7986666666666666,
      "grad_norm": 2.5307583808898926,
      "learning_rate": 4.083783783783784e-05,
      "loss": 1.6965,
      "step": 5990
    },
    {
      "epoch": 0.8,
      "grad_norm": 2.612553358078003,
      "learning_rate": 4.056756756756757e-05,
      "loss": 1.7097,
      "step": 6000
    },
    {
      "epoch": 0.8013333333333333,
      "grad_norm": 2.284662961959839,
      "learning_rate": 4.02972972972973e-05,
      "loss": 1.6993,
      "step": 6010
    },
    {
      "epoch": 0.8026666666666666,
      "grad_norm": 3.0410237312316895,
      "learning_rate": 4.002702702702703e-05,
      "loss": 1.6701,
      "step": 6020
    },
    {
      "epoch": 0.804,
      "grad_norm": 2.654667377471924,
      "learning_rate": 3.975675675675676e-05,
      "loss": 1.7714,
      "step": 6030
    },
    {
      "epoch": 0.8053333333333333,
      "grad_norm": 2.5018224716186523,
      "learning_rate": 3.948648648648649e-05,
      "loss": 1.6427,
      "step": 6040
    },
    {
      "epoch": 0.8066666666666666,
      "grad_norm": 2.2526869773864746,
      "learning_rate": 3.9216216216216215e-05,
      "loss": 1.4547,
      "step": 6050
    },
    {
      "epoch": 0.808,
      "grad_norm": 2.6133015155792236,
      "learning_rate": 3.894594594594595e-05,
      "loss": 1.7321,
      "step": 6060
    },
    {
      "epoch": 0.8093333333333333,
      "grad_norm": 2.4903156757354736,
      "learning_rate": 3.867567567567568e-05,
      "loss": 1.6721,
      "step": 6070
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 2.7530627250671387,
      "learning_rate": 3.840540540540541e-05,
      "loss": 1.6131,
      "step": 6080
    },
    {
      "epoch": 0.812,
      "grad_norm": 2.515719413757324,
      "learning_rate": 3.813513513513514e-05,
      "loss": 1.6351,
      "step": 6090
    },
    {
      "epoch": 0.8133333333333334,
      "grad_norm": 2.6677589416503906,
      "learning_rate": 3.7864864864864867e-05,
      "loss": 1.6129,
      "step": 6100
    },
    {
      "epoch": 0.8146666666666667,
      "grad_norm": 2.306367874145508,
      "learning_rate": 3.7594594594594596e-05,
      "loss": 1.6285,
      "step": 6110
    },
    {
      "epoch": 0.816,
      "grad_norm": 3.3968253135681152,
      "learning_rate": 3.7324324324324325e-05,
      "loss": 1.7338,
      "step": 6120
    },
    {
      "epoch": 0.8173333333333334,
      "grad_norm": 2.48195743560791,
      "learning_rate": 3.7054054054054054e-05,
      "loss": 1.8016,
      "step": 6130
    },
    {
      "epoch": 0.8186666666666667,
      "grad_norm": 2.4861512184143066,
      "learning_rate": 3.678378378378379e-05,
      "loss": 1.6984,
      "step": 6140
    },
    {
      "epoch": 0.82,
      "grad_norm": 2.6321170330047607,
      "learning_rate": 3.651351351351351e-05,
      "loss": 1.6262,
      "step": 6150
    },
    {
      "epoch": 0.8213333333333334,
      "grad_norm": 2.5380373001098633,
      "learning_rate": 3.624324324324325e-05,
      "loss": 1.5623,
      "step": 6160
    },
    {
      "epoch": 0.8226666666666667,
      "grad_norm": 2.204197883605957,
      "learning_rate": 3.5972972972972977e-05,
      "loss": 1.6745,
      "step": 6170
    },
    {
      "epoch": 0.824,
      "grad_norm": 2.7403526306152344,
      "learning_rate": 3.5702702702702706e-05,
      "loss": 1.5203,
      "step": 6180
    },
    {
      "epoch": 0.8253333333333334,
      "grad_norm": 2.620312452316284,
      "learning_rate": 3.5432432432432435e-05,
      "loss": 1.7019,
      "step": 6190
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 2.6407034397125244,
      "learning_rate": 3.5162162162162164e-05,
      "loss": 1.6738,
      "step": 6200
    },
    {
      "epoch": 0.828,
      "grad_norm": 2.8657119274139404,
      "learning_rate": 3.489189189189189e-05,
      "loss": 1.6289,
      "step": 6210
    },
    {
      "epoch": 0.8293333333333334,
      "grad_norm": 2.3813586235046387,
      "learning_rate": 3.462162162162162e-05,
      "loss": 1.5808,
      "step": 6220
    },
    {
      "epoch": 0.8306666666666667,
      "grad_norm": 2.9518868923187256,
      "learning_rate": 3.435135135135135e-05,
      "loss": 1.7271,
      "step": 6230
    },
    {
      "epoch": 0.832,
      "grad_norm": 2.5830390453338623,
      "learning_rate": 3.4081081081081086e-05,
      "loss": 1.8173,
      "step": 6240
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 2.986417293548584,
      "learning_rate": 3.381081081081081e-05,
      "loss": 1.7649,
      "step": 6250
    },
    {
      "epoch": 0.8346666666666667,
      "grad_norm": 2.7815823554992676,
      "learning_rate": 3.3540540540540544e-05,
      "loss": 1.8131,
      "step": 6260
    },
    {
      "epoch": 0.836,
      "grad_norm": 2.68438720703125,
      "learning_rate": 3.3270270270270274e-05,
      "loss": 1.6404,
      "step": 6270
    },
    {
      "epoch": 0.8373333333333334,
      "grad_norm": 2.7621591091156006,
      "learning_rate": 3.3e-05,
      "loss": 1.7984,
      "step": 6280
    },
    {
      "epoch": 0.8386666666666667,
      "grad_norm": 2.544633388519287,
      "learning_rate": 3.272972972972973e-05,
      "loss": 1.5763,
      "step": 6290
    },
    {
      "epoch": 0.84,
      "grad_norm": 2.5023107528686523,
      "learning_rate": 3.245945945945946e-05,
      "loss": 1.8152,
      "step": 6300
    },
    {
      "epoch": 0.8413333333333334,
      "grad_norm": 2.2994837760925293,
      "learning_rate": 3.218918918918919e-05,
      "loss": 1.8882,
      "step": 6310
    },
    {
      "epoch": 0.8426666666666667,
      "grad_norm": 3.953317880630493,
      "learning_rate": 3.191891891891892e-05,
      "loss": 1.6891,
      "step": 6320
    },
    {
      "epoch": 0.844,
      "grad_norm": 2.7134106159210205,
      "learning_rate": 3.164864864864865e-05,
      "loss": 1.7224,
      "step": 6330
    },
    {
      "epoch": 0.8453333333333334,
      "grad_norm": 2.4005279541015625,
      "learning_rate": 3.1378378378378383e-05,
      "loss": 1.787,
      "step": 6340
    },
    {
      "epoch": 0.8466666666666667,
      "grad_norm": 2.4672749042510986,
      "learning_rate": 3.1108108108108106e-05,
      "loss": 1.738,
      "step": 6350
    },
    {
      "epoch": 0.848,
      "grad_norm": 2.928025245666504,
      "learning_rate": 3.083783783783784e-05,
      "loss": 1.8161,
      "step": 6360
    },
    {
      "epoch": 0.8493333333333334,
      "grad_norm": 2.672902822494507,
      "learning_rate": 3.056756756756757e-05,
      "loss": 1.6174,
      "step": 6370
    },
    {
      "epoch": 0.8506666666666667,
      "grad_norm": 2.5502936840057373,
      "learning_rate": 3.02972972972973e-05,
      "loss": 1.6013,
      "step": 6380
    },
    {
      "epoch": 0.852,
      "grad_norm": 2.719055652618408,
      "learning_rate": 3.002702702702703e-05,
      "loss": 1.6408,
      "step": 6390
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 2.978949785232544,
      "learning_rate": 2.975675675675676e-05,
      "loss": 1.6231,
      "step": 6400
    },
    {
      "epoch": 0.8546666666666667,
      "grad_norm": 2.727102756500244,
      "learning_rate": 2.9486486486486487e-05,
      "loss": 1.6566,
      "step": 6410
    },
    {
      "epoch": 0.856,
      "grad_norm": 2.3912513256073,
      "learning_rate": 2.921621621621622e-05,
      "loss": 1.6672,
      "step": 6420
    },
    {
      "epoch": 0.8573333333333333,
      "grad_norm": 2.4890830516815186,
      "learning_rate": 2.8945945945945945e-05,
      "loss": 1.6692,
      "step": 6430
    },
    {
      "epoch": 0.8586666666666667,
      "grad_norm": 2.6371443271636963,
      "learning_rate": 2.8675675675675677e-05,
      "loss": 1.864,
      "step": 6440
    },
    {
      "epoch": 0.86,
      "grad_norm": 2.6232187747955322,
      "learning_rate": 2.8405405405405406e-05,
      "loss": 1.7107,
      "step": 6450
    },
    {
      "epoch": 0.8613333333333333,
      "grad_norm": 2.3654496669769287,
      "learning_rate": 2.813513513513514e-05,
      "loss": 1.6735,
      "step": 6460
    },
    {
      "epoch": 0.8626666666666667,
      "grad_norm": 2.777508497238159,
      "learning_rate": 2.7864864864864864e-05,
      "loss": 1.7127,
      "step": 6470
    },
    {
      "epoch": 0.864,
      "grad_norm": 2.7823853492736816,
      "learning_rate": 2.7594594594594596e-05,
      "loss": 1.7249,
      "step": 6480
    },
    {
      "epoch": 0.8653333333333333,
      "grad_norm": 2.3992345333099365,
      "learning_rate": 2.7324324324324326e-05,
      "loss": 1.4668,
      "step": 6490
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 2.6813876628875732,
      "learning_rate": 2.7054054054054058e-05,
      "loss": 1.5731,
      "step": 6500
    },
    {
      "epoch": 0.868,
      "grad_norm": 2.8751773834228516,
      "learning_rate": 2.6783783783783784e-05,
      "loss": 1.737,
      "step": 6510
    },
    {
      "epoch": 0.8693333333333333,
      "grad_norm": 2.3561997413635254,
      "learning_rate": 2.6513513513513516e-05,
      "loss": 1.5408,
      "step": 6520
    },
    {
      "epoch": 0.8706666666666667,
      "grad_norm": 2.712101697921753,
      "learning_rate": 2.624324324324324e-05,
      "loss": 1.6529,
      "step": 6530
    },
    {
      "epoch": 0.872,
      "grad_norm": 2.6622605323791504,
      "learning_rate": 2.5972972972972974e-05,
      "loss": 1.6287,
      "step": 6540
    },
    {
      "epoch": 0.8733333333333333,
      "grad_norm": 2.330552339553833,
      "learning_rate": 2.5702702702702703e-05,
      "loss": 1.7394,
      "step": 6550
    },
    {
      "epoch": 0.8746666666666667,
      "grad_norm": 2.4436655044555664,
      "learning_rate": 2.5432432432432435e-05,
      "loss": 1.6597,
      "step": 6560
    },
    {
      "epoch": 0.876,
      "grad_norm": 2.36600923538208,
      "learning_rate": 2.516216216216216e-05,
      "loss": 1.6797,
      "step": 6570
    },
    {
      "epoch": 0.8773333333333333,
      "grad_norm": 2.758204698562622,
      "learning_rate": 2.4891891891891893e-05,
      "loss": 1.669,
      "step": 6580
    },
    {
      "epoch": 0.8786666666666667,
      "grad_norm": 2.7728378772735596,
      "learning_rate": 2.4621621621621623e-05,
      "loss": 1.7215,
      "step": 6590
    },
    {
      "epoch": 0.88,
      "grad_norm": 2.289459705352783,
      "learning_rate": 2.4351351351351355e-05,
      "loss": 1.6012,
      "step": 6600
    },
    {
      "epoch": 0.8813333333333333,
      "grad_norm": 2.649552345275879,
      "learning_rate": 2.4081081081081084e-05,
      "loss": 1.6669,
      "step": 6610
    },
    {
      "epoch": 0.8826666666666667,
      "grad_norm": 2.6189112663269043,
      "learning_rate": 2.3810810810810813e-05,
      "loss": 1.7255,
      "step": 6620
    },
    {
      "epoch": 0.884,
      "grad_norm": 2.6846015453338623,
      "learning_rate": 2.3540540540540542e-05,
      "loss": 1.9068,
      "step": 6630
    },
    {
      "epoch": 0.8853333333333333,
      "grad_norm": 2.8346004486083984,
      "learning_rate": 2.327027027027027e-05,
      "loss": 1.7185,
      "step": 6640
    },
    {
      "epoch": 0.8866666666666667,
      "grad_norm": 2.6064999103546143,
      "learning_rate": 2.3000000000000003e-05,
      "loss": 1.6009,
      "step": 6650
    },
    {
      "epoch": 0.888,
      "grad_norm": 2.423532009124756,
      "learning_rate": 2.2729729729729732e-05,
      "loss": 1.6337,
      "step": 6660
    },
    {
      "epoch": 0.8893333333333333,
      "grad_norm": 2.556084632873535,
      "learning_rate": 2.245945945945946e-05,
      "loss": 1.6241,
      "step": 6670
    },
    {
      "epoch": 0.8906666666666667,
      "grad_norm": 2.7347779273986816,
      "learning_rate": 2.218918918918919e-05,
      "loss": 1.6245,
      "step": 6680
    },
    {
      "epoch": 0.892,
      "grad_norm": 3.145932674407959,
      "learning_rate": 2.191891891891892e-05,
      "loss": 1.723,
      "step": 6690
    },
    {
      "epoch": 0.8933333333333333,
      "grad_norm": 2.62679386138916,
      "learning_rate": 2.1648648648648652e-05,
      "loss": 1.5785,
      "step": 6700
    },
    {
      "epoch": 0.8946666666666667,
      "grad_norm": 2.508307695388794,
      "learning_rate": 2.137837837837838e-05,
      "loss": 1.6147,
      "step": 6710
    },
    {
      "epoch": 0.896,
      "grad_norm": 2.8022305965423584,
      "learning_rate": 2.110810810810811e-05,
      "loss": 1.7815,
      "step": 6720
    },
    {
      "epoch": 0.8973333333333333,
      "grad_norm": 3.2732038497924805,
      "learning_rate": 2.083783783783784e-05,
      "loss": 1.5358,
      "step": 6730
    },
    {
      "epoch": 0.8986666666666666,
      "grad_norm": 2.396840810775757,
      "learning_rate": 2.0567567567567568e-05,
      "loss": 1.6873,
      "step": 6740
    },
    {
      "epoch": 0.9,
      "grad_norm": 2.5847902297973633,
      "learning_rate": 2.02972972972973e-05,
      "loss": 1.7431,
      "step": 6750
    },
    {
      "epoch": 0.9013333333333333,
      "grad_norm": 3.0284829139709473,
      "learning_rate": 2.002702702702703e-05,
      "loss": 1.5864,
      "step": 6760
    },
    {
      "epoch": 0.9026666666666666,
      "grad_norm": 2.715101480484009,
      "learning_rate": 1.975675675675676e-05,
      "loss": 1.6942,
      "step": 6770
    },
    {
      "epoch": 0.904,
      "grad_norm": 2.6553282737731934,
      "learning_rate": 1.9486486486486487e-05,
      "loss": 1.6703,
      "step": 6780
    },
    {
      "epoch": 0.9053333333333333,
      "grad_norm": 2.634984254837036,
      "learning_rate": 1.9216216216216216e-05,
      "loss": 1.6149,
      "step": 6790
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 2.7491838932037354,
      "learning_rate": 1.894594594594595e-05,
      "loss": 1.5419,
      "step": 6800
    },
    {
      "epoch": 0.908,
      "grad_norm": 2.5145108699798584,
      "learning_rate": 1.8675675675675678e-05,
      "loss": 1.6888,
      "step": 6810
    },
    {
      "epoch": 0.9093333333333333,
      "grad_norm": 2.5140767097473145,
      "learning_rate": 1.8405405405405407e-05,
      "loss": 1.6765,
      "step": 6820
    },
    {
      "epoch": 0.9106666666666666,
      "grad_norm": 2.548701047897339,
      "learning_rate": 1.8135135135135136e-05,
      "loss": 1.6776,
      "step": 6830
    },
    {
      "epoch": 0.912,
      "grad_norm": 2.5743017196655273,
      "learning_rate": 1.7864864864864865e-05,
      "loss": 1.6047,
      "step": 6840
    },
    {
      "epoch": 0.9133333333333333,
      "grad_norm": 2.569002151489258,
      "learning_rate": 1.7594594594594597e-05,
      "loss": 1.6433,
      "step": 6850
    },
    {
      "epoch": 0.9146666666666666,
      "grad_norm": 2.7466344833374023,
      "learning_rate": 1.7324324324324326e-05,
      "loss": 1.469,
      "step": 6860
    },
    {
      "epoch": 0.916,
      "grad_norm": 2.4851741790771484,
      "learning_rate": 1.7054054054054055e-05,
      "loss": 1.755,
      "step": 6870
    },
    {
      "epoch": 0.9173333333333333,
      "grad_norm": 2.8213634490966797,
      "learning_rate": 1.6783783783783784e-05,
      "loss": 1.7171,
      "step": 6880
    },
    {
      "epoch": 0.9186666666666666,
      "grad_norm": 2.4094128608703613,
      "learning_rate": 1.6513513513513513e-05,
      "loss": 1.7336,
      "step": 6890
    },
    {
      "epoch": 0.92,
      "grad_norm": 2.748495578765869,
      "learning_rate": 1.6243243243243246e-05,
      "loss": 1.7019,
      "step": 6900
    },
    {
      "epoch": 0.9213333333333333,
      "grad_norm": 2.6169843673706055,
      "learning_rate": 1.5972972972972975e-05,
      "loss": 1.6504,
      "step": 6910
    },
    {
      "epoch": 0.9226666666666666,
      "grad_norm": 2.2441680431365967,
      "learning_rate": 1.5702702702702704e-05,
      "loss": 1.4319,
      "step": 6920
    },
    {
      "epoch": 0.924,
      "grad_norm": 2.5555968284606934,
      "learning_rate": 1.5432432432432433e-05,
      "loss": 1.7728,
      "step": 6930
    },
    {
      "epoch": 0.9253333333333333,
      "grad_norm": 2.4957871437072754,
      "learning_rate": 1.5162162162162164e-05,
      "loss": 1.7825,
      "step": 6940
    },
    {
      "epoch": 0.9266666666666666,
      "grad_norm": 2.550595283508301,
      "learning_rate": 1.4891891891891893e-05,
      "loss": 1.603,
      "step": 6950
    },
    {
      "epoch": 0.928,
      "grad_norm": 2.6314826011657715,
      "learning_rate": 1.4621621621621623e-05,
      "loss": 1.7567,
      "step": 6960
    },
    {
      "epoch": 0.9293333333333333,
      "grad_norm": 2.9072461128234863,
      "learning_rate": 1.4351351351351352e-05,
      "loss": 1.6172,
      "step": 6970
    },
    {
      "epoch": 0.9306666666666666,
      "grad_norm": 3.2710816860198975,
      "learning_rate": 1.4081081081081081e-05,
      "loss": 1.6034,
      "step": 6980
    },
    {
      "epoch": 0.932,
      "grad_norm": 2.4734737873077393,
      "learning_rate": 1.3810810810810812e-05,
      "loss": 1.6267,
      "step": 6990
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 2.662058115005493,
      "learning_rate": 1.3540540540540541e-05,
      "loss": 1.6551,
      "step": 7000
    },
    {
      "epoch": 0.9346666666666666,
      "grad_norm": 2.6980836391448975,
      "learning_rate": 1.3270270270270272e-05,
      "loss": 1.6888,
      "step": 7010
    },
    {
      "epoch": 0.936,
      "grad_norm": 2.771665096282959,
      "learning_rate": 1.3000000000000001e-05,
      "loss": 1.7321,
      "step": 7020
    },
    {
      "epoch": 0.9373333333333334,
      "grad_norm": 2.653038740158081,
      "learning_rate": 1.2729729729729732e-05,
      "loss": 1.7143,
      "step": 7030
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 2.3817522525787354,
      "learning_rate": 1.245945945945946e-05,
      "loss": 1.5358,
      "step": 7040
    },
    {
      "epoch": 0.94,
      "grad_norm": 2.279339551925659,
      "learning_rate": 1.218918918918919e-05,
      "loss": 1.6555,
      "step": 7050
    },
    {
      "epoch": 0.9413333333333334,
      "grad_norm": 3.3182878494262695,
      "learning_rate": 1.191891891891892e-05,
      "loss": 1.6184,
      "step": 7060
    },
    {
      "epoch": 0.9426666666666667,
      "grad_norm": 2.6482789516448975,
      "learning_rate": 1.164864864864865e-05,
      "loss": 1.709,
      "step": 7070
    },
    {
      "epoch": 0.944,
      "grad_norm": 2.4812536239624023,
      "learning_rate": 1.137837837837838e-05,
      "loss": 1.7768,
      "step": 7080
    },
    {
      "epoch": 0.9453333333333334,
      "grad_norm": 3.111724615097046,
      "learning_rate": 1.1108108108108109e-05,
      "loss": 1.6812,
      "step": 7090
    },
    {
      "epoch": 0.9466666666666667,
      "grad_norm": 2.495426654815674,
      "learning_rate": 1.0837837837837838e-05,
      "loss": 1.5317,
      "step": 7100
    },
    {
      "epoch": 0.948,
      "grad_norm": 2.2483787536621094,
      "learning_rate": 1.0567567567567569e-05,
      "loss": 1.629,
      "step": 7110
    },
    {
      "epoch": 0.9493333333333334,
      "grad_norm": 2.7049107551574707,
      "learning_rate": 1.0297297297297298e-05,
      "loss": 1.5866,
      "step": 7120
    },
    {
      "epoch": 0.9506666666666667,
      "grad_norm": 3.0780189037323,
      "learning_rate": 1.0027027027027029e-05,
      "loss": 1.7374,
      "step": 7130
    },
    {
      "epoch": 0.952,
      "grad_norm": 2.746018171310425,
      "learning_rate": 9.756756756756758e-06,
      "loss": 1.5519,
      "step": 7140
    },
    {
      "epoch": 0.9533333333333334,
      "grad_norm": 2.679908514022827,
      "learning_rate": 9.486486486486487e-06,
      "loss": 1.5365,
      "step": 7150
    },
    {
      "epoch": 0.9546666666666667,
      "grad_norm": 2.8329336643218994,
      "learning_rate": 9.216216216216217e-06,
      "loss": 1.62,
      "step": 7160
    },
    {
      "epoch": 0.956,
      "grad_norm": 2.6065895557403564,
      "learning_rate": 8.945945945945946e-06,
      "loss": 1.7687,
      "step": 7170
    },
    {
      "epoch": 0.9573333333333334,
      "grad_norm": 2.30088472366333,
      "learning_rate": 8.675675675675677e-06,
      "loss": 1.557,
      "step": 7180
    },
    {
      "epoch": 0.9586666666666667,
      "grad_norm": 2.599210262298584,
      "learning_rate": 8.405405405405406e-06,
      "loss": 1.62,
      "step": 7190
    },
    {
      "epoch": 0.96,
      "grad_norm": 2.2358078956604004,
      "learning_rate": 8.135135135135135e-06,
      "loss": 1.6407,
      "step": 7200
    },
    {
      "epoch": 0.9613333333333334,
      "grad_norm": 2.4841508865356445,
      "learning_rate": 7.864864864864866e-06,
      "loss": 1.6056,
      "step": 7210
    },
    {
      "epoch": 0.9626666666666667,
      "grad_norm": 2.3047494888305664,
      "learning_rate": 7.594594594594595e-06,
      "loss": 1.5406,
      "step": 7220
    },
    {
      "epoch": 0.964,
      "grad_norm": 2.834550380706787,
      "learning_rate": 7.324324324324325e-06,
      "loss": 1.7274,
      "step": 7230
    },
    {
      "epoch": 0.9653333333333334,
      "grad_norm": 2.8711700439453125,
      "learning_rate": 7.054054054054055e-06,
      "loss": 1.6701,
      "step": 7240
    },
    {
      "epoch": 0.9666666666666667,
      "grad_norm": 2.738593816757202,
      "learning_rate": 6.7837837837837845e-06,
      "loss": 1.6375,
      "step": 7250
    },
    {
      "epoch": 0.968,
      "grad_norm": 2.4135043621063232,
      "learning_rate": 6.5135135135135135e-06,
      "loss": 1.6107,
      "step": 7260
    },
    {
      "epoch": 0.9693333333333334,
      "grad_norm": 2.8111422061920166,
      "learning_rate": 6.243243243243243e-06,
      "loss": 1.539,
      "step": 7270
    },
    {
      "epoch": 0.9706666666666667,
      "grad_norm": 2.566840648651123,
      "learning_rate": 5.972972972972973e-06,
      "loss": 1.594,
      "step": 7280
    },
    {
      "epoch": 0.972,
      "grad_norm": 2.5556352138519287,
      "learning_rate": 5.702702702702703e-06,
      "loss": 1.6455,
      "step": 7290
    },
    {
      "epoch": 0.9733333333333334,
      "grad_norm": 3.008657932281494,
      "learning_rate": 5.432432432432433e-06,
      "loss": 1.5848,
      "step": 7300
    },
    {
      "epoch": 0.9746666666666667,
      "grad_norm": 2.610825777053833,
      "learning_rate": 5.162162162162163e-06,
      "loss": 1.7194,
      "step": 7310
    },
    {
      "epoch": 0.976,
      "grad_norm": 2.616455078125,
      "learning_rate": 4.891891891891892e-06,
      "loss": 1.568,
      "step": 7320
    },
    {
      "epoch": 0.9773333333333334,
      "grad_norm": 2.8675105571746826,
      "learning_rate": 4.621621621621622e-06,
      "loss": 1.7507,
      "step": 7330
    },
    {
      "epoch": 0.9786666666666667,
      "grad_norm": 2.5159497261047363,
      "learning_rate": 4.351351351351352e-06,
      "loss": 1.7367,
      "step": 7340
    },
    {
      "epoch": 0.98,
      "grad_norm": 2.332679271697998,
      "learning_rate": 4.0810810810810815e-06,
      "loss": 1.7872,
      "step": 7350
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 2.50606632232666,
      "learning_rate": 3.810810810810811e-06,
      "loss": 1.7851,
      "step": 7360
    },
    {
      "epoch": 0.9826666666666667,
      "grad_norm": 2.3942174911499023,
      "learning_rate": 3.5405405405405408e-06,
      "loss": 1.735,
      "step": 7370
    },
    {
      "epoch": 0.984,
      "grad_norm": 2.652820348739624,
      "learning_rate": 3.27027027027027e-06,
      "loss": 1.549,
      "step": 7380
    },
    {
      "epoch": 0.9853333333333333,
      "grad_norm": 2.5401089191436768,
      "learning_rate": 3e-06,
      "loss": 1.7919,
      "step": 7390
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 2.644707679748535,
      "learning_rate": 2.72972972972973e-06,
      "loss": 1.6898,
      "step": 7400
    },
    {
      "epoch": 0.988,
      "grad_norm": 2.5156869888305664,
      "learning_rate": 2.4594594594594594e-06,
      "loss": 1.7502,
      "step": 7410
    },
    {
      "epoch": 0.9893333333333333,
      "grad_norm": 2.9626588821411133,
      "learning_rate": 2.1891891891891893e-06,
      "loss": 1.7192,
      "step": 7420
    },
    {
      "epoch": 0.9906666666666667,
      "grad_norm": 2.3246891498565674,
      "learning_rate": 1.9189189189189187e-06,
      "loss": 1.5739,
      "step": 7430
    },
    {
      "epoch": 0.992,
      "grad_norm": 2.74018931388855,
      "learning_rate": 1.648648648648649e-06,
      "loss": 1.6219,
      "step": 7440
    },
    {
      "epoch": 0.9933333333333333,
      "grad_norm": 2.560476779937744,
      "learning_rate": 1.3783783783783784e-06,
      "loss": 1.629,
      "step": 7450
    },
    {
      "epoch": 0.9946666666666667,
      "grad_norm": 2.6624557971954346,
      "learning_rate": 1.108108108108108e-06,
      "loss": 1.6837,
      "step": 7460
    },
    {
      "epoch": 0.996,
      "grad_norm": 2.5217485427856445,
      "learning_rate": 8.378378378378379e-07,
      "loss": 1.7801,
      "step": 7470
    },
    {
      "epoch": 0.9973333333333333,
      "grad_norm": 2.61094069480896,
      "learning_rate": 5.675675675675676e-07,
      "loss": 1.7075,
      "step": 7480
    },
    {
      "epoch": 0.9986666666666667,
      "grad_norm": 2.4117472171783447,
      "learning_rate": 2.972972972972973e-07,
      "loss": 1.7605,
      "step": 7490
    },
    {
      "epoch": 1.0,
      "grad_norm": 2.9337403774261475,
      "learning_rate": 2.7027027027027028e-08,
      "loss": 1.5628,
      "step": 7500
    }
  ],
  "logging_steps": 10,
  "max_steps": 7500,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 1,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 1.789801119744e+17,
  "train_batch_size": 4,
  "trial_name": null,
  "trial_params": null
}