{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 0.06666666666666667,
  "eval_steps": 500,
  "global_step": 10000,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 6.666666666666667e-05,
      "grad_norm": 4.40625,
      "learning_rate": 3e-05,
      "loss": 0.3772,
      "step": 10
    },
    {
      "epoch": 0.00013333333333333334,
      "grad_norm": 4.96875,
      "learning_rate": 4.999999991225264e-05,
      "loss": 0.3736,
      "step": 20
    },
    {
      "epoch": 0.0002,
      "grad_norm": 6.09375,
      "learning_rate": 4.999999892509478e-05,
      "loss": 0.3806,
      "step": 30
    },
    {
      "epoch": 0.0002666666666666667,
      "grad_norm": 5.0625,
      "learning_rate": 4.999999684109491e-05,
      "loss": 0.3827,
      "step": 40
    },
    {
      "epoch": 0.0003333333333333333,
      "grad_norm": 4.0625,
      "learning_rate": 4.999999366025311e-05,
      "loss": 0.3681,
      "step": 50
    },
    {
      "epoch": 0.0004,
      "grad_norm": 3.3125,
      "learning_rate": 4.999998938256953e-05,
      "loss": 0.3843,
      "step": 60
    },
    {
      "epoch": 0.00046666666666666666,
      "grad_norm": 4.6875,
      "learning_rate": 4.9999984008044345e-05,
      "loss": 0.3509,
      "step": 70
    },
    {
      "epoch": 0.0005333333333333334,
      "grad_norm": 4.15625,
      "learning_rate": 4.99999775366778e-05,
      "loss": 0.3713,
      "step": 80
    },
    {
      "epoch": 0.0006,
      "grad_norm": 4.9375,
      "learning_rate": 4.9999969968470175e-05,
      "loss": 0.4111,
      "step": 90
    },
    {
      "epoch": 0.0006666666666666666,
      "grad_norm": 5.1875,
      "learning_rate": 4.999996130342181e-05,
      "loss": 0.402,
      "step": 100
    },
    {
      "epoch": 0.0007333333333333333,
      "grad_norm": 4.0625,
      "learning_rate": 4.999995154153306e-05,
      "loss": 0.3641,
      "step": 110
    },
    {
      "epoch": 0.0008,
      "grad_norm": 5.59375,
      "learning_rate": 4.9999940682804384e-05,
      "loss": 0.3843,
      "step": 120
    },
    {
      "epoch": 0.0008666666666666666,
      "grad_norm": 4.53125,
      "learning_rate": 4.999992872723624e-05,
      "loss": 0.3812,
      "step": 130
    },
    {
      "epoch": 0.0009333333333333333,
      "grad_norm": 6.5625,
      "learning_rate": 4.999991567482917e-05,
      "loss": 0.3415,
      "step": 140
    },
    {
      "epoch": 0.001,
      "grad_norm": 4.5,
      "learning_rate": 4.9999901525583725e-05,
      "loss": 0.373,
      "step": 150
    },
    {
      "epoch": 0.0010666666666666667,
      "grad_norm": 4.21875,
      "learning_rate": 4.999988627950054e-05,
      "loss": 0.3606,
      "step": 160
    },
    {
      "epoch": 0.0011333333333333334,
      "grad_norm": 3.53125,
      "learning_rate": 4.999986993658028e-05,
      "loss": 0.3781,
      "step": 170
    },
    {
      "epoch": 0.0012,
      "grad_norm": 5.40625,
      "learning_rate": 4.999985249682365e-05,
      "loss": 0.4073,
      "step": 180
    },
    {
      "epoch": 0.0012666666666666666,
      "grad_norm": 4.90625,
      "learning_rate": 4.999983396023144e-05,
      "loss": 0.407,
      "step": 190
    },
    {
      "epoch": 0.0013333333333333333,
      "grad_norm": 4.34375,
      "learning_rate": 4.999981432680445e-05,
      "loss": 0.3991,
      "step": 200
    },
    {
      "epoch": 0.0014,
      "grad_norm": 4.8125,
      "learning_rate": 4.999979359654353e-05,
      "loss": 0.3928,
      "step": 210
    },
    {
      "epoch": 0.0014666666666666667,
      "grad_norm": 4.53125,
      "learning_rate": 4.999977176944961e-05,
      "loss": 0.4131,
      "step": 220
    },
    {
      "epoch": 0.0015333333333333334,
      "grad_norm": 4.4375,
      "learning_rate": 4.999974884552364e-05,
      "loss": 0.3823,
      "step": 230
    },
    {
      "epoch": 0.0016,
      "grad_norm": 4.5625,
      "learning_rate": 4.999972482476663e-05,
      "loss": 0.4221,
      "step": 240
    },
    {
      "epoch": 0.0016666666666666668,
      "grad_norm": 5.09375,
      "learning_rate": 4.9999699707179614e-05,
      "loss": 0.4095,
      "step": 250
    },
    {
      "epoch": 0.0017333333333333333,
      "grad_norm": 3.890625,
      "learning_rate": 4.999967349276371e-05,
      "loss": 0.3769,
      "step": 260
    },
    {
      "epoch": 0.0018,
      "grad_norm": 5.1875,
      "learning_rate": 4.9999646181520076e-05,
      "loss": 0.4163,
      "step": 270
    },
    {
      "epoch": 0.0018666666666666666,
      "grad_norm": 4.09375,
      "learning_rate": 4.999961777344989e-05,
      "loss": 0.4054,
      "step": 280
    },
    {
      "epoch": 0.0019333333333333333,
      "grad_norm": 5.8125,
      "learning_rate": 4.999958826855442e-05,
      "loss": 0.3694,
      "step": 290
    },
    {
      "epoch": 0.002,
      "grad_norm": 4.25,
      "learning_rate": 4.999955766683494e-05,
      "loss": 0.3947,
      "step": 300
    },
    {
      "epoch": 0.0020666666666666667,
      "grad_norm": 4.34375,
      "learning_rate": 4.999952596829281e-05,
      "loss": 0.3846,
      "step": 310
    },
    {
      "epoch": 0.0021333333333333334,
      "grad_norm": 5.25,
      "learning_rate": 4.9999493172929415e-05,
      "loss": 0.4161,
      "step": 320
    },
    {
      "epoch": 0.0022,
      "grad_norm": 3.953125,
      "learning_rate": 4.999945928074618e-05,
      "loss": 0.4504,
      "step": 330
    },
    {
      "epoch": 0.002266666666666667,
      "grad_norm": 4.90625,
      "learning_rate": 4.9999424291744615e-05,
      "loss": 0.4263,
      "step": 340
    },
    {
      "epoch": 0.0023333333333333335,
      "grad_norm": 4.71875,
      "learning_rate": 4.9999388205926234e-05,
      "loss": 0.4143,
      "step": 350
    },
    {
      "epoch": 0.0024,
      "grad_norm": 5.34375,
      "learning_rate": 4.999935102329263e-05,
      "loss": 0.3958,
      "step": 360
    },
    {
      "epoch": 0.0024666666666666665,
      "grad_norm": 5.125,
      "learning_rate": 4.9999312743845436e-05,
      "loss": 0.3801,
      "step": 370
    },
    {
      "epoch": 0.002533333333333333,
      "grad_norm": 4.8125,
      "learning_rate": 4.999927336758633e-05,
      "loss": 0.4316,
      "step": 380
    },
    {
      "epoch": 0.0026,
      "grad_norm": 5.1875,
      "learning_rate": 4.9999232894517047e-05,
      "loss": 0.4044,
      "step": 390
    },
    {
      "epoch": 0.0026666666666666666,
      "grad_norm": 4.53125,
      "learning_rate": 4.999919132463935e-05,
      "loss": 0.3921,
      "step": 400
    },
    {
      "epoch": 0.0027333333333333333,
      "grad_norm": 4.5625,
      "learning_rate": 4.9999148657955066e-05,
      "loss": 0.4102,
      "step": 410
    },
    {
      "epoch": 0.0028,
      "grad_norm": 5.5625,
      "learning_rate": 4.999910489446608e-05,
      "loss": 0.4195,
      "step": 420
    },
    {
      "epoch": 0.0028666666666666667,
      "grad_norm": 4.40625,
      "learning_rate": 4.999906003417428e-05,
      "loss": 0.4089,
      "step": 430
    },
    {
      "epoch": 0.0029333333333333334,
      "grad_norm": 5.09375,
      "learning_rate": 4.999901407708168e-05,
      "loss": 0.3788,
      "step": 440
    },
    {
      "epoch": 0.003,
      "grad_norm": 4.71875,
      "learning_rate": 4.999896702319025e-05,
      "loss": 0.3652,
      "step": 450
    },
    {
      "epoch": 0.0030666666666666668,
      "grad_norm": 5.125,
      "learning_rate": 4.999891887250208e-05,
      "loss": 0.411,
      "step": 460
    },
    {
      "epoch": 0.0031333333333333335,
      "grad_norm": 5.15625,
      "learning_rate": 4.9998869625019285e-05,
      "loss": 0.4588,
      "step": 470
    },
    {
      "epoch": 0.0032,
      "grad_norm": 4.25,
      "learning_rate": 4.9998819280744014e-05,
      "loss": 0.4315,
      "step": 480
    },
    {
      "epoch": 0.003266666666666667,
      "grad_norm": 11.5,
      "learning_rate": 4.999876783967848e-05,
      "loss": 0.425,
      "step": 490
    },
    {
      "epoch": 0.0033333333333333335,
      "grad_norm": 4.28125,
      "learning_rate": 4.999871530182495e-05,
      "loss": 0.4053,
      "step": 500
    },
    {
      "epoch": 0.0034,
      "grad_norm": 5.25,
      "learning_rate": 4.999866166718571e-05,
      "loss": 0.4014,
      "step": 510
    },
    {
      "epoch": 0.0034666666666666665,
      "grad_norm": 6.8125,
      "learning_rate": 4.999860693576313e-05,
      "loss": 0.3956,
      "step": 520
    },
    {
      "epoch": 0.003533333333333333,
      "grad_norm": 7.75,
      "learning_rate": 4.9998551107559597e-05,
      "loss": 0.4163,
      "step": 530
    },
    {
      "epoch": 0.0036,
      "grad_norm": 5.4375,
      "learning_rate": 4.999849418257757e-05,
      "loss": 0.4018,
      "step": 540
    },
    {
      "epoch": 0.0036666666666666666,
      "grad_norm": 5.6875,
      "learning_rate": 4.999843616081955e-05,
      "loss": 0.4091,
      "step": 550
    },
    {
      "epoch": 0.0037333333333333333,
      "grad_norm": 4.75,
      "learning_rate": 4.999837704228807e-05,
      "loss": 0.4453,
      "step": 560
    },
    {
      "epoch": 0.0038,
      "grad_norm": 4.0625,
      "learning_rate": 4.999831682698573e-05,
      "loss": 0.4405,
      "step": 570
    },
    {
      "epoch": 0.0038666666666666667,
      "grad_norm": 4.46875,
      "learning_rate": 4.999825551491518e-05,
      "loss": 0.3985,
      "step": 580
    },
    {
      "epoch": 0.003933333333333333,
      "grad_norm": 4.375,
      "learning_rate": 4.999819310607909e-05,
      "loss": 0.3603,
      "step": 590
    },
    {
      "epoch": 0.004,
      "grad_norm": 4.15625,
      "learning_rate": 4.999812960048023e-05,
      "loss": 0.3997,
      "step": 600
    },
    {
      "epoch": 0.004066666666666666,
      "grad_norm": 5.125,
      "learning_rate": 4.9998064998121344e-05,
      "loss": 0.4093,
      "step": 610
    },
    {
      "epoch": 0.0041333333333333335,
      "grad_norm": 5.03125,
      "learning_rate": 4.99979992990053e-05,
      "loss": 0.3873,
      "step": 620
    },
    {
      "epoch": 0.0042,
      "grad_norm": 4.46875,
      "learning_rate": 4.999793250313497e-05,
      "loss": 0.423,
      "step": 630
    },
    {
      "epoch": 0.004266666666666667,
      "grad_norm": 5.1875,
      "learning_rate": 4.999786461051329e-05,
      "loss": 0.3888,
      "step": 640
    },
    {
      "epoch": 0.004333333333333333,
      "grad_norm": 4.625,
      "learning_rate": 4.9997795621143217e-05,
      "loss": 0.4072,
      "step": 650
    },
    {
      "epoch": 0.0044,
      "grad_norm": 5.3125,
      "learning_rate": 4.9997725535027805e-05,
      "loss": 0.4041,
      "step": 660
    },
    {
      "epoch": 0.0044666666666666665,
      "grad_norm": 6.0,
      "learning_rate": 4.999765435217011e-05,
      "loss": 0.4168,
      "step": 670
    },
    {
      "epoch": 0.004533333333333334,
      "grad_norm": 5.6875,
      "learning_rate": 4.999758207257327e-05,
      "loss": 0.3705,
      "step": 680
    },
    {
      "epoch": 0.0046,
      "grad_norm": 5.6875,
      "learning_rate": 4.999750869624045e-05,
      "loss": 0.3939,
      "step": 690
    },
    {
      "epoch": 0.004666666666666667,
      "grad_norm": 4.15625,
      "learning_rate": 4.999743422317486e-05,
      "loss": 0.4265,
      "step": 700
    },
    {
      "epoch": 0.004733333333333333,
      "grad_norm": 4.125,
      "learning_rate": 4.999735865337978e-05,
      "loss": 0.4001,
      "step": 710
    },
    {
      "epoch": 0.0048,
      "grad_norm": 4.375,
      "learning_rate": 4.999728198685852e-05,
      "loss": 0.3997,
      "step": 720
    },
    {
      "epoch": 0.004866666666666667,
      "grad_norm": 5.4375,
      "learning_rate": 4.999720422361445e-05,
      "loss": 0.4471,
      "step": 730
    },
    {
      "epoch": 0.004933333333333333,
      "grad_norm": 4.1875,
      "learning_rate": 4.999712536365097e-05,
      "loss": 0.4318,
      "step": 740
    },
    {
      "epoch": 0.005,
      "grad_norm": 4.1875,
      "learning_rate": 4.999704540697154e-05,
      "loss": 0.4318,
      "step": 750
    },
    {
      "epoch": 0.005066666666666666,
      "grad_norm": 5.90625,
      "learning_rate": 4.999696435357968e-05,
      "loss": 0.4062,
      "step": 760
    },
    {
      "epoch": 0.0051333333333333335,
      "grad_norm": 5.6875,
      "learning_rate": 4.9996882203478944e-05,
      "loss": 0.3938,
      "step": 770
    },
    {
      "epoch": 0.0052,
      "grad_norm": 4.34375,
      "learning_rate": 4.999679895667293e-05,
      "loss": 0.3862,
      "step": 780
    },
    {
      "epoch": 0.005266666666666667,
      "grad_norm": 5.0625,
      "learning_rate": 4.9996714613165294e-05,
      "loss": 0.4151,
      "step": 790
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 3.890625,
      "learning_rate": 4.999662917295973e-05,
      "loss": 0.3907,
      "step": 800
    },
    {
      "epoch": 0.0054,
      "grad_norm": 5.375,
      "learning_rate": 4.999654263606e-05,
      "loss": 0.3854,
      "step": 810
    },
    {
      "epoch": 0.0054666666666666665,
      "grad_norm": 5.5,
      "learning_rate": 4.9996455002469885e-05,
      "loss": 0.4332,
      "step": 820
    },
    {
      "epoch": 0.005533333333333334,
      "grad_norm": 4.6875,
      "learning_rate": 4.9996366272193246e-05,
      "loss": 0.4251,
      "step": 830
    },
    {
      "epoch": 0.0056,
      "grad_norm": 6.40625,
      "learning_rate": 4.999627644523397e-05,
      "loss": 0.4089,
      "step": 840
    },
    {
      "epoch": 0.005666666666666667,
      "grad_norm": 4.5625,
      "learning_rate": 4.9996185521595984e-05,
      "loss": 0.4032,
      "step": 850
    },
    {
      "epoch": 0.005733333333333333,
      "grad_norm": 4.34375,
      "learning_rate": 4.9996093501283295e-05,
      "loss": 0.4354,
      "step": 860
    },
    {
      "epoch": 0.0058,
      "grad_norm": 4.03125,
      "learning_rate": 4.9996000384299926e-05,
      "loss": 0.4081,
      "step": 870
    },
    {
      "epoch": 0.005866666666666667,
      "grad_norm": 4.5625,
      "learning_rate": 4.9995906170649976e-05,
      "loss": 0.419,
      "step": 880
    },
    {
      "epoch": 0.005933333333333333,
      "grad_norm": 4.84375,
      "learning_rate": 4.999581086033757e-05,
      "loss": 0.3777,
      "step": 890
    },
    {
      "epoch": 0.006,
      "grad_norm": 6.375,
      "learning_rate": 4.9995714453366895e-05,
      "loss": 0.3872,
      "step": 900
    },
    {
      "epoch": 0.006066666666666666,
      "grad_norm": 3.78125,
      "learning_rate": 4.999561694974218e-05,
      "loss": 0.4106,
      "step": 910
    },
    {
      "epoch": 0.0061333333333333335,
      "grad_norm": 5.84375,
      "learning_rate": 4.9995518349467697e-05,
      "loss": 0.3898,
      "step": 920
    },
    {
      "epoch": 0.0062,
      "grad_norm": 4.59375,
      "learning_rate": 4.9995418652547774e-05,
      "loss": 0.4282,
      "step": 930
    },
    {
      "epoch": 0.006266666666666667,
      "grad_norm": 5.84375,
      "learning_rate": 4.99953178589868e-05,
      "loss": 0.3643,
      "step": 940
    },
    {
      "epoch": 0.006333333333333333,
      "grad_norm": 4.75,
      "learning_rate": 4.999521596878917e-05,
      "loss": 0.4295,
      "step": 950
    },
    {
      "epoch": 0.0064,
      "grad_norm": 4.03125,
      "learning_rate": 4.999511298195937e-05,
      "loss": 0.4008,
      "step": 960
    },
    {
      "epoch": 0.006466666666666667,
      "grad_norm": 5.375,
      "learning_rate": 4.999500889850193e-05,
      "loss": 0.4213,
      "step": 970
    },
    {
      "epoch": 0.006533333333333334,
      "grad_norm": 6.0,
      "learning_rate": 4.999490371842139e-05,
      "loss": 0.4326,
      "step": 980
    },
    {
      "epoch": 0.0066,
      "grad_norm": 5.4375,
      "learning_rate": 4.999479744172237e-05,
      "loss": 0.397,
      "step": 990
    },
    {
      "epoch": 0.006666666666666667,
      "grad_norm": 4.46875,
      "learning_rate": 4.9994690068409556e-05,
      "loss": 0.4096,
      "step": 1000
    },
    {
      "epoch": 0.006733333333333333,
      "grad_norm": 5.53125,
      "learning_rate": 4.999458159848764e-05,
      "loss": 0.3946,
      "step": 1010
    },
    {
      "epoch": 0.0068,
      "grad_norm": 5.53125,
      "learning_rate": 4.9994472031961386e-05,
      "loss": 0.3924,
      "step": 1020
    },
    {
      "epoch": 0.006866666666666667,
      "grad_norm": 4.71875,
      "learning_rate": 4.9994361368835595e-05,
      "loss": 0.4063,
      "step": 1030
    },
    {
      "epoch": 0.006933333333333333,
      "grad_norm": 6.3125,
      "learning_rate": 4.999424960911513e-05,
      "loss": 0.4257,
      "step": 1040
    },
    {
      "epoch": 0.007,
      "grad_norm": 5.90625,
      "learning_rate": 4.999413675280489e-05,
      "loss": 0.437,
      "step": 1050
    },
    {
      "epoch": 0.007066666666666666,
      "grad_norm": 4.5,
      "learning_rate": 4.999402279990984e-05,
      "loss": 0.3873,
      "step": 1060
    },
    {
      "epoch": 0.0071333333333333335,
      "grad_norm": 5.15625,
      "learning_rate": 4.999390775043494e-05,
      "loss": 0.3756,
      "step": 1070
    },
    {
      "epoch": 0.0072,
      "grad_norm": 4.875,
      "learning_rate": 4.999379160438529e-05,
      "loss": 0.3982,
      "step": 1080
    },
    {
      "epoch": 0.007266666666666667,
      "grad_norm": 4.875,
      "learning_rate": 4.9993674361765947e-05,
      "loss": 0.4096,
      "step": 1090
    },
    {
      "epoch": 0.007333333333333333,
      "grad_norm": 4.84375,
      "learning_rate": 4.999355602258207e-05,
      "loss": 0.4269,
      "step": 1100
    },
    {
      "epoch": 0.0074,
      "grad_norm": 4.4375,
      "learning_rate": 4.999343658683885e-05,
      "loss": 0.3908,
      "step": 1110
    },
    {
      "epoch": 0.007466666666666667,
      "grad_norm": 4.5,
      "learning_rate": 4.999331605454153e-05,
      "loss": 0.4155,
      "step": 1120
    },
    {
      "epoch": 0.007533333333333334,
      "grad_norm": 7.28125,
      "learning_rate": 4.999319442569539e-05,
      "loss": 0.4886,
      "step": 1130
    },
    {
      "epoch": 0.0076,
      "grad_norm": 6.15625,
      "learning_rate": 4.9993071700305775e-05,
      "loss": 0.4295,
      "step": 1140
    },
    {
      "epoch": 0.007666666666666666,
      "grad_norm": 4.65625,
      "learning_rate": 4.999294787837807e-05,
      "loss": 0.3996,
      "step": 1150
    },
    {
      "epoch": 0.007733333333333333,
      "grad_norm": 5.84375,
      "learning_rate": 4.999282295991769e-05,
      "loss": 0.3818,
      "step": 1160
    },
    {
      "epoch": 0.0078,
      "grad_norm": 4.40625,
      "learning_rate": 4.999269694493014e-05,
      "loss": 0.3855,
      "step": 1170
    },
    {
      "epoch": 0.007866666666666666,
      "grad_norm": 2.71875,
      "learning_rate": 4.999256983342093e-05,
      "loss": 0.367,
      "step": 1180
    },
    {
      "epoch": 0.007933333333333334,
      "grad_norm": 4.09375,
      "learning_rate": 4.999244162539565e-05,
      "loss": 0.4159,
      "step": 1190
    },
    {
      "epoch": 0.008,
      "grad_norm": 4.03125,
      "learning_rate": 4.9992312320859914e-05,
      "loss": 0.3786,
      "step": 1200
    },
    {
      "epoch": 0.008066666666666666,
      "grad_norm": 4.78125,
      "learning_rate": 4.9992181919819403e-05,
      "loss": 0.4019,
      "step": 1210
    },
    {
      "epoch": 0.008133333333333333,
      "grad_norm": 5.875,
      "learning_rate": 4.9992050422279835e-05,
      "loss": 0.4095,
      "step": 1220
    },
    {
      "epoch": 0.0082,
      "grad_norm": 10.8125,
      "learning_rate": 4.999191782824697e-05,
      "loss": 0.4201,
      "step": 1230
    },
    {
      "epoch": 0.008266666666666667,
      "grad_norm": 8.4375,
      "learning_rate": 4.999178413772665e-05,
      "loss": 0.425,
      "step": 1240
    },
    {
      "epoch": 0.008333333333333333,
      "grad_norm": 5.4375,
      "learning_rate": 4.999164935072472e-05,
      "loss": 0.3797,
      "step": 1250
    },
    {
      "epoch": 0.0084,
      "grad_norm": 4.84375,
      "learning_rate": 4.99915134672471e-05,
      "loss": 0.416,
      "step": 1260
    },
    {
      "epoch": 0.008466666666666667,
      "grad_norm": 5.375,
      "learning_rate": 4.999137648729975e-05,
      "loss": 0.3806,
      "step": 1270
    },
    {
      "epoch": 0.008533333333333334,
      "grad_norm": 4.15625,
      "learning_rate": 4.999123841088868e-05,
      "loss": 0.3851,
      "step": 1280
    },
    {
      "epoch": 0.0086,
      "grad_norm": 4.5,
      "learning_rate": 4.999109923801994e-05,
      "loss": 0.4028,
      "step": 1290
    },
    {
      "epoch": 0.008666666666666666,
      "grad_norm": 4.6875,
      "learning_rate": 4.999095896869965e-05,
      "loss": 0.4023,
      "step": 1300
    },
    {
      "epoch": 0.008733333333333333,
      "grad_norm": 6.9375,
      "learning_rate": 4.9990817602933965e-05,
      "loss": 0.3585,
      "step": 1310
    },
    {
      "epoch": 0.0088,
      "grad_norm": 4.75,
      "learning_rate": 4.999067514072908e-05,
      "loss": 0.4049,
      "step": 1320
    },
    {
      "epoch": 0.008866666666666667,
      "grad_norm": 5.0625,
      "learning_rate": 4.999053158209124e-05,
      "loss": 0.3998,
      "step": 1330
    },
    {
      "epoch": 0.008933333333333333,
      "grad_norm": 6.21875,
      "learning_rate": 4.9990386927026756e-05,
      "loss": 0.3928,
      "step": 1340
    },
    {
      "epoch": 0.009,
      "grad_norm": 4.6875,
      "learning_rate": 4.999024117554196e-05,
      "loss": 0.409,
      "step": 1350
    },
    {
      "epoch": 0.009066666666666667,
      "grad_norm": 5.40625,
      "learning_rate": 4.999009432764326e-05,
      "loss": 0.4231,
      "step": 1360
    },
    {
      "epoch": 0.009133333333333334,
      "grad_norm": 3.921875,
      "learning_rate": 4.998994638333709e-05,
      "loss": 0.3976,
      "step": 1370
    },
    {
      "epoch": 0.0092,
      "grad_norm": 5.28125,
      "learning_rate": 4.998979734262995e-05,
      "loss": 0.3721,
      "step": 1380
    },
    {
      "epoch": 0.009266666666666666,
      "grad_norm": 3.9375,
      "learning_rate": 4.998964720552838e-05,
      "loss": 0.4223,
      "step": 1390
    },
    {
      "epoch": 0.009333333333333334,
      "grad_norm": 6.21875,
      "learning_rate": 4.998949597203895e-05,
      "loss": 0.3988,
      "step": 1400
    },
    {
      "epoch": 0.0094,
      "grad_norm": 5.3125,
      "learning_rate": 4.998934364216831e-05,
      "loss": 0.4045,
      "step": 1410
    },
    {
      "epoch": 0.009466666666666667,
      "grad_norm": 4.59375,
      "learning_rate": 4.998919021592313e-05,
      "loss": 0.3716,
      "step": 1420
    },
    {
      "epoch": 0.009533333333333333,
      "grad_norm": 4.125,
      "learning_rate": 4.998903569331016e-05,
      "loss": 0.4711,
      "step": 1430
    },
    {
      "epoch": 0.0096,
      "grad_norm": 12.25,
      "learning_rate": 4.9988880074336164e-05,
      "loss": 0.4235,
      "step": 1440
    },
    {
      "epoch": 0.009666666666666667,
      "grad_norm": 5.59375,
      "learning_rate": 4.9988723359007983e-05,
      "loss": 0.4209,
      "step": 1450
    },
    {
      "epoch": 0.009733333333333333,
      "grad_norm": 5.65625,
      "learning_rate": 4.998856554733248e-05,
      "loss": 0.3975,
      "step": 1460
    },
    {
      "epoch": 0.0098,
      "grad_norm": 3.421875,
      "learning_rate": 4.998840663931659e-05,
      "loss": 0.4024,
      "step": 1470
    },
    {
      "epoch": 0.009866666666666666,
      "grad_norm": 6.09375,
      "learning_rate": 4.998824663496727e-05,
      "loss": 0.3874,
      "step": 1480
    },
    {
      "epoch": 0.009933333333333334,
      "grad_norm": 6.25,
      "learning_rate": 4.998808553429155e-05,
      "loss": 0.3691,
      "step": 1490
    },
    {
      "epoch": 0.01,
      "grad_norm": 4.65625,
      "learning_rate": 4.99879233372965e-05,
      "loss": 0.4208,
      "step": 1500
    },
    {
      "epoch": 0.010066666666666666,
      "grad_norm": 5.40625,
      "learning_rate": 4.9987760043989226e-05,
      "loss": 0.3806,
      "step": 1510
    },
    {
      "epoch": 0.010133333333333333,
      "grad_norm": 5.65625,
      "learning_rate": 4.9987595654376905e-05,
      "loss": 0.3878,
      "step": 1520
    },
    {
      "epoch": 0.0102,
      "grad_norm": 7.625,
      "learning_rate": 4.9987430168466746e-05,
      "loss": 0.4219,
      "step": 1530
    },
    {
      "epoch": 0.010266666666666667,
      "grad_norm": 4.4375,
      "learning_rate": 4.998726358626601e-05,
      "loss": 0.4109,
      "step": 1540
    },
    {
      "epoch": 0.010333333333333333,
      "grad_norm": 5.1875,
      "learning_rate": 4.9987095907781995e-05,
      "loss": 0.3773,
      "step": 1550
    },
    {
      "epoch": 0.0104,
      "grad_norm": 4.4375,
      "learning_rate": 4.998692713302207e-05,
      "loss": 0.3955,
      "step": 1560
    },
    {
      "epoch": 0.010466666666666668,
      "grad_norm": 5.09375,
      "learning_rate": 4.9986757261993636e-05,
      "loss": 0.4054,
      "step": 1570
    },
    {
      "epoch": 0.010533333333333334,
      "grad_norm": 5.0625,
      "learning_rate": 4.998658629470414e-05,
      "loss": 0.3954,
      "step": 1580
    },
    {
      "epoch": 0.0106,
      "grad_norm": 3.5625,
      "learning_rate": 4.998641423116109e-05,
      "loss": 0.3968,
      "step": 1590
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 4.375,
      "learning_rate": 4.998624107137203e-05,
      "loss": 0.4103,
      "step": 1600
    },
    {
      "epoch": 0.010733333333333333,
      "grad_norm": 6.15625,
      "learning_rate": 4.998606681534457e-05,
      "loss": 0.4406,
      "step": 1610
    },
    {
      "epoch": 0.0108,
      "grad_norm": 3.984375,
      "learning_rate": 4.998589146308633e-05,
      "loss": 0.4004,
      "step": 1620
    },
    {
      "epoch": 0.010866666666666667,
      "grad_norm": 6.53125,
      "learning_rate": 4.998571501460503e-05,
      "loss": 0.3916,
      "step": 1630
    },
    {
      "epoch": 0.010933333333333333,
      "grad_norm": 5.625,
      "learning_rate": 4.99855374699084e-05,
      "loss": 0.4175,
      "step": 1640
    },
    {
      "epoch": 0.011,
      "grad_norm": 4.1875,
      "learning_rate": 4.9985358829004226e-05,
      "loss": 0.3908,
      "step": 1650
    },
    {
      "epoch": 0.011066666666666667,
      "grad_norm": 3.796875,
      "learning_rate": 4.998517909190035e-05,
      "loss": 0.4113,
      "step": 1660
    },
    {
      "epoch": 0.011133333333333334,
      "grad_norm": 5.0625,
      "learning_rate": 4.9984998258604666e-05,
      "loss": 0.4133,
      "step": 1670
    },
    {
      "epoch": 0.0112,
      "grad_norm": 4.21875,
      "learning_rate": 4.998481632912509e-05,
      "loss": 0.4375,
      "step": 1680
    },
    {
      "epoch": 0.011266666666666666,
      "grad_norm": 4.46875,
      "learning_rate": 4.998463330346961e-05,
      "loss": 0.4203,
      "step": 1690
    },
    {
      "epoch": 0.011333333333333334,
      "grad_norm": 7.90625,
      "learning_rate": 4.9984449181646266e-05,
      "loss": 0.3943,
      "step": 1700
    },
    {
      "epoch": 0.0114,
      "grad_norm": 4.28125,
      "learning_rate": 4.9984263963663123e-05,
      "loss": 0.3786,
      "step": 1710
    },
    {
      "epoch": 0.011466666666666667,
      "grad_norm": 5.78125,
      "learning_rate": 4.9984077649528315e-05,
      "loss": 0.3857,
      "step": 1720
    },
    {
      "epoch": 0.011533333333333333,
      "grad_norm": 6.21875,
      "learning_rate": 4.998389023925002e-05,
      "loss": 0.4181,
      "step": 1730
    },
    {
      "epoch": 0.0116,
      "grad_norm": 5.1875,
      "learning_rate": 4.998370173283645e-05,
      "loss": 0.3674,
      "step": 1740
    },
    {
      "epoch": 0.011666666666666667,
      "grad_norm": 4.90625,
      "learning_rate": 4.998351213029588e-05,
      "loss": 0.4061,
      "step": 1750
    },
    {
      "epoch": 0.011733333333333333,
      "grad_norm": 6.1875,
      "learning_rate": 4.998332143163663e-05,
      "loss": 0.4013,
      "step": 1760
    },
    {
      "epoch": 0.0118,
      "grad_norm": 5.0625,
      "learning_rate": 4.998312963686706e-05,
      "loss": 0.4003,
      "step": 1770
    },
    {
      "epoch": 0.011866666666666666,
      "grad_norm": 4.6875,
      "learning_rate": 4.99829367459956e-05,
      "loss": 0.3885,
      "step": 1780
    },
    {
      "epoch": 0.011933333333333334,
      "grad_norm": 4.375,
      "learning_rate": 4.9982742759030696e-05,
      "loss": 0.3774,
      "step": 1790
    },
    {
      "epoch": 0.012,
      "grad_norm": 4.78125,
      "learning_rate": 4.998254767598087e-05,
      "loss": 0.3891,
      "step": 1800
    },
    {
      "epoch": 0.012066666666666667,
      "grad_norm": 5.0625,
      "learning_rate": 4.998235149685468e-05,
      "loss": 0.3822,
      "step": 1810
    },
    {
      "epoch": 0.012133333333333333,
      "grad_norm": 4.90625,
      "learning_rate": 4.998215422166073e-05,
      "loss": 0.3762,
      "step": 1820
    },
    {
      "epoch": 0.0122,
      "grad_norm": 4.40625,
      "learning_rate": 4.998195585040767e-05,
      "loss": 0.4045,
      "step": 1830
    },
    {
      "epoch": 0.012266666666666667,
      "grad_norm": 4.5,
      "learning_rate": 4.99817563831042e-05,
      "loss": 0.3978,
      "step": 1840
    },
    {
      "epoch": 0.012333333333333333,
      "grad_norm": 4.1875,
      "learning_rate": 4.9981555819759096e-05,
      "loss": 0.4456,
      "step": 1850
    },
    {
      "epoch": 0.0124,
      "grad_norm": 4.75,
      "learning_rate": 4.998135416038113e-05,
      "loss": 0.4107,
      "step": 1860
    },
    {
      "epoch": 0.012466666666666666,
      "grad_norm": 6.65625,
      "learning_rate": 4.998115140497918e-05,
      "loss": 0.4195,
      "step": 1870
    },
    {
      "epoch": 0.012533333333333334,
      "grad_norm": 3.671875,
      "learning_rate": 4.99809475535621e-05,
      "loss": 0.4099,
      "step": 1880
    },
    {
      "epoch": 0.0126,
      "grad_norm": 4.03125,
      "learning_rate": 4.9980742606138866e-05,
      "loss": 0.4185,
      "step": 1890
    },
    {
      "epoch": 0.012666666666666666,
      "grad_norm": 4.375,
      "learning_rate": 4.998053656271846e-05,
      "loss": 0.3877,
      "step": 1900
    },
    {
      "epoch": 0.012733333333333333,
      "grad_norm": 4.09375,
      "learning_rate": 4.9980329423309926e-05,
      "loss": 0.4209,
      "step": 1910
    },
    {
      "epoch": 0.0128,
      "grad_norm": 4.3125,
      "learning_rate": 4.998012118792234e-05,
      "loss": 0.3972,
      "step": 1920
    },
    {
      "epoch": 0.012866666666666667,
      "grad_norm": 5.1875,
      "learning_rate": 4.997991185656485e-05,
      "loss": 0.3657,
      "step": 1930
    },
    {
      "epoch": 0.012933333333333333,
      "grad_norm": 4.65625,
      "learning_rate": 4.997970142924663e-05,
      "loss": 0.4369,
      "step": 1940
    },
    {
      "epoch": 0.013,
      "grad_norm": 5.5,
      "learning_rate": 4.997948990597693e-05,
      "loss": 0.4152,
      "step": 1950
    },
    {
      "epoch": 0.013066666666666667,
      "grad_norm": 3.984375,
      "learning_rate": 4.997927728676501e-05,
      "loss": 0.4015,
      "step": 1960
    },
    {
      "epoch": 0.013133333333333334,
      "grad_norm": 5.25,
      "learning_rate": 4.997906357162021e-05,
      "loss": 0.4075,
      "step": 1970
    },
    {
      "epoch": 0.0132,
      "grad_norm": 5.625,
      "learning_rate": 4.997884876055191e-05,
      "loss": 0.3929,
      "step": 1980
    },
    {
      "epoch": 0.013266666666666666,
      "grad_norm": 3.34375,
      "learning_rate": 4.997863285356952e-05,
      "loss": 0.3948,
      "step": 1990
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 4.5625,
      "learning_rate": 4.997841585068252e-05,
      "loss": 0.4109,
      "step": 2000
    },
    {
      "epoch": 0.0134,
      "grad_norm": 4.25,
      "learning_rate": 4.9978197751900434e-05,
      "loss": 0.3931,
      "step": 2010
    },
    {
      "epoch": 0.013466666666666667,
      "grad_norm": 5.0625,
      "learning_rate": 4.997797855723283e-05,
      "loss": 0.3778,
      "step": 2020
    },
    {
      "epoch": 0.013533333333333333,
      "grad_norm": 4.03125,
      "learning_rate": 4.997775826668932e-05,
      "loss": 0.3778,
      "step": 2030
    },
    {
      "epoch": 0.0136,
      "grad_norm": 6.28125,
      "learning_rate": 4.997753688027957e-05,
      "loss": 0.4032,
      "step": 2040
    },
    {
      "epoch": 0.013666666666666667,
      "grad_norm": 4.5625,
      "learning_rate": 4.99773143980133e-05,
      "loss": 0.402,
      "step": 2050
    },
    {
      "epoch": 0.013733333333333334,
      "grad_norm": 3.75,
      "learning_rate": 4.9977090819900265e-05,
      "loss": 0.4192,
      "step": 2060
    },
    {
      "epoch": 0.0138,
      "grad_norm": 4.28125,
      "learning_rate": 4.9976866145950275e-05,
      "loss": 0.3438,
      "step": 2070
    },
    {
      "epoch": 0.013866666666666666,
      "grad_norm": 0.341796875,
      "learning_rate": 4.997664037617319e-05,
      "loss": 0.3847,
      "step": 2080
    },
    {
      "epoch": 0.013933333333333334,
      "grad_norm": 4.375,
      "learning_rate": 4.9976413510578905e-05,
      "loss": 0.3806,
      "step": 2090
    },
    {
      "epoch": 0.014,
      "grad_norm": 4.8125,
      "learning_rate": 4.997618554917739e-05,
      "loss": 0.3602,
      "step": 2100
    },
    {
      "epoch": 0.014066666666666667,
      "grad_norm": 3.546875,
      "learning_rate": 4.997595649197864e-05,
      "loss": 0.3776,
      "step": 2110
    },
    {
      "epoch": 0.014133333333333333,
      "grad_norm": 5.03125,
      "learning_rate": 4.997572633899269e-05,
      "loss": 0.4214,
      "step": 2120
    },
    {
      "epoch": 0.0142,
      "grad_norm": 5.9375,
      "learning_rate": 4.9975495090229665e-05,
      "loss": 0.3807,
      "step": 2130
    },
    {
      "epoch": 0.014266666666666667,
      "grad_norm": 4.8125,
      "learning_rate": 4.997526274569968e-05,
      "loss": 0.4029,
      "step": 2140
    },
    {
      "epoch": 0.014333333333333333,
      "grad_norm": 5.5625,
      "learning_rate": 4.9975029305412957e-05,
      "loss": 0.4623,
      "step": 2150
    },
    {
      "epoch": 0.0144,
      "grad_norm": 4.84375,
      "learning_rate": 4.9974794769379716e-05,
      "loss": 0.3673,
      "step": 2160
    },
    {
      "epoch": 0.014466666666666666,
      "grad_norm": 4.5,
      "learning_rate": 4.997455913761027e-05,
      "loss": 0.4094,
      "step": 2170
    },
    {
      "epoch": 0.014533333333333334,
      "grad_norm": 5.34375,
      "learning_rate": 4.9974322410114936e-05,
      "loss": 0.3979,
      "step": 2180
    },
    {
      "epoch": 0.0146,
      "grad_norm": 4.53125,
      "learning_rate": 4.997408458690411e-05,
      "loss": 0.3822,
      "step": 2190
    },
    {
      "epoch": 0.014666666666666666,
      "grad_norm": 5.5625,
      "learning_rate": 4.9973845667988216e-05,
      "loss": 0.3738,
      "step": 2200
    },
    {
      "epoch": 0.014733333333333333,
      "grad_norm": 3.296875,
      "learning_rate": 4.9973605653377755e-05,
      "loss": 0.3636,
      "step": 2210
    },
    {
      "epoch": 0.0148,
      "grad_norm": 4.28125,
      "learning_rate": 4.9973364543083244e-05,
      "loss": 0.3807,
      "step": 2220
    },
    {
      "epoch": 0.014866666666666667,
      "grad_norm": 5.15625,
      "learning_rate": 4.997312233711526e-05,
      "loss": 0.3737,
      "step": 2230
    },
    {
      "epoch": 0.014933333333333333,
      "grad_norm": 4.25,
      "learning_rate": 4.997287903548443e-05,
      "loss": 0.4301,
      "step": 2240
    },
    {
      "epoch": 0.015,
      "grad_norm": 5.21875,
      "learning_rate": 4.997263463820144e-05,
      "loss": 0.4029,
      "step": 2250
    },
    {
      "epoch": 0.015066666666666667,
      "grad_norm": 3.453125,
      "learning_rate": 4.9972389145277005e-05,
      "loss": 0.3999,
      "step": 2260
    },
    {
      "epoch": 0.015133333333333334,
      "grad_norm": 4.59375,
      "learning_rate": 4.997214255672189e-05,
      "loss": 0.3795,
      "step": 2270
    },
    {
      "epoch": 0.0152,
      "grad_norm": 5.3125,
      "learning_rate": 4.997189487254692e-05,
      "loss": 0.3974,
      "step": 2280
    },
    {
      "epoch": 0.015266666666666666,
      "grad_norm": 4.65625,
      "learning_rate": 4.997164609276296e-05,
      "loss": 0.3602,
      "step": 2290
    },
    {
      "epoch": 0.015333333333333332,
      "grad_norm": 4.5,
      "learning_rate": 4.9971396217380926e-05,
      "loss": 0.3834,
      "step": 2300
    },
    {
      "epoch": 0.0154,
      "grad_norm": 4.0625,
      "learning_rate": 4.997114524641179e-05,
      "loss": 0.3643,
      "step": 2310
    },
    {
      "epoch": 0.015466666666666667,
      "grad_norm": 5.875,
      "learning_rate": 4.997089317986654e-05,
      "loss": 0.3892,
      "step": 2320
    },
    {
      "epoch": 0.015533333333333333,
      "grad_norm": 4.40625,
      "learning_rate": 4.997064001775625e-05,
      "loss": 0.3654,
      "step": 2330
    },
    {
      "epoch": 0.0156,
      "grad_norm": 4.0,
      "learning_rate": 4.997038576009204e-05,
      "loss": 0.365,
      "step": 2340
    },
    {
      "epoch": 0.015666666666666666,
      "grad_norm": 4.375,
      "learning_rate": 4.997013040688504e-05,
      "loss": 0.4061,
      "step": 2350
    },
    {
      "epoch": 0.015733333333333332,
      "grad_norm": 4.46875,
      "learning_rate": 4.996987395814646e-05,
      "loss": 0.3835,
      "step": 2360
    },
    {
      "epoch": 0.0158,
      "grad_norm": 2.34375,
      "learning_rate": 4.9969616413887566e-05,
      "loss": 0.4001,
      "step": 2370
    },
    {
      "epoch": 0.015866666666666668,
      "grad_norm": 4.625,
      "learning_rate": 4.996935777411964e-05,
      "loss": 0.3739,
      "step": 2380
    },
    {
      "epoch": 0.015933333333333334,
      "grad_norm": 5.8125,
      "learning_rate": 4.996909803885405e-05,
      "loss": 0.3745,
      "step": 2390
    },
    {
      "epoch": 0.016,
      "grad_norm": 4.4375,
      "learning_rate": 4.996883720810216e-05,
      "loss": 0.3768,
      "step": 2400
    },
    {
      "epoch": 0.016066666666666667,
      "grad_norm": 4.21875,
      "learning_rate": 4.996857528187544e-05,
      "loss": 0.3832,
      "step": 2410
    },
    {
      "epoch": 0.016133333333333333,
      "grad_norm": 5.46875,
      "learning_rate": 4.996831226018537e-05,
      "loss": 0.3806,
      "step": 2420
    },
    {
      "epoch": 0.0162,
      "grad_norm": 4.40625,
      "learning_rate": 4.99680481430435e-05,
      "loss": 0.4094,
      "step": 2430
    },
    {
      "epoch": 0.016266666666666665,
      "grad_norm": 4.8125,
      "learning_rate": 4.996778293046141e-05,
      "loss": 0.3995,
      "step": 2440
    },
    {
      "epoch": 0.01633333333333333,
      "grad_norm": 5.09375,
      "learning_rate": 4.996751662245073e-05,
      "loss": 0.3743,
      "step": 2450
    },
    {
      "epoch": 0.0164,
      "grad_norm": 4.65625,
      "learning_rate": 4.996724921902315e-05,
      "loss": 0.4,
      "step": 2460
    },
    {
      "epoch": 0.016466666666666668,
      "grad_norm": 4.5,
      "learning_rate": 4.9966980720190404e-05,
      "loss": 0.3753,
      "step": 2470
    },
    {
      "epoch": 0.016533333333333334,
      "grad_norm": 3.71875,
      "learning_rate": 4.9966711125964276e-05,
      "loss": 0.3969,
      "step": 2480
    },
    {
      "epoch": 0.0166,
      "grad_norm": 5.25,
      "learning_rate": 4.9966440436356584e-05,
      "loss": 0.3777,
      "step": 2490
    },
    {
      "epoch": 0.016666666666666666,
      "grad_norm": 4.9375,
      "learning_rate": 4.9966168651379214e-05,
      "loss": 0.4272,
      "step": 2500
    },
    {
      "epoch": 0.016733333333333333,
      "grad_norm": 5.125,
      "learning_rate": 4.996589577104408e-05,
      "loss": 0.379,
      "step": 2510
    },
    {
      "epoch": 0.0168,
      "grad_norm": 2.796875,
      "learning_rate": 4.9965621795363164e-05,
      "loss": 0.3676,
      "step": 2520
    },
    {
      "epoch": 0.016866666666666665,
      "grad_norm": 4.8125,
      "learning_rate": 4.9965346724348485e-05,
      "loss": 0.4215,
      "step": 2530
    },
    {
      "epoch": 0.016933333333333335,
      "grad_norm": 4.28125,
      "learning_rate": 4.99650705580121e-05,
      "loss": 0.392,
      "step": 2540
    },
    {
      "epoch": 0.017,
      "grad_norm": 4.40625,
      "learning_rate": 4.9964793296366136e-05,
      "loss": 0.3904,
      "step": 2550
    },
    {
      "epoch": 0.017066666666666667,
      "grad_norm": 2.515625,
      "learning_rate": 4.996451493942276e-05,
      "loss": 0.3582,
      "step": 2560
    },
    {
      "epoch": 0.017133333333333334,
      "grad_norm": 4.8125,
      "learning_rate": 4.9964235487194175e-05,
      "loss": 0.3663,
      "step": 2570
    },
    {
      "epoch": 0.0172,
      "grad_norm": 3.96875,
      "learning_rate": 4.9963954939692645e-05,
      "loss": 0.3952,
      "step": 2580
    },
    {
      "epoch": 0.017266666666666666,
      "grad_norm": 4.1875,
      "learning_rate": 4.996367329693048e-05,
      "loss": 0.3664,
      "step": 2590
    },
    {
      "epoch": 0.017333333333333333,
      "grad_norm": 8.0,
      "learning_rate": 4.996339055892004e-05,
      "loss": 0.3507,
      "step": 2600
    },
    {
      "epoch": 0.0174,
      "grad_norm": 5.0,
      "learning_rate": 4.9963106725673725e-05,
      "loss": 0.4034,
      "step": 2610
    },
    {
      "epoch": 0.017466666666666665,
      "grad_norm": 4.4375,
      "learning_rate": 4.9962821797203984e-05,
      "loss": 0.3727,
      "step": 2620
    },
    {
      "epoch": 0.017533333333333335,
      "grad_norm": 6.375,
      "learning_rate": 4.9962535773523326e-05,
      "loss": 0.4132,
      "step": 2630
    },
    {
      "epoch": 0.0176,
      "grad_norm": 4.03125,
      "learning_rate": 4.99622486546443e-05,
      "loss": 0.3878,
      "step": 2640
    },
    {
      "epoch": 0.017666666666666667,
      "grad_norm": 5.375,
      "learning_rate": 4.99619604405795e-05,
      "loss": 0.4097,
      "step": 2650
    },
    {
      "epoch": 0.017733333333333334,
      "grad_norm": 7.21875,
      "learning_rate": 4.996167113134157e-05,
      "loss": 0.4051,
      "step": 2660
    },
    {
      "epoch": 0.0178,
      "grad_norm": 4.15625,
      "learning_rate": 4.99613807269432e-05,
      "loss": 0.3888,
      "step": 2670
    },
    {
      "epoch": 0.017866666666666666,
      "grad_norm": 4.1875,
      "learning_rate": 4.9961089227397137e-05,
      "loss": 0.406,
      "step": 2680
    },
    {
      "epoch": 0.017933333333333332,
      "grad_norm": 4.0,
      "learning_rate": 4.996079663271617e-05,
      "loss": 0.3823,
      "step": 2690
    },
    {
      "epoch": 0.018,
      "grad_norm": 4.40625,
      "learning_rate": 4.9960502942913136e-05,
      "loss": 0.3795,
      "step": 2700
    },
    {
      "epoch": 0.01806666666666667,
      "grad_norm": 3.78125,
      "learning_rate": 4.9960208158000916e-05,
      "loss": 0.3636,
      "step": 2710
    },
    {
      "epoch": 0.018133333333333335,
      "grad_norm": 4.03125,
      "learning_rate": 4.995991227799245e-05,
      "loss": 0.386,
      "step": 2720
    },
    {
      "epoch": 0.0182,
      "grad_norm": 8.375,
      "learning_rate": 4.9959615302900706e-05,
      "loss": 0.3742,
      "step": 2730
    },
    {
      "epoch": 0.018266666666666667,
      "grad_norm": 4.59375,
      "learning_rate": 4.9959317232738736e-05,
      "loss": 0.3806,
      "step": 2740
    },
    {
      "epoch": 0.018333333333333333,
      "grad_norm": 4.5625,
      "learning_rate": 4.9959018067519595e-05,
      "loss": 0.3485,
      "step": 2750
    },
    {
      "epoch": 0.0184,
      "grad_norm": 5.125,
      "learning_rate": 4.9958717807256415e-05,
      "loss": 0.4092,
      "step": 2760
    },
    {
      "epoch": 0.018466666666666666,
      "grad_norm": 5.25,
      "learning_rate": 4.995841645196238e-05,
      "loss": 0.3848,
      "step": 2770
    },
    {
      "epoch": 0.018533333333333332,
      "grad_norm": 4.5,
      "learning_rate": 4.9958114001650695e-05,
      "loss": 0.3848,
      "step": 2780
    },
    {
      "epoch": 0.0186,
      "grad_norm": 6.75,
      "learning_rate": 4.995781045633464e-05,
      "loss": 0.3821,
      "step": 2790
    },
    {
      "epoch": 0.018666666666666668,
      "grad_norm": 8.875,
      "learning_rate": 4.995750581602754e-05,
      "loss": 0.3847,
      "step": 2800
    },
    {
      "epoch": 0.018733333333333334,
      "grad_norm": 3.671875,
      "learning_rate": 4.995720008074275e-05,
      "loss": 0.3589,
      "step": 2810
    },
    {
      "epoch": 0.0188,
      "grad_norm": 4.28125,
      "learning_rate": 4.9956893250493674e-05,
      "loss": 0.404,
      "step": 2820
    },
    {
      "epoch": 0.018866666666666667,
      "grad_norm": 5.4375,
      "learning_rate": 4.995658532529379e-05,
      "loss": 0.3567,
      "step": 2830
    },
    {
      "epoch": 0.018933333333333333,
      "grad_norm": 3.90625,
      "learning_rate": 4.995627630515661e-05,
      "loss": 0.3492,
      "step": 2840
    },
    {
      "epoch": 0.019,
      "grad_norm": 5.125,
      "learning_rate": 4.995596619009568e-05,
      "loss": 0.387,
      "step": 2850
    },
    {
      "epoch": 0.019066666666666666,
      "grad_norm": 3.984375,
      "learning_rate": 4.995565498012461e-05,
      "loss": 0.3998,
      "step": 2860
    },
    {
      "epoch": 0.019133333333333332,
      "grad_norm": 5.5,
      "learning_rate": 4.995534267525706e-05,
      "loss": 0.3975,
      "step": 2870
    },
    {
      "epoch": 0.0192,
      "grad_norm": 3.875,
      "learning_rate": 4.995502927550672e-05,
      "loss": 0.4093,
      "step": 2880
    },
    {
      "epoch": 0.019266666666666668,
      "grad_norm": 5.5,
      "learning_rate": 4.9954714780887355e-05,
      "loss": 0.3578,
      "step": 2890
    },
    {
      "epoch": 0.019333333333333334,
      "grad_norm": 4.59375,
      "learning_rate": 4.995439919141275e-05,
      "loss": 0.402,
      "step": 2900
    },
    {
      "epoch": 0.0194,
      "grad_norm": 3.390625,
      "learning_rate": 4.995408250709675e-05,
      "loss": 0.3913,
      "step": 2910
    },
    {
      "epoch": 0.019466666666666667,
      "grad_norm": 5.0625,
      "learning_rate": 4.995376472795326e-05,
      "loss": 0.3829,
      "step": 2920
    },
    {
      "epoch": 0.019533333333333333,
      "grad_norm": 4.03125,
      "learning_rate": 4.9953445853996214e-05,
      "loss": 0.3737,
      "step": 2930
    },
    {
      "epoch": 0.0196,
      "grad_norm": 4.1875,
      "learning_rate": 4.995312588523961e-05,
      "loss": 0.3426,
      "step": 2940
    },
    {
      "epoch": 0.019666666666666666,
      "grad_norm": 5.84375,
      "learning_rate": 4.995280482169747e-05,
      "loss": 0.3975,
      "step": 2950
    },
    {
      "epoch": 0.019733333333333332,
      "grad_norm": 4.71875,
      "learning_rate": 4.995248266338391e-05,
      "loss": 0.3973,
      "step": 2960
    },
    {
      "epoch": 0.0198,
      "grad_norm": 3.609375,
      "learning_rate": 4.995215941031304e-05,
      "loss": 0.3933,
      "step": 2970
    },
    {
      "epoch": 0.019866666666666668,
      "grad_norm": 4.09375,
      "learning_rate": 4.995183506249904e-05,
      "loss": 0.3574,
      "step": 2980
    },
    {
      "epoch": 0.019933333333333334,
      "grad_norm": 5.40625,
      "learning_rate": 4.995150961995615e-05,
      "loss": 0.3753,
      "step": 2990
    },
    {
      "epoch": 0.02,
      "grad_norm": 3.734375,
      "learning_rate": 4.995118308269865e-05,
      "loss": 0.3721,
      "step": 3000
    },
    {
      "epoch": 0.020066666666666667,
      "grad_norm": 4.84375,
      "learning_rate": 4.9950855450740865e-05,
      "loss": 0.3215,
      "step": 3010
    },
    {
      "epoch": 0.020133333333333333,
      "grad_norm": 4.59375,
      "learning_rate": 4.995052672409717e-05,
      "loss": 0.4078,
      "step": 3020
    },
    {
      "epoch": 0.0202,
      "grad_norm": 3.859375,
      "learning_rate": 4.9950196902781976e-05,
      "loss": 0.3491,
      "step": 3030
    },
    {
      "epoch": 0.020266666666666665,
      "grad_norm": 4.21875,
      "learning_rate": 4.994986598680977e-05,
      "loss": 0.3796,
      "step": 3040
    },
    {
      "epoch": 0.02033333333333333,
      "grad_norm": 4.5,
      "learning_rate": 4.994953397619506e-05,
      "loss": 0.3691,
      "step": 3050
    },
    {
      "epoch": 0.0204,
      "grad_norm": 3.953125,
      "learning_rate": 4.994920087095242e-05,
      "loss": 0.3642,
      "step": 3060
    },
    {
      "epoch": 0.020466666666666668,
      "grad_norm": 4.5625,
      "learning_rate": 4.994886667109645e-05,
      "loss": 0.3986,
      "step": 3070
    },
    {
      "epoch": 0.020533333333333334,
      "grad_norm": 4.40625,
      "learning_rate": 4.9948531376641836e-05,
      "loss": 0.3695,
      "step": 3080
    },
    {
      "epoch": 0.0206,
      "grad_norm": 2.5625,
      "learning_rate": 4.994819498760326e-05,
      "loss": 0.3769,
      "step": 3090
    },
    {
      "epoch": 0.020666666666666667,
      "grad_norm": 5.75,
      "learning_rate": 4.994785750399551e-05,
      "loss": 0.3661,
      "step": 3100
    },
    {
      "epoch": 0.020733333333333333,
      "grad_norm": 6.625,
      "learning_rate": 4.994751892583337e-05,
      "loss": 0.4364,
      "step": 3110
    },
    {
      "epoch": 0.0208,
      "grad_norm": 4.71875,
      "learning_rate": 4.994717925313171e-05,
      "loss": 0.405,
      "step": 3120
    },
    {
      "epoch": 0.020866666666666665,
      "grad_norm": 3.921875,
      "learning_rate": 4.994683848590542e-05,
      "loss": 0.352,
      "step": 3130
    },
    {
      "epoch": 0.020933333333333335,
      "grad_norm": 4.625,
      "learning_rate": 4.994649662416946e-05,
      "loss": 0.3543,
      "step": 3140
    },
    {
      "epoch": 0.021,
      "grad_norm": 3.765625,
      "learning_rate": 4.9946153667938826e-05,
      "loss": 0.4,
      "step": 3150
    },
    {
      "epoch": 0.021066666666666668,
      "grad_norm": 4.34375,
      "learning_rate": 4.994580961722857e-05,
      "loss": 0.3908,
      "step": 3160
    },
    {
      "epoch": 0.021133333333333334,
      "grad_norm": 2.609375,
      "learning_rate": 4.994546447205377e-05,
      "loss": 0.3563,
      "step": 3170
    },
    {
      "epoch": 0.0212,
      "grad_norm": 4.71875,
      "learning_rate": 4.994511823242958e-05,
      "loss": 0.4014,
      "step": 3180
    },
    {
      "epoch": 0.021266666666666666,
      "grad_norm": 3.921875,
      "learning_rate": 4.9944770898371195e-05,
      "loss": 0.3967,
      "step": 3190
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 0.166015625,
      "learning_rate": 4.994442246989385e-05,
      "loss": 0.3605,
      "step": 3200
    },
    {
      "epoch": 0.0214,
      "grad_norm": 4.5,
      "learning_rate": 4.994407294701283e-05,
      "loss": 0.3969,
      "step": 3210
    },
    {
      "epoch": 0.021466666666666665,
      "grad_norm": 5.59375,
      "learning_rate": 4.994372232974347e-05,
      "loss": 0.3961,
      "step": 3220
    },
    {
      "epoch": 0.021533333333333335,
      "grad_norm": 4.78125,
      "learning_rate": 4.9943370618101156e-05,
      "loss": 0.3971,
      "step": 3230
    },
    {
      "epoch": 0.0216,
      "grad_norm": 4.875,
      "learning_rate": 4.9943017812101315e-05,
      "loss": 0.3764,
      "step": 3240
    },
    {
      "epoch": 0.021666666666666667,
      "grad_norm": 4.0625,
      "learning_rate": 4.994266391175943e-05,
      "loss": 0.3833,
      "step": 3250
    },
    {
      "epoch": 0.021733333333333334,
      "grad_norm": 5.03125,
      "learning_rate": 4.994230891709102e-05,
      "loss": 0.3986,
      "step": 3260
    },
    {
      "epoch": 0.0218,
      "grad_norm": 4.1875,
      "learning_rate": 4.9941952828111674e-05,
      "loss": 0.3653,
      "step": 3270
    },
    {
      "epoch": 0.021866666666666666,
      "grad_norm": 5.21875,
      "learning_rate": 4.9941595644837004e-05,
      "loss": 0.3794,
      "step": 3280
    },
    {
      "epoch": 0.021933333333333332,
      "grad_norm": 4.3125,
      "learning_rate": 4.994123736728268e-05,
      "loss": 0.3632,
      "step": 3290
    },
    {
      "epoch": 0.022,
      "grad_norm": 4.46875,
      "learning_rate": 4.994087799546443e-05,
      "loss": 0.3754,
      "step": 3300
    },
    {
      "epoch": 0.022066666666666665,
      "grad_norm": 3.4375,
      "learning_rate": 4.994051752939801e-05,
      "loss": 0.3756,
      "step": 3310
    },
    {
      "epoch": 0.022133333333333335,
      "grad_norm": 4.8125,
      "learning_rate": 4.994015596909924e-05,
      "loss": 0.3741,
      "step": 3320
    },
    {
      "epoch": 0.0222,
      "grad_norm": 5.25,
      "learning_rate": 4.993979331458399e-05,
      "loss": 0.3626,
      "step": 3330
    },
    {
      "epoch": 0.022266666666666667,
      "grad_norm": 6.4375,
      "learning_rate": 4.993942956586816e-05,
      "loss": 0.3688,
      "step": 3340
    },
    {
      "epoch": 0.022333333333333334,
      "grad_norm": 4.3125,
      "learning_rate": 4.993906472296771e-05,
      "loss": 0.3722,
      "step": 3350
    },
    {
      "epoch": 0.0224,
      "grad_norm": 6.5625,
      "learning_rate": 4.9938698785898654e-05,
      "loss": 0.3719,
      "step": 3360
    },
    {
      "epoch": 0.022466666666666666,
      "grad_norm": 4.90625,
      "learning_rate": 4.993833175467705e-05,
      "loss": 0.4144,
      "step": 3370
    },
    {
      "epoch": 0.022533333333333332,
      "grad_norm": 5.1875,
      "learning_rate": 4.9937963629318985e-05,
      "loss": 0.3896,
      "step": 3380
    },
    {
      "epoch": 0.0226,
      "grad_norm": 5.34375,
      "learning_rate": 4.9937594409840616e-05,
      "loss": 0.3986,
      "step": 3390
    },
    {
      "epoch": 0.02266666666666667,
      "grad_norm": 5.5,
      "learning_rate": 4.993722409625815e-05,
      "loss": 0.3667,
      "step": 3400
    },
    {
      "epoch": 0.022733333333333335,
      "grad_norm": 4.96875,
      "learning_rate": 4.993685268858783e-05,
      "loss": 0.3754,
      "step": 3410
    },
    {
      "epoch": 0.0228,
      "grad_norm": 4.40625,
      "learning_rate": 4.993648018684596e-05,
      "loss": 0.3647,
      "step": 3420
    },
    {
      "epoch": 0.022866666666666667,
      "grad_norm": 4.71875,
      "learning_rate": 4.993610659104886e-05,
      "loss": 0.3442,
      "step": 3430
    },
    {
      "epoch": 0.022933333333333333,
      "grad_norm": 2.421875,
      "learning_rate": 4.993573190121294e-05,
      "loss": 0.379,
      "step": 3440
    },
    {
      "epoch": 0.023,
      "grad_norm": 4.0625,
      "learning_rate": 4.993535611735463e-05,
      "loss": 0.3602,
      "step": 3450
    },
    {
      "epoch": 0.023066666666666666,
      "grad_norm": 7.0,
      "learning_rate": 4.993497923949042e-05,
      "loss": 0.4315,
      "step": 3460
    },
    {
      "epoch": 0.023133333333333332,
      "grad_norm": 5.78125,
      "learning_rate": 4.993460126763685e-05,
      "loss": 0.4244,
      "step": 3470
    },
    {
      "epoch": 0.0232,
      "grad_norm": 4.34375,
      "learning_rate": 4.99342222018105e-05,
      "loss": 0.3699,
      "step": 3480
    },
    {
      "epoch": 0.023266666666666668,
      "grad_norm": 4.34375,
      "learning_rate": 4.9933842042027994e-05,
      "loss": 0.3923,
      "step": 3490
    },
    {
      "epoch": 0.023333333333333334,
      "grad_norm": 4.59375,
      "learning_rate": 4.993346078830602e-05,
      "loss": 0.393,
      "step": 3500
    },
    {
      "epoch": 0.0234,
      "grad_norm": 14.5,
      "learning_rate": 4.99330784406613e-05,
      "loss": 0.4034,
      "step": 3510
    },
    {
      "epoch": 0.023466666666666667,
      "grad_norm": 1.8203125,
      "learning_rate": 4.993269499911061e-05,
      "loss": 0.3749,
      "step": 3520
    },
    {
      "epoch": 0.023533333333333333,
      "grad_norm": 4.125,
      "learning_rate": 4.993231046367078e-05,
      "loss": 0.3575,
      "step": 3530
    },
    {
      "epoch": 0.0236,
      "grad_norm": 5.09375,
      "learning_rate": 4.9931924834358666e-05,
      "loss": 0.385,
      "step": 3540
    },
    {
      "epoch": 0.023666666666666666,
      "grad_norm": 4.8125,
      "learning_rate": 4.99315381111912e-05,
      "loss": 0.4268,
      "step": 3550
    },
    {
      "epoch": 0.023733333333333332,
      "grad_norm": 3.96875,
      "learning_rate": 4.993115029418535e-05,
      "loss": 0.3959,
      "step": 3560
    },
    {
      "epoch": 0.0238,
      "grad_norm": 5.0,
      "learning_rate": 4.993076138335811e-05,
      "loss": 0.395,
      "step": 3570
    },
    {
      "epoch": 0.023866666666666668,
      "grad_norm": 4.90625,
      "learning_rate": 4.993037137872657e-05,
      "loss": 0.379,
      "step": 3580
    },
    {
      "epoch": 0.023933333333333334,
      "grad_norm": 4.875,
      "learning_rate": 4.992998028030783e-05,
      "loss": 0.3688,
      "step": 3590
    },
    {
      "epoch": 0.024,
      "grad_norm": 4.53125,
      "learning_rate": 4.992958808811904e-05,
      "loss": 0.3832,
      "step": 3600
    },
    {
      "epoch": 0.024066666666666667,
      "grad_norm": 4.78125,
      "learning_rate": 4.992919480217742e-05,
      "loss": 0.3984,
      "step": 3610
    },
    {
      "epoch": 0.024133333333333333,
      "grad_norm": 5.40625,
      "learning_rate": 4.992880042250022e-05,
      "loss": 0.3849,
      "step": 3620
    },
    {
      "epoch": 0.0242,
      "grad_norm": 2.65625,
      "learning_rate": 4.9928404949104746e-05,
      "loss": 0.3647,
      "step": 3630
    },
    {
      "epoch": 0.024266666666666666,
      "grad_norm": 5.40625,
      "learning_rate": 4.992800838200834e-05,
      "loss": 0.3911,
      "step": 3640
    },
    {
      "epoch": 0.024333333333333332,
      "grad_norm": 4.625,
      "learning_rate": 4.9927610721228416e-05,
      "loss": 0.3965,
      "step": 3650
    },
    {
      "epoch": 0.0244,
      "grad_norm": 4.375,
      "learning_rate": 4.992721196678241e-05,
      "loss": 0.379,
      "step": 3660
    },
    {
      "epoch": 0.024466666666666668,
      "grad_norm": 2.578125,
      "learning_rate": 4.9926812118687806e-05,
      "loss": 0.391,
      "step": 3670
    },
    {
      "epoch": 0.024533333333333334,
      "grad_norm": 4.21875,
      "learning_rate": 4.992641117696217e-05,
      "loss": 0.383,
      "step": 3680
    },
    {
      "epoch": 0.0246,
      "grad_norm": 5.1875,
      "learning_rate": 4.9926009141623076e-05,
      "loss": 0.3851,
      "step": 3690
    },
    {
      "epoch": 0.024666666666666667,
      "grad_norm": 4.03125,
      "learning_rate": 4.992560601268817e-05,
      "loss": 0.3803,
      "step": 3700
    },
    {
      "epoch": 0.024733333333333333,
      "grad_norm": 4.90625,
      "learning_rate": 4.992520179017514e-05,
      "loss": 0.4252,
      "step": 3710
    },
    {
      "epoch": 0.0248,
      "grad_norm": 2.9375,
      "learning_rate": 4.992479647410172e-05,
      "loss": 0.3983,
      "step": 3720
    },
    {
      "epoch": 0.024866666666666665,
      "grad_norm": 3.75,
      "learning_rate": 4.992439006448569e-05,
      "loss": 0.4156,
      "step": 3730
    },
    {
      "epoch": 0.02493333333333333,
      "grad_norm": 3.515625,
      "learning_rate": 4.992398256134488e-05,
      "loss": 0.4124,
      "step": 3740
    },
    {
      "epoch": 0.025,
      "grad_norm": 5.375,
      "learning_rate": 4.992357396469717e-05,
      "loss": 0.3892,
      "step": 3750
    },
    {
      "epoch": 0.025066666666666668,
      "grad_norm": 6.4375,
      "learning_rate": 4.992316427456048e-05,
      "loss": 0.35,
      "step": 3760
    },
    {
      "epoch": 0.025133333333333334,
      "grad_norm": 5.125,
      "learning_rate": 4.9922753490952806e-05,
      "loss": 0.4127,
      "step": 3770
    },
    {
      "epoch": 0.0252,
      "grad_norm": 4.375,
      "learning_rate": 4.992234161389215e-05,
      "loss": 0.374,
      "step": 3780
    },
    {
      "epoch": 0.025266666666666666,
      "grad_norm": 3.96875,
      "learning_rate": 4.992192864339659e-05,
      "loss": 0.3834,
      "step": 3790
    },
    {
      "epoch": 0.025333333333333333,
      "grad_norm": 5.4375,
      "learning_rate": 4.992151457948424e-05,
      "loss": 0.3755,
      "step": 3800
    },
    {
      "epoch": 0.0254,
      "grad_norm": 4.4375,
      "learning_rate": 4.9921099422173265e-05,
      "loss": 0.3931,
      "step": 3810
    },
    {
      "epoch": 0.025466666666666665,
      "grad_norm": 5.15625,
      "learning_rate": 4.99206831714819e-05,
      "loss": 0.3866,
      "step": 3820
    },
    {
      "epoch": 0.025533333333333335,
      "grad_norm": 4.375,
      "learning_rate": 4.992026582742838e-05,
      "loss": 0.3804,
      "step": 3830
    },
    {
      "epoch": 0.0256,
      "grad_norm": 3.84375,
      "learning_rate": 4.991984739003103e-05,
      "loss": 0.3468,
      "step": 3840
    },
    {
      "epoch": 0.025666666666666667,
      "grad_norm": 4.84375,
      "learning_rate": 4.99194278593082e-05,
      "loss": 0.3743,
      "step": 3850
    },
    {
      "epoch": 0.025733333333333334,
      "grad_norm": 4.65625,
      "learning_rate": 4.99190072352783e-05,
      "loss": 0.3911,
      "step": 3860
    },
    {
      "epoch": 0.0258,
      "grad_norm": 4.1875,
      "learning_rate": 4.99185855179598e-05,
      "loss": 0.4027,
      "step": 3870
    },
    {
      "epoch": 0.025866666666666666,
      "grad_norm": 4.15625,
      "learning_rate": 4.991816270737118e-05,
      "loss": 0.3855,
      "step": 3880
    },
    {
      "epoch": 0.025933333333333333,
      "grad_norm": 4.625,
      "learning_rate": 4.9917738803531e-05,
      "loss": 0.353,
      "step": 3890
    },
    {
      "epoch": 0.026,
      "grad_norm": 3.09375,
      "learning_rate": 4.991731380645785e-05,
      "loss": 0.3409,
      "step": 3900
    },
    {
      "epoch": 0.026066666666666665,
      "grad_norm": 4.21875,
      "learning_rate": 4.9916887716170396e-05,
      "loss": 0.3623,
      "step": 3910
    },
    {
      "epoch": 0.026133333333333335,
      "grad_norm": 4.65625,
      "learning_rate": 4.991646053268732e-05,
      "loss": 0.3488,
      "step": 3920
    },
    {
      "epoch": 0.0262,
      "grad_norm": 5.09375,
      "learning_rate": 4.991603225602735e-05,
      "loss": 0.3798,
      "step": 3930
    },
    {
      "epoch": 0.026266666666666667,
      "grad_norm": 4.1875,
      "learning_rate": 4.99156028862093e-05,
      "loss": 0.4031,
      "step": 3940
    },
    {
      "epoch": 0.026333333333333334,
      "grad_norm": 4.9375,
      "learning_rate": 4.9915172423251985e-05,
      "loss": 0.3852,
      "step": 3950
    },
    {
      "epoch": 0.0264,
      "grad_norm": 4.34375,
      "learning_rate": 4.9914740867174314e-05,
      "loss": 0.3459,
      "step": 3960
    },
    {
      "epoch": 0.026466666666666666,
      "grad_norm": 5.09375,
      "learning_rate": 4.991430821799521e-05,
      "loss": 0.3828,
      "step": 3970
    },
    {
      "epoch": 0.026533333333333332,
      "grad_norm": 4.28125,
      "learning_rate": 4.9913874475733655e-05,
      "loss": 0.3948,
      "step": 3980
    },
    {
      "epoch": 0.0266,
      "grad_norm": 3.46875,
      "learning_rate": 4.9913439640408674e-05,
      "loss": 0.3826,
      "step": 3990
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 4.0625,
      "learning_rate": 4.991300371203936e-05,
      "loss": 0.3734,
      "step": 4000
    },
    {
      "epoch": 0.026733333333333335,
      "grad_norm": 4.84375,
      "learning_rate": 4.991256669064482e-05,
      "loss": 0.3427,
      "step": 4010
    },
    {
      "epoch": 0.0268,
      "grad_norm": 4.375,
      "learning_rate": 4.991212857624424e-05,
      "loss": 0.3855,
      "step": 4020
    },
    {
      "epoch": 0.026866666666666667,
      "grad_norm": 4.53125,
      "learning_rate": 4.991168936885684e-05,
      "loss": 0.3578,
      "step": 4030
    },
    {
      "epoch": 0.026933333333333333,
      "grad_norm": 4.4375,
      "learning_rate": 4.9911249068501884e-05,
      "loss": 0.3501,
      "step": 4040
    },
    {
      "epoch": 0.027,
      "grad_norm": 4.0625,
      "learning_rate": 4.9910807675198696e-05,
      "loss": 0.3967,
      "step": 4050
    },
    {
      "epoch": 0.027066666666666666,
      "grad_norm": 3.140625,
      "learning_rate": 4.991036518896664e-05,
      "loss": 0.371,
      "step": 4060
    },
    {
      "epoch": 0.027133333333333332,
      "grad_norm": 5.03125,
      "learning_rate": 4.990992160982513e-05,
      "loss": 0.353,
      "step": 4070
    },
    {
      "epoch": 0.0272,
      "grad_norm": 5.875,
      "learning_rate": 4.990947693779362e-05,
      "loss": 0.3692,
      "step": 4080
    },
    {
      "epoch": 0.027266666666666668,
      "grad_norm": 4.625,
      "learning_rate": 4.9909031172891626e-05,
      "loss": 0.3889,
      "step": 4090
    },
    {
      "epoch": 0.027333333333333334,
      "grad_norm": 5.03125,
      "learning_rate": 4.9908584315138704e-05,
      "loss": 0.4307,
      "step": 4100
    },
    {
      "epoch": 0.0274,
      "grad_norm": 5.03125,
      "learning_rate": 4.990813636455447e-05,
      "loss": 0.3806,
      "step": 4110
    },
    {
      "epoch": 0.027466666666666667,
      "grad_norm": 4.625,
      "learning_rate": 4.990768732115856e-05,
      "loss": 0.3775,
      "step": 4120
    },
    {
      "epoch": 0.027533333333333333,
      "grad_norm": 4.4375,
      "learning_rate": 4.990723718497068e-05,
      "loss": 0.3664,
      "step": 4130
    },
    {
      "epoch": 0.0276,
      "grad_norm": 4.875,
      "learning_rate": 4.990678595601059e-05,
      "loss": 0.3653,
      "step": 4140
    },
    {
      "epoch": 0.027666666666666666,
      "grad_norm": 5.5,
      "learning_rate": 4.990633363429807e-05,
      "loss": 0.3947,
      "step": 4150
    },
    {
      "epoch": 0.027733333333333332,
      "grad_norm": 4.90625,
      "learning_rate": 4.9905880219852976e-05,
      "loss": 0.3725,
      "step": 4160
    },
    {
      "epoch": 0.0278,
      "grad_norm": 4.6875,
      "learning_rate": 4.99054257126952e-05,
      "loss": 0.3967,
      "step": 4170
    },
    {
      "epoch": 0.027866666666666668,
      "grad_norm": 6.71875,
      "learning_rate": 4.9904970112844686e-05,
      "loss": 0.3718,
      "step": 4180
    },
    {
      "epoch": 0.027933333333333334,
      "grad_norm": 4.90625,
      "learning_rate": 4.990451342032141e-05,
      "loss": 0.354,
      "step": 4190
    },
    {
      "epoch": 0.028,
      "grad_norm": 5.625,
      "learning_rate": 4.990405563514542e-05,
      "loss": 0.3687,
      "step": 4200
    },
    {
      "epoch": 0.028066666666666667,
      "grad_norm": 4.84375,
      "learning_rate": 4.9903596757336803e-05,
      "loss": 0.4179,
      "step": 4210
    },
    {
      "epoch": 0.028133333333333333,
      "grad_norm": 4.15625,
      "learning_rate": 4.9903136786915684e-05,
      "loss": 0.3629,
      "step": 4220
    },
    {
      "epoch": 0.0282,
      "grad_norm": 5.03125,
      "learning_rate": 4.9902675723902245e-05,
      "loss": 0.3602,
      "step": 4230
    },
    {
      "epoch": 0.028266666666666666,
      "grad_norm": 6.375,
      "learning_rate": 4.9902213568316716e-05,
      "loss": 0.4072,
      "step": 4240
    },
    {
      "epoch": 0.028333333333333332,
      "grad_norm": 6.34375,
      "learning_rate": 4.9901750320179376e-05,
      "loss": 0.3529,
      "step": 4250
    },
    {
      "epoch": 0.0284,
      "grad_norm": 5.5625,
      "learning_rate": 4.9901285979510535e-05,
      "loss": 0.3675,
      "step": 4260
    },
    {
      "epoch": 0.028466666666666668,
      "grad_norm": 4.125,
      "learning_rate": 4.990082054633058e-05,
      "loss": 0.3772,
      "step": 4270
    },
    {
      "epoch": 0.028533333333333334,
      "grad_norm": 4.25,
      "learning_rate": 4.990035402065995e-05,
      "loss": 0.3493,
      "step": 4280
    },
    {
      "epoch": 0.0286,
      "grad_norm": 4.71875,
      "learning_rate": 4.989988640251907e-05,
      "loss": 0.3272,
      "step": 4290
    },
    {
      "epoch": 0.028666666666666667,
      "grad_norm": 5.96875,
      "learning_rate": 4.989941769192848e-05,
      "loss": 0.3683,
      "step": 4300
    },
    {
      "epoch": 0.028733333333333333,
      "grad_norm": 3.546875,
      "learning_rate": 4.9898947888908745e-05,
      "loss": 0.396,
      "step": 4310
    },
    {
      "epoch": 0.0288,
      "grad_norm": 4.0625,
      "learning_rate": 4.989847699348047e-05,
      "loss": 0.3655,
      "step": 4320
    },
    {
      "epoch": 0.028866666666666665,
      "grad_norm": 4.375,
      "learning_rate": 4.989800500566432e-05,
      "loss": 0.3989,
      "step": 4330
    },
    {
      "epoch": 0.028933333333333332,
      "grad_norm": 4.90625,
      "learning_rate": 4.9897531925481005e-05,
      "loss": 0.3583,
      "step": 4340
    },
    {
      "epoch": 0.029,
      "grad_norm": 4.4375,
      "learning_rate": 4.989705775295128e-05,
      "loss": 0.3843,
      "step": 4350
    },
    {
      "epoch": 0.029066666666666668,
      "grad_norm": 5.875,
      "learning_rate": 4.9896582488095936e-05,
      "loss": 0.374,
      "step": 4360
    },
    {
      "epoch": 0.029133333333333334,
      "grad_norm": 3.46875,
      "learning_rate": 4.989610613093584e-05,
      "loss": 0.3706,
      "step": 4370
    },
    {
      "epoch": 0.0292,
      "grad_norm": 4.15625,
      "learning_rate": 4.9895628681491885e-05,
      "loss": 0.3926,
      "step": 4380
    },
    {
      "epoch": 0.029266666666666667,
      "grad_norm": 5.09375,
      "learning_rate": 4.989515013978502e-05,
      "loss": 0.3843,
      "step": 4390
    },
    {
      "epoch": 0.029333333333333333,
      "grad_norm": 5.03125,
      "learning_rate": 4.989467050583624e-05,
      "loss": 0.3987,
      "step": 4400
    },
    {
      "epoch": 0.0294,
      "grad_norm": 4.5,
      "learning_rate": 4.9894189779666585e-05,
      "loss": 0.3742,
      "step": 4410
    },
    {
      "epoch": 0.029466666666666665,
      "grad_norm": 3.921875,
      "learning_rate": 4.9893707961297155e-05,
      "loss": 0.3644,
      "step": 4420
    },
    {
      "epoch": 0.029533333333333335,
      "grad_norm": 4.78125,
      "learning_rate": 4.989322505074908e-05,
      "loss": 0.3766,
      "step": 4430
    },
    {
      "epoch": 0.0296,
      "grad_norm": 3.375,
      "learning_rate": 4.989274104804354e-05,
      "loss": 0.3708,
      "step": 4440
    },
    {
      "epoch": 0.029666666666666668,
      "grad_norm": 2.9375,
      "learning_rate": 4.989225595320179e-05,
      "loss": 0.3511,
      "step": 4450
    },
    {
      "epoch": 0.029733333333333334,
      "grad_norm": 4.0625,
      "learning_rate": 4.989176976624511e-05,
      "loss": 0.3709,
      "step": 4460
    },
    {
      "epoch": 0.0298,
      "grad_norm": 4.03125,
      "learning_rate": 4.9891282487194824e-05,
      "loss": 0.4033,
      "step": 4470
    },
    {
      "epoch": 0.029866666666666666,
      "grad_norm": 8.5,
      "learning_rate": 4.98907941160723e-05,
      "loss": 0.373,
      "step": 4480
    },
    {
      "epoch": 0.029933333333333333,
      "grad_norm": 6.6875,
      "learning_rate": 4.989030465289899e-05,
      "loss": 0.3847,
      "step": 4490
    },
    {
      "epoch": 0.03,
      "grad_norm": 5.0,
      "learning_rate": 4.988981409769634e-05,
      "loss": 0.3537,
      "step": 4500
    },
    {
      "epoch": 0.030066666666666665,
      "grad_norm": 4.4375,
      "learning_rate": 4.988932245048589e-05,
      "loss": 0.3743,
      "step": 4510
    },
    {
      "epoch": 0.030133333333333335,
      "grad_norm": 6.0,
      "learning_rate": 4.988882971128921e-05,
      "loss": 0.3846,
      "step": 4520
    },
    {
      "epoch": 0.0302,
      "grad_norm": 4.65625,
      "learning_rate": 4.988833588012792e-05,
      "loss": 0.3583,
      "step": 4530
    },
    {
      "epoch": 0.030266666666666667,
      "grad_norm": 3.28125,
      "learning_rate": 4.9887840957023675e-05,
      "loss": 0.3605,
      "step": 4540
    },
    {
      "epoch": 0.030333333333333334,
      "grad_norm": 5.21875,
      "learning_rate": 4.9887344941998195e-05,
      "loss": 0.361,
      "step": 4550
    },
    {
      "epoch": 0.0304,
      "grad_norm": 3.375,
      "learning_rate": 4.988684783507325e-05,
      "loss": 0.3207,
      "step": 4560
    },
    {
      "epoch": 0.030466666666666666,
      "grad_norm": 3.625,
      "learning_rate": 4.9886349636270636e-05,
      "loss": 0.3757,
      "step": 4570
    },
    {
      "epoch": 0.030533333333333332,
      "grad_norm": 4.15625,
      "learning_rate": 4.988585034561222e-05,
      "loss": 0.4223,
      "step": 4580
    },
    {
      "epoch": 0.0306,
      "grad_norm": 4.25,
      "learning_rate": 4.98853499631199e-05,
      "loss": 0.3588,
      "step": 4590
    },
    {
      "epoch": 0.030666666666666665,
      "grad_norm": 3.703125,
      "learning_rate": 4.988484848881563e-05,
      "loss": 0.3611,
      "step": 4600
    },
    {
      "epoch": 0.030733333333333335,
      "grad_norm": 3.375,
      "learning_rate": 4.988434592272143e-05,
      "loss": 0.349,
      "step": 4610
    },
    {
      "epoch": 0.0308,
      "grad_norm": 4.90625,
      "learning_rate": 4.988384226485933e-05,
      "loss": 0.3738,
      "step": 4620
    },
    {
      "epoch": 0.030866666666666667,
      "grad_norm": 3.734375,
      "learning_rate": 4.988333751525143e-05,
      "loss": 0.3516,
      "step": 4630
    },
    {
      "epoch": 0.030933333333333334,
      "grad_norm": 5.96875,
      "learning_rate": 4.9882831673919885e-05,
      "loss": 0.3773,
      "step": 4640
    },
    {
      "epoch": 0.031,
      "grad_norm": 4.21875,
      "learning_rate": 4.988232474088688e-05,
      "loss": 0.3965,
      "step": 4650
    },
    {
      "epoch": 0.031066666666666666,
      "grad_norm": 2.34375,
      "learning_rate": 4.988181671617464e-05,
      "loss": 0.3621,
      "step": 4660
    },
    {
      "epoch": 0.031133333333333332,
      "grad_norm": 3.671875,
      "learning_rate": 4.9881307599805496e-05,
      "loss": 0.3621,
      "step": 4670
    },
    {
      "epoch": 0.0312,
      "grad_norm": 4.5625,
      "learning_rate": 4.988079739180175e-05,
      "loss": 0.3358,
      "step": 4680
    },
    {
      "epoch": 0.031266666666666665,
      "grad_norm": 5.15625,
      "learning_rate": 4.988028609218579e-05,
      "loss": 0.3582,
      "step": 4690
    },
    {
      "epoch": 0.03133333333333333,
      "grad_norm": 4.4375,
      "learning_rate": 4.987977370098006e-05,
      "loss": 0.35,
      "step": 4700
    },
    {
      "epoch": 0.0314,
      "grad_norm": 4.5625,
      "learning_rate": 4.9879260218207043e-05,
      "loss": 0.385,
      "step": 4710
    },
    {
      "epoch": 0.031466666666666664,
      "grad_norm": 5.9375,
      "learning_rate": 4.987874564388925e-05,
      "loss": 0.343,
      "step": 4720
    },
    {
      "epoch": 0.03153333333333333,
      "grad_norm": 4.875,
      "learning_rate": 4.987822997804927e-05,
      "loss": 0.3828,
      "step": 4730
    },
    {
      "epoch": 0.0316,
      "grad_norm": 5.03125,
      "learning_rate": 4.987771322070973e-05,
      "loss": 0.3892,
      "step": 4740
    },
    {
      "epoch": 0.03166666666666667,
      "grad_norm": 4.28125,
      "learning_rate": 4.9877195371893296e-05,
      "loss": 0.3813,
      "step": 4750
    },
    {
      "epoch": 0.031733333333333336,
      "grad_norm": 3.765625,
      "learning_rate": 4.9876676431622685e-05,
      "loss": 0.3906,
      "step": 4760
    },
    {
      "epoch": 0.0318,
      "grad_norm": 2.671875,
      "learning_rate": 4.987615639992067e-05,
      "loss": 0.3704,
      "step": 4770
    },
    {
      "epoch": 0.03186666666666667,
      "grad_norm": 1.3046875,
      "learning_rate": 4.9875635276810065e-05,
      "loss": 0.3341,
      "step": 4780
    },
    {
      "epoch": 0.031933333333333334,
      "grad_norm": 4.875,
      "learning_rate": 4.9875113062313736e-05,
      "loss": 0.3771,
      "step": 4790
    },
    {
      "epoch": 0.032,
      "grad_norm": 4.53125,
      "learning_rate": 4.987458975645458e-05,
      "loss": 0.3687,
      "step": 4800
    },
    {
      "epoch": 0.03206666666666667,
      "grad_norm": 4.875,
      "learning_rate": 4.987406535925558e-05,
      "loss": 0.3407,
      "step": 4810
    },
    {
      "epoch": 0.03213333333333333,
      "grad_norm": 4.15625,
      "learning_rate": 4.9873539870739735e-05,
      "loss": 0.381,
      "step": 4820
    },
    {
      "epoch": 0.0322,
      "grad_norm": 3.828125,
      "learning_rate": 4.987301329093009e-05,
      "loss": 0.3797,
      "step": 4830
    },
    {
      "epoch": 0.032266666666666666,
      "grad_norm": 4.375,
      "learning_rate": 4.987248561984976e-05,
      "loss": 0.3819,
      "step": 4840
    },
    {
      "epoch": 0.03233333333333333,
      "grad_norm": 3.875,
      "learning_rate": 4.9871956857521884e-05,
      "loss": 0.3437,
      "step": 4850
    },
    {
      "epoch": 0.0324,
      "grad_norm": 4.84375,
      "learning_rate": 4.9871427003969676e-05,
      "loss": 0.3717,
      "step": 4860
    },
    {
      "epoch": 0.032466666666666665,
      "grad_norm": 4.125,
      "learning_rate": 4.9870896059216364e-05,
      "loss": 0.3716,
      "step": 4870
    },
    {
      "epoch": 0.03253333333333333,
      "grad_norm": 6.21875,
      "learning_rate": 4.987036402328525e-05,
      "loss": 0.3834,
      "step": 4880
    },
    {
      "epoch": 0.0326,
      "grad_norm": 4.34375,
      "learning_rate": 4.986983089619969e-05,
      "loss": 0.361,
      "step": 4890
    },
    {
      "epoch": 0.03266666666666666,
      "grad_norm": 4.71875,
      "learning_rate": 4.986929667798307e-05,
      "loss": 0.4038,
      "step": 4900
    },
    {
      "epoch": 0.032733333333333337,
      "grad_norm": 3.625,
      "learning_rate": 4.9868761368658804e-05,
      "loss": 0.3661,
      "step": 4910
    },
    {
      "epoch": 0.0328,
      "grad_norm": 4.4375,
      "learning_rate": 4.9868224968250406e-05,
      "loss": 0.343,
      "step": 4920
    },
    {
      "epoch": 0.03286666666666667,
      "grad_norm": 4.1875,
      "learning_rate": 4.9867687476781397e-05,
      "loss": 0.425,
      "step": 4930
    },
    {
      "epoch": 0.032933333333333335,
      "grad_norm": 4.25,
      "learning_rate": 4.9867148894275356e-05,
      "loss": 0.3799,
      "step": 4940
    },
    {
      "epoch": 0.033,
      "grad_norm": 5.59375,
      "learning_rate": 4.986660922075592e-05,
      "loss": 0.3624,
      "step": 4950
    },
    {
      "epoch": 0.03306666666666667,
      "grad_norm": 4.625,
      "learning_rate": 4.986606845624677e-05,
      "loss": 0.3619,
      "step": 4960
    },
    {
      "epoch": 0.033133333333333334,
      "grad_norm": 5.40625,
      "learning_rate": 4.986552660077162e-05,
      "loss": 0.3904,
      "step": 4970
    },
    {
      "epoch": 0.0332,
      "grad_norm": 4.71875,
      "learning_rate": 4.986498365435425e-05,
      "loss": 0.3658,
      "step": 4980
    },
    {
      "epoch": 0.03326666666666667,
      "grad_norm": 3.921875,
      "learning_rate": 4.986443961701848e-05,
      "loss": 0.3851,
      "step": 4990
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 4.6875,
      "learning_rate": 4.9863894488788174e-05,
      "loss": 0.4387,
      "step": 5000
    },
    {
      "epoch": 0.0334,
      "grad_norm": 4.46875,
      "learning_rate": 4.986334826968726e-05,
      "loss": 0.4011,
      "step": 5010
    },
    {
      "epoch": 0.033466666666666665,
      "grad_norm": 4.3125,
      "learning_rate": 4.986280095973969e-05,
      "loss": 0.3502,
      "step": 5020
    },
    {
      "epoch": 0.03353333333333333,
      "grad_norm": 4.09375,
      "learning_rate": 4.986225255896949e-05,
      "loss": 0.3604,
      "step": 5030
    },
    {
      "epoch": 0.0336,
      "grad_norm": 3.671875,
      "learning_rate": 4.986170306740071e-05,
      "loss": 0.3741,
      "step": 5040
    },
    {
      "epoch": 0.033666666666666664,
      "grad_norm": 4.9375,
      "learning_rate": 4.9861152485057454e-05,
      "loss": 0.3673,
      "step": 5050
    },
    {
      "epoch": 0.03373333333333333,
      "grad_norm": 4.59375,
      "learning_rate": 4.9860600811963894e-05,
      "loss": 0.3686,
      "step": 5060
    },
    {
      "epoch": 0.0338,
      "grad_norm": 6.40625,
      "learning_rate": 4.986004804814422e-05,
      "loss": 0.3672,
      "step": 5070
    },
    {
      "epoch": 0.03386666666666667,
      "grad_norm": 3.859375,
      "learning_rate": 4.985949419362269e-05,
      "loss": 0.3683,
      "step": 5080
    },
    {
      "epoch": 0.033933333333333336,
      "grad_norm": 5.375,
      "learning_rate": 4.98589392484236e-05,
      "loss": 0.3613,
      "step": 5090
    },
    {
      "epoch": 0.034,
      "grad_norm": 4.59375,
      "learning_rate": 4.9858383212571304e-05,
      "loss": 0.3847,
      "step": 5100
    },
    {
      "epoch": 0.03406666666666667,
      "grad_norm": 4.0,
      "learning_rate": 4.985782608609019e-05,
      "loss": 0.3733,
      "step": 5110
    },
    {
      "epoch": 0.034133333333333335,
      "grad_norm": 3.78125,
      "learning_rate": 4.985726786900471e-05,
      "loss": 0.3651,
      "step": 5120
    },
    {
      "epoch": 0.0342,
      "grad_norm": 3.65625,
      "learning_rate": 4.985670856133935e-05,
      "loss": 0.3773,
      "step": 5130
    },
    {
      "epoch": 0.03426666666666667,
      "grad_norm": 5.0625,
      "learning_rate": 4.985614816311864e-05,
      "loss": 0.393,
      "step": 5140
    },
    {
      "epoch": 0.034333333333333334,
      "grad_norm": 4.15625,
      "learning_rate": 4.9855586674367184e-05,
      "loss": 0.3346,
      "step": 5150
    },
    {
      "epoch": 0.0344,
      "grad_norm": 3.765625,
      "learning_rate": 4.9855024095109605e-05,
      "loss": 0.4213,
      "step": 5160
    },
    {
      "epoch": 0.034466666666666666,
      "grad_norm": 5.65625,
      "learning_rate": 4.985446042537059e-05,
      "loss": 0.3918,
      "step": 5170
    },
    {
      "epoch": 0.03453333333333333,
      "grad_norm": 5.90625,
      "learning_rate": 4.985389566517485e-05,
      "loss": 0.3629,
      "step": 5180
    },
    {
      "epoch": 0.0346,
      "grad_norm": 4.5,
      "learning_rate": 4.98533298145472e-05,
      "loss": 0.3863,
      "step": 5190
    },
    {
      "epoch": 0.034666666666666665,
      "grad_norm": 4.84375,
      "learning_rate": 4.9852762873512445e-05,
      "loss": 0.3843,
      "step": 5200
    },
    {
      "epoch": 0.03473333333333333,
      "grad_norm": 5.59375,
      "learning_rate": 4.985219484209546e-05,
      "loss": 0.3661,
      "step": 5210
    },
    {
      "epoch": 0.0348,
      "grad_norm": 3.0625,
      "learning_rate": 4.985162572032116e-05,
      "loss": 0.3638,
      "step": 5220
    },
    {
      "epoch": 0.034866666666666664,
      "grad_norm": 4.21875,
      "learning_rate": 4.985105550821452e-05,
      "loss": 0.3918,
      "step": 5230
    },
    {
      "epoch": 0.03493333333333333,
      "grad_norm": 4.15625,
      "learning_rate": 4.985048420580056e-05,
      "loss": 0.364,
      "step": 5240
    },
    {
      "epoch": 0.035,
      "grad_norm": 14.1875,
      "learning_rate": 4.984991181310435e-05,
      "loss": 0.3991,
      "step": 5250
    },
    {
      "epoch": 0.03506666666666667,
      "grad_norm": 4.40625,
      "learning_rate": 4.9849338330150994e-05,
      "loss": 0.342,
      "step": 5260
    },
    {
      "epoch": 0.035133333333333336,
      "grad_norm": 4.59375,
      "learning_rate": 4.984876375696565e-05,
      "loss": 0.3947,
      "step": 5270
    },
    {
      "epoch": 0.0352,
      "grad_norm": 4.34375,
      "learning_rate": 4.984818809357355e-05,
      "loss": 0.379,
      "step": 5280
    },
    {
      "epoch": 0.03526666666666667,
      "grad_norm": 3.921875,
      "learning_rate": 4.9847611339999916e-05,
      "loss": 0.3559,
      "step": 5290
    },
    {
      "epoch": 0.035333333333333335,
      "grad_norm": 2.796875,
      "learning_rate": 4.984703349627008e-05,
      "loss": 0.3448,
      "step": 5300
    },
    {
      "epoch": 0.0354,
      "grad_norm": 2.171875,
      "learning_rate": 4.984645456240937e-05,
      "loss": 0.366,
      "step": 5310
    },
    {
      "epoch": 0.03546666666666667,
      "grad_norm": 3.984375,
      "learning_rate": 4.9845874538443204e-05,
      "loss": 0.3457,
      "step": 5320
    },
    {
      "epoch": 0.03553333333333333,
      "grad_norm": 5.375,
      "learning_rate": 4.984529342439703e-05,
      "loss": 0.3599,
      "step": 5330
    },
    {
      "epoch": 0.0356,
      "grad_norm": 4.875,
      "learning_rate": 4.984471122029633e-05,
      "loss": 0.3876,
      "step": 5340
    },
    {
      "epoch": 0.035666666666666666,
      "grad_norm": 4.46875,
      "learning_rate": 4.984412792616667e-05,
      "loss": 0.3665,
      "step": 5350
    },
    {
      "epoch": 0.03573333333333333,
      "grad_norm": 5.3125,
      "learning_rate": 4.984354354203362e-05,
      "loss": 0.3885,
      "step": 5360
    },
    {
      "epoch": 0.0358,
      "grad_norm": 1.9765625,
      "learning_rate": 4.9842958067922815e-05,
      "loss": 0.3997,
      "step": 5370
    },
    {
      "epoch": 0.035866666666666665,
      "grad_norm": 4.03125,
      "learning_rate": 4.984237150385997e-05,
      "loss": 0.4003,
      "step": 5380
    },
    {
      "epoch": 0.03593333333333333,
      "grad_norm": 4.71875,
      "learning_rate": 4.9841783849870793e-05,
      "loss": 0.382,
      "step": 5390
    },
    {
      "epoch": 0.036,
      "grad_norm": 4.8125,
      "learning_rate": 4.984119510598109e-05,
      "loss": 0.3485,
      "step": 5400
    },
    {
      "epoch": 0.036066666666666664,
      "grad_norm": 1.9453125,
      "learning_rate": 4.9840605272216656e-05,
      "loss": 0.3568,
      "step": 5410
    },
    {
      "epoch": 0.03613333333333334,
      "grad_norm": 4.5625,
      "learning_rate": 4.9840014348603405e-05,
      "loss": 0.3775,
      "step": 5420
    },
    {
      "epoch": 0.0362,
      "grad_norm": 4.8125,
      "learning_rate": 4.9839422335167254e-05,
      "loss": 0.3702,
      "step": 5430
    },
    {
      "epoch": 0.03626666666666667,
      "grad_norm": 4.875,
      "learning_rate": 4.9838829231934156e-05,
      "loss": 0.3574,
      "step": 5440
    },
    {
      "epoch": 0.036333333333333336,
      "grad_norm": 5.53125,
      "learning_rate": 4.983823503893016e-05,
      "loss": 0.4102,
      "step": 5450
    },
    {
      "epoch": 0.0364,
      "grad_norm": 5.8125,
      "learning_rate": 4.983763975618132e-05,
      "loss": 0.3799,
      "step": 5460
    },
    {
      "epoch": 0.03646666666666667,
      "grad_norm": 4.1875,
      "learning_rate": 4.9837043383713753e-05,
      "loss": 0.3496,
      "step": 5470
    },
    {
      "epoch": 0.036533333333333334,
      "grad_norm": 4.875,
      "learning_rate": 4.983644592155364e-05,
      "loss": 0.373,
      "step": 5480
    },
    {
      "epoch": 0.0366,
      "grad_norm": 4.21875,
      "learning_rate": 4.9835847369727174e-05,
      "loss": 0.35,
      "step": 5490
    },
    {
      "epoch": 0.03666666666666667,
      "grad_norm": 5.375,
      "learning_rate": 4.983524772826063e-05,
      "loss": 0.3842,
      "step": 5500
    },
    {
      "epoch": 0.03673333333333333,
      "grad_norm": 5.09375,
      "learning_rate": 4.98346469971803e-05,
      "loss": 0.3816,
      "step": 5510
    },
    {
      "epoch": 0.0368,
      "grad_norm": 3.875,
      "learning_rate": 4.983404517651255e-05,
      "loss": 0.3451,
      "step": 5520
    },
    {
      "epoch": 0.036866666666666666,
      "grad_norm": 6.78125,
      "learning_rate": 4.983344226628379e-05,
      "loss": 0.4003,
      "step": 5530
    },
    {
      "epoch": 0.03693333333333333,
      "grad_norm": 4.59375,
      "learning_rate": 4.983283826652047e-05,
      "loss": 0.3856,
      "step": 5540
    },
    {
      "epoch": 0.037,
      "grad_norm": 4.28125,
      "learning_rate": 4.983223317724908e-05,
      "loss": 0.3328,
      "step": 5550
    },
    {
      "epoch": 0.037066666666666664,
      "grad_norm": 4.65625,
      "learning_rate": 4.9831626998496184e-05,
      "loss": 0.3531,
      "step": 5560
    },
    {
      "epoch": 0.03713333333333333,
      "grad_norm": 4.125,
      "learning_rate": 4.983101973028835e-05,
      "loss": 0.3804,
      "step": 5570
    },
    {
      "epoch": 0.0372,
      "grad_norm": 3.59375,
      "learning_rate": 4.9830411372652253e-05,
      "loss": 0.3763,
      "step": 5580
    },
    {
      "epoch": 0.03726666666666666,
      "grad_norm": 2.875,
      "learning_rate": 4.982980192561456e-05,
      "loss": 0.381,
      "step": 5590
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 4.78125,
      "learning_rate": 4.9829191389202026e-05,
      "loss": 0.3733,
      "step": 5600
    },
    {
      "epoch": 0.0374,
      "grad_norm": 5.0625,
      "learning_rate": 4.982857976344142e-05,
      "loss": 0.3662,
      "step": 5610
    },
    {
      "epoch": 0.03746666666666667,
      "grad_norm": 3.859375,
      "learning_rate": 4.98279670483596e-05,
      "loss": 0.3626,
      "step": 5620
    },
    {
      "epoch": 0.037533333333333335,
      "grad_norm": 6.4375,
      "learning_rate": 4.9827353243983424e-05,
      "loss": 0.3804,
      "step": 5630
    },
    {
      "epoch": 0.0376,
      "grad_norm": 5.28125,
      "learning_rate": 4.982673835033983e-05,
      "loss": 0.3825,
      "step": 5640
    },
    {
      "epoch": 0.03766666666666667,
      "grad_norm": 5.15625,
      "learning_rate": 4.982612236745581e-05,
      "loss": 0.3937,
      "step": 5650
    },
    {
      "epoch": 0.037733333333333334,
      "grad_norm": 4.625,
      "learning_rate": 4.982550529535837e-05,
      "loss": 0.3634,
      "step": 5660
    },
    {
      "epoch": 0.0378,
      "grad_norm": 4.09375,
      "learning_rate": 4.982488713407459e-05,
      "loss": 0.4203,
      "step": 5670
    },
    {
      "epoch": 0.037866666666666667,
      "grad_norm": 7.125,
      "learning_rate": 4.9824267883631594e-05,
      "loss": 0.3575,
      "step": 5680
    },
    {
      "epoch": 0.03793333333333333,
      "grad_norm": 6.0,
      "learning_rate": 4.9823647544056544e-05,
      "loss": 0.4232,
      "step": 5690
    },
    {
      "epoch": 0.038,
      "grad_norm": 4.625,
      "learning_rate": 4.982302611537667e-05,
      "loss": 0.4281,
      "step": 5700
    },
    {
      "epoch": 0.038066666666666665,
      "grad_norm": 3.984375,
      "learning_rate": 4.982240359761922e-05,
      "loss": 0.3788,
      "step": 5710
    },
    {
      "epoch": 0.03813333333333333,
      "grad_norm": 4.53125,
      "learning_rate": 4.982177999081151e-05,
      "loss": 0.3735,
      "step": 5720
    },
    {
      "epoch": 0.0382,
      "grad_norm": 4.59375,
      "learning_rate": 4.982115529498091e-05,
      "loss": 0.341,
      "step": 5730
    },
    {
      "epoch": 0.038266666666666664,
      "grad_norm": 5.0625,
      "learning_rate": 4.9820529510154826e-05,
      "loss": 0.3621,
      "step": 5740
    },
    {
      "epoch": 0.03833333333333333,
      "grad_norm": 4.625,
      "learning_rate": 4.9819902636360694e-05,
      "loss": 0.3607,
      "step": 5750
    },
    {
      "epoch": 0.0384,
      "grad_norm": 4.15625,
      "learning_rate": 4.9819274673626046e-05,
      "loss": 0.3445,
      "step": 5760
    },
    {
      "epoch": 0.03846666666666667,
      "grad_norm": 3.890625,
      "learning_rate": 4.981864562197841e-05,
      "loss": 0.3638,
      "step": 5770
    },
    {
      "epoch": 0.038533333333333336,
      "grad_norm": 5.75,
      "learning_rate": 4.98180154814454e-05,
      "loss": 0.394,
      "step": 5780
    },
    {
      "epoch": 0.0386,
      "grad_norm": 4.40625,
      "learning_rate": 4.981738425205465e-05,
      "loss": 0.365,
      "step": 5790
    },
    {
      "epoch": 0.03866666666666667,
      "grad_norm": 4.21875,
      "learning_rate": 4.981675193383387e-05,
      "loss": 0.3673,
      "step": 5800
    },
    {
      "epoch": 0.038733333333333335,
      "grad_norm": 5.0625,
      "learning_rate": 4.981611852681078e-05,
      "loss": 0.3661,
      "step": 5810
    },
    {
      "epoch": 0.0388,
      "grad_norm": 5.03125,
      "learning_rate": 4.981548403101319e-05,
      "loss": 0.3465,
      "step": 5820
    },
    {
      "epoch": 0.03886666666666667,
      "grad_norm": 4.34375,
      "learning_rate": 4.981484844646893e-05,
      "loss": 0.3882,
      "step": 5830
    },
    {
      "epoch": 0.038933333333333334,
      "grad_norm": 4.96875,
      "learning_rate": 4.9814211773205886e-05,
      "loss": 0.3832,
      "step": 5840
    },
    {
      "epoch": 0.039,
      "grad_norm": 3.375,
      "learning_rate": 4.9813574011251995e-05,
      "loss": 0.3921,
      "step": 5850
    },
    {
      "epoch": 0.039066666666666666,
      "grad_norm": 4.71875,
      "learning_rate": 4.9812935160635226e-05,
      "loss": 0.3826,
      "step": 5860
    },
    {
      "epoch": 0.03913333333333333,
      "grad_norm": 5.75,
      "learning_rate": 4.981229522138362e-05,
      "loss": 0.3751,
      "step": 5870
    },
    {
      "epoch": 0.0392,
      "grad_norm": 5.5,
      "learning_rate": 4.9811654193525246e-05,
      "loss": 0.3576,
      "step": 5880
    },
    {
      "epoch": 0.039266666666666665,
      "grad_norm": 4.375,
      "learning_rate": 4.981101207708824e-05,
      "loss": 0.3519,
      "step": 5890
    },
    {
      "epoch": 0.03933333333333333,
      "grad_norm": 4.53125,
      "learning_rate": 4.981036887210076e-05,
      "loss": 0.3554,
      "step": 5900
    },
    {
      "epoch": 0.0394,
      "grad_norm": 5.6875,
      "learning_rate": 4.9809724578591026e-05,
      "loss": 0.3552,
      "step": 5910
    },
    {
      "epoch": 0.039466666666666664,
      "grad_norm": 4.6875,
      "learning_rate": 4.9809079196587314e-05,
      "loss": 0.3663,
      "step": 5920
    },
    {
      "epoch": 0.03953333333333333,
      "grad_norm": 4.78125,
      "learning_rate": 4.980843272611794e-05,
      "loss": 0.3782,
      "step": 5930
    },
    {
      "epoch": 0.0396,
      "grad_norm": 6.6875,
      "learning_rate": 4.980778516721126e-05,
      "loss": 0.3549,
      "step": 5940
    },
    {
      "epoch": 0.03966666666666667,
      "grad_norm": 4.28125,
      "learning_rate": 4.980713651989569e-05,
      "loss": 0.3488,
      "step": 5950
    },
    {
      "epoch": 0.039733333333333336,
      "grad_norm": 3.53125,
      "learning_rate": 4.9806486784199684e-05,
      "loss": 0.3781,
      "step": 5960
    },
    {
      "epoch": 0.0398,
      "grad_norm": 3.765625,
      "learning_rate": 4.980583596015175e-05,
      "loss": 0.3612,
      "step": 5970
    },
    {
      "epoch": 0.03986666666666667,
      "grad_norm": 4.0625,
      "learning_rate": 4.980518404778045e-05,
      "loss": 0.3659,
      "step": 5980
    },
    {
      "epoch": 0.039933333333333335,
      "grad_norm": 5.03125,
      "learning_rate": 4.980453104711437e-05,
      "loss": 0.3968,
      "step": 5990
    },
    {
      "epoch": 0.04,
      "grad_norm": 6.65625,
      "learning_rate": 4.980387695818217e-05,
      "loss": 0.3884,
      "step": 6000
    },
    {
      "epoch": 0.04006666666666667,
      "grad_norm": 9.4375,
      "learning_rate": 4.980322178101255e-05,
      "loss": 0.3619,
      "step": 6010
    },
    {
      "epoch": 0.04013333333333333,
      "grad_norm": 3.75,
      "learning_rate": 4.980256551563425e-05,
      "loss": 0.3633,
      "step": 6020
    },
    {
      "epoch": 0.0402,
      "grad_norm": 4.875,
      "learning_rate": 4.980190816207606e-05,
      "loss": 0.3815,
      "step": 6030
    },
    {
      "epoch": 0.040266666666666666,
      "grad_norm": 5.0625,
      "learning_rate": 4.9801249720366815e-05,
      "loss": 0.3784,
      "step": 6040
    },
    {
      "epoch": 0.04033333333333333,
      "grad_norm": 4.40625,
      "learning_rate": 4.9800590190535425e-05,
      "loss": 0.3739,
      "step": 6050
    },
    {
      "epoch": 0.0404,
      "grad_norm": 3.84375,
      "learning_rate": 4.979992957261081e-05,
      "loss": 0.3359,
      "step": 6060
    },
    {
      "epoch": 0.040466666666666665,
      "grad_norm": 4.03125,
      "learning_rate": 4.979926786662196e-05,
      "loss": 0.3429,
      "step": 6070
    },
    {
      "epoch": 0.04053333333333333,
      "grad_norm": 4.625,
      "learning_rate": 4.9798605072597894e-05,
      "loss": 0.3528,
      "step": 6080
    },
    {
      "epoch": 0.0406,
      "grad_norm": 4.40625,
      "learning_rate": 4.979794119056771e-05,
      "loss": 0.3778,
      "step": 6090
    },
    {
      "epoch": 0.04066666666666666,
      "grad_norm": 4.0625,
      "learning_rate": 4.979727622056052e-05,
      "loss": 0.3674,
      "step": 6100
    },
    {
      "epoch": 0.04073333333333334,
      "grad_norm": 3.625,
      "learning_rate": 4.979661016260551e-05,
      "loss": 0.3734,
      "step": 6110
    },
    {
      "epoch": 0.0408,
      "grad_norm": 4.28125,
      "learning_rate": 4.979594301673188e-05,
      "loss": 0.3457,
      "step": 6120
    },
    {
      "epoch": 0.04086666666666667,
      "grad_norm": 4.375,
      "learning_rate": 4.9795274782968935e-05,
      "loss": 0.3526,
      "step": 6130
    },
    {
      "epoch": 0.040933333333333335,
      "grad_norm": 9.625,
      "learning_rate": 4.979460546134597e-05,
      "loss": 0.3658,
      "step": 6140
    },
    {
      "epoch": 0.041,
      "grad_norm": 4.46875,
      "learning_rate": 4.979393505189235e-05,
      "loss": 0.3766,
      "step": 6150
    },
    {
      "epoch": 0.04106666666666667,
      "grad_norm": 4.46875,
      "learning_rate": 4.9793263554637494e-05,
      "loss": 0.364,
      "step": 6160
    },
    {
      "epoch": 0.041133333333333334,
      "grad_norm": 5.21875,
      "learning_rate": 4.979259096961087e-05,
      "loss": 0.3485,
      "step": 6170
    },
    {
      "epoch": 0.0412,
      "grad_norm": 4.9375,
      "learning_rate": 4.979191729684197e-05,
      "loss": 0.3907,
      "step": 6180
    },
    {
      "epoch": 0.04126666666666667,
      "grad_norm": 3.9375,
      "learning_rate": 4.9791242536360365e-05,
      "loss": 0.369,
      "step": 6190
    },
    {
      "epoch": 0.04133333333333333,
      "grad_norm": 4.46875,
      "learning_rate": 4.979056668819565e-05,
      "loss": 0.3467,
      "step": 6200
    },
    {
      "epoch": 0.0414,
      "grad_norm": 4.375,
      "learning_rate": 4.978988975237748e-05,
      "loss": 0.3554,
      "step": 6210
    },
    {
      "epoch": 0.041466666666666666,
      "grad_norm": 3.75,
      "learning_rate": 4.978921172893557e-05,
      "loss": 0.4144,
      "step": 6220
    },
    {
      "epoch": 0.04153333333333333,
      "grad_norm": 5.09375,
      "learning_rate": 4.978853261789964e-05,
      "loss": 0.3777,
      "step": 6230
    },
    {
      "epoch": 0.0416,
      "grad_norm": 4.8125,
      "learning_rate": 4.9787852419299497e-05,
      "loss": 0.3509,
      "step": 6240
    },
    {
      "epoch": 0.041666666666666664,
      "grad_norm": 4.8125,
      "learning_rate": 4.978717113316499e-05,
      "loss": 0.4007,
      "step": 6250
    },
    {
      "epoch": 0.04173333333333333,
      "grad_norm": 5.375,
      "learning_rate": 4.978648875952601e-05,
      "loss": 0.3607,
      "step": 6260
    },
    {
      "epoch": 0.0418,
      "grad_norm": 4.53125,
      "learning_rate": 4.978580529841248e-05,
      "loss": 0.3594,
      "step": 6270
    },
    {
      "epoch": 0.04186666666666667,
      "grad_norm": 4.9375,
      "learning_rate": 4.9785120749854396e-05,
      "loss": 0.3342,
      "step": 6280
    },
    {
      "epoch": 0.041933333333333336,
      "grad_norm": 3.09375,
      "learning_rate": 4.97844351138818e-05,
      "loss": 0.331,
      "step": 6290
    },
    {
      "epoch": 0.042,
      "grad_norm": 5.03125,
      "learning_rate": 4.978374839052475e-05,
      "loss": 0.3686,
      "step": 6300
    },
    {
      "epoch": 0.04206666666666667,
      "grad_norm": 5.8125,
      "learning_rate": 4.9783060579813404e-05,
      "loss": 0.3761,
      "step": 6310
    },
    {
      "epoch": 0.042133333333333335,
      "grad_norm": 5.03125,
      "learning_rate": 4.978237168177792e-05,
      "loss": 0.4047,
      "step": 6320
    },
    {
      "epoch": 0.0422,
      "grad_norm": 4.46875,
      "learning_rate": 4.978168169644852e-05,
      "loss": 0.3815,
      "step": 6330
    },
    {
      "epoch": 0.04226666666666667,
      "grad_norm": 3.6875,
      "learning_rate": 4.9780990623855496e-05,
      "loss": 0.3579,
      "step": 6340
    },
    {
      "epoch": 0.042333333333333334,
      "grad_norm": 5.875,
      "learning_rate": 4.978029846402915e-05,
      "loss": 0.3551,
      "step": 6350
    },
    {
      "epoch": 0.0424,
      "grad_norm": 2.78125,
      "learning_rate": 4.977960521699985e-05,
      "loss": 0.3516,
      "step": 6360
    },
    {
      "epoch": 0.042466666666666666,
      "grad_norm": 4.3125,
      "learning_rate": 4.977891088279802e-05,
      "loss": 0.3533,
      "step": 6370
    },
    {
      "epoch": 0.04253333333333333,
      "grad_norm": 4.03125,
      "learning_rate": 4.9778215461454115e-05,
      "loss": 0.3364,
      "step": 6380
    },
    {
      "epoch": 0.0426,
      "grad_norm": 4.53125,
      "learning_rate": 4.977751895299866e-05,
      "loss": 0.3317,
      "step": 6390
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 5.3125,
      "learning_rate": 4.9776821357462186e-05,
      "loss": 0.363,
      "step": 6400
    },
    {
      "epoch": 0.04273333333333333,
      "grad_norm": 4.21875,
      "learning_rate": 4.977612267487534e-05,
      "loss": 0.3627,
      "step": 6410
    },
    {
      "epoch": 0.0428,
      "grad_norm": 3.90625,
      "learning_rate": 4.977542290526873e-05,
      "loss": 0.3558,
      "step": 6420
    },
    {
      "epoch": 0.042866666666666664,
      "grad_norm": 4.1875,
      "learning_rate": 4.977472204867309e-05,
      "loss": 0.3768,
      "step": 6430
    },
    {
      "epoch": 0.04293333333333333,
      "grad_norm": 2.453125,
      "learning_rate": 4.9774020105119157e-05,
      "loss": 0.339,
      "step": 6440
    },
    {
      "epoch": 0.043,
      "grad_norm": 5.4375,
      "learning_rate": 4.977331707463773e-05,
      "loss": 0.3346,
      "step": 6450
    },
    {
      "epoch": 0.04306666666666667,
      "grad_norm": 2.828125,
      "learning_rate": 4.977261295725965e-05,
      "loss": 0.3807,
      "step": 6460
    },
    {
      "epoch": 0.043133333333333336,
      "grad_norm": 3.78125,
      "learning_rate": 4.9771907753015817e-05,
      "loss": 0.3554,
      "step": 6470
    },
    {
      "epoch": 0.0432,
      "grad_norm": 4.875,
      "learning_rate": 4.977120146193717e-05,
      "loss": 0.3613,
      "step": 6480
    },
    {
      "epoch": 0.04326666666666667,
      "grad_norm": 4.6875,
      "learning_rate": 4.977049408405469e-05,
      "loss": 0.3488,
      "step": 6490
    },
    {
      "epoch": 0.043333333333333335,
      "grad_norm": 6.03125,
      "learning_rate": 4.97697856193994e-05,
      "loss": 0.35,
      "step": 6500
    },
    {
      "epoch": 0.0434,
      "grad_norm": 4.1875,
      "learning_rate": 4.976907606800242e-05,
      "loss": 0.4138,
      "step": 6510
    },
    {
      "epoch": 0.04346666666666667,
      "grad_norm": 4.0,
      "learning_rate": 4.976836542989484e-05,
      "loss": 0.3572,
      "step": 6520
    },
    {
      "epoch": 0.043533333333333334,
      "grad_norm": 4.875,
      "learning_rate": 4.976765370510787e-05,
      "loss": 0.3207,
      "step": 6530
    },
    {
      "epoch": 0.0436,
      "grad_norm": 3.9375,
      "learning_rate": 4.976694089367272e-05,
      "loss": 0.3959,
      "step": 6540
    },
    {
      "epoch": 0.043666666666666666,
      "grad_norm": 5.3125,
      "learning_rate": 4.976622699562066e-05,
      "loss": 0.3808,
      "step": 6550
    },
    {
      "epoch": 0.04373333333333333,
      "grad_norm": 3.5625,
      "learning_rate": 4.9765512010983025e-05,
      "loss": 0.3821,
      "step": 6560
    },
    {
      "epoch": 0.0438,
      "grad_norm": 4.28125,
      "learning_rate": 4.9764795939791174e-05,
      "loss": 0.356,
      "step": 6570
    },
    {
      "epoch": 0.043866666666666665,
      "grad_norm": 4.21875,
      "learning_rate": 4.976407878207653e-05,
      "loss": 0.3642,
      "step": 6580
    },
    {
      "epoch": 0.04393333333333333,
      "grad_norm": 4.5,
      "learning_rate": 4.976336053787055e-05,
      "loss": 0.3745,
      "step": 6590
    },
    {
      "epoch": 0.044,
      "grad_norm": 4.21875,
      "learning_rate": 4.976264120720475e-05,
      "loss": 0.361,
      "step": 6600
    },
    {
      "epoch": 0.044066666666666664,
      "grad_norm": 4.625,
      "learning_rate": 4.97619207901107e-05,
      "loss": 0.3625,
      "step": 6610
    },
    {
      "epoch": 0.04413333333333333,
      "grad_norm": 4.0625,
      "learning_rate": 4.976119928661998e-05,
      "loss": 0.3644,
      "step": 6620
    },
    {
      "epoch": 0.0442,
      "grad_norm": 4.09375,
      "learning_rate": 4.976047669676427e-05,
      "loss": 0.3676,
      "step": 6630
    },
    {
      "epoch": 0.04426666666666667,
      "grad_norm": 3.859375,
      "learning_rate": 4.975975302057526e-05,
      "loss": 0.373,
      "step": 6640
    },
    {
      "epoch": 0.044333333333333336,
      "grad_norm": 4.28125,
      "learning_rate": 4.975902825808472e-05,
      "loss": 0.3636,
      "step": 6650
    },
    {
      "epoch": 0.0444,
      "grad_norm": 3.890625,
      "learning_rate": 4.975830240932442e-05,
      "loss": 0.3658,
      "step": 6660
    },
    {
      "epoch": 0.04446666666666667,
      "grad_norm": 5.21875,
      "learning_rate": 4.975757547432622e-05,
      "loss": 0.367,
      "step": 6670
    },
    {
      "epoch": 0.044533333333333334,
      "grad_norm": 1.8125,
      "learning_rate": 4.9756847453122016e-05,
      "loss": 0.3568,
      "step": 6680
    },
    {
      "epoch": 0.0446,
      "grad_norm": 4.0625,
      "learning_rate": 4.9756118345743744e-05,
      "loss": 0.3702,
      "step": 6690
    },
    {
      "epoch": 0.04466666666666667,
      "grad_norm": 3.34375,
      "learning_rate": 4.975538815222339e-05,
      "loss": 0.3686,
      "step": 6700
    },
    {
      "epoch": 0.04473333333333333,
      "grad_norm": 5.84375,
      "learning_rate": 4.9754656872593e-05,
      "loss": 0.3451,
      "step": 6710
    },
    {
      "epoch": 0.0448,
      "grad_norm": 4.28125,
      "learning_rate": 4.975392450688464e-05,
      "loss": 0.3517,
      "step": 6720
    },
    {
      "epoch": 0.044866666666666666,
      "grad_norm": 4.8125,
      "learning_rate": 4.9753191055130466e-05,
      "loss": 0.3489,
      "step": 6730
    },
    {
      "epoch": 0.04493333333333333,
      "grad_norm": 3.59375,
      "learning_rate": 4.975245651736264e-05,
      "loss": 0.3828,
      "step": 6740
    },
    {
      "epoch": 0.045,
      "grad_norm": 3.875,
      "learning_rate": 4.975172089361339e-05,
      "loss": 0.3587,
      "step": 6750
    },
    {
      "epoch": 0.045066666666666665,
      "grad_norm": 3.8125,
      "learning_rate": 4.9750984183915e-05,
      "loss": 0.3968,
      "step": 6760
    },
    {
      "epoch": 0.04513333333333333,
      "grad_norm": 3.625,
      "learning_rate": 4.975024638829978e-05,
      "loss": 0.3933,
      "step": 6770
    },
    {
      "epoch": 0.0452,
      "grad_norm": 3.8125,
      "learning_rate": 4.974950750680011e-05,
      "loss": 0.3668,
      "step": 6780
    },
    {
      "epoch": 0.04526666666666666,
      "grad_norm": 3.546875,
      "learning_rate": 4.9748767539448406e-05,
      "loss": 0.3373,
      "step": 6790
    },
    {
      "epoch": 0.04533333333333334,
      "grad_norm": 4.25,
      "learning_rate": 4.9748026486277126e-05,
      "loss": 0.379,
      "step": 6800
    },
    {
      "epoch": 0.0454,
      "grad_norm": 3.5,
      "learning_rate": 4.974728434731879e-05,
      "loss": 0.3782,
      "step": 6810
    },
    {
      "epoch": 0.04546666666666667,
      "grad_norm": 3.671875,
      "learning_rate": 4.974654112260595e-05,
      "loss": 0.3551,
      "step": 6820
    },
    {
      "epoch": 0.045533333333333335,
      "grad_norm": 3.0625,
      "learning_rate": 4.974579681217123e-05,
      "loss": 0.3348,
      "step": 6830
    },
    {
      "epoch": 0.0456,
      "grad_norm": 4.5,
      "learning_rate": 4.9745051416047275e-05,
      "loss": 0.3567,
      "step": 6840
    },
    {
      "epoch": 0.04566666666666667,
      "grad_norm": 3.78125,
      "learning_rate": 4.974430493426678e-05,
      "loss": 0.3502,
      "step": 6850
    },
    {
      "epoch": 0.045733333333333334,
      "grad_norm": 5.15625,
      "learning_rate": 4.9743557366862504e-05,
      "loss": 0.3661,
      "step": 6860
    },
    {
      "epoch": 0.0458,
      "grad_norm": 4.78125,
      "learning_rate": 4.974280871386725e-05,
      "loss": 0.3643,
      "step": 6870
    },
    {
      "epoch": 0.04586666666666667,
      "grad_norm": 4.1875,
      "learning_rate": 4.974205897531386e-05,
      "loss": 0.374,
      "step": 6880
    },
    {
      "epoch": 0.04593333333333333,
      "grad_norm": 3.78125,
      "learning_rate": 4.974130815123523e-05,
      "loss": 0.3656,
      "step": 6890
    },
    {
      "epoch": 0.046,
      "grad_norm": 5.15625,
      "learning_rate": 4.9740556241664296e-05,
      "loss": 0.3573,
      "step": 6900
    },
    {
      "epoch": 0.046066666666666665,
      "grad_norm": 4.90625,
      "learning_rate": 4.9739803246634055e-05,
      "loss": 0.3737,
      "step": 6910
    },
    {
      "epoch": 0.04613333333333333,
      "grad_norm": 4.15625,
      "learning_rate": 4.973904916617753e-05,
      "loss": 0.352,
      "step": 6920
    },
    {
      "epoch": 0.0462,
      "grad_norm": 4.9375,
      "learning_rate": 4.9738294000327823e-05,
      "loss": 0.3721,
      "step": 6930
    },
    {
      "epoch": 0.046266666666666664,
      "grad_norm": 4.65625,
      "learning_rate": 4.973753774911806e-05,
      "loss": 0.3686,
      "step": 6940
    },
    {
      "epoch": 0.04633333333333333,
      "grad_norm": 4.59375,
      "learning_rate": 4.973678041258141e-05,
      "loss": 0.3611,
      "step": 6950
    },
    {
      "epoch": 0.0464,
      "grad_norm": 5.0625,
      "learning_rate": 4.973602199075111e-05,
      "loss": 0.3084,
      "step": 6960
    },
    {
      "epoch": 0.04646666666666667,
      "grad_norm": 4.03125,
      "learning_rate": 4.973526248366043e-05,
      "loss": 0.362,
      "step": 6970
    },
    {
      "epoch": 0.046533333333333336,
      "grad_norm": 3.953125,
      "learning_rate": 4.97345018913427e-05,
      "loss": 0.383,
      "step": 6980
    },
    {
      "epoch": 0.0466,
      "grad_norm": 4.03125,
      "learning_rate": 4.973374021383128e-05,
      "loss": 0.3607,
      "step": 6990
    },
    {
      "epoch": 0.04666666666666667,
      "grad_norm": 3.625,
      "learning_rate": 4.97329774511596e-05,
      "loss": 0.3174,
      "step": 7000
    },
    {
      "epoch": 0.046733333333333335,
      "grad_norm": 5.3125,
      "learning_rate": 4.973221360336111e-05,
      "loss": 0.3486,
      "step": 7010
    },
    {
      "epoch": 0.0468,
      "grad_norm": 5.15625,
      "learning_rate": 4.973144867046934e-05,
      "loss": 0.378,
      "step": 7020
    },
    {
      "epoch": 0.04686666666666667,
      "grad_norm": 5.34375,
      "learning_rate": 4.9730682652517834e-05,
      "loss": 0.3513,
      "step": 7030
    },
    {
      "epoch": 0.046933333333333334,
      "grad_norm": 5.0625,
      "learning_rate": 4.9729915549540205e-05,
      "loss": 0.3618,
      "step": 7040
    },
    {
      "epoch": 0.047,
      "grad_norm": 6.53125,
      "learning_rate": 4.9729147361570115e-05,
      "loss": 0.3867,
      "step": 7050
    },
    {
      "epoch": 0.047066666666666666,
      "grad_norm": 1.8203125,
      "learning_rate": 4.972837808864126e-05,
      "loss": 0.3346,
      "step": 7060
    },
    {
      "epoch": 0.04713333333333333,
      "grad_norm": 2.515625,
      "learning_rate": 4.97276077307874e-05,
      "loss": 0.3736,
      "step": 7070
    },
    {
      "epoch": 0.0472,
      "grad_norm": 3.953125,
      "learning_rate": 4.972683628804232e-05,
      "loss": 0.371,
      "step": 7080
    },
    {
      "epoch": 0.047266666666666665,
      "grad_norm": 3.890625,
      "learning_rate": 4.9726063760439885e-05,
      "loss": 0.3474,
      "step": 7090
    },
    {
      "epoch": 0.04733333333333333,
      "grad_norm": 5.125,
      "learning_rate": 4.972529014801397e-05,
      "loss": 0.3761,
      "step": 7100
    },
    {
      "epoch": 0.0474,
      "grad_norm": 3.78125,
      "learning_rate": 4.972451545079852e-05,
      "loss": 0.3514,
      "step": 7110
    },
    {
      "epoch": 0.047466666666666664,
      "grad_norm": 7.375,
      "learning_rate": 4.972373966882753e-05,
      "loss": 0.3638,
      "step": 7120
    },
    {
      "epoch": 0.04753333333333333,
      "grad_norm": 5.34375,
      "learning_rate": 4.972296280213503e-05,
      "loss": 0.3584,
      "step": 7130
    },
    {
      "epoch": 0.0476,
      "grad_norm": 4.65625,
      "learning_rate": 4.972218485075511e-05,
      "loss": 0.3883,
      "step": 7140
    },
    {
      "epoch": 0.04766666666666667,
      "grad_norm": 3.921875,
      "learning_rate": 4.97214058147219e-05,
      "loss": 0.3617,
      "step": 7150
    },
    {
      "epoch": 0.047733333333333336,
      "grad_norm": 4.90625,
      "learning_rate": 4.972062569406958e-05,
      "loss": 0.3684,
      "step": 7160
    },
    {
      "epoch": 0.0478,
      "grad_norm": 4.53125,
      "learning_rate": 4.971984448883237e-05,
      "loss": 0.3544,
      "step": 7170
    },
    {
      "epoch": 0.04786666666666667,
      "grad_norm": 4.90625,
      "learning_rate": 4.9719062199044556e-05,
      "loss": 0.3397,
      "step": 7180
    },
    {
      "epoch": 0.047933333333333335,
      "grad_norm": 5.46875,
      "learning_rate": 4.9718278824740444e-05,
      "loss": 0.3389,
      "step": 7190
    },
    {
      "epoch": 0.048,
      "grad_norm": 6.71875,
      "learning_rate": 4.971749436595442e-05,
      "loss": 0.3475,
      "step": 7200
    },
    {
      "epoch": 0.04806666666666667,
      "grad_norm": 4.4375,
      "learning_rate": 4.971670882272089e-05,
      "loss": 0.3436,
      "step": 7210
    },
    {
      "epoch": 0.048133333333333334,
      "grad_norm": 4.71875,
      "learning_rate": 4.971592219507433e-05,
      "loss": 0.3903,
      "step": 7220
    },
    {
      "epoch": 0.0482,
      "grad_norm": 4.46875,
      "learning_rate": 4.971513448304923e-05,
      "loss": 0.3497,
      "step": 7230
    },
    {
      "epoch": 0.048266666666666666,
      "grad_norm": 4.59375,
      "learning_rate": 4.9714345686680174e-05,
      "loss": 0.3509,
      "step": 7240
    },
    {
      "epoch": 0.04833333333333333,
      "grad_norm": 4.15625,
      "learning_rate": 4.971355580600176e-05,
      "loss": 0.3742,
      "step": 7250
    },
    {
      "epoch": 0.0484,
      "grad_norm": 4.15625,
      "learning_rate": 4.9712764841048644e-05,
      "loss": 0.3673,
      "step": 7260
    },
    {
      "epoch": 0.048466666666666665,
      "grad_norm": 5.34375,
      "learning_rate": 4.971197279185552e-05,
      "loss": 0.352,
      "step": 7270
    },
    {
      "epoch": 0.04853333333333333,
      "grad_norm": 7.28125,
      "learning_rate": 4.971117965845715e-05,
      "loss": 0.3761,
      "step": 7280
    },
    {
      "epoch": 0.0486,
      "grad_norm": 4.40625,
      "learning_rate": 4.971038544088834e-05,
      "loss": 0.3622,
      "step": 7290
    },
    {
      "epoch": 0.048666666666666664,
      "grad_norm": 4.3125,
      "learning_rate": 4.970959013918391e-05,
      "loss": 0.3408,
      "step": 7300
    },
    {
      "epoch": 0.04873333333333333,
      "grad_norm": 3.109375,
      "learning_rate": 4.9708793753378766e-05,
      "loss": 0.3371,
      "step": 7310
    },
    {
      "epoch": 0.0488,
      "grad_norm": 4.625,
      "learning_rate": 4.9707996283507845e-05,
      "loss": 0.3471,
      "step": 7320
    },
    {
      "epoch": 0.04886666666666667,
      "grad_norm": 4.28125,
      "learning_rate": 4.970719772960614e-05,
      "loss": 0.3582,
      "step": 7330
    },
    {
      "epoch": 0.048933333333333336,
      "grad_norm": 3.578125,
      "learning_rate": 4.970639809170868e-05,
      "loss": 0.3513,
      "step": 7340
    },
    {
      "epoch": 0.049,
      "grad_norm": 4.1875,
      "learning_rate": 4.9705597369850566e-05,
      "loss": 0.3636,
      "step": 7350
    },
    {
      "epoch": 0.04906666666666667,
      "grad_norm": 3.78125,
      "learning_rate": 4.9704795564066906e-05,
      "loss": 0.373,
      "step": 7360
    },
    {
      "epoch": 0.049133333333333334,
      "grad_norm": 1.96875,
      "learning_rate": 4.970399267439288e-05,
      "loss": 0.3583,
      "step": 7370
    },
    {
      "epoch": 0.0492,
      "grad_norm": 4.8125,
      "learning_rate": 4.9703188700863734e-05,
      "loss": 0.3735,
      "step": 7380
    },
    {
      "epoch": 0.04926666666666667,
      "grad_norm": 4.125,
      "learning_rate": 4.970238364351473e-05,
      "loss": 0.4043,
      "step": 7390
    },
    {
      "epoch": 0.04933333333333333,
      "grad_norm": 4.03125,
      "learning_rate": 4.9701577502381166e-05,
      "loss": 0.3592,
      "step": 7400
    },
    {
      "epoch": 0.0494,
      "grad_norm": 4.40625,
      "learning_rate": 4.970077027749845e-05,
      "loss": 0.3718,
      "step": 7410
    },
    {
      "epoch": 0.049466666666666666,
      "grad_norm": 6.15625,
      "learning_rate": 4.9699961968901976e-05,
      "loss": 0.3689,
      "step": 7420
    },
    {
      "epoch": 0.04953333333333333,
      "grad_norm": 4.21875,
      "learning_rate": 4.969915257662721e-05,
      "loss": 0.3248,
      "step": 7430
    },
    {
      "epoch": 0.0496,
      "grad_norm": 4.0625,
      "learning_rate": 4.969834210070966e-05,
      "loss": 0.3779,
      "step": 7440
    },
    {
      "epoch": 0.049666666666666665,
      "grad_norm": 4.25,
      "learning_rate": 4.9697530541184886e-05,
      "loss": 0.3381,
      "step": 7450
    },
    {
      "epoch": 0.04973333333333333,
      "grad_norm": 3.8125,
      "learning_rate": 4.969671789808851e-05,
      "loss": 0.3429,
      "step": 7460
    },
    {
      "epoch": 0.0498,
      "grad_norm": 4.125,
      "learning_rate": 4.9695904171456156e-05,
      "loss": 0.4,
      "step": 7470
    },
    {
      "epoch": 0.04986666666666666,
      "grad_norm": 4.15625,
      "learning_rate": 4.969508936132355e-05,
      "loss": 0.3461,
      "step": 7480
    },
    {
      "epoch": 0.049933333333333337,
      "grad_norm": 4.75,
      "learning_rate": 4.9694273467726426e-05,
      "loss": 0.3608,
      "step": 7490
    },
    {
      "epoch": 0.05,
      "grad_norm": 4.40625,
      "learning_rate": 4.9693456490700593e-05,
      "loss": 0.3661,
      "step": 7500
    },
    {
      "epoch": 0.05006666666666667,
      "grad_norm": 4.15625,
      "learning_rate": 4.9692638430281885e-05,
      "loss": 0.3815,
      "step": 7510
    },
    {
      "epoch": 0.050133333333333335,
      "grad_norm": 4.40625,
      "learning_rate": 4.96918192865062e-05,
      "loss": 0.362,
      "step": 7520
    },
    {
      "epoch": 0.0502,
      "grad_norm": 5.34375,
      "learning_rate": 4.969099905940947e-05,
      "loss": 0.3656,
      "step": 7530
    },
    {
      "epoch": 0.05026666666666667,
      "grad_norm": 6.375,
      "learning_rate": 4.9690177749027675e-05,
      "loss": 0.394,
      "step": 7540
    },
    {
      "epoch": 0.050333333333333334,
      "grad_norm": 4.25,
      "learning_rate": 4.9689355355396874e-05,
      "loss": 0.3679,
      "step": 7550
    },
    {
      "epoch": 0.0504,
      "grad_norm": 4.09375,
      "learning_rate": 4.9688531878553125e-05,
      "loss": 0.3617,
      "step": 7560
    },
    {
      "epoch": 0.05046666666666667,
      "grad_norm": 4.0625,
      "learning_rate": 4.968770731853257e-05,
      "loss": 0.3506,
      "step": 7570
    },
    {
      "epoch": 0.05053333333333333,
      "grad_norm": 3.53125,
      "learning_rate": 4.9686881675371375e-05,
      "loss": 0.3509,
      "step": 7580
    },
    {
      "epoch": 0.0506,
      "grad_norm": 4.25,
      "learning_rate": 4.968605494910576e-05,
      "loss": 0.3847,
      "step": 7590
    },
    {
      "epoch": 0.050666666666666665,
      "grad_norm": 3.5625,
      "learning_rate": 4.968522713977203e-05,
      "loss": 0.3589,
      "step": 7600
    },
    {
      "epoch": 0.05073333333333333,
      "grad_norm": 4.1875,
      "learning_rate": 4.968439824740646e-05,
      "loss": 0.3484,
      "step": 7610
    },
    {
      "epoch": 0.0508,
      "grad_norm": 4.875,
      "learning_rate": 4.9683568272045447e-05,
      "loss": 0.3634,
      "step": 7620
    },
    {
      "epoch": 0.050866666666666664,
      "grad_norm": 4.875,
      "learning_rate": 4.9682737213725385e-05,
      "loss": 0.3885,
      "step": 7630
    },
    {
      "epoch": 0.05093333333333333,
      "grad_norm": 4.375,
      "learning_rate": 4.9681905072482754e-05,
      "loss": 0.3597,
      "step": 7640
    },
    {
      "epoch": 0.051,
      "grad_norm": 4.625,
      "learning_rate": 4.968107184835405e-05,
      "loss": 0.3624,
      "step": 7650
    },
    {
      "epoch": 0.05106666666666667,
      "grad_norm": 4.46875,
      "learning_rate": 4.968023754137584e-05,
      "loss": 0.3332,
      "step": 7660
    },
    {
      "epoch": 0.051133333333333336,
      "grad_norm": 4.9375,
      "learning_rate": 4.967940215158471e-05,
      "loss": 0.3915,
      "step": 7670
    },
    {
      "epoch": 0.0512,
      "grad_norm": 4.0,
      "learning_rate": 4.967856567901733e-05,
      "loss": 0.4081,
      "step": 7680
    },
    {
      "epoch": 0.05126666666666667,
      "grad_norm": 4.96875,
      "learning_rate": 4.967772812371039e-05,
      "loss": 0.3683,
      "step": 7690
    },
    {
      "epoch": 0.051333333333333335,
      "grad_norm": 5.65625,
      "learning_rate": 4.967688948570065e-05,
      "loss": 0.3393,
      "step": 7700
    },
    {
      "epoch": 0.0514,
      "grad_norm": 4.375,
      "learning_rate": 4.967604976502488e-05,
      "loss": 0.3656,
      "step": 7710
    },
    {
      "epoch": 0.05146666666666667,
      "grad_norm": 3.953125,
      "learning_rate": 4.9675208961719945e-05,
      "loss": 0.336,
      "step": 7720
    },
    {
      "epoch": 0.051533333333333334,
      "grad_norm": 5.625,
      "learning_rate": 4.967436707582271e-05,
      "loss": 0.3554,
      "step": 7730
    },
    {
      "epoch": 0.0516,
      "grad_norm": 5.625,
      "learning_rate": 4.967352410737014e-05,
      "loss": 0.3793,
      "step": 7740
    },
    {
      "epoch": 0.051666666666666666,
      "grad_norm": 4.3125,
      "learning_rate": 4.96726800563992e-05,
      "loss": 0.4055,
      "step": 7750
    },
    {
      "epoch": 0.05173333333333333,
      "grad_norm": 3.734375,
      "learning_rate": 4.967183492294693e-05,
      "loss": 0.3855,
      "step": 7760
    },
    {
      "epoch": 0.0518,
      "grad_norm": 5.6875,
      "learning_rate": 4.9670988707050405e-05,
      "loss": 0.3605,
      "step": 7770
    },
    {
      "epoch": 0.051866666666666665,
      "grad_norm": 3.484375,
      "learning_rate": 4.967014140874675e-05,
      "loss": 0.3416,
      "step": 7780
    },
    {
      "epoch": 0.05193333333333333,
      "grad_norm": 5.53125,
      "learning_rate": 4.966929302807314e-05,
      "loss": 0.3867,
      "step": 7790
    },
    {
      "epoch": 0.052,
      "grad_norm": 4.375,
      "learning_rate": 4.9668443565066804e-05,
      "loss": 0.3835,
      "step": 7800
    },
    {
      "epoch": 0.052066666666666664,
      "grad_norm": 5.375,
      "learning_rate": 4.9667593019765005e-05,
      "loss": 0.3718,
      "step": 7810
    },
    {
      "epoch": 0.05213333333333333,
      "grad_norm": 4.25,
      "learning_rate": 4.966674139220505e-05,
      "loss": 0.3577,
      "step": 7820
    },
    {
      "epoch": 0.0522,
      "grad_norm": 4.5625,
      "learning_rate": 4.966588868242432e-05,
      "loss": 0.369,
      "step": 7830
    },
    {
      "epoch": 0.05226666666666667,
      "grad_norm": 3.765625,
      "learning_rate": 4.966503489046022e-05,
      "loss": 0.3755,
      "step": 7840
    },
    {
      "epoch": 0.052333333333333336,
      "grad_norm": 4.9375,
      "learning_rate": 4.9664180016350206e-05,
      "loss": 0.3531,
      "step": 7850
    },
    {
      "epoch": 0.0524,
      "grad_norm": 5.6875,
      "learning_rate": 4.9663324060131785e-05,
      "loss": 0.3506,
      "step": 7860
    },
    {
      "epoch": 0.05246666666666667,
      "grad_norm": 6.25,
      "learning_rate": 4.966246702184251e-05,
      "loss": 0.3705,
      "step": 7870
    },
    {
      "epoch": 0.052533333333333335,
      "grad_norm": 5.1875,
      "learning_rate": 4.9661608901519996e-05,
      "loss": 0.3534,
      "step": 7880
    },
    {
      "epoch": 0.0526,
      "grad_norm": 4.71875,
      "learning_rate": 4.966074969920187e-05,
      "loss": 0.397,
      "step": 7890
    },
    {
      "epoch": 0.05266666666666667,
      "grad_norm": 4.5625,
      "learning_rate": 4.9659889414925844e-05,
      "loss": 0.3837,
      "step": 7900
    },
    {
      "epoch": 0.05273333333333333,
      "grad_norm": 4.65625,
      "learning_rate": 4.965902804872966e-05,
      "loss": 0.3807,
      "step": 7910
    },
    {
      "epoch": 0.0528,
      "grad_norm": 4.96875,
      "learning_rate": 4.96581656006511e-05,
      "loss": 0.3763,
      "step": 7920
    },
    {
      "epoch": 0.052866666666666666,
      "grad_norm": 5.90625,
      "learning_rate": 4.965730207072802e-05,
      "loss": 0.3441,
      "step": 7930
    },
    {
      "epoch": 0.05293333333333333,
      "grad_norm": 3.734375,
      "learning_rate": 4.9656437458998286e-05,
      "loss": 0.3397,
      "step": 7940
    },
    {
      "epoch": 0.053,
      "grad_norm": 7.34375,
      "learning_rate": 4.965557176549984e-05,
      "loss": 0.3621,
      "step": 7950
    },
    {
      "epoch": 0.053066666666666665,
      "grad_norm": 5.625,
      "learning_rate": 4.9654704990270666e-05,
      "loss": 0.3924,
      "step": 7960
    },
    {
      "epoch": 0.05313333333333333,
      "grad_norm": 4.03125,
      "learning_rate": 4.965383713334879e-05,
      "loss": 0.3693,
      "step": 7970
    },
    {
      "epoch": 0.0532,
      "grad_norm": 4.71875,
      "learning_rate": 4.96529681947723e-05,
      "loss": 0.431,
      "step": 7980
    },
    {
      "epoch": 0.053266666666666664,
      "grad_norm": 4.6875,
      "learning_rate": 4.96520981745793e-05,
      "loss": 0.3595,
      "step": 7990
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 4.0625,
      "learning_rate": 4.965122707280797e-05,
      "loss": 0.3555,
      "step": 8000
    },
    {
      "epoch": 0.0534,
      "grad_norm": 4.125,
      "learning_rate": 4.965035488949653e-05,
      "loss": 0.3561,
      "step": 8010
    },
    {
      "epoch": 0.05346666666666667,
      "grad_norm": 5.1875,
      "learning_rate": 4.9649481624683235e-05,
      "loss": 0.3753,
      "step": 8020
    },
    {
      "epoch": 0.053533333333333336,
      "grad_norm": 4.03125,
      "learning_rate": 4.964860727840642e-05,
      "loss": 0.3657,
      "step": 8030
    },
    {
      "epoch": 0.0536,
      "grad_norm": 4.28125,
      "learning_rate": 4.964773185070443e-05,
      "loss": 0.3116,
      "step": 8040
    },
    {
      "epoch": 0.05366666666666667,
      "grad_norm": 4.59375,
      "learning_rate": 4.964685534161567e-05,
      "loss": 0.3588,
      "step": 8050
    },
    {
      "epoch": 0.053733333333333334,
      "grad_norm": 4.28125,
      "learning_rate": 4.964597775117861e-05,
      "loss": 0.3742,
      "step": 8060
    },
    {
      "epoch": 0.0538,
      "grad_norm": 4.28125,
      "learning_rate": 4.9645099079431735e-05,
      "loss": 0.3454,
      "step": 8070
    },
    {
      "epoch": 0.05386666666666667,
      "grad_norm": 4.625,
      "learning_rate": 4.964421932641361e-05,
      "loss": 0.3854,
      "step": 8080
    },
    {
      "epoch": 0.05393333333333333,
      "grad_norm": 4.375,
      "learning_rate": 4.964333849216283e-05,
      "loss": 0.3606,
      "step": 8090
    },
    {
      "epoch": 0.054,
      "grad_norm": 4.40625,
      "learning_rate": 4.9642456576718046e-05,
      "loss": 0.346,
      "step": 8100
    },
    {
      "epoch": 0.054066666666666666,
      "grad_norm": 5.75,
      "learning_rate": 4.964157358011793e-05,
      "loss": 0.3667,
      "step": 8110
    },
    {
      "epoch": 0.05413333333333333,
      "grad_norm": 3.859375,
      "learning_rate": 4.964068950240125e-05,
      "loss": 0.3644,
      "step": 8120
    },
    {
      "epoch": 0.0542,
      "grad_norm": 4.8125,
      "learning_rate": 4.963980434360677e-05,
      "loss": 0.3786,
      "step": 8130
    },
    {
      "epoch": 0.054266666666666664,
      "grad_norm": 4.53125,
      "learning_rate": 4.963891810377333e-05,
      "loss": 0.3859,
      "step": 8140
    },
    {
      "epoch": 0.05433333333333333,
      "grad_norm": 3.90625,
      "learning_rate": 4.963803078293984e-05,
      "loss": 0.3943,
      "step": 8150
    },
    {
      "epoch": 0.0544,
      "grad_norm": 4.65625,
      "learning_rate": 4.963714238114519e-05,
      "loss": 0.3464,
      "step": 8160
    },
    {
      "epoch": 0.05446666666666666,
      "grad_norm": 4.46875,
      "learning_rate": 4.963625289842838e-05,
      "loss": 0.3537,
      "step": 8170
    },
    {
      "epoch": 0.054533333333333336,
      "grad_norm": 4.65625,
      "learning_rate": 4.963536233482843e-05,
      "loss": 0.3766,
      "step": 8180
    },
    {
      "epoch": 0.0546,
      "grad_norm": 4.0625,
      "learning_rate": 4.9634470690384414e-05,
      "loss": 0.3788,
      "step": 8190
    },
    {
      "epoch": 0.05466666666666667,
      "grad_norm": 5.15625,
      "learning_rate": 4.9633577965135445e-05,
      "loss": 0.3833,
      "step": 8200
    },
    {
      "epoch": 0.054733333333333335,
      "grad_norm": 4.28125,
      "learning_rate": 4.96326841591207e-05,
      "loss": 0.3776,
      "step": 8210
    },
    {
      "epoch": 0.0548,
      "grad_norm": 3.640625,
      "learning_rate": 4.9631789272379393e-05,
      "loss": 0.3591,
      "step": 8220
    },
    {
      "epoch": 0.05486666666666667,
      "grad_norm": 4.34375,
      "learning_rate": 4.9630893304950774e-05,
      "loss": 0.3653,
      "step": 8230
    },
    {
      "epoch": 0.054933333333333334,
      "grad_norm": 4.0625,
      "learning_rate": 4.9629996256874166e-05,
      "loss": 0.3706,
      "step": 8240
    },
    {
      "epoch": 0.055,
      "grad_norm": 3.578125,
      "learning_rate": 4.962909812818892e-05,
      "loss": 0.3661,
      "step": 8250
    },
    {
      "epoch": 0.05506666666666667,
      "grad_norm": 5.0625,
      "learning_rate": 4.962819891893443e-05,
      "loss": 0.3269,
      "step": 8260
    },
    {
      "epoch": 0.05513333333333333,
      "grad_norm": 2.890625,
      "learning_rate": 4.9627298629150174e-05,
      "loss": 0.3396,
      "step": 8270
    },
    {
      "epoch": 0.0552,
      "grad_norm": 4.15625,
      "learning_rate": 4.9626397258875625e-05,
      "loss": 0.357,
      "step": 8280
    },
    {
      "epoch": 0.055266666666666665,
      "grad_norm": 4.0,
      "learning_rate": 4.962549480815034e-05,
      "loss": 0.3793,
      "step": 8290
    },
    {
      "epoch": 0.05533333333333333,
      "grad_norm": 5.0,
      "learning_rate": 4.962459127701391e-05,
      "loss": 0.3787,
      "step": 8300
    },
    {
      "epoch": 0.0554,
      "grad_norm": 4.5,
      "learning_rate": 4.9623686665505986e-05,
      "loss": 0.3526,
      "step": 8310
    },
    {
      "epoch": 0.055466666666666664,
      "grad_norm": 4.0625,
      "learning_rate": 4.9622780973666244e-05,
      "loss": 0.3459,
      "step": 8320
    },
    {
      "epoch": 0.05553333333333333,
      "grad_norm": 4.375,
      "learning_rate": 4.962187420153442e-05,
      "loss": 0.3825,
      "step": 8330
    },
    {
      "epoch": 0.0556,
      "grad_norm": 4.28125,
      "learning_rate": 4.962096634915031e-05,
      "loss": 0.3424,
      "step": 8340
    },
    {
      "epoch": 0.05566666666666667,
      "grad_norm": 4.8125,
      "learning_rate": 4.9620057416553746e-05,
      "loss": 0.3597,
      "step": 8350
    },
    {
      "epoch": 0.055733333333333336,
      "grad_norm": 5.90625,
      "learning_rate": 4.961914740378458e-05,
      "loss": 0.3583,
      "step": 8360
    },
    {
      "epoch": 0.0558,
      "grad_norm": 5.15625,
      "learning_rate": 4.9618236310882766e-05,
      "loss": 0.3884,
      "step": 8370
    },
    {
      "epoch": 0.05586666666666667,
      "grad_norm": 5.65625,
      "learning_rate": 4.9617324137888266e-05,
      "loss": 0.3657,
      "step": 8380
    },
    {
      "epoch": 0.055933333333333335,
      "grad_norm": 3.890625,
      "learning_rate": 4.961641088484109e-05,
      "loss": 0.4033,
      "step": 8390
    },
    {
      "epoch": 0.056,
      "grad_norm": 4.21875,
      "learning_rate": 4.9615496551781326e-05,
      "loss": 0.366,
      "step": 8400
    },
    {
      "epoch": 0.05606666666666667,
      "grad_norm": 5.625,
      "learning_rate": 4.9614581138749085e-05,
      "loss": 0.3758,
      "step": 8410
    },
    {
      "epoch": 0.056133333333333334,
      "grad_norm": 4.03125,
      "learning_rate": 4.9613664645784516e-05,
      "loss": 0.3968,
      "step": 8420
    },
    {
      "epoch": 0.0562,
      "grad_norm": 3.75,
      "learning_rate": 4.961274707292783e-05,
      "loss": 0.3837,
      "step": 8430
    },
    {
      "epoch": 0.056266666666666666,
      "grad_norm": 4.09375,
      "learning_rate": 4.961182842021931e-05,
      "loss": 0.3652,
      "step": 8440
    },
    {
      "epoch": 0.05633333333333333,
      "grad_norm": 4.09375,
      "learning_rate": 4.9610908687699224e-05,
      "loss": 0.37,
      "step": 8450
    },
    {
      "epoch": 0.0564,
      "grad_norm": 4.59375,
      "learning_rate": 4.960998787540795e-05,
      "loss": 0.3652,
      "step": 8460
    },
    {
      "epoch": 0.056466666666666665,
      "grad_norm": 4.1875,
      "learning_rate": 4.960906598338588e-05,
      "loss": 0.3766,
      "step": 8470
    },
    {
      "epoch": 0.05653333333333333,
      "grad_norm": 5.71875,
      "learning_rate": 4.960814301167346e-05,
      "loss": 0.3882,
      "step": 8480
    },
    {
      "epoch": 0.0566,
      "grad_norm": 3.90625,
      "learning_rate": 4.960721896031119e-05,
      "loss": 0.3858,
      "step": 8490
    },
    {
      "epoch": 0.056666666666666664,
      "grad_norm": 3.9375,
      "learning_rate": 4.9606293829339595e-05,
      "loss": 0.3428,
      "step": 8500
    },
    {
      "epoch": 0.05673333333333333,
      "grad_norm": 15.75,
      "learning_rate": 4.9605367618799283e-05,
      "loss": 0.3789,
      "step": 8510
    },
    {
      "epoch": 0.0568,
      "grad_norm": 4.96875,
      "learning_rate": 4.960444032873087e-05,
      "loss": 0.3641,
      "step": 8520
    },
    {
      "epoch": 0.05686666666666667,
      "grad_norm": 3.953125,
      "learning_rate": 4.9603511959175065e-05,
      "loss": 0.3652,
      "step": 8530
    },
    {
      "epoch": 0.056933333333333336,
      "grad_norm": 4.3125,
      "learning_rate": 4.960258251017258e-05,
      "loss": 0.3735,
      "step": 8540
    },
    {
      "epoch": 0.057,
      "grad_norm": 4.78125,
      "learning_rate": 4.96016519817642e-05,
      "loss": 0.361,
      "step": 8550
    },
    {
      "epoch": 0.05706666666666667,
      "grad_norm": 4.4375,
      "learning_rate": 4.960072037399075e-05,
      "loss": 0.332,
      "step": 8560
    },
    {
      "epoch": 0.057133333333333335,
      "grad_norm": 4.8125,
      "learning_rate": 4.9599787686893105e-05,
      "loss": 0.3613,
      "step": 8570
    },
    {
      "epoch": 0.0572,
      "grad_norm": 1.4765625,
      "learning_rate": 4.959885392051218e-05,
      "loss": 0.3297,
      "step": 8580
    },
    {
      "epoch": 0.05726666666666667,
      "grad_norm": 4.375,
      "learning_rate": 4.9597919074888955e-05,
      "loss": 0.3426,
      "step": 8590
    },
    {
      "epoch": 0.05733333333333333,
      "grad_norm": 5.6875,
      "learning_rate": 4.959698315006442e-05,
      "loss": 0.3908,
      "step": 8600
    },
    {
      "epoch": 0.0574,
      "grad_norm": 4.5,
      "learning_rate": 4.9596046146079665e-05,
      "loss": 0.3225,
      "step": 8610
    },
    {
      "epoch": 0.057466666666666666,
      "grad_norm": 3.984375,
      "learning_rate": 4.959510806297579e-05,
      "loss": 0.3601,
      "step": 8620
    },
    {
      "epoch": 0.05753333333333333,
      "grad_norm": 3.453125,
      "learning_rate": 4.9594168900793945e-05,
      "loss": 0.3406,
      "step": 8630
    },
    {
      "epoch": 0.0576,
      "grad_norm": 3.890625,
      "learning_rate": 4.959322865957534e-05,
      "loss": 0.3691,
      "step": 8640
    },
    {
      "epoch": 0.057666666666666665,
      "grad_norm": 1.15625,
      "learning_rate": 4.959228733936123e-05,
      "loss": 0.3574,
      "step": 8650
    },
    {
      "epoch": 0.05773333333333333,
      "grad_norm": 4.40625,
      "learning_rate": 4.959134494019291e-05,
      "loss": 0.3731,
      "step": 8660
    },
    {
      "epoch": 0.0578,
      "grad_norm": 3.375,
      "learning_rate": 4.959040146211173e-05,
      "loss": 0.3416,
      "step": 8670
    },
    {
      "epoch": 0.057866666666666663,
      "grad_norm": 3.890625,
      "learning_rate": 4.958945690515908e-05,
      "loss": 0.3576,
      "step": 8680
    },
    {
      "epoch": 0.05793333333333334,
      "grad_norm": 5.21875,
      "learning_rate": 4.9588511269376404e-05,
      "loss": 0.3951,
      "step": 8690
    },
    {
      "epoch": 0.058,
      "grad_norm": 4.375,
      "learning_rate": 4.9587564554805185e-05,
      "loss": 0.3579,
      "step": 8700
    },
    {
      "epoch": 0.05806666666666667,
      "grad_norm": 4.46875,
      "learning_rate": 4.9586616761486964e-05,
      "loss": 0.3648,
      "step": 8710
    },
    {
      "epoch": 0.058133333333333335,
      "grad_norm": 2.328125,
      "learning_rate": 4.9585667889463326e-05,
      "loss": 0.3779,
      "step": 8720
    },
    {
      "epoch": 0.0582,
      "grad_norm": 3.578125,
      "learning_rate": 4.95847179387759e-05,
      "loss": 0.3613,
      "step": 8730
    },
    {
      "epoch": 0.05826666666666667,
      "grad_norm": 4.4375,
      "learning_rate": 4.9583766909466355e-05,
      "loss": 0.3644,
      "step": 8740
    },
    {
      "epoch": 0.058333333333333334,
      "grad_norm": 5.4375,
      "learning_rate": 4.958281480157643e-05,
      "loss": 0.3587,
      "step": 8750
    },
    {
      "epoch": 0.0584,
      "grad_norm": 5.5625,
      "learning_rate": 4.9581861615147893e-05,
      "loss": 0.3675,
      "step": 8760
    },
    {
      "epoch": 0.05846666666666667,
      "grad_norm": 3.984375,
      "learning_rate": 4.958090735022256e-05,
      "loss": 0.3576,
      "step": 8770
    },
    {
      "epoch": 0.05853333333333333,
      "grad_norm": 4.4375,
      "learning_rate": 4.95799520068423e-05,
      "loss": 0.382,
      "step": 8780
    },
    {
      "epoch": 0.0586,
      "grad_norm": 4.25,
      "learning_rate": 4.9578995585049025e-05,
      "loss": 0.3386,
      "step": 8790
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 4.8125,
      "learning_rate": 4.9578038084884705e-05,
      "loss": 0.3823,
      "step": 8800
    },
    {
      "epoch": 0.05873333333333333,
      "grad_norm": 4.1875,
      "learning_rate": 4.957707950639134e-05,
      "loss": 0.3981,
      "step": 8810
    },
    {
      "epoch": 0.0588,
      "grad_norm": 4.15625,
      "learning_rate": 4.957611984961099e-05,
      "loss": 0.375,
      "step": 8820
    },
    {
      "epoch": 0.058866666666666664,
      "grad_norm": 3.4375,
      "learning_rate": 4.957515911458576e-05,
      "loss": 0.3648,
      "step": 8830
    },
    {
      "epoch": 0.05893333333333333,
      "grad_norm": 5.28125,
      "learning_rate": 4.95741973013578e-05,
      "loss": 0.3673,
      "step": 8840
    },
    {
      "epoch": 0.059,
      "grad_norm": 3.609375,
      "learning_rate": 4.957323440996931e-05,
      "loss": 0.3521,
      "step": 8850
    },
    {
      "epoch": 0.05906666666666667,
      "grad_norm": 5.4375,
      "learning_rate": 4.957227044046252e-05,
      "loss": 0.3436,
      "step": 8860
    },
    {
      "epoch": 0.059133333333333336,
      "grad_norm": 4.25,
      "learning_rate": 4.957130539287975e-05,
      "loss": 0.3653,
      "step": 8870
    },
    {
      "epoch": 0.0592,
      "grad_norm": 3.3125,
      "learning_rate": 4.957033926726332e-05,
      "loss": 0.347,
      "step": 8880
    },
    {
      "epoch": 0.05926666666666667,
      "grad_norm": 4.75,
      "learning_rate": 4.956937206365563e-05,
      "loss": 0.339,
      "step": 8890
    },
    {
      "epoch": 0.059333333333333335,
      "grad_norm": 3.890625,
      "learning_rate": 4.95684037820991e-05,
      "loss": 0.3405,
      "step": 8900
    },
    {
      "epoch": 0.0594,
      "grad_norm": 4.625,
      "learning_rate": 4.9567434422636226e-05,
      "loss": 0.3725,
      "step": 8910
    },
    {
      "epoch": 0.05946666666666667,
      "grad_norm": 3.84375,
      "learning_rate": 4.956646398530954e-05,
      "loss": 0.3379,
      "step": 8920
    },
    {
      "epoch": 0.059533333333333334,
      "grad_norm": 4.4375,
      "learning_rate": 4.95654924701616e-05,
      "loss": 0.3418,
      "step": 8930
    },
    {
      "epoch": 0.0596,
      "grad_norm": 4.40625,
      "learning_rate": 4.956451987723504e-05,
      "loss": 0.348,
      "step": 8940
    },
    {
      "epoch": 0.059666666666666666,
      "grad_norm": 4.90625,
      "learning_rate": 4.956354620657254e-05,
      "loss": 0.3761,
      "step": 8950
    },
    {
      "epoch": 0.05973333333333333,
      "grad_norm": 4.375,
      "learning_rate": 4.95625714582168e-05,
      "loss": 0.3514,
      "step": 8960
    },
    {
      "epoch": 0.0598,
      "grad_norm": 4.5625,
      "learning_rate": 4.956159563221061e-05,
      "loss": 0.3251,
      "step": 8970
    },
    {
      "epoch": 0.059866666666666665,
      "grad_norm": 5.25,
      "learning_rate": 4.956061872859675e-05,
      "loss": 0.3465,
      "step": 8980
    },
    {
      "epoch": 0.05993333333333333,
      "grad_norm": 3.96875,
      "learning_rate": 4.955964074741812e-05,
      "loss": 0.3612,
      "step": 8990
    },
    {
      "epoch": 0.06,
      "grad_norm": 3.875,
      "learning_rate": 4.95586616887176e-05,
      "loss": 0.3457,
      "step": 9000
    },
    {
      "epoch": 0.060066666666666664,
      "grad_norm": 3.9375,
      "learning_rate": 4.955768155253815e-05,
      "loss": 0.3827,
      "step": 9010
    },
    {
      "epoch": 0.06013333333333333,
      "grad_norm": 4.96875,
      "learning_rate": 4.955670033892277e-05,
      "loss": 0.4005,
      "step": 9020
    },
    {
      "epoch": 0.0602,
      "grad_norm": 6.03125,
      "learning_rate": 4.9555718047914526e-05,
      "loss": 0.3755,
      "step": 9030
    },
    {
      "epoch": 0.06026666666666667,
      "grad_norm": 4.15625,
      "learning_rate": 4.955473467955649e-05,
      "loss": 0.3566,
      "step": 9040
    },
    {
      "epoch": 0.060333333333333336,
      "grad_norm": 4.4375,
      "learning_rate": 4.955375023389183e-05,
      "loss": 0.3923,
      "step": 9050
    },
    {
      "epoch": 0.0604,
      "grad_norm": 4.375,
      "learning_rate": 4.955276471096372e-05,
      "loss": 0.3185,
      "step": 9060
    },
    {
      "epoch": 0.06046666666666667,
      "grad_norm": 4.25,
      "learning_rate": 4.9551778110815405e-05,
      "loss": 0.3586,
      "step": 9070
    },
    {
      "epoch": 0.060533333333333335,
      "grad_norm": 4.75,
      "learning_rate": 4.955079043349017e-05,
      "loss": 0.3961,
      "step": 9080
    },
    {
      "epoch": 0.0606,
      "grad_norm": 4.0,
      "learning_rate": 4.954980167903135e-05,
      "loss": 0.3612,
      "step": 9090
    },
    {
      "epoch": 0.06066666666666667,
      "grad_norm": 4.84375,
      "learning_rate": 4.954881184748232e-05,
      "loss": 0.3195,
      "step": 9100
    },
    {
      "epoch": 0.060733333333333334,
      "grad_norm": 5.40625,
      "learning_rate": 4.9547820938886516e-05,
      "loss": 0.3401,
      "step": 9110
    },
    {
      "epoch": 0.0608,
      "grad_norm": 4.875,
      "learning_rate": 4.9546828953287404e-05,
      "loss": 0.3761,
      "step": 9120
    },
    {
      "epoch": 0.060866666666666666,
      "grad_norm": 4.09375,
      "learning_rate": 4.954583589072851e-05,
      "loss": 0.3846,
      "step": 9130
    },
    {
      "epoch": 0.06093333333333333,
      "grad_norm": 5.40625,
      "learning_rate": 4.954484175125341e-05,
      "loss": 0.4104,
      "step": 9140
    },
    {
      "epoch": 0.061,
      "grad_norm": 4.0625,
      "learning_rate": 4.95438465349057e-05,
      "loss": 0.3067,
      "step": 9150
    },
    {
      "epoch": 0.061066666666666665,
      "grad_norm": 4.5,
      "learning_rate": 4.9542850241729074e-05,
      "loss": 0.3573,
      "step": 9160
    },
    {
      "epoch": 0.06113333333333333,
      "grad_norm": 4.09375,
      "learning_rate": 4.9541852871767213e-05,
      "loss": 0.3588,
      "step": 9170
    },
    {
      "epoch": 0.0612,
      "grad_norm": 3.3125,
      "learning_rate": 4.95408544250639e-05,
      "loss": 0.3717,
      "step": 9180
    },
    {
      "epoch": 0.061266666666666664,
      "grad_norm": 3.8125,
      "learning_rate": 4.9539854901662924e-05,
      "loss": 0.3655,
      "step": 9190
    },
    {
      "epoch": 0.06133333333333333,
      "grad_norm": 4.53125,
      "learning_rate": 4.953885430160814e-05,
      "loss": 0.3921,
      "step": 9200
    },
    {
      "epoch": 0.0614,
      "grad_norm": 4.71875,
      "learning_rate": 4.953785262494346e-05,
      "loss": 0.3456,
      "step": 9210
    },
    {
      "epoch": 0.06146666666666667,
      "grad_norm": 4.375,
      "learning_rate": 4.953684987171282e-05,
      "loss": 0.3579,
      "step": 9220
    },
    {
      "epoch": 0.061533333333333336,
      "grad_norm": 3.546875,
      "learning_rate": 4.953584604196021e-05,
      "loss": 0.3554,
      "step": 9230
    },
    {
      "epoch": 0.0616,
      "grad_norm": 5.25,
      "learning_rate": 4.953484113572968e-05,
      "loss": 0.3773,
      "step": 9240
    },
    {
      "epoch": 0.06166666666666667,
      "grad_norm": 5.09375,
      "learning_rate": 4.953383515306533e-05,
      "loss": 0.331,
      "step": 9250
    },
    {
      "epoch": 0.061733333333333335,
      "grad_norm": 5.09375,
      "learning_rate": 4.9532828094011277e-05,
      "loss": 0.3809,
      "step": 9260
    },
    {
      "epoch": 0.0618,
      "grad_norm": 4.5625,
      "learning_rate": 4.95318199586117e-05,
      "loss": 0.3499,
      "step": 9270
    },
    {
      "epoch": 0.06186666666666667,
      "grad_norm": 4.84375,
      "learning_rate": 4.953081074691085e-05,
      "loss": 0.3503,
      "step": 9280
    },
    {
      "epoch": 0.06193333333333333,
      "grad_norm": 5.125,
      "learning_rate": 4.9529800458953e-05,
      "loss": 0.3513,
      "step": 9290
    },
    {
      "epoch": 0.062,
      "grad_norm": 4.03125,
      "learning_rate": 4.952878909478247e-05,
      "loss": 0.3452,
      "step": 9300
    },
    {
      "epoch": 0.062066666666666666,
      "grad_norm": 5.46875,
      "learning_rate": 4.9527776654443626e-05,
      "loss": 0.3526,
      "step": 9310
    },
    {
      "epoch": 0.06213333333333333,
      "grad_norm": 5.40625,
      "learning_rate": 4.95267631379809e-05,
      "loss": 0.3407,
      "step": 9320
    },
    {
      "epoch": 0.0622,
      "grad_norm": 3.578125,
      "learning_rate": 4.952574854543875e-05,
      "loss": 0.3614,
      "step": 9330
    },
    {
      "epoch": 0.062266666666666665,
      "grad_norm": 4.03125,
      "learning_rate": 4.95247328768617e-05,
      "loss": 0.364,
      "step": 9340
    },
    {
      "epoch": 0.06233333333333333,
      "grad_norm": 4.03125,
      "learning_rate": 4.9523716132294293e-05,
      "loss": 0.34,
      "step": 9350
    },
    {
      "epoch": 0.0624,
      "grad_norm": 5.59375,
      "learning_rate": 4.952269831178116e-05,
      "loss": 0.4087,
      "step": 9360
    },
    {
      "epoch": 0.06246666666666666,
      "grad_norm": 6.78125,
      "learning_rate": 4.952167941536693e-05,
      "loss": 0.3849,
      "step": 9370
    },
    {
      "epoch": 0.06253333333333333,
      "grad_norm": 3.984375,
      "learning_rate": 4.9520659443096334e-05,
      "loss": 0.3698,
      "step": 9380
    },
    {
      "epoch": 0.0626,
      "grad_norm": 4.34375,
      "learning_rate": 4.95196383950141e-05,
      "loss": 0.3339,
      "step": 9390
    },
    {
      "epoch": 0.06266666666666666,
      "grad_norm": 4.03125,
      "learning_rate": 4.951861627116505e-05,
      "loss": 0.3397,
      "step": 9400
    },
    {
      "epoch": 0.06273333333333334,
      "grad_norm": 4.09375,
      "learning_rate": 4.9517593071594e-05,
      "loss": 0.373,
      "step": 9410
    },
    {
      "epoch": 0.0628,
      "grad_norm": 3.734375,
      "learning_rate": 4.951656879634585e-05,
      "loss": 0.3447,
      "step": 9420
    },
    {
      "epoch": 0.06286666666666667,
      "grad_norm": 5.46875,
      "learning_rate": 4.951554344546555e-05,
      "loss": 0.373,
      "step": 9430
    },
    {
      "epoch": 0.06293333333333333,
      "grad_norm": 5.0625,
      "learning_rate": 4.9514517018998076e-05,
      "loss": 0.3507,
      "step": 9440
    },
    {
      "epoch": 0.063,
      "grad_norm": 0.345703125,
      "learning_rate": 4.9513489516988466e-05,
      "loss": 0.3796,
      "step": 9450
    },
    {
      "epoch": 0.06306666666666666,
      "grad_norm": 4.1875,
      "learning_rate": 4.951246093948179e-05,
      "loss": 0.329,
      "step": 9460
    },
    {
      "epoch": 0.06313333333333333,
      "grad_norm": 5.3125,
      "learning_rate": 4.951143128652319e-05,
      "loss": 0.3652,
      "step": 9470
    },
    {
      "epoch": 0.0632,
      "grad_norm": 5.84375,
      "learning_rate": 4.9510400558157835e-05,
      "loss": 0.3319,
      "step": 9480
    },
    {
      "epoch": 0.06326666666666667,
      "grad_norm": 4.25,
      "learning_rate": 4.950936875443094e-05,
      "loss": 0.3869,
      "step": 9490
    },
    {
      "epoch": 0.06333333333333334,
      "grad_norm": 4.5,
      "learning_rate": 4.950833587538779e-05,
      "loss": 0.379,
      "step": 9500
    },
    {
      "epoch": 0.0634,
      "grad_norm": 6.03125,
      "learning_rate": 4.950730192107368e-05,
      "loss": 0.3755,
      "step": 9510
    },
    {
      "epoch": 0.06346666666666667,
      "grad_norm": 3.734375,
      "learning_rate": 4.950626689153399e-05,
      "loss": 0.3511,
      "step": 9520
    },
    {
      "epoch": 0.06353333333333333,
      "grad_norm": 4.90625,
      "learning_rate": 4.9505230786814126e-05,
      "loss": 0.357,
      "step": 9530
    },
    {
      "epoch": 0.0636,
      "grad_norm": 5.03125,
      "learning_rate": 4.950419360695954e-05,
      "loss": 0.3494,
      "step": 9540
    },
    {
      "epoch": 0.06366666666666666,
      "grad_norm": 4.0625,
      "learning_rate": 4.950315535201575e-05,
      "loss": 0.339,
      "step": 9550
    },
    {
      "epoch": 0.06373333333333334,
      "grad_norm": 4.5625,
      "learning_rate": 4.950211602202829e-05,
      "loss": 0.3773,
      "step": 9560
    },
    {
      "epoch": 0.0638,
      "grad_norm": 5.59375,
      "learning_rate": 4.950107561704277e-05,
      "loss": 0.3397,
      "step": 9570
    },
    {
      "epoch": 0.06386666666666667,
      "grad_norm": 3.71875,
      "learning_rate": 4.950003413710484e-05,
      "loss": 0.3735,
      "step": 9580
    },
    {
      "epoch": 0.06393333333333333,
      "grad_norm": 4.5625,
      "learning_rate": 4.949899158226019e-05,
      "loss": 0.35,
      "step": 9590
    },
    {
      "epoch": 0.064,
      "grad_norm": 4.9375,
      "learning_rate": 4.949794795255456e-05,
      "loss": 0.3779,
      "step": 9600
    },
    {
      "epoch": 0.06406666666666666,
      "grad_norm": 4.03125,
      "learning_rate": 4.949690324803373e-05,
      "loss": 0.3682,
      "step": 9610
    },
    {
      "epoch": 0.06413333333333333,
      "grad_norm": 3.03125,
      "learning_rate": 4.9495857468743544e-05,
      "loss": 0.36,
      "step": 9620
    },
    {
      "epoch": 0.0642,
      "grad_norm": 3.890625,
      "learning_rate": 4.9494810614729886e-05,
      "loss": 0.3601,
      "step": 9630
    },
    {
      "epoch": 0.06426666666666667,
      "grad_norm": 4.09375,
      "learning_rate": 4.949376268603868e-05,
      "loss": 0.3493,
      "step": 9640
    },
    {
      "epoch": 0.06433333333333334,
      "grad_norm": 3.65625,
      "learning_rate": 4.9492713682715905e-05,
      "loss": 0.3725,
      "step": 9650
    },
    {
      "epoch": 0.0644,
      "grad_norm": 3.9375,
      "learning_rate": 4.949166360480759e-05,
      "loss": 0.3841,
      "step": 9660
    },
    {
      "epoch": 0.06446666666666667,
      "grad_norm": 4.46875,
      "learning_rate": 4.94906124523598e-05,
      "loss": 0.3338,
      "step": 9670
    },
    {
      "epoch": 0.06453333333333333,
      "grad_norm": 4.59375,
      "learning_rate": 4.948956022541864e-05,
      "loss": 0.3598,
      "step": 9680
    },
    {
      "epoch": 0.0646,
      "grad_norm": 8.625,
      "learning_rate": 4.94885069240303e-05,
      "loss": 0.3607,
      "step": 9690
    },
    {
      "epoch": 0.06466666666666666,
      "grad_norm": 14.6875,
      "learning_rate": 4.9487452548240976e-05,
      "loss": 0.4017,
      "step": 9700
    },
    {
      "epoch": 0.06473333333333334,
      "grad_norm": 5.71875,
      "learning_rate": 4.948639709809693e-05,
      "loss": 0.3567,
      "step": 9710
    },
    {
      "epoch": 0.0648,
      "grad_norm": 4.28125,
      "learning_rate": 4.948534057364448e-05,
      "loss": 0.3558,
      "step": 9720
    },
    {
      "epoch": 0.06486666666666667,
      "grad_norm": 4.0,
      "learning_rate": 4.9484282974929956e-05,
      "loss": 0.3337,
      "step": 9730
    },
    {
      "epoch": 0.06493333333333333,
      "grad_norm": 4.59375,
      "learning_rate": 4.948322430199978e-05,
      "loss": 0.3044,
      "step": 9740
    },
    {
      "epoch": 0.065,
      "grad_norm": 4.65625,
      "learning_rate": 4.948216455490039e-05,
      "loss": 0.3568,
      "step": 9750
    },
    {
      "epoch": 0.06506666666666666,
      "grad_norm": 3.203125,
      "learning_rate": 4.948110373367828e-05,
      "loss": 0.3702,
      "step": 9760
    },
    {
      "epoch": 0.06513333333333333,
      "grad_norm": 5.0,
      "learning_rate": 4.9480041838380004e-05,
      "loss": 0.3388,
      "step": 9770
    },
    {
      "epoch": 0.0652,
      "grad_norm": 8.6875,
      "learning_rate": 4.9478978869052136e-05,
      "loss": 0.4027,
      "step": 9780
    },
    {
      "epoch": 0.06526666666666667,
      "grad_norm": 4.03125,
      "learning_rate": 4.9477914825741325e-05,
      "loss": 0.3622,
      "step": 9790
    },
    {
      "epoch": 0.06533333333333333,
      "grad_norm": 5.28125,
      "learning_rate": 4.9476849708494245e-05,
      "loss": 0.357,
      "step": 9800
    },
    {
      "epoch": 0.0654,
      "grad_norm": 4.40625,
      "learning_rate": 4.947578351735762e-05,
      "loss": 0.3535,
      "step": 9810
    },
    {
      "epoch": 0.06546666666666667,
      "grad_norm": 4.0625,
      "learning_rate": 4.947471625237825e-05,
      "loss": 0.3715,
      "step": 9820
    },
    {
      "epoch": 0.06553333333333333,
      "grad_norm": 5.03125,
      "learning_rate": 4.947364791360295e-05,
      "loss": 0.3675,
      "step": 9830
    },
    {
      "epoch": 0.0656,
      "grad_norm": 3.609375,
      "learning_rate": 4.947257850107858e-05,
      "loss": 0.3452,
      "step": 9840
    },
    {
      "epoch": 0.06566666666666666,
      "grad_norm": 4.90625,
      "learning_rate": 4.9471508014852076e-05,
      "loss": 0.3739,
      "step": 9850
    },
    {
      "epoch": 0.06573333333333334,
      "grad_norm": 4.28125,
      "learning_rate": 4.947043645497039e-05,
      "loss": 0.3897,
      "step": 9860
    },
    {
      "epoch": 0.0658,
      "grad_norm": 4.0,
      "learning_rate": 4.9469363821480555e-05,
      "loss": 0.3091,
      "step": 9870
    },
    {
      "epoch": 0.06586666666666667,
      "grad_norm": 4.8125,
      "learning_rate": 4.9468290114429606e-05,
      "loss": 0.3609,
      "step": 9880
    },
    {
      "epoch": 0.06593333333333333,
      "grad_norm": 4.875,
      "learning_rate": 4.946721533386467e-05,
      "loss": 0.3995,
      "step": 9890
    },
    {
      "epoch": 0.066,
      "grad_norm": 5.15625,
      "learning_rate": 4.946613947983289e-05,
      "loss": 0.3457,
      "step": 9900
    },
    {
      "epoch": 0.06606666666666666,
      "grad_norm": 5.21875,
      "learning_rate": 4.9465062552381475e-05,
      "loss": 0.3271,
      "step": 9910
    },
    {
      "epoch": 0.06613333333333334,
      "grad_norm": 4.28125,
      "learning_rate": 4.9463984551557676e-05,
      "loss": 0.3519,
      "step": 9920
    },
    {
      "epoch": 0.0662,
      "grad_norm": 3.546875,
      "learning_rate": 4.946290547740877e-05,
      "loss": 0.3591,
      "step": 9930
    },
    {
      "epoch": 0.06626666666666667,
      "grad_norm": 4.40625,
      "learning_rate": 4.9461825329982125e-05,
      "loss": 0.3911,
      "step": 9940
    },
    {
      "epoch": 0.06633333333333333,
      "grad_norm": 4.125,
      "learning_rate": 4.946074410932512e-05,
      "loss": 0.3705,
      "step": 9950
    },
    {
      "epoch": 0.0664,
      "grad_norm": 4.125,
      "learning_rate": 4.9459661815485195e-05,
      "loss": 0.363,
      "step": 9960
    },
    {
      "epoch": 0.06646666666666666,
      "grad_norm": 4.59375,
      "learning_rate": 4.9458578448509815e-05,
      "loss": 0.3545,
      "step": 9970
    },
    {
      "epoch": 0.06653333333333333,
      "grad_norm": 4.53125,
      "learning_rate": 4.945749400844655e-05,
      "loss": 0.3595,
      "step": 9980
    },
    {
      "epoch": 0.0666,
      "grad_norm": 3.75,
      "learning_rate": 4.9456408495342935e-05,
      "loss": 0.3651,
      "step": 9990
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 4.25,
      "learning_rate": 4.9455321909246634e-05,
      "loss": 0.3761,
      "step": 10000
    }
  ],
  "logging_steps": 10,
  "max_steps": 150000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 1,
  "save_steps": 10000,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 1.339457760395264e+18,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}