{
  "best_global_step": null,
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 55.55555555555556,
  "eval_steps": 500,
  "global_step": 20000,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.027777777777777776,
      "grad_norm": 3.4564332962036133,
      "learning_rate": 3.0000000000000004e-07,
      "loss": 1.2003,
      "step": 10
    },
    {
      "epoch": 0.05555555555555555,
      "grad_norm": 2.1054844856262207,
      "learning_rate": 6.333333333333333e-07,
      "loss": 1.1088,
      "step": 20
    },
    {
      "epoch": 0.08333333333333333,
      "grad_norm": 2.4133501052856445,
      "learning_rate": 9.666666666666668e-07,
      "loss": 1.1124,
      "step": 30
    },
    {
      "epoch": 0.1111111111111111,
      "grad_norm": 2.148470878601074,
      "learning_rate": 1.3e-06,
      "loss": 1.1075,
      "step": 40
    },
    {
      "epoch": 0.1388888888888889,
      "grad_norm": 1.326087236404419,
      "learning_rate": 1.6333333333333333e-06,
      "loss": 1.1085,
      "step": 50
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 2.013913869857788,
      "learning_rate": 1.9666666666666668e-06,
      "loss": 1.1027,
      "step": 60
    },
    {
      "epoch": 0.19444444444444445,
      "grad_norm": 1.1282256841659546,
      "learning_rate": 2.3e-06,
      "loss": 1.1102,
      "step": 70
    },
    {
      "epoch": 0.2222222222222222,
      "grad_norm": 1.5563446283340454,
      "learning_rate": 2.6333333333333337e-06,
      "loss": 1.1058,
      "step": 80
    },
    {
      "epoch": 0.25,
      "grad_norm": 1.760155439376831,
      "learning_rate": 2.966666666666667e-06,
      "loss": 1.1211,
      "step": 90
    },
    {
      "epoch": 0.2777777777777778,
      "grad_norm": 2.260796308517456,
      "learning_rate": 3.3e-06,
      "loss": 1.1234,
      "step": 100
    },
    {
      "epoch": 0.3055555555555556,
      "grad_norm": 2.052149534225464,
      "learning_rate": 3.633333333333334e-06,
      "loss": 1.1075,
      "step": 110
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 1.8607420921325684,
      "learning_rate": 3.966666666666667e-06,
      "loss": 1.1044,
      "step": 120
    },
    {
      "epoch": 0.3611111111111111,
      "grad_norm": 1.253523588180542,
      "learning_rate": 4.2999999999999995e-06,
      "loss": 1.0829,
      "step": 130
    },
    {
      "epoch": 0.3888888888888889,
      "grad_norm": 1.155636191368103,
      "learning_rate": 4.633333333333334e-06,
      "loss": 1.0782,
      "step": 140
    },
    {
      "epoch": 0.4166666666666667,
      "grad_norm": 1.4780349731445312,
      "learning_rate": 4.966666666666667e-06,
      "loss": 1.0879,
      "step": 150
    },
    {
      "epoch": 0.4444444444444444,
      "grad_norm": 1.9706615209579468,
      "learning_rate": 5.3e-06,
      "loss": 1.084,
      "step": 160
    },
    {
      "epoch": 0.4722222222222222,
      "grad_norm": 2.5236401557922363,
      "learning_rate": 5.633333333333333e-06,
      "loss": 1.0772,
      "step": 170
    },
    {
      "epoch": 0.5,
      "grad_norm": 1.2534946203231812,
      "learning_rate": 5.9666666666666666e-06,
      "loss": 1.0668,
      "step": 180
    },
    {
      "epoch": 0.5277777777777778,
      "grad_norm": 1.8269414901733398,
      "learning_rate": 6.300000000000001e-06,
      "loss": 1.0619,
      "step": 190
    },
    {
      "epoch": 0.5555555555555556,
      "grad_norm": 1.2387243509292603,
      "learning_rate": 6.633333333333333e-06,
      "loss": 1.0554,
      "step": 200
    },
    {
      "epoch": 0.5833333333333334,
      "grad_norm": 2.6809043884277344,
      "learning_rate": 6.966666666666667e-06,
      "loss": 1.0569,
      "step": 210
    },
    {
      "epoch": 0.6111111111111112,
      "grad_norm": 4.252692222595215,
      "learning_rate": 7.2999999999999996e-06,
      "loss": 1.0428,
      "step": 220
    },
    {
      "epoch": 0.6388888888888888,
      "grad_norm": 2.839823007583618,
      "learning_rate": 7.633333333333334e-06,
      "loss": 1.0354,
      "step": 230
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 2.85516095161438,
      "learning_rate": 7.966666666666666e-06,
      "loss": 1.0271,
      "step": 240
    },
    {
      "epoch": 0.6944444444444444,
      "grad_norm": 1.9215693473815918,
      "learning_rate": 8.3e-06,
      "loss": 1.0193,
      "step": 250
    },
    {
      "epoch": 0.7222222222222222,
      "grad_norm": 4.380679607391357,
      "learning_rate": 8.633333333333334e-06,
      "loss": 0.9966,
      "step": 260
    },
    {
      "epoch": 0.75,
      "grad_norm": 3.502228260040283,
      "learning_rate": 8.966666666666668e-06,
      "loss": 0.9421,
      "step": 270
    },
    {
      "epoch": 0.7777777777777778,
      "grad_norm": 5.868213653564453,
      "learning_rate": 9.3e-06,
      "loss": 0.9303,
      "step": 280
    },
    {
      "epoch": 0.8055555555555556,
      "grad_norm": 9.247174263000488,
      "learning_rate": 9.633333333333335e-06,
      "loss": 0.8356,
      "step": 290
    },
    {
      "epoch": 0.8333333333333334,
      "grad_norm": 8.911467552185059,
      "learning_rate": 9.966666666666667e-06,
      "loss": 0.8089,
      "step": 300
    },
    {
      "epoch": 0.8611111111111112,
      "grad_norm": 4.816079139709473,
      "learning_rate": 1.03e-05,
      "loss": 0.7405,
      "step": 310
    },
    {
      "epoch": 0.8888888888888888,
      "grad_norm": 9.304805755615234,
      "learning_rate": 1.0633333333333334e-05,
      "loss": 0.6607,
      "step": 320
    },
    {
      "epoch": 0.9166666666666666,
      "grad_norm": 8.594386100769043,
      "learning_rate": 1.0966666666666666e-05,
      "loss": 0.6394,
      "step": 330
    },
    {
      "epoch": 0.9444444444444444,
      "grad_norm": 8.842549324035645,
      "learning_rate": 1.13e-05,
      "loss": 0.5852,
      "step": 340
    },
    {
      "epoch": 0.9722222222222222,
      "grad_norm": 7.912567138671875,
      "learning_rate": 1.1633333333333334e-05,
      "loss": 0.5732,
      "step": 350
    },
    {
      "epoch": 1.0,
      "grad_norm": 6.446691989898682,
      "learning_rate": 1.1966666666666668e-05,
      "loss": 0.5312,
      "step": 360
    },
    {
      "epoch": 1.0277777777777777,
      "grad_norm": 11.293095588684082,
      "learning_rate": 1.23e-05,
      "loss": 0.4485,
      "step": 370
    },
    {
      "epoch": 1.0555555555555556,
      "grad_norm": 5.591675281524658,
      "learning_rate": 1.2633333333333333e-05,
      "loss": 0.478,
      "step": 380
    },
    {
      "epoch": 1.0833333333333333,
      "grad_norm": 5.86509895324707,
      "learning_rate": 1.2966666666666669e-05,
      "loss": 0.4906,
      "step": 390
    },
    {
      "epoch": 1.1111111111111112,
      "grad_norm": 6.6070756912231445,
      "learning_rate": 1.3300000000000001e-05,
      "loss": 0.4037,
      "step": 400
    },
    {
      "epoch": 1.1388888888888888,
      "grad_norm": 8.36894416809082,
      "learning_rate": 1.3633333333333334e-05,
      "loss": 0.4379,
      "step": 410
    },
    {
      "epoch": 1.1666666666666667,
      "grad_norm": 5.0303144454956055,
      "learning_rate": 1.3966666666666666e-05,
      "loss": 0.3971,
      "step": 420
    },
    {
      "epoch": 1.1944444444444444,
      "grad_norm": 5.972124099731445,
      "learning_rate": 1.43e-05,
      "loss": 0.3989,
      "step": 430
    },
    {
      "epoch": 1.2222222222222223,
      "grad_norm": 4.92036771774292,
      "learning_rate": 1.4633333333333334e-05,
      "loss": 0.3886,
      "step": 440
    },
    {
      "epoch": 1.25,
      "grad_norm": 5.72147274017334,
      "learning_rate": 1.4966666666666668e-05,
      "loss": 0.395,
      "step": 450
    },
    {
      "epoch": 1.2777777777777777,
      "grad_norm": 6.379834175109863,
      "learning_rate": 1.53e-05,
      "loss": 0.3279,
      "step": 460
    },
    {
      "epoch": 1.3055555555555556,
      "grad_norm": 5.7863569259643555,
      "learning_rate": 1.563333333333333e-05,
      "loss": 0.3276,
      "step": 470
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 3.8691861629486084,
      "learning_rate": 1.5966666666666667e-05,
      "loss": 0.2924,
      "step": 480
    },
    {
      "epoch": 1.3611111111111112,
      "grad_norm": 3.6976609230041504,
      "learning_rate": 1.63e-05,
      "loss": 0.3027,
      "step": 490
    },
    {
      "epoch": 1.3888888888888888,
      "grad_norm": 2.398160457611084,
      "learning_rate": 1.6633333333333336e-05,
      "loss": 0.2496,
      "step": 500
    },
    {
      "epoch": 1.4166666666666667,
      "grad_norm": 2.898754119873047,
      "learning_rate": 1.6966666666666668e-05,
      "loss": 0.2684,
      "step": 510
    },
    {
      "epoch": 1.4444444444444444,
      "grad_norm": 2.87916898727417,
      "learning_rate": 1.73e-05,
      "loss": 0.2417,
      "step": 520
    },
    {
      "epoch": 1.4722222222222223,
      "grad_norm": 2.9580981731414795,
      "learning_rate": 1.7633333333333336e-05,
      "loss": 0.2512,
      "step": 530
    },
    {
      "epoch": 1.5,
      "grad_norm": 4.534831523895264,
      "learning_rate": 1.796666666666667e-05,
      "loss": 0.2789,
      "step": 540
    },
    {
      "epoch": 1.5277777777777777,
      "grad_norm": 2.2173311710357666,
      "learning_rate": 1.83e-05,
      "loss": 0.2272,
      "step": 550
    },
    {
      "epoch": 1.5555555555555556,
      "grad_norm": 2.4938783645629883,
      "learning_rate": 1.8633333333333333e-05,
      "loss": 0.24,
      "step": 560
    },
    {
      "epoch": 1.5833333333333335,
      "grad_norm": 3.0123112201690674,
      "learning_rate": 1.896666666666667e-05,
      "loss": 0.2424,
      "step": 570
    },
    {
      "epoch": 1.6111111111111112,
      "grad_norm": 2.095118284225464,
      "learning_rate": 1.93e-05,
      "loss": 0.2329,
      "step": 580
    },
    {
      "epoch": 1.6388888888888888,
      "grad_norm": 3.0198981761932373,
      "learning_rate": 1.9633333333333334e-05,
      "loss": 0.2,
      "step": 590
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 2.8935956954956055,
      "learning_rate": 1.9966666666666666e-05,
      "loss": 0.2026,
      "step": 600
    },
    {
      "epoch": 1.6944444444444444,
      "grad_norm": 2.5529816150665283,
      "learning_rate": 2.0300000000000002e-05,
      "loss": 0.2223,
      "step": 610
    },
    {
      "epoch": 1.7222222222222223,
      "grad_norm": 2.3939621448516846,
      "learning_rate": 2.0633333333333335e-05,
      "loss": 0.1992,
      "step": 620
    },
    {
      "epoch": 1.75,
      "grad_norm": 2.08512282371521,
      "learning_rate": 2.0966666666666667e-05,
      "loss": 0.1886,
      "step": 630
    },
    {
      "epoch": 1.7777777777777777,
      "grad_norm": 2.3770787715911865,
      "learning_rate": 2.13e-05,
      "loss": 0.189,
      "step": 640
    },
    {
      "epoch": 1.8055555555555556,
      "grad_norm": 1.6719081401824951,
      "learning_rate": 2.1633333333333332e-05,
      "loss": 0.195,
      "step": 650
    },
    {
      "epoch": 1.8333333333333335,
      "grad_norm": 1.7026193141937256,
      "learning_rate": 2.1966666666666668e-05,
      "loss": 0.1912,
      "step": 660
    },
    {
      "epoch": 1.8611111111111112,
      "grad_norm": 1.8069356679916382,
      "learning_rate": 2.23e-05,
      "loss": 0.1448,
      "step": 670
    },
    {
      "epoch": 1.8888888888888888,
      "grad_norm": 2.3394761085510254,
      "learning_rate": 2.2633333333333336e-05,
      "loss": 0.1861,
      "step": 680
    },
    {
      "epoch": 1.9166666666666665,
      "grad_norm": 2.376633405685425,
      "learning_rate": 2.2966666666666668e-05,
      "loss": 0.1597,
      "step": 690
    },
    {
      "epoch": 1.9444444444444444,
      "grad_norm": 2.15429949760437,
      "learning_rate": 2.3300000000000004e-05,
      "loss": 0.1665,
      "step": 700
    },
    {
      "epoch": 1.9722222222222223,
      "grad_norm": 1.981121301651001,
      "learning_rate": 2.3633333333333336e-05,
      "loss": 0.1679,
      "step": 710
    },
    {
      "epoch": 2.0,
      "grad_norm": 1.990753173828125,
      "learning_rate": 2.396666666666667e-05,
      "loss": 0.1589,
      "step": 720
    },
    {
      "epoch": 2.0277777777777777,
      "grad_norm": 1.5711594820022583,
      "learning_rate": 2.43e-05,
      "loss": 0.1792,
      "step": 730
    },
    {
      "epoch": 2.0555555555555554,
      "grad_norm": 1.8126864433288574,
      "learning_rate": 2.4633333333333334e-05,
      "loss": 0.1511,
      "step": 740
    },
    {
      "epoch": 2.0833333333333335,
      "grad_norm": 1.8076012134552002,
      "learning_rate": 2.496666666666667e-05,
      "loss": 0.1528,
      "step": 750
    },
    {
      "epoch": 2.111111111111111,
      "grad_norm": 1.8714488744735718,
      "learning_rate": 2.5300000000000002e-05,
      "loss": 0.1497,
      "step": 760
    },
    {
      "epoch": 2.138888888888889,
      "grad_norm": 1.6224132776260376,
      "learning_rate": 2.5633333333333338e-05,
      "loss": 0.1515,
      "step": 770
    },
    {
      "epoch": 2.1666666666666665,
      "grad_norm": 1.3353561162948608,
      "learning_rate": 2.5966666666666667e-05,
      "loss": 0.1671,
      "step": 780
    },
    {
      "epoch": 2.1944444444444446,
      "grad_norm": 2.5853774547576904,
      "learning_rate": 2.6300000000000002e-05,
      "loss": 0.1377,
      "step": 790
    },
    {
      "epoch": 2.2222222222222223,
      "grad_norm": 1.8950880765914917,
      "learning_rate": 2.663333333333333e-05,
      "loss": 0.1612,
      "step": 800
    },
    {
      "epoch": 2.25,
      "grad_norm": 1.528765320777893,
      "learning_rate": 2.6966666666666667e-05,
      "loss": 0.1478,
      "step": 810
    },
    {
      "epoch": 2.2777777777777777,
      "grad_norm": 2.2448196411132812,
      "learning_rate": 2.7300000000000003e-05,
      "loss": 0.1726,
      "step": 820
    },
    {
      "epoch": 2.3055555555555554,
      "grad_norm": 1.6646459102630615,
      "learning_rate": 2.7633333333333332e-05,
      "loss": 0.1549,
      "step": 830
    },
    {
      "epoch": 2.3333333333333335,
      "grad_norm": 1.9467206001281738,
      "learning_rate": 2.7966666666666668e-05,
      "loss": 0.1319,
      "step": 840
    },
    {
      "epoch": 2.361111111111111,
      "grad_norm": 1.2022631168365479,
      "learning_rate": 2.83e-05,
      "loss": 0.1355,
      "step": 850
    },
    {
      "epoch": 2.388888888888889,
      "grad_norm": 1.0345098972320557,
      "learning_rate": 2.8633333333333336e-05,
      "loss": 0.1538,
      "step": 860
    },
    {
      "epoch": 2.4166666666666665,
      "grad_norm": 1.346270203590393,
      "learning_rate": 2.8966666666666668e-05,
      "loss": 0.1442,
      "step": 870
    },
    {
      "epoch": 2.4444444444444446,
      "grad_norm": 1.9509319067001343,
      "learning_rate": 2.93e-05,
      "loss": 0.1547,
      "step": 880
    },
    {
      "epoch": 2.4722222222222223,
      "grad_norm": 2.1919174194335938,
      "learning_rate": 2.9633333333333336e-05,
      "loss": 0.1513,
      "step": 890
    },
    {
      "epoch": 2.5,
      "grad_norm": 2.069972515106201,
      "learning_rate": 2.9966666666666672e-05,
      "loss": 0.1572,
      "step": 900
    },
    {
      "epoch": 2.5277777777777777,
      "grad_norm": 1.58859121799469,
      "learning_rate": 3.03e-05,
      "loss": 0.1546,
      "step": 910
    },
    {
      "epoch": 2.5555555555555554,
      "grad_norm": 1.7215540409088135,
      "learning_rate": 3.063333333333334e-05,
      "loss": 0.1513,
      "step": 920
    },
    {
      "epoch": 2.5833333333333335,
      "grad_norm": 1.343462586402893,
      "learning_rate": 3.096666666666666e-05,
      "loss": 0.1789,
      "step": 930
    },
    {
      "epoch": 2.611111111111111,
      "grad_norm": 1.6999422311782837,
      "learning_rate": 3.13e-05,
      "loss": 0.1252,
      "step": 940
    },
    {
      "epoch": 2.638888888888889,
      "grad_norm": 1.7930729389190674,
      "learning_rate": 3.1633333333333334e-05,
      "loss": 0.1395,
      "step": 950
    },
    {
      "epoch": 2.6666666666666665,
      "grad_norm": 2.8508358001708984,
      "learning_rate": 3.196666666666667e-05,
      "loss": 0.1545,
      "step": 960
    },
    {
      "epoch": 2.6944444444444446,
      "grad_norm": 1.273098349571228,
      "learning_rate": 3.2300000000000006e-05,
      "loss": 0.1534,
      "step": 970
    },
    {
      "epoch": 2.7222222222222223,
      "grad_norm": 1.591622233390808,
      "learning_rate": 3.263333333333333e-05,
      "loss": 0.1378,
      "step": 980
    },
    {
      "epoch": 2.75,
      "grad_norm": 1.3703620433807373,
      "learning_rate": 3.296666666666667e-05,
      "loss": 0.124,
      "step": 990
    },
    {
      "epoch": 2.7777777777777777,
      "grad_norm": 1.8551393747329712,
      "learning_rate": 3.33e-05,
      "loss": 0.14,
      "step": 1000
    },
    {
      "epoch": 2.8055555555555554,
      "grad_norm": 1.6122848987579346,
      "learning_rate": 3.3633333333333335e-05,
      "loss": 0.156,
      "step": 1010
    },
    {
      "epoch": 2.8333333333333335,
      "grad_norm": 1.0446043014526367,
      "learning_rate": 3.396666666666667e-05,
      "loss": 0.1325,
      "step": 1020
    },
    {
      "epoch": 2.861111111111111,
      "grad_norm": 1.376276969909668,
      "learning_rate": 3.430000000000001e-05,
      "loss": 0.1311,
      "step": 1030
    },
    {
      "epoch": 2.888888888888889,
      "grad_norm": 1.169341802597046,
      "learning_rate": 3.463333333333333e-05,
      "loss": 0.1313,
      "step": 1040
    },
    {
      "epoch": 2.9166666666666665,
      "grad_norm": 1.638625979423523,
      "learning_rate": 3.496666666666667e-05,
      "loss": 0.1351,
      "step": 1050
    },
    {
      "epoch": 2.9444444444444446,
      "grad_norm": 1.3355712890625,
      "learning_rate": 3.53e-05,
      "loss": 0.1457,
      "step": 1060
    },
    {
      "epoch": 2.9722222222222223,
      "grad_norm": 1.2475131750106812,
      "learning_rate": 3.563333333333334e-05,
      "loss": 0.1197,
      "step": 1070
    },
    {
      "epoch": 3.0,
      "grad_norm": 1.6198657751083374,
      "learning_rate": 3.596666666666667e-05,
      "loss": 0.1494,
      "step": 1080
    },
    {
      "epoch": 3.0277777777777777,
      "grad_norm": 1.3412883281707764,
      "learning_rate": 3.63e-05,
      "loss": 0.1402,
      "step": 1090
    },
    {
      "epoch": 3.0555555555555554,
      "grad_norm": 1.2910174131393433,
      "learning_rate": 3.6633333333333334e-05,
      "loss": 0.1291,
      "step": 1100
    },
    {
      "epoch": 3.0833333333333335,
      "grad_norm": 1.1517218351364136,
      "learning_rate": 3.6966666666666666e-05,
      "loss": 0.1338,
      "step": 1110
    },
    {
      "epoch": 3.111111111111111,
      "grad_norm": 1.4434713125228882,
      "learning_rate": 3.73e-05,
      "loss": 0.1134,
      "step": 1120
    },
    {
      "epoch": 3.138888888888889,
      "grad_norm": 1.219402551651001,
      "learning_rate": 3.763333333333334e-05,
      "loss": 0.1295,
      "step": 1130
    },
    {
      "epoch": 3.1666666666666665,
      "grad_norm": 1.2922433614730835,
      "learning_rate": 3.796666666666667e-05,
      "loss": 0.123,
      "step": 1140
    },
    {
      "epoch": 3.1944444444444446,
      "grad_norm": 1.045954942703247,
      "learning_rate": 3.83e-05,
      "loss": 0.1334,
      "step": 1150
    },
    {
      "epoch": 3.2222222222222223,
      "grad_norm": 0.879957914352417,
      "learning_rate": 3.8633333333333335e-05,
      "loss": 0.1187,
      "step": 1160
    },
    {
      "epoch": 3.25,
      "grad_norm": 1.6452741622924805,
      "learning_rate": 3.896666666666667e-05,
      "loss": 0.135,
      "step": 1170
    },
    {
      "epoch": 3.2777777777777777,
      "grad_norm": 1.4071391820907593,
      "learning_rate": 3.9300000000000007e-05,
      "loss": 0.1236,
      "step": 1180
    },
    {
      "epoch": 3.3055555555555554,
      "grad_norm": 0.9616292715072632,
      "learning_rate": 3.963333333333333e-05,
      "loss": 0.1264,
      "step": 1190
    },
    {
      "epoch": 3.3333333333333335,
      "grad_norm": 1.138659954071045,
      "learning_rate": 3.996666666666667e-05,
      "loss": 0.1317,
      "step": 1200
    },
    {
      "epoch": 3.361111111111111,
      "grad_norm": 1.160163164138794,
      "learning_rate": 4.0300000000000004e-05,
      "loss": 0.1436,
      "step": 1210
    },
    {
      "epoch": 3.388888888888889,
      "grad_norm": 1.3944517374038696,
      "learning_rate": 4.0633333333333336e-05,
      "loss": 0.1393,
      "step": 1220
    },
    {
      "epoch": 3.4166666666666665,
      "grad_norm": 1.4178146123886108,
      "learning_rate": 4.096666666666667e-05,
      "loss": 0.1195,
      "step": 1230
    },
    {
      "epoch": 3.4444444444444446,
      "grad_norm": 1.3519030809402466,
      "learning_rate": 4.13e-05,
      "loss": 0.1363,
      "step": 1240
    },
    {
      "epoch": 3.4722222222222223,
      "grad_norm": 1.8300981521606445,
      "learning_rate": 4.1633333333333333e-05,
      "loss": 0.125,
      "step": 1250
    },
    {
      "epoch": 3.5,
      "grad_norm": 0.9705264568328857,
      "learning_rate": 4.196666666666667e-05,
      "loss": 0.115,
      "step": 1260
    },
    {
      "epoch": 3.5277777777777777,
      "grad_norm": 1.4308321475982666,
      "learning_rate": 4.23e-05,
      "loss": 0.1148,
      "step": 1270
    },
    {
      "epoch": 3.5555555555555554,
      "grad_norm": 1.009027123451233,
      "learning_rate": 4.263333333333334e-05,
      "loss": 0.1317,
      "step": 1280
    },
    {
      "epoch": 3.5833333333333335,
      "grad_norm": 1.8057948350906372,
      "learning_rate": 4.296666666666666e-05,
      "loss": 0.1238,
      "step": 1290
    },
    {
      "epoch": 3.611111111111111,
      "grad_norm": 1.2773606777191162,
      "learning_rate": 4.33e-05,
      "loss": 0.1271,
      "step": 1300
    },
    {
      "epoch": 3.638888888888889,
      "grad_norm": 0.8103964924812317,
      "learning_rate": 4.3633333333333335e-05,
      "loss": 0.1196,
      "step": 1310
    },
    {
      "epoch": 3.6666666666666665,
      "grad_norm": 1.3640228509902954,
      "learning_rate": 4.396666666666667e-05,
      "loss": 0.1215,
      "step": 1320
    },
    {
      "epoch": 3.6944444444444446,
      "grad_norm": 1.0884876251220703,
      "learning_rate": 4.43e-05,
      "loss": 0.1355,
      "step": 1330
    },
    {
      "epoch": 3.7222222222222223,
      "grad_norm": 1.0800304412841797,
      "learning_rate": 4.463333333333334e-05,
      "loss": 0.1436,
      "step": 1340
    },
    {
      "epoch": 3.75,
      "grad_norm": 0.798384428024292,
      "learning_rate": 4.496666666666667e-05,
      "loss": 0.1184,
      "step": 1350
    },
    {
      "epoch": 3.7777777777777777,
      "grad_norm": 1.5274635553359985,
      "learning_rate": 4.53e-05,
      "loss": 0.1422,
      "step": 1360
    },
    {
      "epoch": 3.8055555555555554,
      "grad_norm": 1.3529425859451294,
      "learning_rate": 4.5633333333333336e-05,
      "loss": 0.118,
      "step": 1370
    },
    {
      "epoch": 3.8333333333333335,
      "grad_norm": 1.0624196529388428,
      "learning_rate": 4.596666666666667e-05,
      "loss": 0.1372,
      "step": 1380
    },
    {
      "epoch": 3.861111111111111,
      "grad_norm": 0.8880707025527954,
      "learning_rate": 4.630000000000001e-05,
      "loss": 0.1242,
      "step": 1390
    },
    {
      "epoch": 3.888888888888889,
      "grad_norm": 0.8244289755821228,
      "learning_rate": 4.663333333333333e-05,
      "loss": 0.1158,
      "step": 1400
    },
    {
      "epoch": 3.9166666666666665,
      "grad_norm": 1.0834250450134277,
      "learning_rate": 4.696666666666667e-05,
      "loss": 0.1559,
      "step": 1410
    },
    {
      "epoch": 3.9444444444444446,
      "grad_norm": 1.0177085399627686,
      "learning_rate": 4.73e-05,
      "loss": 0.1284,
      "step": 1420
    },
    {
      "epoch": 3.9722222222222223,
      "grad_norm": 1.1942784786224365,
      "learning_rate": 4.763333333333334e-05,
      "loss": 0.1364,
      "step": 1430
    },
    {
      "epoch": 4.0,
      "grad_norm": 1.288659691810608,
      "learning_rate": 4.796666666666667e-05,
      "loss": 0.1081,
      "step": 1440
    },
    {
      "epoch": 4.027777777777778,
      "grad_norm": 1.130671739578247,
      "learning_rate": 4.83e-05,
      "loss": 0.1237,
      "step": 1450
    },
    {
      "epoch": 4.055555555555555,
      "grad_norm": 1.1728708744049072,
      "learning_rate": 4.8633333333333334e-05,
      "loss": 0.1218,
      "step": 1460
    },
    {
      "epoch": 4.083333333333333,
      "grad_norm": 1.191176176071167,
      "learning_rate": 4.8966666666666667e-05,
      "loss": 0.1059,
      "step": 1470
    },
    {
      "epoch": 4.111111111111111,
      "grad_norm": 1.1220531463623047,
      "learning_rate": 4.93e-05,
      "loss": 0.1113,
      "step": 1480
    },
    {
      "epoch": 4.138888888888889,
      "grad_norm": 1.40548574924469,
      "learning_rate": 4.963333333333334e-05,
      "loss": 0.1224,
      "step": 1490
    },
    {
      "epoch": 4.166666666666667,
      "grad_norm": 0.9929776787757874,
      "learning_rate": 4.996666666666667e-05,
      "loss": 0.1328,
      "step": 1500
    },
    {
      "epoch": 4.194444444444445,
      "grad_norm": 1.0186958312988281,
      "learning_rate": 5.03e-05,
      "loss": 0.1078,
      "step": 1510
    },
    {
      "epoch": 4.222222222222222,
      "grad_norm": 1.4297089576721191,
      "learning_rate": 5.0633333333333335e-05,
      "loss": 0.1218,
      "step": 1520
    },
    {
      "epoch": 4.25,
      "grad_norm": 0.8192986249923706,
      "learning_rate": 5.0966666666666674e-05,
      "loss": 0.1251,
      "step": 1530
    },
    {
      "epoch": 4.277777777777778,
      "grad_norm": 0.8500149250030518,
      "learning_rate": 5.130000000000001e-05,
      "loss": 0.1073,
      "step": 1540
    },
    {
      "epoch": 4.305555555555555,
      "grad_norm": 1.0417571067810059,
      "learning_rate": 5.163333333333333e-05,
      "loss": 0.127,
      "step": 1550
    },
    {
      "epoch": 4.333333333333333,
      "grad_norm": 1.0659995079040527,
      "learning_rate": 5.196666666666667e-05,
      "loss": 0.0988,
      "step": 1560
    },
    {
      "epoch": 4.361111111111111,
      "grad_norm": 0.9469451904296875,
      "learning_rate": 5.2300000000000004e-05,
      "loss": 0.1102,
      "step": 1570
    },
    {
      "epoch": 4.388888888888889,
      "grad_norm": 1.1419119834899902,
      "learning_rate": 5.2633333333333336e-05,
      "loss": 0.1165,
      "step": 1580
    },
    {
      "epoch": 4.416666666666667,
      "grad_norm": 1.0016701221466064,
      "learning_rate": 5.296666666666666e-05,
      "loss": 0.1198,
      "step": 1590
    },
    {
      "epoch": 4.444444444444445,
      "grad_norm": 1.2787710428237915,
      "learning_rate": 5.330000000000001e-05,
      "loss": 0.1222,
      "step": 1600
    },
    {
      "epoch": 4.472222222222222,
      "grad_norm": 0.8328784108161926,
      "learning_rate": 5.3633333333333334e-05,
      "loss": 0.1287,
      "step": 1610
    },
    {
      "epoch": 4.5,
      "grad_norm": 1.043914556503296,
      "learning_rate": 5.3966666666666666e-05,
      "loss": 0.121,
      "step": 1620
    },
    {
      "epoch": 4.527777777777778,
      "grad_norm": 1.5501558780670166,
      "learning_rate": 5.4300000000000005e-05,
      "loss": 0.1308,
      "step": 1630
    },
    {
      "epoch": 4.555555555555555,
      "grad_norm": 1.280968189239502,
      "learning_rate": 5.463333333333334e-05,
      "loss": 0.1142,
      "step": 1640
    },
    {
      "epoch": 4.583333333333333,
      "grad_norm": 0.8357179164886475,
      "learning_rate": 5.496666666666666e-05,
      "loss": 0.1094,
      "step": 1650
    },
    {
      "epoch": 4.611111111111111,
      "grad_norm": 1.3072474002838135,
      "learning_rate": 5.530000000000001e-05,
      "loss": 0.1279,
      "step": 1660
    },
    {
      "epoch": 4.638888888888889,
      "grad_norm": 1.1066715717315674,
      "learning_rate": 5.5633333333333335e-05,
      "loss": 0.1142,
      "step": 1670
    },
    {
      "epoch": 4.666666666666667,
      "grad_norm": 0.9564165472984314,
      "learning_rate": 5.596666666666667e-05,
      "loss": 0.0997,
      "step": 1680
    },
    {
      "epoch": 4.694444444444445,
      "grad_norm": 1.013849139213562,
      "learning_rate": 5.63e-05,
      "loss": 0.1386,
      "step": 1690
    },
    {
      "epoch": 4.722222222222222,
      "grad_norm": 0.9189858436584473,
      "learning_rate": 5.663333333333334e-05,
      "loss": 0.1123,
      "step": 1700
    },
    {
      "epoch": 4.75,
      "grad_norm": 0.6891575455665588,
      "learning_rate": 5.696666666666667e-05,
      "loss": 0.1089,
      "step": 1710
    },
    {
      "epoch": 4.777777777777778,
      "grad_norm": 0.8335662484169006,
      "learning_rate": 5.73e-05,
      "loss": 0.1275,
      "step": 1720
    },
    {
      "epoch": 4.805555555555555,
      "grad_norm": 0.9209195971488953,
      "learning_rate": 5.7633333333333336e-05,
      "loss": 0.1044,
      "step": 1730
    },
    {
      "epoch": 4.833333333333333,
      "grad_norm": 0.8418174982070923,
      "learning_rate": 5.796666666666667e-05,
      "loss": 0.1251,
      "step": 1740
    },
    {
      "epoch": 4.861111111111111,
      "grad_norm": 0.9384793639183044,
      "learning_rate": 5.83e-05,
      "loss": 0.1066,
      "step": 1750
    },
    {
      "epoch": 4.888888888888889,
      "grad_norm": 0.7193119525909424,
      "learning_rate": 5.863333333333334e-05,
      "loss": 0.1071,
      "step": 1760
    },
    {
      "epoch": 4.916666666666667,
      "grad_norm": 0.6142538189888,
      "learning_rate": 5.896666666666667e-05,
      "loss": 0.1082,
      "step": 1770
    },
    {
      "epoch": 4.944444444444445,
      "grad_norm": 1.0782395601272583,
      "learning_rate": 5.93e-05,
      "loss": 0.0964,
      "step": 1780
    },
    {
      "epoch": 4.972222222222222,
      "grad_norm": 1.0329135656356812,
      "learning_rate": 5.9633333333333344e-05,
      "loss": 0.124,
      "step": 1790
    },
    {
      "epoch": 5.0,
      "grad_norm": 0.8635945320129395,
      "learning_rate": 5.996666666666667e-05,
      "loss": 0.1173,
      "step": 1800
    },
    {
      "epoch": 5.027777777777778,
      "grad_norm": 0.7651457786560059,
      "learning_rate": 6.03e-05,
      "loss": 0.1089,
      "step": 1810
    },
    {
      "epoch": 5.055555555555555,
      "grad_norm": 1.3018769025802612,
      "learning_rate": 6.063333333333333e-05,
      "loss": 0.101,
      "step": 1820
    },
    {
      "epoch": 5.083333333333333,
      "grad_norm": 0.9603036642074585,
      "learning_rate": 6.0966666666666674e-05,
      "loss": 0.115,
      "step": 1830
    },
    {
      "epoch": 5.111111111111111,
      "grad_norm": 1.1297504901885986,
      "learning_rate": 6.13e-05,
      "loss": 0.1164,
      "step": 1840
    },
    {
      "epoch": 5.138888888888889,
      "grad_norm": 1.5516537427902222,
      "learning_rate": 6.163333333333333e-05,
      "loss": 0.1091,
      "step": 1850
    },
    {
      "epoch": 5.166666666666667,
      "grad_norm": 0.8331069946289062,
      "learning_rate": 6.196666666666668e-05,
      "loss": 0.1143,
      "step": 1860
    },
    {
      "epoch": 5.194444444444445,
      "grad_norm": 0.922184944152832,
      "learning_rate": 6.23e-05,
      "loss": 0.1016,
      "step": 1870
    },
    {
      "epoch": 5.222222222222222,
      "grad_norm": 0.9896463751792908,
      "learning_rate": 6.263333333333333e-05,
      "loss": 0.1124,
      "step": 1880
    },
    {
      "epoch": 5.25,
      "grad_norm": 1.003698468208313,
      "learning_rate": 6.296666666666667e-05,
      "loss": 0.1231,
      "step": 1890
    },
    {
      "epoch": 5.277777777777778,
      "grad_norm": 1.0909996032714844,
      "learning_rate": 6.330000000000001e-05,
      "loss": 0.1151,
      "step": 1900
    },
    {
      "epoch": 5.305555555555555,
      "grad_norm": 0.7160002589225769,
      "learning_rate": 6.363333333333334e-05,
      "loss": 0.1034,
      "step": 1910
    },
    {
      "epoch": 5.333333333333333,
      "grad_norm": 0.7585611343383789,
      "learning_rate": 6.396666666666667e-05,
      "loss": 0.0879,
      "step": 1920
    },
    {
      "epoch": 5.361111111111111,
      "grad_norm": 0.8869646191596985,
      "learning_rate": 6.43e-05,
      "loss": 0.1103,
      "step": 1930
    },
    {
      "epoch": 5.388888888888889,
      "grad_norm": 0.7576669454574585,
      "learning_rate": 6.463333333333334e-05,
      "loss": 0.0915,
      "step": 1940
    },
    {
      "epoch": 5.416666666666667,
      "grad_norm": 1.003825306892395,
      "learning_rate": 6.496666666666667e-05,
      "loss": 0.1141,
      "step": 1950
    },
    {
      "epoch": 5.444444444444445,
      "grad_norm": 1.0031825304031372,
      "learning_rate": 6.53e-05,
      "loss": 0.1119,
      "step": 1960
    },
    {
      "epoch": 5.472222222222222,
      "grad_norm": 1.056273341178894,
      "learning_rate": 6.563333333333333e-05,
      "loss": 0.1119,
      "step": 1970
    },
    {
      "epoch": 5.5,
      "grad_norm": 0.7431343197822571,
      "learning_rate": 6.596666666666667e-05,
      "loss": 0.1104,
      "step": 1980
    },
    {
      "epoch": 5.527777777777778,
      "grad_norm": 0.9599494338035583,
      "learning_rate": 6.630000000000001e-05,
      "loss": 0.117,
      "step": 1990
    },
    {
      "epoch": 5.555555555555555,
      "grad_norm": 1.0050548315048218,
      "learning_rate": 6.663333333333333e-05,
      "loss": 0.1074,
      "step": 2000
    },
    {
      "epoch": 5.583333333333333,
      "grad_norm": 0.855790376663208,
      "learning_rate": 6.696666666666666e-05,
      "loss": 0.1078,
      "step": 2010
    },
    {
      "epoch": 5.611111111111111,
      "grad_norm": 0.8358660936355591,
      "learning_rate": 6.730000000000001e-05,
      "loss": 0.0931,
      "step": 2020
    },
    {
      "epoch": 5.638888888888889,
      "grad_norm": 0.8630320429801941,
      "learning_rate": 6.763333333333334e-05,
      "loss": 0.1049,
      "step": 2030
    },
    {
      "epoch": 5.666666666666667,
      "grad_norm": 1.0322325229644775,
      "learning_rate": 6.796666666666666e-05,
      "loss": 0.0944,
      "step": 2040
    },
    {
      "epoch": 5.694444444444445,
      "grad_norm": 0.6780779361724854,
      "learning_rate": 6.83e-05,
      "loss": 0.1005,
      "step": 2050
    },
    {
      "epoch": 5.722222222222222,
      "grad_norm": 1.0720833539962769,
      "learning_rate": 6.863333333333334e-05,
      "loss": 0.1059,
      "step": 2060
    },
    {
      "epoch": 5.75,
      "grad_norm": 0.9092028141021729,
      "learning_rate": 6.896666666666667e-05,
      "loss": 0.1083,
      "step": 2070
    },
    {
      "epoch": 5.777777777777778,
      "grad_norm": 0.8768669962882996,
      "learning_rate": 6.93e-05,
      "loss": 0.1132,
      "step": 2080
    },
    {
      "epoch": 5.805555555555555,
      "grad_norm": 0.5401782393455505,
      "learning_rate": 6.963333333333334e-05,
      "loss": 0.0996,
      "step": 2090
    },
    {
      "epoch": 5.833333333333333,
      "grad_norm": 0.6193303465843201,
      "learning_rate": 6.996666666666667e-05,
      "loss": 0.1078,
      "step": 2100
    },
    {
      "epoch": 5.861111111111111,
      "grad_norm": 0.5026759505271912,
      "learning_rate": 7.03e-05,
      "loss": 0.112,
      "step": 2110
    },
    {
      "epoch": 5.888888888888889,
      "grad_norm": 1.053699254989624,
      "learning_rate": 7.063333333333333e-05,
      "loss": 0.1253,
      "step": 2120
    },
    {
      "epoch": 5.916666666666667,
      "grad_norm": 0.8108406066894531,
      "learning_rate": 7.096666666666667e-05,
      "loss": 0.1239,
      "step": 2130
    },
    {
      "epoch": 5.944444444444445,
      "grad_norm": 0.8810891509056091,
      "learning_rate": 7.13e-05,
      "loss": 0.1111,
      "step": 2140
    },
    {
      "epoch": 5.972222222222222,
      "grad_norm": 1.0175920724868774,
      "learning_rate": 7.163333333333334e-05,
      "loss": 0.0995,
      "step": 2150
    },
    {
      "epoch": 6.0,
      "grad_norm": 0.744554877281189,
      "learning_rate": 7.196666666666668e-05,
      "loss": 0.1243,
      "step": 2160
    },
    {
      "epoch": 6.027777777777778,
      "grad_norm": 1.0039997100830078,
      "learning_rate": 7.23e-05,
      "loss": 0.096,
      "step": 2170
    },
    {
      "epoch": 6.055555555555555,
      "grad_norm": 1.2705488204956055,
      "learning_rate": 7.263333333333334e-05,
      "loss": 0.0913,
      "step": 2180
    },
    {
      "epoch": 6.083333333333333,
      "grad_norm": 1.0129107236862183,
      "learning_rate": 7.296666666666667e-05,
      "loss": 0.1023,
      "step": 2190
    },
    {
      "epoch": 6.111111111111111,
      "grad_norm": 0.8187140226364136,
      "learning_rate": 7.33e-05,
      "loss": 0.0989,
      "step": 2200
    },
    {
      "epoch": 6.138888888888889,
      "grad_norm": 0.8704683184623718,
      "learning_rate": 7.363333333333334e-05,
      "loss": 0.1101,
      "step": 2210
    },
    {
      "epoch": 6.166666666666667,
      "grad_norm": 1.2686301469802856,
      "learning_rate": 7.396666666666667e-05,
      "loss": 0.1043,
      "step": 2220
    },
    {
      "epoch": 6.194444444444445,
      "grad_norm": 0.5867836475372314,
      "learning_rate": 7.43e-05,
      "loss": 0.1112,
      "step": 2230
    },
    {
      "epoch": 6.222222222222222,
      "grad_norm": 0.6172478795051575,
      "learning_rate": 7.463333333333334e-05,
      "loss": 0.0987,
      "step": 2240
    },
    {
      "epoch": 6.25,
      "grad_norm": 0.6571592688560486,
      "learning_rate": 7.496666666666667e-05,
      "loss": 0.1047,
      "step": 2250
    },
    {
      "epoch": 6.277777777777778,
      "grad_norm": 0.6756316423416138,
      "learning_rate": 7.53e-05,
      "loss": 0.1117,
      "step": 2260
    },
    {
      "epoch": 6.305555555555555,
      "grad_norm": 0.7736718654632568,
      "learning_rate": 7.563333333333333e-05,
      "loss": 0.1083,
      "step": 2270
    },
    {
      "epoch": 6.333333333333333,
      "grad_norm": 1.0538417100906372,
      "learning_rate": 7.596666666666668e-05,
      "loss": 0.0964,
      "step": 2280
    },
    {
      "epoch": 6.361111111111111,
      "grad_norm": 0.8458559513092041,
      "learning_rate": 7.630000000000001e-05,
      "loss": 0.1064,
      "step": 2290
    },
    {
      "epoch": 6.388888888888889,
      "grad_norm": 1.1617708206176758,
      "learning_rate": 7.663333333333333e-05,
      "loss": 0.103,
      "step": 2300
    },
    {
      "epoch": 6.416666666666667,
      "grad_norm": 1.0205751657485962,
      "learning_rate": 7.696666666666668e-05,
      "loss": 0.0994,
      "step": 2310
    },
    {
      "epoch": 6.444444444444445,
      "grad_norm": 0.7914650440216064,
      "learning_rate": 7.730000000000001e-05,
      "loss": 0.1094,
      "step": 2320
    },
    {
      "epoch": 6.472222222222222,
      "grad_norm": 0.9609006643295288,
      "learning_rate": 7.763333333333334e-05,
      "loss": 0.1011,
      "step": 2330
    },
    {
      "epoch": 6.5,
      "grad_norm": 0.6649253368377686,
      "learning_rate": 7.796666666666666e-05,
      "loss": 0.0924,
      "step": 2340
    },
    {
      "epoch": 6.527777777777778,
      "grad_norm": 0.8336554169654846,
      "learning_rate": 7.83e-05,
      "loss": 0.1082,
      "step": 2350
    },
    {
      "epoch": 6.555555555555555,
      "grad_norm": 0.6740520596504211,
      "learning_rate": 7.863333333333334e-05,
      "loss": 0.0979,
      "step": 2360
    },
    {
      "epoch": 6.583333333333333,
      "grad_norm": 0.9085543155670166,
      "learning_rate": 7.896666666666667e-05,
      "loss": 0.1113,
      "step": 2370
    },
    {
      "epoch": 6.611111111111111,
      "grad_norm": 0.7651898264884949,
      "learning_rate": 7.93e-05,
      "loss": 0.0967,
      "step": 2380
    },
    {
      "epoch": 6.638888888888889,
      "grad_norm": 0.550211489200592,
      "learning_rate": 7.963333333333334e-05,
      "loss": 0.1147,
      "step": 2390
    },
    {
      "epoch": 6.666666666666667,
      "grad_norm": 0.9854657649993896,
      "learning_rate": 7.996666666666667e-05,
      "loss": 0.0896,
      "step": 2400
    },
    {
      "epoch": 6.694444444444445,
      "grad_norm": 1.1873971223831177,
      "learning_rate": 8.030000000000001e-05,
      "loss": 0.1153,
      "step": 2410
    },
    {
      "epoch": 6.722222222222222,
      "grad_norm": 0.681438148021698,
      "learning_rate": 8.063333333333333e-05,
      "loss": 0.1028,
      "step": 2420
    },
    {
      "epoch": 6.75,
      "grad_norm": 0.9163294434547424,
      "learning_rate": 8.096666666666667e-05,
      "loss": 0.0935,
      "step": 2430
    },
    {
      "epoch": 6.777777777777778,
      "grad_norm": 0.706008791923523,
      "learning_rate": 8.13e-05,
      "loss": 0.1039,
      "step": 2440
    },
    {
      "epoch": 6.805555555555555,
      "grad_norm": 0.8010903000831604,
      "learning_rate": 8.163333333333334e-05,
      "loss": 0.1022,
      "step": 2450
    },
    {
      "epoch": 6.833333333333333,
      "grad_norm": 0.5996123552322388,
      "learning_rate": 8.196666666666668e-05,
      "loss": 0.1065,
      "step": 2460
    },
    {
      "epoch": 6.861111111111111,
      "grad_norm": 0.7782542705535889,
      "learning_rate": 8.23e-05,
      "loss": 0.0907,
      "step": 2470
    },
    {
      "epoch": 6.888888888888889,
      "grad_norm": 0.5259605646133423,
      "learning_rate": 8.263333333333334e-05,
      "loss": 0.0965,
      "step": 2480
    },
    {
      "epoch": 6.916666666666667,
      "grad_norm": 0.7462121248245239,
      "learning_rate": 8.296666666666667e-05,
      "loss": 0.1124,
      "step": 2490
    },
    {
      "epoch": 6.944444444444445,
      "grad_norm": 0.6901987195014954,
      "learning_rate": 8.33e-05,
      "loss": 0.1009,
      "step": 2500
    },
    {
      "epoch": 6.972222222222222,
      "grad_norm": 0.9379990696907043,
      "learning_rate": 8.363333333333334e-05,
      "loss": 0.103,
      "step": 2510
    },
    {
      "epoch": 7.0,
      "grad_norm": 0.9279407262802124,
      "learning_rate": 8.396666666666667e-05,
      "loss": 0.0938,
      "step": 2520
    },
    {
      "epoch": 7.027777777777778,
      "grad_norm": 0.6286363005638123,
      "learning_rate": 8.43e-05,
      "loss": 0.0902,
      "step": 2530
    },
    {
      "epoch": 7.055555555555555,
      "grad_norm": 0.5952980518341064,
      "learning_rate": 8.463333333333335e-05,
      "loss": 0.1208,
      "step": 2540
    },
    {
      "epoch": 7.083333333333333,
      "grad_norm": 0.9064554572105408,
      "learning_rate": 8.496666666666667e-05,
      "loss": 0.0974,
      "step": 2550
    },
    {
      "epoch": 7.111111111111111,
      "grad_norm": 0.8438217639923096,
      "learning_rate": 8.53e-05,
      "loss": 0.1154,
      "step": 2560
    },
    {
      "epoch": 7.138888888888889,
      "grad_norm": 0.626025915145874,
      "learning_rate": 8.563333333333333e-05,
      "loss": 0.1132,
      "step": 2570
    },
    {
      "epoch": 7.166666666666667,
      "grad_norm": 0.6303715705871582,
      "learning_rate": 8.596666666666668e-05,
      "loss": 0.1085,
      "step": 2580
    },
    {
      "epoch": 7.194444444444445,
      "grad_norm": 0.6754328012466431,
      "learning_rate": 8.63e-05,
      "loss": 0.0887,
      "step": 2590
    },
    {
      "epoch": 7.222222222222222,
      "grad_norm": 0.9561753869056702,
      "learning_rate": 8.663333333333333e-05,
      "loss": 0.1049,
      "step": 2600
    },
    {
      "epoch": 7.25,
      "grad_norm": 0.7369379997253418,
      "learning_rate": 8.696666666666668e-05,
      "loss": 0.0987,
      "step": 2610
    },
    {
      "epoch": 7.277777777777778,
      "grad_norm": 0.7170913219451904,
      "learning_rate": 8.730000000000001e-05,
      "loss": 0.0915,
      "step": 2620
    },
    {
      "epoch": 7.305555555555555,
      "grad_norm": 0.8650094866752625,
      "learning_rate": 8.763333333333334e-05,
      "loss": 0.1089,
      "step": 2630
    },
    {
      "epoch": 7.333333333333333,
      "grad_norm": 0.8337326049804688,
      "learning_rate": 8.796666666666667e-05,
      "loss": 0.1051,
      "step": 2640
    },
    {
      "epoch": 7.361111111111111,
      "grad_norm": 0.5569981336593628,
      "learning_rate": 8.83e-05,
      "loss": 0.0905,
      "step": 2650
    },
    {
      "epoch": 7.388888888888889,
      "grad_norm": 0.8431628346443176,
      "learning_rate": 8.863333333333334e-05,
      "loss": 0.0897,
      "step": 2660
    },
    {
      "epoch": 7.416666666666667,
      "grad_norm": 0.7708011865615845,
      "learning_rate": 8.896666666666667e-05,
      "loss": 0.1023,
      "step": 2670
    },
    {
      "epoch": 7.444444444444445,
      "grad_norm": 0.41566815972328186,
      "learning_rate": 8.93e-05,
      "loss": 0.0964,
      "step": 2680
    },
    {
      "epoch": 7.472222222222222,
      "grad_norm": 0.8192774653434753,
      "learning_rate": 8.963333333333333e-05,
      "loss": 0.0904,
      "step": 2690
    },
    {
      "epoch": 7.5,
      "grad_norm": 0.5829797983169556,
      "learning_rate": 8.996666666666667e-05,
      "loss": 0.1016,
      "step": 2700
    },
    {
      "epoch": 7.527777777777778,
      "grad_norm": 0.6304628252983093,
      "learning_rate": 9.030000000000001e-05,
      "loss": 0.0923,
      "step": 2710
    },
    {
      "epoch": 7.555555555555555,
      "grad_norm": 0.655848503112793,
      "learning_rate": 9.063333333333333e-05,
      "loss": 0.1052,
      "step": 2720
    },
    {
      "epoch": 7.583333333333333,
      "grad_norm": 0.8786123394966125,
      "learning_rate": 9.096666666666666e-05,
      "loss": 0.0795,
      "step": 2730
    },
    {
      "epoch": 7.611111111111111,
      "grad_norm": 0.644199550151825,
      "learning_rate": 9.130000000000001e-05,
      "loss": 0.0857,
      "step": 2740
    },
    {
      "epoch": 7.638888888888889,
      "grad_norm": 0.9759218096733093,
      "learning_rate": 9.163333333333334e-05,
      "loss": 0.0988,
      "step": 2750
    },
    {
      "epoch": 7.666666666666667,
      "grad_norm": 1.0078967809677124,
      "learning_rate": 9.196666666666666e-05,
      "loss": 0.0862,
      "step": 2760
    },
    {
      "epoch": 7.694444444444445,
      "grad_norm": 0.9322003722190857,
      "learning_rate": 9.230000000000001e-05,
      "loss": 0.0909,
      "step": 2770
    },
    {
      "epoch": 7.722222222222222,
      "grad_norm": 0.7825590968132019,
      "learning_rate": 9.263333333333334e-05,
      "loss": 0.0932,
      "step": 2780
    },
    {
      "epoch": 7.75,
      "grad_norm": 0.7201704978942871,
      "learning_rate": 9.296666666666667e-05,
      "loss": 0.1004,
      "step": 2790
    },
    {
      "epoch": 7.777777777777778,
      "grad_norm": 0.6650307178497314,
      "learning_rate": 9.33e-05,
      "loss": 0.0964,
      "step": 2800
    },
    {
      "epoch": 7.805555555555555,
      "grad_norm": 0.758232057094574,
      "learning_rate": 9.363333333333334e-05,
      "loss": 0.0886,
      "step": 2810
    },
    {
      "epoch": 7.833333333333333,
      "grad_norm": 0.8619840741157532,
      "learning_rate": 9.396666666666667e-05,
      "loss": 0.093,
      "step": 2820
    },
    {
      "epoch": 7.861111111111111,
      "grad_norm": 0.7824801802635193,
      "learning_rate": 9.43e-05,
      "loss": 0.1048,
      "step": 2830
    },
    {
      "epoch": 7.888888888888889,
      "grad_norm": 0.556862473487854,
      "learning_rate": 9.463333333333333e-05,
      "loss": 0.0952,
      "step": 2840
    },
    {
      "epoch": 7.916666666666667,
      "grad_norm": 0.8222015500068665,
      "learning_rate": 9.496666666666667e-05,
      "loss": 0.0911,
      "step": 2850
    },
    {
      "epoch": 7.944444444444445,
      "grad_norm": 0.6505307555198669,
      "learning_rate": 9.53e-05,
      "loss": 0.0926,
      "step": 2860
    },
    {
      "epoch": 7.972222222222222,
      "grad_norm": 0.9301732778549194,
      "learning_rate": 9.563333333333334e-05,
      "loss": 0.1019,
      "step": 2870
    },
    {
      "epoch": 8.0,
      "grad_norm": 0.5891113877296448,
      "learning_rate": 9.596666666666668e-05,
      "loss": 0.0898,
      "step": 2880
    },
    {
      "epoch": 8.027777777777779,
      "grad_norm": 0.7487031817436218,
      "learning_rate": 9.63e-05,
      "loss": 0.0975,
      "step": 2890
    },
    {
      "epoch": 8.055555555555555,
      "grad_norm": 0.6801156997680664,
      "learning_rate": 9.663333333333334e-05,
      "loss": 0.0949,
      "step": 2900
    },
    {
      "epoch": 8.083333333333334,
      "grad_norm": 0.7229464054107666,
      "learning_rate": 9.696666666666667e-05,
      "loss": 0.0937,
      "step": 2910
    },
    {
      "epoch": 8.11111111111111,
      "grad_norm": 0.5778477787971497,
      "learning_rate": 9.730000000000001e-05,
      "loss": 0.0988,
      "step": 2920
    },
    {
      "epoch": 8.13888888888889,
      "grad_norm": 1.246201992034912,
      "learning_rate": 9.763333333333334e-05,
      "loss": 0.0976,
      "step": 2930
    },
    {
      "epoch": 8.166666666666666,
      "grad_norm": 0.8792271614074707,
      "learning_rate": 9.796666666666667e-05,
      "loss": 0.1125,
      "step": 2940
    },
    {
      "epoch": 8.194444444444445,
      "grad_norm": 0.6864327788352966,
      "learning_rate": 9.83e-05,
      "loss": 0.1096,
      "step": 2950
    },
    {
      "epoch": 8.222222222222221,
      "grad_norm": 0.9860081672668457,
      "learning_rate": 9.863333333333334e-05,
      "loss": 0.1011,
      "step": 2960
    },
    {
      "epoch": 8.25,
      "grad_norm": 0.7393551468849182,
      "learning_rate": 9.896666666666667e-05,
      "loss": 0.0978,
      "step": 2970
    },
    {
      "epoch": 8.277777777777779,
      "grad_norm": 0.5764651298522949,
      "learning_rate": 9.93e-05,
      "loss": 0.0925,
      "step": 2980
    },
    {
      "epoch": 8.305555555555555,
      "grad_norm": 0.6043329834938049,
      "learning_rate": 9.963333333333333e-05,
      "loss": 0.0983,
      "step": 2990
    },
    {
      "epoch": 8.333333333333334,
      "grad_norm": 0.8395551443099976,
      "learning_rate": 9.996666666666668e-05,
      "loss": 0.1092,
      "step": 3000
    },
    {
      "epoch": 8.36111111111111,
      "grad_norm": 0.6114867925643921,
      "learning_rate": 9.999999384858465e-05,
      "loss": 0.0843,
      "step": 3010
    },
    {
      "epoch": 8.38888888888889,
      "grad_norm": 0.8083216547966003,
      "learning_rate": 9.999997258443473e-05,
      "loss": 0.0947,
      "step": 3020
    },
    {
      "epoch": 8.416666666666666,
      "grad_norm": 0.5414578318595886,
      "learning_rate": 9.999993613161331e-05,
      "loss": 0.0915,
      "step": 3030
    },
    {
      "epoch": 8.444444444444445,
      "grad_norm": 0.8759729266166687,
      "learning_rate": 9.999988449013146e-05,
      "loss": 0.0961,
      "step": 3040
    },
    {
      "epoch": 8.472222222222221,
      "grad_norm": 0.7496753334999084,
      "learning_rate": 9.99998176600049e-05,
      "loss": 0.1016,
      "step": 3050
    },
    {
      "epoch": 8.5,
      "grad_norm": 0.4894167184829712,
      "learning_rate": 9.999973564125389e-05,
      "loss": 0.0819,
      "step": 3060
    },
    {
      "epoch": 8.527777777777779,
      "grad_norm": 0.5125558376312256,
      "learning_rate": 9.999963843390335e-05,
      "loss": 0.0856,
      "step": 3070
    },
    {
      "epoch": 8.555555555555555,
      "grad_norm": 0.8374891877174377,
      "learning_rate": 9.999952603798282e-05,
      "loss": 0.1126,
      "step": 3080
    },
    {
      "epoch": 8.583333333333334,
      "grad_norm": 0.6441059112548828,
      "learning_rate": 9.999939845352646e-05,
      "loss": 0.0876,
      "step": 3090
    },
    {
      "epoch": 8.61111111111111,
      "grad_norm": 0.34859874844551086,
      "learning_rate": 9.999925568057298e-05,
      "loss": 0.0853,
      "step": 3100
    },
    {
      "epoch": 8.63888888888889,
      "grad_norm": 0.4613555669784546,
      "learning_rate": 9.999909771916578e-05,
      "loss": 0.0862,
      "step": 3110
    },
    {
      "epoch": 8.666666666666666,
      "grad_norm": 0.8758172988891602,
      "learning_rate": 9.999892456935285e-05,
      "loss": 0.0941,
      "step": 3120
    },
    {
      "epoch": 8.694444444444445,
      "grad_norm": 0.8684219121932983,
      "learning_rate": 9.999873623118679e-05,
      "loss": 0.0962,
      "step": 3130
    },
    {
      "epoch": 8.722222222222221,
      "grad_norm": 0.6150575876235962,
      "learning_rate": 9.999853270472479e-05,
      "loss": 0.0909,
      "step": 3140
    },
    {
      "epoch": 8.75,
      "grad_norm": 0.6430231928825378,
      "learning_rate": 9.999831399002871e-05,
      "loss": 0.0872,
      "step": 3150
    },
    {
      "epoch": 8.777777777777779,
      "grad_norm": 0.5095711946487427,
      "learning_rate": 9.999808008716494e-05,
      "loss": 0.0811,
      "step": 3160
    },
    {
      "epoch": 8.805555555555555,
      "grad_norm": 0.605994701385498,
      "learning_rate": 9.999783099620459e-05,
      "loss": 0.0875,
      "step": 3170
    },
    {
      "epoch": 8.833333333333334,
      "grad_norm": 0.5974061489105225,
      "learning_rate": 9.999756671722328e-05,
      "loss": 0.0796,
      "step": 3180
    },
    {
      "epoch": 8.86111111111111,
      "grad_norm": 0.6521319150924683,
      "learning_rate": 9.99972872503013e-05,
      "loss": 0.0788,
      "step": 3190
    },
    {
      "epoch": 8.88888888888889,
      "grad_norm": 0.9002505540847778,
      "learning_rate": 9.999699259552359e-05,
      "loss": 0.0907,
      "step": 3200
    },
    {
      "epoch": 8.916666666666666,
      "grad_norm": 0.5001909732818604,
      "learning_rate": 9.99966827529796e-05,
      "loss": 0.0787,
      "step": 3210
    },
    {
      "epoch": 8.944444444444445,
      "grad_norm": 0.3953395485877991,
      "learning_rate": 9.999635772276348e-05,
      "loss": 0.0756,
      "step": 3220
    },
    {
      "epoch": 8.972222222222221,
      "grad_norm": 0.5221477150917053,
      "learning_rate": 9.999601750497396e-05,
      "loss": 0.0722,
      "step": 3230
    },
    {
      "epoch": 9.0,
      "grad_norm": 0.6470085978507996,
      "learning_rate": 9.99956620997144e-05,
      "loss": 0.0739,
      "step": 3240
    },
    {
      "epoch": 9.027777777777779,
      "grad_norm": 0.5225675702095032,
      "learning_rate": 9.999529150709275e-05,
      "loss": 0.0821,
      "step": 3250
    },
    {
      "epoch": 9.055555555555555,
      "grad_norm": 0.6889806389808655,
      "learning_rate": 9.999490572722158e-05,
      "loss": 0.0702,
      "step": 3260
    },
    {
      "epoch": 9.083333333333334,
      "grad_norm": 0.8115628361701965,
      "learning_rate": 9.99945047602181e-05,
      "loss": 0.0786,
      "step": 3270
    },
    {
      "epoch": 9.11111111111111,
      "grad_norm": 0.7827192544937134,
      "learning_rate": 9.99940886062041e-05,
      "loss": 0.0728,
      "step": 3280
    },
    {
      "epoch": 9.13888888888889,
      "grad_norm": 0.8294346928596497,
      "learning_rate": 9.999365726530599e-05,
      "loss": 0.0783,
      "step": 3290
    },
    {
      "epoch": 9.166666666666666,
      "grad_norm": 0.7793636918067932,
      "learning_rate": 9.999321073765481e-05,
      "loss": 0.086,
      "step": 3300
    },
    {
      "epoch": 9.194444444444445,
      "grad_norm": 0.6691092252731323,
      "learning_rate": 9.99927490233862e-05,
      "loss": 0.0668,
      "step": 3310
    },
    {
      "epoch": 9.222222222222221,
      "grad_norm": 0.6946948170661926,
      "learning_rate": 9.999227212264043e-05,
      "loss": 0.0669,
      "step": 3320
    },
    {
      "epoch": 9.25,
      "grad_norm": 0.6077794432640076,
      "learning_rate": 9.999178003556236e-05,
      "loss": 0.0787,
      "step": 3330
    },
    {
      "epoch": 9.277777777777779,
      "grad_norm": 0.6832144856452942,
      "learning_rate": 9.999127276230146e-05,
      "loss": 0.0703,
      "step": 3340
    },
    {
      "epoch": 9.305555555555555,
      "grad_norm": 0.5137745141983032,
      "learning_rate": 9.999075030301184e-05,
      "loss": 0.0721,
      "step": 3350
    },
    {
      "epoch": 9.333333333333334,
      "grad_norm": 0.6112188696861267,
      "learning_rate": 9.999021265785221e-05,
      "loss": 0.0813,
      "step": 3360
    },
    {
      "epoch": 9.36111111111111,
      "grad_norm": 0.5369465351104736,
      "learning_rate": 9.998965982698589e-05,
      "loss": 0.0841,
      "step": 3370
    },
    {
      "epoch": 9.38888888888889,
      "grad_norm": 0.8886102437973022,
      "learning_rate": 9.998909181058082e-05,
      "loss": 0.0706,
      "step": 3380
    },
    {
      "epoch": 9.416666666666666,
      "grad_norm": 0.9390244483947754,
      "learning_rate": 9.998850860880953e-05,
      "loss": 0.084,
      "step": 3390
    },
    {
      "epoch": 9.444444444444445,
      "grad_norm": 0.7672368288040161,
      "learning_rate": 9.998791022184922e-05,
      "loss": 0.0778,
      "step": 3400
    },
    {
      "epoch": 9.472222222222221,
      "grad_norm": 0.6867071986198425,
      "learning_rate": 9.99872966498816e-05,
      "loss": 0.0762,
      "step": 3410
    },
    {
      "epoch": 9.5,
      "grad_norm": 0.6218429207801819,
      "learning_rate": 9.998666789309313e-05,
      "loss": 0.0807,
      "step": 3420
    },
    {
      "epoch": 9.527777777777779,
      "grad_norm": 0.7573712468147278,
      "learning_rate": 9.998602395167475e-05,
      "loss": 0.0751,
      "step": 3430
    },
    {
      "epoch": 9.555555555555555,
      "grad_norm": 0.5144385695457458,
      "learning_rate": 9.998536482582213e-05,
      "loss": 0.0855,
      "step": 3440
    },
    {
      "epoch": 9.583333333333334,
      "grad_norm": 0.569238543510437,
      "learning_rate": 9.998469051573544e-05,
      "loss": 0.0779,
      "step": 3450
    },
    {
      "epoch": 9.61111111111111,
      "grad_norm": 0.6805888414382935,
      "learning_rate": 9.998400102161954e-05,
      "loss": 0.0741,
      "step": 3460
    },
    {
      "epoch": 9.63888888888889,
      "grad_norm": 0.7584397792816162,
      "learning_rate": 9.998329634368388e-05,
      "loss": 0.0745,
      "step": 3470
    },
    {
      "epoch": 9.666666666666666,
      "grad_norm": 0.3470797538757324,
      "learning_rate": 9.998257648214253e-05,
      "loss": 0.0658,
      "step": 3480
    },
    {
      "epoch": 9.694444444444445,
      "grad_norm": 0.8181240558624268,
      "learning_rate": 9.998184143721417e-05,
      "loss": 0.0798,
      "step": 3490
    },
    {
      "epoch": 9.722222222222221,
      "grad_norm": 0.619954526424408,
      "learning_rate": 9.998109120912206e-05,
      "loss": 0.0702,
      "step": 3500
    },
    {
      "epoch": 9.75,
      "grad_norm": 0.5722562074661255,
      "learning_rate": 9.998032579809411e-05,
      "loss": 0.0734,
      "step": 3510
    },
    {
      "epoch": 9.777777777777779,
      "grad_norm": 0.6429349780082703,
      "learning_rate": 9.997954520436286e-05,
      "loss": 0.0831,
      "step": 3520
    },
    {
      "epoch": 9.805555555555555,
      "grad_norm": 0.5137732625007629,
      "learning_rate": 9.997874942816538e-05,
      "loss": 0.0689,
      "step": 3530
    },
    {
      "epoch": 9.833333333333334,
      "grad_norm": 0.4800591766834259,
      "learning_rate": 9.997793846974345e-05,
      "loss": 0.0777,
      "step": 3540
    },
    {
      "epoch": 9.86111111111111,
      "grad_norm": 0.5636879801750183,
      "learning_rate": 9.997711232934341e-05,
      "loss": 0.0721,
      "step": 3550
    },
    {
      "epoch": 9.88888888888889,
      "grad_norm": 0.6499575972557068,
      "learning_rate": 9.99762710072162e-05,
      "loss": 0.0733,
      "step": 3560
    },
    {
      "epoch": 9.916666666666666,
      "grad_norm": 0.7525476813316345,
      "learning_rate": 9.997541450361743e-05,
      "loss": 0.0823,
      "step": 3570
    },
    {
      "epoch": 9.944444444444445,
      "grad_norm": 0.6161987781524658,
      "learning_rate": 9.997454281880723e-05,
      "loss": 0.0854,
      "step": 3580
    },
    {
      "epoch": 9.972222222222221,
      "grad_norm": 0.6695399880409241,
      "learning_rate": 9.997365595305044e-05,
      "loss": 0.0727,
      "step": 3590
    },
    {
      "epoch": 10.0,
      "grad_norm": 0.5572395324707031,
      "learning_rate": 9.997275390661644e-05,
      "loss": 0.074,
      "step": 3600
    },
    {
      "epoch": 10.027777777777779,
      "grad_norm": 0.5390292406082153,
      "learning_rate": 9.997183667977926e-05,
      "loss": 0.0769,
      "step": 3610
    },
    {
      "epoch": 10.055555555555555,
      "grad_norm": 0.6322215795516968,
      "learning_rate": 9.997090427281752e-05,
      "loss": 0.0729,
      "step": 3620
    },
    {
      "epoch": 10.083333333333334,
      "grad_norm": 0.5860718488693237,
      "learning_rate": 9.996995668601448e-05,
      "loss": 0.0751,
      "step": 3630
    },
    {
      "epoch": 10.11111111111111,
      "grad_norm": 0.5651904940605164,
      "learning_rate": 9.996899391965798e-05,
      "loss": 0.0639,
      "step": 3640
    },
    {
      "epoch": 10.13888888888889,
      "grad_norm": 0.5096341371536255,
      "learning_rate": 9.996801597404048e-05,
      "loss": 0.069,
      "step": 3650
    },
    {
      "epoch": 10.166666666666666,
      "grad_norm": 0.7565417885780334,
      "learning_rate": 9.996702284945905e-05,
      "loss": 0.0634,
      "step": 3660
    },
    {
      "epoch": 10.194444444444445,
      "grad_norm": 0.5955798625946045,
      "learning_rate": 9.996601454621539e-05,
      "loss": 0.0723,
      "step": 3670
    },
    {
      "epoch": 10.222222222222221,
      "grad_norm": 0.5642876625061035,
      "learning_rate": 9.996499106461577e-05,
      "loss": 0.0594,
      "step": 3680
    },
    {
      "epoch": 10.25,
      "grad_norm": 0.3776990473270416,
      "learning_rate": 9.996395240497112e-05,
      "loss": 0.0597,
      "step": 3690
    },
    {
      "epoch": 10.277777777777779,
      "grad_norm": 0.6169154047966003,
      "learning_rate": 9.996289856759696e-05,
      "loss": 0.0606,
      "step": 3700
    },
    {
      "epoch": 10.305555555555555,
      "grad_norm": 0.4749968945980072,
      "learning_rate": 9.996182955281342e-05,
      "loss": 0.0689,
      "step": 3710
    },
    {
      "epoch": 10.333333333333334,
      "grad_norm": 0.8411583304405212,
      "learning_rate": 9.996074536094519e-05,
      "loss": 0.0743,
      "step": 3720
    },
    {
      "epoch": 10.36111111111111,
      "grad_norm": 0.5288531184196472,
      "learning_rate": 9.995964599232168e-05,
      "loss": 0.066,
      "step": 3730
    },
    {
      "epoch": 10.38888888888889,
      "grad_norm": 0.7702875137329102,
      "learning_rate": 9.995853144727683e-05,
      "loss": 0.0789,
      "step": 3740
    },
    {
      "epoch": 10.416666666666666,
      "grad_norm": 0.7072589993476868,
      "learning_rate": 9.99574017261492e-05,
      "loss": 0.0701,
      "step": 3750
    },
    {
      "epoch": 10.444444444444445,
      "grad_norm": 0.48769763112068176,
      "learning_rate": 9.995625682928198e-05,
      "loss": 0.0655,
      "step": 3760
    },
    {
      "epoch": 10.472222222222221,
      "grad_norm": 0.4207221269607544,
      "learning_rate": 9.995509675702295e-05,
      "loss": 0.0632,
      "step": 3770
    },
    {
      "epoch": 10.5,
      "grad_norm": 0.3443722724914551,
      "learning_rate": 9.995392150972451e-05,
      "loss": 0.0628,
      "step": 3780
    },
    {
      "epoch": 10.527777777777779,
      "grad_norm": 0.6310930252075195,
      "learning_rate": 9.995273108774366e-05,
      "loss": 0.0823,
      "step": 3790
    },
    {
      "epoch": 10.555555555555555,
      "grad_norm": 0.3856676518917084,
      "learning_rate": 9.995152549144205e-05,
      "loss": 0.0822,
      "step": 3800
    },
    {
      "epoch": 10.583333333333334,
      "grad_norm": 0.45059365034103394,
      "learning_rate": 9.995030472118587e-05,
      "loss": 0.075,
      "step": 3810
    },
    {
      "epoch": 10.61111111111111,
      "grad_norm": 0.8399025797843933,
      "learning_rate": 9.9949068777346e-05,
      "loss": 0.0783,
      "step": 3820
    },
    {
      "epoch": 10.63888888888889,
      "grad_norm": 0.9101392030715942,
      "learning_rate": 9.994781766029786e-05,
      "loss": 0.0683,
      "step": 3830
    },
    {
      "epoch": 10.666666666666666,
      "grad_norm": 0.6157561540603638,
      "learning_rate": 9.994655137042151e-05,
      "loss": 0.0746,
      "step": 3840
    },
    {
      "epoch": 10.694444444444445,
      "grad_norm": 0.4692879319190979,
      "learning_rate": 9.99452699081016e-05,
      "loss": 0.0633,
      "step": 3850
    },
    {
      "epoch": 10.722222222222221,
      "grad_norm": 0.5106540322303772,
      "learning_rate": 9.994397327372743e-05,
      "loss": 0.0786,
      "step": 3860
    },
    {
      "epoch": 10.75,
      "grad_norm": 0.6984820365905762,
      "learning_rate": 9.994266146769286e-05,
      "loss": 0.0736,
      "step": 3870
    },
    {
      "epoch": 10.777777777777779,
      "grad_norm": 0.5083704590797424,
      "learning_rate": 9.994133449039642e-05,
      "loss": 0.0717,
      "step": 3880
    },
    {
      "epoch": 10.805555555555555,
      "grad_norm": 0.5283536911010742,
      "learning_rate": 9.993999234224118e-05,
      "loss": 0.0783,
      "step": 3890
    },
    {
      "epoch": 10.833333333333334,
      "grad_norm": 0.5954563021659851,
      "learning_rate": 9.993863502363485e-05,
      "loss": 0.0704,
      "step": 3900
    },
    {
      "epoch": 10.86111111111111,
      "grad_norm": 0.5733696222305298,
      "learning_rate": 9.993726253498976e-05,
      "loss": 0.0647,
      "step": 3910
    },
    {
      "epoch": 10.88888888888889,
      "grad_norm": 0.6288259029388428,
      "learning_rate": 9.993587487672282e-05,
      "loss": 0.0616,
      "step": 3920
    },
    {
      "epoch": 10.916666666666666,
      "grad_norm": 0.6666303873062134,
      "learning_rate": 9.993447204925558e-05,
      "loss": 0.0697,
      "step": 3930
    },
    {
      "epoch": 10.944444444444445,
      "grad_norm": 0.7221410274505615,
      "learning_rate": 9.993305405301416e-05,
      "loss": 0.0747,
      "step": 3940
    },
    {
      "epoch": 10.972222222222221,
      "grad_norm": 0.5124571323394775,
      "learning_rate": 9.993162088842935e-05,
      "loss": 0.0682,
      "step": 3950
    },
    {
      "epoch": 11.0,
      "grad_norm": 0.7352128028869629,
      "learning_rate": 9.993017255593646e-05,
      "loss": 0.0819,
      "step": 3960
    },
    {
      "epoch": 11.027777777777779,
      "grad_norm": 0.5465502738952637,
      "learning_rate": 9.992870905597548e-05,
      "loss": 0.0683,
      "step": 3970
    },
    {
      "epoch": 11.055555555555555,
      "grad_norm": 0.34262731671333313,
      "learning_rate": 9.9927230388991e-05,
      "loss": 0.0632,
      "step": 3980
    },
    {
      "epoch": 11.083333333333334,
      "grad_norm": 0.5292981266975403,
      "learning_rate": 9.992573655543215e-05,
      "loss": 0.0607,
      "step": 3990
    },
    {
      "epoch": 11.11111111111111,
      "grad_norm": 0.6467545032501221,
      "learning_rate": 9.992422755575277e-05,
      "loss": 0.0565,
      "step": 4000
    },
    {
      "epoch": 11.13888888888889,
      "grad_norm": 0.5311149954795837,
      "learning_rate": 9.992270339041123e-05,
      "loss": 0.0629,
      "step": 4010
    },
    {
      "epoch": 11.166666666666666,
      "grad_norm": 0.6223366260528564,
      "learning_rate": 9.992116405987053e-05,
      "loss": 0.0584,
      "step": 4020
    },
    {
      "epoch": 11.194444444444445,
      "grad_norm": 0.5382270812988281,
      "learning_rate": 9.991960956459828e-05,
      "loss": 0.065,
      "step": 4030
    },
    {
      "epoch": 11.222222222222221,
      "grad_norm": 0.806729793548584,
      "learning_rate": 9.991803990506669e-05,
      "loss": 0.0691,
      "step": 4040
    },
    {
      "epoch": 11.25,
      "grad_norm": 0.6192237734794617,
      "learning_rate": 9.991645508175258e-05,
      "loss": 0.0742,
      "step": 4050
    },
    {
      "epoch": 11.277777777777779,
      "grad_norm": 0.5065469741821289,
      "learning_rate": 9.99148550951374e-05,
      "loss": 0.068,
      "step": 4060
    },
    {
      "epoch": 11.305555555555555,
      "grad_norm": 0.651961624622345,
      "learning_rate": 9.991323994570716e-05,
      "loss": 0.0697,
      "step": 4070
    },
    {
      "epoch": 11.333333333333334,
      "grad_norm": 0.5615929365158081,
      "learning_rate": 9.99116096339525e-05,
      "loss": 0.0679,
      "step": 4080
    },
    {
      "epoch": 11.36111111111111,
      "grad_norm": 0.4540277421474457,
      "learning_rate": 9.990996416036869e-05,
      "loss": 0.0634,
      "step": 4090
    },
    {
      "epoch": 11.38888888888889,
      "grad_norm": 0.46425703167915344,
      "learning_rate": 9.990830352545555e-05,
      "loss": 0.0554,
      "step": 4100
    },
    {
      "epoch": 11.416666666666666,
      "grad_norm": 0.5111929178237915,
      "learning_rate": 9.990662772971756e-05,
      "loss": 0.0517,
      "step": 4110
    },
    {
      "epoch": 11.444444444444445,
      "grad_norm": 0.5185349583625793,
      "learning_rate": 9.990493677366376e-05,
      "loss": 0.0633,
      "step": 4120
    },
    {
      "epoch": 11.472222222222221,
      "grad_norm": 0.4555562138557434,
      "learning_rate": 9.990323065780786e-05,
      "loss": 0.0537,
      "step": 4130
    },
    {
      "epoch": 11.5,
      "grad_norm": 0.6057060956954956,
      "learning_rate": 9.990150938266808e-05,
      "loss": 0.0627,
      "step": 4140
    },
    {
      "epoch": 11.527777777777779,
      "grad_norm": 0.4690127968788147,
      "learning_rate": 9.989977294876733e-05,
      "loss": 0.0649,
      "step": 4150
    },
    {
      "epoch": 11.555555555555555,
      "grad_norm": 0.5498861074447632,
      "learning_rate": 9.989802135663308e-05,
      "loss": 0.0545,
      "step": 4160
    },
    {
      "epoch": 11.583333333333334,
      "grad_norm": 0.5552436113357544,
      "learning_rate": 9.989625460679743e-05,
      "loss": 0.0548,
      "step": 4170
    },
    {
      "epoch": 11.61111111111111,
      "grad_norm": 0.5201693773269653,
      "learning_rate": 9.989447269979706e-05,
      "loss": 0.0585,
      "step": 4180
    },
    {
      "epoch": 11.63888888888889,
      "grad_norm": 0.31845515966415405,
      "learning_rate": 9.989267563617328e-05,
      "loss": 0.0601,
      "step": 4190
    },
    {
      "epoch": 11.666666666666666,
      "grad_norm": 0.43638694286346436,
      "learning_rate": 9.989086341647198e-05,
      "loss": 0.0539,
      "step": 4200
    },
    {
      "epoch": 11.694444444444445,
      "grad_norm": 0.5555466413497925,
      "learning_rate": 9.988903604124366e-05,
      "loss": 0.0589,
      "step": 4210
    },
    {
      "epoch": 11.722222222222221,
      "grad_norm": 0.47722405195236206,
      "learning_rate": 9.988719351104343e-05,
      "loss": 0.0598,
      "step": 4220
    },
    {
      "epoch": 11.75,
      "grad_norm": 0.5029480457305908,
      "learning_rate": 9.9885335826431e-05,
      "loss": 0.0542,
      "step": 4230
    },
    {
      "epoch": 11.777777777777779,
      "grad_norm": 0.7768874764442444,
      "learning_rate": 9.988346298797071e-05,
      "loss": 0.0577,
      "step": 4240
    },
    {
      "epoch": 11.805555555555555,
      "grad_norm": 0.6589940190315247,
      "learning_rate": 9.988157499623146e-05,
      "loss": 0.0749,
      "step": 4250
    },
    {
      "epoch": 11.833333333333334,
      "grad_norm": 0.7336562871932983,
      "learning_rate": 9.987967185178677e-05,
      "loss": 0.0569,
      "step": 4260
    },
    {
      "epoch": 11.86111111111111,
      "grad_norm": 0.700046718120575,
      "learning_rate": 9.987775355521476e-05,
      "loss": 0.0653,
      "step": 4270
    },
    {
      "epoch": 11.88888888888889,
      "grad_norm": 0.5088653564453125,
      "learning_rate": 9.987582010709817e-05,
      "loss": 0.063,
      "step": 4280
    },
    {
      "epoch": 11.916666666666666,
      "grad_norm": 0.4265279471874237,
      "learning_rate": 9.987387150802431e-05,
      "loss": 0.0853,
      "step": 4290
    },
    {
      "epoch": 11.944444444444445,
      "grad_norm": 0.3698248863220215,
      "learning_rate": 9.987190775858517e-05,
      "loss": 0.0506,
      "step": 4300
    },
    {
      "epoch": 11.972222222222221,
      "grad_norm": 0.5590032935142517,
      "learning_rate": 9.98699288593772e-05,
      "loss": 0.0606,
      "step": 4310
    },
    {
      "epoch": 12.0,
      "grad_norm": 0.689974308013916,
      "learning_rate": 9.986793481100161e-05,
      "loss": 0.0612,
      "step": 4320
    },
    {
      "epoch": 12.027777777777779,
      "grad_norm": 0.6700738072395325,
      "learning_rate": 9.986592561406412e-05,
      "loss": 0.0615,
      "step": 4330
    },
    {
      "epoch": 12.055555555555555,
      "grad_norm": 0.5118990540504456,
      "learning_rate": 9.986390126917503e-05,
      "loss": 0.0571,
      "step": 4340
    },
    {
      "epoch": 12.083333333333334,
      "grad_norm": 0.6451929807662964,
      "learning_rate": 9.986186177694933e-05,
      "loss": 0.0609,
      "step": 4350
    },
    {
      "epoch": 12.11111111111111,
      "grad_norm": 0.5217900276184082,
      "learning_rate": 9.985980713800656e-05,
      "loss": 0.0724,
      "step": 4360
    },
    {
      "epoch": 12.13888888888889,
      "grad_norm": 0.43864354491233826,
      "learning_rate": 9.985773735297084e-05,
      "loss": 0.0587,
      "step": 4370
    },
    {
      "epoch": 12.166666666666666,
      "grad_norm": 0.5150512456893921,
      "learning_rate": 9.985565242247092e-05,
      "loss": 0.0613,
      "step": 4380
    },
    {
      "epoch": 12.194444444444445,
      "grad_norm": 0.36156922578811646,
      "learning_rate": 9.985355234714016e-05,
      "loss": 0.0681,
      "step": 4390
    },
    {
      "epoch": 12.222222222222221,
      "grad_norm": 0.4019899368286133,
      "learning_rate": 9.985143712761652e-05,
      "loss": 0.0532,
      "step": 4400
    },
    {
      "epoch": 12.25,
      "grad_norm": 0.4882916510105133,
      "learning_rate": 9.984930676454252e-05,
      "loss": 0.0524,
      "step": 4410
    },
    {
      "epoch": 12.277777777777779,
      "grad_norm": 0.5090625882148743,
      "learning_rate": 9.984716125856532e-05,
      "loss": 0.0505,
      "step": 4420
    },
    {
      "epoch": 12.305555555555555,
      "grad_norm": 0.5194474458694458,
      "learning_rate": 9.984500061033667e-05,
      "loss": 0.0462,
      "step": 4430
    },
    {
      "epoch": 12.333333333333334,
      "grad_norm": 0.46645185351371765,
      "learning_rate": 9.984282482051293e-05,
      "loss": 0.058,
      "step": 4440
    },
    {
      "epoch": 12.36111111111111,
      "grad_norm": 0.49824410676956177,
      "learning_rate": 9.9840633889755e-05,
      "loss": 0.0583,
      "step": 4450
    },
    {
      "epoch": 12.38888888888889,
      "grad_norm": 0.4995102882385254,
      "learning_rate": 9.983842781872848e-05,
      "loss": 0.0618,
      "step": 4460
    },
    {
      "epoch": 12.416666666666666,
      "grad_norm": 0.5044128894805908,
      "learning_rate": 9.98362066081035e-05,
      "loss": 0.0558,
      "step": 4470
    },
    {
      "epoch": 12.444444444444445,
      "grad_norm": 0.4280996024608612,
      "learning_rate": 9.983397025855479e-05,
      "loss": 0.056,
      "step": 4480
    },
    {
      "epoch": 12.472222222222221,
      "grad_norm": 0.6002765893936157,
      "learning_rate": 9.983171877076171e-05,
      "loss": 0.0577,
      "step": 4490
    },
    {
      "epoch": 12.5,
      "grad_norm": 0.5094974637031555,
      "learning_rate": 9.98294521454082e-05,
      "loss": 0.0676,
      "step": 4500
    },
    {
      "epoch": 12.527777777777779,
      "grad_norm": 0.5943446159362793,
      "learning_rate": 9.98271703831828e-05,
      "loss": 0.0579,
      "step": 4510
    },
    {
      "epoch": 12.555555555555555,
      "grad_norm": 0.4341408610343933,
      "learning_rate": 9.982487348477865e-05,
      "loss": 0.064,
      "step": 4520
    },
    {
      "epoch": 12.583333333333334,
      "grad_norm": 0.5445206761360168,
      "learning_rate": 9.982256145089347e-05,
      "loss": 0.0609,
      "step": 4530
    },
    {
      "epoch": 12.61111111111111,
      "grad_norm": 0.7433774471282959,
      "learning_rate": 9.982023428222962e-05,
      "loss": 0.0519,
      "step": 4540
    },
    {
      "epoch": 12.63888888888889,
      "grad_norm": 0.5467362403869629,
      "learning_rate": 9.981789197949403e-05,
      "loss": 0.0734,
      "step": 4550
    },
    {
      "epoch": 12.666666666666666,
      "grad_norm": 0.6152912974357605,
      "learning_rate": 9.98155345433982e-05,
      "loss": 0.059,
      "step": 4560
    },
    {
      "epoch": 12.694444444444445,
      "grad_norm": 0.6106789112091064,
      "learning_rate": 9.981316197465831e-05,
      "loss": 0.0565,
      "step": 4570
    },
    {
      "epoch": 12.722222222222221,
      "grad_norm": 0.31333428621292114,
      "learning_rate": 9.981077427399504e-05,
      "loss": 0.0581,
      "step": 4580
    },
    {
      "epoch": 12.75,
      "grad_norm": 0.40305182337760925,
      "learning_rate": 9.980837144213371e-05,
      "loss": 0.0483,
      "step": 4590
    },
    {
      "epoch": 12.777777777777779,
      "grad_norm": 0.5183928608894348,
      "learning_rate": 9.980595347980426e-05,
      "loss": 0.0503,
      "step": 4600
    },
    {
      "epoch": 12.805555555555555,
      "grad_norm": 0.5987158417701721,
      "learning_rate": 9.980352038774119e-05,
      "loss": 0.0667,
      "step": 4610
    },
    {
      "epoch": 12.833333333333334,
      "grad_norm": 0.4091494679450989,
      "learning_rate": 9.98010721666836e-05,
      "loss": 0.0597,
      "step": 4620
    },
    {
      "epoch": 12.86111111111111,
      "grad_norm": 0.38297039270401,
      "learning_rate": 9.979860881737523e-05,
      "loss": 0.0479,
      "step": 4630
    },
    {
      "epoch": 12.88888888888889,
      "grad_norm": 0.4101700782775879,
      "learning_rate": 9.979613034056434e-05,
      "loss": 0.0573,
      "step": 4640
    },
    {
      "epoch": 12.916666666666666,
      "grad_norm": 0.5992808938026428,
      "learning_rate": 9.979363673700386e-05,
      "loss": 0.0669,
      "step": 4650
    },
    {
      "epoch": 12.944444444444445,
      "grad_norm": 0.5941289663314819,
      "learning_rate": 9.979112800745124e-05,
      "loss": 0.0657,
      "step": 4660
    },
    {
      "epoch": 12.972222222222221,
      "grad_norm": 0.9060755372047424,
      "learning_rate": 9.978860415266861e-05,
      "loss": 0.0613,
      "step": 4670
    },
    {
      "epoch": 13.0,
      "grad_norm": 0.5995563268661499,
      "learning_rate": 9.978606517342262e-05,
      "loss": 0.0564,
      "step": 4680
    },
    {
      "epoch": 13.027777777777779,
      "grad_norm": 0.6689289212226868,
      "learning_rate": 9.978351107048456e-05,
      "loss": 0.0632,
      "step": 4690
    },
    {
      "epoch": 13.055555555555555,
      "grad_norm": 0.588901937007904,
      "learning_rate": 9.978094184463029e-05,
      "loss": 0.0637,
      "step": 4700
    },
    {
      "epoch": 13.083333333333334,
      "grad_norm": 0.5614185929298401,
      "learning_rate": 9.977835749664029e-05,
      "loss": 0.0567,
      "step": 4710
    },
    {
      "epoch": 13.11111111111111,
      "grad_norm": 0.4706641435623169,
      "learning_rate": 9.97757580272996e-05,
      "loss": 0.0528,
      "step": 4720
    },
    {
      "epoch": 13.13888888888889,
      "grad_norm": 0.5111885070800781,
      "learning_rate": 9.977314343739786e-05,
      "loss": 0.0503,
      "step": 4730
    },
    {
      "epoch": 13.166666666666666,
      "grad_norm": 0.5824061036109924,
      "learning_rate": 9.977051372772934e-05,
      "loss": 0.0632,
      "step": 4740
    },
    {
      "epoch": 13.194444444444445,
      "grad_norm": 0.3433883786201477,
      "learning_rate": 9.976786889909286e-05,
      "loss": 0.052,
      "step": 4750
    },
    {
      "epoch": 13.222222222222221,
      "grad_norm": 0.6153579354286194,
      "learning_rate": 9.976520895229185e-05,
      "loss": 0.0607,
      "step": 4760
    },
    {
      "epoch": 13.25,
      "grad_norm": 0.5657524466514587,
      "learning_rate": 9.976253388813433e-05,
      "loss": 0.0641,
      "step": 4770
    },
    {
      "epoch": 13.277777777777779,
      "grad_norm": 0.5622472167015076,
      "learning_rate": 9.975984370743293e-05,
      "loss": 0.0626,
      "step": 4780
    },
    {
      "epoch": 13.305555555555555,
      "grad_norm": 0.46052318811416626,
      "learning_rate": 9.975713841100485e-05,
      "loss": 0.066,
      "step": 4790
    },
    {
      "epoch": 13.333333333333334,
      "grad_norm": 0.5670757293701172,
      "learning_rate": 9.975441799967187e-05,
      "loss": 0.0528,
      "step": 4800
    },
    {
      "epoch": 13.36111111111111,
      "grad_norm": 0.4675069749355316,
      "learning_rate": 9.975168247426039e-05,
      "loss": 0.0573,
      "step": 4810
    },
    {
      "epoch": 13.38888888888889,
      "grad_norm": 0.5975693464279175,
      "learning_rate": 9.974893183560139e-05,
      "loss": 0.0501,
      "step": 4820
    },
    {
      "epoch": 13.416666666666666,
      "grad_norm": 0.3316431939601898,
      "learning_rate": 9.974616608453045e-05,
      "loss": 0.0527,
      "step": 4830
    },
    {
      "epoch": 13.444444444444445,
      "grad_norm": 0.3697187006473541,
      "learning_rate": 9.974338522188772e-05,
      "loss": 0.052,
      "step": 4840
    },
    {
      "epoch": 13.472222222222221,
      "grad_norm": 0.4601327180862427,
      "learning_rate": 9.974058924851797e-05,
      "loss": 0.0535,
      "step": 4850
    },
    {
      "epoch": 13.5,
      "grad_norm": 0.47215113043785095,
      "learning_rate": 9.973777816527051e-05,
      "loss": 0.0552,
      "step": 4860
    },
    {
      "epoch": 13.527777777777779,
      "grad_norm": 0.44191956520080566,
      "learning_rate": 9.973495197299931e-05,
      "loss": 0.0646,
      "step": 4870
    },
    {
      "epoch": 13.555555555555555,
      "grad_norm": 0.44481325149536133,
      "learning_rate": 9.973211067256287e-05,
      "loss": 0.053,
      "step": 4880
    },
    {
      "epoch": 13.583333333333334,
      "grad_norm": 0.766645073890686,
      "learning_rate": 9.97292542648243e-05,
      "loss": 0.0558,
      "step": 4890
    },
    {
      "epoch": 13.61111111111111,
      "grad_norm": 0.43805593252182007,
      "learning_rate": 9.972638275065131e-05,
      "loss": 0.051,
      "step": 4900
    },
    {
      "epoch": 13.63888888888889,
      "grad_norm": 0.6600107550621033,
      "learning_rate": 9.972349613091621e-05,
      "loss": 0.0602,
      "step": 4910
    },
    {
      "epoch": 13.666666666666666,
      "grad_norm": 0.5806686282157898,
      "learning_rate": 9.972059440649584e-05,
      "loss": 0.0596,
      "step": 4920
    },
    {
      "epoch": 13.694444444444445,
      "grad_norm": 0.46410250663757324,
      "learning_rate": 9.971767757827168e-05,
      "loss": 0.0504,
      "step": 4930
    },
    {
      "epoch": 13.722222222222221,
      "grad_norm": 0.4955184757709503,
      "learning_rate": 9.971474564712982e-05,
      "loss": 0.0568,
      "step": 4940
    },
    {
      "epoch": 13.75,
      "grad_norm": 0.2952320873737335,
      "learning_rate": 9.971179861396084e-05,
      "loss": 0.0505,
      "step": 4950
    },
    {
      "epoch": 13.777777777777779,
      "grad_norm": 0.46599718928337097,
      "learning_rate": 9.970883647966003e-05,
      "loss": 0.0597,
      "step": 4960
    },
    {
      "epoch": 13.805555555555555,
      "grad_norm": 0.5284768342971802,
      "learning_rate": 9.970585924512717e-05,
      "loss": 0.0505,
      "step": 4970
    },
    {
      "epoch": 13.833333333333334,
      "grad_norm": 0.5171837210655212,
      "learning_rate": 9.970286691126669e-05,
      "loss": 0.0477,
      "step": 4980
    },
    {
      "epoch": 13.86111111111111,
      "grad_norm": 0.5546442270278931,
      "learning_rate": 9.969985947898756e-05,
      "loss": 0.0572,
      "step": 4990
    },
    {
      "epoch": 13.88888888888889,
      "grad_norm": 0.501859724521637,
      "learning_rate": 9.969683694920337e-05,
      "loss": 0.0614,
      "step": 5000
    },
    {
      "epoch": 13.916666666666666,
      "grad_norm": 0.4969649016857147,
      "learning_rate": 9.969379932283228e-05,
      "loss": 0.0608,
      "step": 5010
    },
    {
      "epoch": 13.944444444444445,
      "grad_norm": 0.5540618300437927,
      "learning_rate": 9.969074660079704e-05,
      "loss": 0.0564,
      "step": 5020
    },
    {
      "epoch": 13.972222222222221,
      "grad_norm": 0.7761239409446716,
      "learning_rate": 9.968767878402501e-05,
      "loss": 0.0623,
      "step": 5030
    },
    {
      "epoch": 14.0,
      "grad_norm": 0.45368754863739014,
      "learning_rate": 9.968459587344808e-05,
      "loss": 0.052,
      "step": 5040
    },
    {
      "epoch": 14.027777777777779,
      "grad_norm": 0.6608580946922302,
      "learning_rate": 9.968149787000278e-05,
      "loss": 0.0561,
      "step": 5050
    },
    {
      "epoch": 14.055555555555555,
      "grad_norm": 0.38110285997390747,
      "learning_rate": 9.967838477463018e-05,
      "loss": 0.0486,
      "step": 5060
    },
    {
      "epoch": 14.083333333333334,
      "grad_norm": 0.571212112903595,
      "learning_rate": 9.967525658827597e-05,
      "loss": 0.0571,
      "step": 5070
    },
    {
      "epoch": 14.11111111111111,
      "grad_norm": 0.4348944425582886,
      "learning_rate": 9.967211331189042e-05,
      "loss": 0.0544,
      "step": 5080
    },
    {
      "epoch": 14.13888888888889,
      "grad_norm": 0.44199255108833313,
      "learning_rate": 9.966895494642834e-05,
      "loss": 0.0607,
      "step": 5090
    },
    {
      "epoch": 14.166666666666666,
      "grad_norm": 0.5677514672279358,
      "learning_rate": 9.96657814928492e-05,
      "loss": 0.0682,
      "step": 5100
    },
    {
      "epoch": 14.194444444444445,
      "grad_norm": 0.3496277332305908,
      "learning_rate": 9.966259295211697e-05,
      "loss": 0.0548,
      "step": 5110
    },
    {
      "epoch": 14.222222222222221,
      "grad_norm": 0.41565269231796265,
      "learning_rate": 9.965938932520028e-05,
      "loss": 0.0582,
      "step": 5120
    },
    {
      "epoch": 14.25,
      "grad_norm": 0.6283966898918152,
      "learning_rate": 9.965617061307229e-05,
      "loss": 0.048,
      "step": 5130
    },
    {
      "epoch": 14.277777777777779,
      "grad_norm": 0.42798957228660583,
      "learning_rate": 9.965293681671077e-05,
      "loss": 0.0545,
      "step": 5140
    },
    {
      "epoch": 14.305555555555555,
      "grad_norm": 0.6650529503822327,
      "learning_rate": 9.964968793709804e-05,
      "loss": 0.0516,
      "step": 5150
    },
    {
      "epoch": 14.333333333333334,
      "grad_norm": 0.6161638498306274,
      "learning_rate": 9.964642397522106e-05,
      "loss": 0.0513,
      "step": 5160
    },
    {
      "epoch": 14.36111111111111,
      "grad_norm": 0.464542955160141,
      "learning_rate": 9.96431449320713e-05,
      "loss": 0.052,
      "step": 5170
    },
    {
      "epoch": 14.38888888888889,
      "grad_norm": 0.44148939847946167,
      "learning_rate": 9.963985080864486e-05,
      "loss": 0.0552,
      "step": 5180
    },
    {
      "epoch": 14.416666666666666,
      "grad_norm": 0.4649669826030731,
      "learning_rate": 9.96365416059424e-05,
      "loss": 0.0529,
      "step": 5190
    },
    {
      "epoch": 14.444444444444445,
      "grad_norm": 0.30138784646987915,
      "learning_rate": 9.963321732496919e-05,
      "loss": 0.0517,
      "step": 5200
    },
    {
      "epoch": 14.472222222222221,
      "grad_norm": 0.401553750038147,
      "learning_rate": 9.962987796673506e-05,
      "loss": 0.0525,
      "step": 5210
    },
    {
      "epoch": 14.5,
      "grad_norm": 0.6409826874732971,
      "learning_rate": 9.962652353225438e-05,
      "loss": 0.0451,
      "step": 5220
    },
    {
      "epoch": 14.527777777777779,
      "grad_norm": 0.6503063440322876,
      "learning_rate": 9.962315402254619e-05,
      "loss": 0.0595,
      "step": 5230
    },
    {
      "epoch": 14.555555555555555,
      "grad_norm": 0.5492795705795288,
      "learning_rate": 9.9619769438634e-05,
      "loss": 0.0487,
      "step": 5240
    },
    {
      "epoch": 14.583333333333334,
      "grad_norm": 0.3917764723300934,
      "learning_rate": 9.9616369781546e-05,
      "loss": 0.0439,
      "step": 5250
    },
    {
      "epoch": 14.61111111111111,
      "grad_norm": 0.40056872367858887,
      "learning_rate": 9.961295505231491e-05,
      "loss": 0.05,
      "step": 5260
    },
    {
      "epoch": 14.63888888888889,
      "grad_norm": 0.48057854175567627,
      "learning_rate": 9.960952525197804e-05,
      "loss": 0.0509,
      "step": 5270
    },
    {
      "epoch": 14.666666666666666,
      "grad_norm": 0.4933500587940216,
      "learning_rate": 9.960608038157724e-05,
      "loss": 0.0399,
      "step": 5280
    },
    {
      "epoch": 14.694444444444445,
      "grad_norm": 0.5509113073348999,
      "learning_rate": 9.960262044215901e-05,
      "loss": 0.0483,
      "step": 5290
    },
    {
      "epoch": 14.722222222222221,
      "grad_norm": 0.39822182059288025,
      "learning_rate": 9.959914543477435e-05,
      "loss": 0.0567,
      "step": 5300
    },
    {
      "epoch": 14.75,
      "grad_norm": 0.5635086894035339,
      "learning_rate": 9.959565536047892e-05,
      "loss": 0.0714,
      "step": 5310
    },
    {
      "epoch": 14.777777777777779,
      "grad_norm": 0.7398967146873474,
      "learning_rate": 9.959215022033288e-05,
      "loss": 0.0563,
      "step": 5320
    },
    {
      "epoch": 14.805555555555555,
      "grad_norm": 0.4912845492362976,
      "learning_rate": 9.9588630015401e-05,
      "loss": 0.0641,
      "step": 5330
    },
    {
      "epoch": 14.833333333333334,
      "grad_norm": 0.37421801686286926,
      "learning_rate": 9.958509474675264e-05,
      "loss": 0.0494,
      "step": 5340
    },
    {
      "epoch": 14.86111111111111,
      "grad_norm": 0.39398977160453796,
      "learning_rate": 9.958154441546171e-05,
      "loss": 0.0625,
      "step": 5350
    },
    {
      "epoch": 14.88888888888889,
      "grad_norm": 0.4798879027366638,
      "learning_rate": 9.957797902260673e-05,
      "loss": 0.0534,
      "step": 5360
    },
    {
      "epoch": 14.916666666666666,
      "grad_norm": 0.5582945346832275,
      "learning_rate": 9.957439856927073e-05,
      "loss": 0.0507,
      "step": 5370
    },
    {
      "epoch": 14.944444444444445,
      "grad_norm": 0.3596241772174835,
      "learning_rate": 9.957080305654139e-05,
      "loss": 0.0618,
      "step": 5380
    },
    {
      "epoch": 14.972222222222221,
      "grad_norm": 0.44474533200263977,
      "learning_rate": 9.956719248551092e-05,
      "loss": 0.0647,
      "step": 5390
    },
    {
      "epoch": 15.0,
      "grad_norm": 0.46258294582366943,
      "learning_rate": 9.956356685727612e-05,
      "loss": 0.0568,
      "step": 5400
    },
    {
      "epoch": 15.027777777777779,
      "grad_norm": 0.3418433964252472,
      "learning_rate": 9.955992617293836e-05,
      "loss": 0.0547,
      "step": 5410
    },
    {
      "epoch": 15.055555555555555,
      "grad_norm": 0.35224494338035583,
      "learning_rate": 9.955627043360358e-05,
      "loss": 0.0553,
      "step": 5420
    },
    {
      "epoch": 15.083333333333334,
      "grad_norm": 0.5016239285469055,
      "learning_rate": 9.955259964038231e-05,
      "loss": 0.0513,
      "step": 5430
    },
    {
      "epoch": 15.11111111111111,
      "grad_norm": 0.4836587905883789,
      "learning_rate": 9.954891379438962e-05,
      "loss": 0.0579,
      "step": 5440
    },
    {
      "epoch": 15.13888888888889,
      "grad_norm": 0.6215221881866455,
      "learning_rate": 9.954521289674519e-05,
      "loss": 0.0577,
      "step": 5450
    },
    {
      "epoch": 15.166666666666666,
      "grad_norm": 0.3681938350200653,
      "learning_rate": 9.954149694857325e-05,
      "loss": 0.0535,
      "step": 5460
    },
    {
      "epoch": 15.194444444444445,
      "grad_norm": 0.6120268702507019,
      "learning_rate": 9.953776595100258e-05,
      "loss": 0.0633,
      "step": 5470
    },
    {
      "epoch": 15.222222222222221,
      "grad_norm": 0.5758987069129944,
      "learning_rate": 9.95340199051666e-05,
      "loss": 0.0519,
      "step": 5480
    },
    {
      "epoch": 15.25,
      "grad_norm": 0.4236423075199127,
      "learning_rate": 9.953025881220325e-05,
      "loss": 0.0473,
      "step": 5490
    },
    {
      "epoch": 15.277777777777779,
      "grad_norm": 0.6135135293006897,
      "learning_rate": 9.952648267325504e-05,
      "loss": 0.0473,
      "step": 5500
    },
    {
      "epoch": 15.305555555555555,
      "grad_norm": 0.5722030997276306,
      "learning_rate": 9.952269148946905e-05,
      "loss": 0.046,
      "step": 5510
    },
    {
      "epoch": 15.333333333333334,
      "grad_norm": 0.5065723061561584,
      "learning_rate": 9.951888526199697e-05,
      "loss": 0.048,
      "step": 5520
    },
    {
      "epoch": 15.36111111111111,
      "grad_norm": 0.42474597692489624,
      "learning_rate": 9.951506399199501e-05,
      "loss": 0.0513,
      "step": 5530
    },
    {
      "epoch": 15.38888888888889,
      "grad_norm": 0.633594274520874,
      "learning_rate": 9.951122768062399e-05,
      "loss": 0.0464,
      "step": 5540
    },
    {
      "epoch": 15.416666666666666,
      "grad_norm": 0.40245458483695984,
      "learning_rate": 9.950737632904927e-05,
      "loss": 0.0469,
      "step": 5550
    },
    {
      "epoch": 15.444444444444445,
      "grad_norm": 0.5058453679084778,
      "learning_rate": 9.950350993844077e-05,
      "loss": 0.0497,
      "step": 5560
    },
    {
      "epoch": 15.472222222222221,
      "grad_norm": 0.3947611153125763,
      "learning_rate": 9.949962850997303e-05,
      "loss": 0.0501,
      "step": 5570
    },
    {
      "epoch": 15.5,
      "grad_norm": 0.3884054720401764,
      "learning_rate": 9.949573204482512e-05,
      "loss": 0.0403,
      "step": 5580
    },
    {
      "epoch": 15.527777777777779,
      "grad_norm": 0.5452824831008911,
      "learning_rate": 9.949182054418064e-05,
      "loss": 0.0464,
      "step": 5590
    },
    {
      "epoch": 15.555555555555555,
      "grad_norm": 0.4861202538013458,
      "learning_rate": 9.948789400922787e-05,
      "loss": 0.0496,
      "step": 5600
    },
    {
      "epoch": 15.583333333333334,
      "grad_norm": 0.47877898812294006,
      "learning_rate": 9.948395244115953e-05,
      "loss": 0.0477,
      "step": 5610
    },
    {
      "epoch": 15.61111111111111,
      "grad_norm": 0.3572007715702057,
      "learning_rate": 9.9479995841173e-05,
      "loss": 0.0505,
      "step": 5620
    },
    {
      "epoch": 15.63888888888889,
      "grad_norm": 0.44898343086242676,
      "learning_rate": 9.947602421047017e-05,
      "loss": 0.0365,
      "step": 5630
    },
    {
      "epoch": 15.666666666666666,
      "grad_norm": 0.4624306857585907,
      "learning_rate": 9.947203755025753e-05,
      "loss": 0.046,
      "step": 5640
    },
    {
      "epoch": 15.694444444444445,
      "grad_norm": 0.48264941573143005,
      "learning_rate": 9.946803586174611e-05,
      "loss": 0.0472,
      "step": 5650
    },
    {
      "epoch": 15.722222222222221,
      "grad_norm": 0.4781043827533722,
      "learning_rate": 9.946401914615151e-05,
      "loss": 0.0442,
      "step": 5660
    },
    {
      "epoch": 15.75,
      "grad_norm": 0.37667927145957947,
      "learning_rate": 9.945998740469394e-05,
      "loss": 0.0381,
      "step": 5670
    },
    {
      "epoch": 15.777777777777779,
      "grad_norm": 0.5392455458641052,
      "learning_rate": 9.945594063859809e-05,
      "loss": 0.0615,
      "step": 5680
    },
    {
      "epoch": 15.805555555555555,
      "grad_norm": 0.46323561668395996,
      "learning_rate": 9.94518788490933e-05,
      "loss": 0.0453,
      "step": 5690
    },
    {
      "epoch": 15.833333333333334,
      "grad_norm": 0.48312878608703613,
      "learning_rate": 9.944780203741341e-05,
      "loss": 0.0602,
      "step": 5700
    },
    {
      "epoch": 15.86111111111111,
      "grad_norm": 0.3928861916065216,
      "learning_rate": 9.944371020479686e-05,
      "loss": 0.0559,
      "step": 5710
    },
    {
      "epoch": 15.88888888888889,
      "grad_norm": 0.5210138559341431,
      "learning_rate": 9.943960335248662e-05,
      "loss": 0.0494,
      "step": 5720
    },
    {
      "epoch": 15.916666666666666,
      "grad_norm": 0.45147618651390076,
      "learning_rate": 9.943548148173027e-05,
      "loss": 0.054,
      "step": 5730
    },
    {
      "epoch": 15.944444444444445,
      "grad_norm": 0.4425661563873291,
      "learning_rate": 9.943134459377992e-05,
      "loss": 0.0433,
      "step": 5740
    },
    {
      "epoch": 15.972222222222221,
      "grad_norm": 0.5958797335624695,
      "learning_rate": 9.942719268989222e-05,
      "loss": 0.0522,
      "step": 5750
    },
    {
      "epoch": 16.0,
      "grad_norm": 0.4849947690963745,
      "learning_rate": 9.942302577132844e-05,
      "loss": 0.0456,
      "step": 5760
    },
    {
      "epoch": 16.02777777777778,
      "grad_norm": 0.6343421339988708,
      "learning_rate": 9.941884383935438e-05,
      "loss": 0.0428,
      "step": 5770
    },
    {
      "epoch": 16.055555555555557,
      "grad_norm": 0.4774436056613922,
      "learning_rate": 9.941464689524039e-05,
      "loss": 0.0508,
      "step": 5780
    },
    {
      "epoch": 16.083333333333332,
      "grad_norm": 0.4353960156440735,
      "learning_rate": 9.941043494026139e-05,
      "loss": 0.0499,
      "step": 5790
    },
    {
      "epoch": 16.11111111111111,
      "grad_norm": 0.5805540084838867,
      "learning_rate": 9.940620797569685e-05,
      "loss": 0.0505,
      "step": 5800
    },
    {
      "epoch": 16.13888888888889,
      "grad_norm": 0.5184175372123718,
      "learning_rate": 9.940196600283082e-05,
      "loss": 0.0718,
      "step": 5810
    },
    {
      "epoch": 16.166666666666668,
      "grad_norm": 0.5763494372367859,
      "learning_rate": 9.939770902295192e-05,
      "loss": 0.0632,
      "step": 5820
    },
    {
      "epoch": 16.194444444444443,
      "grad_norm": 0.3954780697822571,
      "learning_rate": 9.939343703735329e-05,
      "loss": 0.0522,
      "step": 5830
    },
    {
      "epoch": 16.22222222222222,
      "grad_norm": 0.4704010784626007,
      "learning_rate": 9.938915004733264e-05,
      "loss": 0.0515,
      "step": 5840
    },
    {
      "epoch": 16.25,
      "grad_norm": 0.5329211950302124,
      "learning_rate": 9.938484805419224e-05,
      "loss": 0.0514,
      "step": 5850
    },
    {
      "epoch": 16.27777777777778,
      "grad_norm": 0.34613093733787537,
      "learning_rate": 9.938053105923894e-05,
      "loss": 0.0477,
      "step": 5860
    },
    {
      "epoch": 16.305555555555557,
      "grad_norm": 0.5689736604690552,
      "learning_rate": 9.937619906378413e-05,
      "loss": 0.0432,
      "step": 5870
    },
    {
      "epoch": 16.333333333333332,
      "grad_norm": 0.4247763156890869,
      "learning_rate": 9.937185206914374e-05,
      "loss": 0.0513,
      "step": 5880
    },
    {
      "epoch": 16.36111111111111,
      "grad_norm": 0.5442401766777039,
      "learning_rate": 9.936749007663829e-05,
      "loss": 0.0473,
      "step": 5890
    },
    {
      "epoch": 16.38888888888889,
      "grad_norm": 0.7179543375968933,
      "learning_rate": 9.93631130875928e-05,
      "loss": 0.0492,
      "step": 5900
    },
    {
      "epoch": 16.416666666666668,
      "grad_norm": 0.4710463881492615,
      "learning_rate": 9.935872110333692e-05,
      "loss": 0.0548,
      "step": 5910
    },
    {
      "epoch": 16.444444444444443,
      "grad_norm": 0.5555567741394043,
      "learning_rate": 9.935431412520484e-05,
      "loss": 0.0558,
      "step": 5920
    },
    {
      "epoch": 16.47222222222222,
      "grad_norm": 0.3888353109359741,
      "learning_rate": 9.934989215453523e-05,
      "loss": 0.054,
      "step": 5930
    },
    {
      "epoch": 16.5,
      "grad_norm": 0.3839104473590851,
      "learning_rate": 9.934545519267139e-05,
      "loss": 0.0509,
      "step": 5940
    },
    {
      "epoch": 16.52777777777778,
      "grad_norm": 0.5295773148536682,
      "learning_rate": 9.934100324096117e-05,
      "loss": 0.0478,
      "step": 5950
    },
    {
      "epoch": 16.555555555555557,
      "grad_norm": 0.4394606649875641,
      "learning_rate": 9.933653630075692e-05,
      "loss": 0.0434,
      "step": 5960
    },
    {
      "epoch": 16.583333333333332,
      "grad_norm": 0.4346480071544647,
      "learning_rate": 9.93320543734156e-05,
      "loss": 0.0494,
      "step": 5970
    },
    {
      "epoch": 16.61111111111111,
      "grad_norm": 0.5124521851539612,
      "learning_rate": 9.932755746029871e-05,
      "loss": 0.0404,
      "step": 5980
    },
    {
      "epoch": 16.63888888888889,
      "grad_norm": 0.3762078285217285,
      "learning_rate": 9.932304556277228e-05,
      "loss": 0.0514,
      "step": 5990
    },
    {
      "epoch": 16.666666666666668,
      "grad_norm": 0.4330059885978699,
      "learning_rate": 9.93185186822069e-05,
      "loss": 0.0479,
      "step": 6000
    },
    {
      "epoch": 16.694444444444443,
      "grad_norm": 0.5067780613899231,
      "learning_rate": 9.931397681997773e-05,
      "loss": 0.0456,
      "step": 6010
    },
    {
      "epoch": 16.72222222222222,
      "grad_norm": 0.4273536801338196,
      "learning_rate": 9.930941997746446e-05,
      "loss": 0.0461,
      "step": 6020
    },
    {
      "epoch": 16.75,
      "grad_norm": 0.4830762445926666,
      "learning_rate": 9.930484815605134e-05,
      "loss": 0.0488,
      "step": 6030
    },
    {
      "epoch": 16.77777777777778,
      "grad_norm": 0.6291099786758423,
      "learning_rate": 9.930026135712717e-05,
      "loss": 0.0574,
      "step": 6040
    },
    {
      "epoch": 16.805555555555557,
      "grad_norm": 0.4080747961997986,
      "learning_rate": 9.92956595820853e-05,
      "loss": 0.0441,
      "step": 6050
    },
    {
      "epoch": 16.833333333333332,
      "grad_norm": 0.5767673850059509,
      "learning_rate": 9.929104283232362e-05,
      "loss": 0.0431,
      "step": 6060
    },
    {
      "epoch": 16.86111111111111,
      "grad_norm": 0.40429458022117615,
      "learning_rate": 9.92864111092446e-05,
      "loss": 0.0427,
      "step": 6070
    },
    {
      "epoch": 16.88888888888889,
      "grad_norm": 0.3755173087120056,
      "learning_rate": 9.92817644142552e-05,
      "loss": 0.0372,
      "step": 6080
    },
    {
      "epoch": 16.916666666666668,
      "grad_norm": 0.523703932762146,
      "learning_rate": 9.927710274876698e-05,
      "loss": 0.0506,
      "step": 6090
    },
    {
      "epoch": 16.944444444444443,
      "grad_norm": 0.47431185841560364,
      "learning_rate": 9.927242611419603e-05,
      "loss": 0.0488,
      "step": 6100
    },
    {
      "epoch": 16.97222222222222,
      "grad_norm": 0.48921990394592285,
      "learning_rate": 9.926773451196301e-05,
      "loss": 0.0531,
      "step": 6110
    },
    {
      "epoch": 17.0,
      "grad_norm": 0.4587254822254181,
      "learning_rate": 9.926302794349306e-05,
      "loss": 0.0479,
      "step": 6120
    },
    {
      "epoch": 17.02777777777778,
      "grad_norm": 0.32743367552757263,
      "learning_rate": 9.925830641021594e-05,
      "loss": 0.0538,
      "step": 6130
    },
    {
      "epoch": 17.055555555555557,
      "grad_norm": 0.49610283970832825,
      "learning_rate": 9.925356991356593e-05,
      "loss": 0.0416,
      "step": 6140
    },
    {
      "epoch": 17.083333333333332,
      "grad_norm": 0.3585283160209656,
      "learning_rate": 9.924881845498184e-05,
      "loss": 0.0416,
      "step": 6150
    },
    {
      "epoch": 17.11111111111111,
      "grad_norm": 0.4553490877151489,
      "learning_rate": 9.924405203590705e-05,
      "loss": 0.0465,
      "step": 6160
    },
    {
      "epoch": 17.13888888888889,
      "grad_norm": 0.46868884563446045,
      "learning_rate": 9.923927065778946e-05,
      "loss": 0.0422,
      "step": 6170
    },
    {
      "epoch": 17.166666666666668,
      "grad_norm": 0.5515771508216858,
      "learning_rate": 9.923447432208154e-05,
      "loss": 0.0463,
      "step": 6180
    },
    {
      "epoch": 17.194444444444443,
      "grad_norm": 0.37131500244140625,
      "learning_rate": 9.922966303024027e-05,
      "loss": 0.0467,
      "step": 6190
    },
    {
      "epoch": 17.22222222222222,
      "grad_norm": 0.4759933352470398,
      "learning_rate": 9.922483678372721e-05,
      "loss": 0.0583,
      "step": 6200
    },
    {
      "epoch": 17.25,
      "grad_norm": 0.5042267441749573,
      "learning_rate": 9.921999558400845e-05,
      "loss": 0.0475,
      "step": 6210
    },
    {
      "epoch": 17.27777777777778,
      "grad_norm": 0.5204257369041443,
      "learning_rate": 9.92151394325546e-05,
      "loss": 0.0587,
      "step": 6220
    },
    {
      "epoch": 17.305555555555557,
      "grad_norm": 0.5540298223495483,
      "learning_rate": 9.921026833084084e-05,
      "loss": 0.0485,
      "step": 6230
    },
    {
      "epoch": 17.333333333333332,
      "grad_norm": 0.44091445207595825,
      "learning_rate": 9.920538228034689e-05,
      "loss": 0.0422,
      "step": 6240
    },
    {
      "epoch": 17.36111111111111,
      "grad_norm": 0.45551353693008423,
      "learning_rate": 9.920048128255699e-05,
      "loss": 0.0474,
      "step": 6250
    },
    {
      "epoch": 17.38888888888889,
      "grad_norm": 0.5637078285217285,
      "learning_rate": 9.919556533895995e-05,
      "loss": 0.057,
      "step": 6260
    },
    {
      "epoch": 17.416666666666668,
      "grad_norm": 0.4289631247520447,
      "learning_rate": 9.919063445104907e-05,
      "loss": 0.0528,
      "step": 6270
    },
    {
      "epoch": 17.444444444444443,
      "grad_norm": 0.33281299471855164,
      "learning_rate": 9.918568862032227e-05,
      "loss": 0.0498,
      "step": 6280
    },
    {
      "epoch": 17.47222222222222,
      "grad_norm": 0.48975685238838196,
      "learning_rate": 9.918072784828194e-05,
      "loss": 0.0452,
      "step": 6290
    },
    {
      "epoch": 17.5,
      "grad_norm": 0.47887665033340454,
      "learning_rate": 9.917575213643501e-05,
      "loss": 0.0478,
      "step": 6300
    },
    {
      "epoch": 17.52777777777778,
      "grad_norm": 0.42257022857666016,
      "learning_rate": 9.917076148629302e-05,
      "loss": 0.0417,
      "step": 6310
    },
    {
      "epoch": 17.555555555555557,
      "grad_norm": 0.3982458710670471,
      "learning_rate": 9.916575589937196e-05,
      "loss": 0.0472,
      "step": 6320
    },
    {
      "epoch": 17.583333333333332,
      "grad_norm": 0.5234006643295288,
      "learning_rate": 9.916073537719239e-05,
      "loss": 0.0458,
      "step": 6330
    },
    {
      "epoch": 17.61111111111111,
      "grad_norm": 0.34988096356391907,
      "learning_rate": 9.915569992127944e-05,
      "loss": 0.0467,
      "step": 6340
    },
    {
      "epoch": 17.63888888888889,
      "grad_norm": 0.42192670702934265,
      "learning_rate": 9.915064953316273e-05,
      "loss": 0.0485,
      "step": 6350
    },
    {
      "epoch": 17.666666666666668,
      "grad_norm": 0.2930613160133362,
      "learning_rate": 9.914558421437645e-05,
      "loss": 0.0413,
      "step": 6360
    },
    {
      "epoch": 17.694444444444443,
      "grad_norm": 0.4383268356323242,
      "learning_rate": 9.914050396645929e-05,
      "loss": 0.0466,
      "step": 6370
    },
    {
      "epoch": 17.72222222222222,
      "grad_norm": 0.47633761167526245,
      "learning_rate": 9.913540879095452e-05,
      "loss": 0.0488,
      "step": 6380
    },
    {
      "epoch": 17.75,
      "grad_norm": 0.4152958393096924,
      "learning_rate": 9.913029868940987e-05,
      "loss": 0.0533,
      "step": 6390
    },
    {
      "epoch": 17.77777777777778,
      "grad_norm": 0.44593480229377747,
      "learning_rate": 9.912517366337772e-05,
      "loss": 0.048,
      "step": 6400
    },
    {
      "epoch": 17.805555555555557,
      "grad_norm": 0.5247231125831604,
      "learning_rate": 9.912003371441487e-05,
      "loss": 0.0482,
      "step": 6410
    },
    {
      "epoch": 17.833333333333332,
      "grad_norm": 0.4363248944282532,
      "learning_rate": 9.911487884408271e-05,
      "loss": 0.0444,
      "step": 6420
    },
    {
      "epoch": 17.86111111111111,
      "grad_norm": 0.47028690576553345,
      "learning_rate": 9.910970905394719e-05,
      "loss": 0.0467,
      "step": 6430
    },
    {
      "epoch": 17.88888888888889,
      "grad_norm": 0.6221087574958801,
      "learning_rate": 9.91045243455787e-05,
      "loss": 0.0363,
      "step": 6440
    },
    {
      "epoch": 17.916666666666668,
      "grad_norm": 0.37299638986587524,
      "learning_rate": 9.909932472055225e-05,
      "loss": 0.053,
      "step": 6450
    },
    {
      "epoch": 17.944444444444443,
      "grad_norm": 0.3461451232433319,
      "learning_rate": 9.909411018044734e-05,
      "loss": 0.0335,
      "step": 6460
    },
    {
      "epoch": 17.97222222222222,
      "grad_norm": 0.3789421021938324,
      "learning_rate": 9.908888072684802e-05,
      "loss": 0.041,
      "step": 6470
    },
    {
      "epoch": 18.0,
      "grad_norm": 0.3754960894584656,
      "learning_rate": 9.908363636134285e-05,
      "loss": 0.0332,
      "step": 6480
    },
    {
      "epoch": 18.02777777777778,
      "grad_norm": 0.28110232949256897,
      "learning_rate": 9.907837708552493e-05,
      "loss": 0.0342,
      "step": 6490
    },
    {
      "epoch": 18.055555555555557,
      "grad_norm": 0.35536515712738037,
      "learning_rate": 9.90731029009919e-05,
      "loss": 0.0396,
      "step": 6500
    },
    {
      "epoch": 18.083333333333332,
      "grad_norm": 0.5867331624031067,
      "learning_rate": 9.906781380934589e-05,
      "loss": 0.0528,
      "step": 6510
    },
    {
      "epoch": 18.11111111111111,
      "grad_norm": 0.5318906903266907,
      "learning_rate": 9.906250981219362e-05,
      "loss": 0.049,
      "step": 6520
    },
    {
      "epoch": 18.13888888888889,
      "grad_norm": 0.3388424217700958,
      "learning_rate": 9.905719091114628e-05,
      "loss": 0.0381,
      "step": 6530
    },
    {
      "epoch": 18.166666666666668,
      "grad_norm": 0.6432200074195862,
      "learning_rate": 9.905185710781964e-05,
      "loss": 0.0545,
      "step": 6540
    },
    {
      "epoch": 18.194444444444443,
      "grad_norm": 0.4378686249256134,
      "learning_rate": 9.904650840383392e-05,
      "loss": 0.0468,
      "step": 6550
    },
    {
      "epoch": 18.22222222222222,
      "grad_norm": 0.42445528507232666,
      "learning_rate": 9.904114480081397e-05,
      "loss": 0.0389,
      "step": 6560
    },
    {
      "epoch": 18.25,
      "grad_norm": 0.4333404302597046,
      "learning_rate": 9.903576630038906e-05,
      "loss": 0.0535,
      "step": 6570
    },
    {
      "epoch": 18.27777777777778,
      "grad_norm": 0.25697848200798035,
      "learning_rate": 9.903037290419309e-05,
      "loss": 0.0404,
      "step": 6580
    },
    {
      "epoch": 18.305555555555557,
      "grad_norm": 0.26719018816947937,
      "learning_rate": 9.902496461386439e-05,
      "loss": 0.0392,
      "step": 6590
    },
    {
      "epoch": 18.333333333333332,
      "grad_norm": 0.4611465334892273,
      "learning_rate": 9.901954143104588e-05,
      "loss": 0.0369,
      "step": 6600
    },
    {
      "epoch": 18.36111111111111,
      "grad_norm": 0.40575554966926575,
      "learning_rate": 9.901410335738496e-05,
      "loss": 0.0331,
      "step": 6610
    },
    {
      "epoch": 18.38888888888889,
      "grad_norm": 0.3970263600349426,
      "learning_rate": 9.900865039453358e-05,
      "loss": 0.0466,
      "step": 6620
    },
    {
      "epoch": 18.416666666666668,
      "grad_norm": 0.43615126609802246,
      "learning_rate": 9.900318254414821e-05,
      "loss": 0.0401,
      "step": 6630
    },
    {
      "epoch": 18.444444444444443,
      "grad_norm": 0.34157827496528625,
      "learning_rate": 9.899769980788985e-05,
      "loss": 0.0407,
      "step": 6640
    },
    {
      "epoch": 18.47222222222222,
      "grad_norm": 0.34871047735214233,
      "learning_rate": 9.899220218742398e-05,
      "loss": 0.0355,
      "step": 6650
    },
    {
      "epoch": 18.5,
      "grad_norm": 0.5209552049636841,
      "learning_rate": 9.898668968442066e-05,
      "loss": 0.0489,
      "step": 6660
    },
    {
      "epoch": 18.52777777777778,
      "grad_norm": 0.5041873455047607,
      "learning_rate": 9.898116230055443e-05,
      "loss": 0.0458,
      "step": 6670
    },
    {
      "epoch": 18.555555555555557,
      "grad_norm": 0.41055697202682495,
      "learning_rate": 9.897562003750437e-05,
      "loss": 0.0404,
      "step": 6680
    },
    {
      "epoch": 18.583333333333332,
      "grad_norm": 0.5619783997535706,
      "learning_rate": 9.897006289695407e-05,
      "loss": 0.0472,
      "step": 6690
    },
    {
      "epoch": 18.61111111111111,
      "grad_norm": 0.3748762905597687,
      "learning_rate": 9.896449088059164e-05,
      "loss": 0.0503,
      "step": 6700
    },
    {
      "epoch": 18.63888888888889,
      "grad_norm": 0.6624008417129517,
      "learning_rate": 9.89589039901097e-05,
      "loss": 0.048,
      "step": 6710
    },
    {
      "epoch": 18.666666666666668,
      "grad_norm": 0.43418386578559875,
      "learning_rate": 9.895330222720542e-05,
      "loss": 0.0391,
      "step": 6720
    },
    {
      "epoch": 18.694444444444443,
      "grad_norm": 0.34725725650787354,
      "learning_rate": 9.894768559358047e-05,
      "loss": 0.0552,
      "step": 6730
    },
    {
      "epoch": 18.72222222222222,
      "grad_norm": 0.37740594148635864,
      "learning_rate": 9.894205409094101e-05,
      "loss": 0.0539,
      "step": 6740
    },
    {
      "epoch": 18.75,
      "grad_norm": 0.4347045123577118,
      "learning_rate": 9.893640772099777e-05,
      "loss": 0.0414,
      "step": 6750
    },
    {
      "epoch": 18.77777777777778,
      "grad_norm": 0.3054473400115967,
      "learning_rate": 9.893074648546595e-05,
      "loss": 0.0485,
      "step": 6760
    },
    {
      "epoch": 18.805555555555557,
      "grad_norm": 0.4635625183582306,
      "learning_rate": 9.892507038606528e-05,
      "loss": 0.0483,
      "step": 6770
    },
    {
      "epoch": 18.833333333333332,
      "grad_norm": 0.3304610252380371,
      "learning_rate": 9.891937942452003e-05,
      "loss": 0.0423,
      "step": 6780
    },
    {
      "epoch": 18.86111111111111,
      "grad_norm": 0.3998772203922272,
      "learning_rate": 9.891367360255895e-05,
      "loss": 0.0394,
      "step": 6790
    },
    {
      "epoch": 18.88888888888889,
      "grad_norm": 0.4846358001232147,
      "learning_rate": 9.890795292191532e-05,
      "loss": 0.0585,
      "step": 6800
    },
    {
      "epoch": 18.916666666666668,
      "grad_norm": 0.5195375680923462,
      "learning_rate": 9.890221738432694e-05,
      "loss": 0.0469,
      "step": 6810
    },
    {
      "epoch": 18.944444444444443,
      "grad_norm": 0.39641648530960083,
      "learning_rate": 9.88964669915361e-05,
      "loss": 0.0391,
      "step": 6820
    },
    {
      "epoch": 18.97222222222222,
      "grad_norm": 0.49513575434684753,
      "learning_rate": 9.889070174528963e-05,
      "loss": 0.0504,
      "step": 6830
    },
    {
      "epoch": 19.0,
      "grad_norm": 0.3874155282974243,
      "learning_rate": 9.888492164733883e-05,
      "loss": 0.0414,
      "step": 6840
    },
    {
      "epoch": 19.02777777777778,
      "grad_norm": 0.5034620761871338,
      "learning_rate": 9.88791266994396e-05,
      "loss": 0.0441,
      "step": 6850
    },
    {
      "epoch": 19.055555555555557,
      "grad_norm": 0.4384063184261322,
      "learning_rate": 9.887331690335223e-05,
      "loss": 0.0379,
      "step": 6860
    },
    {
      "epoch": 19.083333333333332,
      "grad_norm": 0.358763724565506,
      "learning_rate": 9.886749226084163e-05,
      "loss": 0.0342,
      "step": 6870
    },
    {
      "epoch": 19.11111111111111,
      "grad_norm": 0.5686387419700623,
      "learning_rate": 9.886165277367714e-05,
      "loss": 0.0479,
      "step": 6880
    },
    {
      "epoch": 19.13888888888889,
      "grad_norm": 0.44150814414024353,
      "learning_rate": 9.885579844363265e-05,
      "loss": 0.038,
      "step": 6890
    },
    {
      "epoch": 19.166666666666668,
      "grad_norm": 0.4911991059780121,
      "learning_rate": 9.884992927248656e-05,
      "loss": 0.0422,
      "step": 6900
    },
    {
      "epoch": 19.194444444444443,
      "grad_norm": 0.42183223366737366,
      "learning_rate": 9.884404526202178e-05,
      "loss": 0.0461,
      "step": 6910
    },
    {
      "epoch": 19.22222222222222,
      "grad_norm": 0.45198726654052734,
      "learning_rate": 9.883814641402568e-05,
      "loss": 0.0548,
      "step": 6920
    },
    {
      "epoch": 19.25,
      "grad_norm": 0.3692805767059326,
      "learning_rate": 9.88322327302902e-05,
      "loss": 0.0405,
      "step": 6930
    },
    {
      "epoch": 19.27777777777778,
      "grad_norm": 0.24875371158123016,
      "learning_rate": 9.882630421261176e-05,
      "loss": 0.042,
      "step": 6940
    },
    {
      "epoch": 19.305555555555557,
      "grad_norm": 0.3821290135383606,
      "learning_rate": 9.88203608627913e-05,
      "loss": 0.0428,
      "step": 6950
    },
    {
      "epoch": 19.333333333333332,
      "grad_norm": 0.499127060174942,
      "learning_rate": 9.881440268263422e-05,
      "loss": 0.0428,
      "step": 6960
    },
    {
      "epoch": 19.36111111111111,
      "grad_norm": 0.31178319454193115,
      "learning_rate": 9.880842967395048e-05,
      "loss": 0.0414,
      "step": 6970
    },
    {
      "epoch": 19.38888888888889,
      "grad_norm": 0.43294036388397217,
      "learning_rate": 9.880244183855452e-05,
      "loss": 0.0413,
      "step": 6980
    },
    {
      "epoch": 19.416666666666668,
      "grad_norm": 0.3773968815803528,
      "learning_rate": 9.879643917826527e-05,
      "loss": 0.0605,
      "step": 6990
    },
    {
      "epoch": 19.444444444444443,
      "grad_norm": 0.5495682954788208,
      "learning_rate": 9.87904216949062e-05,
      "loss": 0.0453,
      "step": 7000
    },
    {
      "epoch": 19.47222222222222,
      "grad_norm": 0.39286115765571594,
      "learning_rate": 9.878438939030526e-05,
      "loss": 0.0511,
      "step": 7010
    },
    {
      "epoch": 19.5,
      "grad_norm": 0.46469467878341675,
      "learning_rate": 9.877834226629489e-05,
      "loss": 0.0441,
      "step": 7020
    },
    {
      "epoch": 19.52777777777778,
      "grad_norm": 0.513972818851471,
      "learning_rate": 9.877228032471206e-05,
      "loss": 0.0455,
      "step": 7030
    },
    {
      "epoch": 19.555555555555557,
      "grad_norm": 0.3466476500034332,
      "learning_rate": 9.876620356739823e-05,
      "loss": 0.0412,
      "step": 7040
    },
    {
      "epoch": 19.583333333333332,
      "grad_norm": 0.5489665269851685,
      "learning_rate": 9.876011199619935e-05,
      "loss": 0.0421,
      "step": 7050
    },
    {
      "epoch": 19.61111111111111,
      "grad_norm": 0.4170556366443634,
      "learning_rate": 9.875400561296589e-05,
      "loss": 0.044,
      "step": 7060
    },
    {
      "epoch": 19.63888888888889,
      "grad_norm": 0.4436919093132019,
      "learning_rate": 9.874788441955278e-05,
      "loss": 0.053,
      "step": 7070
    },
    {
      "epoch": 19.666666666666668,
      "grad_norm": 0.43778103590011597,
      "learning_rate": 9.874174841781951e-05,
      "loss": 0.0509,
      "step": 7080
    },
    {
      "epoch": 19.694444444444443,
      "grad_norm": 0.4557650089263916,
      "learning_rate": 9.873559760963003e-05,
      "loss": 0.045,
      "step": 7090
    },
    {
      "epoch": 19.72222222222222,
      "grad_norm": 0.4490399658679962,
      "learning_rate": 9.872943199685278e-05,
      "loss": 0.0425,
      "step": 7100
    },
    {
      "epoch": 19.75,
      "grad_norm": 0.33847105503082275,
      "learning_rate": 9.872325158136071e-05,
      "loss": 0.0437,
      "step": 7110
    },
    {
      "epoch": 19.77777777777778,
      "grad_norm": 0.43044203519821167,
      "learning_rate": 9.871705636503128e-05,
      "loss": 0.0361,
      "step": 7120
    },
    {
      "epoch": 19.805555555555557,
      "grad_norm": 0.3601546585559845,
      "learning_rate": 9.871084634974641e-05,
      "loss": 0.0412,
      "step": 7130
    },
    {
      "epoch": 19.833333333333332,
      "grad_norm": 0.4261723458766937,
      "learning_rate": 9.870462153739257e-05,
      "loss": 0.0462,
      "step": 7140
    },
    {
      "epoch": 19.86111111111111,
      "grad_norm": 0.3638973832130432,
      "learning_rate": 9.869838192986067e-05,
      "loss": 0.0427,
      "step": 7150
    },
    {
      "epoch": 19.88888888888889,
      "grad_norm": 0.34528467059135437,
      "learning_rate": 9.869212752904616e-05,
      "loss": 0.0467,
      "step": 7160
    },
    {
      "epoch": 19.916666666666668,
      "grad_norm": 0.3777969181537628,
      "learning_rate": 9.868585833684894e-05,
      "loss": 0.0409,
      "step": 7170
    },
    {
      "epoch": 19.944444444444443,
      "grad_norm": 0.5134843587875366,
      "learning_rate": 9.867957435517342e-05,
      "loss": 0.0419,
      "step": 7180
    },
    {
      "epoch": 19.97222222222222,
      "grad_norm": 0.4338233470916748,
      "learning_rate": 9.867327558592854e-05,
      "loss": 0.0418,
      "step": 7190
    },
    {
      "epoch": 20.0,
      "grad_norm": 0.4132082164287567,
      "learning_rate": 9.866696203102766e-05,
      "loss": 0.0482,
      "step": 7200
    },
    {
      "epoch": 20.02777777777778,
      "grad_norm": 0.4541338384151459,
      "learning_rate": 9.86606336923887e-05,
      "loss": 0.0392,
      "step": 7210
    },
    {
      "epoch": 20.055555555555557,
      "grad_norm": 0.3225592374801636,
      "learning_rate": 9.865429057193403e-05,
      "loss": 0.0392,
      "step": 7220
    },
    {
      "epoch": 20.083333333333332,
      "grad_norm": 0.47814586758613586,
      "learning_rate": 9.864793267159053e-05,
      "loss": 0.0417,
      "step": 7230
    },
    {
      "epoch": 20.11111111111111,
      "grad_norm": 0.5057500600814819,
      "learning_rate": 9.864155999328957e-05,
      "loss": 0.0408,
      "step": 7240
    },
    {
      "epoch": 20.13888888888889,
      "grad_norm": 0.39043989777565,
      "learning_rate": 9.8635172538967e-05,
      "loss": 0.0467,
      "step": 7250
    },
    {
      "epoch": 20.166666666666668,
      "grad_norm": 0.4099009037017822,
      "learning_rate": 9.862877031056312e-05,
      "loss": 0.0412,
      "step": 7260
    },
    {
      "epoch": 20.194444444444443,
      "grad_norm": 0.39694204926490784,
      "learning_rate": 9.862235331002279e-05,
      "loss": 0.0526,
      "step": 7270
    },
    {
      "epoch": 20.22222222222222,
      "grad_norm": 0.6207770705223083,
      "learning_rate": 9.861592153929533e-05,
      "loss": 0.0456,
      "step": 7280
    },
    {
      "epoch": 20.25,
      "grad_norm": 0.638024628162384,
      "learning_rate": 9.860947500033455e-05,
      "loss": 0.0458,
      "step": 7290
    },
    {
      "epoch": 20.27777777777778,
      "grad_norm": 0.39028218388557434,
      "learning_rate": 9.86030136950987e-05,
      "loss": 0.0533,
      "step": 7300
    },
    {
      "epoch": 20.305555555555557,
      "grad_norm": 0.3565112054347992,
      "learning_rate": 9.85965376255506e-05,
      "loss": 0.0364,
      "step": 7310
    },
    {
      "epoch": 20.333333333333332,
      "grad_norm": 0.4243835210800171,
      "learning_rate": 9.859004679365747e-05,
      "loss": 0.037,
      "step": 7320
    },
    {
      "epoch": 20.36111111111111,
      "grad_norm": 0.2703021764755249,
      "learning_rate": 9.858354120139108e-05,
      "loss": 0.0388,
      "step": 7330
    },
    {
      "epoch": 20.38888888888889,
      "grad_norm": 0.42984768748283386,
      "learning_rate": 9.857702085072764e-05,
      "loss": 0.0425,
      "step": 7340
    },
    {
      "epoch": 20.416666666666668,
      "grad_norm": 0.35581597685813904,
      "learning_rate": 9.857048574364787e-05,
      "loss": 0.042,
      "step": 7350
    },
    {
      "epoch": 20.444444444444443,
      "grad_norm": 0.2501869797706604,
      "learning_rate": 9.856393588213698e-05,
      "loss": 0.0492,
      "step": 7360
    },
    {
      "epoch": 20.47222222222222,
      "grad_norm": 0.441734254360199,
      "learning_rate": 9.855737126818458e-05,
      "loss": 0.0463,
      "step": 7370
    },
    {
      "epoch": 20.5,
      "grad_norm": 0.40835312008857727,
      "learning_rate": 9.855079190378491e-05,
      "loss": 0.0454,
      "step": 7380
    },
    {
      "epoch": 20.52777777777778,
      "grad_norm": 0.5429778099060059,
      "learning_rate": 9.854419779093655e-05,
      "loss": 0.0409,
      "step": 7390
    },
    {
      "epoch": 20.555555555555557,
      "grad_norm": 0.6287609338760376,
      "learning_rate": 9.853758893164264e-05,
      "loss": 0.0371,
      "step": 7400
    },
    {
      "epoch": 20.583333333333332,
      "grad_norm": 0.4151298999786377,
      "learning_rate": 9.853096532791078e-05,
      "loss": 0.0381,
      "step": 7410
    },
    {
      "epoch": 20.61111111111111,
      "grad_norm": 0.31631577014923096,
      "learning_rate": 9.852432698175304e-05,
      "loss": 0.051,
      "step": 7420
    },
    {
      "epoch": 20.63888888888889,
      "grad_norm": 0.40463903546333313,
      "learning_rate": 9.851767389518597e-05,
      "loss": 0.0476,
      "step": 7430
    },
    {
      "epoch": 20.666666666666668,
      "grad_norm": 0.38690096139907837,
      "learning_rate": 9.85110060702306e-05,
      "loss": 0.0377,
      "step": 7440
    },
    {
      "epoch": 20.694444444444443,
      "grad_norm": 0.4867382049560547,
      "learning_rate": 9.850432350891245e-05,
      "loss": 0.037,
      "step": 7450
    },
    {
      "epoch": 20.72222222222222,
      "grad_norm": 0.43158015608787537,
      "learning_rate": 9.84976262132615e-05,
      "loss": 0.0391,
      "step": 7460
    },
    {
      "epoch": 20.75,
      "grad_norm": 0.3824580907821655,
      "learning_rate": 9.849091418531222e-05,
      "loss": 0.0422,
      "step": 7470
    },
    {
      "epoch": 20.77777777777778,
      "grad_norm": 0.392055481672287,
      "learning_rate": 9.848418742710353e-05,
      "loss": 0.0452,
      "step": 7480
    },
    {
      "epoch": 20.805555555555557,
      "grad_norm": 0.30158334970474243,
      "learning_rate": 9.847744594067885e-05,
      "loss": 0.039,
      "step": 7490
    },
    {
      "epoch": 20.833333333333332,
      "grad_norm": 0.41294440627098083,
      "learning_rate": 9.847068972808607e-05,
      "loss": 0.0466,
      "step": 7500
    },
    {
      "epoch": 20.86111111111111,
      "grad_norm": 0.4705151915550232,
      "learning_rate": 9.846391879137756e-05,
      "loss": 0.035,
      "step": 7510
    },
    {
      "epoch": 20.88888888888889,
      "grad_norm": 0.2938651144504547,
      "learning_rate": 9.845713313261012e-05,
      "loss": 0.0434,
      "step": 7520
    },
    {
      "epoch": 20.916666666666668,
      "grad_norm": 0.4773240387439728,
      "learning_rate": 9.845033275384505e-05,
      "loss": 0.0538,
      "step": 7530
    },
    {
      "epoch": 20.944444444444443,
      "grad_norm": 0.4515802562236786,
      "learning_rate": 9.844351765714818e-05,
      "loss": 0.0409,
      "step": 7540
    },
    {
      "epoch": 20.97222222222222,
      "grad_norm": 0.4823540449142456,
      "learning_rate": 9.843668784458971e-05,
      "loss": 0.0449,
      "step": 7550
    },
    {
      "epoch": 21.0,
      "grad_norm": 0.3031737208366394,
      "learning_rate": 9.842984331824437e-05,
      "loss": 0.037,
      "step": 7560
    },
    {
      "epoch": 21.02777777777778,
      "grad_norm": 0.46155935525894165,
      "learning_rate": 9.842298408019133e-05,
      "loss": 0.029,
      "step": 7570
    },
    {
      "epoch": 21.055555555555557,
      "grad_norm": 0.5091646909713745,
      "learning_rate": 9.841611013251429e-05,
      "loss": 0.043,
      "step": 7580
    },
    {
      "epoch": 21.083333333333332,
      "grad_norm": 0.3332074284553528,
      "learning_rate": 9.840922147730133e-05,
      "loss": 0.0406,
      "step": 7590
    },
    {
      "epoch": 21.11111111111111,
      "grad_norm": 0.4040653705596924,
      "learning_rate": 9.840231811664506e-05,
      "loss": 0.0416,
      "step": 7600
    },
    {
      "epoch": 21.13888888888889,
      "grad_norm": 0.3840552270412445,
      "learning_rate": 9.839540005264252e-05,
      "loss": 0.0422,
      "step": 7610
    },
    {
      "epoch": 21.166666666666668,
      "grad_norm": 0.4698893129825592,
      "learning_rate": 9.838846728739527e-05,
      "loss": 0.0369,
      "step": 7620
    },
    {
      "epoch": 21.194444444444443,
      "grad_norm": 0.5024656057357788,
      "learning_rate": 9.838151982300927e-05,
      "loss": 0.0518,
      "step": 7630
    },
    {
      "epoch": 21.22222222222222,
      "grad_norm": 0.38175496459007263,
      "learning_rate": 9.8374557661595e-05,
      "loss": 0.0421,
      "step": 7640
    },
    {
      "epoch": 21.25,
      "grad_norm": 0.32900235056877136,
      "learning_rate": 9.836758080526735e-05,
      "loss": 0.0477,
      "step": 7650
    },
    {
      "epoch": 21.27777777777778,
      "grad_norm": 0.41890794038772583,
      "learning_rate": 9.836058925614575e-05,
      "loss": 0.0411,
      "step": 7660
    },
    {
      "epoch": 21.305555555555557,
      "grad_norm": 0.3070519268512726,
      "learning_rate": 9.8353583016354e-05,
      "loss": 0.0368,
      "step": 7670
    },
    {
      "epoch": 21.333333333333332,
      "grad_norm": 0.34582000970840454,
      "learning_rate": 9.834656208802044e-05,
      "loss": 0.0379,
      "step": 7680
    },
    {
      "epoch": 21.36111111111111,
      "grad_norm": 0.36336371302604675,
      "learning_rate": 9.833952647327784e-05,
      "loss": 0.0393,
      "step": 7690
    },
    {
      "epoch": 21.38888888888889,
      "grad_norm": 0.2882191240787506,
      "learning_rate": 9.833247617426342e-05,
      "loss": 0.0369,
      "step": 7700
    },
    {
      "epoch": 21.416666666666668,
      "grad_norm": 0.3902120590209961,
      "learning_rate": 9.832541119311889e-05,
      "loss": 0.0398,
      "step": 7710
    },
    {
      "epoch": 21.444444444444443,
      "grad_norm": 0.4618084728717804,
      "learning_rate": 9.83183315319904e-05,
      "loss": 0.0529,
      "step": 7720
    },
    {
      "epoch": 21.47222222222222,
      "grad_norm": 0.6362500190734863,
      "learning_rate": 9.831123719302855e-05,
      "loss": 0.0457,
      "step": 7730
    },
    {
      "epoch": 21.5,
      "grad_norm": 0.3663429915904999,
      "learning_rate": 9.830412817838842e-05,
      "loss": 0.0416,
      "step": 7740
    },
    {
      "epoch": 21.52777777777778,
      "grad_norm": 0.41520747542381287,
      "learning_rate": 9.829700449022956e-05,
      "loss": 0.0466,
      "step": 7750
    },
    {
      "epoch": 21.555555555555557,
      "grad_norm": 0.41378170251846313,
      "learning_rate": 9.828986613071593e-05,
      "loss": 0.0372,
      "step": 7760
    },
    {
      "epoch": 21.583333333333332,
      "grad_norm": 0.5384426712989807,
      "learning_rate": 9.828271310201601e-05,
      "loss": 0.0394,
      "step": 7770
    },
    {
      "epoch": 21.61111111111111,
      "grad_norm": 0.26162660121917725,
      "learning_rate": 9.827554540630268e-05,
      "loss": 0.0423,
      "step": 7780
    },
    {
      "epoch": 21.63888888888889,
      "grad_norm": 0.430646151304245,
      "learning_rate": 9.826836304575329e-05,
      "loss": 0.051,
      "step": 7790
    },
    {
      "epoch": 21.666666666666668,
      "grad_norm": 0.43823471665382385,
      "learning_rate": 9.826116602254966e-05,
      "loss": 0.0338,
      "step": 7800
    },
    {
      "epoch": 21.694444444444443,
      "grad_norm": 0.6323230862617493,
      "learning_rate": 9.825395433887805e-05,
      "loss": 0.0418,
      "step": 7810
    },
    {
      "epoch": 21.72222222222222,
      "grad_norm": 0.5517172813415527,
      "learning_rate": 9.824672799692917e-05,
      "loss": 0.0401,
      "step": 7820
    },
    {
      "epoch": 21.75,
      "grad_norm": 0.4848576784133911,
      "learning_rate": 9.823948699889823e-05,
      "loss": 0.0397,
      "step": 7830
    },
    {
      "epoch": 21.77777777777778,
      "grad_norm": 0.30946993827819824,
      "learning_rate": 9.823223134698483e-05,
      "loss": 0.0358,
      "step": 7840
    },
    {
      "epoch": 21.805555555555557,
      "grad_norm": 0.3554217219352722,
      "learning_rate": 9.822496104339303e-05,
      "loss": 0.039,
      "step": 7850
    },
    {
      "epoch": 21.833333333333332,
      "grad_norm": 0.3439159095287323,
      "learning_rate": 9.821767609033138e-05,
      "loss": 0.0418,
      "step": 7860
    },
    {
      "epoch": 21.86111111111111,
      "grad_norm": 0.3887191116809845,
      "learning_rate": 9.821037649001284e-05,
      "loss": 0.0428,
      "step": 7870
    },
    {
      "epoch": 21.88888888888889,
      "grad_norm": 0.4267927408218384,
      "learning_rate": 9.820306224465486e-05,
      "loss": 0.0454,
      "step": 7880
    },
    {
      "epoch": 21.916666666666668,
      "grad_norm": 0.3772796392440796,
      "learning_rate": 9.819573335647928e-05,
      "loss": 0.0394,
      "step": 7890
    },
    {
      "epoch": 21.944444444444443,
      "grad_norm": 0.5150009393692017,
      "learning_rate": 9.818838982771246e-05,
      "loss": 0.0497,
      "step": 7900
    },
    {
      "epoch": 21.97222222222222,
      "grad_norm": 0.584762692451477,
      "learning_rate": 9.818103166058514e-05,
      "loss": 0.0404,
      "step": 7910
    },
    {
      "epoch": 22.0,
      "grad_norm": 0.4295841157436371,
      "learning_rate": 9.817365885733254e-05,
      "loss": 0.0401,
      "step": 7920
    },
    {
      "epoch": 22.02777777777778,
      "grad_norm": 0.5026801228523254,
      "learning_rate": 9.816627142019434e-05,
      "loss": 0.0417,
      "step": 7930
    },
    {
      "epoch": 22.055555555555557,
      "grad_norm": 0.5684309601783752,
      "learning_rate": 9.815886935141463e-05,
      "loss": 0.0515,
      "step": 7940
    },
    {
      "epoch": 22.083333333333332,
      "grad_norm": 0.32040056586265564,
      "learning_rate": 9.8151452653242e-05,
      "loss": 0.0369,
      "step": 7950
    },
    {
      "epoch": 22.11111111111111,
      "grad_norm": 0.4021865129470825,
      "learning_rate": 9.814402132792939e-05,
      "loss": 0.0399,
      "step": 7960
    },
    {
      "epoch": 22.13888888888889,
      "grad_norm": 0.34036383032798767,
      "learning_rate": 9.813657537773428e-05,
      "loss": 0.0435,
      "step": 7970
    },
    {
      "epoch": 22.166666666666668,
      "grad_norm": 0.3929827809333801,
      "learning_rate": 9.812911480491854e-05,
      "loss": 0.0345,
      "step": 7980
    },
    {
      "epoch": 22.194444444444443,
      "grad_norm": 0.343670129776001,
      "learning_rate": 9.81216396117485e-05,
      "loss": 0.0384,
      "step": 7990
    },
    {
      "epoch": 22.22222222222222,
      "grad_norm": 0.46995046734809875,
      "learning_rate": 9.811414980049491e-05,
      "loss": 0.0423,
      "step": 8000
    },
    {
      "epoch": 22.25,
      "grad_norm": 0.36339613795280457,
      "learning_rate": 9.810664537343301e-05,
      "loss": 0.0381,
      "step": 8010
    },
    {
      "epoch": 22.27777777777778,
      "grad_norm": 0.517436146736145,
      "learning_rate": 9.809912633284243e-05,
      "loss": 0.0411,
      "step": 8020
    },
    {
      "epoch": 22.305555555555557,
      "grad_norm": 0.4532521367073059,
      "learning_rate": 9.809159268100725e-05,
      "loss": 0.0396,
      "step": 8030
    },
    {
      "epoch": 22.333333333333332,
      "grad_norm": 0.45068350434303284,
      "learning_rate": 9.808404442021599e-05,
      "loss": 0.0416,
      "step": 8040
    },
    {
      "epoch": 22.36111111111111,
      "grad_norm": 0.3908243477344513,
      "learning_rate": 9.807648155276163e-05,
      "loss": 0.0412,
      "step": 8050
    },
    {
      "epoch": 22.38888888888889,
      "grad_norm": 0.4463660717010498,
      "learning_rate": 9.806890408094156e-05,
      "loss": 0.0452,
      "step": 8060
    },
    {
      "epoch": 22.416666666666668,
      "grad_norm": 0.35538581013679504,
      "learning_rate": 9.806131200705761e-05,
      "loss": 0.0399,
      "step": 8070
    },
    {
      "epoch": 22.444444444444443,
      "grad_norm": 0.3342222571372986,
      "learning_rate": 9.805370533341605e-05,
      "loss": 0.0438,
      "step": 8080
    },
    {
      "epoch": 22.47222222222222,
      "grad_norm": 0.2491297423839569,
      "learning_rate": 9.804608406232762e-05,
      "loss": 0.0337,
      "step": 8090
    },
    {
      "epoch": 22.5,
      "grad_norm": 0.5115106105804443,
      "learning_rate": 9.803844819610741e-05,
      "loss": 0.0367,
      "step": 8100
    },
    {
      "epoch": 22.52777777777778,
      "grad_norm": 0.4691653847694397,
      "learning_rate": 9.803079773707504e-05,
      "loss": 0.0441,
      "step": 8110
    },
    {
      "epoch": 22.555555555555557,
      "grad_norm": 0.387883722782135,
      "learning_rate": 9.802313268755447e-05,
      "loss": 0.0495,
      "step": 8120
    },
    {
      "epoch": 22.583333333333332,
      "grad_norm": 0.5042169690132141,
      "learning_rate": 9.801545304987419e-05,
      "loss": 0.0399,
      "step": 8130
    },
    {
      "epoch": 22.61111111111111,
      "grad_norm": 0.3039516508579254,
      "learning_rate": 9.800775882636704e-05,
      "loss": 0.036,
      "step": 8140
    },
    {
      "epoch": 22.63888888888889,
      "grad_norm": 0.3825798034667969,
      "learning_rate": 9.800005001937034e-05,
      "loss": 0.0353,
      "step": 8150
    },
    {
      "epoch": 22.666666666666668,
      "grad_norm": 0.5168004631996155,
      "learning_rate": 9.79923266312258e-05,
      "loss": 0.0363,
      "step": 8160
    },
    {
      "epoch": 22.694444444444443,
      "grad_norm": 0.4405468702316284,
      "learning_rate": 9.79845886642796e-05,
      "loss": 0.0425,
      "step": 8170
    },
    {
      "epoch": 22.72222222222222,
      "grad_norm": 0.36728912591934204,
      "learning_rate": 9.797683612088233e-05,
      "loss": 0.0351,
      "step": 8180
    },
    {
      "epoch": 22.75,
      "grad_norm": 0.30308184027671814,
      "learning_rate": 9.796906900338898e-05,
      "loss": 0.0426,
      "step": 8190
    },
    {
      "epoch": 22.77777777777778,
      "grad_norm": 0.5147747993469238,
      "learning_rate": 9.796128731415903e-05,
      "loss": 0.0447,
      "step": 8200
    },
    {
      "epoch": 22.805555555555557,
      "grad_norm": 0.43667349219322205,
      "learning_rate": 9.795349105555634e-05,
      "loss": 0.0408,
      "step": 8210
    },
    {
      "epoch": 22.833333333333332,
      "grad_norm": 0.3286527395248413,
      "learning_rate": 9.794568022994922e-05,
      "loss": 0.0427,
      "step": 8220
    },
    {
      "epoch": 22.86111111111111,
      "grad_norm": 0.554542064666748,
      "learning_rate": 9.793785483971034e-05,
      "loss": 0.0384,
      "step": 8230
    },
    {
      "epoch": 22.88888888888889,
      "grad_norm": 0.35153689980506897,
      "learning_rate": 9.793001488721691e-05,
      "loss": 0.0439,
      "step": 8240
    },
    {
      "epoch": 22.916666666666668,
      "grad_norm": 0.5106646418571472,
      "learning_rate": 9.792216037485047e-05,
      "loss": 0.0423,
      "step": 8250
    },
    {
      "epoch": 22.944444444444443,
      "grad_norm": 0.26904186606407166,
      "learning_rate": 9.791429130499704e-05,
      "loss": 0.0379,
      "step": 8260
    },
    {
      "epoch": 22.97222222222222,
      "grad_norm": 0.3914041817188263,
      "learning_rate": 9.790640768004698e-05,
      "loss": 0.0406,
      "step": 8270
    },
    {
      "epoch": 23.0,
      "grad_norm": 0.36637839674949646,
      "learning_rate": 9.789850950239518e-05,
      "loss": 0.0465,
      "step": 8280
    },
    {
      "epoch": 23.02777777777778,
      "grad_norm": 0.39964860677719116,
      "learning_rate": 9.789059677444089e-05,
      "loss": 0.0423,
      "step": 8290
    },
    {
      "epoch": 23.055555555555557,
      "grad_norm": 0.29697155952453613,
      "learning_rate": 9.788266949858776e-05,
      "loss": 0.0312,
      "step": 8300
    },
    {
      "epoch": 23.083333333333332,
      "grad_norm": 0.38525062799453735,
      "learning_rate": 9.787472767724392e-05,
      "loss": 0.0264,
      "step": 8310
    },
    {
      "epoch": 23.11111111111111,
      "grad_norm": 0.4605041444301605,
      "learning_rate": 9.786677131282185e-05,
      "loss": 0.0351,
      "step": 8320
    },
    {
      "epoch": 23.13888888888889,
      "grad_norm": 0.5229693651199341,
      "learning_rate": 9.785880040773853e-05,
      "loss": 0.0409,
      "step": 8330
    },
    {
      "epoch": 23.166666666666668,
      "grad_norm": 0.583057165145874,
      "learning_rate": 9.785081496441527e-05,
      "loss": 0.0455,
      "step": 8340
    },
    {
      "epoch": 23.194444444444443,
      "grad_norm": 0.43487441539764404,
      "learning_rate": 9.784281498527785e-05,
      "loss": 0.0396,
      "step": 8350
    },
    {
      "epoch": 23.22222222222222,
      "grad_norm": 0.5093019008636475,
      "learning_rate": 9.783480047275646e-05,
      "loss": 0.0471,
      "step": 8360
    },
    {
      "epoch": 23.25,
      "grad_norm": 0.30429500341415405,
      "learning_rate": 9.78267714292857e-05,
      "loss": 0.0406,
      "step": 8370
    },
    {
      "epoch": 23.27777777777778,
      "grad_norm": 0.40839502215385437,
      "learning_rate": 9.781872785730454e-05,
      "loss": 0.0386,
      "step": 8380
    },
    {
      "epoch": 23.305555555555557,
      "grad_norm": 0.4250197410583496,
      "learning_rate": 9.781066975925646e-05,
      "loss": 0.0365,
      "step": 8390
    },
    {
      "epoch": 23.333333333333332,
      "grad_norm": 0.5331578254699707,
      "learning_rate": 9.780259713758928e-05,
      "loss": 0.0339,
      "step": 8400
    },
    {
      "epoch": 23.36111111111111,
      "grad_norm": 0.43659278750419617,
      "learning_rate": 9.779450999475524e-05,
      "loss": 0.0331,
      "step": 8410
    },
    {
      "epoch": 23.38888888888889,
      "grad_norm": 0.3350052535533905,
      "learning_rate": 9.7786408333211e-05,
      "loss": 0.0319,
      "step": 8420
    },
    {
      "epoch": 23.416666666666668,
      "grad_norm": 0.3803161084651947,
      "learning_rate": 9.777829215541764e-05,
      "loss": 0.0385,
      "step": 8430
    },
    {
      "epoch": 23.444444444444443,
      "grad_norm": 0.28956887125968933,
      "learning_rate": 9.777016146384064e-05,
      "loss": 0.0308,
      "step": 8440
    },
    {
      "epoch": 23.47222222222222,
      "grad_norm": 0.36499151587486267,
      "learning_rate": 9.776201626094988e-05,
      "loss": 0.0303,
      "step": 8450
    },
    {
      "epoch": 23.5,
      "grad_norm": 0.33253753185272217,
      "learning_rate": 9.775385654921965e-05,
      "loss": 0.0316,
      "step": 8460
    },
    {
      "epoch": 23.52777777777778,
      "grad_norm": 0.22281813621520996,
      "learning_rate": 9.774568233112868e-05,
      "loss": 0.0356,
      "step": 8470
    },
    {
      "epoch": 23.555555555555557,
      "grad_norm": 0.39639973640441895,
      "learning_rate": 9.773749360916007e-05,
      "loss": 0.0392,
      "step": 8480
    },
    {
      "epoch": 23.583333333333332,
      "grad_norm": 0.2713901698589325,
      "learning_rate": 9.772929038580134e-05,
      "loss": 0.0355,
      "step": 8490
    },
    {
      "epoch": 23.61111111111111,
      "grad_norm": 0.6843470335006714,
      "learning_rate": 9.772107266354439e-05,
      "loss": 0.0411,
      "step": 8500
    },
    {
      "epoch": 23.63888888888889,
      "grad_norm": 0.39796748757362366,
      "learning_rate": 9.77128404448856e-05,
      "loss": 0.05,
      "step": 8510
    },
    {
      "epoch": 23.666666666666668,
      "grad_norm": 0.29270631074905396,
      "learning_rate": 9.770459373232565e-05,
      "loss": 0.0273,
      "step": 8520
    },
    {
      "epoch": 23.694444444444443,
      "grad_norm": 0.6219739317893982,
      "learning_rate": 9.769633252836969e-05,
      "loss": 0.0425,
      "step": 8530
    },
    {
      "epoch": 23.72222222222222,
      "grad_norm": 0.2732336223125458,
      "learning_rate": 9.768805683552724e-05,
      "loss": 0.0299,
      "step": 8540
    },
    {
      "epoch": 23.75,
      "grad_norm": 0.4432368874549866,
      "learning_rate": 9.767976665631228e-05,
      "loss": 0.0333,
      "step": 8550
    },
    {
      "epoch": 23.77777777777778,
      "grad_norm": 0.41201645135879517,
      "learning_rate": 9.767146199324311e-05,
      "loss": 0.0365,
      "step": 8560
    },
    {
      "epoch": 23.805555555555557,
      "grad_norm": 0.3159996271133423,
      "learning_rate": 9.766314284884249e-05,
      "loss": 0.0282,
      "step": 8570
    },
    {
      "epoch": 23.833333333333332,
      "grad_norm": 0.3660634756088257,
      "learning_rate": 9.765480922563752e-05,
      "loss": 0.0359,
      "step": 8580
    },
    {
      "epoch": 23.86111111111111,
      "grad_norm": 0.3574122190475464,
      "learning_rate": 9.764646112615978e-05,
      "loss": 0.0348,
      "step": 8590
    },
    {
      "epoch": 23.88888888888889,
      "grad_norm": 0.41101428866386414,
      "learning_rate": 9.763809855294517e-05,
      "loss": 0.0308,
      "step": 8600
    },
    {
      "epoch": 23.916666666666668,
      "grad_norm": 0.47952836751937866,
      "learning_rate": 9.762972150853404e-05,
      "loss": 0.0325,
      "step": 8610
    },
    {
      "epoch": 23.944444444444443,
      "grad_norm": 0.6542308926582336,
      "learning_rate": 9.762132999547111e-05,
      "loss": 0.0333,
      "step": 8620
    },
    {
      "epoch": 23.97222222222222,
      "grad_norm": 0.36634939908981323,
      "learning_rate": 9.761292401630549e-05,
      "loss": 0.041,
      "step": 8630
    },
    {
      "epoch": 24.0,
      "grad_norm": 0.2557793855667114,
      "learning_rate": 9.76045035735907e-05,
      "loss": 0.0316,
      "step": 8640
    },
    {
      "epoch": 24.02777777777778,
      "grad_norm": 0.2344299554824829,
      "learning_rate": 9.759606866988464e-05,
      "loss": 0.0361,
      "step": 8650
    },
    {
      "epoch": 24.055555555555557,
      "grad_norm": 0.28437891602516174,
      "learning_rate": 9.758761930774963e-05,
      "loss": 0.0286,
      "step": 8660
    },
    {
      "epoch": 24.083333333333332,
      "grad_norm": 0.29630711674690247,
      "learning_rate": 9.757915548975235e-05,
      "loss": 0.0285,
      "step": 8670
    },
    {
      "epoch": 24.11111111111111,
      "grad_norm": 0.3176632225513458,
      "learning_rate": 9.757067721846389e-05,
      "loss": 0.034,
      "step": 8680
    },
    {
      "epoch": 24.13888888888889,
      "grad_norm": 0.28335288166999817,
      "learning_rate": 9.756218449645971e-05,
      "loss": 0.0312,
      "step": 8690
    },
    {
      "epoch": 24.166666666666668,
      "grad_norm": 0.3359662890434265,
      "learning_rate": 9.75536773263197e-05,
      "loss": 0.0357,
      "step": 8700
    },
    {
      "epoch": 24.194444444444443,
      "grad_norm": 0.3344214856624603,
      "learning_rate": 9.75451557106281e-05,
      "loss": 0.0301,
      "step": 8710
    },
    {
      "epoch": 24.22222222222222,
      "grad_norm": 0.4685099124908447,
      "learning_rate": 9.753661965197354e-05,
      "loss": 0.0345,
      "step": 8720
    },
    {
      "epoch": 24.25,
      "grad_norm": 0.3328855633735657,
      "learning_rate": 9.752806915294908e-05,
      "loss": 0.0359,
      "step": 8730
    },
    {
      "epoch": 24.27777777777778,
      "grad_norm": 0.44709011912345886,
      "learning_rate": 9.75195042161521e-05,
      "loss": 0.0347,
      "step": 8740
    },
    {
      "epoch": 24.305555555555557,
      "grad_norm": 0.3244399130344391,
      "learning_rate": 9.751092484418442e-05,
      "loss": 0.0284,
      "step": 8750
    },
    {
      "epoch": 24.333333333333332,
      "grad_norm": 0.4984663426876068,
      "learning_rate": 9.750233103965224e-05,
      "loss": 0.0365,
      "step": 8760
    },
    {
      "epoch": 24.36111111111111,
      "grad_norm": 0.5399380922317505,
      "learning_rate": 9.749372280516611e-05,
      "loss": 0.0402,
      "step": 8770
    },
    {
      "epoch": 24.38888888888889,
      "grad_norm": 0.433181494474411,
      "learning_rate": 9.748510014334097e-05,
      "loss": 0.0429,
      "step": 8780
    },
    {
      "epoch": 24.416666666666668,
      "grad_norm": 0.4819614589214325,
      "learning_rate": 9.747646305679621e-05,
      "loss": 0.0435,
      "step": 8790
    },
    {
      "epoch": 24.444444444444443,
      "grad_norm": 0.4712165892124176,
      "learning_rate": 9.74678115481555e-05,
      "loss": 0.0512,
      "step": 8800
    },
    {
      "epoch": 24.47222222222222,
      "grad_norm": 0.45377519726753235,
      "learning_rate": 9.745914562004696e-05,
      "loss": 0.039,
      "step": 8810
    },
    {
      "epoch": 24.5,
      "grad_norm": 0.2897077202796936,
      "learning_rate": 9.745046527510307e-05,
      "loss": 0.0339,
      "step": 8820
    },
    {
      "epoch": 24.52777777777778,
      "grad_norm": 0.41112959384918213,
      "learning_rate": 9.744177051596068e-05,
      "loss": 0.0383,
      "step": 8830
    },
    {
      "epoch": 24.555555555555557,
      "grad_norm": 0.48872876167297363,
      "learning_rate": 9.743306134526105e-05,
      "loss": 0.0391,
      "step": 8840
    },
    {
      "epoch": 24.583333333333332,
      "grad_norm": 0.3326432704925537,
      "learning_rate": 9.742433776564977e-05,
      "loss": 0.0332,
      "step": 8850
    },
    {
      "epoch": 24.61111111111111,
      "grad_norm": 0.4376048147678375,
      "learning_rate": 9.741559977977683e-05,
      "loss": 0.0384,
      "step": 8860
    },
    {
      "epoch": 24.63888888888889,
      "grad_norm": 0.3337365388870239,
      "learning_rate": 9.740684739029661e-05,
      "loss": 0.0362,
      "step": 8870
    },
    {
      "epoch": 24.666666666666668,
      "grad_norm": 0.38387197256088257,
      "learning_rate": 9.739808059986789e-05,
      "loss": 0.0461,
      "step": 8880
    },
    {
      "epoch": 24.694444444444443,
      "grad_norm": 0.4577653110027313,
      "learning_rate": 9.738929941115373e-05,
      "loss": 0.0428,
      "step": 8890
    },
    {
      "epoch": 24.72222222222222,
      "grad_norm": 0.35472238063812256,
      "learning_rate": 9.738050382682167e-05,
      "loss": 0.0259,
      "step": 8900
    },
    {
      "epoch": 24.75,
      "grad_norm": 0.3419206142425537,
      "learning_rate": 9.737169384954355e-05,
      "loss": 0.0383,
      "step": 8910
    },
    {
      "epoch": 24.77777777777778,
      "grad_norm": 0.3964384198188782,
      "learning_rate": 9.736286948199562e-05,
      "loss": 0.0349,
      "step": 8920
    },
    {
      "epoch": 24.805555555555557,
      "grad_norm": 0.40979835391044617,
      "learning_rate": 9.735403072685848e-05,
      "loss": 0.0337,
      "step": 8930
    },
    {
      "epoch": 24.833333333333332,
      "grad_norm": 0.41671156883239746,
      "learning_rate": 9.734517758681712e-05,
      "loss": 0.0356,
      "step": 8940
    },
    {
      "epoch": 24.86111111111111,
      "grad_norm": 0.3662734627723694,
      "learning_rate": 9.733631006456088e-05,
      "loss": 0.033,
      "step": 8950
    },
    {
      "epoch": 24.88888888888889,
      "grad_norm": 0.40663912892341614,
      "learning_rate": 9.732742816278348e-05,
      "loss": 0.0344,
      "step": 8960
    },
    {
      "epoch": 24.916666666666668,
      "grad_norm": 0.4490186870098114,
      "learning_rate": 9.731853188418302e-05,
      "loss": 0.0342,
      "step": 8970
    },
    {
      "epoch": 24.944444444444443,
      "grad_norm": 0.40896785259246826,
      "learning_rate": 9.730962123146194e-05,
      "loss": 0.041,
      "step": 8980
    },
    {
      "epoch": 24.97222222222222,
      "grad_norm": 0.4141765236854553,
      "learning_rate": 9.730069620732709e-05,
      "loss": 0.0372,
      "step": 8990
    },
    {
      "epoch": 25.0,
      "grad_norm": 0.3733750879764557,
      "learning_rate": 9.72917568144896e-05,
      "loss": 0.0336,
      "step": 9000
    },
    {
      "epoch": 25.02777777777778,
      "grad_norm": 0.41354718804359436,
      "learning_rate": 9.728280305566509e-05,
      "loss": 0.0438,
      "step": 9010
    },
    {
      "epoch": 25.055555555555557,
      "grad_norm": 0.37184637784957886,
      "learning_rate": 9.727383493357343e-05,
      "loss": 0.0417,
      "step": 9020
    },
    {
      "epoch": 25.083333333333332,
      "grad_norm": 0.4512590765953064,
      "learning_rate": 9.726485245093891e-05,
      "loss": 0.0379,
      "step": 9030
    },
    {
      "epoch": 25.11111111111111,
      "grad_norm": 0.38166239857673645,
      "learning_rate": 9.725585561049018e-05,
      "loss": 0.0325,
      "step": 9040
    },
    {
      "epoch": 25.13888888888889,
      "grad_norm": 0.5155565738677979,
      "learning_rate": 9.724684441496022e-05,
      "loss": 0.0444,
      "step": 9050
    },
    {
      "epoch": 25.166666666666668,
      "grad_norm": 0.39333489537239075,
      "learning_rate": 9.72378188670864e-05,
      "loss": 0.0356,
      "step": 9060
    },
    {
      "epoch": 25.194444444444443,
      "grad_norm": 0.37154000997543335,
      "learning_rate": 9.722877896961047e-05,
      "loss": 0.0323,
      "step": 9070
    },
    {
      "epoch": 25.22222222222222,
      "grad_norm": 0.31438085436820984,
      "learning_rate": 9.721972472527848e-05,
      "loss": 0.0352,
      "step": 9080
    },
    {
      "epoch": 25.25,
      "grad_norm": 0.23506170511245728,
      "learning_rate": 9.721065613684089e-05,
      "loss": 0.0307,
      "step": 9090
    },
    {
      "epoch": 25.27777777777778,
      "grad_norm": 0.3417910635471344,
      "learning_rate": 9.72015732070525e-05,
      "loss": 0.0321,
      "step": 9100
    },
    {
      "epoch": 25.305555555555557,
      "grad_norm": 0.4390089511871338,
      "learning_rate": 9.719247593867244e-05,
      "loss": 0.0276,
      "step": 9110
    },
    {
      "epoch": 25.333333333333332,
      "grad_norm": 0.4374780058860779,
      "learning_rate": 9.718336433446423e-05,
      "loss": 0.031,
      "step": 9120
    },
    {
      "epoch": 25.36111111111111,
      "grad_norm": 0.45824554562568665,
      "learning_rate": 9.717423839719574e-05,
      "loss": 0.0356,
      "step": 9130
    },
    {
      "epoch": 25.38888888888889,
      "grad_norm": 0.5066016912460327,
      "learning_rate": 9.71650981296392e-05,
      "loss": 0.0373,
      "step": 9140
    },
    {
      "epoch": 25.416666666666668,
      "grad_norm": 0.4528207778930664,
      "learning_rate": 9.715594353457118e-05,
      "loss": 0.0316,
      "step": 9150
    },
    {
      "epoch": 25.444444444444443,
      "grad_norm": 0.44694584608078003,
      "learning_rate": 9.714677461477257e-05,
      "loss": 0.0394,
      "step": 9160
    },
    {
      "epoch": 25.47222222222222,
      "grad_norm": 0.42617520689964294,
      "learning_rate": 9.713759137302869e-05,
      "loss": 0.0368,
      "step": 9170
    },
    {
      "epoch": 25.5,
      "grad_norm": 0.2780366837978363,
      "learning_rate": 9.712839381212914e-05,
      "loss": 0.0348,
      "step": 9180
    },
    {
      "epoch": 25.52777777777778,
      "grad_norm": 0.46712526679039,
      "learning_rate": 9.71191819348679e-05,
      "loss": 0.0354,
      "step": 9190
    },
    {
      "epoch": 25.555555555555557,
      "grad_norm": 0.3167226314544678,
      "learning_rate": 9.710995574404331e-05,
      "loss": 0.0351,
      "step": 9200
    },
    {
      "epoch": 25.583333333333332,
      "grad_norm": 0.40791717171669006,
      "learning_rate": 9.710071524245802e-05,
      "loss": 0.0403,
      "step": 9210
    },
    {
      "epoch": 25.61111111111111,
      "grad_norm": 0.43992501497268677,
      "learning_rate": 9.709146043291906e-05,
      "loss": 0.0292,
      "step": 9220
    },
    {
      "epoch": 25.63888888888889,
      "grad_norm": 0.4710354208946228,
      "learning_rate": 9.70821913182378e-05,
      "loss": 0.0373,
      "step": 9230
    },
    {
      "epoch": 25.666666666666668,
      "grad_norm": 0.26398414373397827,
      "learning_rate": 9.707290790122995e-05,
      "loss": 0.0337,
      "step": 9240
    },
    {
      "epoch": 25.694444444444443,
      "grad_norm": 0.3196277916431427,
      "learning_rate": 9.706361018471557e-05,
      "loss": 0.0347,
      "step": 9250
    },
    {
      "epoch": 25.72222222222222,
      "grad_norm": 0.35963723063468933,
      "learning_rate": 9.705429817151906e-05,
      "loss": 0.0351,
      "step": 9260
    },
    {
      "epoch": 25.75,
      "grad_norm": 0.300825297832489,
      "learning_rate": 9.704497186446917e-05,
      "loss": 0.0308,
      "step": 9270
    },
    {
      "epoch": 25.77777777777778,
      "grad_norm": 0.35549306869506836,
      "learning_rate": 9.703563126639896e-05,
      "loss": 0.0402,
      "step": 9280
    },
    {
      "epoch": 25.805555555555557,
      "grad_norm": 0.3910842537879944,
      "learning_rate": 9.70262763801459e-05,
      "loss": 0.0323,
      "step": 9290
    },
    {
      "epoch": 25.833333333333332,
      "grad_norm": 0.3422883450984955,
      "learning_rate": 9.701690720855171e-05,
      "loss": 0.0415,
      "step": 9300
    },
    {
      "epoch": 25.86111111111111,
      "grad_norm": 0.35620245337486267,
      "learning_rate": 9.700752375446253e-05,
      "loss": 0.0367,
      "step": 9310
    },
    {
      "epoch": 25.88888888888889,
      "grad_norm": 0.32093045115470886,
      "learning_rate": 9.69981260207288e-05,
      "loss": 0.0505,
      "step": 9320
    },
    {
      "epoch": 25.916666666666668,
      "grad_norm": 0.3531133234500885,
      "learning_rate": 9.698871401020529e-05,
      "loss": 0.0354,
      "step": 9330
    },
    {
      "epoch": 25.944444444444443,
      "grad_norm": 0.4186549484729767,
      "learning_rate": 9.697928772575112e-05,
      "loss": 0.0325,
      "step": 9340
    },
    {
      "epoch": 25.97222222222222,
      "grad_norm": 0.32927387952804565,
      "learning_rate": 9.696984717022976e-05,
      "loss": 0.0247,
      "step": 9350
    },
    {
      "epoch": 26.0,
      "grad_norm": 0.23745492100715637,
      "learning_rate": 9.6960392346509e-05,
      "loss": 0.0255,
      "step": 9360
    },
    {
      "epoch": 26.02777777777778,
      "grad_norm": 0.43985074758529663,
      "learning_rate": 9.695092325746097e-05,
      "loss": 0.0438,
      "step": 9370
    },
    {
      "epoch": 26.055555555555557,
      "grad_norm": 0.4156813621520996,
      "learning_rate": 9.694143990596211e-05,
      "loss": 0.032,
      "step": 9380
    },
    {
      "epoch": 26.083333333333332,
      "grad_norm": 0.32296666502952576,
      "learning_rate": 9.693194229489325e-05,
      "loss": 0.0461,
      "step": 9390
    },
    {
      "epoch": 26.11111111111111,
      "grad_norm": 0.3377094864845276,
      "learning_rate": 9.692243042713944e-05,
      "loss": 0.0294,
      "step": 9400
    },
    {
      "epoch": 26.13888888888889,
      "grad_norm": 0.3894241154193878,
      "learning_rate": 9.691290430559022e-05,
      "loss": 0.0342,
      "step": 9410
    },
    {
      "epoch": 26.166666666666668,
      "grad_norm": 0.2986670136451721,
      "learning_rate": 9.690336393313932e-05,
      "loss": 0.0313,
      "step": 9420
    },
    {
      "epoch": 26.194444444444443,
      "grad_norm": 0.33319664001464844,
      "learning_rate": 9.689380931268487e-05,
      "loss": 0.0368,
      "step": 9430
    },
    {
      "epoch": 26.22222222222222,
      "grad_norm": 0.2711215019226074,
      "learning_rate": 9.688424044712932e-05,
      "loss": 0.0324,
      "step": 9440
    },
    {
      "epoch": 26.25,
      "grad_norm": 0.34585875272750854,
      "learning_rate": 9.687465733937942e-05,
      "loss": 0.0395,
      "step": 9450
    },
    {
      "epoch": 26.27777777777778,
      "grad_norm": 0.3785850703716278,
      "learning_rate": 9.686505999234627e-05,
      "loss": 0.0291,
      "step": 9460
    },
    {
      "epoch": 26.305555555555557,
      "grad_norm": 0.27707481384277344,
      "learning_rate": 9.685544840894529e-05,
      "loss": 0.0309,
      "step": 9470
    },
    {
      "epoch": 26.333333333333332,
      "grad_norm": 0.3745734989643097,
      "learning_rate": 9.684582259209624e-05,
      "loss": 0.028,
      "step": 9480
    },
    {
      "epoch": 26.36111111111111,
      "grad_norm": 0.5323975682258606,
      "learning_rate": 9.683618254472317e-05,
      "loss": 0.0358,
      "step": 9490
    },
    {
      "epoch": 26.38888888888889,
      "grad_norm": 0.43995073437690735,
      "learning_rate": 9.682652826975449e-05,
      "loss": 0.0365,
      "step": 9500
    },
    {
      "epoch": 26.416666666666668,
      "grad_norm": 0.32782942056655884,
      "learning_rate": 9.681685977012291e-05,
      "loss": 0.0324,
      "step": 9510
    },
    {
      "epoch": 26.444444444444443,
      "grad_norm": 0.32534804940223694,
      "learning_rate": 9.680717704876546e-05,
      "loss": 0.0358,
      "step": 9520
    },
    {
      "epoch": 26.47222222222222,
      "grad_norm": 0.3776644468307495,
      "learning_rate": 9.679748010862349e-05,
      "loss": 0.0349,
      "step": 9530
    },
    {
      "epoch": 26.5,
      "grad_norm": 0.4305453896522522,
      "learning_rate": 9.678776895264267e-05,
      "loss": 0.0332,
      "step": 9540
    },
    {
      "epoch": 26.52777777777778,
      "grad_norm": 0.39319974184036255,
      "learning_rate": 9.6778043583773e-05,
      "loss": 0.0427,
      "step": 9550
    },
    {
      "epoch": 26.555555555555557,
      "grad_norm": 0.2945796549320221,
      "learning_rate": 9.67683040049688e-05,
      "loss": 0.0292,
      "step": 9560
    },
    {
      "epoch": 26.583333333333332,
      "grad_norm": 0.34324681758880615,
      "learning_rate": 9.675855021918869e-05,
      "loss": 0.0336,
      "step": 9570
    },
    {
      "epoch": 26.61111111111111,
      "grad_norm": 0.37509042024612427,
      "learning_rate": 9.674878222939561e-05,
      "loss": 0.0262,
      "step": 9580
    },
    {
      "epoch": 26.63888888888889,
      "grad_norm": 0.42574867606163025,
      "learning_rate": 9.673900003855681e-05,
      "loss": 0.0275,
      "step": 9590
    },
    {
      "epoch": 26.666666666666668,
      "grad_norm": 0.29559648036956787,
      "learning_rate": 9.672920364964389e-05,
      "loss": 0.0383,
      "step": 9600
    },
    {
      "epoch": 26.694444444444443,
      "grad_norm": 0.43923500180244446,
      "learning_rate": 9.671939306563269e-05,
      "loss": 0.0295,
      "step": 9610
    },
    {
      "epoch": 26.72222222222222,
      "grad_norm": 0.31911447644233704,
      "learning_rate": 9.670956828950345e-05,
      "loss": 0.0365,
      "step": 9620
    },
    {
      "epoch": 26.75,
      "grad_norm": 0.2302177995443344,
      "learning_rate": 9.669972932424065e-05,
      "loss": 0.0291,
      "step": 9630
    },
    {
      "epoch": 26.77777777777778,
      "grad_norm": 0.3118140995502472,
      "learning_rate": 9.668987617283312e-05,
      "loss": 0.0272,
      "step": 9640
    },
    {
      "epoch": 26.805555555555557,
      "grad_norm": 0.46899136900901794,
      "learning_rate": 9.668000883827397e-05,
      "loss": 0.0394,
      "step": 9650
    },
    {
      "epoch": 26.833333333333332,
      "grad_norm": 0.3165179491043091,
      "learning_rate": 9.667012732356067e-05,
      "loss": 0.0342,
      "step": 9660
    },
    {
      "epoch": 26.86111111111111,
      "grad_norm": 0.5280352234840393,
      "learning_rate": 9.666023163169493e-05,
      "loss": 0.0517,
      "step": 9670
    },
    {
      "epoch": 26.88888888888889,
      "grad_norm": 0.33115315437316895,
      "learning_rate": 9.665032176568281e-05,
      "loss": 0.0321,
      "step": 9680
    },
    {
      "epoch": 26.916666666666668,
      "grad_norm": 0.5682832598686218,
      "learning_rate": 9.664039772853469e-05,
      "loss": 0.0362,
      "step": 9690
    },
    {
      "epoch": 26.944444444444443,
      "grad_norm": 0.3855906128883362,
      "learning_rate": 9.663045952326518e-05,
      "loss": 0.0376,
      "step": 9700
    },
    {
      "epoch": 26.97222222222222,
      "grad_norm": 0.3917425870895386,
      "learning_rate": 9.662050715289328e-05,
      "loss": 0.0301,
      "step": 9710
    },
    {
      "epoch": 27.0,
      "grad_norm": 0.3076690137386322,
      "learning_rate": 9.661054062044226e-05,
      "loss": 0.0435,
      "step": 9720
    },
    {
      "epoch": 27.02777777777778,
      "grad_norm": 0.3748410642147064,
      "learning_rate": 9.660055992893968e-05,
      "loss": 0.0332,
      "step": 9730
    },
    {
      "epoch": 27.055555555555557,
      "grad_norm": 0.38075023889541626,
      "learning_rate": 9.659056508141739e-05,
      "loss": 0.0355,
      "step": 9740
    },
    {
      "epoch": 27.083333333333332,
      "grad_norm": 0.4350835680961609,
      "learning_rate": 9.658055608091161e-05,
      "loss": 0.038,
      "step": 9750
    },
    {
      "epoch": 27.11111111111111,
      "grad_norm": 0.32749655842781067,
      "learning_rate": 9.657053293046276e-05,
      "loss": 0.0371,
      "step": 9760
    },
    {
      "epoch": 27.13888888888889,
      "grad_norm": 0.3556903302669525,
      "learning_rate": 9.656049563311564e-05,
      "loss": 0.0331,
      "step": 9770
    },
    {
      "epoch": 27.166666666666668,
      "grad_norm": 0.36125531792640686,
      "learning_rate": 9.655044419191929e-05,
      "loss": 0.0412,
      "step": 9780
    },
    {
      "epoch": 27.194444444444443,
      "grad_norm": 0.3477590084075928,
      "learning_rate": 9.654037860992711e-05,
      "loss": 0.0351,
      "step": 9790
    },
    {
      "epoch": 27.22222222222222,
      "grad_norm": 0.6167348623275757,
      "learning_rate": 9.653029889019672e-05,
      "loss": 0.0388,
      "step": 9800
    },
    {
      "epoch": 27.25,
      "grad_norm": 0.4533178210258484,
      "learning_rate": 9.65202050357901e-05,
      "loss": 0.0363,
      "step": 9810
    },
    {
      "epoch": 27.27777777777778,
      "grad_norm": 0.4351939260959625,
      "learning_rate": 9.651009704977347e-05,
      "loss": 0.034,
      "step": 9820
    },
    {
      "epoch": 27.305555555555557,
      "grad_norm": 0.46283653378486633,
      "learning_rate": 9.649997493521738e-05,
      "loss": 0.0346,
      "step": 9830
    },
    {
      "epoch": 27.333333333333332,
      "grad_norm": 0.48721688985824585,
      "learning_rate": 9.64898386951967e-05,
      "loss": 0.0317,
      "step": 9840
    },
    {
      "epoch": 27.36111111111111,
      "grad_norm": 0.4343754053115845,
      "learning_rate": 9.647968833279049e-05,
      "loss": 0.037,
      "step": 9850
    },
    {
      "epoch": 27.38888888888889,
      "grad_norm": 0.4966833293437958,
      "learning_rate": 9.646952385108218e-05,
      "loss": 0.0409,
      "step": 9860
    },
    {
      "epoch": 27.416666666666668,
      "grad_norm": 0.32655346393585205,
      "learning_rate": 9.645934525315951e-05,
      "loss": 0.0291,
      "step": 9870
    },
    {
      "epoch": 27.444444444444443,
      "grad_norm": 0.33585813641548157,
      "learning_rate": 9.644915254211442e-05,
      "loss": 0.0351,
      "step": 9880
    },
    {
      "epoch": 27.47222222222222,
      "grad_norm": 0.29436588287353516,
      "learning_rate": 9.643894572104321e-05,
      "loss": 0.0326,
      "step": 9890
    },
    {
      "epoch": 27.5,
      "grad_norm": 0.3390442430973053,
      "learning_rate": 9.642872479304644e-05,
      "loss": 0.0334,
      "step": 9900
    },
    {
      "epoch": 27.52777777777778,
      "grad_norm": 0.3438945710659027,
      "learning_rate": 9.641848976122895e-05,
      "loss": 0.0344,
      "step": 9910
    },
    {
      "epoch": 27.555555555555557,
      "grad_norm": 0.42706507444381714,
      "learning_rate": 9.64082406286999e-05,
      "loss": 0.0254,
      "step": 9920
    },
    {
      "epoch": 27.583333333333332,
      "grad_norm": 0.42661577463150024,
      "learning_rate": 9.639797739857269e-05,
      "loss": 0.0459,
      "step": 9930
    },
    {
      "epoch": 27.61111111111111,
      "grad_norm": 0.29807159304618835,
      "learning_rate": 9.638770007396498e-05,
      "loss": 0.0343,
      "step": 9940
    },
    {
      "epoch": 27.63888888888889,
      "grad_norm": 0.35699331760406494,
      "learning_rate": 9.63774086579988e-05,
      "loss": 0.045,
      "step": 9950
    },
    {
      "epoch": 27.666666666666668,
      "grad_norm": 0.2806715667247772,
      "learning_rate": 9.63671031538004e-05,
      "loss": 0.0298,
      "step": 9960
    },
    {
      "epoch": 27.694444444444443,
      "grad_norm": 0.47571253776550293,
      "learning_rate": 9.635678356450031e-05,
      "loss": 0.0363,
      "step": 9970
    },
    {
      "epoch": 27.72222222222222,
      "grad_norm": 0.3037276566028595,
      "learning_rate": 9.634644989323336e-05,
      "loss": 0.0302,
      "step": 9980
    },
    {
      "epoch": 27.75,
      "grad_norm": 0.3431999087333679,
      "learning_rate": 9.633610214313861e-05,
      "loss": 0.0336,
      "step": 9990
    },
    {
      "epoch": 27.77777777777778,
      "grad_norm": 0.49145621061325073,
      "learning_rate": 9.632574031735951e-05,
      "loss": 0.0368,
      "step": 10000
    },
    {
      "epoch": 27.805555555555557,
      "grad_norm": 0.51694655418396,
      "learning_rate": 9.631536441904364e-05,
      "loss": 0.0323,
      "step": 10010
    },
    {
      "epoch": 27.833333333333332,
      "grad_norm": 0.48633912205696106,
      "learning_rate": 9.630497445134293e-05,
      "loss": 0.0412,
      "step": 10020
    },
    {
      "epoch": 27.86111111111111,
      "grad_norm": 0.40310460329055786,
      "learning_rate": 9.62945704174136e-05,
      "loss": 0.0325,
      "step": 10030
    },
    {
      "epoch": 27.88888888888889,
      "grad_norm": 0.38745248317718506,
      "learning_rate": 9.628415232041612e-05,
      "loss": 0.0352,
      "step": 10040
    },
    {
      "epoch": 27.916666666666668,
      "grad_norm": 0.3543478846549988,
      "learning_rate": 9.627372016351524e-05,
      "loss": 0.0361,
      "step": 10050
    },
    {
      "epoch": 27.944444444444443,
      "grad_norm": 0.30345314741134644,
      "learning_rate": 9.626327394987995e-05,
      "loss": 0.0313,
      "step": 10060
    },
    {
      "epoch": 27.97222222222222,
      "grad_norm": 0.4226001799106598,
      "learning_rate": 9.625281368268355e-05,
      "loss": 0.0299,
      "step": 10070
    },
    {
      "epoch": 28.0,
      "grad_norm": 0.24509356915950775,
      "learning_rate": 9.624233936510357e-05,
      "loss": 0.0352,
      "step": 10080
    },
    {
      "epoch": 28.02777777777778,
      "grad_norm": 0.4640670120716095,
      "learning_rate": 9.623185100032187e-05,
      "loss": 0.0361,
      "step": 10090
    },
    {
      "epoch": 28.055555555555557,
      "grad_norm": 0.34288477897644043,
      "learning_rate": 9.62213485915245e-05,
      "loss": 0.0304,
      "step": 10100
    },
    {
      "epoch": 28.083333333333332,
      "grad_norm": 0.33520442247390747,
      "learning_rate": 9.621083214190186e-05,
      "loss": 0.0345,
      "step": 10110
    },
    {
      "epoch": 28.11111111111111,
      "grad_norm": 0.326407253742218,
      "learning_rate": 9.62003016546485e-05,
      "loss": 0.0384,
      "step": 10120
    },
    {
      "epoch": 28.13888888888889,
      "grad_norm": 0.39132556319236755,
      "learning_rate": 9.618975713296339e-05,
      "loss": 0.0311,
      "step": 10130
    },
    {
      "epoch": 28.166666666666668,
      "grad_norm": 0.42715978622436523,
      "learning_rate": 9.61791985800496e-05,
      "loss": 0.0265,
      "step": 10140
    },
    {
      "epoch": 28.194444444444443,
      "grad_norm": 0.2653024196624756,
      "learning_rate": 9.616862599911458e-05,
      "loss": 0.0319,
      "step": 10150
    },
    {
      "epoch": 28.22222222222222,
      "grad_norm": 0.43990832567214966,
      "learning_rate": 9.615803939337e-05,
      "loss": 0.0319,
      "step": 10160
    },
    {
      "epoch": 28.25,
      "grad_norm": 0.3538142144680023,
      "learning_rate": 9.614743876603178e-05,
      "loss": 0.0336,
      "step": 10170
    },
    {
      "epoch": 28.27777777777778,
      "grad_norm": 0.24731498956680298,
      "learning_rate": 9.613682412032013e-05,
      "loss": 0.0341,
      "step": 10180
    },
    {
      "epoch": 28.305555555555557,
      "grad_norm": 0.4198383092880249,
      "learning_rate": 9.612619545945947e-05,
      "loss": 0.0381,
      "step": 10190
    },
    {
      "epoch": 28.333333333333332,
      "grad_norm": 0.3721447288990021,
      "learning_rate": 9.611555278667852e-05,
      "loss": 0.0289,
      "step": 10200
    },
    {
      "epoch": 28.36111111111111,
      "grad_norm": 0.3157070577144623,
      "learning_rate": 9.610489610521024e-05,
      "loss": 0.0302,
      "step": 10210
    },
    {
      "epoch": 28.38888888888889,
      "grad_norm": 0.3429535925388336,
      "learning_rate": 9.609422541829187e-05,
      "loss": 0.0294,
      "step": 10220
    },
    {
      "epoch": 28.416666666666668,
      "grad_norm": 0.294159859418869,
      "learning_rate": 9.608354072916486e-05,
      "loss": 0.0447,
      "step": 10230
    },
    {
      "epoch": 28.444444444444443,
      "grad_norm": 0.4085548222064972,
      "learning_rate": 9.607284204107493e-05,
      "loss": 0.0364,
      "step": 10240
    },
    {
      "epoch": 28.47222222222222,
      "grad_norm": 0.3781886696815491,
      "learning_rate": 9.606212935727208e-05,
      "loss": 0.0284,
      "step": 10250
    },
    {
      "epoch": 28.5,
      "grad_norm": 0.38723915815353394,
      "learning_rate": 9.605140268101052e-05,
      "loss": 0.0319,
      "step": 10260
    },
    {
      "epoch": 28.52777777777778,
      "grad_norm": 0.5069972276687622,
      "learning_rate": 9.604066201554875e-05,
      "loss": 0.0324,
      "step": 10270
    },
    {
      "epoch": 28.555555555555557,
      "grad_norm": 0.46055176854133606,
      "learning_rate": 9.60299073641495e-05,
      "loss": 0.0321,
      "step": 10280
    },
    {
      "epoch": 28.583333333333332,
      "grad_norm": 0.32561320066452026,
      "learning_rate": 9.601913873007974e-05,
      "loss": 0.0263,
      "step": 10290
    },
    {
      "epoch": 28.61111111111111,
      "grad_norm": 0.28464001417160034,
      "learning_rate": 9.60083561166107e-05,
      "loss": 0.0353,
      "step": 10300
    },
    {
      "epoch": 28.63888888888889,
      "grad_norm": 0.24821798503398895,
      "learning_rate": 9.599755952701783e-05,
      "loss": 0.0343,
      "step": 10310
    },
    {
      "epoch": 28.666666666666668,
      "grad_norm": 0.35311877727508545,
      "learning_rate": 9.598674896458089e-05,
      "loss": 0.0318,
      "step": 10320
    },
    {
      "epoch": 28.694444444444443,
      "grad_norm": 0.29526200890541077,
      "learning_rate": 9.597592443258383e-05,
      "loss": 0.0221,
      "step": 10330
    },
    {
      "epoch": 28.72222222222222,
      "grad_norm": 0.3604736030101776,
      "learning_rate": 9.596508593431483e-05,
      "loss": 0.0256,
      "step": 10340
    },
    {
      "epoch": 28.75,
      "grad_norm": 0.3076876699924469,
      "learning_rate": 9.59542334730664e-05,
      "loss": 0.0321,
      "step": 10350
    },
    {
      "epoch": 28.77777777777778,
      "grad_norm": 0.513557493686676,
      "learning_rate": 9.594336705213516e-05,
      "loss": 0.0323,
      "step": 10360
    },
    {
      "epoch": 28.805555555555557,
      "grad_norm": 0.24476739764213562,
      "learning_rate": 9.593248667482208e-05,
      "loss": 0.033,
      "step": 10370
    },
    {
      "epoch": 28.833333333333332,
      "grad_norm": 0.545268714427948,
      "learning_rate": 9.592159234443233e-05,
      "loss": 0.0384,
      "step": 10380
    },
    {
      "epoch": 28.86111111111111,
      "grad_norm": 0.3635086417198181,
      "learning_rate": 9.59106840642753e-05,
      "loss": 0.0417,
      "step": 10390
    },
    {
      "epoch": 28.88888888888889,
      "grad_norm": 0.513192355632782,
      "learning_rate": 9.589976183766467e-05,
      "loss": 0.0365,
      "step": 10400
    },
    {
      "epoch": 28.916666666666668,
      "grad_norm": 0.3566872477531433,
      "learning_rate": 9.58888256679183e-05,
      "loss": 0.0379,
      "step": 10410
    },
    {
      "epoch": 28.944444444444443,
      "grad_norm": 0.49098849296569824,
      "learning_rate": 9.587787555835832e-05,
      "loss": 0.0336,
      "step": 10420
    },
    {
      "epoch": 28.97222222222222,
      "grad_norm": 0.3874641954898834,
      "learning_rate": 9.586691151231107e-05,
      "loss": 0.0342,
      "step": 10430
    },
    {
      "epoch": 29.0,
      "grad_norm": 0.29274457693099976,
      "learning_rate": 9.585593353310715e-05,
      "loss": 0.0338,
      "step": 10440
    },
    {
      "epoch": 29.02777777777778,
      "grad_norm": 0.44991928339004517,
      "learning_rate": 9.58449416240814e-05,
      "loss": 0.0365,
      "step": 10450
    },
    {
      "epoch": 29.055555555555557,
      "grad_norm": 0.41716626286506653,
      "learning_rate": 9.583393578857283e-05,
      "loss": 0.0317,
      "step": 10460
    },
    {
      "epoch": 29.083333333333332,
      "grad_norm": 0.28883564472198486,
      "learning_rate": 9.582291602992474e-05,
      "loss": 0.0286,
      "step": 10470
    },
    {
      "epoch": 29.11111111111111,
      "grad_norm": 0.3898061215877533,
      "learning_rate": 9.581188235148466e-05,
      "loss": 0.0307,
      "step": 10480
    },
    {
      "epoch": 29.13888888888889,
      "grad_norm": 0.21816983819007874,
      "learning_rate": 9.58008347566043e-05,
      "loss": 0.0246,
      "step": 10490
    },
    {
      "epoch": 29.166666666666668,
      "grad_norm": 0.33626821637153625,
      "learning_rate": 9.578977324863965e-05,
      "loss": 0.0279,
      "step": 10500
    },
    {
      "epoch": 29.194444444444443,
      "grad_norm": 0.2450164556503296,
      "learning_rate": 9.577869783095089e-05,
      "loss": 0.0313,
      "step": 10510
    },
    {
      "epoch": 29.22222222222222,
      "grad_norm": 0.5048260688781738,
      "learning_rate": 9.576760850690245e-05,
      "loss": 0.0309,
      "step": 10520
    },
    {
      "epoch": 29.25,
      "grad_norm": 0.4590969383716583,
      "learning_rate": 9.575650527986298e-05,
      "loss": 0.0374,
      "step": 10530
    },
    {
      "epoch": 29.27777777777778,
      "grad_norm": 0.30796074867248535,
      "learning_rate": 9.574538815320531e-05,
      "loss": 0.0255,
      "step": 10540
    },
    {
      "epoch": 29.305555555555557,
      "grad_norm": 0.2985120713710785,
      "learning_rate": 9.573425713030656e-05,
      "loss": 0.0372,
      "step": 10550
    },
    {
      "epoch": 29.333333333333332,
      "grad_norm": 0.44610607624053955,
      "learning_rate": 9.572311221454806e-05,
      "loss": 0.0292,
      "step": 10560
    },
    {
      "epoch": 29.36111111111111,
      "grad_norm": 0.2566748559474945,
      "learning_rate": 9.57119534093153e-05,
      "loss": 0.0368,
      "step": 10570
    },
    {
      "epoch": 29.38888888888889,
      "grad_norm": 0.5111352205276489,
      "learning_rate": 9.570078071799806e-05,
      "loss": 0.0316,
      "step": 10580
    },
    {
      "epoch": 29.416666666666668,
      "grad_norm": 0.38966992497444153,
      "learning_rate": 9.568959414399028e-05,
      "loss": 0.0323,
      "step": 10590
    },
    {
      "epoch": 29.444444444444443,
      "grad_norm": 0.5188028216362,
      "learning_rate": 9.567839369069018e-05,
      "loss": 0.0357,
      "step": 10600
    },
    {
      "epoch": 29.47222222222222,
      "grad_norm": 0.5772857069969177,
      "learning_rate": 9.566717936150013e-05,
      "loss": 0.0348,
      "step": 10610
    },
    {
      "epoch": 29.5,
      "grad_norm": 0.2866019904613495,
      "learning_rate": 9.565595115982678e-05,
      "loss": 0.03,
      "step": 10620
    },
    {
      "epoch": 29.52777777777778,
      "grad_norm": 0.47633659839630127,
      "learning_rate": 9.564470908908094e-05,
      "loss": 0.0379,
      "step": 10630
    },
    {
      "epoch": 29.555555555555557,
      "grad_norm": 0.3278626501560211,
      "learning_rate": 9.563345315267764e-05,
      "loss": 0.0358,
      "step": 10640
    },
    {
      "epoch": 29.583333333333332,
      "grad_norm": 0.4520665109157562,
      "learning_rate": 9.562218335403616e-05,
      "loss": 0.0306,
      "step": 10650
    },
    {
      "epoch": 29.61111111111111,
      "grad_norm": 0.39223000407218933,
      "learning_rate": 9.561089969657999e-05,
      "loss": 0.0302,
      "step": 10660
    },
    {
      "epoch": 29.63888888888889,
      "grad_norm": 0.37440818548202515,
      "learning_rate": 9.559960218373673e-05,
      "loss": 0.0372,
      "step": 10670
    },
    {
      "epoch": 29.666666666666668,
      "grad_norm": 0.38827019929885864,
      "learning_rate": 9.558829081893836e-05,
      "loss": 0.0378,
      "step": 10680
    },
    {
      "epoch": 29.694444444444443,
      "grad_norm": 0.36848264932632446,
      "learning_rate": 9.55769656056209e-05,
      "loss": 0.0285,
      "step": 10690
    },
    {
      "epoch": 29.72222222222222,
      "grad_norm": 0.35451674461364746,
      "learning_rate": 9.556562654722469e-05,
      "loss": 0.0329,
      "step": 10700
    },
    {
      "epoch": 29.75,
      "grad_norm": 0.40687820315361023,
      "learning_rate": 9.555427364719422e-05,
      "loss": 0.0363,
      "step": 10710
    },
    {
      "epoch": 29.77777777777778,
      "grad_norm": 0.38188013434410095,
      "learning_rate": 9.55429069089782e-05,
      "loss": 0.0305,
      "step": 10720
    },
    {
      "epoch": 29.805555555555557,
      "grad_norm": 0.3731081187725067,
      "learning_rate": 9.553152633602956e-05,
      "loss": 0.0356,
      "step": 10730
    },
    {
      "epoch": 29.833333333333332,
      "grad_norm": 0.33167529106140137,
      "learning_rate": 9.552013193180543e-05,
      "loss": 0.037,
      "step": 10740
    },
    {
      "epoch": 29.86111111111111,
      "grad_norm": 0.5068638324737549,
      "learning_rate": 9.550872369976707e-05,
      "loss": 0.031,
      "step": 10750
    },
    {
      "epoch": 29.88888888888889,
      "grad_norm": 0.3839775621891022,
      "learning_rate": 9.549730164338007e-05,
      "loss": 0.0308,
      "step": 10760
    },
    {
      "epoch": 29.916666666666668,
      "grad_norm": 0.5225999355316162,
      "learning_rate": 9.548586576611408e-05,
      "loss": 0.0304,
      "step": 10770
    },
    {
      "epoch": 29.944444444444443,
      "grad_norm": 0.3008405566215515,
      "learning_rate": 9.54744160714431e-05,
      "loss": 0.0332,
      "step": 10780
    },
    {
      "epoch": 29.97222222222222,
      "grad_norm": 0.3322550058364868,
      "learning_rate": 9.546295256284516e-05,
      "loss": 0.0281,
      "step": 10790
    },
    {
      "epoch": 30.0,
      "grad_norm": 0.32374653220176697,
      "learning_rate": 9.545147524380265e-05,
      "loss": 0.0367,
      "step": 10800
    },
    {
      "epoch": 30.02777777777778,
      "grad_norm": 0.2780638635158539,
      "learning_rate": 9.543998411780201e-05,
      "loss": 0.031,
      "step": 10810
    },
    {
      "epoch": 30.055555555555557,
      "grad_norm": 0.4107629954814911,
      "learning_rate": 9.542847918833397e-05,
      "loss": 0.0322,
      "step": 10820
    },
    {
      "epoch": 30.083333333333332,
      "grad_norm": 0.3682722747325897,
      "learning_rate": 9.541696045889343e-05,
      "loss": 0.0288,
      "step": 10830
    },
    {
      "epoch": 30.11111111111111,
      "grad_norm": 0.3701842725276947,
      "learning_rate": 9.540542793297947e-05,
      "loss": 0.0288,
      "step": 10840
    },
    {
      "epoch": 30.13888888888889,
      "grad_norm": 0.3825109004974365,
      "learning_rate": 9.539388161409537e-05,
      "loss": 0.0327,
      "step": 10850
    },
    {
      "epoch": 30.166666666666668,
      "grad_norm": 0.4159100651741028,
      "learning_rate": 9.538232150574857e-05,
      "loss": 0.0339,
      "step": 10860
    },
    {
      "epoch": 30.194444444444443,
      "grad_norm": 0.32719555497169495,
      "learning_rate": 9.537074761145076e-05,
      "loss": 0.0271,
      "step": 10870
    },
    {
      "epoch": 30.22222222222222,
      "grad_norm": 0.4708045423030853,
      "learning_rate": 9.535915993471778e-05,
      "loss": 0.0366,
      "step": 10880
    },
    {
      "epoch": 30.25,
      "grad_norm": 0.38418450951576233,
      "learning_rate": 9.534755847906964e-05,
      "loss": 0.044,
      "step": 10890
    },
    {
      "epoch": 30.27777777777778,
      "grad_norm": 0.35379162430763245,
      "learning_rate": 9.533594324803057e-05,
      "loss": 0.0318,
      "step": 10900
    },
    {
      "epoch": 30.305555555555557,
      "grad_norm": 0.472160667181015,
      "learning_rate": 9.532431424512895e-05,
      "loss": 0.0228,
      "step": 10910
    },
    {
      "epoch": 30.333333333333332,
      "grad_norm": 0.28002727031707764,
      "learning_rate": 9.531267147389741e-05,
      "loss": 0.0345,
      "step": 10920
    },
    {
      "epoch": 30.36111111111111,
      "grad_norm": 0.3703717589378357,
      "learning_rate": 9.530101493787266e-05,
      "loss": 0.0324,
      "step": 10930
    },
    {
      "epoch": 30.38888888888889,
      "grad_norm": 0.35128167271614075,
      "learning_rate": 9.528934464059571e-05,
      "loss": 0.0276,
      "step": 10940
    },
    {
      "epoch": 30.416666666666668,
      "grad_norm": 0.21477988362312317,
      "learning_rate": 9.527766058561163e-05,
      "loss": 0.025,
      "step": 10950
    },
    {
      "epoch": 30.444444444444443,
      "grad_norm": 0.3339105546474457,
      "learning_rate": 9.526596277646976e-05,
      "loss": 0.0311,
      "step": 10960
    },
    {
      "epoch": 30.47222222222222,
      "grad_norm": 0.3762926757335663,
      "learning_rate": 9.525425121672358e-05,
      "loss": 0.0276,
      "step": 10970
    },
    {
      "epoch": 30.5,
      "grad_norm": 0.4045778810977936,
      "learning_rate": 9.524252590993074e-05,
      "loss": 0.0239,
      "step": 10980
    },
    {
      "epoch": 30.52777777777778,
      "grad_norm": 0.31284698843955994,
      "learning_rate": 9.523078685965309e-05,
      "loss": 0.0304,
      "step": 10990
    },
    {
      "epoch": 30.555555555555557,
      "grad_norm": 0.4326322376728058,
      "learning_rate": 9.521903406945664e-05,
      "loss": 0.0255,
      "step": 11000
    },
    {
      "epoch": 30.583333333333332,
      "grad_norm": 0.3161867558956146,
      "learning_rate": 9.520726754291158e-05,
      "loss": 0.0291,
      "step": 11010
    },
    {
      "epoch": 30.61111111111111,
      "grad_norm": 0.40565234422683716,
      "learning_rate": 9.519548728359227e-05,
      "loss": 0.0318,
      "step": 11020
    },
    {
      "epoch": 30.63888888888889,
      "grad_norm": 0.46608808636665344,
      "learning_rate": 9.518369329507726e-05,
      "loss": 0.0267,
      "step": 11030
    },
    {
      "epoch": 30.666666666666668,
      "grad_norm": 0.2699050307273865,
      "learning_rate": 9.51718855809492e-05,
      "loss": 0.0251,
      "step": 11040
    },
    {
      "epoch": 30.694444444444443,
      "grad_norm": 0.27286404371261597,
      "learning_rate": 9.516006414479502e-05,
      "loss": 0.0353,
      "step": 11050
    },
    {
      "epoch": 30.72222222222222,
      "grad_norm": 0.3176630437374115,
      "learning_rate": 9.514822899020572e-05,
      "loss": 0.0381,
      "step": 11060
    },
    {
      "epoch": 30.75,
      "grad_norm": 0.293289452791214,
      "learning_rate": 9.513638012077654e-05,
      "loss": 0.0309,
      "step": 11070
    },
    {
      "epoch": 30.77777777777778,
      "grad_norm": 0.36308354139328003,
      "learning_rate": 9.512451754010683e-05,
      "loss": 0.0268,
      "step": 11080
    },
    {
      "epoch": 30.805555555555557,
      "grad_norm": 0.41732728481292725,
      "learning_rate": 9.511264125180013e-05,
      "loss": 0.0241,
      "step": 11090
    },
    {
      "epoch": 30.833333333333332,
      "grad_norm": 0.3538159430027008,
      "learning_rate": 9.510075125946414e-05,
      "loss": 0.0278,
      "step": 11100
    },
    {
      "epoch": 30.86111111111111,
      "grad_norm": 0.33263128995895386,
      "learning_rate": 9.508884756671075e-05,
      "loss": 0.0275,
      "step": 11110
    },
    {
      "epoch": 30.88888888888889,
      "grad_norm": 0.3618379533290863,
      "learning_rate": 9.507693017715596e-05,
      "loss": 0.03,
      "step": 11120
    },
    {
      "epoch": 30.916666666666668,
      "grad_norm": 0.48749303817749023,
      "learning_rate": 9.506499909441997e-05,
      "loss": 0.0256,
      "step": 11130
    },
    {
      "epoch": 30.944444444444443,
      "grad_norm": 0.33343878388404846,
      "learning_rate": 9.505305432212713e-05,
      "loss": 0.0252,
      "step": 11140
    },
    {
      "epoch": 30.97222222222222,
      "grad_norm": 0.3691074550151825,
      "learning_rate": 9.504109586390595e-05,
      "loss": 0.0271,
      "step": 11150
    },
    {
      "epoch": 31.0,
      "grad_norm": 0.33454692363739014,
      "learning_rate": 9.502912372338908e-05,
      "loss": 0.0301,
      "step": 11160
    },
    {
      "epoch": 31.02777777777778,
      "grad_norm": 0.28003445267677307,
      "learning_rate": 9.501713790421335e-05,
      "loss": 0.0273,
      "step": 11170
    },
    {
      "epoch": 31.055555555555557,
      "grad_norm": 0.34801721572875977,
      "learning_rate": 9.500513841001974e-05,
      "loss": 0.0286,
      "step": 11180
    },
    {
      "epoch": 31.083333333333332,
      "grad_norm": 0.34547775983810425,
      "learning_rate": 9.499312524445336e-05,
      "loss": 0.0362,
      "step": 11190
    },
    {
      "epoch": 31.11111111111111,
      "grad_norm": 0.4465081989765167,
      "learning_rate": 9.498109841116351e-05,
      "loss": 0.0287,
      "step": 11200
    },
    {
      "epoch": 31.13888888888889,
      "grad_norm": 0.35609734058380127,
      "learning_rate": 9.496905791380363e-05,
      "loss": 0.0405,
      "step": 11210
    },
    {
      "epoch": 31.166666666666668,
      "grad_norm": 0.38567325472831726,
      "learning_rate": 9.495700375603129e-05,
      "loss": 0.0282,
      "step": 11220
    },
    {
      "epoch": 31.194444444444443,
      "grad_norm": 0.31900572776794434,
      "learning_rate": 9.494493594150822e-05,
      "loss": 0.0336,
      "step": 11230
    },
    {
      "epoch": 31.22222222222222,
      "grad_norm": 0.32745516300201416,
      "learning_rate": 9.493285447390032e-05,
      "loss": 0.0301,
      "step": 11240
    },
    {
      "epoch": 31.25,
      "grad_norm": 0.3021729588508606,
      "learning_rate": 9.492075935687761e-05,
      "loss": 0.0284,
      "step": 11250
    },
    {
      "epoch": 31.27777777777778,
      "grad_norm": 0.2537679374217987,
      "learning_rate": 9.490865059411427e-05,
      "loss": 0.0291,
      "step": 11260
    },
    {
      "epoch": 31.305555555555557,
      "grad_norm": 0.2600102722644806,
      "learning_rate": 9.489652818928863e-05,
      "loss": 0.0299,
      "step": 11270
    },
    {
      "epoch": 31.333333333333332,
      "grad_norm": 0.35673290491104126,
      "learning_rate": 9.488439214608315e-05,
      "loss": 0.043,
      "step": 11280
    },
    {
      "epoch": 31.36111111111111,
      "grad_norm": 0.2776971161365509,
      "learning_rate": 9.487224246818444e-05,
      "loss": 0.0259,
      "step": 11290
    },
    {
      "epoch": 31.38888888888889,
      "grad_norm": 0.3911665678024292,
      "learning_rate": 9.486007915928325e-05,
      "loss": 0.0249,
      "step": 11300
    },
    {
      "epoch": 31.416666666666668,
      "grad_norm": 0.30777478218078613,
      "learning_rate": 9.484790222307448e-05,
      "loss": 0.0242,
      "step": 11310
    },
    {
      "epoch": 31.444444444444443,
      "grad_norm": 0.23903299868106842,
      "learning_rate": 9.483571166325716e-05,
      "loss": 0.0345,
      "step": 11320
    },
    {
      "epoch": 31.47222222222222,
      "grad_norm": 0.5021954774856567,
      "learning_rate": 9.482350748353444e-05,
      "loss": 0.0334,
      "step": 11330
    },
    {
      "epoch": 31.5,
      "grad_norm": 0.3921129107475281,
      "learning_rate": 9.481128968761363e-05,
      "loss": 0.0324,
      "step": 11340
    },
    {
      "epoch": 31.52777777777778,
      "grad_norm": 0.3807576894760132,
      "learning_rate": 9.479905827920621e-05,
      "loss": 0.0292,
      "step": 11350
    },
    {
      "epoch": 31.555555555555557,
      "grad_norm": 0.34076741337776184,
      "learning_rate": 9.478681326202773e-05,
      "loss": 0.0301,
      "step": 11360
    },
    {
      "epoch": 31.583333333333332,
      "grad_norm": 0.2643108069896698,
      "learning_rate": 9.477455463979791e-05,
      "loss": 0.0279,
      "step": 11370
    },
    {
      "epoch": 31.61111111111111,
      "grad_norm": 0.3078813850879669,
      "learning_rate": 9.476228241624059e-05,
      "loss": 0.0401,
      "step": 11380
    },
    {
      "epoch": 31.63888888888889,
      "grad_norm": 0.3762674927711487,
      "learning_rate": 9.474999659508374e-05,
      "loss": 0.0294,
      "step": 11390
    },
    {
      "epoch": 31.666666666666668,
      "grad_norm": 0.3095701336860657,
      "learning_rate": 9.47376971800595e-05,
      "loss": 0.0219,
      "step": 11400
    },
    {
      "epoch": 31.694444444444443,
      "grad_norm": 0.26461371779441833,
      "learning_rate": 9.472538417490409e-05,
      "loss": 0.0352,
      "step": 11410
    },
    {
      "epoch": 31.72222222222222,
      "grad_norm": 0.37217047810554504,
      "learning_rate": 9.471305758335784e-05,
      "loss": 0.0316,
      "step": 11420
    },
    {
      "epoch": 31.75,
      "grad_norm": 0.4111309051513672,
      "learning_rate": 9.47007174091653e-05,
      "loss": 0.0359,
      "step": 11430
    },
    {
      "epoch": 31.77777777777778,
      "grad_norm": 0.38261979818344116,
      "learning_rate": 9.468836365607507e-05,
      "loss": 0.0357,
      "step": 11440
    },
    {
      "epoch": 31.805555555555557,
      "grad_norm": 0.472385048866272,
      "learning_rate": 9.467599632783988e-05,
      "loss": 0.0359,
      "step": 11450
    },
    {
      "epoch": 31.833333333333332,
      "grad_norm": 0.3642136752605438,
      "learning_rate": 9.466361542821662e-05,
      "loss": 0.0348,
      "step": 11460
    },
    {
      "epoch": 31.86111111111111,
      "grad_norm": 0.38746994733810425,
      "learning_rate": 9.465122096096625e-05,
      "loss": 0.0252,
      "step": 11470
    },
    {
      "epoch": 31.88888888888889,
      "grad_norm": 0.41205957531929016,
      "learning_rate": 9.463881292985391e-05,
      "loss": 0.0305,
      "step": 11480
    },
    {
      "epoch": 31.916666666666668,
      "grad_norm": 0.29369521141052246,
      "learning_rate": 9.462639133864881e-05,
      "loss": 0.0256,
      "step": 11490
    },
    {
      "epoch": 31.944444444444443,
      "grad_norm": 0.3320605158805847,
      "learning_rate": 9.461395619112432e-05,
      "loss": 0.0297,
      "step": 11500
    },
    {
      "epoch": 31.97222222222222,
      "grad_norm": 0.27003490924835205,
      "learning_rate": 9.460150749105791e-05,
      "loss": 0.0251,
      "step": 11510
    },
    {
      "epoch": 32.0,
      "grad_norm": 0.267397940158844,
      "learning_rate": 9.458904524223116e-05,
      "loss": 0.0318,
      "step": 11520
    },
    {
      "epoch": 32.02777777777778,
      "grad_norm": 0.3934766352176666,
      "learning_rate": 9.457656944842976e-05,
      "loss": 0.0351,
      "step": 11530
    },
    {
      "epoch": 32.05555555555556,
      "grad_norm": 0.3199191093444824,
      "learning_rate": 9.456408011344353e-05,
      "loss": 0.0272,
      "step": 11540
    },
    {
      "epoch": 32.083333333333336,
      "grad_norm": 0.37553295493125916,
      "learning_rate": 9.455157724106643e-05,
      "loss": 0.0317,
      "step": 11550
    },
    {
      "epoch": 32.111111111111114,
      "grad_norm": 0.3977939188480377,
      "learning_rate": 9.453906083509647e-05,
      "loss": 0.0351,
      "step": 11560
    },
    {
      "epoch": 32.138888888888886,
      "grad_norm": 0.5302144289016724,
      "learning_rate": 9.45265308993358e-05,
      "loss": 0.0268,
      "step": 11570
    },
    {
      "epoch": 32.166666666666664,
      "grad_norm": 0.31076160073280334,
      "learning_rate": 9.451398743759071e-05,
      "loss": 0.0363,
      "step": 11580
    },
    {
      "epoch": 32.19444444444444,
      "grad_norm": 0.2799396216869354,
      "learning_rate": 9.450143045367156e-05,
      "loss": 0.0263,
      "step": 11590
    },
    {
      "epoch": 32.22222222222222,
      "grad_norm": 0.48067787289619446,
      "learning_rate": 9.448885995139283e-05,
      "loss": 0.0305,
      "step": 11600
    },
    {
      "epoch": 32.25,
      "grad_norm": 0.47001275420188904,
      "learning_rate": 9.44762759345731e-05,
      "loss": 0.0279,
      "step": 11610
    },
    {
      "epoch": 32.27777777777778,
      "grad_norm": 0.38527870178222656,
      "learning_rate": 9.446367840703509e-05,
      "loss": 0.0302,
      "step": 11620
    },
    {
      "epoch": 32.30555555555556,
      "grad_norm": 0.3019668757915497,
      "learning_rate": 9.445106737260556e-05,
      "loss": 0.0236,
      "step": 11630
    },
    {
      "epoch": 32.333333333333336,
      "grad_norm": 0.30715662240982056,
      "learning_rate": 9.443844283511543e-05,
      "loss": 0.0269,
      "step": 11640
    },
    {
      "epoch": 32.361111111111114,
      "grad_norm": 0.3113422393798828,
      "learning_rate": 9.442580479839968e-05,
      "loss": 0.0328,
      "step": 11650
    },
    {
      "epoch": 32.388888888888886,
      "grad_norm": 0.3626387417316437,
      "learning_rate": 9.441315326629745e-05,
      "loss": 0.0316,
      "step": 11660
    },
    {
      "epoch": 32.416666666666664,
      "grad_norm": 0.38875678181648254,
      "learning_rate": 9.44004882426519e-05,
      "loss": 0.0302,
      "step": 11670
    },
    {
      "epoch": 32.44444444444444,
      "grad_norm": 0.36659806966781616,
      "learning_rate": 9.438780973131037e-05,
      "loss": 0.0308,
      "step": 11680
    },
    {
      "epoch": 32.47222222222222,
      "grad_norm": 0.3553324043750763,
      "learning_rate": 9.437511773612423e-05,
      "loss": 0.0374,
      "step": 11690
    },
    {
      "epoch": 32.5,
      "grad_norm": 0.2166234701871872,
      "learning_rate": 9.436241226094896e-05,
      "loss": 0.0406,
      "step": 11700
    },
    {
      "epoch": 32.52777777777778,
      "grad_norm": 0.39505505561828613,
      "learning_rate": 9.434969330964418e-05,
      "loss": 0.0315,
      "step": 11710
    },
    {
      "epoch": 32.55555555555556,
      "grad_norm": 0.26694831252098083,
      "learning_rate": 9.433696088607356e-05,
      "loss": 0.0265,
      "step": 11720
    },
    {
      "epoch": 32.583333333333336,
      "grad_norm": 0.3365568518638611,
      "learning_rate": 9.432421499410486e-05,
      "loss": 0.028,
      "step": 11730
    },
    {
      "epoch": 32.611111111111114,
      "grad_norm": 0.2748432457447052,
      "learning_rate": 9.431145563760998e-05,
      "loss": 0.0242,
      "step": 11740
    },
    {
      "epoch": 32.638888888888886,
      "grad_norm": 0.362679123878479,
      "learning_rate": 9.429868282046484e-05,
      "loss": 0.0366,
      "step": 11750
    },
    {
      "epoch": 32.666666666666664,
      "grad_norm": 0.3476911783218384,
      "learning_rate": 9.428589654654951e-05,
      "loss": 0.0413,
      "step": 11760
    },
    {
      "epoch": 32.69444444444444,
      "grad_norm": 0.413242906332016,
      "learning_rate": 9.42730968197481e-05,
      "loss": 0.0283,
      "step": 11770
    },
    {
      "epoch": 32.72222222222222,
      "grad_norm": 0.26900386810302734,
      "learning_rate": 9.426028364394883e-05,
      "loss": 0.0245,
      "step": 11780
    },
    {
      "epoch": 32.75,
      "grad_norm": 0.4511226415634155,
      "learning_rate": 9.424745702304402e-05,
      "loss": 0.0276,
      "step": 11790
    },
    {
      "epoch": 32.77777777777778,
      "grad_norm": 0.32314333319664,
      "learning_rate": 9.423461696093006e-05,
      "loss": 0.0333,
      "step": 11800
    },
    {
      "epoch": 32.80555555555556,
      "grad_norm": 0.3198900818824768,
      "learning_rate": 9.422176346150741e-05,
      "loss": 0.0298,
      "step": 11810
    },
    {
      "epoch": 32.833333333333336,
      "grad_norm": 0.23779551684856415,
      "learning_rate": 9.420889652868063e-05,
      "loss": 0.0288,
      "step": 11820
    },
    {
      "epoch": 32.861111111111114,
      "grad_norm": 0.19984452426433563,
      "learning_rate": 9.419601616635836e-05,
      "loss": 0.0284,
      "step": 11830
    },
    {
      "epoch": 32.888888888888886,
      "grad_norm": 0.2782348692417145,
      "learning_rate": 9.418312237845331e-05,
      "loss": 0.0321,
      "step": 11840
    },
    {
      "epoch": 32.916666666666664,
      "grad_norm": 0.25463560223579407,
      "learning_rate": 9.417021516888225e-05,
      "loss": 0.0272,
      "step": 11850
    },
    {
      "epoch": 32.94444444444444,
      "grad_norm": 0.32332921028137207,
      "learning_rate": 9.415729454156608e-05,
      "loss": 0.0273,
      "step": 11860
    },
    {
      "epoch": 32.97222222222222,
      "grad_norm": 0.26453903317451477,
      "learning_rate": 9.414436050042973e-05,
      "loss": 0.0278,
      "step": 11870
    },
    {
      "epoch": 33.0,
      "grad_norm": 0.34566929936408997,
      "learning_rate": 9.413141304940223e-05,
      "loss": 0.0264,
      "step": 11880
    },
    {
      "epoch": 33.02777777777778,
      "grad_norm": 0.41229501366615295,
      "learning_rate": 9.411845219241666e-05,
      "loss": 0.0277,
      "step": 11890
    },
    {
      "epoch": 33.05555555555556,
      "grad_norm": 0.3251681625843048,
      "learning_rate": 9.410547793341021e-05,
      "loss": 0.0283,
      "step": 11900
    },
    {
      "epoch": 33.083333333333336,
      "grad_norm": 0.3136484622955322,
      "learning_rate": 9.409249027632408e-05,
      "loss": 0.0251,
      "step": 11910
    },
    {
      "epoch": 33.111111111111114,
      "grad_norm": 0.44466477632522583,
      "learning_rate": 9.407948922510362e-05,
      "loss": 0.0261,
      "step": 11920
    },
    {
      "epoch": 33.138888888888886,
      "grad_norm": 0.2656268775463104,
      "learning_rate": 9.406647478369817e-05,
      "loss": 0.023,
      "step": 11930
    },
    {
      "epoch": 33.166666666666664,
      "grad_norm": 0.4371930658817291,
      "learning_rate": 9.405344695606118e-05,
      "loss": 0.0265,
      "step": 11940
    },
    {
      "epoch": 33.19444444444444,
      "grad_norm": 0.289408415555954,
      "learning_rate": 9.404040574615018e-05,
      "loss": 0.0281,
      "step": 11950
    },
    {
      "epoch": 33.22222222222222,
      "grad_norm": 0.3025866746902466,
      "learning_rate": 9.402735115792674e-05,
      "loss": 0.032,
      "step": 11960
    },
    {
      "epoch": 33.25,
      "grad_norm": 0.23683041334152222,
      "learning_rate": 9.401428319535649e-05,
      "loss": 0.022,
      "step": 11970
    },
    {
      "epoch": 33.27777777777778,
      "grad_norm": 0.31156042218208313,
      "learning_rate": 9.400120186240912e-05,
      "loss": 0.0299,
      "step": 11980
    },
    {
      "epoch": 33.30555555555556,
      "grad_norm": 0.2722068130970001,
      "learning_rate": 9.398810716305844e-05,
      "loss": 0.0241,
      "step": 11990
    },
    {
      "epoch": 33.333333333333336,
      "grad_norm": 0.29998230934143066,
      "learning_rate": 9.397499910128222e-05,
      "loss": 0.0285,
      "step": 12000
    },
    {
      "epoch": 33.361111111111114,
      "grad_norm": 0.32133543491363525,
      "learning_rate": 9.396187768106237e-05,
      "loss": 0.0211,
      "step": 12010
    },
    {
      "epoch": 33.388888888888886,
      "grad_norm": 0.4177885949611664,
      "learning_rate": 9.394874290638482e-05,
      "loss": 0.0237,
      "step": 12020
    },
    {
      "epoch": 33.416666666666664,
      "grad_norm": 0.41219040751457214,
      "learning_rate": 9.393559478123959e-05,
      "loss": 0.0296,
      "step": 12030
    },
    {
      "epoch": 33.44444444444444,
      "grad_norm": 0.48114338517189026,
      "learning_rate": 9.39224333096207e-05,
      "loss": 0.0291,
      "step": 12040
    },
    {
      "epoch": 33.47222222222222,
      "grad_norm": 0.44473710656166077,
      "learning_rate": 9.390925849552629e-05,
      "loss": 0.0264,
      "step": 12050
    },
    {
      "epoch": 33.5,
      "grad_norm": 0.3868201971054077,
      "learning_rate": 9.389607034295849e-05,
      "loss": 0.0253,
      "step": 12060
    },
    {
      "epoch": 33.52777777777778,
      "grad_norm": 0.23909030854701996,
      "learning_rate": 9.388286885592355e-05,
      "loss": 0.0341,
      "step": 12070
    },
    {
      "epoch": 33.55555555555556,
      "grad_norm": 0.30526620149612427,
      "learning_rate": 9.386965403843168e-05,
      "loss": 0.0278,
      "step": 12080
    },
    {
      "epoch": 33.583333333333336,
      "grad_norm": 0.23503221571445465,
      "learning_rate": 9.385642589449726e-05,
      "loss": 0.0232,
      "step": 12090
    },
    {
      "epoch": 33.611111111111114,
      "grad_norm": 0.24253986775875092,
      "learning_rate": 9.38431844281386e-05,
      "loss": 0.0211,
      "step": 12100
    },
    {
      "epoch": 33.638888888888886,
      "grad_norm": 0.31488344073295593,
      "learning_rate": 9.38299296433781e-05,
      "loss": 0.0265,
      "step": 12110
    },
    {
      "epoch": 33.666666666666664,
      "grad_norm": 0.22600480914115906,
      "learning_rate": 9.381666154424226e-05,
      "loss": 0.026,
      "step": 12120
    },
    {
      "epoch": 33.69444444444444,
      "grad_norm": 0.4443111717700958,
      "learning_rate": 9.380338013476157e-05,
      "loss": 0.0236,
      "step": 12130
    },
    {
      "epoch": 33.72222222222222,
      "grad_norm": 0.3165590763092041,
      "learning_rate": 9.379008541897054e-05,
      "loss": 0.0256,
      "step": 12140
    },
    {
      "epoch": 33.75,
      "grad_norm": 0.3460228145122528,
      "learning_rate": 9.377677740090777e-05,
      "loss": 0.0371,
      "step": 12150
    },
    {
      "epoch": 33.77777777777778,
      "grad_norm": 0.3850324749946594,
      "learning_rate": 9.376345608461588e-05,
      "loss": 0.0319,
      "step": 12160
    },
    {
      "epoch": 33.80555555555556,
      "grad_norm": 0.3457230031490326,
      "learning_rate": 9.375012147414155e-05,
      "loss": 0.0244,
      "step": 12170
    },
    {
      "epoch": 33.833333333333336,
      "grad_norm": 0.2856384813785553,
      "learning_rate": 9.373677357353545e-05,
      "loss": 0.0321,
      "step": 12180
    },
    {
      "epoch": 33.861111111111114,
      "grad_norm": 0.3008909821510315,
      "learning_rate": 9.372341238685237e-05,
      "loss": 0.0225,
      "step": 12190
    },
    {
      "epoch": 33.888888888888886,
      "grad_norm": 0.38505005836486816,
      "learning_rate": 9.371003791815102e-05,
      "loss": 0.0244,
      "step": 12200
    },
    {
      "epoch": 33.916666666666664,
      "grad_norm": 0.3036683201789856,
      "learning_rate": 9.369665017149429e-05,
      "loss": 0.0258,
      "step": 12210
    },
    {
      "epoch": 33.94444444444444,
      "grad_norm": 0.2391064167022705,
      "learning_rate": 9.368324915094895e-05,
      "loss": 0.0254,
      "step": 12220
    },
    {
      "epoch": 33.97222222222222,
      "grad_norm": 0.3235720694065094,
      "learning_rate": 9.366983486058591e-05,
      "loss": 0.0284,
      "step": 12230
    },
    {
      "epoch": 34.0,
      "grad_norm": 0.43996864557266235,
      "learning_rate": 9.365640730448009e-05,
      "loss": 0.0301,
      "step": 12240
    },
    {
      "epoch": 34.02777777777778,
      "grad_norm": 0.3651270866394043,
      "learning_rate": 9.36429664867104e-05,
      "loss": 0.0276,
      "step": 12250
    },
    {
      "epoch": 34.05555555555556,
      "grad_norm": 0.4781798720359802,
      "learning_rate": 9.362951241135982e-05,
      "loss": 0.0297,
      "step": 12260
    },
    {
      "epoch": 34.083333333333336,
      "grad_norm": 0.3309849798679352,
      "learning_rate": 9.361604508251534e-05,
      "loss": 0.0244,
      "step": 12270
    },
    {
      "epoch": 34.111111111111114,
      "grad_norm": 0.47983577847480774,
      "learning_rate": 9.360256450426799e-05,
      "loss": 0.0258,
      "step": 12280
    },
    {
      "epoch": 34.138888888888886,
      "grad_norm": 0.4532281756401062,
      "learning_rate": 9.358907068071279e-05,
      "loss": 0.0272,
      "step": 12290
    },
    {
      "epoch": 34.166666666666664,
      "grad_norm": 0.32068315148353577,
      "learning_rate": 9.357556361594882e-05,
      "loss": 0.0236,
      "step": 12300
    },
    {
      "epoch": 34.19444444444444,
      "grad_norm": 0.4083419144153595,
      "learning_rate": 9.356204331407917e-05,
      "loss": 0.0247,
      "step": 12310
    },
    {
      "epoch": 34.22222222222222,
      "grad_norm": 0.28221452236175537,
      "learning_rate": 9.354850977921094e-05,
      "loss": 0.0351,
      "step": 12320
    },
    {
      "epoch": 34.25,
      "grad_norm": 0.4520533084869385,
      "learning_rate": 9.353496301545529e-05,
      "loss": 0.028,
      "step": 12330
    },
    {
      "epoch": 34.27777777777778,
      "grad_norm": 0.3818177282810211,
      "learning_rate": 9.352140302692733e-05,
      "loss": 0.0299,
      "step": 12340
    },
    {
      "epoch": 34.30555555555556,
      "grad_norm": 0.41082295775413513,
      "learning_rate": 9.350782981774627e-05,
      "loss": 0.0297,
      "step": 12350
    },
    {
      "epoch": 34.333333333333336,
      "grad_norm": 0.33455899357795715,
      "learning_rate": 9.349424339203526e-05,
      "loss": 0.0275,
      "step": 12360
    },
    {
      "epoch": 34.361111111111114,
      "grad_norm": 0.37538111209869385,
      "learning_rate": 9.34806437539215e-05,
      "loss": 0.0315,
      "step": 12370
    },
    {
      "epoch": 34.388888888888886,
      "grad_norm": 0.28267398476600647,
      "learning_rate": 9.346703090753622e-05,
      "loss": 0.036,
      "step": 12380
    },
    {
      "epoch": 34.416666666666664,
      "grad_norm": 0.39230287075042725,
      "learning_rate": 9.345340485701461e-05,
      "loss": 0.0325,
      "step": 12390
    },
    {
      "epoch": 34.44444444444444,
      "grad_norm": 0.2591206133365631,
      "learning_rate": 9.343976560649595e-05,
      "loss": 0.0254,
      "step": 12400
    },
    {
      "epoch": 34.47222222222222,
      "grad_norm": 0.4069252908229828,
      "learning_rate": 9.342611316012344e-05,
      "loss": 0.0311,
      "step": 12410
    },
    {
      "epoch": 34.5,
      "grad_norm": 0.33504796028137207,
      "learning_rate": 9.341244752204437e-05,
      "loss": 0.0297,
      "step": 12420
    },
    {
      "epoch": 34.52777777777778,
      "grad_norm": 0.3349238932132721,
      "learning_rate": 9.339876869640995e-05,
      "loss": 0.0249,
      "step": 12430
    },
    {
      "epoch": 34.55555555555556,
      "grad_norm": 0.34905144572257996,
      "learning_rate": 9.33850766873755e-05,
      "loss": 0.0321,
      "step": 12440
    },
    {
      "epoch": 34.583333333333336,
      "grad_norm": 0.4813060462474823,
      "learning_rate": 9.337137149910028e-05,
      "loss": 0.03,
      "step": 12450
    },
    {
      "epoch": 34.611111111111114,
      "grad_norm": 0.37158411741256714,
      "learning_rate": 9.335765313574753e-05,
      "loss": 0.0231,
      "step": 12460
    },
    {
      "epoch": 34.638888888888886,
      "grad_norm": 0.3119059205055237,
      "learning_rate": 9.334392160148457e-05,
      "loss": 0.0265,
      "step": 12470
    },
    {
      "epoch": 34.666666666666664,
      "grad_norm": 0.382320374250412,
      "learning_rate": 9.333017690048264e-05,
      "loss": 0.0271,
      "step": 12480
    },
    {
      "epoch": 34.69444444444444,
      "grad_norm": 0.27337127923965454,
      "learning_rate": 9.331641903691706e-05,
      "loss": 0.0225,
      "step": 12490
    },
    {
      "epoch": 34.72222222222222,
      "grad_norm": 0.40379399061203003,
      "learning_rate": 9.330264801496707e-05,
      "loss": 0.0335,
      "step": 12500
    },
    {
      "epoch": 34.75,
      "grad_norm": 0.42291101813316345,
      "learning_rate": 9.328886383881594e-05,
      "loss": 0.0289,
      "step": 12510
    },
    {
      "epoch": 34.77777777777778,
      "grad_norm": 0.31374451518058777,
      "learning_rate": 9.327506651265095e-05,
      "loss": 0.0301,
      "step": 12520
    },
    {
      "epoch": 34.80555555555556,
      "grad_norm": 0.2595939338207245,
      "learning_rate": 9.326125604066338e-05,
      "loss": 0.0265,
      "step": 12530
    },
    {
      "epoch": 34.833333333333336,
      "grad_norm": 0.2620314359664917,
      "learning_rate": 9.324743242704847e-05,
      "loss": 0.0237,
      "step": 12540
    },
    {
      "epoch": 34.861111111111114,
      "grad_norm": 0.30956435203552246,
      "learning_rate": 9.323359567600546e-05,
      "loss": 0.0285,
      "step": 12550
    },
    {
      "epoch": 34.888888888888886,
      "grad_norm": 0.4240332543849945,
      "learning_rate": 9.321974579173761e-05,
      "loss": 0.0255,
      "step": 12560
    },
    {
      "epoch": 34.916666666666664,
      "grad_norm": 0.30454495549201965,
      "learning_rate": 9.320588277845213e-05,
      "loss": 0.035,
      "step": 12570
    },
    {
      "epoch": 34.94444444444444,
      "grad_norm": 0.18988029658794403,
      "learning_rate": 9.319200664036026e-05,
      "loss": 0.0255,
      "step": 12580
    },
    {
      "epoch": 34.97222222222222,
      "grad_norm": 0.3818333148956299,
      "learning_rate": 9.31781173816772e-05,
      "loss": 0.0233,
      "step": 12590
    },
    {
      "epoch": 35.0,
      "grad_norm": 0.25845998525619507,
      "learning_rate": 9.316421500662212e-05,
      "loss": 0.0263,
      "step": 12600
    },
    {
      "epoch": 35.02777777777778,
      "grad_norm": 0.23843619227409363,
      "learning_rate": 9.31502995194182e-05,
      "loss": 0.0283,
      "step": 12610
    },
    {
      "epoch": 35.05555555555556,
      "grad_norm": 0.3252163231372833,
      "learning_rate": 9.31363709242926e-05,
      "loss": 0.0271,
      "step": 12620
    },
    {
      "epoch": 35.083333333333336,
      "grad_norm": 0.27901095151901245,
      "learning_rate": 9.312242922547647e-05,
      "loss": 0.0191,
      "step": 12630
    },
    {
      "epoch": 35.111111111111114,
      "grad_norm": 0.2542647421360016,
      "learning_rate": 9.310847442720492e-05,
      "loss": 0.0243,
      "step": 12640
    },
    {
      "epoch": 35.138888888888886,
      "grad_norm": 0.31154516339302063,
      "learning_rate": 9.309450653371706e-05,
      "loss": 0.0249,
      "step": 12650
    },
    {
      "epoch": 35.166666666666664,
      "grad_norm": 0.3631240725517273,
      "learning_rate": 9.308052554925595e-05,
      "loss": 0.0237,
      "step": 12660
    },
    {
      "epoch": 35.19444444444444,
      "grad_norm": 0.31134629249572754,
      "learning_rate": 9.306653147806867e-05,
      "loss": 0.0287,
      "step": 12670
    },
    {
      "epoch": 35.22222222222222,
      "grad_norm": 0.38569697737693787,
      "learning_rate": 9.305252432440622e-05,
      "loss": 0.0247,
      "step": 12680
    },
    {
      "epoch": 35.25,
      "grad_norm": 0.2883559763431549,
      "learning_rate": 9.303850409252361e-05,
      "loss": 0.0229,
      "step": 12690
    },
    {
      "epoch": 35.27777777777778,
      "grad_norm": 0.3191659450531006,
      "learning_rate": 9.302447078667985e-05,
      "loss": 0.0224,
      "step": 12700
    },
    {
      "epoch": 35.30555555555556,
      "grad_norm": 0.36606189608573914,
      "learning_rate": 9.301042441113783e-05,
      "loss": 0.0217,
      "step": 12710
    },
    {
      "epoch": 35.333333333333336,
      "grad_norm": 0.3407345414161682,
      "learning_rate": 9.299636497016451e-05,
      "loss": 0.031,
      "step": 12720
    },
    {
      "epoch": 35.361111111111114,
      "grad_norm": 0.28012174367904663,
      "learning_rate": 9.298229246803076e-05,
      "loss": 0.0296,
      "step": 12730
    },
    {
      "epoch": 35.388888888888886,
      "grad_norm": 0.3503168821334839,
      "learning_rate": 9.296820690901144e-05,
      "loss": 0.0258,
      "step": 12740
    },
    {
      "epoch": 35.416666666666664,
      "grad_norm": 0.37971723079681396,
      "learning_rate": 9.295410829738539e-05,
      "loss": 0.026,
      "step": 12750
    },
    {
      "epoch": 35.44444444444444,
      "grad_norm": 0.42530128359794617,
      "learning_rate": 9.293999663743535e-05,
      "loss": 0.0238,
      "step": 12760
    },
    {
      "epoch": 35.47222222222222,
      "grad_norm": 0.3872303366661072,
      "learning_rate": 9.292587193344813e-05,
      "loss": 0.0296,
      "step": 12770
    },
    {
      "epoch": 35.5,
      "grad_norm": 0.2922059893608093,
      "learning_rate": 9.291173418971437e-05,
      "loss": 0.0267,
      "step": 12780
    },
    {
      "epoch": 35.52777777777778,
      "grad_norm": 0.31371960043907166,
      "learning_rate": 9.28975834105288e-05,
      "loss": 0.0324,
      "step": 12790
    },
    {
      "epoch": 35.55555555555556,
      "grad_norm": 0.2802717387676239,
      "learning_rate": 9.288341960019004e-05,
      "loss": 0.0279,
      "step": 12800
    },
    {
      "epoch": 35.583333333333336,
      "grad_norm": 0.318604052066803,
      "learning_rate": 9.286924276300067e-05,
      "loss": 0.0291,
      "step": 12810
    },
    {
      "epoch": 35.611111111111114,
      "grad_norm": 0.3753715753555298,
      "learning_rate": 9.285505290326726e-05,
      "loss": 0.0254,
      "step": 12820
    },
    {
      "epoch": 35.638888888888886,
      "grad_norm": 0.3603232800960541,
      "learning_rate": 9.284085002530027e-05,
      "loss": 0.0248,
      "step": 12830
    },
    {
      "epoch": 35.666666666666664,
      "grad_norm": 0.43091362714767456,
      "learning_rate": 9.282663413341422e-05,
      "loss": 0.0285,
      "step": 12840
    },
    {
      "epoch": 35.69444444444444,
      "grad_norm": 0.314248651266098,
      "learning_rate": 9.281240523192747e-05,
      "loss": 0.0241,
      "step": 12850
    },
    {
      "epoch": 35.72222222222222,
      "grad_norm": 0.2892873287200928,
      "learning_rate": 9.279816332516242e-05,
      "loss": 0.0258,
      "step": 12860
    },
    {
      "epoch": 35.75,
      "grad_norm": 0.35568132996559143,
      "learning_rate": 9.278390841744536e-05,
      "loss": 0.0295,
      "step": 12870
    },
    {
      "epoch": 35.77777777777778,
      "grad_norm": 0.2573421001434326,
      "learning_rate": 9.276964051310658e-05,
      "loss": 0.0258,
      "step": 12880
    },
    {
      "epoch": 35.80555555555556,
      "grad_norm": 0.2888873517513275,
      "learning_rate": 9.275535961648027e-05,
      "loss": 0.022,
      "step": 12890
    },
    {
      "epoch": 35.833333333333336,
      "grad_norm": 0.2714046835899353,
      "learning_rate": 9.274106573190459e-05,
      "loss": 0.0256,
      "step": 12900
    },
    {
      "epoch": 35.861111111111114,
      "grad_norm": 0.24064534902572632,
      "learning_rate": 9.272675886372168e-05,
      "loss": 0.0198,
      "step": 12910
    },
    {
      "epoch": 35.888888888888886,
      "grad_norm": 0.312289834022522,
      "learning_rate": 9.271243901627754e-05,
      "loss": 0.0268,
      "step": 12920
    },
    {
      "epoch": 35.916666666666664,
      "grad_norm": 0.3685496151447296,
      "learning_rate": 9.269810619392219e-05,
      "loss": 0.0245,
      "step": 12930
    },
    {
      "epoch": 35.94444444444444,
      "grad_norm": 0.3039303421974182,
      "learning_rate": 9.268376040100955e-05,
      "loss": 0.0371,
      "step": 12940
    },
    {
      "epoch": 35.97222222222222,
      "grad_norm": 0.377034068107605,
      "learning_rate": 9.266940164189752e-05,
      "loss": 0.0218,
      "step": 12950
    },
    {
      "epoch": 36.0,
      "grad_norm": 0.3570171892642975,
      "learning_rate": 9.265502992094787e-05,
      "loss": 0.0272,
      "step": 12960
    },
    {
      "epoch": 36.02777777777778,
      "grad_norm": 0.2959499955177307,
      "learning_rate": 9.264064524252638e-05,
      "loss": 0.0198,
      "step": 12970
    },
    {
      "epoch": 36.05555555555556,
      "grad_norm": 0.2769923210144043,
      "learning_rate": 9.262624761100271e-05,
      "loss": 0.0271,
      "step": 12980
    },
    {
      "epoch": 36.083333333333336,
      "grad_norm": 0.3073141276836395,
      "learning_rate": 9.261183703075051e-05,
      "loss": 0.0243,
      "step": 12990
    },
    {
      "epoch": 36.111111111111114,
      "grad_norm": 0.34472113847732544,
      "learning_rate": 9.259741350614733e-05,
      "loss": 0.0235,
      "step": 13000
    },
    {
      "epoch": 36.138888888888886,
      "grad_norm": 0.3969511389732361,
      "learning_rate": 9.258297704157464e-05,
      "loss": 0.0308,
      "step": 13010
    },
    {
      "epoch": 36.166666666666664,
      "grad_norm": 0.34341275691986084,
      "learning_rate": 9.256852764141786e-05,
      "loss": 0.0295,
      "step": 13020
    },
    {
      "epoch": 36.19444444444444,
      "grad_norm": 0.26923006772994995,
      "learning_rate": 9.255406531006634e-05,
      "loss": 0.0236,
      "step": 13030
    },
    {
      "epoch": 36.22222222222222,
      "grad_norm": 0.4660341441631317,
      "learning_rate": 9.253959005191335e-05,
      "loss": 0.0346,
      "step": 13040
    },
    {
      "epoch": 36.25,
      "grad_norm": 0.32777851819992065,
      "learning_rate": 9.25251018713561e-05,
      "loss": 0.031,
      "step": 13050
    },
    {
      "epoch": 36.27777777777778,
      "grad_norm": 0.2144632339477539,
      "learning_rate": 9.251060077279571e-05,
      "loss": 0.0234,
      "step": 13060
    },
    {
      "epoch": 36.30555555555556,
      "grad_norm": 0.3408958613872528,
      "learning_rate": 9.249608676063724e-05,
      "loss": 0.0243,
      "step": 13070
    },
    {
      "epoch": 36.333333333333336,
      "grad_norm": 0.271506667137146,
      "learning_rate": 9.248155983928964e-05,
      "loss": 0.0266,
      "step": 13080
    },
    {
      "epoch": 36.361111111111114,
      "grad_norm": 0.4399441182613373,
      "learning_rate": 9.246702001316583e-05,
      "loss": 0.0259,
      "step": 13090
    },
    {
      "epoch": 36.388888888888886,
      "grad_norm": 0.27060043811798096,
      "learning_rate": 9.245246728668262e-05,
      "loss": 0.0302,
      "step": 13100
    },
    {
      "epoch": 36.416666666666664,
      "grad_norm": 0.29569777846336365,
      "learning_rate": 9.243790166426073e-05,
      "loss": 0.0275,
      "step": 13110
    },
    {
      "epoch": 36.44444444444444,
      "grad_norm": 0.2944468855857849,
      "learning_rate": 9.242332315032484e-05,
      "loss": 0.026,
      "step": 13120
    },
    {
      "epoch": 36.47222222222222,
      "grad_norm": 0.3107074797153473,
      "learning_rate": 9.240873174930349e-05,
      "loss": 0.0295,
      "step": 13130
    },
    {
      "epoch": 36.5,
      "grad_norm": 0.3461015820503235,
      "learning_rate": 9.239412746562917e-05,
      "loss": 0.0297,
      "step": 13140
    },
    {
      "epoch": 36.52777777777778,
      "grad_norm": 0.4411020874977112,
      "learning_rate": 9.237951030373828e-05,
      "loss": 0.0393,
      "step": 13150
    },
    {
      "epoch": 36.55555555555556,
      "grad_norm": 0.3844875991344452,
      "learning_rate": 9.236488026807113e-05,
      "loss": 0.0335,
      "step": 13160
    },
    {
      "epoch": 36.583333333333336,
      "grad_norm": 0.4017910063266754,
      "learning_rate": 9.235023736307193e-05,
      "loss": 0.0256,
      "step": 13170
    },
    {
      "epoch": 36.611111111111114,
      "grad_norm": 0.32797330617904663,
      "learning_rate": 9.233558159318881e-05,
      "loss": 0.028,
      "step": 13180
    },
    {
      "epoch": 36.638888888888886,
      "grad_norm": 0.3221474587917328,
      "learning_rate": 9.232091296287382e-05,
      "loss": 0.0232,
      "step": 13190
    },
    {
      "epoch": 36.666666666666664,
      "grad_norm": 0.3160029947757721,
      "learning_rate": 9.230623147658288e-05,
      "loss": 0.0267,
      "step": 13200
    },
    {
      "epoch": 36.69444444444444,
      "grad_norm": 0.2138005644083023,
      "learning_rate": 9.229153713877586e-05,
      "loss": 0.0216,
      "step": 13210
    },
    {
      "epoch": 36.72222222222222,
      "grad_norm": 0.315406858921051,
      "learning_rate": 9.227682995391649e-05,
      "loss": 0.0289,
      "step": 13220
    },
    {
      "epoch": 36.75,
      "grad_norm": 0.396443247795105,
      "learning_rate": 9.226210992647243e-05,
      "loss": 0.0302,
      "step": 13230
    },
    {
      "epoch": 36.77777777777778,
      "grad_norm": 0.4066723585128784,
      "learning_rate": 9.224737706091525e-05,
      "loss": 0.0226,
      "step": 13240
    },
    {
      "epoch": 36.80555555555556,
      "grad_norm": 0.29682156443595886,
      "learning_rate": 9.223263136172039e-05,
      "loss": 0.0253,
      "step": 13250
    },
    {
      "epoch": 36.833333333333336,
      "grad_norm": 0.2938728332519531,
      "learning_rate": 9.22178728333672e-05,
      "loss": 0.031,
      "step": 13260
    },
    {
      "epoch": 36.861111111111114,
      "grad_norm": 0.3632005751132965,
      "learning_rate": 9.220310148033897e-05,
      "loss": 0.0272,
      "step": 13270
    },
    {
      "epoch": 36.888888888888886,
      "grad_norm": 0.24217288196086884,
      "learning_rate": 9.21883173071228e-05,
      "loss": 0.0247,
      "step": 13280
    },
    {
      "epoch": 36.916666666666664,
      "grad_norm": 0.4351138770580292,
      "learning_rate": 9.217352031820976e-05,
      "loss": 0.02,
      "step": 13290
    },
    {
      "epoch": 36.94444444444444,
      "grad_norm": 0.30908438563346863,
      "learning_rate": 9.215871051809477e-05,
      "loss": 0.0278,
      "step": 13300
    },
    {
      "epoch": 36.97222222222222,
      "grad_norm": 0.3898989260196686,
      "learning_rate": 9.214388791127666e-05,
      "loss": 0.0266,
      "step": 13310
    },
    {
      "epoch": 37.0,
      "grad_norm": 0.4038844108581543,
      "learning_rate": 9.212905250225814e-05,
      "loss": 0.0254,
      "step": 13320
    },
    {
      "epoch": 37.02777777777778,
      "grad_norm": 0.2977057099342346,
      "learning_rate": 9.211420429554583e-05,
      "loss": 0.0247,
      "step": 13330
    },
    {
      "epoch": 37.05555555555556,
      "grad_norm": 0.2853330969810486,
      "learning_rate": 9.209934329565022e-05,
      "loss": 0.0229,
      "step": 13340
    },
    {
      "epoch": 37.083333333333336,
      "grad_norm": 0.3219853639602661,
      "learning_rate": 9.208446950708568e-05,
      "loss": 0.0289,
      "step": 13350
    },
    {
      "epoch": 37.111111111111114,
      "grad_norm": 0.26099956035614014,
      "learning_rate": 9.20695829343705e-05,
      "loss": 0.0209,
      "step": 13360
    },
    {
      "epoch": 37.138888888888886,
      "grad_norm": 0.23540042340755463,
      "learning_rate": 9.205468358202678e-05,
      "loss": 0.0198,
      "step": 13370
    },
    {
      "epoch": 37.166666666666664,
      "grad_norm": 0.29906657338142395,
      "learning_rate": 9.203977145458059e-05,
      "loss": 0.0309,
      "step": 13380
    },
    {
      "epoch": 37.19444444444444,
      "grad_norm": 0.32668086886405945,
      "learning_rate": 9.202484655656182e-05,
      "loss": 0.0245,
      "step": 13390
    },
    {
      "epoch": 37.22222222222222,
      "grad_norm": 0.44410088658332825,
      "learning_rate": 9.200990889250427e-05,
      "loss": 0.0284,
      "step": 13400
    },
    {
      "epoch": 37.25,
      "grad_norm": 0.38675495982170105,
      "learning_rate": 9.19949584669456e-05,
      "loss": 0.022,
      "step": 13410
    },
    {
      "epoch": 37.27777777777778,
      "grad_norm": 0.4337807595729828,
      "learning_rate": 9.197999528442738e-05,
      "loss": 0.0291,
      "step": 13420
    },
    {
      "epoch": 37.30555555555556,
      "grad_norm": 0.20773054659366608,
      "learning_rate": 9.196501934949499e-05,
      "loss": 0.024,
      "step": 13430
    },
    {
      "epoch": 37.333333333333336,
      "grad_norm": 0.449225515127182,
      "learning_rate": 9.195003066669776e-05,
      "loss": 0.0257,
      "step": 13440
    },
    {
      "epoch": 37.361111111111114,
      "grad_norm": 0.2885209619998932,
      "learning_rate": 9.193502924058884e-05,
      "loss": 0.0239,
      "step": 13450
    },
    {
      "epoch": 37.388888888888886,
      "grad_norm": 0.4440094232559204,
      "learning_rate": 9.192001507572526e-05,
      "loss": 0.0306,
      "step": 13460
    },
    {
      "epoch": 37.416666666666664,
      "grad_norm": 0.3298013210296631,
      "learning_rate": 9.190498817666793e-05,
      "loss": 0.0361,
      "step": 13470
    },
    {
      "epoch": 37.44444444444444,
      "grad_norm": 0.2932773530483246,
      "learning_rate": 9.188994854798163e-05,
      "loss": 0.0239,
      "step": 13480
    },
    {
      "epoch": 37.47222222222222,
      "grad_norm": 0.22192500531673431,
      "learning_rate": 9.187489619423499e-05,
      "loss": 0.0217,
      "step": 13490
    },
    {
      "epoch": 37.5,
      "grad_norm": 0.3116706907749176,
      "learning_rate": 9.185983112000056e-05,
      "loss": 0.0226,
      "step": 13500
    },
    {
      "epoch": 37.52777777777778,
      "grad_norm": 0.324319452047348,
      "learning_rate": 9.184475332985464e-05,
      "loss": 0.0203,
      "step": 13510
    },
    {
      "epoch": 37.55555555555556,
      "grad_norm": 0.34599077701568604,
      "learning_rate": 9.182966282837754e-05,
      "loss": 0.0275,
      "step": 13520
    },
    {
      "epoch": 37.583333333333336,
      "grad_norm": 0.26280832290649414,
      "learning_rate": 9.18145596201533e-05,
      "loss": 0.0189,
      "step": 13530
    },
    {
      "epoch": 37.611111111111114,
      "grad_norm": 0.3615018129348755,
      "learning_rate": 9.179944370976991e-05,
      "loss": 0.0225,
      "step": 13540
    },
    {
      "epoch": 37.638888888888886,
      "grad_norm": 0.3276687562465668,
      "learning_rate": 9.178431510181918e-05,
      "loss": 0.0217,
      "step": 13550
    },
    {
      "epoch": 37.666666666666664,
      "grad_norm": 0.3809465765953064,
      "learning_rate": 9.176917380089675e-05,
      "loss": 0.027,
      "step": 13560
    },
    {
      "epoch": 37.69444444444444,
      "grad_norm": 0.3846738934516907,
      "learning_rate": 9.175401981160219e-05,
      "loss": 0.028,
      "step": 13570
    },
    {
      "epoch": 37.72222222222222,
      "grad_norm": 0.42728501558303833,
      "learning_rate": 9.173885313853885e-05,
      "loss": 0.0238,
      "step": 13580
    },
    {
      "epoch": 37.75,
      "grad_norm": 0.37413808703422546,
      "learning_rate": 9.172367378631398e-05,
      "loss": 0.0327,
      "step": 13590
    },
    {
      "epoch": 37.77777777777778,
      "grad_norm": 0.26128315925598145,
      "learning_rate": 9.170848175953866e-05,
      "loss": 0.0328,
      "step": 13600
    },
    {
      "epoch": 37.80555555555556,
      "grad_norm": 0.37249115109443665,
      "learning_rate": 9.169327706282784e-05,
      "loss": 0.0222,
      "step": 13610
    },
    {
      "epoch": 37.833333333333336,
      "grad_norm": 0.3533437252044678,
      "learning_rate": 9.167805970080029e-05,
      "loss": 0.022,
      "step": 13620
    },
    {
      "epoch": 37.861111111111114,
      "grad_norm": 0.28359994292259216,
      "learning_rate": 9.166282967807864e-05,
      "loss": 0.0271,
      "step": 13630
    },
    {
      "epoch": 37.888888888888886,
      "grad_norm": 0.41575148701667786,
      "learning_rate": 9.16475869992894e-05,
      "loss": 0.0208,
      "step": 13640
    },
    {
      "epoch": 37.916666666666664,
      "grad_norm": 0.38159459829330444,
      "learning_rate": 9.163233166906284e-05,
      "loss": 0.019,
      "step": 13650
    },
    {
      "epoch": 37.94444444444444,
      "grad_norm": 0.3708796799182892,
      "learning_rate": 9.161706369203317e-05,
      "loss": 0.0236,
      "step": 13660
    },
    {
      "epoch": 37.97222222222222,
      "grad_norm": 0.27347931265830994,
      "learning_rate": 9.16017830728384e-05,
      "loss": 0.0169,
      "step": 13670
    },
    {
      "epoch": 38.0,
      "grad_norm": 0.29401251673698425,
      "learning_rate": 9.158648981612035e-05,
      "loss": 0.0249,
      "step": 13680
    },
    {
      "epoch": 38.02777777777778,
      "grad_norm": 0.2778812050819397,
      "learning_rate": 9.157118392652472e-05,
      "loss": 0.0218,
      "step": 13690
    },
    {
      "epoch": 38.05555555555556,
      "grad_norm": 0.2804912030696869,
      "learning_rate": 9.155586540870104e-05,
      "loss": 0.0189,
      "step": 13700
    },
    {
      "epoch": 38.083333333333336,
      "grad_norm": 0.22556550800800323,
      "learning_rate": 9.154053426730267e-05,
      "loss": 0.0224,
      "step": 13710
    },
    {
      "epoch": 38.111111111111114,
      "grad_norm": 0.32682472467422485,
      "learning_rate": 9.15251905069868e-05,
      "loss": 0.028,
      "step": 13720
    },
    {
      "epoch": 38.138888888888886,
      "grad_norm": 0.25092843174934387,
      "learning_rate": 9.150983413241446e-05,
      "loss": 0.0244,
      "step": 13730
    },
    {
      "epoch": 38.166666666666664,
      "grad_norm": 0.33615434169769287,
      "learning_rate": 9.149446514825051e-05,
      "loss": 0.0338,
      "step": 13740
    },
    {
      "epoch": 38.19444444444444,
      "grad_norm": 0.483803927898407,
      "learning_rate": 9.147908355916365e-05,
      "loss": 0.029,
      "step": 13750
    },
    {
      "epoch": 38.22222222222222,
      "grad_norm": 0.2667733132839203,
      "learning_rate": 9.146368936982642e-05,
      "loss": 0.0329,
      "step": 13760
    },
    {
      "epoch": 38.25,
      "grad_norm": 0.2921145558357239,
      "learning_rate": 9.144828258491511e-05,
      "loss": 0.0261,
      "step": 13770
    },
    {
      "epoch": 38.27777777777778,
      "grad_norm": 0.25420159101486206,
      "learning_rate": 9.143286320910996e-05,
      "loss": 0.0246,
      "step": 13780
    },
    {
      "epoch": 38.30555555555556,
      "grad_norm": 0.26829591393470764,
      "learning_rate": 9.141743124709491e-05,
      "loss": 0.0219,
      "step": 13790
    },
    {
      "epoch": 38.333333333333336,
      "grad_norm": 0.3269672989845276,
      "learning_rate": 9.140198670355784e-05,
      "loss": 0.0225,
      "step": 13800
    },
    {
      "epoch": 38.361111111111114,
      "grad_norm": 0.3304517865180969,
      "learning_rate": 9.138652958319034e-05,
      "loss": 0.0281,
      "step": 13810
    },
    {
      "epoch": 38.388888888888886,
      "grad_norm": 0.3517460227012634,
      "learning_rate": 9.137105989068791e-05,
      "loss": 0.0218,
      "step": 13820
    },
    {
      "epoch": 38.416666666666664,
      "grad_norm": 0.32099682092666626,
      "learning_rate": 9.135557763074983e-05,
      "loss": 0.0323,
      "step": 13830
    },
    {
      "epoch": 38.44444444444444,
      "grad_norm": 0.35471582412719727,
      "learning_rate": 9.13400828080792e-05,
      "loss": 0.0318,
      "step": 13840
    },
    {
      "epoch": 38.47222222222222,
      "grad_norm": 0.3904951214790344,
      "learning_rate": 9.132457542738292e-05,
      "loss": 0.0255,
      "step": 13850
    },
    {
      "epoch": 38.5,
      "grad_norm": 0.25478726625442505,
      "learning_rate": 9.130905549337174e-05,
      "loss": 0.0205,
      "step": 13860
    },
    {
      "epoch": 38.52777777777778,
      "grad_norm": 0.4127114415168762,
      "learning_rate": 9.129352301076021e-05,
      "loss": 0.0222,
      "step": 13870
    },
    {
      "epoch": 38.55555555555556,
      "grad_norm": 0.27737197279930115,
      "learning_rate": 9.127797798426668e-05,
      "loss": 0.022,
      "step": 13880
    },
    {
      "epoch": 38.583333333333336,
      "grad_norm": 0.2962294816970825,
      "learning_rate": 9.126242041861333e-05,
      "loss": 0.0306,
      "step": 13890
    },
    {
      "epoch": 38.611111111111114,
      "grad_norm": 0.2680962383747101,
      "learning_rate": 9.124685031852611e-05,
      "loss": 0.0287,
      "step": 13900
    },
    {
      "epoch": 38.638888888888886,
      "grad_norm": 0.3116593360900879,
      "learning_rate": 9.123126768873482e-05,
      "loss": 0.0256,
      "step": 13910
    },
    {
      "epoch": 38.666666666666664,
      "grad_norm": 0.25010690093040466,
      "learning_rate": 9.121567253397308e-05,
      "loss": 0.0238,
      "step": 13920
    },
    {
      "epoch": 38.69444444444444,
      "grad_norm": 0.26736757159233093,
      "learning_rate": 9.120006485897824e-05,
      "loss": 0.0206,
      "step": 13930
    },
    {
      "epoch": 38.72222222222222,
      "grad_norm": 0.35389596223831177,
      "learning_rate": 9.118444466849152e-05,
      "loss": 0.0297,
      "step": 13940
    },
    {
      "epoch": 38.75,
      "grad_norm": 0.28863173723220825,
      "learning_rate": 9.116881196725793e-05,
      "loss": 0.0239,
      "step": 13950
    },
    {
      "epoch": 38.77777777777778,
      "grad_norm": 0.34809020161628723,
      "learning_rate": 9.115316676002627e-05,
      "loss": 0.0225,
      "step": 13960
    },
    {
      "epoch": 38.80555555555556,
      "grad_norm": 0.17861923575401306,
      "learning_rate": 9.113750905154911e-05,
      "loss": 0.0241,
      "step": 13970
    },
    {
      "epoch": 38.833333333333336,
      "grad_norm": 0.22126057744026184,
      "learning_rate": 9.112183884658289e-05,
      "loss": 0.0288,
      "step": 13980
    },
    {
      "epoch": 38.861111111111114,
      "grad_norm": 0.28752416372299194,
      "learning_rate": 9.11061561498878e-05,
      "loss": 0.0173,
      "step": 13990
    },
    {
      "epoch": 38.888888888888886,
      "grad_norm": 0.3594087064266205,
      "learning_rate": 9.109046096622779e-05,
      "loss": 0.0261,
      "step": 14000
    },
    {
      "epoch": 38.916666666666664,
      "grad_norm": 0.36589929461479187,
      "learning_rate": 9.107475330037069e-05,
      "loss": 0.0254,
      "step": 14010
    },
    {
      "epoch": 38.94444444444444,
      "grad_norm": 0.3844512701034546,
      "learning_rate": 9.105903315708806e-05,
      "loss": 0.0243,
      "step": 14020
    },
    {
      "epoch": 38.97222222222222,
      "grad_norm": 0.3560710847377777,
      "learning_rate": 9.104330054115524e-05,
      "loss": 0.0207,
      "step": 14030
    },
    {
      "epoch": 39.0,
      "grad_norm": 0.3184982240200043,
      "learning_rate": 9.102755545735141e-05,
      "loss": 0.0206,
      "step": 14040
    },
    {
      "epoch": 39.02777777777778,
      "grad_norm": 0.2970726191997528,
      "learning_rate": 9.10117979104595e-05,
      "loss": 0.0263,
      "step": 14050
    },
    {
      "epoch": 39.05555555555556,
      "grad_norm": 0.49677467346191406,
      "learning_rate": 9.099602790526624e-05,
      "loss": 0.0279,
      "step": 14060
    },
    {
      "epoch": 39.083333333333336,
      "grad_norm": 0.470825731754303,
      "learning_rate": 9.098024544656212e-05,
      "loss": 0.0227,
      "step": 14070
    },
    {
      "epoch": 39.111111111111114,
      "grad_norm": 0.383523166179657,
      "learning_rate": 9.096445053914148e-05,
      "loss": 0.0369,
      "step": 14080
    },
    {
      "epoch": 39.138888888888886,
      "grad_norm": 0.35879042744636536,
      "learning_rate": 9.094864318780236e-05,
      "loss": 0.029,
      "step": 14090
    },
    {
      "epoch": 39.166666666666664,
      "grad_norm": 0.44266048073768616,
      "learning_rate": 9.093282339734663e-05,
      "loss": 0.0399,
      "step": 14100
    },
    {
      "epoch": 39.19444444444444,
      "grad_norm": 0.2976113259792328,
      "learning_rate": 9.091699117257992e-05,
      "loss": 0.0232,
      "step": 14110
    },
    {
      "epoch": 39.22222222222222,
      "grad_norm": 0.33345019817352295,
      "learning_rate": 9.090114651831163e-05,
      "loss": 0.0238,
      "step": 14120
    },
    {
      "epoch": 39.25,
      "grad_norm": 0.4763827919960022,
      "learning_rate": 9.088528943935497e-05,
      "loss": 0.0317,
      "step": 14130
    },
    {
      "epoch": 39.27777777777778,
      "grad_norm": 0.3833019435405731,
      "learning_rate": 9.086941994052689e-05,
      "loss": 0.0232,
      "step": 14140
    },
    {
      "epoch": 39.30555555555556,
      "grad_norm": 0.3001478910446167,
      "learning_rate": 9.085353802664813e-05,
      "loss": 0.0225,
      "step": 14150
    },
    {
      "epoch": 39.333333333333336,
      "grad_norm": 0.3840990960597992,
      "learning_rate": 9.08376437025432e-05,
      "loss": 0.0235,
      "step": 14160
    },
    {
      "epoch": 39.361111111111114,
      "grad_norm": 0.29245585203170776,
      "learning_rate": 9.082173697304035e-05,
      "loss": 0.0284,
      "step": 14170
    },
    {
      "epoch": 39.388888888888886,
      "grad_norm": 0.27309566736221313,
      "learning_rate": 9.080581784297166e-05,
      "loss": 0.0207,
      "step": 14180
    },
    {
      "epoch": 39.416666666666664,
      "grad_norm": 0.2698120176792145,
      "learning_rate": 9.078988631717291e-05,
      "loss": 0.0269,
      "step": 14190
    },
    {
      "epoch": 39.44444444444444,
      "grad_norm": 0.3129117786884308,
      "learning_rate": 9.077394240048369e-05,
      "loss": 0.025,
      "step": 14200
    },
    {
      "epoch": 39.47222222222222,
      "grad_norm": 0.2651672065258026,
      "learning_rate": 9.075798609774736e-05,
      "loss": 0.0253,
      "step": 14210
    },
    {
      "epoch": 39.5,
      "grad_norm": 0.36643844842910767,
      "learning_rate": 9.0742017413811e-05,
      "loss": 0.0229,
      "step": 14220
    },
    {
      "epoch": 39.52777777777778,
      "grad_norm": 0.19133253395557404,
      "learning_rate": 9.072603635352548e-05,
      "loss": 0.0247,
      "step": 14230
    },
    {
      "epoch": 39.55555555555556,
      "grad_norm": 0.38260746002197266,
      "learning_rate": 9.071004292174541e-05,
      "loss": 0.0279,
      "step": 14240
    },
    {
      "epoch": 39.583333333333336,
      "grad_norm": 0.31944775581359863,
      "learning_rate": 9.06940371233292e-05,
      "loss": 0.0193,
      "step": 14250
    },
    {
      "epoch": 39.611111111111114,
      "grad_norm": 0.3389076888561249,
      "learning_rate": 9.067801896313898e-05,
      "loss": 0.0258,
      "step": 14260
    },
    {
      "epoch": 39.638888888888886,
      "grad_norm": 0.27322497963905334,
      "learning_rate": 9.066198844604064e-05,
      "loss": 0.0244,
      "step": 14270
    },
    {
      "epoch": 39.666666666666664,
      "grad_norm": 0.39926302433013916,
      "learning_rate": 9.06459455769038e-05,
      "loss": 0.028,
      "step": 14280
    },
    {
      "epoch": 39.69444444444444,
      "grad_norm": 0.3335389494895935,
      "learning_rate": 9.062989036060193e-05,
      "loss": 0.0327,
      "step": 14290
    },
    {
      "epoch": 39.72222222222222,
      "grad_norm": 0.27762728929519653,
      "learning_rate": 9.061382280201212e-05,
      "loss": 0.0211,
      "step": 14300
    },
    {
      "epoch": 39.75,
      "grad_norm": 0.21357403695583344,
      "learning_rate": 9.059774290601528e-05,
      "loss": 0.0317,
      "step": 14310
    },
    {
      "epoch": 39.77777777777778,
      "grad_norm": 0.2580469250679016,
      "learning_rate": 9.058165067749606e-05,
      "loss": 0.0233,
      "step": 14320
    },
    {
      "epoch": 39.80555555555556,
      "grad_norm": 0.3859577775001526,
      "learning_rate": 9.056554612134288e-05,
      "loss": 0.0267,
      "step": 14330
    },
    {
      "epoch": 39.833333333333336,
      "grad_norm": 0.3267829120159149,
      "learning_rate": 9.054942924244785e-05,
      "loss": 0.022,
      "step": 14340
    },
    {
      "epoch": 39.861111111111114,
      "grad_norm": 0.2623583972454071,
      "learning_rate": 9.053330004570686e-05,
      "loss": 0.0267,
      "step": 14350
    },
    {
      "epoch": 39.888888888888886,
      "grad_norm": 0.2691146433353424,
      "learning_rate": 9.051715853601955e-05,
      "loss": 0.0258,
      "step": 14360
    },
    {
      "epoch": 39.916666666666664,
      "grad_norm": 0.21551811695098877,
      "learning_rate": 9.050100471828926e-05,
      "loss": 0.0319,
      "step": 14370
    },
    {
      "epoch": 39.94444444444444,
      "grad_norm": 0.29903578758239746,
      "learning_rate": 9.048483859742311e-05,
      "loss": 0.0329,
      "step": 14380
    },
    {
      "epoch": 39.97222222222222,
      "grad_norm": 0.380977600812912,
      "learning_rate": 9.046866017833193e-05,
      "loss": 0.0216,
      "step": 14390
    },
    {
      "epoch": 40.0,
      "grad_norm": 0.2143605798482895,
      "learning_rate": 9.045246946593029e-05,
      "loss": 0.0246,
      "step": 14400
    },
    {
      "epoch": 40.02777777777778,
      "grad_norm": 0.4031623303890228,
      "learning_rate": 9.043626646513652e-05,
      "loss": 0.0216,
      "step": 14410
    },
    {
      "epoch": 40.05555555555556,
      "grad_norm": 0.33122262358665466,
      "learning_rate": 9.042005118087267e-05,
      "loss": 0.0185,
      "step": 14420
    },
    {
      "epoch": 40.083333333333336,
      "grad_norm": 0.30791640281677246,
      "learning_rate": 9.040382361806448e-05,
      "loss": 0.0275,
      "step": 14430
    },
    {
      "epoch": 40.111111111111114,
      "grad_norm": 0.19232019782066345,
      "learning_rate": 9.038758378164148e-05,
      "loss": 0.03,
      "step": 14440
    },
    {
      "epoch": 40.138888888888886,
      "grad_norm": 0.4339527189731598,
      "learning_rate": 9.037133167653691e-05,
      "loss": 0.0223,
      "step": 14450
    },
    {
      "epoch": 40.166666666666664,
      "grad_norm": 0.26362907886505127,
      "learning_rate": 9.035506730768771e-05,
      "loss": 0.0213,
      "step": 14460
    },
    {
      "epoch": 40.19444444444444,
      "grad_norm": 0.3338684141635895,
      "learning_rate": 9.033879068003458e-05,
      "loss": 0.0218,
      "step": 14470
    },
    {
      "epoch": 40.22222222222222,
      "grad_norm": 0.24416793882846832,
      "learning_rate": 9.032250179852193e-05,
      "loss": 0.025,
      "step": 14480
    },
    {
      "epoch": 40.25,
      "grad_norm": 0.34441328048706055,
      "learning_rate": 9.030620066809787e-05,
      "loss": 0.0197,
      "step": 14490
    },
    {
      "epoch": 40.27777777777778,
      "grad_norm": 0.36935245990753174,
      "learning_rate": 9.028988729371428e-05,
      "loss": 0.0206,
      "step": 14500
    },
    {
      "epoch": 40.30555555555556,
      "grad_norm": 0.27880924940109253,
      "learning_rate": 9.027356168032673e-05,
      "loss": 0.0224,
      "step": 14510
    },
    {
      "epoch": 40.333333333333336,
      "grad_norm": 0.3510170876979828,
      "learning_rate": 9.02572238328945e-05,
      "loss": 0.0234,
      "step": 14520
    },
    {
      "epoch": 40.361111111111114,
      "grad_norm": 0.3087349832057953,
      "learning_rate": 9.02408737563806e-05,
      "loss": 0.0246,
      "step": 14530
    },
    {
      "epoch": 40.388888888888886,
      "grad_norm": 0.34123945236206055,
      "learning_rate": 9.022451145575174e-05,
      "loss": 0.0222,
      "step": 14540
    },
    {
      "epoch": 40.416666666666664,
      "grad_norm": 0.24451398849487305,
      "learning_rate": 9.02081369359784e-05,
      "loss": 0.0225,
      "step": 14550
    },
    {
      "epoch": 40.44444444444444,
      "grad_norm": 0.2498268187046051,
      "learning_rate": 9.019175020203465e-05,
      "loss": 0.0195,
      "step": 14560
    },
    {
      "epoch": 40.47222222222222,
      "grad_norm": 0.30607879161834717,
      "learning_rate": 9.017535125889842e-05,
      "loss": 0.0194,
      "step": 14570
    },
    {
      "epoch": 40.5,
      "grad_norm": 0.23408357799053192,
      "learning_rate": 9.015894011155124e-05,
      "loss": 0.0246,
      "step": 14580
    },
    {
      "epoch": 40.52777777777778,
      "grad_norm": 0.3132227957248688,
      "learning_rate": 9.014251676497838e-05,
      "loss": 0.0305,
      "step": 14590
    },
    {
      "epoch": 40.55555555555556,
      "grad_norm": 0.253238320350647,
      "learning_rate": 9.012608122416884e-05,
      "loss": 0.0198,
      "step": 14600
    },
    {
      "epoch": 40.583333333333336,
      "grad_norm": 0.3795577585697174,
      "learning_rate": 9.010963349411529e-05,
      "loss": 0.0271,
      "step": 14610
    },
    {
      "epoch": 40.611111111111114,
      "grad_norm": 0.3309275209903717,
      "learning_rate": 9.00931735798141e-05,
      "loss": 0.0259,
      "step": 14620
    },
    {
      "epoch": 40.638888888888886,
      "grad_norm": 0.35294774174690247,
      "learning_rate": 9.00767014862654e-05,
      "loss": 0.0234,
      "step": 14630
    },
    {
      "epoch": 40.666666666666664,
      "grad_norm": 0.22747327387332916,
      "learning_rate": 9.006021721847295e-05,
      "loss": 0.0212,
      "step": 14640
    },
    {
      "epoch": 40.69444444444444,
      "grad_norm": 0.4536210894584656,
      "learning_rate": 9.004372078144423e-05,
      "loss": 0.0253,
      "step": 14650
    },
    {
      "epoch": 40.72222222222222,
      "grad_norm": 0.41255271434783936,
      "learning_rate": 9.002721218019043e-05,
      "loss": 0.0326,
      "step": 14660
    },
    {
      "epoch": 40.75,
      "grad_norm": 0.2721329927444458,
      "learning_rate": 9.001069141972642e-05,
      "loss": 0.0223,
      "step": 14670
    },
    {
      "epoch": 40.77777777777778,
      "grad_norm": 0.4567427933216095,
      "learning_rate": 8.99941585050708e-05,
      "loss": 0.0267,
      "step": 14680
    },
    {
      "epoch": 40.80555555555556,
      "grad_norm": 0.32955217361450195,
      "learning_rate": 8.997761344124578e-05,
      "loss": 0.0248,
      "step": 14690
    },
    {
      "epoch": 40.833333333333336,
      "grad_norm": 0.3341759443283081,
      "learning_rate": 8.996105623327737e-05,
      "loss": 0.0212,
      "step": 14700
    },
    {
      "epoch": 40.861111111111114,
      "grad_norm": 0.23350489139556885,
      "learning_rate": 8.994448688619517e-05,
      "loss": 0.0216,
      "step": 14710
    },
    {
      "epoch": 40.888888888888886,
      "grad_norm": 0.2473919838666916,
      "learning_rate": 8.992790540503253e-05,
      "loss": 0.0217,
      "step": 14720
    },
    {
      "epoch": 40.916666666666664,
      "grad_norm": 0.30024465918540955,
      "learning_rate": 8.991131179482648e-05,
      "loss": 0.0183,
      "step": 14730
    },
    {
      "epoch": 40.94444444444444,
      "grad_norm": 0.2882115840911865,
      "learning_rate": 8.989470606061768e-05,
      "loss": 0.024,
      "step": 14740
    },
    {
      "epoch": 40.97222222222222,
      "grad_norm": 0.3922169804573059,
      "learning_rate": 8.987808820745056e-05,
      "loss": 0.0308,
      "step": 14750
    },
    {
      "epoch": 41.0,
      "grad_norm": 0.41978976130485535,
      "learning_rate": 8.986145824037315e-05,
      "loss": 0.0213,
      "step": 14760
    },
    {
      "epoch": 41.02777777777778,
      "grad_norm": 0.3370957672595978,
      "learning_rate": 8.984481616443721e-05,
      "loss": 0.0302,
      "step": 14770
    },
    {
      "epoch": 41.05555555555556,
      "grad_norm": 0.2463676929473877,
      "learning_rate": 8.982816198469815e-05,
      "loss": 0.023,
      "step": 14780
    },
    {
      "epoch": 41.083333333333336,
      "grad_norm": 0.34223419427871704,
      "learning_rate": 8.98114957062151e-05,
      "loss": 0.0254,
      "step": 14790
    },
    {
      "epoch": 41.111111111111114,
      "grad_norm": 0.3949342966079712,
      "learning_rate": 8.97948173340508e-05,
      "loss": 0.0215,
      "step": 14800
    },
    {
      "epoch": 41.138888888888886,
      "grad_norm": 0.30969855189323425,
      "learning_rate": 8.977812687327172e-05,
      "loss": 0.0184,
      "step": 14810
    },
    {
      "epoch": 41.166666666666664,
      "grad_norm": 0.2827964723110199,
      "learning_rate": 8.976142432894798e-05,
      "loss": 0.0246,
      "step": 14820
    },
    {
      "epoch": 41.19444444444444,
      "grad_norm": 0.4578597843647003,
      "learning_rate": 8.974470970615336e-05,
      "loss": 0.0289,
      "step": 14830
    },
    {
      "epoch": 41.22222222222222,
      "grad_norm": 0.2789095640182495,
      "learning_rate": 8.972798300996534e-05,
      "loss": 0.0298,
      "step": 14840
    },
    {
      "epoch": 41.25,
      "grad_norm": 0.4117269217967987,
      "learning_rate": 8.971124424546504e-05,
      "loss": 0.0205,
      "step": 14850
    },
    {
      "epoch": 41.27777777777778,
      "grad_norm": 0.40684938430786133,
      "learning_rate": 8.969449341773724e-05,
      "loss": 0.027,
      "step": 14860
    },
    {
      "epoch": 41.30555555555556,
      "grad_norm": 0.2728675305843353,
      "learning_rate": 8.967773053187042e-05,
      "loss": 0.0294,
      "step": 14870
    },
    {
      "epoch": 41.333333333333336,
      "grad_norm": 0.27806413173675537,
      "learning_rate": 8.966095559295668e-05,
      "loss": 0.0228,
      "step": 14880
    },
    {
      "epoch": 41.361111111111114,
      "grad_norm": 0.3066439926624298,
      "learning_rate": 8.964416860609184e-05,
      "loss": 0.0232,
      "step": 14890
    },
    {
      "epoch": 41.388888888888886,
      "grad_norm": 0.4220273494720459,
      "learning_rate": 8.962736957637532e-05,
      "loss": 0.0188,
      "step": 14900
    },
    {
      "epoch": 41.416666666666664,
      "grad_norm": 0.2651411294937134,
      "learning_rate": 8.96105585089102e-05,
      "loss": 0.0168,
      "step": 14910
    },
    {
      "epoch": 41.44444444444444,
      "grad_norm": 0.3001980483531952,
      "learning_rate": 8.959373540880329e-05,
      "loss": 0.0333,
      "step": 14920
    },
    {
      "epoch": 41.47222222222222,
      "grad_norm": 0.2984120845794678,
      "learning_rate": 8.957690028116495e-05,
      "loss": 0.0272,
      "step": 14930
    },
    {
      "epoch": 41.5,
      "grad_norm": 0.2923631966114044,
      "learning_rate": 8.956005313110928e-05,
      "loss": 0.0239,
      "step": 14940
    },
    {
      "epoch": 41.52777777777778,
      "grad_norm": 0.2685423791408539,
      "learning_rate": 8.9543193963754e-05,
      "loss": 0.0265,
      "step": 14950
    },
    {
      "epoch": 41.55555555555556,
      "grad_norm": 0.37874919176101685,
      "learning_rate": 8.952632278422048e-05,
      "loss": 0.0194,
      "step": 14960
    },
    {
      "epoch": 41.583333333333336,
      "grad_norm": 0.2322704792022705,
      "learning_rate": 8.95094395976337e-05,
      "loss": 0.0292,
      "step": 14970
    },
    {
      "epoch": 41.611111111111114,
      "grad_norm": 0.322346568107605,
      "learning_rate": 8.949254440912239e-05,
      "loss": 0.0241,
      "step": 14980
    },
    {
      "epoch": 41.638888888888886,
      "grad_norm": 0.25828173756599426,
      "learning_rate": 8.94756372238188e-05,
      "loss": 0.0223,
      "step": 14990
    },
    {
      "epoch": 41.666666666666664,
      "grad_norm": 0.23830311000347137,
      "learning_rate": 8.945871804685892e-05,
      "loss": 0.02,
      "step": 15000
    },
    {
      "epoch": 41.69444444444444,
      "grad_norm": 0.3136066794395447,
      "learning_rate": 8.944178688338236e-05,
      "loss": 0.0198,
      "step": 15010
    },
    {
      "epoch": 41.72222222222222,
      "grad_norm": 0.29905930161476135,
      "learning_rate": 8.942484373853233e-05,
      "loss": 0.0182,
      "step": 15020
    },
    {
      "epoch": 41.75,
      "grad_norm": 0.3289162814617157,
      "learning_rate": 8.940788861745572e-05,
      "loss": 0.0284,
      "step": 15030
    },
    {
      "epoch": 41.77777777777778,
      "grad_norm": 0.6151164174079895,
      "learning_rate": 8.939092152530308e-05,
      "loss": 0.0292,
      "step": 15040
    },
    {
      "epoch": 41.80555555555556,
      "grad_norm": 0.3469177186489105,
      "learning_rate": 8.937394246722853e-05,
      "loss": 0.0247,
      "step": 15050
    },
    {
      "epoch": 41.833333333333336,
      "grad_norm": 0.27580276131629944,
      "learning_rate": 8.935695144838984e-05,
      "loss": 0.0352,
      "step": 15060
    },
    {
      "epoch": 41.861111111111114,
      "grad_norm": 0.3825523257255554,
      "learning_rate": 8.933994847394849e-05,
      "loss": 0.0264,
      "step": 15070
    },
    {
      "epoch": 41.888888888888886,
      "grad_norm": 0.3061462640762329,
      "learning_rate": 8.932293354906949e-05,
      "loss": 0.021,
      "step": 15080
    },
    {
      "epoch": 41.916666666666664,
      "grad_norm": 0.2663615345954895,
      "learning_rate": 8.930590667892153e-05,
      "loss": 0.0221,
      "step": 15090
    },
    {
      "epoch": 41.94444444444444,
      "grad_norm": 0.37126797437667847,
      "learning_rate": 8.928886786867696e-05,
      "loss": 0.0214,
      "step": 15100
    },
    {
      "epoch": 41.97222222222222,
      "grad_norm": 0.2582591772079468,
      "learning_rate": 8.927181712351168e-05,
      "loss": 0.0194,
      "step": 15110
    },
    {
      "epoch": 42.0,
      "grad_norm": 0.30927401781082153,
      "learning_rate": 8.925475444860527e-05,
      "loss": 0.024,
      "step": 15120
    },
    {
      "epoch": 42.02777777777778,
      "grad_norm": 0.3107375502586365,
      "learning_rate": 8.923767984914092e-05,
      "loss": 0.0175,
      "step": 15130
    },
    {
      "epoch": 42.05555555555556,
      "grad_norm": 0.45664459466934204,
      "learning_rate": 8.922059333030545e-05,
      "loss": 0.0336,
      "step": 15140
    },
    {
      "epoch": 42.083333333333336,
      "grad_norm": 0.2902619242668152,
      "learning_rate": 8.920349489728928e-05,
      "loss": 0.0234,
      "step": 15150
    },
    {
      "epoch": 42.111111111111114,
      "grad_norm": 0.3895183801651001,
      "learning_rate": 8.918638455528646e-05,
      "loss": 0.0307,
      "step": 15160
    },
    {
      "epoch": 42.138888888888886,
      "grad_norm": 0.4754785895347595,
      "learning_rate": 8.916926230949468e-05,
      "loss": 0.025,
      "step": 15170
    },
    {
      "epoch": 42.166666666666664,
      "grad_norm": 0.2594505250453949,
      "learning_rate": 8.915212816511522e-05,
      "loss": 0.0239,
      "step": 15180
    },
    {
      "epoch": 42.19444444444444,
      "grad_norm": 0.37057000398635864,
      "learning_rate": 8.913498212735296e-05,
      "loss": 0.0262,
      "step": 15190
    },
    {
      "epoch": 42.22222222222222,
      "grad_norm": 0.35749125480651855,
      "learning_rate": 8.911782420141643e-05,
      "loss": 0.0248,
      "step": 15200
    },
    {
      "epoch": 42.25,
      "grad_norm": 0.2960846722126007,
      "learning_rate": 8.910065439251775e-05,
      "loss": 0.019,
      "step": 15210
    },
    {
      "epoch": 42.27777777777778,
      "grad_norm": 0.309133380651474,
      "learning_rate": 8.908347270587268e-05,
      "loss": 0.0206,
      "step": 15220
    },
    {
      "epoch": 42.30555555555556,
      "grad_norm": 0.252362996339798,
      "learning_rate": 8.906627914670054e-05,
      "loss": 0.0186,
      "step": 15230
    },
    {
      "epoch": 42.333333333333336,
      "grad_norm": 0.26387351751327515,
      "learning_rate": 8.904907372022427e-05,
      "loss": 0.0186,
      "step": 15240
    },
    {
      "epoch": 42.361111111111114,
      "grad_norm": 0.3962034583091736,
      "learning_rate": 8.903185643167042e-05,
      "loss": 0.0251,
      "step": 15250
    },
    {
      "epoch": 42.388888888888886,
      "grad_norm": 0.33283281326293945,
      "learning_rate": 8.901462728626919e-05,
      "loss": 0.0204,
      "step": 15260
    },
    {
      "epoch": 42.416666666666664,
      "grad_norm": 0.3957294821739197,
      "learning_rate": 8.899738628925429e-05,
      "loss": 0.0295,
      "step": 15270
    },
    {
      "epoch": 42.44444444444444,
      "grad_norm": 0.3257189095020294,
      "learning_rate": 8.898013344586312e-05,
      "loss": 0.0184,
      "step": 15280
    },
    {
      "epoch": 42.47222222222222,
      "grad_norm": 0.3208288252353668,
      "learning_rate": 8.896286876133661e-05,
      "loss": 0.0289,
      "step": 15290
    },
    {
      "epoch": 42.5,
      "grad_norm": 0.5464486479759216,
      "learning_rate": 8.894559224091933e-05,
      "loss": 0.0251,
      "step": 15300
    },
    {
      "epoch": 42.52777777777778,
      "grad_norm": 0.2717820405960083,
      "learning_rate": 8.892830388985942e-05,
      "loss": 0.0269,
      "step": 15310
    },
    {
      "epoch": 42.55555555555556,
      "grad_norm": 0.33796796202659607,
      "learning_rate": 8.891100371340864e-05,
      "loss": 0.0194,
      "step": 15320
    },
    {
      "epoch": 42.583333333333336,
      "grad_norm": 0.3162574768066406,
      "learning_rate": 8.889369171682231e-05,
      "loss": 0.0267,
      "step": 15330
    },
    {
      "epoch": 42.611111111111114,
      "grad_norm": 0.31301769614219666,
      "learning_rate": 8.887636790535936e-05,
      "loss": 0.0207,
      "step": 15340
    },
    {
      "epoch": 42.638888888888886,
      "grad_norm": 0.24233177304267883,
      "learning_rate": 8.885903228428231e-05,
      "loss": 0.0215,
      "step": 15350
    },
    {
      "epoch": 42.666666666666664,
      "grad_norm": 0.2844742238521576,
      "learning_rate": 8.884168485885727e-05,
      "loss": 0.0183,
      "step": 15360
    },
    {
      "epoch": 42.69444444444444,
      "grad_norm": 0.30894526839256287,
      "learning_rate": 8.882432563435393e-05,
      "loss": 0.0237,
      "step": 15370
    },
    {
      "epoch": 42.72222222222222,
      "grad_norm": 0.19953623414039612,
      "learning_rate": 8.880695461604556e-05,
      "loss": 0.0173,
      "step": 15380
    },
    {
      "epoch": 42.75,
      "grad_norm": 0.4175308048725128,
      "learning_rate": 8.878957180920901e-05,
      "loss": 0.0213,
      "step": 15390
    },
    {
      "epoch": 42.77777777777778,
      "grad_norm": 0.20319785177707672,
      "learning_rate": 8.877217721912473e-05,
      "loss": 0.0215,
      "step": 15400
    },
    {
      "epoch": 42.80555555555556,
      "grad_norm": 0.37875667214393616,
      "learning_rate": 8.875477085107673e-05,
      "loss": 0.0253,
      "step": 15410
    },
    {
      "epoch": 42.833333333333336,
      "grad_norm": 0.3350076973438263,
      "learning_rate": 8.87373527103526e-05,
      "loss": 0.0289,
      "step": 15420
    },
    {
      "epoch": 42.861111111111114,
      "grad_norm": 0.25559675693511963,
      "learning_rate": 8.871992280224353e-05,
      "loss": 0.0231,
      "step": 15430
    },
    {
      "epoch": 42.888888888888886,
      "grad_norm": 0.3410030007362366,
      "learning_rate": 8.870248113204422e-05,
      "loss": 0.022,
      "step": 15440
    },
    {
      "epoch": 42.916666666666664,
      "grad_norm": 0.26112163066864014,
      "learning_rate": 8.868502770505306e-05,
      "loss": 0.0281,
      "step": 15450
    },
    {
      "epoch": 42.94444444444444,
      "grad_norm": 0.2503335177898407,
      "learning_rate": 8.86675625265719e-05,
      "loss": 0.0285,
      "step": 15460
    },
    {
      "epoch": 42.97222222222222,
      "grad_norm": 0.29422837495803833,
      "learning_rate": 8.865008560190618e-05,
      "loss": 0.0204,
      "step": 15470
    },
    {
      "epoch": 43.0,
      "grad_norm": 0.29159224033355713,
      "learning_rate": 8.863259693636496e-05,
      "loss": 0.0247,
      "step": 15480
    },
    {
      "epoch": 43.02777777777778,
      "grad_norm": 0.36018019914627075,
      "learning_rate": 8.861509653526083e-05,
      "loss": 0.0208,
      "step": 15490
    },
    {
      "epoch": 43.05555555555556,
      "grad_norm": 0.2771661579608917,
      "learning_rate": 8.859758440390993e-05,
      "loss": 0.0245,
      "step": 15500
    },
    {
      "epoch": 43.083333333333336,
      "grad_norm": 0.3310616910457611,
      "learning_rate": 8.858006054763202e-05,
      "loss": 0.0185,
      "step": 15510
    },
    {
      "epoch": 43.111111111111114,
      "grad_norm": 0.35238757729530334,
      "learning_rate": 8.856252497175035e-05,
      "loss": 0.0249,
      "step": 15520
    },
    {
      "epoch": 43.138888888888886,
      "grad_norm": 0.3228290379047394,
      "learning_rate": 8.854497768159178e-05,
      "loss": 0.019,
      "step": 15530
    },
    {
      "epoch": 43.166666666666664,
      "grad_norm": 0.363137423992157,
      "learning_rate": 8.852741868248671e-05,
      "loss": 0.0198,
      "step": 15540
    },
    {
      "epoch": 43.19444444444444,
      "grad_norm": 0.3484128415584564,
      "learning_rate": 8.85098479797691e-05,
      "loss": 0.0241,
      "step": 15550
    },
    {
      "epoch": 43.22222222222222,
      "grad_norm": 0.3994555175304413,
      "learning_rate": 8.849226557877646e-05,
      "loss": 0.0246,
      "step": 15560
    },
    {
      "epoch": 43.25,
      "grad_norm": 0.3354165256023407,
      "learning_rate": 8.84746714848499e-05,
      "loss": 0.0214,
      "step": 15570
    },
    {
      "epoch": 43.27777777777778,
      "grad_norm": 0.2984636723995209,
      "learning_rate": 8.845706570333397e-05,
      "loss": 0.0183,
      "step": 15580
    },
    {
      "epoch": 43.30555555555556,
      "grad_norm": 0.3162227272987366,
      "learning_rate": 8.84394482395769e-05,
      "loss": 0.0309,
      "step": 15590
    },
    {
      "epoch": 43.333333333333336,
      "grad_norm": 0.5074042677879333,
      "learning_rate": 8.842181909893038e-05,
      "loss": 0.0174,
      "step": 15600
    },
    {
      "epoch": 43.361111111111114,
      "grad_norm": 0.2522290349006653,
      "learning_rate": 8.840417828674969e-05,
      "loss": 0.0219,
      "step": 15610
    },
    {
      "epoch": 43.388888888888886,
      "grad_norm": 0.23416386544704437,
      "learning_rate": 8.838652580839364e-05,
      "loss": 0.0286,
      "step": 15620
    },
    {
      "epoch": 43.416666666666664,
      "grad_norm": 0.33287355303764343,
      "learning_rate": 8.836886166922458e-05,
      "loss": 0.0351,
      "step": 15630
    },
    {
      "epoch": 43.44444444444444,
      "grad_norm": 0.27898985147476196,
      "learning_rate": 8.835118587460844e-05,
      "loss": 0.0217,
      "step": 15640
    },
    {
      "epoch": 43.47222222222222,
      "grad_norm": 0.3369341492652893,
      "learning_rate": 8.83334984299146e-05,
      "loss": 0.0311,
      "step": 15650
    },
    {
      "epoch": 43.5,
      "grad_norm": 0.3709862530231476,
      "learning_rate": 8.83157993405161e-05,
      "loss": 0.032,
      "step": 15660
    },
    {
      "epoch": 43.52777777777778,
      "grad_norm": 0.36138254404067993,
      "learning_rate": 8.829808861178943e-05,
      "loss": 0.0219,
      "step": 15670
    },
    {
      "epoch": 43.55555555555556,
      "grad_norm": 0.25197839736938477,
      "learning_rate": 8.828036624911464e-05,
      "loss": 0.027,
      "step": 15680
    },
    {
      "epoch": 43.583333333333336,
      "grad_norm": 0.28353235125541687,
      "learning_rate": 8.826263225787532e-05,
      "loss": 0.0218,
      "step": 15690
    },
    {
      "epoch": 43.611111111111114,
      "grad_norm": 0.19067035615444183,
      "learning_rate": 8.824488664345858e-05,
      "loss": 0.0199,
      "step": 15700
    },
    {
      "epoch": 43.638888888888886,
      "grad_norm": 0.38838323950767517,
      "learning_rate": 8.822712941125508e-05,
      "loss": 0.0188,
      "step": 15710
    },
    {
      "epoch": 43.666666666666664,
      "grad_norm": 0.23204098641872406,
      "learning_rate": 8.820936056665898e-05,
      "loss": 0.0207,
      "step": 15720
    },
    {
      "epoch": 43.69444444444444,
      "grad_norm": 0.4531102478504181,
      "learning_rate": 8.819158011506801e-05,
      "loss": 0.0214,
      "step": 15730
    },
    {
      "epoch": 43.72222222222222,
      "grad_norm": 0.15777723491191864,
      "learning_rate": 8.81737880618834e-05,
      "loss": 0.0194,
      "step": 15740
    },
    {
      "epoch": 43.75,
      "grad_norm": 0.17786110937595367,
      "learning_rate": 8.815598441250987e-05,
      "loss": 0.0245,
      "step": 15750
    },
    {
      "epoch": 43.77777777777778,
      "grad_norm": 0.25779280066490173,
      "learning_rate": 8.813816917235576e-05,
      "loss": 0.0206,
      "step": 15760
    },
    {
      "epoch": 43.80555555555556,
      "grad_norm": 0.23492328822612762,
      "learning_rate": 8.812034234683282e-05,
      "loss": 0.0229,
      "step": 15770
    },
    {
      "epoch": 43.833333333333336,
      "grad_norm": 0.3170164227485657,
      "learning_rate": 8.810250394135637e-05,
      "loss": 0.0218,
      "step": 15780
    },
    {
      "epoch": 43.861111111111114,
      "grad_norm": 0.24758224189281464,
      "learning_rate": 8.808465396134529e-05,
      "loss": 0.0249,
      "step": 15790
    },
    {
      "epoch": 43.888888888888886,
      "grad_norm": 0.28543007373809814,
      "learning_rate": 8.806679241222189e-05,
      "loss": 0.0191,
      "step": 15800
    },
    {
      "epoch": 43.916666666666664,
      "grad_norm": 0.40112370252609253,
      "learning_rate": 8.804891929941203e-05,
      "loss": 0.028,
      "step": 15810
    },
    {
      "epoch": 43.94444444444444,
      "grad_norm": 0.34893330931663513,
      "learning_rate": 8.803103462834514e-05,
      "loss": 0.0232,
      "step": 15820
    },
    {
      "epoch": 43.97222222222222,
      "grad_norm": 0.2580828070640564,
      "learning_rate": 8.801313840445408e-05,
      "loss": 0.0226,
      "step": 15830
    },
    {
      "epoch": 44.0,
      "grad_norm": 0.26837795972824097,
      "learning_rate": 8.799523063317524e-05,
      "loss": 0.0226,
      "step": 15840
    },
    {
      "epoch": 44.02777777777778,
      "grad_norm": 0.34791964292526245,
      "learning_rate": 8.797731131994854e-05,
      "loss": 0.0191,
      "step": 15850
    },
    {
      "epoch": 44.05555555555556,
      "grad_norm": 0.4208771586418152,
      "learning_rate": 8.795938047021739e-05,
      "loss": 0.0288,
      "step": 15860
    },
    {
      "epoch": 44.083333333333336,
      "grad_norm": 0.22829732298851013,
      "learning_rate": 8.794143808942872e-05,
      "loss": 0.0212,
      "step": 15870
    },
    {
      "epoch": 44.111111111111114,
      "grad_norm": 0.3149518668651581,
      "learning_rate": 8.792348418303296e-05,
      "loss": 0.0211,
      "step": 15880
    },
    {
      "epoch": 44.138888888888886,
      "grad_norm": 0.28804269433021545,
      "learning_rate": 8.790551875648398e-05,
      "loss": 0.0302,
      "step": 15890
    },
    {
      "epoch": 44.166666666666664,
      "grad_norm": 0.38794392347335815,
      "learning_rate": 8.788754181523926e-05,
      "loss": 0.0284,
      "step": 15900
    },
    {
      "epoch": 44.19444444444444,
      "grad_norm": 0.41485583782196045,
      "learning_rate": 8.78695533647597e-05,
      "loss": 0.0276,
      "step": 15910
    },
    {
      "epoch": 44.22222222222222,
      "grad_norm": 0.2850411832332611,
      "learning_rate": 8.785155341050972e-05,
      "loss": 0.0374,
      "step": 15920
    },
    {
      "epoch": 44.25,
      "grad_norm": 0.4267887771129608,
      "learning_rate": 8.783354195795721e-05,
      "loss": 0.0241,
      "step": 15930
    },
    {
      "epoch": 44.27777777777778,
      "grad_norm": 0.360479474067688,
      "learning_rate": 8.78155190125736e-05,
      "loss": 0.0273,
      "step": 15940
    },
    {
      "epoch": 44.30555555555556,
      "grad_norm": 0.3097135126590729,
      "learning_rate": 8.779748457983378e-05,
      "loss": 0.0275,
      "step": 15950
    },
    {
      "epoch": 44.333333333333336,
      "grad_norm": 0.3242128789424896,
      "learning_rate": 8.777943866521612e-05,
      "loss": 0.0338,
      "step": 15960
    },
    {
      "epoch": 44.361111111111114,
      "grad_norm": 0.3073261082172394,
      "learning_rate": 8.77613812742025e-05,
      "loss": 0.0194,
      "step": 15970
    },
    {
      "epoch": 44.388888888888886,
      "grad_norm": 0.40659916400909424,
      "learning_rate": 8.774331241227829e-05,
      "loss": 0.0295,
      "step": 15980
    },
    {
      "epoch": 44.416666666666664,
      "grad_norm": 0.36652567982673645,
      "learning_rate": 8.772523208493232e-05,
      "loss": 0.0209,
      "step": 15990
    },
    {
      "epoch": 44.44444444444444,
      "grad_norm": 0.37224525213241577,
      "learning_rate": 8.770714029765692e-05,
      "loss": 0.0258,
      "step": 16000
    },
    {
      "epoch": 44.47222222222222,
      "grad_norm": 0.4190681278705597,
      "learning_rate": 8.768903705594789e-05,
      "loss": 0.0296,
      "step": 16010
    },
    {
      "epoch": 44.5,
      "grad_norm": 0.5132328271865845,
      "learning_rate": 8.767092236530453e-05,
      "loss": 0.0254,
      "step": 16020
    },
    {
      "epoch": 44.52777777777778,
      "grad_norm": 0.4374540150165558,
      "learning_rate": 8.76527962312296e-05,
      "loss": 0.0301,
      "step": 16030
    },
    {
      "epoch": 44.55555555555556,
      "grad_norm": 0.19805875420570374,
      "learning_rate": 8.763465865922934e-05,
      "loss": 0.0208,
      "step": 16040
    },
    {
      "epoch": 44.583333333333336,
      "grad_norm": 0.34234628081321716,
      "learning_rate": 8.761650965481347e-05,
      "loss": 0.0282,
      "step": 16050
    },
    {
      "epoch": 44.611111111111114,
      "grad_norm": 0.31780052185058594,
      "learning_rate": 8.759834922349516e-05,
      "loss": 0.0226,
      "step": 16060
    },
    {
      "epoch": 44.638888888888886,
      "grad_norm": 0.1914076954126358,
      "learning_rate": 8.758017737079108e-05,
      "loss": 0.0241,
      "step": 16070
    },
    {
      "epoch": 44.666666666666664,
      "grad_norm": 0.23527616262435913,
      "learning_rate": 8.756199410222137e-05,
      "loss": 0.0168,
      "step": 16080
    },
    {
      "epoch": 44.69444444444444,
      "grad_norm": 0.20751336216926575,
      "learning_rate": 8.754379942330963e-05,
      "loss": 0.02,
      "step": 16090
    },
    {
      "epoch": 44.72222222222222,
      "grad_norm": 0.22493448853492737,
      "learning_rate": 8.75255933395829e-05,
      "loss": 0.0184,
      "step": 16100
    },
    {
      "epoch": 44.75,
      "grad_norm": 0.3155583143234253,
      "learning_rate": 8.750737585657171e-05,
      "loss": 0.0222,
      "step": 16110
    },
    {
      "epoch": 44.77777777777778,
      "grad_norm": 0.3558952510356903,
      "learning_rate": 8.748914697981008e-05,
      "loss": 0.0232,
      "step": 16120
    },
    {
      "epoch": 44.80555555555556,
      "grad_norm": 0.25491854548454285,
      "learning_rate": 8.747090671483542e-05,
      "loss": 0.0243,
      "step": 16130
    },
    {
      "epoch": 44.833333333333336,
      "grad_norm": 0.22390368580818176,
      "learning_rate": 8.745265506718869e-05,
      "loss": 0.0176,
      "step": 16140
    },
    {
      "epoch": 44.861111111111114,
      "grad_norm": 0.3411312401294708,
      "learning_rate": 8.74343920424142e-05,
      "loss": 0.022,
      "step": 16150
    },
    {
      "epoch": 44.888888888888886,
      "grad_norm": 0.3001038730144501,
      "learning_rate": 8.741611764605982e-05,
      "loss": 0.0244,
      "step": 16160
    },
    {
      "epoch": 44.916666666666664,
      "grad_norm": 0.3363918960094452,
      "learning_rate": 8.739783188367682e-05,
      "loss": 0.0228,
      "step": 16170
    },
    {
      "epoch": 44.94444444444444,
      "grad_norm": 0.2969267964363098,
      "learning_rate": 8.737953476081991e-05,
      "loss": 0.0188,
      "step": 16180
    },
    {
      "epoch": 44.97222222222222,
      "grad_norm": 0.28352102637290955,
      "learning_rate": 8.73612262830473e-05,
      "loss": 0.0211,
      "step": 16190
    },
    {
      "epoch": 45.0,
      "grad_norm": 0.3975685238838196,
      "learning_rate": 8.734290645592061e-05,
      "loss": 0.0184,
      "step": 16200
    },
    {
      "epoch": 45.02777777777778,
      "grad_norm": 0.2545987069606781,
      "learning_rate": 8.732457528500493e-05,
      "loss": 0.0198,
      "step": 16210
    },
    {
      "epoch": 45.05555555555556,
      "grad_norm": 0.28995564579963684,
      "learning_rate": 8.730623277586875e-05,
      "loss": 0.0203,
      "step": 16220
    },
    {
      "epoch": 45.083333333333336,
      "grad_norm": 0.34724223613739014,
      "learning_rate": 8.72878789340841e-05,
      "loss": 0.0184,
      "step": 16230
    },
    {
      "epoch": 45.111111111111114,
      "grad_norm": 0.3090699315071106,
      "learning_rate": 8.726951376522635e-05,
      "loss": 0.0239,
      "step": 16240
    },
    {
      "epoch": 45.138888888888886,
      "grad_norm": 0.40772658586502075,
      "learning_rate": 8.725113727487435e-05,
      "loss": 0.0199,
      "step": 16250
    },
    {
      "epoch": 45.166666666666664,
      "grad_norm": 0.26377108693122864,
      "learning_rate": 8.723274946861042e-05,
      "loss": 0.0153,
      "step": 16260
    },
    {
      "epoch": 45.19444444444444,
      "grad_norm": 0.3163493275642395,
      "learning_rate": 8.721435035202026e-05,
      "loss": 0.0183,
      "step": 16270
    },
    {
      "epoch": 45.22222222222222,
      "grad_norm": 0.4165685772895813,
      "learning_rate": 8.719593993069306e-05,
      "loss": 0.0298,
      "step": 16280
    },
    {
      "epoch": 45.25,
      "grad_norm": 0.3134658634662628,
      "learning_rate": 8.717751821022139e-05,
      "loss": 0.0221,
      "step": 16290
    },
    {
      "epoch": 45.27777777777778,
      "grad_norm": 0.35066673159599304,
      "learning_rate": 8.715908519620134e-05,
      "loss": 0.0244,
      "step": 16300
    },
    {
      "epoch": 45.30555555555556,
      "grad_norm": 0.24568335711956024,
      "learning_rate": 8.71406408942323e-05,
      "loss": 0.0237,
      "step": 16310
    },
    {
      "epoch": 45.333333333333336,
      "grad_norm": 0.16388216614723206,
      "learning_rate": 8.712218530991723e-05,
      "loss": 0.0171,
      "step": 16320
    },
    {
      "epoch": 45.361111111111114,
      "grad_norm": 0.2527516186237335,
      "learning_rate": 8.710371844886241e-05,
      "loss": 0.0186,
      "step": 16330
    },
    {
      "epoch": 45.388888888888886,
      "grad_norm": 0.29161661863327026,
      "learning_rate": 8.708524031667758e-05,
      "loss": 0.0217,
      "step": 16340
    },
    {
      "epoch": 45.416666666666664,
      "grad_norm": 0.29096633195877075,
      "learning_rate": 8.706675091897592e-05,
      "loss": 0.025,
      "step": 16350
    },
    {
      "epoch": 45.44444444444444,
      "grad_norm": 0.39331087470054626,
      "learning_rate": 8.704825026137404e-05,
      "loss": 0.0273,
      "step": 16360
    },
    {
      "epoch": 45.47222222222222,
      "grad_norm": 0.355193555355072,
      "learning_rate": 8.702973834949192e-05,
      "loss": 0.0243,
      "step": 16370
    },
    {
      "epoch": 45.5,
      "grad_norm": 0.23207251727581024,
      "learning_rate": 8.701121518895301e-05,
      "loss": 0.0214,
      "step": 16380
    },
    {
      "epoch": 45.52777777777778,
      "grad_norm": 0.3972945809364319,
      "learning_rate": 8.699268078538414e-05,
      "loss": 0.0238,
      "step": 16390
    },
    {
      "epoch": 45.55555555555556,
      "grad_norm": 0.2227364182472229,
      "learning_rate": 8.69741351444156e-05,
      "loss": 0.0162,
      "step": 16400
    },
    {
      "epoch": 45.583333333333336,
      "grad_norm": 0.23522397875785828,
      "learning_rate": 8.695557827168101e-05,
      "loss": 0.0187,
      "step": 16410
    },
    {
      "epoch": 45.611111111111114,
      "grad_norm": 0.25273770093917847,
      "learning_rate": 8.693701017281753e-05,
      "loss": 0.0241,
      "step": 16420
    },
    {
      "epoch": 45.638888888888886,
      "grad_norm": 0.29904642701148987,
      "learning_rate": 8.691843085346563e-05,
      "loss": 0.0272,
      "step": 16430
    },
    {
      "epoch": 45.666666666666664,
      "grad_norm": 0.2195637822151184,
      "learning_rate": 8.689984031926919e-05,
      "loss": 0.0162,
      "step": 16440
    },
    {
      "epoch": 45.69444444444444,
      "grad_norm": 0.21978196501731873,
      "learning_rate": 8.688123857587555e-05,
      "loss": 0.0213,
      "step": 16450
    },
    {
      "epoch": 45.72222222222222,
      "grad_norm": 0.4913923442363739,
      "learning_rate": 8.686262562893544e-05,
      "loss": 0.0227,
      "step": 16460
    },
    {
      "epoch": 45.75,
      "grad_norm": 0.24201011657714844,
      "learning_rate": 8.684400148410294e-05,
      "loss": 0.0188,
      "step": 16470
    },
    {
      "epoch": 45.77777777777778,
      "grad_norm": 0.2787916362285614,
      "learning_rate": 8.682536614703562e-05,
      "loss": 0.0191,
      "step": 16480
    },
    {
      "epoch": 45.80555555555556,
      "grad_norm": 0.22456447780132294,
      "learning_rate": 8.680671962339437e-05,
      "loss": 0.0181,
      "step": 16490
    },
    {
      "epoch": 45.833333333333336,
      "grad_norm": 0.22090528905391693,
      "learning_rate": 8.678806191884352e-05,
      "loss": 0.0179,
      "step": 16500
    },
    {
      "epoch": 45.861111111111114,
      "grad_norm": 0.1939712017774582,
      "learning_rate": 8.67693930390508e-05,
      "loss": 0.021,
      "step": 16510
    },
    {
      "epoch": 45.888888888888886,
      "grad_norm": 0.2708265781402588,
      "learning_rate": 8.67507129896873e-05,
      "loss": 0.0194,
      "step": 16520
    },
    {
      "epoch": 45.916666666666664,
      "grad_norm": 0.29774045944213867,
      "learning_rate": 8.673202177642757e-05,
      "loss": 0.0317,
      "step": 16530
    },
    {
      "epoch": 45.94444444444444,
      "grad_norm": 0.39111092686653137,
      "learning_rate": 8.671331940494945e-05,
      "loss": 0.0353,
      "step": 16540
    },
    {
      "epoch": 45.97222222222222,
      "grad_norm": 0.4122260808944702,
      "learning_rate": 8.669460588093427e-05,
      "loss": 0.026,
      "step": 16550
    },
    {
      "epoch": 46.0,
      "grad_norm": 0.23071303963661194,
      "learning_rate": 8.667588121006667e-05,
      "loss": 0.0226,
      "step": 16560
    },
    {
      "epoch": 46.02777777777778,
      "grad_norm": 0.24564968049526215,
      "learning_rate": 8.665714539803475e-05,
      "loss": 0.0256,
      "step": 16570
    },
    {
      "epoch": 46.05555555555556,
      "grad_norm": 0.38696688413619995,
      "learning_rate": 8.663839845052993e-05,
      "loss": 0.0188,
      "step": 16580
    },
    {
      "epoch": 46.083333333333336,
      "grad_norm": 0.3938034474849701,
      "learning_rate": 8.661964037324703e-05,
      "loss": 0.0221,
      "step": 16590
    },
    {
      "epoch": 46.111111111111114,
      "grad_norm": 0.2782455384731293,
      "learning_rate": 8.660087117188427e-05,
      "loss": 0.0145,
      "step": 16600
    },
    {
      "epoch": 46.138888888888886,
      "grad_norm": 0.3832055926322937,
      "learning_rate": 8.658209085214325e-05,
      "loss": 0.0244,
      "step": 16610
    },
    {
      "epoch": 46.166666666666664,
      "grad_norm": 0.29481643438339233,
      "learning_rate": 8.656329941972891e-05,
      "loss": 0.03,
      "step": 16620
    },
    {
      "epoch": 46.19444444444444,
      "grad_norm": 0.2128239870071411,
      "learning_rate": 8.654449688034963e-05,
      "loss": 0.0231,
      "step": 16630
    },
    {
      "epoch": 46.22222222222222,
      "grad_norm": 0.47922953963279724,
      "learning_rate": 8.652568323971706e-05,
      "loss": 0.0238,
      "step": 16640
    },
    {
      "epoch": 46.25,
      "grad_norm": 0.33649101853370667,
      "learning_rate": 8.650685850354636e-05,
      "loss": 0.0194,
      "step": 16650
    },
    {
      "epoch": 46.27777777777778,
      "grad_norm": 0.32176321744918823,
      "learning_rate": 8.648802267755593e-05,
      "loss": 0.0247,
      "step": 16660
    },
    {
      "epoch": 46.30555555555556,
      "grad_norm": 0.366847962141037,
      "learning_rate": 8.646917576746764e-05,
      "loss": 0.0229,
      "step": 16670
    },
    {
      "epoch": 46.333333333333336,
      "grad_norm": 0.2767573297023773,
      "learning_rate": 8.645031777900666e-05,
      "loss": 0.0187,
      "step": 16680
    },
    {
      "epoch": 46.361111111111114,
      "grad_norm": 0.36514222621917725,
      "learning_rate": 8.643144871790154e-05,
      "loss": 0.0254,
      "step": 16690
    },
    {
      "epoch": 46.388888888888886,
      "grad_norm": 0.29523202776908875,
      "learning_rate": 8.641256858988424e-05,
      "loss": 0.0192,
      "step": 16700
    },
    {
      "epoch": 46.416666666666664,
      "grad_norm": 0.34232431650161743,
      "learning_rate": 8.639367740069e-05,
      "loss": 0.0201,
      "step": 16710
    },
    {
      "epoch": 46.44444444444444,
      "grad_norm": 0.26313287019729614,
      "learning_rate": 8.63747751560575e-05,
      "loss": 0.0236,
      "step": 16720
    },
    {
      "epoch": 46.47222222222222,
      "grad_norm": 0.23986563086509705,
      "learning_rate": 8.635586186172871e-05,
      "loss": 0.0169,
      "step": 16730
    },
    {
      "epoch": 46.5,
      "grad_norm": 0.2030012160539627,
      "learning_rate": 8.633693752344902e-05,
      "loss": 0.017,
      "step": 16740
    },
    {
      "epoch": 46.52777777777778,
      "grad_norm": 0.28989914059638977,
      "learning_rate": 8.631800214696713e-05,
      "loss": 0.0209,
      "step": 16750
    },
    {
      "epoch": 46.55555555555556,
      "grad_norm": 0.23195882141590118,
      "learning_rate": 8.629905573803511e-05,
      "loss": 0.024,
      "step": 16760
    },
    {
      "epoch": 46.583333333333336,
      "grad_norm": 0.305437833070755,
      "learning_rate": 8.628009830240839e-05,
      "loss": 0.0197,
      "step": 16770
    },
    {
      "epoch": 46.611111111111114,
      "grad_norm": 0.26321297883987427,
      "learning_rate": 8.626112984584571e-05,
      "loss": 0.0242,
      "step": 16780
    },
    {
      "epoch": 46.638888888888886,
      "grad_norm": 0.21968919038772583,
      "learning_rate": 8.62421503741092e-05,
      "loss": 0.0205,
      "step": 16790
    },
    {
      "epoch": 46.666666666666664,
      "grad_norm": 0.23461900651454926,
      "learning_rate": 8.622315989296432e-05,
      "loss": 0.0132,
      "step": 16800
    },
    {
      "epoch": 46.69444444444444,
      "grad_norm": 0.24607841670513153,
      "learning_rate": 8.62041584081799e-05,
      "loss": 0.019,
      "step": 16810
    },
    {
      "epoch": 46.72222222222222,
      "grad_norm": 0.23040801286697388,
      "learning_rate": 8.618514592552807e-05,
      "loss": 0.0192,
      "step": 16820
    },
    {
      "epoch": 46.75,
      "grad_norm": 0.23122282326221466,
      "learning_rate": 8.616612245078431e-05,
      "loss": 0.0157,
      "step": 16830
    },
    {
      "epoch": 46.77777777777778,
      "grad_norm": 0.5174340009689331,
      "learning_rate": 8.614708798972746e-05,
      "loss": 0.0213,
      "step": 16840
    },
    {
      "epoch": 46.80555555555556,
      "grad_norm": 0.21892555058002472,
      "learning_rate": 8.61280425481397e-05,
      "loss": 0.0223,
      "step": 16850
    },
    {
      "epoch": 46.833333333333336,
      "grad_norm": 0.338133305311203,
      "learning_rate": 8.61089861318065e-05,
      "loss": 0.0227,
      "step": 16860
    },
    {
      "epoch": 46.861111111111114,
      "grad_norm": 0.24746201932430267,
      "learning_rate": 8.608991874651673e-05,
      "loss": 0.0179,
      "step": 16870
    },
    {
      "epoch": 46.888888888888886,
      "grad_norm": 0.2645609378814697,
      "learning_rate": 8.607084039806255e-05,
      "loss": 0.0219,
      "step": 16880
    },
    {
      "epoch": 46.916666666666664,
      "grad_norm": 0.39898785948753357,
      "learning_rate": 8.605175109223944e-05,
      "loss": 0.02,
      "step": 16890
    },
    {
      "epoch": 46.94444444444444,
      "grad_norm": 0.35548800230026245,
      "learning_rate": 8.603265083484624e-05,
      "loss": 0.0217,
      "step": 16900
    },
    {
      "epoch": 46.97222222222222,
      "grad_norm": 0.27036598324775696,
      "learning_rate": 8.60135396316851e-05,
      "loss": 0.0168,
      "step": 16910
    },
    {
      "epoch": 47.0,
      "grad_norm": 0.2632632851600647,
      "learning_rate": 8.599441748856152e-05,
      "loss": 0.0182,
      "step": 16920
    },
    {
      "epoch": 47.02777777777778,
      "grad_norm": 0.41550412774086,
      "learning_rate": 8.597528441128427e-05,
      "loss": 0.0223,
      "step": 16930
    },
    {
      "epoch": 47.05555555555556,
      "grad_norm": 0.28368091583251953,
      "learning_rate": 8.595614040566549e-05,
      "loss": 0.0209,
      "step": 16940
    },
    {
      "epoch": 47.083333333333336,
      "grad_norm": 0.2846165895462036,
      "learning_rate": 8.593698547752063e-05,
      "loss": 0.0192,
      "step": 16950
    },
    {
      "epoch": 47.111111111111114,
      "grad_norm": 0.37488633394241333,
      "learning_rate": 8.591781963266843e-05,
      "loss": 0.0346,
      "step": 16960
    },
    {
      "epoch": 47.138888888888886,
      "grad_norm": 0.30041638016700745,
      "learning_rate": 8.5898642876931e-05,
      "loss": 0.0203,
      "step": 16970
    },
    {
      "epoch": 47.166666666666664,
      "grad_norm": 0.365155428647995,
      "learning_rate": 8.587945521613369e-05,
      "loss": 0.0297,
      "step": 16980
    },
    {
      "epoch": 47.19444444444444,
      "grad_norm": 0.3325376510620117,
      "learning_rate": 8.586025665610524e-05,
      "loss": 0.018,
      "step": 16990
    },
    {
      "epoch": 47.22222222222222,
      "grad_norm": 0.2576600909233093,
      "learning_rate": 8.584104720267765e-05,
      "loss": 0.0218,
      "step": 17000
    },
    {
      "epoch": 47.25,
      "grad_norm": 0.29073381423950195,
      "learning_rate": 8.582182686168625e-05,
      "loss": 0.0213,
      "step": 17010
    },
    {
      "epoch": 47.27777777777778,
      "grad_norm": 0.19615834951400757,
      "learning_rate": 8.580259563896967e-05,
      "loss": 0.0242,
      "step": 17020
    },
    {
      "epoch": 47.30555555555556,
      "grad_norm": 0.2585868835449219,
      "learning_rate": 8.578335354036983e-05,
      "loss": 0.0211,
      "step": 17030
    },
    {
      "epoch": 47.333333333333336,
      "grad_norm": 0.26691481471061707,
      "learning_rate": 8.576410057173201e-05,
      "loss": 0.0188,
      "step": 17040
    },
    {
      "epoch": 47.361111111111114,
      "grad_norm": 0.29089102149009705,
      "learning_rate": 8.574483673890474e-05,
      "loss": 0.0188,
      "step": 17050
    },
    {
      "epoch": 47.388888888888886,
      "grad_norm": 0.33882251381874084,
      "learning_rate": 8.572556204773983e-05,
      "loss": 0.0164,
      "step": 17060
    },
    {
      "epoch": 47.416666666666664,
      "grad_norm": 0.37053975462913513,
      "learning_rate": 8.570627650409246e-05,
      "loss": 0.0163,
      "step": 17070
    },
    {
      "epoch": 47.44444444444444,
      "grad_norm": 0.19213886559009552,
      "learning_rate": 8.568698011382107e-05,
      "loss": 0.0192,
      "step": 17080
    },
    {
      "epoch": 47.47222222222222,
      "grad_norm": 0.21021956205368042,
      "learning_rate": 8.566767288278738e-05,
      "loss": 0.0242,
      "step": 17090
    },
    {
      "epoch": 47.5,
      "grad_norm": 0.16313385963439941,
      "learning_rate": 8.56483548168564e-05,
      "loss": 0.021,
      "step": 17100
    },
    {
      "epoch": 47.52777777777778,
      "grad_norm": 0.2298322319984436,
      "learning_rate": 8.562902592189648e-05,
      "loss": 0.0194,
      "step": 17110
    },
    {
      "epoch": 47.55555555555556,
      "grad_norm": 0.2635379731655121,
      "learning_rate": 8.560968620377921e-05,
      "loss": 0.0162,
      "step": 17120
    },
    {
      "epoch": 47.583333333333336,
      "grad_norm": 0.42637741565704346,
      "learning_rate": 8.559033566837951e-05,
      "loss": 0.0197,
      "step": 17130
    },
    {
      "epoch": 47.611111111111114,
      "grad_norm": 0.4752097725868225,
      "learning_rate": 8.557097432157551e-05,
      "loss": 0.0223,
      "step": 17140
    },
    {
      "epoch": 47.638888888888886,
      "grad_norm": 0.2218577116727829,
      "learning_rate": 8.555160216924872e-05,
      "loss": 0.0174,
      "step": 17150
    },
    {
      "epoch": 47.666666666666664,
      "grad_norm": 0.4481317698955536,
      "learning_rate": 8.55322192172839e-05,
      "loss": 0.0194,
      "step": 17160
    },
    {
      "epoch": 47.69444444444444,
      "grad_norm": 0.17095501720905304,
      "learning_rate": 8.551282547156902e-05,
      "loss": 0.0152,
      "step": 17170
    },
    {
      "epoch": 47.72222222222222,
      "grad_norm": 0.43559491634368896,
      "learning_rate": 8.549342093799544e-05,
      "loss": 0.0244,
      "step": 17180
    },
    {
      "epoch": 47.75,
      "grad_norm": 0.2981623709201813,
      "learning_rate": 8.547400562245773e-05,
      "loss": 0.0275,
      "step": 17190
    },
    {
      "epoch": 47.77777777777778,
      "grad_norm": 0.28019770979881287,
      "learning_rate": 8.545457953085374e-05,
      "loss": 0.0266,
      "step": 17200
    },
    {
      "epoch": 47.80555555555556,
      "grad_norm": 0.23739995062351227,
      "learning_rate": 8.543514266908463e-05,
      "loss": 0.0194,
      "step": 17210
    },
    {
      "epoch": 47.833333333333336,
      "grad_norm": 0.23951365053653717,
      "learning_rate": 8.541569504305478e-05,
      "loss": 0.0259,
      "step": 17220
    },
    {
      "epoch": 47.861111111111114,
      "grad_norm": 0.2893803119659424,
      "learning_rate": 8.539623665867187e-05,
      "loss": 0.0214,
      "step": 17230
    },
    {
      "epoch": 47.888888888888886,
      "grad_norm": 0.23607277870178223,
      "learning_rate": 8.537676752184685e-05,
      "loss": 0.0233,
      "step": 17240
    },
    {
      "epoch": 47.916666666666664,
      "grad_norm": 0.2438545525074005,
      "learning_rate": 8.53572876384939e-05,
      "loss": 0.0182,
      "step": 17250
    },
    {
      "epoch": 47.94444444444444,
      "grad_norm": 0.37996575236320496,
      "learning_rate": 8.533779701453056e-05,
      "loss": 0.0199,
      "step": 17260
    },
    {
      "epoch": 47.97222222222222,
      "grad_norm": 0.2202361673116684,
      "learning_rate": 8.53182956558775e-05,
      "loss": 0.0224,
      "step": 17270
    },
    {
      "epoch": 48.0,
      "grad_norm": 0.2390146702528,
      "learning_rate": 8.529878356845877e-05,
      "loss": 0.0177,
      "step": 17280
    },
    {
      "epoch": 48.02777777777778,
      "grad_norm": 0.31757357716560364,
      "learning_rate": 8.527926075820158e-05,
      "loss": 0.0221,
      "step": 17290
    },
    {
      "epoch": 48.05555555555556,
      "grad_norm": 0.30617213249206543,
      "learning_rate": 8.525972723103648e-05,
      "loss": 0.0233,
      "step": 17300
    },
    {
      "epoch": 48.083333333333336,
      "grad_norm": 0.22535571455955505,
      "learning_rate": 8.524018299289722e-05,
      "loss": 0.0183,
      "step": 17310
    },
    {
      "epoch": 48.111111111111114,
      "grad_norm": 0.43548211455345154,
      "learning_rate": 8.522062804972083e-05,
      "loss": 0.0185,
      "step": 17320
    },
    {
      "epoch": 48.138888888888886,
      "grad_norm": 0.22507132589817047,
      "learning_rate": 8.520106240744759e-05,
      "loss": 0.0181,
      "step": 17330
    },
    {
      "epoch": 48.166666666666664,
      "grad_norm": 0.33073943853378296,
      "learning_rate": 8.518148607202102e-05,
      "loss": 0.0225,
      "step": 17340
    },
    {
      "epoch": 48.19444444444444,
      "grad_norm": 0.25950556993484497,
      "learning_rate": 8.51618990493879e-05,
      "loss": 0.0237,
      "step": 17350
    },
    {
      "epoch": 48.22222222222222,
      "grad_norm": 0.21626505255699158,
      "learning_rate": 8.514230134549823e-05,
      "loss": 0.0275,
      "step": 17360
    },
    {
      "epoch": 48.25,
      "grad_norm": 0.27612534165382385,
      "learning_rate": 8.51226929663053e-05,
      "loss": 0.0182,
      "step": 17370
    },
    {
      "epoch": 48.27777777777778,
      "grad_norm": 0.3422829210758209,
      "learning_rate": 8.51030739177656e-05,
      "loss": 0.0214,
      "step": 17380
    },
    {
      "epoch": 48.30555555555556,
      "grad_norm": 0.19276775419712067,
      "learning_rate": 8.508344420583889e-05,
      "loss": 0.0235,
      "step": 17390
    },
    {
      "epoch": 48.333333333333336,
      "grad_norm": 0.24284929037094116,
      "learning_rate": 8.506380383648816e-05,
      "loss": 0.0162,
      "step": 17400
    },
    {
      "epoch": 48.361111111111114,
      "grad_norm": 0.3927847743034363,
      "learning_rate": 8.504415281567963e-05,
      "loss": 0.018,
      "step": 17410
    },
    {
      "epoch": 48.388888888888886,
      "grad_norm": 0.2525663673877716,
      "learning_rate": 8.502449114938275e-05,
      "loss": 0.015,
      "step": 17420
    },
    {
      "epoch": 48.416666666666664,
      "grad_norm": 0.3283401131629944,
      "learning_rate": 8.500481884357025e-05,
      "loss": 0.0226,
      "step": 17430
    },
    {
      "epoch": 48.44444444444444,
      "grad_norm": 0.27271759510040283,
      "learning_rate": 8.498513590421801e-05,
      "loss": 0.0191,
      "step": 17440
    },
    {
      "epoch": 48.47222222222222,
      "grad_norm": 0.33932575583457947,
      "learning_rate": 8.496544233730522e-05,
      "loss": 0.0218,
      "step": 17450
    },
    {
      "epoch": 48.5,
      "grad_norm": 0.31121504306793213,
      "learning_rate": 8.494573814881426e-05,
      "loss": 0.0239,
      "step": 17460
    },
    {
      "epoch": 48.52777777777778,
      "grad_norm": 0.2411716878414154,
      "learning_rate": 8.492602334473074e-05,
      "loss": 0.0166,
      "step": 17470
    },
    {
      "epoch": 48.55555555555556,
      "grad_norm": 0.299353688955307,
      "learning_rate": 8.49062979310435e-05,
      "loss": 0.0236,
      "step": 17480
    },
    {
      "epoch": 48.583333333333336,
      "grad_norm": 0.32834169268608093,
      "learning_rate": 8.488656191374458e-05,
      "loss": 0.0246,
      "step": 17490
    },
    {
      "epoch": 48.611111111111114,
      "grad_norm": 0.2148040235042572,
      "learning_rate": 8.48668152988293e-05,
      "loss": 0.0172,
      "step": 17500
    },
    {
      "epoch": 48.638888888888886,
      "grad_norm": 0.30484840273857117,
      "learning_rate": 8.484705809229612e-05,
      "loss": 0.019,
      "step": 17510
    },
    {
      "epoch": 48.666666666666664,
      "grad_norm": 0.33033883571624756,
      "learning_rate": 8.482729030014677e-05,
      "loss": 0.0238,
      "step": 17520
    },
    {
      "epoch": 48.69444444444444,
      "grad_norm": 0.24220964312553406,
      "learning_rate": 8.48075119283862e-05,
      "loss": 0.0188,
      "step": 17530
    },
    {
      "epoch": 48.72222222222222,
      "grad_norm": 0.2311912178993225,
      "learning_rate": 8.478772298302254e-05,
      "loss": 0.0208,
      "step": 17540
    },
    {
      "epoch": 48.75,
      "grad_norm": 0.33534085750579834,
      "learning_rate": 8.476792347006716e-05,
      "loss": 0.0261,
      "step": 17550
    },
    {
      "epoch": 48.77777777777778,
      "grad_norm": 0.3590177893638611,
      "learning_rate": 8.474811339553462e-05,
      "loss": 0.0196,
      "step": 17560
    },
    {
      "epoch": 48.80555555555556,
      "grad_norm": 0.31995126605033875,
      "learning_rate": 8.47282927654427e-05,
      "loss": 0.0336,
      "step": 17570
    },
    {
      "epoch": 48.833333333333336,
      "grad_norm": 0.31419238448143005,
      "learning_rate": 8.470846158581238e-05,
      "loss": 0.0173,
      "step": 17580
    },
    {
      "epoch": 48.861111111111114,
      "grad_norm": 0.22731348872184753,
      "learning_rate": 8.468861986266787e-05,
      "loss": 0.0199,
      "step": 17590
    },
    {
      "epoch": 48.888888888888886,
      "grad_norm": 0.24468190968036652,
      "learning_rate": 8.466876760203654e-05,
      "loss": 0.0213,
      "step": 17600
    },
    {
      "epoch": 48.916666666666664,
      "grad_norm": 0.2628423869609833,
      "learning_rate": 8.464890480994898e-05,
      "loss": 0.0277,
      "step": 17610
    },
    {
      "epoch": 48.94444444444444,
      "grad_norm": 0.22164832055568695,
      "learning_rate": 8.462903149243899e-05,
      "loss": 0.0183,
      "step": 17620
    },
    {
      "epoch": 48.97222222222222,
      "grad_norm": 0.2544499635696411,
      "learning_rate": 8.460914765554357e-05,
      "loss": 0.016,
      "step": 17630
    },
    {
      "epoch": 49.0,
      "grad_norm": 0.2867676019668579,
      "learning_rate": 8.458925330530288e-05,
      "loss": 0.0292,
      "step": 17640
    },
    {
      "epoch": 49.02777777777778,
      "grad_norm": 0.36877426505088806,
      "learning_rate": 8.456934844776032e-05,
      "loss": 0.0194,
      "step": 17650
    },
    {
      "epoch": 49.05555555555556,
      "grad_norm": 0.48210522532463074,
      "learning_rate": 8.454943308896246e-05,
      "loss": 0.0223,
      "step": 17660
    },
    {
      "epoch": 49.083333333333336,
      "grad_norm": 0.29661446809768677,
      "learning_rate": 8.452950723495905e-05,
      "loss": 0.0158,
      "step": 17670
    },
    {
      "epoch": 49.111111111111114,
      "grad_norm": 0.18551331758499146,
      "learning_rate": 8.450957089180303e-05,
      "loss": 0.0189,
      "step": 17680
    },
    {
      "epoch": 49.138888888888886,
      "grad_norm": 0.449388325214386,
      "learning_rate": 8.448962406555055e-05,
      "loss": 0.0195,
      "step": 17690
    },
    {
      "epoch": 49.166666666666664,
      "grad_norm": 0.32666367292404175,
      "learning_rate": 8.446966676226093e-05,
      "loss": 0.0252,
      "step": 17700
    },
    {
      "epoch": 49.19444444444444,
      "grad_norm": 0.27483662962913513,
      "learning_rate": 8.444969898799667e-05,
      "loss": 0.0217,
      "step": 17710
    },
    {
      "epoch": 49.22222222222222,
      "grad_norm": 0.37817034125328064,
      "learning_rate": 8.442972074882343e-05,
      "loss": 0.0238,
      "step": 17720
    },
    {
      "epoch": 49.25,
      "grad_norm": 0.2672152519226074,
      "learning_rate": 8.44097320508101e-05,
      "loss": 0.0193,
      "step": 17730
    },
    {
      "epoch": 49.27777777777778,
      "grad_norm": 0.29226282238960266,
      "learning_rate": 8.43897329000287e-05,
      "loss": 0.0155,
      "step": 17740
    },
    {
      "epoch": 49.30555555555556,
      "grad_norm": 0.33877721428871155,
      "learning_rate": 8.436972330255448e-05,
      "loss": 0.0206,
      "step": 17750
    },
    {
      "epoch": 49.333333333333336,
      "grad_norm": 0.21320252120494843,
      "learning_rate": 8.434970326446579e-05,
      "loss": 0.0211,
      "step": 17760
    },
    {
      "epoch": 49.361111111111114,
      "grad_norm": 0.15051627159118652,
      "learning_rate": 8.432967279184418e-05,
      "loss": 0.0175,
      "step": 17770
    },
    {
      "epoch": 49.388888888888886,
      "grad_norm": 0.29317352175712585,
      "learning_rate": 8.430963189077441e-05,
      "loss": 0.0146,
      "step": 17780
    },
    {
      "epoch": 49.416666666666664,
      "grad_norm": 0.3234063684940338,
      "learning_rate": 8.428958056734437e-05,
      "loss": 0.0157,
      "step": 17790
    },
    {
      "epoch": 49.44444444444444,
      "grad_norm": 0.3382558822631836,
      "learning_rate": 8.426951882764513e-05,
      "loss": 0.0289,
      "step": 17800
    },
    {
      "epoch": 49.47222222222222,
      "grad_norm": 0.2355196624994278,
      "learning_rate": 8.424944667777089e-05,
      "loss": 0.0178,
      "step": 17810
    },
    {
      "epoch": 49.5,
      "grad_norm": 0.27534353733062744,
      "learning_rate": 8.422936412381905e-05,
      "loss": 0.0188,
      "step": 17820
    },
    {
      "epoch": 49.52777777777778,
      "grad_norm": 0.19043682515621185,
      "learning_rate": 8.420927117189017e-05,
      "loss": 0.0178,
      "step": 17830
    },
    {
      "epoch": 49.55555555555556,
      "grad_norm": 0.2978428900241852,
      "learning_rate": 8.418916782808795e-05,
      "loss": 0.0189,
      "step": 17840
    },
    {
      "epoch": 49.583333333333336,
      "grad_norm": 0.29735928773880005,
      "learning_rate": 8.416905409851926e-05,
      "loss": 0.0185,
      "step": 17850
    },
    {
      "epoch": 49.611111111111114,
      "grad_norm": 0.2931852340698242,
      "learning_rate": 8.41489299892941e-05,
      "loss": 0.0153,
      "step": 17860
    },
    {
      "epoch": 49.638888888888886,
      "grad_norm": 0.3044391870498657,
      "learning_rate": 8.412879550652566e-05,
      "loss": 0.0193,
      "step": 17870
    },
    {
      "epoch": 49.666666666666664,
      "grad_norm": 0.25876468420028687,
      "learning_rate": 8.410865065633029e-05,
      "loss": 0.0178,
      "step": 17880
    },
    {
      "epoch": 49.69444444444444,
      "grad_norm": 0.29439008235931396,
      "learning_rate": 8.408849544482742e-05,
      "loss": 0.0231,
      "step": 17890
    },
    {
      "epoch": 49.72222222222222,
      "grad_norm": 0.300834596157074,
      "learning_rate": 8.406832987813968e-05,
      "loss": 0.0216,
      "step": 17900
    },
    {
      "epoch": 49.75,
      "grad_norm": 0.34005260467529297,
      "learning_rate": 8.404815396239286e-05,
      "loss": 0.0224,
      "step": 17910
    },
    {
      "epoch": 49.77777777777778,
      "grad_norm": 0.32005083560943604,
      "learning_rate": 8.402796770371587e-05,
      "loss": 0.0239,
      "step": 17920
    },
    {
      "epoch": 49.80555555555556,
      "grad_norm": 0.3061486780643463,
      "learning_rate": 8.400777110824071e-05,
      "loss": 0.0154,
      "step": 17930
    },
    {
      "epoch": 49.833333333333336,
      "grad_norm": 0.2876657247543335,
      "learning_rate": 8.398756418210263e-05,
      "loss": 0.0188,
      "step": 17940
    },
    {
      "epoch": 49.861111111111114,
      "grad_norm": 0.24436676502227783,
      "learning_rate": 8.396734693143993e-05,
      "loss": 0.016,
      "step": 17950
    },
    {
      "epoch": 49.888888888888886,
      "grad_norm": 0.21312497556209564,
      "learning_rate": 8.39471193623941e-05,
      "loss": 0.0253,
      "step": 17960
    },
    {
      "epoch": 49.916666666666664,
      "grad_norm": 0.42359843850135803,
      "learning_rate": 8.392688148110974e-05,
      "loss": 0.0241,
      "step": 17970
    },
    {
      "epoch": 49.94444444444444,
      "grad_norm": 0.26332971453666687,
      "learning_rate": 8.390663329373456e-05,
      "loss": 0.0181,
      "step": 17980
    },
    {
      "epoch": 49.97222222222222,
      "grad_norm": 0.3759750425815582,
      "learning_rate": 8.388637480641944e-05,
      "loss": 0.0247,
      "step": 17990
    },
    {
      "epoch": 50.0,
      "grad_norm": 0.26936593651771545,
      "learning_rate": 8.386610602531837e-05,
      "loss": 0.022,
      "step": 18000
    },
    {
      "epoch": 50.02777777777778,
      "grad_norm": 0.36507391929626465,
      "learning_rate": 8.384582695658847e-05,
      "loss": 0.0166,
      "step": 18010
    },
    {
      "epoch": 50.05555555555556,
      "grad_norm": 0.3630567193031311,
      "learning_rate": 8.382553760638999e-05,
      "loss": 0.0182,
      "step": 18020
    },
    {
      "epoch": 50.083333333333336,
      "grad_norm": 0.2760290801525116,
      "learning_rate": 8.380523798088631e-05,
      "loss": 0.015,
      "step": 18030
    },
    {
      "epoch": 50.111111111111114,
      "grad_norm": 0.22515514492988586,
      "learning_rate": 8.378492808624389e-05,
      "loss": 0.0162,
      "step": 18040
    },
    {
      "epoch": 50.138888888888886,
      "grad_norm": 0.29474472999572754,
      "learning_rate": 8.376460792863237e-05,
      "loss": 0.0208,
      "step": 18050
    },
    {
      "epoch": 50.166666666666664,
      "grad_norm": 0.22478562593460083,
      "learning_rate": 8.374427751422444e-05,
      "loss": 0.0124,
      "step": 18060
    },
    {
      "epoch": 50.19444444444444,
      "grad_norm": 0.19471825659275055,
      "learning_rate": 8.3723936849196e-05,
      "loss": 0.0137,
      "step": 18070
    },
    {
      "epoch": 50.22222222222222,
      "grad_norm": 0.19168323278427124,
      "learning_rate": 8.370358593972595e-05,
      "loss": 0.0177,
      "step": 18080
    },
    {
      "epoch": 50.25,
      "grad_norm": 0.3146717846393585,
      "learning_rate": 8.36832247919964e-05,
      "loss": 0.0152,
      "step": 18090
    },
    {
      "epoch": 50.27777777777778,
      "grad_norm": 0.19182316958904266,
      "learning_rate": 8.36628534121925e-05,
      "loss": 0.0196,
      "step": 18100
    },
    {
      "epoch": 50.30555555555556,
      "grad_norm": 0.21216638386249542,
      "learning_rate": 8.364247180650254e-05,
      "loss": 0.0227,
      "step": 18110
    },
    {
      "epoch": 50.333333333333336,
      "grad_norm": 0.22391803562641144,
      "learning_rate": 8.362207998111794e-05,
      "loss": 0.0132,
      "step": 18120
    },
    {
      "epoch": 50.361111111111114,
      "grad_norm": 0.18584203720092773,
      "learning_rate": 8.360167794223318e-05,
      "loss": 0.0174,
      "step": 18130
    },
    {
      "epoch": 50.388888888888886,
      "grad_norm": 0.33458635210990906,
      "learning_rate": 8.358126569604586e-05,
      "loss": 0.0203,
      "step": 18140
    },
    {
      "epoch": 50.416666666666664,
      "grad_norm": 0.2571076452732086,
      "learning_rate": 8.356084324875668e-05,
      "loss": 0.0215,
      "step": 18150
    },
    {
      "epoch": 50.44444444444444,
      "grad_norm": 0.22006702423095703,
      "learning_rate": 8.354041060656945e-05,
      "loss": 0.0161,
      "step": 18160
    },
    {
      "epoch": 50.47222222222222,
      "grad_norm": 0.29710853099823,
      "learning_rate": 8.351996777569106e-05,
      "loss": 0.0194,
      "step": 18170
    },
    {
      "epoch": 50.5,
      "grad_norm": 0.2704135775566101,
      "learning_rate": 8.349951476233148e-05,
      "loss": 0.0206,
      "step": 18180
    },
    {
      "epoch": 50.52777777777778,
      "grad_norm": 0.24329037964344025,
      "learning_rate": 8.347905157270386e-05,
      "loss": 0.019,
      "step": 18190
    },
    {
      "epoch": 50.55555555555556,
      "grad_norm": 0.18057650327682495,
      "learning_rate": 8.345857821302432e-05,
      "loss": 0.0196,
      "step": 18200
    },
    {
      "epoch": 50.583333333333336,
      "grad_norm": 0.3272925913333893,
      "learning_rate": 8.343809468951213e-05,
      "loss": 0.0191,
      "step": 18210
    },
    {
      "epoch": 50.611111111111114,
      "grad_norm": 0.2775716781616211,
      "learning_rate": 8.341760100838965e-05,
      "loss": 0.0232,
      "step": 18220
    },
    {
      "epoch": 50.638888888888886,
      "grad_norm": 0.20071829855442047,
      "learning_rate": 8.339709717588233e-05,
      "loss": 0.022,
      "step": 18230
    },
    {
      "epoch": 50.666666666666664,
      "grad_norm": 0.27246275544166565,
      "learning_rate": 8.33765831982187e-05,
      "loss": 0.0179,
      "step": 18240
    },
    {
      "epoch": 50.69444444444444,
      "grad_norm": 0.1702248454093933,
      "learning_rate": 8.335605908163035e-05,
      "loss": 0.0143,
      "step": 18250
    },
    {
      "epoch": 50.72222222222222,
      "grad_norm": 0.22134846448898315,
      "learning_rate": 8.333552483235196e-05,
      "loss": 0.0157,
      "step": 18260
    },
    {
      "epoch": 50.75,
      "grad_norm": 0.22603271901607513,
      "learning_rate": 8.33149804566213e-05,
      "loss": 0.0186,
      "step": 18270
    },
    {
      "epoch": 50.77777777777778,
      "grad_norm": 0.29764363169670105,
      "learning_rate": 8.329442596067921e-05,
      "loss": 0.0197,
      "step": 18280
    },
    {
      "epoch": 50.80555555555556,
      "grad_norm": 0.25662127137184143,
      "learning_rate": 8.32738613507696e-05,
      "loss": 0.023,
      "step": 18290
    },
    {
      "epoch": 50.833333333333336,
      "grad_norm": 0.2611314654350281,
      "learning_rate": 8.325328663313946e-05,
      "loss": 0.0241,
      "step": 18300
    },
    {
      "epoch": 50.861111111111114,
      "grad_norm": 0.3221127688884735,
      "learning_rate": 8.323270181403884e-05,
      "loss": 0.0201,
      "step": 18310
    },
    {
      "epoch": 50.888888888888886,
      "grad_norm": 0.17728707194328308,
      "learning_rate": 8.321210689972086e-05,
      "loss": 0.0187,
      "step": 18320
    },
    {
      "epoch": 50.916666666666664,
      "grad_norm": 0.30871081352233887,
      "learning_rate": 8.319150189644174e-05,
      "loss": 0.0187,
      "step": 18330
    },
    {
      "epoch": 50.94444444444444,
      "grad_norm": 0.3408578634262085,
      "learning_rate": 8.31708868104607e-05,
      "loss": 0.0263,
      "step": 18340
    },
    {
      "epoch": 50.97222222222222,
      "grad_norm": 0.34903061389923096,
      "learning_rate": 8.315026164804007e-05,
      "loss": 0.0222,
      "step": 18350
    },
    {
      "epoch": 51.0,
      "grad_norm": 0.39438098669052124,
      "learning_rate": 8.312962641544524e-05,
      "loss": 0.0206,
      "step": 18360
    },
    {
      "epoch": 51.02777777777778,
      "grad_norm": 0.35724639892578125,
      "learning_rate": 8.310898111894465e-05,
      "loss": 0.0187,
      "step": 18370
    },
    {
      "epoch": 51.05555555555556,
      "grad_norm": 0.26319998502731323,
      "learning_rate": 8.308832576480977e-05,
      "loss": 0.0177,
      "step": 18380
    },
    {
      "epoch": 51.083333333333336,
      "grad_norm": 0.35664883255958557,
      "learning_rate": 8.306766035931519e-05,
      "loss": 0.0247,
      "step": 18390
    },
    {
      "epoch": 51.111111111111114,
      "grad_norm": 0.29658210277557373,
      "learning_rate": 8.304698490873847e-05,
      "loss": 0.0167,
      "step": 18400
    },
    {
      "epoch": 51.138888888888886,
      "grad_norm": 0.39820241928100586,
      "learning_rate": 8.30262994193603e-05,
      "loss": 0.0193,
      "step": 18410
    },
    {
      "epoch": 51.166666666666664,
      "grad_norm": 0.30751803517341614,
      "learning_rate": 8.300560389746438e-05,
      "loss": 0.0167,
      "step": 18420
    },
    {
      "epoch": 51.19444444444444,
      "grad_norm": 0.21837855875492096,
      "learning_rate": 8.298489834933745e-05,
      "loss": 0.0249,
      "step": 18430
    },
    {
      "epoch": 51.22222222222222,
      "grad_norm": 0.14771918952465057,
      "learning_rate": 8.296418278126934e-05,
      "loss": 0.0244,
      "step": 18440
    },
    {
      "epoch": 51.25,
      "grad_norm": 0.25460609793663025,
      "learning_rate": 8.294345719955284e-05,
      "loss": 0.0195,
      "step": 18450
    },
    {
      "epoch": 51.27777777777778,
      "grad_norm": 0.2106233388185501,
      "learning_rate": 8.29227216104839e-05,
      "loss": 0.0179,
      "step": 18460
    },
    {
      "epoch": 51.30555555555556,
      "grad_norm": 0.3155464231967926,
      "learning_rate": 8.290197602036137e-05,
      "loss": 0.0207,
      "step": 18470
    },
    {
      "epoch": 51.333333333333336,
      "grad_norm": 0.27079078555107117,
      "learning_rate": 8.288122043548725e-05,
      "loss": 0.0172,
      "step": 18480
    },
    {
      "epoch": 51.361111111111114,
      "grad_norm": 0.2927851676940918,
      "learning_rate": 8.286045486216657e-05,
      "loss": 0.0257,
      "step": 18490
    },
    {
      "epoch": 51.388888888888886,
      "grad_norm": 0.4650692045688629,
      "learning_rate": 8.283967930670733e-05,
      "loss": 0.02,
      "step": 18500
    },
    {
      "epoch": 51.416666666666664,
      "grad_norm": 0.2993944585323334,
      "learning_rate": 8.281889377542058e-05,
      "loss": 0.0225,
      "step": 18510
    },
    {
      "epoch": 51.44444444444444,
      "grad_norm": 0.3716466426849365,
      "learning_rate": 8.279809827462045e-05,
      "loss": 0.0182,
      "step": 18520
    },
    {
      "epoch": 51.47222222222222,
      "grad_norm": 0.3246208131313324,
      "learning_rate": 8.277729281062402e-05,
      "loss": 0.0225,
      "step": 18530
    },
    {
      "epoch": 51.5,
      "grad_norm": 0.20254798233509064,
      "learning_rate": 8.27564773897515e-05,
      "loss": 0.0214,
      "step": 18540
    },
    {
      "epoch": 51.52777777777778,
      "grad_norm": 0.21812066435813904,
      "learning_rate": 8.273565201832602e-05,
      "loss": 0.016,
      "step": 18550
    },
    {
      "epoch": 51.55555555555556,
      "grad_norm": 0.2016649842262268,
      "learning_rate": 8.27148167026738e-05,
      "loss": 0.0157,
      "step": 18560
    },
    {
      "epoch": 51.583333333333336,
      "grad_norm": 0.30732980370521545,
      "learning_rate": 8.269397144912405e-05,
      "loss": 0.0195,
      "step": 18570
    },
    {
      "epoch": 51.611111111111114,
      "grad_norm": 0.31926536560058594,
      "learning_rate": 8.267311626400899e-05,
      "loss": 0.0145,
      "step": 18580
    },
    {
      "epoch": 51.638888888888886,
      "grad_norm": 0.4219721555709839,
      "learning_rate": 8.26522511536639e-05,
      "loss": 0.0252,
      "step": 18590
    },
    {
      "epoch": 51.666666666666664,
      "grad_norm": 0.22848844528198242,
      "learning_rate": 8.263137612442706e-05,
      "loss": 0.0163,
      "step": 18600
    },
    {
      "epoch": 51.69444444444444,
      "grad_norm": 0.3607206344604492,
      "learning_rate": 8.261049118263971e-05,
      "loss": 0.0166,
      "step": 18610
    },
    {
      "epoch": 51.72222222222222,
      "grad_norm": 0.26423200964927673,
      "learning_rate": 8.258959633464619e-05,
      "loss": 0.0214,
      "step": 18620
    },
    {
      "epoch": 51.75,
      "grad_norm": 0.20243392884731293,
      "learning_rate": 8.256869158679377e-05,
      "loss": 0.0186,
      "step": 18630
    },
    {
      "epoch": 51.77777777777778,
      "grad_norm": 0.26122066378593445,
      "learning_rate": 8.254777694543278e-05,
      "loss": 0.0216,
      "step": 18640
    },
    {
      "epoch": 51.80555555555556,
      "grad_norm": 0.3072565197944641,
      "learning_rate": 8.252685241691651e-05,
      "loss": 0.0161,
      "step": 18650
    },
    {
      "epoch": 51.833333333333336,
      "grad_norm": 0.291308730840683,
      "learning_rate": 8.250591800760133e-05,
      "loss": 0.025,
      "step": 18660
    },
    {
      "epoch": 51.861111111111114,
      "grad_norm": 0.37304821610450745,
      "learning_rate": 8.248497372384649e-05,
      "loss": 0.0229,
      "step": 18670
    },
    {
      "epoch": 51.888888888888886,
      "grad_norm": 0.4271451532840729,
      "learning_rate": 8.246401957201437e-05,
      "loss": 0.0189,
      "step": 18680
    },
    {
      "epoch": 51.916666666666664,
      "grad_norm": 0.41714560985565186,
      "learning_rate": 8.244305555847027e-05,
      "loss": 0.0204,
      "step": 18690
    },
    {
      "epoch": 51.94444444444444,
      "grad_norm": 0.2479008436203003,
      "learning_rate": 8.24220816895825e-05,
      "loss": 0.0175,
      "step": 18700
    },
    {
      "epoch": 51.97222222222222,
      "grad_norm": 0.2112952619791031,
      "learning_rate": 8.240109797172237e-05,
      "loss": 0.0232,
      "step": 18710
    },
    {
      "epoch": 52.0,
      "grad_norm": 0.2993883490562439,
      "learning_rate": 8.238010441126416e-05,
      "loss": 0.0234,
      "step": 18720
    },
    {
      "epoch": 52.02777777777778,
      "grad_norm": 0.20947524905204773,
      "learning_rate": 8.23591010145852e-05,
      "loss": 0.0237,
      "step": 18730
    },
    {
      "epoch": 52.05555555555556,
      "grad_norm": 0.2893461585044861,
      "learning_rate": 8.233808778806571e-05,
      "loss": 0.0255,
      "step": 18740
    },
    {
      "epoch": 52.083333333333336,
      "grad_norm": 0.2970278859138489,
      "learning_rate": 8.231706473808903e-05,
      "loss": 0.0193,
      "step": 18750
    },
    {
      "epoch": 52.111111111111114,
      "grad_norm": 0.2778857946395874,
      "learning_rate": 8.229603187104133e-05,
      "loss": 0.0259,
      "step": 18760
    },
    {
      "epoch": 52.138888888888886,
      "grad_norm": 0.4193144142627716,
      "learning_rate": 8.22749891933119e-05,
      "loss": 0.0207,
      "step": 18770
    },
    {
      "epoch": 52.166666666666664,
      "grad_norm": 0.4806251525878906,
      "learning_rate": 8.225393671129291e-05,
      "loss": 0.0264,
      "step": 18780
    },
    {
      "epoch": 52.19444444444444,
      "grad_norm": 0.24969759583473206,
      "learning_rate": 8.223287443137957e-05,
      "loss": 0.0164,
      "step": 18790
    },
    {
      "epoch": 52.22222222222222,
      "grad_norm": 0.2644731104373932,
      "learning_rate": 8.221180235997004e-05,
      "loss": 0.0188,
      "step": 18800
    },
    {
      "epoch": 52.25,
      "grad_norm": 0.32840219140052795,
      "learning_rate": 8.219072050346544e-05,
      "loss": 0.0168,
      "step": 18810
    },
    {
      "epoch": 52.27777777777778,
      "grad_norm": 0.3442606031894684,
      "learning_rate": 8.216962886826992e-05,
      "loss": 0.0186,
      "step": 18820
    },
    {
      "epoch": 52.30555555555556,
      "grad_norm": 0.35162192583084106,
      "learning_rate": 8.214852746079054e-05,
      "loss": 0.0224,
      "step": 18830
    },
    {
      "epoch": 52.333333333333336,
      "grad_norm": 0.22285331785678864,
      "learning_rate": 8.212741628743732e-05,
      "loss": 0.0182,
      "step": 18840
    },
    {
      "epoch": 52.361111111111114,
      "grad_norm": 0.21408985555171967,
      "learning_rate": 8.210629535462333e-05,
      "loss": 0.0177,
      "step": 18850
    },
    {
      "epoch": 52.388888888888886,
      "grad_norm": 0.22878707945346832,
      "learning_rate": 8.208516466876453e-05,
      "loss": 0.0169,
      "step": 18860
    },
    {
      "epoch": 52.416666666666664,
      "grad_norm": 0.24905648827552795,
      "learning_rate": 8.206402423627986e-05,
      "loss": 0.0131,
      "step": 18870
    },
    {
      "epoch": 52.44444444444444,
      "grad_norm": 0.25824326276779175,
      "learning_rate": 8.204287406359124e-05,
      "loss": 0.0314,
      "step": 18880
    },
    {
      "epoch": 52.47222222222222,
      "grad_norm": 0.2794339954853058,
      "learning_rate": 8.20217141571235e-05,
      "loss": 0.0193,
      "step": 18890
    },
    {
      "epoch": 52.5,
      "grad_norm": 0.27063339948654175,
      "learning_rate": 8.200054452330449e-05,
      "loss": 0.0162,
      "step": 18900
    },
    {
      "epoch": 52.52777777777778,
      "grad_norm": 0.3042171597480774,
      "learning_rate": 8.197936516856499e-05,
      "loss": 0.0269,
      "step": 18910
    },
    {
      "epoch": 52.55555555555556,
      "grad_norm": 0.2801624834537506,
      "learning_rate": 8.195817609933871e-05,
      "loss": 0.0204,
      "step": 18920
    },
    {
      "epoch": 52.583333333333336,
      "grad_norm": 0.3351433277130127,
      "learning_rate": 8.193697732206233e-05,
      "loss": 0.0187,
      "step": 18930
    },
    {
      "epoch": 52.611111111111114,
      "grad_norm": 0.30985161662101746,
      "learning_rate": 8.19157688431755e-05,
      "loss": 0.0237,
      "step": 18940
    },
    {
      "epoch": 52.638888888888886,
      "grad_norm": 0.40796616673469543,
      "learning_rate": 8.189455066912077e-05,
      "loss": 0.0201,
      "step": 18950
    },
    {
      "epoch": 52.666666666666664,
      "grad_norm": 0.27036765217781067,
      "learning_rate": 8.187332280634369e-05,
      "loss": 0.0175,
      "step": 18960
    },
    {
      "epoch": 52.69444444444444,
      "grad_norm": 0.3122082054615021,
      "learning_rate": 8.18520852612927e-05,
      "loss": 0.0217,
      "step": 18970
    },
    {
      "epoch": 52.72222222222222,
      "grad_norm": 0.27082717418670654,
      "learning_rate": 8.183083804041921e-05,
      "loss": 0.0235,
      "step": 18980
    },
    {
      "epoch": 52.75,
      "grad_norm": 0.2558850944042206,
      "learning_rate": 8.180958115017757e-05,
      "loss": 0.0175,
      "step": 18990
    },
    {
      "epoch": 52.77777777777778,
      "grad_norm": 0.3245988190174103,
      "learning_rate": 8.178831459702505e-05,
      "loss": 0.0252,
      "step": 19000
    },
    {
      "epoch": 52.80555555555556,
      "grad_norm": 0.28470176458358765,
      "learning_rate": 8.17670383874219e-05,
      "loss": 0.0193,
      "step": 19010
    },
    {
      "epoch": 52.833333333333336,
      "grad_norm": 0.20605306327342987,
      "learning_rate": 8.174575252783124e-05,
      "loss": 0.0158,
      "step": 19020
    },
    {
      "epoch": 52.861111111111114,
      "grad_norm": 0.22262519598007202,
      "learning_rate": 8.172445702471914e-05,
      "loss": 0.0242,
      "step": 19030
    },
    {
      "epoch": 52.888888888888886,
      "grad_norm": 0.3199070394039154,
      "learning_rate": 8.170315188455466e-05,
      "loss": 0.019,
      "step": 19040
    },
    {
      "epoch": 52.916666666666664,
      "grad_norm": 0.27930203080177307,
      "learning_rate": 8.168183711380969e-05,
      "loss": 0.0182,
      "step": 19050
    },
    {
      "epoch": 52.94444444444444,
      "grad_norm": 0.26495152711868286,
      "learning_rate": 8.166051271895913e-05,
      "loss": 0.0214,
      "step": 19060
    },
    {
      "epoch": 52.97222222222222,
      "grad_norm": 0.405590295791626,
      "learning_rate": 8.163917870648075e-05,
      "loss": 0.0279,
      "step": 19070
    },
    {
      "epoch": 53.0,
      "grad_norm": 0.30124109983444214,
      "learning_rate": 8.161783508285526e-05,
      "loss": 0.0186,
      "step": 19080
    },
    {
      "epoch": 53.02777777777778,
      "grad_norm": 0.41713812947273254,
      "learning_rate": 8.159648185456628e-05,
      "loss": 0.0236,
      "step": 19090
    },
    {
      "epoch": 53.05555555555556,
      "grad_norm": 0.28376656770706177,
      "learning_rate": 8.157511902810038e-05,
      "loss": 0.0237,
      "step": 19100
    },
    {
      "epoch": 53.083333333333336,
      "grad_norm": 0.25433439016342163,
      "learning_rate": 8.155374660994701e-05,
      "loss": 0.0184,
      "step": 19110
    },
    {
      "epoch": 53.111111111111114,
      "grad_norm": 0.29357028007507324,
      "learning_rate": 8.153236460659857e-05,
      "loss": 0.0247,
      "step": 19120
    },
    {
      "epoch": 53.138888888888886,
      "grad_norm": 0.2867583930492401,
      "learning_rate": 8.151097302455031e-05,
      "loss": 0.0166,
      "step": 19130
    },
    {
      "epoch": 53.166666666666664,
      "grad_norm": 0.3089349865913391,
      "learning_rate": 8.148957187030044e-05,
      "loss": 0.0243,
      "step": 19140
    },
    {
      "epoch": 53.19444444444444,
      "grad_norm": 0.21473824977874756,
      "learning_rate": 8.146816115035006e-05,
      "loss": 0.0198,
      "step": 19150
    },
    {
      "epoch": 53.22222222222222,
      "grad_norm": 0.2390710413455963,
      "learning_rate": 8.14467408712032e-05,
      "loss": 0.0264,
      "step": 19160
    },
    {
      "epoch": 53.25,
      "grad_norm": 0.27767065167427063,
      "learning_rate": 8.142531103936678e-05,
      "loss": 0.019,
      "step": 19170
    },
    {
      "epoch": 53.27777777777778,
      "grad_norm": 0.2380942851305008,
      "learning_rate": 8.14038716613506e-05,
      "loss": 0.0136,
      "step": 19180
    },
    {
      "epoch": 53.30555555555556,
      "grad_norm": 0.28122401237487793,
      "learning_rate": 8.138242274366736e-05,
      "loss": 0.0202,
      "step": 19190
    },
    {
      "epoch": 53.333333333333336,
      "grad_norm": 0.34043222665786743,
      "learning_rate": 8.136096429283271e-05,
      "loss": 0.0195,
      "step": 19200
    },
    {
      "epoch": 53.361111111111114,
      "grad_norm": 0.33055976033210754,
      "learning_rate": 8.133949631536515e-05,
      "loss": 0.0259,
      "step": 19210
    },
    {
      "epoch": 53.388888888888886,
      "grad_norm": 0.34748023748397827,
      "learning_rate": 8.131801881778607e-05,
      "loss": 0.0239,
      "step": 19220
    },
    {
      "epoch": 53.416666666666664,
      "grad_norm": 0.3500712215900421,
      "learning_rate": 8.129653180661978e-05,
      "loss": 0.0208,
      "step": 19230
    },
    {
      "epoch": 53.44444444444444,
      "grad_norm": 0.22077369689941406,
      "learning_rate": 8.127503528839346e-05,
      "loss": 0.0221,
      "step": 19240
    },
    {
      "epoch": 53.47222222222222,
      "grad_norm": 0.23556038737297058,
      "learning_rate": 8.125352926963721e-05,
      "loss": 0.025,
      "step": 19250
    },
    {
      "epoch": 53.5,
      "grad_norm": 0.28296902775764465,
      "learning_rate": 8.123201375688395e-05,
      "loss": 0.0192,
      "step": 19260
    },
    {
      "epoch": 53.52777777777778,
      "grad_norm": 0.2696276605129242,
      "learning_rate": 8.121048875666954e-05,
      "loss": 0.0203,
      "step": 19270
    },
    {
      "epoch": 53.55555555555556,
      "grad_norm": 0.2548176646232605,
      "learning_rate": 8.118895427553274e-05,
      "loss": 0.0164,
      "step": 19280
    },
    {
      "epoch": 53.583333333333336,
      "grad_norm": 0.3054744601249695,
      "learning_rate": 8.116741032001511e-05,
      "loss": 0.0216,
      "step": 19290
    },
    {
      "epoch": 53.611111111111114,
      "grad_norm": 0.3617136478424072,
      "learning_rate": 8.114585689666114e-05,
      "loss": 0.0212,
      "step": 19300
    },
    {
      "epoch": 53.638888888888886,
      "grad_norm": 0.25567126274108887,
      "learning_rate": 8.112429401201821e-05,
      "loss": 0.0178,
      "step": 19310
    },
    {
      "epoch": 53.666666666666664,
      "grad_norm": 0.2629593014717102,
      "learning_rate": 8.110272167263656e-05,
      "loss": 0.0213,
      "step": 19320
    },
    {
      "epoch": 53.69444444444444,
      "grad_norm": 0.23123100399971008,
      "learning_rate": 8.108113988506929e-05,
      "loss": 0.0177,
      "step": 19330
    },
    {
      "epoch": 53.72222222222222,
      "grad_norm": 0.3530017137527466,
      "learning_rate": 8.105954865587235e-05,
      "loss": 0.0216,
      "step": 19340
    },
    {
      "epoch": 53.75,
      "grad_norm": 0.2572087049484253,
      "learning_rate": 8.103794799160463e-05,
      "loss": 0.0183,
      "step": 19350
    },
    {
      "epoch": 53.77777777777778,
      "grad_norm": 0.3689512610435486,
      "learning_rate": 8.101633789882781e-05,
      "loss": 0.0237,
      "step": 19360
    },
    {
      "epoch": 53.80555555555556,
      "grad_norm": 0.22955426573753357,
      "learning_rate": 8.099471838410648e-05,
      "loss": 0.0158,
      "step": 19370
    },
    {
      "epoch": 53.833333333333336,
      "grad_norm": 0.2196088433265686,
      "learning_rate": 8.097308945400806e-05,
      "loss": 0.0171,
      "step": 19380
    },
    {
      "epoch": 53.861111111111114,
      "grad_norm": 0.2718861997127533,
      "learning_rate": 8.095145111510288e-05,
      "loss": 0.0177,
      "step": 19390
    },
    {
      "epoch": 53.888888888888886,
      "grad_norm": 0.2663055956363678,
      "learning_rate": 8.092980337396406e-05,
      "loss": 0.015,
      "step": 19400
    },
    {
      "epoch": 53.916666666666664,
      "grad_norm": 0.23148325085639954,
      "learning_rate": 8.090814623716763e-05,
      "loss": 0.0209,
      "step": 19410
    },
    {
      "epoch": 53.94444444444444,
      "grad_norm": 0.2430877387523651,
      "learning_rate": 8.088647971129246e-05,
      "loss": 0.0205,
      "step": 19420
    },
    {
      "epoch": 53.97222222222222,
      "grad_norm": 0.2368495911359787,
      "learning_rate": 8.086480380292026e-05,
      "loss": 0.0193,
      "step": 19430
    },
    {
      "epoch": 54.0,
      "grad_norm": 0.4139159023761749,
      "learning_rate": 8.084311851863562e-05,
      "loss": 0.0186,
      "step": 19440
    },
    {
      "epoch": 54.02777777777778,
      "grad_norm": 0.3604837954044342,
      "learning_rate": 8.082142386502591e-05,
      "loss": 0.0173,
      "step": 19450
    },
    {
      "epoch": 54.05555555555556,
      "grad_norm": 0.2407255321741104,
      "learning_rate": 8.079971984868145e-05,
      "loss": 0.0222,
      "step": 19460
    },
    {
      "epoch": 54.083333333333336,
      "grad_norm": 0.19338640570640564,
      "learning_rate": 8.077800647619532e-05,
      "loss": 0.0174,
      "step": 19470
    },
    {
      "epoch": 54.111111111111114,
      "grad_norm": 0.2230132669210434,
      "learning_rate": 8.075628375416345e-05,
      "loss": 0.013,
      "step": 19480
    },
    {
      "epoch": 54.138888888888886,
      "grad_norm": 0.3065797686576843,
      "learning_rate": 8.073455168918464e-05,
      "loss": 0.0183,
      "step": 19490
    },
    {
      "epoch": 54.166666666666664,
      "grad_norm": 0.311367392539978,
      "learning_rate": 8.071281028786055e-05,
      "loss": 0.0166,
      "step": 19500
    },
    {
      "epoch": 54.19444444444444,
      "grad_norm": 0.23051932454109192,
      "learning_rate": 8.069105955679562e-05,
      "loss": 0.0145,
      "step": 19510
    },
    {
      "epoch": 54.22222222222222,
      "grad_norm": 0.2853240370750427,
      "learning_rate": 8.066929950259713e-05,
      "loss": 0.0173,
      "step": 19520
    },
    {
      "epoch": 54.25,
      "grad_norm": 0.23215201497077942,
      "learning_rate": 8.064753013187522e-05,
      "loss": 0.0184,
      "step": 19530
    },
    {
      "epoch": 54.27777777777778,
      "grad_norm": 0.21150028705596924,
      "learning_rate": 8.062575145124289e-05,
      "loss": 0.0146,
      "step": 19540
    },
    {
      "epoch": 54.30555555555556,
      "grad_norm": 0.20810307562351227,
      "learning_rate": 8.060396346731587e-05,
      "loss": 0.0178,
      "step": 19550
    },
    {
      "epoch": 54.333333333333336,
      "grad_norm": 0.23217646777629852,
      "learning_rate": 8.058216618671281e-05,
      "loss": 0.0143,
      "step": 19560
    },
    {
      "epoch": 54.361111111111114,
      "grad_norm": 0.36457446217536926,
      "learning_rate": 8.056035961605514e-05,
      "loss": 0.015,
      "step": 19570
    },
    {
      "epoch": 54.388888888888886,
      "grad_norm": 0.2944841682910919,
      "learning_rate": 8.05385437619671e-05,
      "loss": 0.0268,
      "step": 19580
    },
    {
      "epoch": 54.416666666666664,
      "grad_norm": 0.21976618468761444,
      "learning_rate": 8.05167186310758e-05,
      "loss": 0.0139,
      "step": 19590
    },
    {
      "epoch": 54.44444444444444,
      "grad_norm": 0.29771119356155396,
      "learning_rate": 8.049488423001113e-05,
      "loss": 0.016,
      "step": 19600
    },
    {
      "epoch": 54.47222222222222,
      "grad_norm": 0.2987135648727417,
      "learning_rate": 8.047304056540581e-05,
      "loss": 0.0194,
      "step": 19610
    },
    {
      "epoch": 54.5,
      "grad_norm": 0.36627188324928284,
      "learning_rate": 8.045118764389534e-05,
      "loss": 0.0227,
      "step": 19620
    },
    {
      "epoch": 54.52777777777778,
      "grad_norm": 0.1918392777442932,
      "learning_rate": 8.042932547211809e-05,
      "loss": 0.0146,
      "step": 19630
    },
    {
      "epoch": 54.55555555555556,
      "grad_norm": 0.4343569278717041,
      "learning_rate": 8.04074540567152e-05,
      "loss": 0.0186,
      "step": 19640
    },
    {
      "epoch": 54.583333333333336,
      "grad_norm": 0.2385873943567276,
      "learning_rate": 8.038557340433063e-05,
      "loss": 0.027,
      "step": 19650
    },
    {
      "epoch": 54.611111111111114,
      "grad_norm": 0.3734043836593628,
      "learning_rate": 8.036368352161115e-05,
      "loss": 0.0181,
      "step": 19660
    },
    {
      "epoch": 54.638888888888886,
      "grad_norm": 0.35656461119651794,
      "learning_rate": 8.034178441520633e-05,
      "loss": 0.0199,
      "step": 19670
    },
    {
      "epoch": 54.666666666666664,
      "grad_norm": 0.21269747614860535,
      "learning_rate": 8.031987609176852e-05,
      "loss": 0.0217,
      "step": 19680
    },
    {
      "epoch": 54.69444444444444,
      "grad_norm": 0.1998254507780075,
      "learning_rate": 8.02979585579529e-05,
      "loss": 0.0209,
      "step": 19690
    },
    {
      "epoch": 54.72222222222222,
      "grad_norm": 0.21566657721996307,
      "learning_rate": 8.027603182041745e-05,
      "loss": 0.0292,
      "step": 19700
    },
    {
      "epoch": 54.75,
      "grad_norm": 0.26607847213745117,
      "learning_rate": 8.025409588582292e-05,
      "loss": 0.0226,
      "step": 19710
    },
    {
      "epoch": 54.77777777777778,
      "grad_norm": 0.32920336723327637,
      "learning_rate": 8.023215076083288e-05,
      "loss": 0.0191,
      "step": 19720
    },
    {
      "epoch": 54.80555555555556,
      "grad_norm": 0.20821064710617065,
      "learning_rate": 8.021019645211367e-05,
      "loss": 0.0153,
      "step": 19730
    },
    {
      "epoch": 54.833333333333336,
      "grad_norm": 0.3383369445800781,
      "learning_rate": 8.018823296633441e-05,
      "loss": 0.0176,
      "step": 19740
    },
    {
      "epoch": 54.861111111111114,
      "grad_norm": 0.16673843562602997,
      "learning_rate": 8.016626031016708e-05,
      "loss": 0.023,
      "step": 19750
    },
    {
      "epoch": 54.888888888888886,
      "grad_norm": 0.3763732314109802,
      "learning_rate": 8.014427849028636e-05,
      "loss": 0.0177,
      "step": 19760
    },
    {
      "epoch": 54.916666666666664,
      "grad_norm": 0.2966122329235077,
      "learning_rate": 8.012228751336974e-05,
      "loss": 0.0192,
      "step": 19770
    },
    {
      "epoch": 54.94444444444444,
      "grad_norm": 0.3282051980495453,
      "learning_rate": 8.01002873860975e-05,
      "loss": 0.0278,
      "step": 19780
    },
    {
      "epoch": 54.97222222222222,
      "grad_norm": 0.30257517099380493,
      "learning_rate": 8.00782781151527e-05,
      "loss": 0.0172,
      "step": 19790
    },
    {
      "epoch": 55.0,
      "grad_norm": 0.25268274545669556,
      "learning_rate": 8.005625970722119e-05,
      "loss": 0.0219,
      "step": 19800
    },
    {
      "epoch": 55.02777777777778,
      "grad_norm": 0.217635840177536,
      "learning_rate": 8.003423216899158e-05,
      "loss": 0.015,
      "step": 19810
    },
    {
      "epoch": 55.05555555555556,
      "grad_norm": 0.2676290273666382,
      "learning_rate": 8.001219550715522e-05,
      "loss": 0.0251,
      "step": 19820
    },
    {
      "epoch": 55.083333333333336,
      "grad_norm": 0.20639878511428833,
      "learning_rate": 7.999014972840632e-05,
      "loss": 0.0233,
      "step": 19830
    },
    {
      "epoch": 55.111111111111114,
      "grad_norm": 0.245832622051239,
      "learning_rate": 7.996809483944174e-05,
      "loss": 0.0156,
      "step": 19840
    },
    {
      "epoch": 55.138888888888886,
      "grad_norm": 0.1930810511112213,
      "learning_rate": 7.994603084696124e-05,
      "loss": 0.0128,
      "step": 19850
    },
    {
      "epoch": 55.166666666666664,
      "grad_norm": 0.19432492554187775,
      "learning_rate": 7.992395775766724e-05,
      "loss": 0.0159,
      "step": 19860
    },
    {
      "epoch": 55.19444444444444,
      "grad_norm": 0.2876608669757843,
      "learning_rate": 7.990187557826497e-05,
      "loss": 0.0259,
      "step": 19870
    },
    {
      "epoch": 55.22222222222222,
      "grad_norm": 0.1851273626089096,
      "learning_rate": 7.987978431546242e-05,
      "loss": 0.0194,
      "step": 19880
    },
    {
      "epoch": 55.25,
      "grad_norm": 0.2807346284389496,
      "learning_rate": 7.985768397597031e-05,
      "loss": 0.0226,
      "step": 19890
    },
    {
      "epoch": 55.27777777777778,
      "grad_norm": 0.30417388677597046,
      "learning_rate": 7.983557456650216e-05,
      "loss": 0.0225,
      "step": 19900
    },
    {
      "epoch": 55.30555555555556,
      "grad_norm": 0.290418803691864,
      "learning_rate": 7.981345609377422e-05,
      "loss": 0.02,
      "step": 19910
    },
    {
      "epoch": 55.333333333333336,
      "grad_norm": 0.2360435128211975,
      "learning_rate": 7.97913285645055e-05,
      "loss": 0.0159,
      "step": 19920
    },
    {
      "epoch": 55.361111111111114,
      "grad_norm": 0.25524836778640747,
      "learning_rate": 7.976919198541776e-05,
      "loss": 0.0153,
      "step": 19930
    },
    {
      "epoch": 55.388888888888886,
      "grad_norm": 0.3082410395145416,
      "learning_rate": 7.974704636323548e-05,
      "loss": 0.0189,
      "step": 19940
    },
    {
      "epoch": 55.416666666666664,
      "grad_norm": 0.2376319020986557,
      "learning_rate": 7.972489170468597e-05,
      "loss": 0.013,
      "step": 19950
    },
    {
      "epoch": 55.44444444444444,
      "grad_norm": 0.26874467730522156,
      "learning_rate": 7.970272801649918e-05,
      "loss": 0.0217,
      "step": 19960
    },
    {
      "epoch": 55.47222222222222,
      "grad_norm": 0.266375333070755,
      "learning_rate": 7.96805553054079e-05,
      "loss": 0.0212,
      "step": 19970
    },
    {
      "epoch": 55.5,
      "grad_norm": 0.23426760733127594,
      "learning_rate": 7.965837357814756e-05,
      "loss": 0.018,
      "step": 19980
    },
    {
      "epoch": 55.52777777777778,
      "grad_norm": 0.21841786801815033,
      "learning_rate": 7.963618284145643e-05,
      "loss": 0.0226,
      "step": 19990
    },
    {
      "epoch": 55.55555555555556,
      "grad_norm": 0.22097250819206238,
      "learning_rate": 7.961398310207544e-05,
      "loss": 0.0202,
      "step": 20000
    }
  ],
  "logging_steps": 10,
  "max_steps": 60000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 167,
  "save_steps": 10000,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 0.0,
  "train_batch_size": 16,
  "trial_name": null,
  "trial_params": null
}