diff --git "a/checkpoints/checkpoint-7500/trainer_state.json" "b/checkpoints/checkpoint-7500/trainer_state.json"
new file mode 100644--- /dev/null
+++ "b/checkpoints/checkpoint-7500/trainer_state.json"
@@ -0,0 +1,5300 @@
+{
+  "best_global_step": null,
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 3.0,
+  "eval_steps": 500,
+  "global_step": 7500,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.004,
+      "grad_norm": 0.8473833203315735,
+      "learning_rate": 1.9976000000000003e-05,
+      "loss": 0.3554,
+      "step": 10
+    },
+    {
+      "epoch": 0.008,
+      "grad_norm": 0.7512041330337524,
+      "learning_rate": 1.9949333333333332e-05,
+      "loss": 0.3244,
+      "step": 20
+    },
+    {
+      "epoch": 0.012,
+      "grad_norm": 0.5380983948707581,
+      "learning_rate": 1.9922666666666668e-05,
+      "loss": 0.3499,
+      "step": 30
+    },
+    {
+      "epoch": 0.016,
+      "grad_norm": 0.844835638999939,
+      "learning_rate": 1.9896e-05,
+      "loss": 0.3691,
+      "step": 40
+    },
+    {
+      "epoch": 0.02,
+      "grad_norm": 0.5741446614265442,
+      "learning_rate": 1.9869333333333336e-05,
+      "loss": 0.3393,
+      "step": 50
+    },
+    {
+      "epoch": 0.024,
+      "grad_norm": 0.5424033403396606,
+      "learning_rate": 1.984266666666667e-05,
+      "loss": 0.301,
+      "step": 60
+    },
+    {
+      "epoch": 0.028,
+      "grad_norm": 0.5613783597946167,
+      "learning_rate": 1.9816e-05,
+      "loss": 0.3385,
+      "step": 70
+    },
+    {
+      "epoch": 0.032,
+      "grad_norm": 0.6068338751792908,
+      "learning_rate": 1.9789333333333337e-05,
+      "loss": 0.2925,
+      "step": 80
+    },
+    {
+      "epoch": 0.036,
+      "grad_norm": 0.5099148750305176,
+      "learning_rate": 1.9762666666666666e-05,
+      "loss": 0.3729,
+      "step": 90
+    },
+    {
+      "epoch": 0.04,
+      "grad_norm": 0.7521042823791504,
+      "learning_rate": 1.9736000000000002e-05,
+      "loss": 0.3292,
+      "step": 100
+    },
+    {
+      "epoch": 0.044,
+      "grad_norm": 2.8476057052612305,
+      "learning_rate": 1.9709333333333335e-05,
+      "loss": 0.2903,
+      "step": 110
+    },
+    {
+      "epoch": 0.048,
+      "grad_norm": 0.6086683869361877,
+      "learning_rate": 1.9682666666666667e-05,
+      "loss": 0.3025,
+      "step": 120
+    },
+    {
+      "epoch": 0.052,
+      "grad_norm": 0.4599870443344116,
+      "learning_rate": 1.9656000000000003e-05,
+      "loss": 0.3247,
+      "step": 130
+    },
+    {
+      "epoch": 0.056,
+      "grad_norm": 0.543210506439209,
+      "learning_rate": 1.9629333333333335e-05,
+      "loss": 0.3389,
+      "step": 140
+    },
+    {
+      "epoch": 0.06,
+      "grad_norm": 0.5246361494064331,
+      "learning_rate": 1.9602666666666668e-05,
+      "loss": 0.3312,
+      "step": 150
+    },
+    {
+      "epoch": 0.064,
+      "grad_norm": 0.5620948076248169,
+      "learning_rate": 1.9576e-05,
+      "loss": 0.3549,
+      "step": 160
+    },
+    {
+      "epoch": 0.068,
+      "grad_norm": 0.5205038189888,
+      "learning_rate": 1.9549333333333336e-05,
+      "loss": 0.3115,
+      "step": 170
+    },
+    {
+      "epoch": 0.072,
+      "grad_norm": 0.48861584067344666,
+      "learning_rate": 1.952266666666667e-05,
+      "loss": 0.3049,
+      "step": 180
+    },
+    {
+      "epoch": 0.076,
+      "grad_norm": 0.6099581718444824,
+      "learning_rate": 1.9496e-05,
+      "loss": 0.2789,
+      "step": 190
+    },
+    {
+      "epoch": 0.08,
+      "grad_norm": 0.42091602087020874,
+      "learning_rate": 1.9469333333333337e-05,
+      "loss": 0.3071,
+      "step": 200
+    },
+    {
+      "epoch": 0.084,
+      "grad_norm": 0.5491640567779541,
+      "learning_rate": 1.9442666666666666e-05,
+      "loss": 0.2626,
+      "step": 210
+    },
+    {
+      "epoch": 0.088,
+      "grad_norm": 0.5918490886688232,
+      "learning_rate": 1.9416000000000002e-05,
+      "loss": 0.2717,
+      "step": 220
+    },
+    {
+      "epoch": 0.092,
+      "grad_norm": 0.657937228679657,
+      "learning_rate": 1.9389333333333334e-05,
+      "loss": 0.2793,
+      "step": 230
+    },
+    {
+      "epoch": 0.096,
+      "grad_norm": 0.521407425403595,
+      "learning_rate": 1.9362666666666667e-05,
+      "loss": 0.315,
+      "step": 240
+    },
+    {
+      "epoch": 0.1,
+      "grad_norm": 0.39812424778938293,
+      "learning_rate": 1.9336000000000003e-05,
+      "loss": 0.2634,
+      "step": 250
+    },
+    {
+      "epoch": 0.104,
+      "grad_norm": 0.4045741558074951,
+      "learning_rate": 1.9309333333333335e-05,
+      "loss": 0.3122,
+      "step": 260
+    },
+    {
+      "epoch": 0.108,
+      "grad_norm": 0.46365252137184143,
+      "learning_rate": 1.9282666666666667e-05,
+      "loss": 0.2629,
+      "step": 270
+    },
+    {
+      "epoch": 0.112,
+      "grad_norm": 0.5988256931304932,
+      "learning_rate": 1.9256e-05,
+      "loss": 0.2931,
+      "step": 280
+    },
+    {
+      "epoch": 0.116,
+      "grad_norm": 0.4610181152820587,
+      "learning_rate": 1.9229333333333336e-05,
+      "loss": 0.3301,
+      "step": 290
+    },
+    {
+      "epoch": 0.12,
+      "grad_norm": 0.573409378528595,
+      "learning_rate": 1.9202666666666668e-05,
+      "loss": 0.3175,
+      "step": 300
+    },
+    {
+      "epoch": 0.124,
+      "grad_norm": 0.45221200585365295,
+      "learning_rate": 1.9176e-05,
+      "loss": 0.2764,
+      "step": 310
+    },
+    {
+      "epoch": 0.128,
+      "grad_norm": 0.5272834897041321,
+      "learning_rate": 1.9149333333333337e-05,
+      "loss": 0.2865,
+      "step": 320
+    },
+    {
+      "epoch": 0.132,
+      "grad_norm": 0.6001108288764954,
+      "learning_rate": 1.9122666666666666e-05,
+      "loss": 0.3033,
+      "step": 330
+    },
+    {
+      "epoch": 0.136,
+      "grad_norm": 0.399921178817749,
+      "learning_rate": 1.9096e-05,
+      "loss": 0.3229,
+      "step": 340
+    },
+    {
+      "epoch": 0.14,
+      "grad_norm": 0.40731269121170044,
+      "learning_rate": 1.9069333333333334e-05,
+      "loss": 0.2664,
+      "step": 350
+    },
+    {
+      "epoch": 0.144,
+      "grad_norm": 0.6090437173843384,
+      "learning_rate": 1.904266666666667e-05,
+      "loss": 0.2714,
+      "step": 360
+    },
+    {
+      "epoch": 0.148,
+      "grad_norm": 0.685806155204773,
+      "learning_rate": 1.9016000000000002e-05,
+      "loss": 0.2782,
+      "step": 370
+    },
+    {
+      "epoch": 0.152,
+      "grad_norm": 0.5020912289619446,
+      "learning_rate": 1.8989333333333335e-05,
+      "loss": 0.314,
+      "step": 380
+    },
+    {
+      "epoch": 0.156,
+      "grad_norm": 0.6335378885269165,
+      "learning_rate": 1.896266666666667e-05,
+      "loss": 0.2955,
+      "step": 390
+    },
+    {
+      "epoch": 0.16,
+      "grad_norm": 0.5144450664520264,
+      "learning_rate": 1.8936e-05,
+      "loss": 0.2768,
+      "step": 400
+    },
+    {
+      "epoch": 0.164,
+      "grad_norm": 0.49727848172187805,
+      "learning_rate": 1.8909333333333335e-05,
+      "loss": 0.313,
+      "step": 410
+    },
+    {
+      "epoch": 0.168,
+      "grad_norm": 0.5295145511627197,
+      "learning_rate": 1.8882666666666668e-05,
+      "loss": 0.3049,
+      "step": 420
+    },
+    {
+      "epoch": 0.172,
+      "grad_norm": 0.6311231851577759,
+      "learning_rate": 1.8856e-05,
+      "loss": 0.29,
+      "step": 430
+    },
+    {
+      "epoch": 0.176,
+      "grad_norm": 0.45227429270744324,
+      "learning_rate": 1.8829333333333336e-05,
+      "loss": 0.269,
+      "step": 440
+    },
+    {
+      "epoch": 0.18,
+      "grad_norm": 0.5193242430686951,
+      "learning_rate": 1.880266666666667e-05,
+      "loss": 0.3072,
+      "step": 450
+    },
+    {
+      "epoch": 0.184,
+      "grad_norm": 0.47954046726226807,
+      "learning_rate": 1.8776e-05,
+      "loss": 0.2861,
+      "step": 460
+    },
+    {
+      "epoch": 0.188,
+      "grad_norm": 0.6135125160217285,
+      "learning_rate": 1.8749333333333334e-05,
+      "loss": 0.3284,
+      "step": 470
+    },
+    {
+      "epoch": 0.192,
+      "grad_norm": 0.536312997341156,
+      "learning_rate": 1.872266666666667e-05,
+      "loss": 0.2969,
+      "step": 480
+    },
+    {
+      "epoch": 0.196,
+      "grad_norm": 0.4945087134838104,
+      "learning_rate": 1.8696000000000002e-05,
+      "loss": 0.3069,
+      "step": 490
+    },
+    {
+      "epoch": 0.2,
+      "grad_norm": 0.6842024922370911,
+      "learning_rate": 1.8669333333333334e-05,
+      "loss": 0.3028,
+      "step": 500
+    },
+    {
+      "epoch": 0.204,
+      "grad_norm": 0.7187235951423645,
+      "learning_rate": 1.864266666666667e-05,
+      "loss": 0.3122,
+      "step": 510
+    },
+    {
+      "epoch": 0.208,
+      "grad_norm": 0.5195918679237366,
+      "learning_rate": 1.8616e-05,
+      "loss": 0.2993,
+      "step": 520
+    },
+    {
+      "epoch": 0.212,
+      "grad_norm": 0.5979396104812622,
+      "learning_rate": 1.8589333333333335e-05,
+      "loss": 0.2888,
+      "step": 530
+    },
+    {
+      "epoch": 0.216,
+      "grad_norm": 0.5541350245475769,
+      "learning_rate": 1.8562666666666668e-05,
+      "loss": 0.2859,
+      "step": 540
+    },
+    {
+      "epoch": 0.22,
+      "grad_norm": 0.5115520358085632,
+      "learning_rate": 1.8536e-05,
+      "loss": 0.3048,
+      "step": 550
+    },
+    {
+      "epoch": 0.224,
+      "grad_norm": 0.5147453546524048,
+      "learning_rate": 1.8509333333333336e-05,
+      "loss": 0.2963,
+      "step": 560
+    },
+    {
+      "epoch": 0.228,
+      "grad_norm": 0.5118573307991028,
+      "learning_rate": 1.848266666666667e-05,
+      "loss": 0.2796,
+      "step": 570
+    },
+    {
+      "epoch": 0.232,
+      "grad_norm": 0.6429368853569031,
+      "learning_rate": 1.8456e-05,
+      "loss": 0.2688,
+      "step": 580
+    },
+    {
+      "epoch": 0.236,
+      "grad_norm": 0.5160877704620361,
+      "learning_rate": 1.8429333333333333e-05,
+      "loss": 0.2859,
+      "step": 590
+    },
+    {
+      "epoch": 0.24,
+      "grad_norm": 0.5840730667114258,
+      "learning_rate": 1.840266666666667e-05,
+      "loss": 0.2849,
+      "step": 600
+    },
+    {
+      "epoch": 0.244,
+      "grad_norm": 0.46956923604011536,
+      "learning_rate": 1.8376e-05,
+      "loss": 0.3116,
+      "step": 610
+    },
+    {
+      "epoch": 0.248,
+      "grad_norm": 0.6283913850784302,
+      "learning_rate": 1.8349333333333334e-05,
+      "loss": 0.2785,
+      "step": 620
+    },
+    {
+      "epoch": 0.252,
+      "grad_norm": 0.4232288897037506,
+      "learning_rate": 1.832266666666667e-05,
+      "loss": 0.2743,
+      "step": 630
+    },
+    {
+      "epoch": 0.256,
+      "grad_norm": 0.43742942810058594,
+      "learning_rate": 1.8296e-05,
+      "loss": 0.2973,
+      "step": 640
+    },
+    {
+      "epoch": 0.26,
+      "grad_norm": 0.7058847546577454,
+      "learning_rate": 1.8269333333333335e-05,
+      "loss": 0.2837,
+      "step": 650
+    },
+    {
+      "epoch": 0.264,
+      "grad_norm": 0.4320523738861084,
+      "learning_rate": 1.8242666666666667e-05,
+      "loss": 0.3077,
+      "step": 660
+    },
+    {
+      "epoch": 0.268,
+      "grad_norm": 0.6206269860267639,
+      "learning_rate": 1.8216000000000003e-05,
+      "loss": 0.3008,
+      "step": 670
+    },
+    {
+      "epoch": 0.272,
+      "grad_norm": 0.46970808506011963,
+      "learning_rate": 1.8189333333333336e-05,
+      "loss": 0.3144,
+      "step": 680
+    },
+    {
+      "epoch": 0.276,
+      "grad_norm": 0.6160300374031067,
+      "learning_rate": 1.8162666666666668e-05,
+      "loss": 0.2613,
+      "step": 690
+    },
+    {
+      "epoch": 0.28,
+      "grad_norm": 0.5398305654525757,
+      "learning_rate": 1.8136000000000004e-05,
+      "loss": 0.2869,
+      "step": 700
+    },
+    {
+      "epoch": 0.284,
+      "grad_norm": 0.5407466888427734,
+      "learning_rate": 1.8109333333333333e-05,
+      "loss": 0.2886,
+      "step": 710
+    },
+    {
+      "epoch": 0.288,
+      "grad_norm": 0.6329662203788757,
+      "learning_rate": 1.808266666666667e-05,
+      "loss": 0.2872,
+      "step": 720
+    },
+    {
+      "epoch": 0.292,
+      "grad_norm": 0.3745378255844116,
+      "learning_rate": 1.8056e-05,
+      "loss": 0.2544,
+      "step": 730
+    },
+    {
+      "epoch": 0.296,
+      "grad_norm": 0.5615914463996887,
+      "learning_rate": 1.8029333333333334e-05,
+      "loss": 0.2925,
+      "step": 740
+    },
+    {
+      "epoch": 0.3,
+      "grad_norm": 0.4892834424972534,
+      "learning_rate": 1.800266666666667e-05,
+      "loss": 0.318,
+      "step": 750
+    },
+    {
+      "epoch": 0.304,
+      "grad_norm": 0.5953959822654724,
+      "learning_rate": 1.7976000000000002e-05,
+      "loss": 0.2697,
+      "step": 760
+    },
+    {
+      "epoch": 0.308,
+      "grad_norm": 0.6115617752075195,
+      "learning_rate": 1.7949333333333335e-05,
+      "loss": 0.2881,
+      "step": 770
+    },
+    {
+      "epoch": 0.312,
+      "grad_norm": 0.6317617893218994,
+      "learning_rate": 1.7922666666666667e-05,
+      "loss": 0.2877,
+      "step": 780
+    },
+    {
+      "epoch": 0.316,
+      "grad_norm": 0.48265883326530457,
+      "learning_rate": 1.7896000000000003e-05,
+      "loss": 0.2831,
+      "step": 790
+    },
+    {
+      "epoch": 0.32,
+      "grad_norm": 0.4877345561981201,
+      "learning_rate": 1.7869333333333335e-05,
+      "loss": 0.2666,
+      "step": 800
+    },
+    {
+      "epoch": 0.324,
+      "grad_norm": 0.49793872237205505,
+      "learning_rate": 1.7842666666666668e-05,
+      "loss": 0.3024,
+      "step": 810
+    },
+    {
+      "epoch": 0.328,
+      "grad_norm": 0.36371779441833496,
+      "learning_rate": 1.7816000000000004e-05,
+      "loss": 0.2864,
+      "step": 820
+    },
+    {
+      "epoch": 0.332,
+      "grad_norm": 0.49649468064308167,
+      "learning_rate": 1.7789333333333333e-05,
+      "loss": 0.2919,
+      "step": 830
+    },
+    {
+      "epoch": 0.336,
+      "grad_norm": 0.6420473456382751,
+      "learning_rate": 1.776266666666667e-05,
+      "loss": 0.2717,
+      "step": 840
+    },
+    {
+      "epoch": 0.34,
+      "grad_norm": 0.4898557960987091,
+      "learning_rate": 1.7736e-05,
+      "loss": 0.2683,
+      "step": 850
+    },
+    {
+      "epoch": 0.344,
+      "grad_norm": 0.5515689849853516,
+      "learning_rate": 1.7709333333333333e-05,
+      "loss": 0.2805,
+      "step": 860
+    },
+    {
+      "epoch": 0.348,
+      "grad_norm": 0.6740190982818604,
+      "learning_rate": 1.768266666666667e-05,
+      "loss": 0.291,
+      "step": 870
+    },
+    {
+      "epoch": 0.352,
+      "grad_norm": 0.6003084778785706,
+      "learning_rate": 1.7656000000000002e-05,
+      "loss": 0.3087,
+      "step": 880
+    },
+    {
+      "epoch": 0.356,
+      "grad_norm": 0.4445655047893524,
+      "learning_rate": 1.7629333333333334e-05,
+      "loss": 0.2989,
+      "step": 890
+    },
+    {
+      "epoch": 0.36,
+      "grad_norm": 0.5432217717170715,
+      "learning_rate": 1.7602666666666667e-05,
+      "loss": 0.3014,
+      "step": 900
+    },
+    {
+      "epoch": 0.364,
+      "grad_norm": 0.5030611157417297,
+      "learning_rate": 1.7576000000000002e-05,
+      "loss": 0.2718,
+      "step": 910
+    },
+    {
+      "epoch": 0.368,
+      "grad_norm": 0.5643089413642883,
+      "learning_rate": 1.7549333333333335e-05,
+      "loss": 0.264,
+      "step": 920
+    },
+    {
+      "epoch": 0.372,
+      "grad_norm": 0.489113450050354,
+      "learning_rate": 1.7522666666666667e-05,
+      "loss": 0.2626,
+      "step": 930
+    },
+    {
+      "epoch": 0.376,
+      "grad_norm": 0.5584943294525146,
+      "learning_rate": 1.7496000000000003e-05,
+      "loss": 0.2759,
+      "step": 940
+    },
+    {
+      "epoch": 0.38,
+      "grad_norm": 0.623701810836792,
+      "learning_rate": 1.7469333333333332e-05,
+      "loss": 0.289,
+      "step": 950
+    },
+    {
+      "epoch": 0.384,
+      "grad_norm": 0.523327112197876,
+      "learning_rate": 1.7442666666666668e-05,
+      "loss": 0.2649,
+      "step": 960
+    },
+    {
+      "epoch": 0.388,
+      "grad_norm": 0.5976533889770508,
+      "learning_rate": 1.7416e-05,
+      "loss": 0.2846,
+      "step": 970
+    },
+    {
+      "epoch": 0.392,
+      "grad_norm": 0.47169724106788635,
+      "learning_rate": 1.7389333333333336e-05,
+      "loss": 0.2344,
+      "step": 980
+    },
+    {
+      "epoch": 0.396,
+      "grad_norm": 0.7074177265167236,
+      "learning_rate": 1.736266666666667e-05,
+      "loss": 0.3157,
+      "step": 990
+    },
+    {
+      "epoch": 0.4,
+      "grad_norm": 0.5581418871879578,
+      "learning_rate": 1.7336e-05,
+      "loss": 0.279,
+      "step": 1000
+    },
+    {
+      "epoch": 0.404,
+      "grad_norm": 0.3938142955303192,
+      "learning_rate": 1.7309333333333337e-05,
+      "loss": 0.2774,
+      "step": 1010
+    },
+    {
+      "epoch": 0.408,
+      "grad_norm": 0.5060317516326904,
+      "learning_rate": 1.7282666666666666e-05,
+      "loss": 0.2568,
+      "step": 1020
+    },
+    {
+      "epoch": 0.412,
+      "grad_norm": 0.6323426961898804,
+      "learning_rate": 1.7256000000000002e-05,
+      "loss": 0.246,
+      "step": 1030
+    },
+    {
+      "epoch": 0.416,
+      "grad_norm": 0.5746142268180847,
+      "learning_rate": 1.7229333333333335e-05,
+      "loss": 0.2852,
+      "step": 1040
+    },
+    {
+      "epoch": 0.42,
+      "grad_norm": 0.5410155653953552,
+      "learning_rate": 1.7202666666666667e-05,
+      "loss": 0.2988,
+      "step": 1050
+    },
+    {
+      "epoch": 0.424,
+      "grad_norm": 0.5489639639854431,
+      "learning_rate": 1.7176000000000003e-05,
+      "loss": 0.2753,
+      "step": 1060
+    },
+    {
+      "epoch": 0.428,
+      "grad_norm": 0.5158263444900513,
+      "learning_rate": 1.7149333333333335e-05,
+      "loss": 0.2823,
+      "step": 1070
+    },
+    {
+      "epoch": 0.432,
+      "grad_norm": 0.6039857864379883,
+      "learning_rate": 1.7122666666666668e-05,
+      "loss": 0.2677,
+      "step": 1080
+    },
+    {
+      "epoch": 0.436,
+      "grad_norm": 0.6908004283905029,
+      "learning_rate": 1.7096e-05,
+      "loss": 0.2995,
+      "step": 1090
+    },
+    {
+      "epoch": 0.44,
+      "grad_norm": 0.5616562366485596,
+      "learning_rate": 1.7069333333333336e-05,
+      "loss": 0.271,
+      "step": 1100
+    },
+    {
+      "epoch": 0.444,
+      "grad_norm": 0.3506322503089905,
+      "learning_rate": 1.704266666666667e-05,
+      "loss": 0.2922,
+      "step": 1110
+    },
+    {
+      "epoch": 0.448,
+      "grad_norm": 0.6114059686660767,
+      "learning_rate": 1.7016e-05,
+      "loss": 0.2914,
+      "step": 1120
+    },
+    {
+      "epoch": 0.452,
+      "grad_norm": 0.523310661315918,
+      "learning_rate": 1.6989333333333337e-05,
+      "loss": 0.278,
+      "step": 1130
+    },
+    {
+      "epoch": 0.456,
+      "grad_norm": 0.5851305723190308,
+      "learning_rate": 1.6962666666666666e-05,
+      "loss": 0.2626,
+      "step": 1140
+    },
+    {
+      "epoch": 0.46,
+      "grad_norm": 0.41113048791885376,
+      "learning_rate": 1.6936000000000002e-05,
+      "loss": 0.2512,
+      "step": 1150
+    },
+    {
+      "epoch": 0.464,
+      "grad_norm": 0.5494383573532104,
+      "learning_rate": 1.6909333333333334e-05,
+      "loss": 0.2602,
+      "step": 1160
+    },
+    {
+      "epoch": 0.468,
+      "grad_norm": 0.5504459738731384,
+      "learning_rate": 1.6882666666666667e-05,
+      "loss": 0.274,
+      "step": 1170
+    },
+    {
+      "epoch": 0.472,
+      "grad_norm": 0.7087628245353699,
+      "learning_rate": 1.6856000000000003e-05,
+      "loss": 0.3032,
+      "step": 1180
+    },
+    {
+      "epoch": 0.476,
+      "grad_norm": 0.7926768064498901,
+      "learning_rate": 1.6829333333333335e-05,
+      "loss": 0.2831,
+      "step": 1190
+    },
+    {
+      "epoch": 0.48,
+      "grad_norm": 0.5241713523864746,
+      "learning_rate": 1.6802666666666668e-05,
+      "loss": 0.2963,
+      "step": 1200
+    },
+    {
+      "epoch": 0.484,
+      "grad_norm": 0.7130752801895142,
+      "learning_rate": 1.6776e-05,
+      "loss": 0.325,
+      "step": 1210
+    },
+    {
+      "epoch": 0.488,
+      "grad_norm": 0.4624483287334442,
+      "learning_rate": 1.6749333333333336e-05,
+      "loss": 0.2612,
+      "step": 1220
+    },
+    {
+      "epoch": 0.492,
+      "grad_norm": 0.4353604018688202,
+      "learning_rate": 1.6722666666666668e-05,
+      "loss": 0.2982,
+      "step": 1230
+    },
+    {
+      "epoch": 0.496,
+      "grad_norm": 0.4569162130355835,
+      "learning_rate": 1.6696e-05,
+      "loss": 0.2922,
+      "step": 1240
+    },
+    {
+      "epoch": 0.5,
+      "grad_norm": 0.3759833872318268,
+      "learning_rate": 1.6669333333333337e-05,
+      "loss": 0.2944,
+      "step": 1250
+    },
+    {
+      "epoch": 0.504,
+      "grad_norm": 0.5347470641136169,
+      "learning_rate": 1.6642666666666666e-05,
+      "loss": 0.2628,
+      "step": 1260
+    },
+    {
+      "epoch": 0.508,
+      "grad_norm": 0.8877920508384705,
+      "learning_rate": 1.6616e-05,
+      "loss": 0.2819,
+      "step": 1270
+    },
+    {
+      "epoch": 0.512,
+      "grad_norm": 0.5930324196815491,
+      "learning_rate": 1.6589333333333334e-05,
+      "loss": 0.2625,
+      "step": 1280
+    },
+    {
+      "epoch": 0.516,
+      "grad_norm": 0.6475802659988403,
+      "learning_rate": 1.656266666666667e-05,
+      "loss": 0.2569,
+      "step": 1290
+    },
+    {
+      "epoch": 0.52,
+      "grad_norm": 0.4573434889316559,
+      "learning_rate": 1.6536000000000002e-05,
+      "loss": 0.2595,
+      "step": 1300
+    },
+    {
+      "epoch": 0.524,
+      "grad_norm": 0.5713324546813965,
+      "learning_rate": 1.6509333333333335e-05,
+      "loss": 0.3008,
+      "step": 1310
+    },
+    {
+      "epoch": 0.528,
+      "grad_norm": 0.44202759861946106,
+      "learning_rate": 1.648266666666667e-05,
+      "loss": 0.2803,
+      "step": 1320
+    },
+    {
+      "epoch": 0.532,
+      "grad_norm": 0.667516827583313,
+      "learning_rate": 1.6456e-05,
+      "loss": 0.2459,
+      "step": 1330
+    },
+    {
+      "epoch": 0.536,
+      "grad_norm": 0.5680468082427979,
+      "learning_rate": 1.6429333333333336e-05,
+      "loss": 0.2647,
+      "step": 1340
+    },
+    {
+      "epoch": 0.54,
+      "grad_norm": 0.7717429399490356,
+      "learning_rate": 1.6402666666666668e-05,
+      "loss": 0.3178,
+      "step": 1350
+    },
+    {
+      "epoch": 0.544,
+      "grad_norm": 0.5189536213874817,
+      "learning_rate": 1.6376e-05,
+      "loss": 0.2351,
+      "step": 1360
+    },
+    {
+      "epoch": 0.548,
+      "grad_norm": 0.5681992769241333,
+      "learning_rate": 1.6349333333333336e-05,
+      "loss": 0.2848,
+      "step": 1370
+    },
+    {
+      "epoch": 0.552,
+      "grad_norm": 1.381010890007019,
+      "learning_rate": 1.632266666666667e-05,
+      "loss": 0.2658,
+      "step": 1380
+    },
+    {
+      "epoch": 0.556,
+      "grad_norm": 0.6194233298301697,
+      "learning_rate": 1.6296e-05,
+      "loss": 0.2564,
+      "step": 1390
+    },
+    {
+      "epoch": 0.56,
+      "grad_norm": 0.5062676668167114,
+      "learning_rate": 1.6269333333333334e-05,
+      "loss": 0.2422,
+      "step": 1400
+    },
+    {
+      "epoch": 0.564,
+      "grad_norm": 0.44975098967552185,
+      "learning_rate": 1.624266666666667e-05,
+      "loss": 0.2941,
+      "step": 1410
+    },
+    {
+      "epoch": 0.568,
+      "grad_norm": 0.5614117383956909,
+      "learning_rate": 1.6216000000000002e-05,
+      "loss": 0.2642,
+      "step": 1420
+    },
+    {
+      "epoch": 0.572,
+      "grad_norm": 0.5972306728363037,
+      "learning_rate": 1.6189333333333334e-05,
+      "loss": 0.2739,
+      "step": 1430
+    },
+    {
+      "epoch": 0.576,
+      "grad_norm": 0.5405119061470032,
+      "learning_rate": 1.616266666666667e-05,
+      "loss": 0.2685,
+      "step": 1440
+    },
+    {
+      "epoch": 0.58,
+      "grad_norm": 0.5660503506660461,
+      "learning_rate": 1.6136e-05,
+      "loss": 0.2442,
+      "step": 1450
+    },
+    {
+      "epoch": 0.584,
+      "grad_norm": 0.6975134015083313,
+      "learning_rate": 1.6109333333333335e-05,
+      "loss": 0.2522,
+      "step": 1460
+    },
+    {
+      "epoch": 0.588,
+      "grad_norm": 0.42499786615371704,
+      "learning_rate": 1.6082666666666668e-05,
+      "loss": 0.2831,
+      "step": 1470
+    },
+    {
+      "epoch": 0.592,
+      "grad_norm": 0.5292617082595825,
+      "learning_rate": 1.6056e-05,
+      "loss": 0.2512,
+      "step": 1480
+    },
+    {
+      "epoch": 0.596,
+      "grad_norm": 0.420676589012146,
+      "learning_rate": 1.6029333333333336e-05,
+      "loss": 0.2935,
+      "step": 1490
+    },
+    {
+      "epoch": 0.6,
+      "grad_norm": 0.6596647500991821,
+      "learning_rate": 1.600266666666667e-05,
+      "loss": 0.234,
+      "step": 1500
+    },
+    {
+      "epoch": 0.604,
+      "grad_norm": 0.618060827255249,
+      "learning_rate": 1.5976e-05,
+      "loss": 0.2425,
+      "step": 1510
+    },
+    {
+      "epoch": 0.608,
+      "grad_norm": 0.5462709069252014,
+      "learning_rate": 1.5949333333333333e-05,
+      "loss": 0.2557,
+      "step": 1520
+    },
+    {
+      "epoch": 0.612,
+      "grad_norm": 0.5389092564582825,
+      "learning_rate": 1.592266666666667e-05,
+      "loss": 0.2618,
+      "step": 1530
+    },
+    {
+      "epoch": 0.616,
+      "grad_norm": 0.5169006586074829,
+      "learning_rate": 1.5896e-05,
+      "loss": 0.2742,
+      "step": 1540
+    },
+    {
+      "epoch": 0.62,
+      "grad_norm": 0.42635688185691833,
+      "learning_rate": 1.5869333333333334e-05,
+      "loss": 0.2562,
+      "step": 1550
+    },
+    {
+      "epoch": 0.624,
+      "grad_norm": 0.6297948956489563,
+      "learning_rate": 1.584266666666667e-05,
+      "loss": 0.2703,
+      "step": 1560
+    },
+    {
+      "epoch": 0.628,
+      "grad_norm": 0.5986749529838562,
+      "learning_rate": 1.5816e-05,
+      "loss": 0.2147,
+      "step": 1570
+    },
+    {
+      "epoch": 0.632,
+      "grad_norm": 0.5798759460449219,
+      "learning_rate": 1.5789333333333335e-05,
+      "loss": 0.2995,
+      "step": 1580
+    },
+    {
+      "epoch": 0.636,
+      "grad_norm": 0.8032208681106567,
+      "learning_rate": 1.5762666666666667e-05,
+      "loss": 0.2875,
+      "step": 1590
+    },
+    {
+      "epoch": 0.64,
+      "grad_norm": 0.47312766313552856,
+      "learning_rate": 1.5736000000000003e-05,
+      "loss": 0.2565,
+      "step": 1600
+    },
+    {
+      "epoch": 0.644,
+      "grad_norm": 0.546535849571228,
+      "learning_rate": 1.5709333333333336e-05,
+      "loss": 0.2729,
+      "step": 1610
+    },
+    {
+      "epoch": 0.648,
+      "grad_norm": 0.5217946171760559,
+      "learning_rate": 1.5682666666666668e-05,
+      "loss": 0.2741,
+      "step": 1620
+    },
+    {
+      "epoch": 0.652,
+      "grad_norm": 0.7835327982902527,
+      "learning_rate": 1.5656000000000004e-05,
+      "loss": 0.2646,
+      "step": 1630
+    },
+    {
+      "epoch": 0.656,
+      "grad_norm": 0.5184281468391418,
+      "learning_rate": 1.5629333333333333e-05,
+      "loss": 0.2494,
+      "step": 1640
+    },
+    {
+      "epoch": 0.66,
+      "grad_norm": 0.6676139831542969,
+      "learning_rate": 1.560266666666667e-05,
+      "loss": 0.2951,
+      "step": 1650
+    },
+    {
+      "epoch": 0.664,
+      "grad_norm": 0.5541509985923767,
+      "learning_rate": 1.5576e-05,
+      "loss": 0.2637,
+      "step": 1660
+    },
+    {
+      "epoch": 0.668,
+      "grad_norm": 0.6553218960762024,
+      "learning_rate": 1.5549333333333334e-05,
+      "loss": 0.2399,
+      "step": 1670
+    },
+    {
+      "epoch": 0.672,
+      "grad_norm": 0.531726062297821,
+      "learning_rate": 1.552266666666667e-05,
+      "loss": 0.2785,
+      "step": 1680
+    },
+    {
+      "epoch": 0.676,
+      "grad_norm": 0.4863644242286682,
+      "learning_rate": 1.5496000000000002e-05,
+      "loss": 0.2613,
+      "step": 1690
+    },
+    {
+      "epoch": 0.68,
+      "grad_norm": 0.5352335572242737,
+      "learning_rate": 1.5469333333333335e-05,
+      "loss": 0.269,
+      "step": 1700
+    },
+    {
+      "epoch": 0.684,
+      "grad_norm": 0.4803614914417267,
+      "learning_rate": 1.5442666666666667e-05,
+      "loss": 0.2465,
+      "step": 1710
+    },
+    {
+      "epoch": 0.688,
+      "grad_norm": 0.4625021815299988,
+      "learning_rate": 1.5416000000000003e-05,
+      "loss": 0.2759,
+      "step": 1720
+    },
+    {
+      "epoch": 0.692,
+      "grad_norm": 0.6792253255844116,
+      "learning_rate": 1.5389333333333335e-05,
+      "loss": 0.2512,
+      "step": 1730
+    },
+    {
+      "epoch": 0.696,
+      "grad_norm": 0.4432201385498047,
+      "learning_rate": 1.5362666666666668e-05,
+      "loss": 0.2532,
+      "step": 1740
+    },
+    {
+      "epoch": 0.7,
+      "grad_norm": 0.47341418266296387,
+      "learning_rate": 1.5336000000000004e-05,
+      "loss": 0.2748,
+      "step": 1750
+    },
+    {
+      "epoch": 0.704,
+      "grad_norm": 0.41642722487449646,
+      "learning_rate": 1.5309333333333333e-05,
+      "loss": 0.2371,
+      "step": 1760
+    },
+    {
+      "epoch": 0.708,
+      "grad_norm": 0.6202064752578735,
+      "learning_rate": 1.528266666666667e-05,
+      "loss": 0.2754,
+      "step": 1770
+    },
+    {
+      "epoch": 0.712,
+      "grad_norm": 0.7768007516860962,
+      "learning_rate": 1.5256000000000003e-05,
+      "loss": 0.2882,
+      "step": 1780
+    },
+    {
+      "epoch": 0.716,
+      "grad_norm": 0.5949944853782654,
+      "learning_rate": 1.5229333333333333e-05,
+      "loss": 0.2653,
+      "step": 1790
+    },
+    {
+      "epoch": 0.72,
+      "grad_norm": 0.5162950158119202,
+      "learning_rate": 1.5202666666666668e-05,
+      "loss": 0.2735,
+      "step": 1800
+    },
+    {
+      "epoch": 0.724,
+      "grad_norm": 0.5857785940170288,
+      "learning_rate": 1.5176000000000002e-05,
+      "loss": 0.2709,
+      "step": 1810
+    },
+    {
+      "epoch": 0.728,
+      "grad_norm": 0.599884033203125,
+      "learning_rate": 1.5149333333333334e-05,
+      "loss": 0.232,
+      "step": 1820
+    },
+    {
+      "epoch": 0.732,
+      "grad_norm": 0.4153684973716736,
+      "learning_rate": 1.5122666666666668e-05,
+      "loss": 0.2293,
+      "step": 1830
+    },
+    {
+      "epoch": 0.736,
+      "grad_norm": 0.5028241872787476,
+      "learning_rate": 1.5096000000000003e-05,
+      "loss": 0.2729,
+      "step": 1840
+    },
+    {
+      "epoch": 0.74,
+      "grad_norm": 0.46475455164909363,
+      "learning_rate": 1.5069333333333333e-05,
+      "loss": 0.2395,
+      "step": 1850
+    },
+    {
+      "epoch": 0.744,
+      "grad_norm": 0.5993717908859253,
+      "learning_rate": 1.5042666666666667e-05,
+      "loss": 0.2466,
+      "step": 1860
+    },
+    {
+      "epoch": 0.748,
+      "grad_norm": 0.587100088596344,
+      "learning_rate": 1.5016000000000002e-05,
+      "loss": 0.2706,
+      "step": 1870
+    },
+    {
+      "epoch": 0.752,
+      "grad_norm": 0.47256389260292053,
+      "learning_rate": 1.4989333333333334e-05,
+      "loss": 0.281,
+      "step": 1880
+    },
+    {
+      "epoch": 0.756,
+      "grad_norm": 0.552420973777771,
+      "learning_rate": 1.4962666666666668e-05,
+      "loss": 0.2627,
+      "step": 1890
+    },
+    {
+      "epoch": 0.76,
+      "grad_norm": 0.3735855221748352,
+      "learning_rate": 1.4936000000000002e-05,
+      "loss": 0.269,
+      "step": 1900
+    },
+    {
+      "epoch": 0.764,
+      "grad_norm": 0.5500410199165344,
+      "learning_rate": 1.4909333333333337e-05,
+      "loss": 0.2499,
+      "step": 1910
+    },
+    {
+      "epoch": 0.768,
+      "grad_norm": 0.7947753667831421,
+      "learning_rate": 1.4882666666666667e-05,
+      "loss": 0.273,
+      "step": 1920
+    },
+    {
+      "epoch": 0.772,
+      "grad_norm": 0.5935826301574707,
+      "learning_rate": 1.4856000000000001e-05,
+      "loss": 0.2357,
+      "step": 1930
+    },
+    {
+      "epoch": 0.776,
+      "grad_norm": 0.6703799962997437,
+      "learning_rate": 1.4829333333333336e-05,
+      "loss": 0.2735,
+      "step": 1940
+    },
+    {
+      "epoch": 0.78,
+      "grad_norm": 0.5224609971046448,
+      "learning_rate": 1.4802666666666668e-05,
+      "loss": 0.2603,
+      "step": 1950
+    },
+    {
+      "epoch": 0.784,
+      "grad_norm": 0.5011535882949829,
+      "learning_rate": 1.4776000000000002e-05,
+      "loss": 0.2821,
+      "step": 1960
+    },
+    {
+      "epoch": 0.788,
+      "grad_norm": 0.6582901477813721,
+      "learning_rate": 1.4749333333333336e-05,
+      "loss": 0.2819,
+      "step": 1970
+    },
+    {
+      "epoch": 0.792,
+      "grad_norm": 0.5402234792709351,
+      "learning_rate": 1.4722666666666667e-05,
+      "loss": 0.2693,
+      "step": 1980
+    },
+    {
+      "epoch": 0.796,
+      "grad_norm": 0.4789445400238037,
+      "learning_rate": 1.4696000000000001e-05,
+      "loss": 0.2967,
+      "step": 1990
+    },
+    {
+      "epoch": 0.8,
+      "grad_norm": 0.5468807220458984,
+      "learning_rate": 1.4669333333333335e-05,
+      "loss": 0.2687,
+      "step": 2000
+    },
+    {
+      "epoch": 0.804,
+      "grad_norm": 0.5717412233352661,
+      "learning_rate": 1.4642666666666668e-05,
+      "loss": 0.2988,
+      "step": 2010
+    },
+    {
+      "epoch": 0.808,
+      "grad_norm": 0.44991669058799744,
+      "learning_rate": 1.4616000000000002e-05,
+      "loss": 0.265,
+      "step": 2020
+    },
+    {
+      "epoch": 0.812,
+      "grad_norm": 0.5266374349594116,
+      "learning_rate": 1.4589333333333336e-05,
+      "loss": 0.267,
+      "step": 2030
+    },
+    {
+      "epoch": 0.816,
+      "grad_norm": 0.5778567790985107,
+      "learning_rate": 1.4562666666666667e-05,
+      "loss": 0.2545,
+      "step": 2040
+    },
+    {
+      "epoch": 0.82,
+      "grad_norm": 0.5154116153717041,
+      "learning_rate": 1.4536000000000001e-05,
+      "loss": 0.2829,
+      "step": 2050
+    },
+    {
+      "epoch": 0.824,
+      "grad_norm": 0.5062645077705383,
+      "learning_rate": 1.4509333333333335e-05,
+      "loss": 0.2577,
+      "step": 2060
+    },
+    {
+      "epoch": 0.828,
+      "grad_norm": 0.46385982632637024,
+      "learning_rate": 1.4482666666666668e-05,
+      "loss": 0.2747,
+      "step": 2070
+    },
+    {
+      "epoch": 0.832,
+      "grad_norm": 0.521915853023529,
+      "learning_rate": 1.4456000000000002e-05,
+      "loss": 0.3023,
+      "step": 2080
+    },
+    {
+      "epoch": 0.836,
+      "grad_norm": 0.5672949552536011,
+      "learning_rate": 1.4429333333333336e-05,
+      "loss": 0.2295,
+      "step": 2090
+    },
+    {
+      "epoch": 0.84,
+      "grad_norm": 0.5135796666145325,
+      "learning_rate": 1.4402666666666667e-05,
+      "loss": 0.2421,
+      "step": 2100
+    },
+    {
+      "epoch": 0.844,
+      "grad_norm": 0.6728639602661133,
+      "learning_rate": 1.4376000000000001e-05,
+      "loss": 0.2732,
+      "step": 2110
+    },
+    {
+      "epoch": 0.848,
+      "grad_norm": 0.612729012966156,
+      "learning_rate": 1.4349333333333335e-05,
+      "loss": 0.2656,
+      "step": 2120
+    },
+    {
+      "epoch": 0.852,
+      "grad_norm": 0.6089796423912048,
+      "learning_rate": 1.4322666666666668e-05,
+      "loss": 0.2624,
+      "step": 2130
+    },
+    {
+      "epoch": 0.856,
+      "grad_norm": 0.46623918414115906,
+      "learning_rate": 1.4296000000000002e-05,
+      "loss": 0.2488,
+      "step": 2140
+    },
+    {
+      "epoch": 0.86,
+      "grad_norm": 0.5238510370254517,
+      "learning_rate": 1.4269333333333336e-05,
+      "loss": 0.2646,
+      "step": 2150
+    },
+    {
+      "epoch": 0.864,
+      "grad_norm": 0.5426185727119446,
+      "learning_rate": 1.4242666666666667e-05,
+      "loss": 0.2715,
+      "step": 2160
+    },
+    {
+      "epoch": 0.868,
+      "grad_norm": 0.5073487162590027,
+      "learning_rate": 1.4216e-05,
+      "loss": 0.2996,
+      "step": 2170
+    },
+    {
+      "epoch": 0.872,
+      "grad_norm": 0.4633030295372009,
+      "learning_rate": 1.4189333333333335e-05,
+      "loss": 0.2775,
+      "step": 2180
+    },
+    {
+      "epoch": 0.876,
+      "grad_norm": 0.5035530924797058,
+      "learning_rate": 1.4162666666666667e-05,
+      "loss": 0.2726,
+      "step": 2190
+    },
+    {
+      "epoch": 0.88,
+      "grad_norm": 0.5053151845932007,
+      "learning_rate": 1.4136000000000002e-05,
+      "loss": 0.2445,
+      "step": 2200
+    },
+    {
+      "epoch": 0.884,
+      "grad_norm": 0.5091527104377747,
+      "learning_rate": 1.4109333333333336e-05,
+      "loss": 0.2995,
+      "step": 2210
+    },
+    {
+      "epoch": 0.888,
+      "grad_norm": 0.4989984929561615,
+      "learning_rate": 1.4082666666666668e-05,
+      "loss": 0.2638,
+      "step": 2220
+    },
+    {
+      "epoch": 0.892,
+      "grad_norm": 0.6716981530189514,
+      "learning_rate": 1.4056e-05,
+      "loss": 0.2681,
+      "step": 2230
+    },
+    {
+      "epoch": 0.896,
+      "grad_norm": 0.5532763004302979,
+      "learning_rate": 1.4029333333333335e-05,
+      "loss": 0.2427,
+      "step": 2240
+    },
+    {
+      "epoch": 0.9,
+      "grad_norm": 0.5461203455924988,
+      "learning_rate": 1.4002666666666669e-05,
+      "loss": 0.2705,
+      "step": 2250
+    },
+    {
+      "epoch": 0.904,
+      "grad_norm": 0.5246407985687256,
+      "learning_rate": 1.3976000000000001e-05,
+      "loss": 0.2695,
+      "step": 2260
+    },
+    {
+      "epoch": 0.908,
+      "grad_norm": 0.5500401854515076,
+      "learning_rate": 1.3949333333333336e-05,
+      "loss": 0.2646,
+      "step": 2270
+    },
+    {
+      "epoch": 0.912,
+      "grad_norm": 0.4590257704257965,
+      "learning_rate": 1.3922666666666668e-05,
+      "loss": 0.2639,
+      "step": 2280
+    },
+    {
+      "epoch": 0.916,
+      "grad_norm": 0.5423840880393982,
+      "learning_rate": 1.3896e-05,
+      "loss": 0.2708,
+      "step": 2290
+    },
+    {
+      "epoch": 0.92,
+      "grad_norm": 0.6925740838050842,
+      "learning_rate": 1.3869333333333335e-05,
+      "loss": 0.2635,
+      "step": 2300
+    },
+    {
+      "epoch": 0.924,
+      "grad_norm": 0.6464081406593323,
+      "learning_rate": 1.3842666666666669e-05,
+      "loss": 0.296,
+      "step": 2310
+    },
+    {
+      "epoch": 0.928,
+      "grad_norm": 0.562350332736969,
+      "learning_rate": 1.3816000000000001e-05,
+      "loss": 0.2832,
+      "step": 2320
+    },
+    {
+      "epoch": 0.932,
+      "grad_norm": 0.4514358639717102,
+      "learning_rate": 1.3789333333333335e-05,
+      "loss": 0.2968,
+      "step": 2330
+    },
+    {
+      "epoch": 0.936,
+      "grad_norm": 0.4843865633010864,
+      "learning_rate": 1.3762666666666668e-05,
+      "loss": 0.2442,
+      "step": 2340
+    },
+    {
+      "epoch": 0.94,
+      "grad_norm": 0.4798470735549927,
+      "learning_rate": 1.3736e-05,
+      "loss": 0.2688,
+      "step": 2350
+    },
+    {
+      "epoch": 0.944,
+      "grad_norm": 0.6145500540733337,
+      "learning_rate": 1.3709333333333334e-05,
+      "loss": 0.2813,
+      "step": 2360
+    },
+    {
+      "epoch": 0.948,
+      "grad_norm": 0.49830809235572815,
+      "learning_rate": 1.3682666666666669e-05,
+      "loss": 0.2441,
+      "step": 2370
+    },
+    {
+      "epoch": 0.952,
+      "grad_norm": 0.4692573845386505,
+      "learning_rate": 1.3656000000000001e-05,
+      "loss": 0.2456,
+      "step": 2380
+    },
+    {
+      "epoch": 0.956,
+      "grad_norm": 0.45862796902656555,
+      "learning_rate": 1.3629333333333335e-05,
+      "loss": 0.2123,
+      "step": 2390
+    },
+    {
+      "epoch": 0.96,
+      "grad_norm": 0.5366600155830383,
+      "learning_rate": 1.3602666666666668e-05,
+      "loss": 0.2554,
+      "step": 2400
+    },
+    {
+      "epoch": 0.964,
+      "grad_norm": 0.4478113055229187,
+      "learning_rate": 1.3576e-05,
+      "loss": 0.2674,
+      "step": 2410
+    },
+    {
+      "epoch": 0.968,
+      "grad_norm": 0.5738199353218079,
+      "learning_rate": 1.3549333333333334e-05,
+      "loss": 0.2765,
+      "step": 2420
+    },
+    {
+      "epoch": 0.972,
+      "grad_norm": 0.48701366782188416,
+      "learning_rate": 1.3522666666666668e-05,
+      "loss": 0.2641,
+      "step": 2430
+    },
+    {
+      "epoch": 0.976,
+      "grad_norm": 0.5024267435073853,
+      "learning_rate": 1.3496000000000001e-05,
+      "loss": 0.2785,
+      "step": 2440
+    },
+    {
+      "epoch": 0.98,
+      "grad_norm": 0.6500915884971619,
+      "learning_rate": 1.3469333333333335e-05,
+      "loss": 0.279,
+      "step": 2450
+    },
+    {
+      "epoch": 0.984,
+      "grad_norm": 0.5706177949905396,
+      "learning_rate": 1.3442666666666668e-05,
+      "loss": 0.2396,
+      "step": 2460
+    },
+    {
+      "epoch": 0.988,
+      "grad_norm": 0.4520220160484314,
+      "learning_rate": 1.3416e-05,
+      "loss": 0.2788,
+      "step": 2470
+    },
+    {
+      "epoch": 0.992,
+      "grad_norm": 0.4557345509529114,
+      "learning_rate": 1.3389333333333334e-05,
+      "loss": 0.2653,
+      "step": 2480
+    },
+    {
+      "epoch": 0.996,
+      "grad_norm": 0.4460965692996979,
+      "learning_rate": 1.3362666666666668e-05,
+      "loss": 0.2495,
+      "step": 2490
+    },
+    {
+      "epoch": 1.0,
+      "grad_norm": 0.6260488033294678,
+      "learning_rate": 1.3336e-05,
+      "loss": 0.2974,
+      "step": 2500
+    },
+    {
+      "epoch": 1.0,
+      "eval_loss": 0.23673544824123383,
+      "eval_runtime": 65.6396,
+      "eval_samples_per_second": 38.087,
+      "eval_steps_per_second": 4.768,
+      "step": 2500
+    },
+    {
+      "epoch": 1.004,
+      "grad_norm": 0.5440991520881653,
+      "learning_rate": 1.3309333333333335e-05,
+      "loss": 0.2546,
+      "step": 2510
+    },
+    {
+      "epoch": 1.008,
+      "grad_norm": 0.4972204566001892,
+      "learning_rate": 1.3282666666666667e-05,
+      "loss": 0.2739,
+      "step": 2520
+    },
+    {
+      "epoch": 1.012,
+      "grad_norm": 0.4154798686504364,
+      "learning_rate": 1.3256e-05,
+      "loss": 0.2714,
+      "step": 2530
+    },
+    {
+      "epoch": 1.016,
+      "grad_norm": 0.47667840123176575,
+      "learning_rate": 1.3229333333333334e-05,
+      "loss": 0.2494,
+      "step": 2540
+    },
+    {
+      "epoch": 1.02,
+      "grad_norm": 0.6118319034576416,
+      "learning_rate": 1.3202666666666668e-05,
+      "loss": 0.2648,
+      "step": 2550
+    },
+    {
+      "epoch": 1.024,
+      "grad_norm": 0.5006189942359924,
+      "learning_rate": 1.3176000000000002e-05,
+      "loss": 0.2462,
+      "step": 2560
+    },
+    {
+      "epoch": 1.028,
+      "grad_norm": 0.552798330783844,
+      "learning_rate": 1.3149333333333335e-05,
+      "loss": 0.2349,
+      "step": 2570
+    },
+    {
+      "epoch": 1.032,
+      "grad_norm": 0.5331425070762634,
+      "learning_rate": 1.3122666666666667e-05,
+      "loss": 0.2438,
+      "step": 2580
+    },
+    {
+      "epoch": 1.036,
+      "grad_norm": 0.47227418422698975,
+      "learning_rate": 1.3096000000000001e-05,
+      "loss": 0.2591,
+      "step": 2590
+    },
+    {
+      "epoch": 1.04,
+      "grad_norm": 0.626652717590332,
+      "learning_rate": 1.3069333333333334e-05,
+      "loss": 0.2355,
+      "step": 2600
+    },
+    {
+      "epoch": 1.044,
+      "grad_norm": 0.39577364921569824,
+      "learning_rate": 1.3042666666666668e-05,
+      "loss": 0.2554,
+      "step": 2610
+    },
+    {
+      "epoch": 1.048,
+      "grad_norm": 0.4653715491294861,
+      "learning_rate": 1.3016000000000002e-05,
+      "loss": 0.233,
+      "step": 2620
+    },
+    {
+      "epoch": 1.052,
+      "grad_norm": 0.4667207896709442,
+      "learning_rate": 1.2989333333333335e-05,
+      "loss": 0.2395,
+      "step": 2630
+    },
+    {
+      "epoch": 1.056,
+      "grad_norm": 0.4924478232860565,
+      "learning_rate": 1.2962666666666667e-05,
+      "loss": 0.258,
+      "step": 2640
+    },
+    {
+      "epoch": 1.06,
+      "grad_norm": 0.5513306260108948,
+      "learning_rate": 1.2936000000000001e-05,
+      "loss": 0.2404,
+      "step": 2650
+    },
+    {
+      "epoch": 1.064,
+      "grad_norm": 0.46071794629096985,
+      "learning_rate": 1.2909333333333334e-05,
+      "loss": 0.2613,
+      "step": 2660
+    },
+    {
+      "epoch": 1.068,
+      "grad_norm": 0.4515053629875183,
+      "learning_rate": 1.2882666666666668e-05,
+      "loss": 0.2554,
+      "step": 2670
+    },
+    {
+      "epoch": 1.072,
+      "grad_norm": 0.5845895409584045,
+      "learning_rate": 1.2856000000000002e-05,
+      "loss": 0.2234,
+      "step": 2680
+    },
+    {
+      "epoch": 1.076,
+      "grad_norm": 0.6109786033630371,
+      "learning_rate": 1.2829333333333334e-05,
+      "loss": 0.2574,
+      "step": 2690
+    },
+    {
+      "epoch": 1.08,
+      "grad_norm": 0.416643887758255,
+      "learning_rate": 1.2802666666666667e-05,
+      "loss": 0.2434,
+      "step": 2700
+    },
+    {
+      "epoch": 1.084,
+      "grad_norm": 0.8896753787994385,
+      "learning_rate": 1.2776000000000001e-05,
+      "loss": 0.2273,
+      "step": 2710
+    },
+    {
+      "epoch": 1.088,
+      "grad_norm": 0.6689579486846924,
+      "learning_rate": 1.2749333333333333e-05,
+      "loss": 0.2431,
+      "step": 2720
+    },
+    {
+      "epoch": 1.092,
+      "grad_norm": 0.5625743269920349,
+      "learning_rate": 1.2722666666666668e-05,
+      "loss": 0.2277,
+      "step": 2730
+    },
+    {
+      "epoch": 1.096,
+      "grad_norm": 0.523047924041748,
+      "learning_rate": 1.2696000000000002e-05,
+      "loss": 0.2504,
+      "step": 2740
+    },
+    {
+      "epoch": 1.1,
+      "grad_norm": 0.5277451276779175,
+      "learning_rate": 1.2669333333333334e-05,
+      "loss": 0.2518,
+      "step": 2750
+    },
+    {
+      "epoch": 1.104,
+      "grad_norm": 0.515948474407196,
+      "learning_rate": 1.2642666666666667e-05,
+      "loss": 0.2805,
+      "step": 2760
+    },
+    {
+      "epoch": 1.108,
+      "grad_norm": 0.5372030138969421,
+      "learning_rate": 1.2616e-05,
+      "loss": 0.252,
+      "step": 2770
+    },
+    {
+      "epoch": 1.112,
+      "grad_norm": 0.43156781792640686,
+      "learning_rate": 1.2589333333333333e-05,
+      "loss": 0.249,
+      "step": 2780
+    },
+    {
+      "epoch": 1.116,
+      "grad_norm": 0.5149580240249634,
+      "learning_rate": 1.2562666666666667e-05,
+      "loss": 0.2305,
+      "step": 2790
+    },
+    {
+      "epoch": 1.12,
+      "grad_norm": 0.5531086325645447,
+      "learning_rate": 1.2536000000000002e-05,
+      "loss": 0.2534,
+      "step": 2800
+    },
+    {
+      "epoch": 1.124,
+      "grad_norm": 0.4568405747413635,
+      "learning_rate": 1.2509333333333334e-05,
+      "loss": 0.2763,
+      "step": 2810
+    },
+    {
+      "epoch": 1.1280000000000001,
+      "grad_norm": 0.47550639510154724,
+      "learning_rate": 1.2482666666666668e-05,
+      "loss": 0.2443,
+      "step": 2820
+    },
+    {
+      "epoch": 1.1320000000000001,
+      "grad_norm": 0.5201884508132935,
+      "learning_rate": 1.2456e-05,
+      "loss": 0.2768,
+      "step": 2830
+    },
+    {
+      "epoch": 1.1360000000000001,
+      "grad_norm": 0.652765691280365,
+      "learning_rate": 1.2429333333333333e-05,
+      "loss": 0.2497,
+      "step": 2840
+    },
+    {
+      "epoch": 1.1400000000000001,
+      "grad_norm": 0.5712699294090271,
+      "learning_rate": 1.2402666666666667e-05,
+      "loss": 0.2902,
+      "step": 2850
+    },
+    {
+      "epoch": 1.144,
+      "grad_norm": 0.5406668186187744,
+      "learning_rate": 1.2376000000000001e-05,
+      "loss": 0.2738,
+      "step": 2860
+    },
+    {
+      "epoch": 1.148,
+      "grad_norm": 0.6524983644485474,
+      "learning_rate": 1.2349333333333336e-05,
+      "loss": 0.2611,
+      "step": 2870
+    },
+    {
+      "epoch": 1.152,
+      "grad_norm": 0.5555579662322998,
+      "learning_rate": 1.2322666666666668e-05,
+      "loss": 0.2515,
+      "step": 2880
+    },
+    {
+      "epoch": 1.156,
+      "grad_norm": 0.5171626210212708,
+      "learning_rate": 1.2296e-05,
+      "loss": 0.2307,
+      "step": 2890
+    },
+    {
+      "epoch": 1.16,
+      "grad_norm": 0.6006278991699219,
+      "learning_rate": 1.2269333333333335e-05,
+      "loss": 0.222,
+      "step": 2900
+    },
+    {
+      "epoch": 1.164,
+      "grad_norm": 0.4333373010158539,
+      "learning_rate": 1.2242666666666667e-05,
+      "loss": 0.2391,
+      "step": 2910
+    },
+    {
+      "epoch": 1.168,
+      "grad_norm": 0.4602346122264862,
+      "learning_rate": 1.2216000000000001e-05,
+      "loss": 0.2341,
+      "step": 2920
+    },
+    {
+      "epoch": 1.172,
+      "grad_norm": 0.510161817073822,
+      "learning_rate": 1.2189333333333335e-05,
+      "loss": 0.2465,
+      "step": 2930
+    },
+    {
+      "epoch": 1.176,
+      "grad_norm": 0.47351083159446716,
+      "learning_rate": 1.2162666666666668e-05,
+      "loss": 0.2684,
+      "step": 2940
+    },
+    {
+      "epoch": 1.18,
+      "grad_norm": 0.640324056148529,
+      "learning_rate": 1.2136e-05,
+      "loss": 0.2674,
+      "step": 2950
+    },
+    {
+      "epoch": 1.184,
+      "grad_norm": 0.557917594909668,
+      "learning_rate": 1.2109333333333335e-05,
+      "loss": 0.2307,
+      "step": 2960
+    },
+    {
+      "epoch": 1.188,
+      "grad_norm": 0.5333521366119385,
+      "learning_rate": 1.2082666666666667e-05,
+      "loss": 0.264,
+      "step": 2970
+    },
+    {
+      "epoch": 1.192,
+      "grad_norm": 0.5270512700080872,
+      "learning_rate": 1.2056000000000001e-05,
+      "loss": 0.2622,
+      "step": 2980
+    },
+    {
+      "epoch": 1.196,
+      "grad_norm": 0.6571713089942932,
+      "learning_rate": 1.2029333333333335e-05,
+      "loss": 0.2508,
+      "step": 2990
+    },
+    {
+      "epoch": 1.2,
+      "grad_norm": 0.4805188775062561,
+      "learning_rate": 1.2002666666666668e-05,
+      "loss": 0.2374,
+      "step": 3000
+    },
+    {
+      "epoch": 1.204,
+      "grad_norm": 0.390994131565094,
+      "learning_rate": 1.1976e-05,
+      "loss": 0.2474,
+      "step": 3010
+    },
+    {
+      "epoch": 1.208,
+      "grad_norm": 0.5322064757347107,
+      "learning_rate": 1.1949333333333334e-05,
+      "loss": 0.2494,
+      "step": 3020
+    },
+    {
+      "epoch": 1.212,
+      "grad_norm": 0.45446017384529114,
+      "learning_rate": 1.1922666666666667e-05,
+      "loss": 0.21,
+      "step": 3030
+    },
+    {
+      "epoch": 1.216,
+      "grad_norm": 0.47018682956695557,
+      "learning_rate": 1.1896000000000001e-05,
+      "loss": 0.234,
+      "step": 3040
+    },
+    {
+      "epoch": 1.22,
+      "grad_norm": 0.5002714395523071,
+      "learning_rate": 1.1869333333333335e-05,
+      "loss": 0.2558,
+      "step": 3050
+    },
+    {
+      "epoch": 1.224,
+      "grad_norm": 0.5081589221954346,
+      "learning_rate": 1.1842666666666668e-05,
+      "loss": 0.2573,
+      "step": 3060
+    },
+    {
+      "epoch": 1.228,
+      "grad_norm": 0.2851148843765259,
+      "learning_rate": 1.1816e-05,
+      "loss": 0.2689,
+      "step": 3070
+    },
+    {
+      "epoch": 1.232,
+      "grad_norm": 0.4786511957645416,
+      "learning_rate": 1.1789333333333334e-05,
+      "loss": 0.2395,
+      "step": 3080
+    },
+    {
+      "epoch": 1.236,
+      "grad_norm": 0.4615110754966736,
+      "learning_rate": 1.1762666666666667e-05,
+      "loss": 0.2268,
+      "step": 3090
+    },
+    {
+      "epoch": 1.24,
+      "grad_norm": 0.4482421278953552,
+      "learning_rate": 1.1736e-05,
+      "loss": 0.241,
+      "step": 3100
+    },
+    {
+      "epoch": 1.244,
+      "grad_norm": 0.6766530871391296,
+      "learning_rate": 1.1709333333333335e-05,
+      "loss": 0.2286,
+      "step": 3110
+    },
+    {
+      "epoch": 1.248,
+      "grad_norm": 0.44992247223854065,
+      "learning_rate": 1.1682666666666667e-05,
+      "loss": 0.2614,
+      "step": 3120
+    },
+    {
+      "epoch": 1.252,
+      "grad_norm": 0.5725236535072327,
+      "learning_rate": 1.1656e-05,
+      "loss": 0.2614,
+      "step": 3130
+    },
+    {
+      "epoch": 1.256,
+      "grad_norm": 0.4952967166900635,
+      "learning_rate": 1.1629333333333334e-05,
+      "loss": 0.2802,
+      "step": 3140
+    },
+    {
+      "epoch": 1.26,
+      "grad_norm": NaN,
+      "learning_rate": 1.1602666666666666e-05,
+      "loss": 0.2726,
+      "step": 3150
+    },
+    {
+      "epoch": 1.264,
+      "grad_norm": 2.127305030822754,
+      "learning_rate": 1.1576e-05,
+      "loss": 0.2705,
+      "step": 3160
+    },
+    {
+      "epoch": 1.268,
+      "grad_norm": 0.6616774201393127,
+      "learning_rate": 1.1549333333333335e-05,
+      "loss": 0.3065,
+      "step": 3170
+    },
+    {
+      "epoch": 1.272,
+      "grad_norm": 0.6205490827560425,
+      "learning_rate": 1.1522666666666669e-05,
+      "loss": 0.2473,
+      "step": 3180
+    },
+    {
+      "epoch": 1.276,
+      "grad_norm": 0.556382417678833,
+      "learning_rate": 1.1496e-05,
+      "loss": 0.2687,
+      "step": 3190
+    },
+    {
+      "epoch": 1.28,
+      "grad_norm": 0.5469709038734436,
+      "learning_rate": 1.1469333333333334e-05,
+      "loss": 0.2665,
+      "step": 3200
+    },
+    {
+      "epoch": 1.284,
+      "grad_norm": 0.6290965676307678,
+      "learning_rate": 1.1442666666666668e-05,
+      "loss": 0.2392,
+      "step": 3210
+    },
+    {
+      "epoch": 1.288,
+      "grad_norm": 0.5531810522079468,
+      "learning_rate": 1.1416e-05,
+      "loss": 0.2568,
+      "step": 3220
+    },
+    {
+      "epoch": 1.292,
+      "grad_norm": 0.5033235549926758,
+      "learning_rate": 1.1389333333333335e-05,
+      "loss": 0.2552,
+      "step": 3230
+    },
+    {
+      "epoch": 1.296,
+      "grad_norm": 0.6121941804885864,
+      "learning_rate": 1.1362666666666669e-05,
+      "loss": 0.2449,
+      "step": 3240
+    },
+    {
+      "epoch": 1.3,
+      "grad_norm": 0.5877725481987,
+      "learning_rate": 1.1336e-05,
+      "loss": 0.2452,
+      "step": 3250
+    },
+    {
+      "epoch": 1.304,
+      "grad_norm": 0.4163094162940979,
+      "learning_rate": 1.1309333333333334e-05,
+      "loss": 0.2535,
+      "step": 3260
+    },
+    {
+      "epoch": 1.308,
+      "grad_norm": 0.5468899607658386,
+      "learning_rate": 1.1282666666666668e-05,
+      "loss": 0.2587,
+      "step": 3270
+    },
+    {
+      "epoch": 1.312,
+      "grad_norm": 0.6804016828536987,
+      "learning_rate": 1.1256e-05,
+      "loss": 0.2714,
+      "step": 3280
+    },
+    {
+      "epoch": 1.316,
+      "grad_norm": 0.5056036710739136,
+      "learning_rate": 1.1229333333333334e-05,
+      "loss": 0.2432,
+      "step": 3290
+    },
+    {
+      "epoch": 1.32,
+      "grad_norm": 0.4640405476093292,
+      "learning_rate": 1.1202666666666669e-05,
+      "loss": 0.2486,
+      "step": 3300
+    },
+    {
+      "epoch": 1.324,
+      "grad_norm": 0.5249980092048645,
+      "learning_rate": 1.1176e-05,
+      "loss": 0.2305,
+      "step": 3310
+    },
+    {
+      "epoch": 1.328,
+      "grad_norm": 0.5795167684555054,
+      "learning_rate": 1.1149333333333334e-05,
+      "loss": 0.2426,
+      "step": 3320
+    },
+    {
+      "epoch": 1.332,
+      "grad_norm": 0.49364906549453735,
+      "learning_rate": 1.1122666666666668e-05,
+      "loss": 0.2198,
+      "step": 3330
+    },
+    {
+      "epoch": 1.336,
+      "grad_norm": 0.45856717228889465,
+      "learning_rate": 1.1096e-05,
+      "loss": 0.2541,
+      "step": 3340
+    },
+    {
+      "epoch": 1.34,
+      "grad_norm": 0.5339840054512024,
+      "learning_rate": 1.1069333333333334e-05,
+      "loss": 0.268,
+      "step": 3350
+    },
+    {
+      "epoch": 1.3439999999999999,
+      "grad_norm": 0.5169997811317444,
+      "learning_rate": 1.1042666666666668e-05,
+      "loss": 0.2667,
+      "step": 3360
+    },
+    {
+      "epoch": 1.3479999999999999,
+      "grad_norm": 0.48912790417671204,
+      "learning_rate": 1.1016e-05,
+      "loss": 0.2153,
+      "step": 3370
+    },
+    {
+      "epoch": 1.3519999999999999,
+      "grad_norm": 0.5832170844078064,
+      "learning_rate": 1.0989333333333333e-05,
+      "loss": 0.2598,
+      "step": 3380
+    },
+    {
+      "epoch": 1.3559999999999999,
+      "grad_norm": 0.6225261688232422,
+      "learning_rate": 1.0962666666666668e-05,
+      "loss": 0.2723,
+      "step": 3390
+    },
+    {
+      "epoch": 1.3599999999999999,
+      "grad_norm": 0.47685354948043823,
+      "learning_rate": 1.0936e-05,
+      "loss": 0.2429,
+      "step": 3400
+    },
+    {
+      "epoch": 1.3639999999999999,
+      "grad_norm": 0.4994128942489624,
+      "learning_rate": 1.0909333333333334e-05,
+      "loss": 0.2309,
+      "step": 3410
+    },
+    {
+      "epoch": 1.3679999999999999,
+      "grad_norm": 0.6265987753868103,
+      "learning_rate": 1.0882666666666668e-05,
+      "loss": 0.2678,
+      "step": 3420
+    },
+    {
+      "epoch": 1.3719999999999999,
+      "grad_norm": 0.47481802105903625,
+      "learning_rate": 1.0855999999999999e-05,
+      "loss": 0.2402,
+      "step": 3430
+    },
+    {
+      "epoch": 1.376,
+      "grad_norm": 0.6272761821746826,
+      "learning_rate": 1.0829333333333333e-05,
+      "loss": 0.287,
+      "step": 3440
+    },
+    {
+      "epoch": 1.38,
+      "grad_norm": 0.6699458360671997,
+      "learning_rate": 1.0802666666666667e-05,
+      "loss": 0.2632,
+      "step": 3450
+    },
+    {
+      "epoch": 1.384,
+      "grad_norm": 0.5304442644119263,
+      "learning_rate": 1.0776e-05,
+      "loss": 0.2642,
+      "step": 3460
+    },
+    {
+      "epoch": 1.388,
+      "grad_norm": 0.5047972798347473,
+      "learning_rate": 1.0749333333333334e-05,
+      "loss": 0.2793,
+      "step": 3470
+    },
+    {
+      "epoch": 1.392,
+      "grad_norm": 0.5379613041877747,
+      "learning_rate": 1.0722666666666668e-05,
+      "loss": 0.2346,
+      "step": 3480
+    },
+    {
+      "epoch": 1.396,
+      "grad_norm": 0.41858911514282227,
+      "learning_rate": 1.0696000000000002e-05,
+      "loss": 0.2145,
+      "step": 3490
+    },
+    {
+      "epoch": 1.4,
+      "grad_norm": 0.6453313827514648,
+      "learning_rate": 1.0669333333333333e-05,
+      "loss": 0.2543,
+      "step": 3500
+    },
+    {
+      "epoch": 1.404,
+      "grad_norm": 0.5400089025497437,
+      "learning_rate": 1.0642666666666667e-05,
+      "loss": 0.2509,
+      "step": 3510
+    },
+    {
+      "epoch": 1.408,
+      "grad_norm": 1.208162546157837,
+      "learning_rate": 1.0616000000000001e-05,
+      "loss": 0.2492,
+      "step": 3520
+    },
+    {
+      "epoch": 1.412,
+      "grad_norm": 0.6718884706497192,
+      "learning_rate": 1.0589333333333334e-05,
+      "loss": 0.2673,
+      "step": 3530
+    },
+    {
+      "epoch": 1.416,
+      "grad_norm": 0.643903911113739,
+      "learning_rate": 1.0562666666666668e-05,
+      "loss": 0.2752,
+      "step": 3540
+    },
+    {
+      "epoch": 1.42,
+      "grad_norm": 0.532416045665741,
+      "learning_rate": 1.0536000000000002e-05,
+      "loss": 0.2865,
+      "step": 3550
+    },
+    {
+      "epoch": 1.424,
+      "grad_norm": 0.43716755509376526,
+      "learning_rate": 1.0509333333333333e-05,
+      "loss": 0.2443,
+      "step": 3560
+    },
+    {
+      "epoch": 1.428,
+      "grad_norm": 0.5723093748092651,
+      "learning_rate": 1.0482666666666667e-05,
+      "loss": 0.2502,
+      "step": 3570
+    },
+    {
+      "epoch": 1.432,
+      "grad_norm": 0.5914117693901062,
+      "learning_rate": 1.0456000000000001e-05,
+      "loss": 0.2529,
+      "step": 3580
+    },
+    {
+      "epoch": 1.436,
+      "grad_norm": 23.44118881225586,
+      "learning_rate": 1.0429333333333334e-05,
+      "loss": 0.2359,
+      "step": 3590
+    },
+    {
+      "epoch": 1.44,
+      "grad_norm": 0.5822557210922241,
+      "learning_rate": 1.0402666666666668e-05,
+      "loss": 0.2524,
+      "step": 3600
+    },
+    {
+      "epoch": 1.444,
+      "grad_norm": 0.39575064182281494,
+      "learning_rate": 1.0376000000000002e-05,
+      "loss": 0.2265,
+      "step": 3610
+    },
+    {
+      "epoch": 1.448,
+      "grad_norm": 0.4728231430053711,
+      "learning_rate": 1.0349333333333333e-05,
+      "loss": 0.2475,
+      "step": 3620
+    },
+    {
+      "epoch": 1.452,
+      "grad_norm": 0.6290364265441895,
+      "learning_rate": 1.0322666666666667e-05,
+      "loss": 0.2442,
+      "step": 3630
+    },
+    {
+      "epoch": 1.456,
+      "grad_norm": 0.7481719851493835,
+      "learning_rate": 1.0296000000000001e-05,
+      "loss": 0.2588,
+      "step": 3640
+    },
+    {
+      "epoch": 1.46,
+      "grad_norm": 5.937191963195801,
+      "learning_rate": 1.0269333333333333e-05,
+      "loss": 0.269,
+      "step": 3650
+    },
+    {
+      "epoch": 1.464,
+      "grad_norm": 0.5029851794242859,
+      "learning_rate": 1.0242666666666668e-05,
+      "loss": 0.2333,
+      "step": 3660
+    },
+    {
+      "epoch": 1.468,
+      "grad_norm": 0.5323166847229004,
+      "learning_rate": 1.0216000000000002e-05,
+      "loss": 0.2306,
+      "step": 3670
+    },
+    {
+      "epoch": 1.472,
+      "grad_norm": 0.5790389180183411,
+      "learning_rate": 1.0189333333333333e-05,
+      "loss": 0.2846,
+      "step": 3680
+    },
+    {
+      "epoch": 1.476,
+      "grad_norm": 0.42738649249076843,
+      "learning_rate": 1.0162666666666667e-05,
+      "loss": 0.2425,
+      "step": 3690
+    },
+    {
+      "epoch": 1.48,
+      "grad_norm": 0.44407227635383606,
+      "learning_rate": 1.0136000000000001e-05,
+      "loss": 0.2366,
+      "step": 3700
+    },
+    {
+      "epoch": 1.484,
+      "grad_norm": 0.5864424705505371,
+      "learning_rate": 1.0109333333333333e-05,
+      "loss": 0.2859,
+      "step": 3710
+    },
+    {
+      "epoch": 1.488,
+      "grad_norm": 0.5136529803276062,
+      "learning_rate": 1.0082666666666667e-05,
+      "loss": 0.2373,
+      "step": 3720
+    },
+    {
+      "epoch": 1.492,
+      "grad_norm": 0.53251051902771,
+      "learning_rate": 1.0056000000000002e-05,
+      "loss": 0.2436,
+      "step": 3730
+    },
+    {
+      "epoch": 1.496,
+      "grad_norm": 0.45315873622894287,
+      "learning_rate": 1.0029333333333332e-05,
+      "loss": 0.2085,
+      "step": 3740
+    },
+    {
+      "epoch": 1.5,
+      "grad_norm": 0.6431245803833008,
+      "learning_rate": 1.0002666666666667e-05,
+      "loss": 0.2582,
+      "step": 3750
+    },
+    {
+      "epoch": 1.504,
+      "grad_norm": 0.5814210176467896,
+      "learning_rate": 9.976e-06,
+      "loss": 0.2347,
+      "step": 3760
+    },
+    {
+      "epoch": 1.508,
+      "grad_norm": 0.4896796941757202,
+      "learning_rate": 9.949333333333335e-06,
+      "loss": 0.238,
+      "step": 3770
+    },
+    {
+      "epoch": 1.512,
+      "grad_norm": 0.44410496950149536,
+      "learning_rate": 9.922666666666667e-06,
+      "loss": 0.2569,
+      "step": 3780
+    },
+    {
+      "epoch": 1.516,
+      "grad_norm": 0.5051149725914001,
+      "learning_rate": 9.896000000000001e-06,
+      "loss": 0.2457,
+      "step": 3790
+    },
+    {
+      "epoch": 1.52,
+      "grad_norm": 0.5698389410972595,
+      "learning_rate": 9.869333333333334e-06,
+      "loss": 0.2428,
+      "step": 3800
+    },
+    {
+      "epoch": 1.524,
+      "grad_norm": 0.4035334587097168,
+      "learning_rate": 9.842666666666666e-06,
+      "loss": 0.26,
+      "step": 3810
+    },
+    {
+      "epoch": 1.528,
+      "grad_norm": 0.506327748298645,
+      "learning_rate": 9.816e-06,
+      "loss": 0.2655,
+      "step": 3820
+    },
+    {
+      "epoch": 1.532,
+      "grad_norm": 0.48491552472114563,
+      "learning_rate": 9.789333333333335e-06,
+      "loss": 0.2368,
+      "step": 3830
+    },
+    {
+      "epoch": 1.536,
+      "grad_norm": 0.38744503259658813,
+      "learning_rate": 9.762666666666667e-06,
+      "loss": 0.2567,
+      "step": 3840
+    },
+    {
+      "epoch": 1.54,
+      "grad_norm": 0.5672836303710938,
+      "learning_rate": 9.736000000000001e-06,
+      "loss": 0.2559,
+      "step": 3850
+    },
+    {
+      "epoch": 1.544,
+      "grad_norm": 0.42085444927215576,
+      "learning_rate": 9.709333333333334e-06,
+      "loss": 0.2449,
+      "step": 3860
+    },
+    {
+      "epoch": 1.548,
+      "grad_norm": 0.3606667220592499,
+      "learning_rate": 9.682666666666668e-06,
+      "loss": 0.2252,
+      "step": 3870
+    },
+    {
+      "epoch": 1.552,
+      "grad_norm": 0.36842432618141174,
+      "learning_rate": 9.656e-06,
+      "loss": 0.2244,
+      "step": 3880
+    },
+    {
+      "epoch": 1.556,
+      "grad_norm": 0.3918519914150238,
+      "learning_rate": 9.629333333333335e-06,
+      "loss": 0.2538,
+      "step": 3890
+    },
+    {
+      "epoch": 1.56,
+      "grad_norm": 0.6120832562446594,
+      "learning_rate": 9.602666666666669e-06,
+      "loss": 0.2642,
+      "step": 3900
+    },
+    {
+      "epoch": 1.564,
+      "grad_norm": 0.3940815031528473,
+      "learning_rate": 9.576000000000001e-06,
+      "loss": 0.2366,
+      "step": 3910
+    },
+    {
+      "epoch": 1.568,
+      "grad_norm": 0.4944745898246765,
+      "learning_rate": 9.549333333333334e-06,
+      "loss": 0.2552,
+      "step": 3920
+    },
+    {
+      "epoch": 1.572,
+      "grad_norm": 0.5122197270393372,
+      "learning_rate": 9.522666666666668e-06,
+      "loss": 0.2139,
+      "step": 3930
+    },
+    {
+      "epoch": 1.576,
+      "grad_norm": 0.3861853778362274,
+      "learning_rate": 9.496e-06,
+      "loss": 0.2409,
+      "step": 3940
+    },
+    {
+      "epoch": 1.58,
+      "grad_norm": 0.41660165786743164,
+      "learning_rate": 9.469333333333334e-06,
+      "loss": 0.2738,
+      "step": 3950
+    },
+    {
+      "epoch": 1.584,
+      "grad_norm": 0.3429621756076813,
+      "learning_rate": 9.442666666666669e-06,
+      "loss": 0.2428,
+      "step": 3960
+    },
+    {
+      "epoch": 1.588,
+      "grad_norm": 0.4336087703704834,
+      "learning_rate": 9.416000000000001e-06,
+      "loss": 0.2737,
+      "step": 3970
+    },
+    {
+      "epoch": 1.592,
+      "grad_norm": 0.5038446187973022,
+      "learning_rate": 9.389333333333333e-06,
+      "loss": 0.2523,
+      "step": 3980
+    },
+    {
+      "epoch": 1.596,
+      "grad_norm": 0.41091305017471313,
+      "learning_rate": 9.362666666666668e-06,
+      "loss": 0.2701,
+      "step": 3990
+    },
+    {
+      "epoch": 1.6,
+      "grad_norm": 0.3381136655807495,
+      "learning_rate": 9.336e-06,
+      "loss": 0.2394,
+      "step": 4000
+    },
+    {
+      "epoch": 1.604,
+      "grad_norm": 0.40173450112342834,
+      "learning_rate": 9.309333333333334e-06,
+      "loss": 0.2515,
+      "step": 4010
+    },
+    {
+      "epoch": 1.608,
+      "grad_norm": 0.4156287908554077,
+      "learning_rate": 9.282666666666668e-06,
+      "loss": 0.2117,
+      "step": 4020
+    },
+    {
+      "epoch": 1.612,
+      "grad_norm": 0.4534705877304077,
+      "learning_rate": 9.256e-06,
+      "loss": 0.2549,
+      "step": 4030
+    },
+    {
+      "epoch": 1.616,
+      "grad_norm": 0.5014417767524719,
+      "learning_rate": 9.229333333333335e-06,
+      "loss": 0.2578,
+      "step": 4040
+    },
+    {
+      "epoch": 1.62,
+      "grad_norm": 0.4683777391910553,
+      "learning_rate": 9.202666666666667e-06,
+      "loss": 0.2744,
+      "step": 4050
+    },
+    {
+      "epoch": 1.624,
+      "grad_norm": 0.48263463377952576,
+      "learning_rate": 9.176e-06,
+      "loss": 0.2673,
+      "step": 4060
+    },
+    {
+      "epoch": 1.6280000000000001,
+      "grad_norm": 0.334062397480011,
+      "learning_rate": 9.149333333333334e-06,
+      "loss": 0.2586,
+      "step": 4070
+    },
+    {
+      "epoch": 1.6320000000000001,
+      "grad_norm": 0.4674277901649475,
+      "learning_rate": 9.122666666666668e-06,
+      "loss": 0.2515,
+      "step": 4080
+    },
+    {
+      "epoch": 1.6360000000000001,
+      "grad_norm": 0.4756511449813843,
+      "learning_rate": 9.096e-06,
+      "loss": 0.2545,
+      "step": 4090
+    },
+    {
+      "epoch": 1.6400000000000001,
+      "grad_norm": 0.32446733117103577,
+      "learning_rate": 9.069333333333335e-06,
+      "loss": 0.2405,
+      "step": 4100
+    },
+    {
+      "epoch": 1.6440000000000001,
+      "grad_norm": 0.48470672965049744,
+      "learning_rate": 9.042666666666667e-06,
+      "loss": 0.2495,
+      "step": 4110
+    },
+    {
+      "epoch": 1.6480000000000001,
+      "grad_norm": 0.4887638986110687,
+      "learning_rate": 9.016e-06,
+      "loss": 0.2562,
+      "step": 4120
+    },
+    {
+      "epoch": 1.6520000000000001,
+      "grad_norm": 0.45506277680397034,
+      "learning_rate": 8.989333333333334e-06,
+      "loss": 0.2559,
+      "step": 4130
+    },
+    {
+      "epoch": 1.6560000000000001,
+      "grad_norm": 0.40097734332084656,
+      "learning_rate": 8.962666666666668e-06,
+      "loss": 0.2784,
+      "step": 4140
+    },
+    {
+      "epoch": 1.6600000000000001,
+      "grad_norm": 0.44180023670196533,
+      "learning_rate": 8.936e-06,
+      "loss": 0.2542,
+      "step": 4150
+    },
+    {
+      "epoch": 1.6640000000000001,
+      "grad_norm": 0.4007416069507599,
+      "learning_rate": 8.909333333333335e-06,
+      "loss": 0.2397,
+      "step": 4160
+    },
+    {
+      "epoch": 1.6680000000000001,
+      "grad_norm": 0.503251314163208,
+      "learning_rate": 8.882666666666667e-06,
+      "loss": 0.2749,
+      "step": 4170
+    },
+    {
+      "epoch": 1.6720000000000002,
+      "grad_norm": 0.43198898434638977,
+      "learning_rate": 8.856000000000001e-06,
+      "loss": 0.2636,
+      "step": 4180
+    },
+    {
+      "epoch": 1.6760000000000002,
+      "grad_norm": 0.32004514336586,
+      "learning_rate": 8.829333333333334e-06,
+      "loss": 0.2297,
+      "step": 4190
+    },
+    {
+      "epoch": 1.6800000000000002,
+      "grad_norm": 0.32270774245262146,
+      "learning_rate": 8.802666666666668e-06,
+      "loss": 0.2369,
+      "step": 4200
+    },
+    {
+      "epoch": 1.6840000000000002,
+      "grad_norm": 0.40397176146507263,
+      "learning_rate": 8.776e-06,
+      "loss": 0.2433,
+      "step": 4210
+    },
+    {
+      "epoch": 1.688,
+      "grad_norm": 0.3751389980316162,
+      "learning_rate": 8.749333333333334e-06,
+      "loss": 0.2443,
+      "step": 4220
+    },
+    {
+      "epoch": 1.692,
+      "grad_norm": 0.46310901641845703,
+      "learning_rate": 8.722666666666667e-06,
+      "loss": 0.2645,
+      "step": 4230
+    },
+    {
+      "epoch": 1.696,
+      "grad_norm": 0.4188234508037567,
+      "learning_rate": 8.696000000000001e-06,
+      "loss": 0.2488,
+      "step": 4240
+    },
+    {
+      "epoch": 1.7,
+      "grad_norm": 0.3317827582359314,
+      "learning_rate": 8.669333333333334e-06,
+      "loss": 0.2519,
+      "step": 4250
+    },
+    {
+      "epoch": 1.704,
+      "grad_norm": 0.36928510665893555,
+      "learning_rate": 8.642666666666668e-06,
+      "loss": 0.2457,
+      "step": 4260
+    },
+    {
+      "epoch": 1.708,
+      "grad_norm": 0.3782973289489746,
+      "learning_rate": 8.616000000000002e-06,
+      "loss": 0.2753,
+      "step": 4270
+    },
+    {
+      "epoch": 1.712,
+      "grad_norm": 0.29384884238243103,
+      "learning_rate": 8.589333333333334e-06,
+      "loss": 0.2498,
+      "step": 4280
+    },
+    {
+      "epoch": 1.716,
+      "grad_norm": 0.42660385370254517,
+      "learning_rate": 8.562666666666667e-06,
+      "loss": 0.2364,
+      "step": 4290
+    },
+    {
+      "epoch": 1.72,
+      "grad_norm": 0.3873524069786072,
+      "learning_rate": 8.536000000000001e-06,
+      "loss": 0.2485,
+      "step": 4300
+    },
+    {
+      "epoch": 1.724,
+      "grad_norm": 0.3234214186668396,
+      "learning_rate": 8.509333333333333e-06,
+      "loss": 0.257,
+      "step": 4310
+    },
+    {
+      "epoch": 1.728,
+      "grad_norm": 0.3366452753543854,
+      "learning_rate": 8.482666666666668e-06,
+      "loss": 0.2233,
+      "step": 4320
+    },
+    {
+      "epoch": 1.732,
+      "grad_norm": 0.35467636585235596,
+      "learning_rate": 8.456000000000002e-06,
+      "loss": 0.2442,
+      "step": 4330
+    },
+    {
+      "epoch": 1.736,
+      "grad_norm": 0.26119524240493774,
+      "learning_rate": 8.429333333333334e-06,
+      "loss": 0.2498,
+      "step": 4340
+    },
+    {
+      "epoch": 1.74,
+      "grad_norm": 0.3373224437236786,
+      "learning_rate": 8.402666666666668e-06,
+      "loss": 0.2059,
+      "step": 4350
+    },
+    {
+      "epoch": 1.744,
+      "grad_norm": 0.292337566614151,
+      "learning_rate": 8.376e-06,
+      "loss": 0.2363,
+      "step": 4360
+    },
+    {
+      "epoch": 1.748,
+      "grad_norm": 0.2813045084476471,
+      "learning_rate": 8.349333333333333e-06,
+      "loss": 0.2372,
+      "step": 4370
+    },
+    {
+      "epoch": 1.752,
+      "grad_norm": 0.2749570906162262,
+      "learning_rate": 8.322666666666667e-06,
+      "loss": 0.2747,
+      "step": 4380
+    },
+    {
+      "epoch": 1.756,
+      "grad_norm": 0.2731185257434845,
+      "learning_rate": 8.296000000000002e-06,
+      "loss": 0.259,
+      "step": 4390
+    },
+    {
+      "epoch": 1.76,
+      "grad_norm": 0.30308401584625244,
+      "learning_rate": 8.269333333333334e-06,
+      "loss": 0.2719,
+      "step": 4400
+    },
+    {
+      "epoch": 1.764,
+      "grad_norm": 0.4045141935348511,
+      "learning_rate": 8.242666666666668e-06,
+      "loss": 0.277,
+      "step": 4410
+    },
+    {
+      "epoch": 1.768,
+      "grad_norm": 0.2454979419708252,
+      "learning_rate": 8.216e-06,
+      "loss": 0.2486,
+      "step": 4420
+    },
+    {
+      "epoch": 1.772,
+      "grad_norm": 0.36703935265541077,
+      "learning_rate": 8.189333333333333e-06,
+      "loss": 0.2776,
+      "step": 4430
+    },
+    {
+      "epoch": 1.776,
+      "grad_norm": 0.22125069797039032,
+      "learning_rate": 8.162666666666667e-06,
+      "loss": 0.2363,
+      "step": 4440
+    },
+    {
+      "epoch": 1.78,
+      "grad_norm": 0.3106949031352997,
+      "learning_rate": 8.136000000000001e-06,
+      "loss": 0.2417,
+      "step": 4450
+    },
+    {
+      "epoch": 1.784,
+      "grad_norm": 0.2498166561126709,
+      "learning_rate": 8.109333333333334e-06,
+      "loss": 0.2532,
+      "step": 4460
+    },
+    {
+      "epoch": 1.788,
+      "grad_norm": 0.2341402769088745,
+      "learning_rate": 8.082666666666668e-06,
+      "loss": 0.252,
+      "step": 4470
+    },
+    {
+      "epoch": 1.792,
+      "grad_norm": 0.3064709007740021,
+      "learning_rate": 8.056e-06,
+      "loss": 0.2538,
+      "step": 4480
+    },
+    {
+      "epoch": 1.796,
+      "grad_norm": 0.45715293288230896,
+      "learning_rate": 8.029333333333335e-06,
+      "loss": 0.2748,
+      "step": 4490
+    },
+    {
+      "epoch": 1.8,
+      "grad_norm": 0.27951565384864807,
+      "learning_rate": 8.002666666666667e-06,
+      "loss": 0.2688,
+      "step": 4500
+    },
+    {
+      "epoch": 1.804,
+      "grad_norm": 0.3826848268508911,
+      "learning_rate": 7.976000000000001e-06,
+      "loss": 0.277,
+      "step": 4510
+    },
+    {
+      "epoch": 1.808,
+      "grad_norm": 0.44055384397506714,
+      "learning_rate": 7.949333333333334e-06,
+      "loss": 0.266,
+      "step": 4520
+    },
+    {
+      "epoch": 1.812,
+      "grad_norm": 0.27713876962661743,
+      "learning_rate": 7.922666666666668e-06,
+      "loss": 0.2169,
+      "step": 4530
+    },
+    {
+      "epoch": 1.8159999999999998,
+      "grad_norm": 0.35574108362197876,
+      "learning_rate": 7.896e-06,
+      "loss": 0.2806,
+      "step": 4540
+    },
+    {
+      "epoch": 1.8199999999999998,
+      "grad_norm": 0.3369232416152954,
+      "learning_rate": 7.869333333333334e-06,
+      "loss": 0.2649,
+      "step": 4550
+    },
+    {
+      "epoch": 1.8239999999999998,
+      "grad_norm": 0.42911919951438904,
+      "learning_rate": 7.842666666666667e-06,
+      "loss": 0.2468,
+      "step": 4560
+    },
+    {
+      "epoch": 1.8279999999999998,
+      "grad_norm": 0.3616214990615845,
+      "learning_rate": 7.816000000000001e-06,
+      "loss": 0.2403,
+      "step": 4570
+    },
+    {
+      "epoch": 1.8319999999999999,
+      "grad_norm": 0.3658316731452942,
+      "learning_rate": 7.789333333333334e-06,
+      "loss": 0.2751,
+      "step": 4580
+    },
+    {
+      "epoch": 1.8359999999999999,
+      "grad_norm": 0.23591068387031555,
+      "learning_rate": 7.762666666666668e-06,
+      "loss": 0.2529,
+      "step": 4590
+    },
+    {
+      "epoch": 1.8399999999999999,
+      "grad_norm": 0.29503270983695984,
+      "learning_rate": 7.736e-06,
+      "loss": 0.2843,
+      "step": 4600
+    },
+    {
+      "epoch": 1.8439999999999999,
+      "grad_norm": 0.3724270164966583,
+      "learning_rate": 7.709333333333334e-06,
+      "loss": 0.2776,
+      "step": 4610
+    },
+    {
+      "epoch": 1.8479999999999999,
+      "grad_norm": 0.3584628403186798,
+      "learning_rate": 7.682666666666667e-06,
+      "loss": 0.2896,
+      "step": 4620
+    },
+    {
+      "epoch": 1.8519999999999999,
+      "grad_norm": 0.3826291859149933,
+      "learning_rate": 7.656000000000001e-06,
+      "loss": 0.273,
+      "step": 4630
+    },
+    {
+      "epoch": 1.8559999999999999,
+      "grad_norm": 0.30887797474861145,
+      "learning_rate": 7.629333333333334e-06,
+      "loss": 0.2397,
+      "step": 4640
+    },
+    {
+      "epoch": 1.8599999999999999,
+      "grad_norm": 0.24024438858032227,
+      "learning_rate": 7.602666666666667e-06,
+      "loss": 0.2219,
+      "step": 4650
+    },
+    {
+      "epoch": 1.8639999999999999,
+      "grad_norm": 0.3022843897342682,
+      "learning_rate": 7.576000000000001e-06,
+      "loss": 0.2658,
+      "step": 4660
+    },
+    {
+      "epoch": 1.8679999999999999,
+      "grad_norm": 0.32519158720970154,
+      "learning_rate": 7.549333333333334e-06,
+      "loss": 0.2681,
+      "step": 4670
+    },
+    {
+      "epoch": 1.8719999999999999,
+      "grad_norm": 0.35749658942222595,
+      "learning_rate": 7.522666666666667e-06,
+      "loss": 0.2656,
+      "step": 4680
+    },
+    {
+      "epoch": 1.876,
+      "grad_norm": 0.2936573624610901,
+      "learning_rate": 7.496000000000001e-06,
+      "loss": 0.2884,
+      "step": 4690
+    },
+    {
+      "epoch": 1.88,
+      "grad_norm": 0.28760528564453125,
+      "learning_rate": 7.469333333333334e-06,
+      "loss": 0.261,
+      "step": 4700
+    },
+    {
+      "epoch": 1.884,
+      "grad_norm": 0.3032340705394745,
+      "learning_rate": 7.442666666666667e-06,
+      "loss": 0.2496,
+      "step": 4710
+    },
+    {
+      "epoch": 1.888,
+      "grad_norm": 0.3310381770133972,
+      "learning_rate": 7.416000000000001e-06,
+      "loss": 0.2681,
+      "step": 4720
+    },
+    {
+      "epoch": 1.892,
+      "grad_norm": 0.260921448469162,
+      "learning_rate": 7.389333333333334e-06,
+      "loss": 0.2606,
+      "step": 4730
+    },
+    {
+      "epoch": 1.896,
+      "grad_norm": 0.3983185291290283,
+      "learning_rate": 7.362666666666667e-06,
+      "loss": 0.2529,
+      "step": 4740
+    },
+    {
+      "epoch": 1.9,
+      "grad_norm": 0.2649815082550049,
+      "learning_rate": 7.3360000000000006e-06,
+      "loss": 0.2672,
+      "step": 4750
+    },
+    {
+      "epoch": 1.904,
+      "grad_norm": 0.17475271224975586,
+      "learning_rate": 7.309333333333334e-06,
+      "loss": 0.2487,
+      "step": 4760
+    },
+    {
+      "epoch": 1.908,
+      "grad_norm": 0.1849173754453659,
+      "learning_rate": 7.282666666666667e-06,
+      "loss": 0.2589,
+      "step": 4770
+    },
+    {
+      "epoch": 1.912,
+      "grad_norm": 0.10120582580566406,
+      "learning_rate": 7.2560000000000005e-06,
+      "loss": 0.2323,
+      "step": 4780
+    },
+    {
+      "epoch": 1.916,
+      "grad_norm": 0.11119116097688675,
+      "learning_rate": 7.229333333333334e-06,
+      "loss": 0.2792,
+      "step": 4790
+    },
+    {
+      "epoch": 1.92,
+      "grad_norm": 0.17446480691432953,
+      "learning_rate": 7.202666666666668e-06,
+      "loss": 0.276,
+      "step": 4800
+    },
+    {
+      "epoch": 1.924,
+      "grad_norm": 0.14958135783672333,
+      "learning_rate": 7.176e-06,
+      "loss": 0.2797,
+      "step": 4810
+    },
+    {
+      "epoch": 1.928,
+      "grad_norm": 0.16634155809879303,
+      "learning_rate": 7.149333333333334e-06,
+      "loss": 0.2883,
+      "step": 4820
+    },
+    {
+      "epoch": 1.932,
+      "grad_norm": 0.12265870720148087,
+      "learning_rate": 7.122666666666668e-06,
+      "loss": 0.2679,
+      "step": 4830
+    },
+    {
+      "epoch": 1.936,
+      "grad_norm": 0.1468086540699005,
+      "learning_rate": 7.096e-06,
+      "loss": 0.2629,
+      "step": 4840
+    },
+    {
+      "epoch": 1.94,
+      "grad_norm": 0.13143840432167053,
+      "learning_rate": 7.069333333333334e-06,
+      "loss": 0.2582,
+      "step": 4850
+    },
+    {
+      "epoch": 1.944,
+      "grad_norm": 0.0972132757306099,
+      "learning_rate": 7.042666666666668e-06,
+      "loss": 0.2775,
+      "step": 4860
+    },
+    {
+      "epoch": 1.948,
+      "grad_norm": 0.10757272690534592,
+      "learning_rate": 7.016e-06,
+      "loss": 0.2762,
+      "step": 4870
+    },
+    {
+      "epoch": 1.952,
+      "grad_norm": 0.0815700814127922,
+      "learning_rate": 6.9893333333333336e-06,
+      "loss": 0.2342,
+      "step": 4880
+    },
+    {
+      "epoch": 1.956,
+      "grad_norm": 0.0996004045009613,
+      "learning_rate": 6.962666666666668e-06,
+      "loss": 0.2591,
+      "step": 4890
+    },
+    {
+      "epoch": 1.96,
+      "grad_norm": 0.0900239422917366,
+      "learning_rate": 6.936e-06,
+      "loss": 0.2564,
+      "step": 4900
+    },
+    {
+      "epoch": 1.964,
+      "grad_norm": 0.1269359141588211,
+      "learning_rate": 6.9093333333333335e-06,
+      "loss": 0.2895,
+      "step": 4910
+    },
+    {
+      "epoch": 1.968,
+      "grad_norm": 0.10901577025651932,
+      "learning_rate": 6.882666666666668e-06,
+      "loss": 0.2536,
+      "step": 4920
+    },
+    {
+      "epoch": 1.972,
+      "grad_norm": 0.09355379641056061,
+      "learning_rate": 6.856e-06,
+      "loss": 0.2712,
+      "step": 4930
+    },
+    {
+      "epoch": 1.976,
+      "grad_norm": 0.07490667700767517,
+      "learning_rate": 6.829333333333333e-06,
+      "loss": 0.261,
+      "step": 4940
+    },
+    {
+      "epoch": 1.98,
+      "grad_norm": 0.07861382514238358,
+      "learning_rate": 6.8026666666666675e-06,
+      "loss": 0.2491,
+      "step": 4950
+    },
+    {
+      "epoch": 1.984,
+      "grad_norm": 0.07900423556566238,
+      "learning_rate": 6.776e-06,
+      "loss": 0.3126,
+      "step": 4960
+    },
+    {
+      "epoch": 1.988,
+      "grad_norm": 0.098032645881176,
+      "learning_rate": 6.749333333333334e-06,
+      "loss": 0.2186,
+      "step": 4970
+    },
+    {
+      "epoch": 1.992,
+      "grad_norm": 0.09369993209838867,
+      "learning_rate": 6.7226666666666675e-06,
+      "loss": 0.2478,
+      "step": 4980
+    },
+    {
+      "epoch": 1.996,
+      "grad_norm": 0.09760956466197968,
+      "learning_rate": 6.696e-06,
+      "loss": 0.2556,
+      "step": 4990
+    },
+    {
+      "epoch": 2.0,
+      "grad_norm": 0.1648833155632019,
+      "learning_rate": 6.669333333333334e-06,
+      "loss": 0.2727,
+      "step": 5000
+    },
+    {
+      "epoch": 2.0,
+      "eval_loss": 0.24119731783866882,
+      "eval_runtime": 65.6092,
+      "eval_samples_per_second": 38.104,
+      "eval_steps_per_second": 4.771,
+      "step": 5000
+    },
+    {
+      "epoch": 2.004,
+      "grad_norm": 0.0808454379439354,
+      "learning_rate": 6.642666666666667e-06,
+      "loss": 0.2608,
+      "step": 5010
+    },
+    {
+      "epoch": 2.008,
+      "grad_norm": 0.0906185582280159,
+      "learning_rate": 6.616e-06,
+      "loss": 0.2731,
+      "step": 5020
+    },
+    {
+      "epoch": 2.012,
+      "grad_norm": 0.08718050271272659,
+      "learning_rate": 6.589333333333334e-06,
+      "loss": 0.2627,
+      "step": 5030
+    },
+    {
+      "epoch": 2.016,
+      "grad_norm": 0.11350775510072708,
+      "learning_rate": 6.562666666666667e-06,
+      "loss": 0.273,
+      "step": 5040
+    },
+    {
+      "epoch": 2.02,
+      "grad_norm": 0.11799473315477371,
+      "learning_rate": 6.536e-06,
+      "loss": 0.2612,
+      "step": 5050
+    },
+    {
+      "epoch": 2.024,
+      "grad_norm": 0.13507218658924103,
+      "learning_rate": 6.509333333333334e-06,
+      "loss": 0.2199,
+      "step": 5060
+    },
+    {
+      "epoch": 2.028,
+      "grad_norm": 0.08445365726947784,
+      "learning_rate": 6.482666666666667e-06,
+      "loss": 0.2732,
+      "step": 5070
+    },
+    {
+      "epoch": 2.032,
+      "grad_norm": 0.09065169841051102,
+      "learning_rate": 6.456e-06,
+      "loss": 0.2512,
+      "step": 5080
+    },
+    {
+      "epoch": 2.036,
+      "grad_norm": 0.10282640904188156,
+      "learning_rate": 6.429333333333334e-06,
+      "loss": 0.2917,
+      "step": 5090
+    },
+    {
+      "epoch": 2.04,
+      "grad_norm": 0.07192720472812653,
+      "learning_rate": 6.402666666666667e-06,
+      "loss": 0.2706,
+      "step": 5100
+    },
+    {
+      "epoch": 2.044,
+      "grad_norm": 0.11664930731058121,
+      "learning_rate": 6.376e-06,
+      "loss": 0.2478,
+      "step": 5110
+    },
+    {
+      "epoch": 2.048,
+      "grad_norm": 0.11517810076475143,
+      "learning_rate": 6.349333333333334e-06,
+      "loss": 0.2692,
+      "step": 5120
+    },
+    {
+      "epoch": 2.052,
+      "grad_norm": 0.13063500821590424,
+      "learning_rate": 6.322666666666667e-06,
+      "loss": 0.2578,
+      "step": 5130
+    },
+    {
+      "epoch": 2.056,
+      "grad_norm": 0.11885740607976913,
+      "learning_rate": 6.296000000000001e-06,
+      "loss": 0.267,
+      "step": 5140
+    },
+    {
+      "epoch": 2.06,
+      "grad_norm": 0.08815253525972366,
+      "learning_rate": 6.269333333333334e-06,
+      "loss": 0.2752,
+      "step": 5150
+    },
+    {
+      "epoch": 2.064,
+      "grad_norm": 0.14298759400844574,
+      "learning_rate": 6.242666666666667e-06,
+      "loss": 0.2663,
+      "step": 5160
+    },
+    {
+      "epoch": 2.068,
+      "grad_norm": 0.10055135190486908,
+      "learning_rate": 6.216000000000001e-06,
+      "loss": 0.2505,
+      "step": 5170
+    },
+    {
+      "epoch": 2.072,
+      "grad_norm": 0.13054154813289642,
+      "learning_rate": 6.189333333333334e-06,
+      "loss": 0.2817,
+      "step": 5180
+    },
+    {
+      "epoch": 2.076,
+      "grad_norm": 0.12630607187747955,
+      "learning_rate": 6.162666666666667e-06,
+      "loss": 0.2701,
+      "step": 5190
+    },
+    {
+      "epoch": 2.08,
+      "grad_norm": 0.14159268140792847,
+      "learning_rate": 6.136000000000001e-06,
+      "loss": 0.2702,
+      "step": 5200
+    },
+    {
+      "epoch": 2.084,
+      "grad_norm": 0.13409964740276337,
+      "learning_rate": 6.1093333333333335e-06,
+      "loss": 0.2544,
+      "step": 5210
+    },
+    {
+      "epoch": 2.088,
+      "grad_norm": 0.12335699796676636,
+      "learning_rate": 6.082666666666667e-06,
+      "loss": 0.2504,
+      "step": 5220
+    },
+    {
+      "epoch": 2.092,
+      "grad_norm": 0.10816927254199982,
+      "learning_rate": 6.056000000000001e-06,
+      "loss": 0.2488,
+      "step": 5230
+    },
+    {
+      "epoch": 2.096,
+      "grad_norm": 0.1388978362083435,
+      "learning_rate": 6.0293333333333334e-06,
+      "loss": 0.2282,
+      "step": 5240
+    },
+    {
+      "epoch": 2.1,
+      "grad_norm": 0.10510966181755066,
+      "learning_rate": 6.002666666666667e-06,
+      "loss": 0.2485,
+      "step": 5250
+    },
+    {
+      "epoch": 2.104,
+      "grad_norm": 0.2210332155227661,
+      "learning_rate": 5.976000000000001e-06,
+      "loss": 0.2409,
+      "step": 5260
+    },
+    {
+      "epoch": 2.108,
+      "grad_norm": 0.11423420161008835,
+      "learning_rate": 5.949333333333333e-06,
+      "loss": 0.2822,
+      "step": 5270
+    },
+    {
+      "epoch": 2.112,
+      "grad_norm": 0.08762288093566895,
+      "learning_rate": 5.9226666666666675e-06,
+      "loss": 0.2477,
+      "step": 5280
+    },
+    {
+      "epoch": 2.116,
+      "grad_norm": 0.09192516654729843,
+      "learning_rate": 5.896000000000001e-06,
+      "loss": 0.2619,
+      "step": 5290
+    },
+    {
+      "epoch": 2.12,
+      "grad_norm": 0.1299988478422165,
+      "learning_rate": 5.869333333333333e-06,
+      "loss": 0.2548,
+      "step": 5300
+    },
+    {
+      "epoch": 2.124,
+      "grad_norm": 0.11268695443868637,
+      "learning_rate": 5.842666666666667e-06,
+      "loss": 0.2472,
+      "step": 5310
+    },
+    {
+      "epoch": 2.128,
+      "grad_norm": 0.10344608873128891,
+      "learning_rate": 5.816000000000001e-06,
+      "loss": 0.2498,
+      "step": 5320
+    },
+    {
+      "epoch": 2.132,
+      "grad_norm": 0.09666316956281662,
+      "learning_rate": 5.789333333333333e-06,
+      "loss": 0.2547,
+      "step": 5330
+    },
+    {
+      "epoch": 2.136,
+      "grad_norm": 0.10370825231075287,
+      "learning_rate": 5.762666666666667e-06,
+      "loss": 0.2634,
+      "step": 5340
+    },
+    {
+      "epoch": 2.14,
+      "grad_norm": NaN,
+      "learning_rate": 5.736000000000001e-06,
+      "loss": 0.2519,
+      "step": 5350
+    },
+    {
+      "epoch": 2.144,
+      "grad_norm": 0.14553070068359375,
+      "learning_rate": 5.709333333333333e-06,
+      "loss": 0.2566,
+      "step": 5360
+    },
+    {
+      "epoch": 2.148,
+      "grad_norm": 0.11000310629606247,
+      "learning_rate": 5.682666666666667e-06,
+      "loss": 0.2979,
+      "step": 5370
+    },
+    {
+      "epoch": 2.152,
+      "grad_norm": 0.1058771163225174,
+      "learning_rate": 5.6560000000000006e-06,
+      "loss": 0.282,
+      "step": 5380
+    },
+    {
+      "epoch": 2.156,
+      "grad_norm": 0.12154778838157654,
+      "learning_rate": 5.629333333333333e-06,
+      "loss": 0.242,
+      "step": 5390
+    },
+    {
+      "epoch": 2.16,
+      "grad_norm": 0.1614154428243637,
+      "learning_rate": 5.602666666666667e-06,
+      "loss": 0.2521,
+      "step": 5400
+    },
+    {
+      "epoch": 2.164,
+      "grad_norm": 0.15051324665546417,
+      "learning_rate": 5.5760000000000005e-06,
+      "loss": 0.2639,
+      "step": 5410
+    },
+    {
+      "epoch": 2.168,
+      "grad_norm": 0.13113752007484436,
+      "learning_rate": 5.549333333333333e-06,
+      "loss": 0.2627,
+      "step": 5420
+    },
+    {
+      "epoch": 2.172,
+      "grad_norm": 0.15376834571361542,
+      "learning_rate": 5.522666666666667e-06,
+      "loss": 0.2645,
+      "step": 5430
+    },
+    {
+      "epoch": 2.176,
+      "grad_norm": NaN,
+      "learning_rate": 5.496e-06,
+      "loss": 0.251,
+      "step": 5440
+    },
+    {
+      "epoch": 2.18,
+      "grad_norm": 0.23466192185878754,
+      "learning_rate": 5.4693333333333346e-06,
+      "loss": 0.2716,
+      "step": 5450
+    },
+    {
+      "epoch": 2.184,
+      "grad_norm": 0.17084863781929016,
+      "learning_rate": 5.442666666666667e-06,
+      "loss": 0.2655,
+      "step": 5460
+    },
+    {
+      "epoch": 2.188,
+      "grad_norm": 0.15090127289295197,
+      "learning_rate": 5.416e-06,
+      "loss": 0.2984,
+      "step": 5470
+    },
+    {
+      "epoch": 2.192,
+      "grad_norm": 0.1479702740907669,
+      "learning_rate": 5.3893333333333345e-06,
+      "loss": 0.2412,
+      "step": 5480
+    },
+    {
+      "epoch": 2.196,
+      "grad_norm": 0.18114417791366577,
+      "learning_rate": 5.362666666666667e-06,
+      "loss": 0.283,
+      "step": 5490
+    },
+    {
+      "epoch": 2.2,
+      "grad_norm": 0.19299641251564026,
+      "learning_rate": 5.336e-06,
+      "loss": 0.2609,
+      "step": 5500
+    },
+    {
+      "epoch": 2.204,
+      "grad_norm": 0.16892081499099731,
+      "learning_rate": 5.309333333333334e-06,
+      "loss": 0.2685,
+      "step": 5510
+    },
+    {
+      "epoch": 2.208,
+      "grad_norm": 0.14242294430732727,
+      "learning_rate": 5.282666666666667e-06,
+      "loss": 0.2722,
+      "step": 5520
+    },
+    {
+      "epoch": 2.212,
+      "grad_norm": 0.26127591729164124,
+      "learning_rate": 5.256e-06,
+      "loss": 0.2979,
+      "step": 5530
+    },
+    {
+      "epoch": 2.216,
+      "grad_norm": 0.15883752703666687,
+      "learning_rate": 5.229333333333334e-06,
+      "loss": 0.2488,
+      "step": 5540
+    },
+    {
+      "epoch": 2.22,
+      "grad_norm": 0.22178013622760773,
+      "learning_rate": 5.202666666666667e-06,
+      "loss": 0.2862,
+      "step": 5550
+    },
+    {
+      "epoch": 2.224,
+      "grad_norm": 0.16950379312038422,
+      "learning_rate": 5.176e-06,
+      "loss": 0.2559,
+      "step": 5560
+    },
+    {
+      "epoch": 2.228,
+      "grad_norm": 0.08508289605379105,
+      "learning_rate": 5.149333333333334e-06,
+      "loss": 0.2358,
+      "step": 5570
+    },
+    {
+      "epoch": 2.232,
+      "grad_norm": 0.17523686587810516,
+      "learning_rate": 5.122666666666667e-06,
+      "loss": 0.2802,
+      "step": 5580
+    },
+    {
+      "epoch": 2.2359999999999998,
+      "grad_norm": 0.14943397045135498,
+      "learning_rate": 5.096000000000001e-06,
+      "loss": 0.2547,
+      "step": 5590
+    },
+    {
+      "epoch": 2.24,
+      "grad_norm": 0.20480185747146606,
+      "learning_rate": 5.069333333333334e-06,
+      "loss": 0.2484,
+      "step": 5600
+    },
+    {
+      "epoch": 2.2439999999999998,
+      "grad_norm": 0.1461692899465561,
+      "learning_rate": 5.042666666666667e-06,
+      "loss": 0.2597,
+      "step": 5610
+    },
+    {
+      "epoch": 2.248,
+      "grad_norm": 0.1326453983783722,
+      "learning_rate": 5.016000000000001e-06,
+      "loss": 0.2571,
+      "step": 5620
+    },
+    {
+      "epoch": 2.252,
+      "grad_norm": 0.16321216523647308,
+      "learning_rate": 4.989333333333334e-06,
+      "loss": 0.2401,
+      "step": 5630
+    },
+    {
+      "epoch": 2.2560000000000002,
+      "grad_norm": 0.1340763121843338,
+      "learning_rate": 4.962666666666667e-06,
+      "loss": 0.2669,
+      "step": 5640
+    },
+    {
+      "epoch": 2.26,
+      "grad_norm": 0.22969891130924225,
+      "learning_rate": 4.936e-06,
+      "loss": 0.2374,
+      "step": 5650
+    },
+    {
+      "epoch": 2.2640000000000002,
+      "grad_norm": 0.227335125207901,
+      "learning_rate": 4.909333333333334e-06,
+      "loss": 0.2625,
+      "step": 5660
+    },
+    {
+      "epoch": 2.268,
+      "grad_norm": 0.23074021935462952,
+      "learning_rate": 4.882666666666667e-06,
+      "loss": 0.2602,
+      "step": 5670
+    },
+    {
+      "epoch": 2.2720000000000002,
+      "grad_norm": 0.2321901023387909,
+      "learning_rate": 4.856e-06,
+      "loss": 0.2738,
+      "step": 5680
+    },
+    {
+      "epoch": 2.276,
+      "grad_norm": 0.1699729710817337,
+      "learning_rate": 4.829333333333334e-06,
+      "loss": 0.2714,
+      "step": 5690
+    },
+    {
+      "epoch": 2.2800000000000002,
+      "grad_norm": 0.25175052881240845,
+      "learning_rate": 4.802666666666667e-06,
+      "loss": 0.2708,
+      "step": 5700
+    },
+    {
+      "epoch": 2.284,
+      "grad_norm": 0.24156895279884338,
+      "learning_rate": 4.7760000000000005e-06,
+      "loss": 0.2519,
+      "step": 5710
+    },
+    {
+      "epoch": 2.288,
+      "grad_norm": 0.2111712396144867,
+      "learning_rate": 4.749333333333334e-06,
+      "loss": 0.245,
+      "step": 5720
+    },
+    {
+      "epoch": 2.292,
+      "grad_norm": 0.16868716478347778,
+      "learning_rate": 4.722666666666667e-06,
+      "loss": 0.2524,
+      "step": 5730
+    },
+    {
+      "epoch": 2.296,
+      "grad_norm": 0.16468843817710876,
+      "learning_rate": 4.6960000000000004e-06,
+      "loss": 0.252,
+      "step": 5740
+    },
+    {
+      "epoch": 2.3,
+      "grad_norm": 0.15060193836688995,
+      "learning_rate": 4.669333333333334e-06,
+      "loss": 0.2609,
+      "step": 5750
+    },
+    {
+      "epoch": 2.304,
+      "grad_norm": 0.18585968017578125,
+      "learning_rate": 4.642666666666667e-06,
+      "loss": 0.2538,
+      "step": 5760
+    },
+    {
+      "epoch": 2.308,
+      "grad_norm": 0.2244134396314621,
+      "learning_rate": 4.616e-06,
+      "loss": 0.2715,
+      "step": 5770
+    },
+    {
+      "epoch": 2.312,
+      "grad_norm": 0.16831956803798676,
+      "learning_rate": 4.589333333333334e-06,
+      "loss": 0.2899,
+      "step": 5780
+    },
+    {
+      "epoch": 2.316,
+      "grad_norm": 0.17418567836284637,
+      "learning_rate": 4.562666666666667e-06,
+      "loss": 0.2632,
+      "step": 5790
+    },
+    {
+      "epoch": 2.32,
+      "grad_norm": 0.23205284774303436,
+      "learning_rate": 4.536e-06,
+      "loss": 0.2637,
+      "step": 5800
+    },
+    {
+      "epoch": 2.324,
+      "grad_norm": 0.17156484723091125,
+      "learning_rate": 4.509333333333334e-06,
+      "loss": 0.2592,
+      "step": 5810
+    },
+    {
+      "epoch": 2.328,
+      "grad_norm": 0.18730148673057556,
+      "learning_rate": 4.482666666666667e-06,
+      "loss": 0.2501,
+      "step": 5820
+    },
+    {
+      "epoch": 2.332,
+      "grad_norm": 0.18825125694274902,
+      "learning_rate": 4.456e-06,
+      "loss": 0.2208,
+      "step": 5830
+    },
+    {
+      "epoch": 2.336,
+      "grad_norm": 0.1911272555589676,
+      "learning_rate": 4.4293333333333335e-06,
+      "loss": 0.2601,
+      "step": 5840
+    },
+    {
+      "epoch": 2.34,
+      "grad_norm": 0.30404987931251526,
+      "learning_rate": 4.402666666666667e-06,
+      "loss": 0.2765,
+      "step": 5850
+    },
+    {
+      "epoch": 2.344,
+      "grad_norm": 0.18253399431705475,
+      "learning_rate": 4.376e-06,
+      "loss": 0.2314,
+      "step": 5860
+    },
+    {
+      "epoch": 2.348,
+      "grad_norm": 0.14542120695114136,
+      "learning_rate": 4.349333333333333e-06,
+      "loss": 0.2576,
+      "step": 5870
+    },
+    {
+      "epoch": 2.352,
+      "grad_norm": 0.26051434874534607,
+      "learning_rate": 4.3226666666666676e-06,
+      "loss": 0.2925,
+      "step": 5880
+    },
+    {
+      "epoch": 2.356,
+      "grad_norm": 0.22268620133399963,
+      "learning_rate": 4.296e-06,
+      "loss": 0.2505,
+      "step": 5890
+    },
+    {
+      "epoch": 2.36,
+      "grad_norm": 0.23523187637329102,
+      "learning_rate": 4.269333333333333e-06,
+      "loss": 0.2653,
+      "step": 5900
+    },
+    {
+      "epoch": 2.364,
+      "grad_norm": 0.2189938873052597,
+      "learning_rate": 4.2426666666666675e-06,
+      "loss": 0.2488,
+      "step": 5910
+    },
+    {
+      "epoch": 2.368,
+      "grad_norm": 0.2289077341556549,
+      "learning_rate": 4.216e-06,
+      "loss": 0.2503,
+      "step": 5920
+    },
+    {
+      "epoch": 2.372,
+      "grad_norm": 0.21585491299629211,
+      "learning_rate": 4.189333333333333e-06,
+      "loss": 0.2806,
+      "step": 5930
+    },
+    {
+      "epoch": 2.376,
+      "grad_norm": 0.3019189238548279,
+      "learning_rate": 4.162666666666667e-06,
+      "loss": 0.2648,
+      "step": 5940
+    },
+    {
+      "epoch": 2.38,
+      "grad_norm": 0.27860188484191895,
+      "learning_rate": 4.136000000000001e-06,
+      "loss": 0.2718,
+      "step": 5950
+    },
+    {
+      "epoch": 2.384,
+      "grad_norm": 0.27165427803993225,
+      "learning_rate": 4.109333333333333e-06,
+      "loss": 0.2523,
+      "step": 5960
+    },
+    {
+      "epoch": 2.388,
+      "grad_norm": 0.20062775909900665,
+      "learning_rate": 4.082666666666667e-06,
+      "loss": 0.26,
+      "step": 5970
+    },
+    {
+      "epoch": 2.392,
+      "grad_norm": 0.20866365730762482,
+      "learning_rate": 4.056000000000001e-06,
+      "loss": 0.2597,
+      "step": 5980
+    },
+    {
+      "epoch": 2.396,
+      "grad_norm": 0.15841415524482727,
+      "learning_rate": 4.029333333333333e-06,
+      "loss": 0.2594,
+      "step": 5990
+    },
+    {
+      "epoch": 2.4,
+      "grad_norm": 0.20054064691066742,
+      "learning_rate": 4.002666666666667e-06,
+      "loss": 0.2491,
+      "step": 6000
+    },
+    {
+      "epoch": 2.404,
+      "grad_norm": 0.24332402646541595,
+      "learning_rate": 3.9760000000000006e-06,
+      "loss": 0.2603,
+      "step": 6010
+    },
+    {
+      "epoch": 2.408,
+      "grad_norm": 0.22125115990638733,
+      "learning_rate": 3.949333333333334e-06,
+      "loss": 0.253,
+      "step": 6020
+    },
+    {
+      "epoch": 2.412,
+      "grad_norm": 0.23397159576416016,
+      "learning_rate": 3.922666666666667e-06,
+      "loss": 0.2833,
+      "step": 6030
+    },
+    {
+      "epoch": 2.416,
+      "grad_norm": 0.17838267982006073,
+      "learning_rate": 3.8960000000000005e-06,
+      "loss": 0.2494,
+      "step": 6040
+    },
+    {
+      "epoch": 2.42,
+      "grad_norm": 0.27850839495658875,
+      "learning_rate": 3.869333333333334e-06,
+      "loss": 0.2385,
+      "step": 6050
+    },
+    {
+      "epoch": 2.424,
+      "grad_norm": 0.31709569692611694,
+      "learning_rate": 3.842666666666667e-06,
+      "loss": 0.3055,
+      "step": 6060
+    },
+    {
+      "epoch": 2.428,
+      "grad_norm": 0.33418047428131104,
+      "learning_rate": 3.816e-06,
+      "loss": 0.261,
+      "step": 6070
+    },
+    {
+      "epoch": 2.432,
+      "grad_norm": 0.2386629432439804,
+      "learning_rate": 3.7893333333333337e-06,
+      "loss": 0.2693,
+      "step": 6080
+    },
+    {
+      "epoch": 2.436,
+      "grad_norm": 0.25883948802948,
+      "learning_rate": 3.7626666666666674e-06,
+      "loss": 0.2596,
+      "step": 6090
+    },
+    {
+      "epoch": 2.44,
+      "grad_norm": 0.3060862421989441,
+      "learning_rate": 3.7360000000000003e-06,
+      "loss": 0.2348,
+      "step": 6100
+    },
+    {
+      "epoch": 2.444,
+      "grad_norm": 0.2934260070323944,
+      "learning_rate": 3.7093333333333336e-06,
+      "loss": 0.2594,
+      "step": 6110
+    },
+    {
+      "epoch": 2.448,
+      "grad_norm": 0.24371583759784698,
+      "learning_rate": 3.6826666666666673e-06,
+      "loss": 0.2534,
+      "step": 6120
+    },
+    {
+      "epoch": 2.452,
+      "grad_norm": 0.25196611881256104,
+      "learning_rate": 3.6560000000000002e-06,
+      "loss": 0.231,
+      "step": 6130
+    },
+    {
+      "epoch": 2.456,
+      "grad_norm": 0.34707802534103394,
+      "learning_rate": 3.6293333333333335e-06,
+      "loss": 0.2799,
+      "step": 6140
+    },
+    {
+      "epoch": 2.46,
+      "grad_norm": 0.28383809328079224,
+      "learning_rate": 3.6026666666666673e-06,
+      "loss": 0.2785,
+      "step": 6150
+    },
+    {
+      "epoch": 2.464,
+      "grad_norm": 0.32474640011787415,
+      "learning_rate": 3.576e-06,
+      "loss": 0.2591,
+      "step": 6160
+    },
+    {
+      "epoch": 2.468,
+      "grad_norm": 0.3230029344558716,
+      "learning_rate": 3.5493333333333335e-06,
+      "loss": 0.2525,
+      "step": 6170
+    },
+    {
+      "epoch": 2.472,
+      "grad_norm": 0.2746059000492096,
+      "learning_rate": 3.522666666666667e-06,
+      "loss": 0.2664,
+      "step": 6180
+    },
+    {
+      "epoch": 2.476,
+      "grad_norm": 0.3114841878414154,
+      "learning_rate": 3.4960000000000005e-06,
+      "loss": 0.2363,
+      "step": 6190
+    },
+    {
+      "epoch": 2.48,
+      "grad_norm": 0.29724350571632385,
+      "learning_rate": 3.4693333333333334e-06,
+      "loss": 0.2701,
+      "step": 6200
+    },
+    {
+      "epoch": 2.484,
+      "grad_norm": 0.38215216994285583,
+      "learning_rate": 3.442666666666667e-06,
+      "loss": 0.2467,
+      "step": 6210
+    },
+    {
+      "epoch": 2.488,
+      "grad_norm": 0.45951414108276367,
+      "learning_rate": 3.4160000000000004e-06,
+      "loss": 0.2627,
+      "step": 6220
+    },
+    {
+      "epoch": 2.492,
+      "grad_norm": 0.4669560492038727,
+      "learning_rate": 3.3893333333333333e-06,
+      "loss": 0.2706,
+      "step": 6230
+    },
+    {
+      "epoch": 2.496,
+      "grad_norm": 0.35591474175453186,
+      "learning_rate": 3.362666666666667e-06,
+      "loss": 0.2656,
+      "step": 6240
+    },
+    {
+      "epoch": 2.5,
+      "grad_norm": 0.3012729287147522,
+      "learning_rate": 3.3360000000000003e-06,
+      "loss": 0.2569,
+      "step": 6250
+    },
+    {
+      "epoch": 2.504,
+      "grad_norm": 0.41401100158691406,
+      "learning_rate": 3.3093333333333336e-06,
+      "loss": 0.258,
+      "step": 6260
+    },
+    {
+      "epoch": 2.508,
+      "grad_norm": 0.3326101303100586,
+      "learning_rate": 3.282666666666667e-06,
+      "loss": 0.2464,
+      "step": 6270
+    },
+    {
+      "epoch": 2.512,
+      "grad_norm": 0.40910303592681885,
+      "learning_rate": 3.2560000000000003e-06,
+      "loss": 0.2638,
+      "step": 6280
+    },
+    {
+      "epoch": 2.516,
+      "grad_norm": 0.31520652770996094,
+      "learning_rate": 3.2293333333333336e-06,
+      "loss": 0.2396,
+      "step": 6290
+    },
+    {
+      "epoch": 2.52,
+      "grad_norm": 0.22357305884361267,
+      "learning_rate": 3.202666666666667e-06,
+      "loss": 0.2404,
+      "step": 6300
+    },
+    {
+      "epoch": 2.524,
+      "grad_norm": 0.37271714210510254,
+      "learning_rate": 3.176e-06,
+      "loss": 0.2699,
+      "step": 6310
+    },
+    {
+      "epoch": 2.528,
+      "grad_norm": 0.4670230448246002,
+      "learning_rate": 3.1493333333333335e-06,
+      "loss": 0.2917,
+      "step": 6320
+    },
+    {
+      "epoch": 2.532,
+      "grad_norm": 0.2631402015686035,
+      "learning_rate": 3.122666666666667e-06,
+      "loss": 0.2332,
+      "step": 6330
+    },
+    {
+      "epoch": 2.536,
+      "grad_norm": 0.3713894188404083,
+      "learning_rate": 3.096e-06,
+      "loss": 0.2639,
+      "step": 6340
+    },
+    {
+      "epoch": 2.54,
+      "grad_norm": 0.3112774193286896,
+      "learning_rate": 3.069333333333334e-06,
+      "loss": 0.2441,
+      "step": 6350
+    },
+    {
+      "epoch": 2.544,
+      "grad_norm": 0.3473227620124817,
+      "learning_rate": 3.042666666666667e-06,
+      "loss": 0.2648,
+      "step": 6360
+    },
+    {
+      "epoch": 2.548,
+      "grad_norm": 0.33424028754234314,
+      "learning_rate": 3.016e-06,
+      "loss": 0.2648,
+      "step": 6370
+    },
+    {
+      "epoch": 2.552,
+      "grad_norm": 0.51408451795578,
+      "learning_rate": 2.9893333333333337e-06,
+      "loss": 0.2711,
+      "step": 6380
+    },
+    {
+      "epoch": 2.556,
+      "grad_norm": 0.4163203239440918,
+      "learning_rate": 2.962666666666667e-06,
+      "loss": 0.2743,
+      "step": 6390
+    },
+    {
+      "epoch": 2.56,
+      "grad_norm": 0.3894965946674347,
+      "learning_rate": 2.9360000000000003e-06,
+      "loss": 0.2359,
+      "step": 6400
+    },
+    {
+      "epoch": 2.564,
+      "grad_norm": 0.3148307800292969,
+      "learning_rate": 2.9093333333333337e-06,
+      "loss": 0.2469,
+      "step": 6410
+    },
+    {
+      "epoch": 2.568,
+      "grad_norm": 0.4248031675815582,
+      "learning_rate": 2.882666666666667e-06,
+      "loss": 0.2511,
+      "step": 6420
+    },
+    {
+      "epoch": 2.572,
+      "grad_norm": 0.31970927119255066,
+      "learning_rate": 2.8560000000000003e-06,
+      "loss": 0.279,
+      "step": 6430
+    },
+    {
+      "epoch": 2.576,
+      "grad_norm": 0.31513524055480957,
+      "learning_rate": 2.8293333333333336e-06,
+      "loss": 0.2619,
+      "step": 6440
+    },
+    {
+      "epoch": 2.58,
+      "grad_norm": 0.3363206386566162,
+      "learning_rate": 2.802666666666667e-06,
+      "loss": 0.288,
+      "step": 6450
+    },
+    {
+      "epoch": 2.584,
+      "grad_norm": 0.2524028718471527,
+      "learning_rate": 2.776e-06,
+      "loss": 0.2519,
+      "step": 6460
+    },
+    {
+      "epoch": 2.588,
+      "grad_norm": 0.3439158499240875,
+      "learning_rate": 2.7493333333333335e-06,
+      "loss": 0.2371,
+      "step": 6470
+    },
+    {
+      "epoch": 2.592,
+      "grad_norm": 0.29221490025520325,
+      "learning_rate": 2.722666666666667e-06,
+      "loss": 0.2696,
+      "step": 6480
+    },
+    {
+      "epoch": 2.596,
+      "grad_norm": 0.34799039363861084,
+      "learning_rate": 2.696e-06,
+      "loss": 0.2666,
+      "step": 6490
+    },
+    {
+      "epoch": 2.6,
+      "grad_norm": 0.4551205635070801,
+      "learning_rate": 2.669333333333334e-06,
+      "loss": 0.2648,
+      "step": 6500
+    },
+    {
+      "epoch": 2.604,
+      "grad_norm": 0.29375389218330383,
+      "learning_rate": 2.6426666666666667e-06,
+      "loss": 0.277,
+      "step": 6510
+    },
+    {
+      "epoch": 2.608,
+      "grad_norm": 0.29632267355918884,
+      "learning_rate": 2.616e-06,
+      "loss": 0.259,
+      "step": 6520
+    },
+    {
+      "epoch": 2.612,
+      "grad_norm": 0.3195248544216156,
+      "learning_rate": 2.5893333333333338e-06,
+      "loss": 0.2484,
+      "step": 6530
+    },
+    {
+      "epoch": 2.616,
+      "grad_norm": 0.3340706527233124,
+      "learning_rate": 2.5626666666666666e-06,
+      "loss": 0.2652,
+      "step": 6540
+    },
+    {
+      "epoch": 2.62,
+      "grad_norm": 0.39822614192962646,
+      "learning_rate": 2.536e-06,
+      "loss": 0.2791,
+      "step": 6550
+    },
+    {
+      "epoch": 2.624,
+      "grad_norm": 0.36614692211151123,
+      "learning_rate": 2.5093333333333337e-06,
+      "loss": 0.2482,
+      "step": 6560
+    },
+    {
+      "epoch": 2.628,
+      "grad_norm": 0.4245006740093231,
+      "learning_rate": 2.482666666666667e-06,
+      "loss": 0.2524,
+      "step": 6570
+    },
+    {
+      "epoch": 2.632,
+      "grad_norm": 0.34499475359916687,
+      "learning_rate": 2.4560000000000003e-06,
+      "loss": 0.262,
+      "step": 6580
+    },
+    {
+      "epoch": 2.636,
+      "grad_norm": 0.3177354037761688,
+      "learning_rate": 2.4293333333333336e-06,
+      "loss": 0.2867,
+      "step": 6590
+    },
+    {
+      "epoch": 2.64,
+      "grad_norm": 0.3555511236190796,
+      "learning_rate": 2.402666666666667e-06,
+      "loss": 0.27,
+      "step": 6600
+    },
+    {
+      "epoch": 2.644,
+      "grad_norm": 0.3826945424079895,
+      "learning_rate": 2.376e-06,
+      "loss": 0.2604,
+      "step": 6610
+    },
+    {
+      "epoch": 2.648,
+      "grad_norm": 0.3638239800930023,
+      "learning_rate": 2.3493333333333335e-06,
+      "loss": 0.2417,
+      "step": 6620
+    },
+    {
+      "epoch": 2.652,
+      "grad_norm": 0.32289937138557434,
+      "learning_rate": 2.322666666666667e-06,
+      "loss": 0.2792,
+      "step": 6630
+    },
+    {
+      "epoch": 2.656,
+      "grad_norm": 0.28800535202026367,
+      "learning_rate": 2.296e-06,
+      "loss": 0.2729,
+      "step": 6640
+    },
+    {
+      "epoch": 2.66,
+      "grad_norm": 0.36719056963920593,
+      "learning_rate": 2.2693333333333334e-06,
+      "loss": 0.2287,
+      "step": 6650
+    },
+    {
+      "epoch": 2.664,
+      "grad_norm": 0.42012321949005127,
+      "learning_rate": 2.2426666666666667e-06,
+      "loss": 0.2811,
+      "step": 6660
+    },
+    {
+      "epoch": 2.668,
+      "grad_norm": 0.35131990909576416,
+      "learning_rate": 2.216e-06,
+      "loss": 0.2634,
+      "step": 6670
+    },
+    {
+      "epoch": 2.672,
+      "grad_norm": 0.397480309009552,
+      "learning_rate": 2.1893333333333338e-06,
+      "loss": 0.2424,
+      "step": 6680
+    },
+    {
+      "epoch": 2.676,
+      "grad_norm": 0.2677237391471863,
+      "learning_rate": 2.1626666666666667e-06,
+      "loss": 0.2593,
+      "step": 6690
+    },
+    {
+      "epoch": 2.68,
+      "grad_norm": 0.2971876263618469,
+      "learning_rate": 2.1360000000000004e-06,
+      "loss": 0.2767,
+      "step": 6700
+    },
+    {
+      "epoch": 2.684,
+      "grad_norm": 0.5161861181259155,
+      "learning_rate": 2.1093333333333337e-06,
+      "loss": 0.2999,
+      "step": 6710
+    },
+    {
+      "epoch": 2.6879999999999997,
+      "grad_norm": 0.31487298011779785,
+      "learning_rate": 2.0826666666666666e-06,
+      "loss": 0.2711,
+      "step": 6720
+    },
+    {
+      "epoch": 2.692,
+      "grad_norm": 0.46860599517822266,
+      "learning_rate": 2.0560000000000003e-06,
+      "loss": 0.2919,
+      "step": 6730
+    },
+    {
+      "epoch": 2.6959999999999997,
+      "grad_norm": 0.2851034104824066,
+      "learning_rate": 2.0293333333333336e-06,
+      "loss": 0.265,
+      "step": 6740
+    },
+    {
+      "epoch": 2.7,
+      "grad_norm": 0.0,
+      "learning_rate": 2.002666666666667e-06,
+      "loss": 0.2388,
+      "step": 6750
+    },
+    {
+      "epoch": 2.7039999999999997,
+      "grad_norm": 0.0,
+      "learning_rate": 1.9760000000000002e-06,
+      "loss": 0.2753,
+      "step": 6760
+    },
+    {
+      "epoch": 2.708,
+      "grad_norm": 0.0,
+      "learning_rate": 1.9493333333333335e-06,
+      "loss": 0.2555,
+      "step": 6770
+    },
+    {
+      "epoch": 2.7119999999999997,
+      "grad_norm": 0.0,
+      "learning_rate": 1.922666666666667e-06,
+      "loss": 0.2671,
+      "step": 6780
+    },
+    {
+      "epoch": 2.716,
+      "grad_norm": 0.0,
+      "learning_rate": 1.8960000000000001e-06,
+      "loss": 0.284,
+      "step": 6790
+    },
+    {
+      "epoch": 2.7199999999999998,
+      "grad_norm": 0.0,
+      "learning_rate": 1.8693333333333337e-06,
+      "loss": 0.2394,
+      "step": 6800
+    },
+    {
+      "epoch": 2.724,
+      "grad_norm": 0.0,
+      "learning_rate": 1.8426666666666668e-06,
+      "loss": 0.2187,
+      "step": 6810
+    },
+    {
+      "epoch": 2.7279999999999998,
+      "grad_norm": 0.0,
+      "learning_rate": 1.8160000000000003e-06,
+      "loss": 0.2558,
+      "step": 6820
+    },
+    {
+      "epoch": 2.732,
+      "grad_norm": 0.0,
+      "learning_rate": 1.7893333333333336e-06,
+      "loss": 0.2547,
+      "step": 6830
+    },
+    {
+      "epoch": 2.7359999999999998,
+      "grad_norm": 0.0,
+      "learning_rate": 1.7626666666666667e-06,
+      "loss": 0.2785,
+      "step": 6840
+    },
+    {
+      "epoch": 2.74,
+      "grad_norm": 0.0,
+      "learning_rate": 1.7360000000000002e-06,
+      "loss": 0.2817,
+      "step": 6850
+    },
+    {
+      "epoch": 2.7439999999999998,
+      "grad_norm": 0.0,
+      "learning_rate": 1.7093333333333335e-06,
+      "loss": 0.2497,
+      "step": 6860
+    },
+    {
+      "epoch": 2.748,
+      "grad_norm": 0.0,
+      "learning_rate": 1.6826666666666668e-06,
+      "loss": 0.2458,
+      "step": 6870
+    },
+    {
+      "epoch": 2.752,
+      "grad_norm": 0.0,
+      "learning_rate": 1.6560000000000001e-06,
+      "loss": 0.237,
+      "step": 6880
+    },
+    {
+      "epoch": 2.7560000000000002,
+      "grad_norm": 0.0,
+      "learning_rate": 1.6293333333333336e-06,
+      "loss": 0.291,
+      "step": 6890
+    },
+    {
+      "epoch": 2.76,
+      "grad_norm": 0.0,
+      "learning_rate": 1.6026666666666667e-06,
+      "loss": 0.2691,
+      "step": 6900
+    },
+    {
+      "epoch": 2.7640000000000002,
+      "grad_norm": 0.0,
+      "learning_rate": 1.576e-06,
+      "loss": 0.2798,
+      "step": 6910
+    },
+    {
+      "epoch": 2.768,
+      "grad_norm": 0.0,
+      "learning_rate": 1.5493333333333335e-06,
+      "loss": 0.2322,
+      "step": 6920
+    },
+    {
+      "epoch": 2.7720000000000002,
+      "grad_norm": 0.0,
+      "learning_rate": 1.5226666666666666e-06,
+      "loss": 0.2415,
+      "step": 6930
+    },
+    {
+      "epoch": 2.776,
+      "grad_norm": 0.0,
+      "learning_rate": 1.4960000000000002e-06,
+      "loss": 0.2546,
+      "step": 6940
+    },
+    {
+      "epoch": 2.7800000000000002,
+      "grad_norm": 0.0,
+      "learning_rate": 1.4693333333333335e-06,
+      "loss": 0.2672,
+      "step": 6950
+    },
+    {
+      "epoch": 2.784,
+      "grad_norm": 0.0,
+      "learning_rate": 1.4426666666666666e-06,
+      "loss": 0.2561,
+      "step": 6960
+    },
+    {
+      "epoch": 2.7880000000000003,
+      "grad_norm": 0.0,
+      "learning_rate": 1.416e-06,
+      "loss": 0.2782,
+      "step": 6970
+    },
+    {
+      "epoch": 2.792,
+      "grad_norm": 0.0,
+      "learning_rate": 1.3893333333333334e-06,
+      "loss": 0.2873,
+      "step": 6980
+    },
+    {
+      "epoch": 2.7960000000000003,
+      "grad_norm": 0.0,
+      "learning_rate": 1.362666666666667e-06,
+      "loss": 0.283,
+      "step": 6990
+    },
+    {
+      "epoch": 2.8,
+      "grad_norm": 0.0,
+      "learning_rate": 1.336e-06,
+      "loss": 0.2643,
+      "step": 7000
+    },
+    {
+      "epoch": 2.8040000000000003,
+      "grad_norm": 0.0,
+      "learning_rate": 1.3093333333333335e-06,
+      "loss": 0.2558,
+      "step": 7010
+    },
+    {
+      "epoch": 2.808,
+      "grad_norm": 0.0,
+      "learning_rate": 1.2826666666666668e-06,
+      "loss": 0.2542,
+      "step": 7020
+    },
+    {
+      "epoch": 2.8120000000000003,
+      "grad_norm": 0.0,
+      "learning_rate": 1.256e-06,
+      "loss": 0.2865,
+      "step": 7030
+    },
+    {
+      "epoch": 2.816,
+      "grad_norm": 0.0,
+      "learning_rate": 1.2293333333333334e-06,
+      "loss": 0.2679,
+      "step": 7040
+    },
+    {
+      "epoch": 2.82,
+      "grad_norm": 0.0,
+      "learning_rate": 1.2026666666666667e-06,
+      "loss": 0.2472,
+      "step": 7050
+    },
+    {
+      "epoch": 2.824,
+      "grad_norm": 0.0,
+      "learning_rate": 1.176e-06,
+      "loss": 0.2612,
+      "step": 7060
+    },
+    {
+      "epoch": 2.828,
+      "grad_norm": 0.0,
+      "learning_rate": 1.1493333333333334e-06,
+      "loss": 0.2425,
+      "step": 7070
+    },
+    {
+      "epoch": 2.832,
+      "grad_norm": 0.0,
+      "learning_rate": 1.1226666666666667e-06,
+      "loss": 0.2686,
+      "step": 7080
+    },
+    {
+      "epoch": 2.836,
+      "grad_norm": 0.0,
+      "learning_rate": 1.0960000000000002e-06,
+      "loss": 0.2608,
+      "step": 7090
+    },
+    {
+      "epoch": 2.84,
+      "grad_norm": 0.0,
+      "learning_rate": 1.0693333333333335e-06,
+      "loss": 0.2541,
+      "step": 7100
+    },
+    {
+      "epoch": 2.844,
+      "grad_norm": 0.0,
+      "learning_rate": 1.0426666666666668e-06,
+      "loss": 0.2462,
+      "step": 7110
+    },
+    {
+      "epoch": 2.848,
+      "grad_norm": 0.0,
+      "learning_rate": 1.016e-06,
+      "loss": 0.2563,
+      "step": 7120
+    },
+    {
+      "epoch": 2.852,
+      "grad_norm": 0.0,
+      "learning_rate": 9.893333333333334e-07,
+      "loss": 0.2564,
+      "step": 7130
+    },
+    {
+      "epoch": 2.856,
+      "grad_norm": 0.0,
+      "learning_rate": 9.626666666666667e-07,
+      "loss": 0.2653,
+      "step": 7140
+    },
+    {
+      "epoch": 2.86,
+      "grad_norm": 0.0,
+      "learning_rate": 9.360000000000001e-07,
+      "loss": 0.2558,
+      "step": 7150
+    },
+    {
+      "epoch": 2.864,
+      "grad_norm": 0.0,
+      "learning_rate": 9.093333333333334e-07,
+      "loss": 0.264,
+      "step": 7160
+    },
+    {
+      "epoch": 2.868,
+      "grad_norm": 0.0,
+      "learning_rate": 8.826666666666666e-07,
+      "loss": 0.2629,
+      "step": 7170
+    },
+    {
+      "epoch": 2.872,
+      "grad_norm": 0.0,
+      "learning_rate": 8.56e-07,
+      "loss": 0.2549,
+      "step": 7180
+    },
+    {
+      "epoch": 2.876,
+      "grad_norm": 0.0,
+      "learning_rate": 8.293333333333333e-07,
+      "loss": 0.2387,
+      "step": 7190
+    },
+    {
+      "epoch": 2.88,
+      "grad_norm": 0.0,
+      "learning_rate": 8.026666666666668e-07,
+      "loss": 0.2809,
+      "step": 7200
+    },
+    {
+      "epoch": 2.884,
+      "grad_norm": 0.0,
+      "learning_rate": 7.760000000000001e-07,
+      "loss": 0.2613,
+      "step": 7210
+    },
+    {
+      "epoch": 2.888,
+      "grad_norm": 0.0,
+      "learning_rate": 7.493333333333335e-07,
+      "loss": 0.2708,
+      "step": 7220
+    },
+    {
+      "epoch": 2.892,
+      "grad_norm": 0.0,
+      "learning_rate": 7.226666666666668e-07,
+      "loss": 0.2772,
+      "step": 7230
+    },
+    {
+      "epoch": 2.896,
+      "grad_norm": 0.0,
+      "learning_rate": 6.96e-07,
+      "loss": 0.2433,
+      "step": 7240
+    },
+    {
+      "epoch": 2.9,
+      "grad_norm": 0.0,
+      "learning_rate": 6.693333333333334e-07,
+      "loss": 0.2586,
+      "step": 7250
+    },
+    {
+      "epoch": 2.904,
+      "grad_norm": 0.0,
+      "learning_rate": 6.426666666666667e-07,
+      "loss": 0.2583,
+      "step": 7260
+    },
+    {
+      "epoch": 2.908,
+      "grad_norm": 0.0,
+      "learning_rate": 6.160000000000001e-07,
+      "loss": 0.2913,
+      "step": 7270
+    },
+    {
+      "epoch": 2.912,
+      "grad_norm": 0.0,
+      "learning_rate": 5.893333333333333e-07,
+      "loss": 0.2414,
+      "step": 7280
+    },
+    {
+      "epoch": 2.916,
+      "grad_norm": 0.0,
+      "learning_rate": 5.626666666666667e-07,
+      "loss": 0.2641,
+      "step": 7290
+    },
+    {
+      "epoch": 2.92,
+      "grad_norm": 0.0,
+      "learning_rate": 5.36e-07,
+      "loss": 0.2252,
+      "step": 7300
+    },
+    {
+      "epoch": 2.924,
+      "grad_norm": 0.0,
+      "learning_rate": 5.093333333333333e-07,
+      "loss": 0.2639,
+      "step": 7310
+    },
+    {
+      "epoch": 2.928,
+      "grad_norm": 0.0,
+      "learning_rate": 4.826666666666666e-07,
+      "loss": 0.2896,
+      "step": 7320
+    },
+    {
+      "epoch": 2.932,
+      "grad_norm": 0.0,
+      "learning_rate": 4.5600000000000006e-07,
+      "loss": 0.2882,
+      "step": 7330
+    },
+    {
+      "epoch": 2.936,
+      "grad_norm": 0.0,
+      "learning_rate": 4.293333333333333e-07,
+      "loss": 0.2556,
+      "step": 7340
+    },
+    {
+      "epoch": 2.94,
+      "grad_norm": 0.0,
+      "learning_rate": 4.0266666666666667e-07,
+      "loss": 0.2428,
+      "step": 7350
+    },
+    {
+      "epoch": 2.944,
+      "grad_norm": 0.0,
+      "learning_rate": 3.7600000000000003e-07,
+      "loss": 0.2564,
+      "step": 7360
+    },
+    {
+      "epoch": 2.948,
+      "grad_norm": 0.0,
+      "learning_rate": 3.4933333333333334e-07,
+      "loss": 0.2689,
+      "step": 7370
+    },
+    {
+      "epoch": 2.952,
+      "grad_norm": 0.0,
+      "learning_rate": 3.226666666666667e-07,
+      "loss": 0.2383,
+      "step": 7380
+    },
+    {
+      "epoch": 2.956,
+      "grad_norm": 0.0,
+      "learning_rate": 2.9600000000000006e-07,
+      "loss": 0.2568,
+      "step": 7390
+    },
+    {
+      "epoch": 2.96,
+      "grad_norm": 0.0,
+      "learning_rate": 2.6933333333333336e-07,
+      "loss": 0.264,
+      "step": 7400
+    },
+    {
+      "epoch": 2.964,
+      "grad_norm": 0.0,
+      "learning_rate": 2.4266666666666667e-07,
+      "loss": 0.2973,
+      "step": 7410
+    },
+    {
+      "epoch": 2.968,
+      "grad_norm": 0.0,
+      "learning_rate": 2.1600000000000003e-07,
+      "loss": 0.281,
+      "step": 7420
+    },
+    {
+      "epoch": 2.972,
+      "grad_norm": 0.0,
+      "learning_rate": 1.8933333333333336e-07,
+      "loss": 0.2545,
+      "step": 7430
+    },
+    {
+      "epoch": 2.976,
+      "grad_norm": 0.0,
+      "learning_rate": 1.6266666666666667e-07,
+      "loss": 0.2703,
+      "step": 7440
+    },
+    {
+      "epoch": 2.98,
+      "grad_norm": 0.0,
+      "learning_rate": 1.36e-07,
+      "loss": 0.2595,
+      "step": 7450
+    },
+    {
+      "epoch": 2.984,
+      "grad_norm": 0.0,
+      "learning_rate": 1.0933333333333335e-07,
+      "loss": 0.2705,
+      "step": 7460
+    },
+    {
+      "epoch": 2.988,
+      "grad_norm": 0.0,
+      "learning_rate": 8.266666666666668e-08,
+      "loss": 0.2668,
+      "step": 7470
+    },
+    {
+      "epoch": 2.992,
+      "grad_norm": 0.0,
+      "learning_rate": 5.6000000000000005e-08,
+      "loss": 0.254,
+      "step": 7480
+    },
+    {
+      "epoch": 2.996,
+      "grad_norm": 0.0,
+      "learning_rate": 2.9333333333333335e-08,
+      "loss": 0.2469,
+      "step": 7490
+    },
+    {
+      "epoch": 3.0,
+      "grad_norm": 0.0,
+      "learning_rate": 2.666666666666667e-09,
+      "loss": 0.2699,
+      "step": 7500
+    }
+  ],
+  "logging_steps": 10,
+  "max_steps": 7500,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 3,
+  "save_steps": 500,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": true
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 1.82687367168e+16,
+  "train_batch_size": 4,
+  "trial_name": null,
+  "trial_params": null
+}