diff --git "a/trainer_state.json" "b/trainer_state.json"
new file mode 100644--- /dev/null
+++ "b/trainer_state.json"
@@ -0,0 +1,19741 @@
+{
+  "best_global_step": null,
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 3.0,
+  "eval_steps": 500,
+  "global_step": 2814,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.0010666666666666667,
+      "grad_norm": 4.566504001617432,
+      "learning_rate": 0.0,
+      "loss": 0.8922,
+      "step": 1
+    },
+    {
+      "epoch": 0.0021333333333333334,
+      "grad_norm": 4.4117536544799805,
+      "learning_rate": 5.882352941176471e-08,
+      "loss": 0.9251,
+      "step": 2
+    },
+    {
+      "epoch": 0.0032,
+      "grad_norm": 4.508401393890381,
+      "learning_rate": 1.1764705882352942e-07,
+      "loss": 0.9213,
+      "step": 3
+    },
+    {
+      "epoch": 0.004266666666666667,
+      "grad_norm": 4.617777347564697,
+      "learning_rate": 1.7647058823529414e-07,
+      "loss": 0.9655,
+      "step": 4
+    },
+    {
+      "epoch": 0.005333333333333333,
+      "grad_norm": 3.9636576175689697,
+      "learning_rate": 2.3529411764705883e-07,
+      "loss": 0.8552,
+      "step": 5
+    },
+    {
+      "epoch": 0.0064,
+      "grad_norm": 4.183191776275635,
+      "learning_rate": 2.9411764705882356e-07,
+      "loss": 0.8878,
+      "step": 6
+    },
+    {
+      "epoch": 0.007466666666666667,
+      "grad_norm": 4.5866618156433105,
+      "learning_rate": 3.529411764705883e-07,
+      "loss": 0.931,
+      "step": 7
+    },
+    {
+      "epoch": 0.008533333333333334,
+      "grad_norm": 4.402273178100586,
+      "learning_rate": 4.1176470588235295e-07,
+      "loss": 0.8675,
+      "step": 8
+    },
+    {
+      "epoch": 0.0096,
+      "grad_norm": 4.406903266906738,
+      "learning_rate": 4.7058823529411767e-07,
+      "loss": 0.9926,
+      "step": 9
+    },
+    {
+      "epoch": 0.010666666666666666,
+      "grad_norm": 3.8975658416748047,
+      "learning_rate": 5.294117647058824e-07,
+      "loss": 0.9057,
+      "step": 10
+    },
+    {
+      "epoch": 0.011733333333333333,
+      "grad_norm": 4.261193752288818,
+      "learning_rate": 5.882352941176471e-07,
+      "loss": 0.9186,
+      "step": 11
+    },
+    {
+      "epoch": 0.0128,
+      "grad_norm": 3.6863276958465576,
+      "learning_rate": 6.470588235294118e-07,
+      "loss": 0.9366,
+      "step": 12
+    },
+    {
+      "epoch": 0.013866666666666666,
+      "grad_norm": 4.061769962310791,
+      "learning_rate": 7.058823529411766e-07,
+      "loss": 0.8969,
+      "step": 13
+    },
+    {
+      "epoch": 0.014933333333333333,
+      "grad_norm": 3.740935802459717,
+      "learning_rate": 7.647058823529413e-07,
+      "loss": 0.8348,
+      "step": 14
+    },
+    {
+      "epoch": 0.016,
+      "grad_norm": 3.5623903274536133,
+      "learning_rate": 8.235294117647059e-07,
+      "loss": 0.8454,
+      "step": 15
+    },
+    {
+      "epoch": 0.017066666666666667,
+      "grad_norm": 3.8143725395202637,
+      "learning_rate": 8.823529411764707e-07,
+      "loss": 0.9018,
+      "step": 16
+    },
+    {
+      "epoch": 0.018133333333333335,
+      "grad_norm": 3.5640323162078857,
+      "learning_rate": 9.411764705882353e-07,
+      "loss": 0.908,
+      "step": 17
+    },
+    {
+      "epoch": 0.0192,
+      "grad_norm": 2.721888542175293,
+      "learning_rate": 1.0000000000000002e-06,
+      "loss": 0.9319,
+      "step": 18
+    },
+    {
+      "epoch": 0.020266666666666665,
+      "grad_norm": 2.1399009227752686,
+      "learning_rate": 1.0588235294117648e-06,
+      "loss": 0.8547,
+      "step": 19
+    },
+    {
+      "epoch": 0.021333333333333333,
+      "grad_norm": 2.0046727657318115,
+      "learning_rate": 1.1176470588235296e-06,
+      "loss": 0.8902,
+      "step": 20
+    },
+    {
+      "epoch": 0.0224,
+      "grad_norm": 2.197277069091797,
+      "learning_rate": 1.1764705882352942e-06,
+      "loss": 0.8941,
+      "step": 21
+    },
+    {
+      "epoch": 0.023466666666666667,
+      "grad_norm": 2.0037100315093994,
+      "learning_rate": 1.235294117647059e-06,
+      "loss": 0.907,
+      "step": 22
+    },
+    {
+      "epoch": 0.024533333333333334,
+      "grad_norm": 1.750028371810913,
+      "learning_rate": 1.2941176470588237e-06,
+      "loss": 0.8289,
+      "step": 23
+    },
+    {
+      "epoch": 0.0256,
+      "grad_norm": 1.7012758255004883,
+      "learning_rate": 1.3529411764705883e-06,
+      "loss": 0.8054,
+      "step": 24
+    },
+    {
+      "epoch": 0.02666666666666667,
+      "grad_norm": 1.7519198656082153,
+      "learning_rate": 1.4117647058823531e-06,
+      "loss": 0.8835,
+      "step": 25
+    },
+    {
+      "epoch": 0.027733333333333332,
+      "grad_norm": 1.7918092012405396,
+      "learning_rate": 1.4705882352941177e-06,
+      "loss": 0.8299,
+      "step": 26
+    },
+    {
+      "epoch": 0.0288,
+      "grad_norm": 1.7241520881652832,
+      "learning_rate": 1.5294117647058826e-06,
+      "loss": 0.7901,
+      "step": 27
+    },
+    {
+      "epoch": 0.029866666666666666,
+      "grad_norm": 1.9483325481414795,
+      "learning_rate": 1.5882352941176472e-06,
+      "loss": 0.8185,
+      "step": 28
+    },
+    {
+      "epoch": 0.030933333333333334,
+      "grad_norm": 1.6269898414611816,
+      "learning_rate": 1.6470588235294118e-06,
+      "loss": 0.7378,
+      "step": 29
+    },
+    {
+      "epoch": 0.032,
+      "grad_norm": 1.8874937295913696,
+      "learning_rate": 1.7058823529411766e-06,
+      "loss": 0.9152,
+      "step": 30
+    },
+    {
+      "epoch": 0.03306666666666667,
+      "grad_norm": 1.8306068181991577,
+      "learning_rate": 1.7647058823529414e-06,
+      "loss": 0.8539,
+      "step": 31
+    },
+    {
+      "epoch": 0.034133333333333335,
+      "grad_norm": 1.613088846206665,
+      "learning_rate": 1.8235294117647058e-06,
+      "loss": 0.8366,
+      "step": 32
+    },
+    {
+      "epoch": 0.0352,
+      "grad_norm": 1.4593359231948853,
+      "learning_rate": 1.8823529411764707e-06,
+      "loss": 0.8555,
+      "step": 33
+    },
+    {
+      "epoch": 0.03626666666666667,
+      "grad_norm": 1.3017423152923584,
+      "learning_rate": 1.9411764705882353e-06,
+      "loss": 0.8561,
+      "step": 34
+    },
+    {
+      "epoch": 0.037333333333333336,
+      "grad_norm": 1.2600188255310059,
+      "learning_rate": 2.0000000000000003e-06,
+      "loss": 0.9059,
+      "step": 35
+    },
+    {
+      "epoch": 0.0384,
+      "grad_norm": 1.0784955024719238,
+      "learning_rate": 2.058823529411765e-06,
+      "loss": 0.806,
+      "step": 36
+    },
+    {
+      "epoch": 0.039466666666666664,
+      "grad_norm": 1.0628715753555298,
+      "learning_rate": 2.1176470588235296e-06,
+      "loss": 0.8493,
+      "step": 37
+    },
+    {
+      "epoch": 0.04053333333333333,
+      "grad_norm": 0.9693719148635864,
+      "learning_rate": 2.176470588235294e-06,
+      "loss": 0.7355,
+      "step": 38
+    },
+    {
+      "epoch": 0.0416,
+      "grad_norm": 0.9862779378890991,
+      "learning_rate": 2.2352941176470592e-06,
+      "loss": 0.8022,
+      "step": 39
+    },
+    {
+      "epoch": 0.042666666666666665,
+      "grad_norm": 0.9912720322608948,
+      "learning_rate": 2.2941176470588234e-06,
+      "loss": 0.8134,
+      "step": 40
+    },
+    {
+      "epoch": 0.04373333333333333,
+      "grad_norm": 0.8306381106376648,
+      "learning_rate": 2.3529411764705885e-06,
+      "loss": 0.7472,
+      "step": 41
+    },
+    {
+      "epoch": 0.0448,
+      "grad_norm": 0.8788517713546753,
+      "learning_rate": 2.411764705882353e-06,
+      "loss": 0.7787,
+      "step": 42
+    },
+    {
+      "epoch": 0.04586666666666667,
+      "grad_norm": 0.7703118324279785,
+      "learning_rate": 2.470588235294118e-06,
+      "loss": 0.7422,
+      "step": 43
+    },
+    {
+      "epoch": 0.046933333333333334,
+      "grad_norm": 0.7671517133712769,
+      "learning_rate": 2.5294117647058823e-06,
+      "loss": 0.8003,
+      "step": 44
+    },
+    {
+      "epoch": 0.048,
+      "grad_norm": 0.8128208518028259,
+      "learning_rate": 2.5882352941176473e-06,
+      "loss": 0.8253,
+      "step": 45
+    },
+    {
+      "epoch": 0.04906666666666667,
+      "grad_norm": 0.8128588199615479,
+      "learning_rate": 2.647058823529412e-06,
+      "loss": 0.8277,
+      "step": 46
+    },
+    {
+      "epoch": 0.050133333333333335,
+      "grad_norm": 0.7655066251754761,
+      "learning_rate": 2.7058823529411766e-06,
+      "loss": 0.7095,
+      "step": 47
+    },
+    {
+      "epoch": 0.0512,
+      "grad_norm": 0.7544714212417603,
+      "learning_rate": 2.7647058823529416e-06,
+      "loss": 0.7045,
+      "step": 48
+    },
+    {
+      "epoch": 0.05226666666666667,
+      "grad_norm": 0.719732940196991,
+      "learning_rate": 2.8235294117647062e-06,
+      "loss": 0.6996,
+      "step": 49
+    },
+    {
+      "epoch": 0.05333333333333334,
+      "grad_norm": 0.794549822807312,
+      "learning_rate": 2.8823529411764704e-06,
+      "loss": 0.7439,
+      "step": 50
+    },
+    {
+      "epoch": 0.0544,
+      "grad_norm": 0.7253097295761108,
+      "learning_rate": 2.9411764705882355e-06,
+      "loss": 0.7625,
+      "step": 51
+    },
+    {
+      "epoch": 0.055466666666666664,
+      "grad_norm": 0.6963235139846802,
+      "learning_rate": 3e-06,
+      "loss": 0.6687,
+      "step": 52
+    },
+    {
+      "epoch": 0.05653333333333333,
+      "grad_norm": 0.7076661586761475,
+      "learning_rate": 3.058823529411765e-06,
+      "loss": 0.7561,
+      "step": 53
+    },
+    {
+      "epoch": 0.0576,
+      "grad_norm": 0.7591197490692139,
+      "learning_rate": 3.1176470588235297e-06,
+      "loss": 0.7876,
+      "step": 54
+    },
+    {
+      "epoch": 0.058666666666666666,
+      "grad_norm": 0.7556438446044922,
+      "learning_rate": 3.1764705882352943e-06,
+      "loss": 0.773,
+      "step": 55
+    },
+    {
+      "epoch": 0.05973333333333333,
+      "grad_norm": 0.7726501822471619,
+      "learning_rate": 3.2352941176470594e-06,
+      "loss": 0.7701,
+      "step": 56
+    },
+    {
+      "epoch": 0.0608,
+      "grad_norm": 0.6716817021369934,
+      "learning_rate": 3.2941176470588236e-06,
+      "loss": 0.6678,
+      "step": 57
+    },
+    {
+      "epoch": 0.06186666666666667,
+      "grad_norm": 0.6559661030769348,
+      "learning_rate": 3.352941176470588e-06,
+      "loss": 0.6855,
+      "step": 58
+    },
+    {
+      "epoch": 0.06293333333333333,
+      "grad_norm": 0.6422522068023682,
+      "learning_rate": 3.4117647058823532e-06,
+      "loss": 0.6898,
+      "step": 59
+    },
+    {
+      "epoch": 0.064,
+      "grad_norm": 0.7184504866600037,
+      "learning_rate": 3.470588235294118e-06,
+      "loss": 0.742,
+      "step": 60
+    },
+    {
+      "epoch": 0.06506666666666666,
+      "grad_norm": 0.7742836475372314,
+      "learning_rate": 3.529411764705883e-06,
+      "loss": 0.746,
+      "step": 61
+    },
+    {
+      "epoch": 0.06613333333333334,
+      "grad_norm": 0.6760046482086182,
+      "learning_rate": 3.5882352941176475e-06,
+      "loss": 0.7009,
+      "step": 62
+    },
+    {
+      "epoch": 0.0672,
+      "grad_norm": 0.6763818264007568,
+      "learning_rate": 3.6470588235294117e-06,
+      "loss": 0.7294,
+      "step": 63
+    },
+    {
+      "epoch": 0.06826666666666667,
+      "grad_norm": 0.7293891310691833,
+      "learning_rate": 3.7058823529411767e-06,
+      "loss": 0.7667,
+      "step": 64
+    },
+    {
+      "epoch": 0.06933333333333333,
+      "grad_norm": 0.6588060855865479,
+      "learning_rate": 3.7647058823529414e-06,
+      "loss": 0.7138,
+      "step": 65
+    },
+    {
+      "epoch": 0.0704,
+      "grad_norm": 0.8562939167022705,
+      "learning_rate": 3.8235294117647055e-06,
+      "loss": 0.7254,
+      "step": 66
+    },
+    {
+      "epoch": 0.07146666666666666,
+      "grad_norm": 0.6445937156677246,
+      "learning_rate": 3.882352941176471e-06,
+      "loss": 0.7395,
+      "step": 67
+    },
+    {
+      "epoch": 0.07253333333333334,
+      "grad_norm": 0.7322450280189514,
+      "learning_rate": 3.941176470588236e-06,
+      "loss": 0.7671,
+      "step": 68
+    },
+    {
+      "epoch": 0.0736,
+      "grad_norm": 0.6127592921257019,
+      "learning_rate": 4.000000000000001e-06,
+      "loss": 0.7073,
+      "step": 69
+    },
+    {
+      "epoch": 0.07466666666666667,
+      "grad_norm": 0.6505527496337891,
+      "learning_rate": 4.058823529411765e-06,
+      "loss": 0.7017,
+      "step": 70
+    },
+    {
+      "epoch": 0.07573333333333333,
+      "grad_norm": 0.6569400429725647,
+      "learning_rate": 4.11764705882353e-06,
+      "loss": 0.7127,
+      "step": 71
+    },
+    {
+      "epoch": 0.0768,
+      "grad_norm": 0.6146572232246399,
+      "learning_rate": 4.176470588235295e-06,
+      "loss": 0.6991,
+      "step": 72
+    },
+    {
+      "epoch": 0.07786666666666667,
+      "grad_norm": 0.5813089609146118,
+      "learning_rate": 4.235294117647059e-06,
+      "loss": 0.6021,
+      "step": 73
+    },
+    {
+      "epoch": 0.07893333333333333,
+      "grad_norm": 0.6429851651191711,
+      "learning_rate": 4.294117647058823e-06,
+      "loss": 0.676,
+      "step": 74
+    },
+    {
+      "epoch": 0.08,
+      "grad_norm": 0.6435620188713074,
+      "learning_rate": 4.352941176470588e-06,
+      "loss": 0.7147,
+      "step": 75
+    },
+    {
+      "epoch": 0.08106666666666666,
+      "grad_norm": 0.6419257521629333,
+      "learning_rate": 4.411764705882353e-06,
+      "loss": 0.6814,
+      "step": 76
+    },
+    {
+      "epoch": 0.08213333333333334,
+      "grad_norm": 0.6326638460159302,
+      "learning_rate": 4.4705882352941184e-06,
+      "loss": 0.7013,
+      "step": 77
+    },
+    {
+      "epoch": 0.0832,
+      "grad_norm": 0.6038550138473511,
+      "learning_rate": 4.529411764705883e-06,
+      "loss": 0.6816,
+      "step": 78
+    },
+    {
+      "epoch": 0.08426666666666667,
+      "grad_norm": 0.7091596126556396,
+      "learning_rate": 4.588235294117647e-06,
+      "loss": 0.7548,
+      "step": 79
+    },
+    {
+      "epoch": 0.08533333333333333,
+      "grad_norm": 0.6248887777328491,
+      "learning_rate": 4.647058823529412e-06,
+      "loss": 0.7115,
+      "step": 80
+    },
+    {
+      "epoch": 0.0864,
+      "grad_norm": 0.6790881156921387,
+      "learning_rate": 4.705882352941177e-06,
+      "loss": 0.7399,
+      "step": 81
+    },
+    {
+      "epoch": 0.08746666666666666,
+      "grad_norm": 0.5829601883888245,
+      "learning_rate": 4.764705882352941e-06,
+      "loss": 0.6517,
+      "step": 82
+    },
+    {
+      "epoch": 0.08853333333333334,
+      "grad_norm": 0.6263288855552673,
+      "learning_rate": 4.823529411764706e-06,
+      "loss": 0.7274,
+      "step": 83
+    },
+    {
+      "epoch": 0.0896,
+      "grad_norm": 0.6250352263450623,
+      "learning_rate": 4.882352941176471e-06,
+      "loss": 0.6625,
+      "step": 84
+    },
+    {
+      "epoch": 0.09066666666666667,
+      "grad_norm": 0.6283255219459534,
+      "learning_rate": 4.941176470588236e-06,
+      "loss": 0.6511,
+      "step": 85
+    },
+    {
+      "epoch": 0.09173333333333333,
+      "grad_norm": 0.6237804889678955,
+      "learning_rate": 5e-06,
+      "loss": 0.6797,
+      "step": 86
+    },
+    {
+      "epoch": 0.0928,
+      "grad_norm": 0.6975212097167969,
+      "learning_rate": 4.999998343457284e-06,
+      "loss": 0.7217,
+      "step": 87
+    },
+    {
+      "epoch": 0.09386666666666667,
+      "grad_norm": 0.6506552696228027,
+      "learning_rate": 4.999993373831333e-06,
+      "loss": 0.7298,
+      "step": 88
+    },
+    {
+      "epoch": 0.09493333333333333,
+      "grad_norm": 0.5955935716629028,
+      "learning_rate": 4.999985091128731e-06,
+      "loss": 0.635,
+      "step": 89
+    },
+    {
+      "epoch": 0.096,
+      "grad_norm": 0.6474183797836304,
+      "learning_rate": 4.999973495360456e-06,
+      "loss": 0.6883,
+      "step": 90
+    },
+    {
+      "epoch": 0.09706666666666666,
+      "grad_norm": 0.6518855690956116,
+      "learning_rate": 4.999958586541874e-06,
+      "loss": 0.6947,
+      "step": 91
+    },
+    {
+      "epoch": 0.09813333333333334,
+      "grad_norm": 0.5830003023147583,
+      "learning_rate": 4.999940364692744e-06,
+      "loss": 0.6107,
+      "step": 92
+    },
+    {
+      "epoch": 0.0992,
+      "grad_norm": 0.6202980279922485,
+      "learning_rate": 4.999918829837212e-06,
+      "loss": 0.6691,
+      "step": 93
+    },
+    {
+      "epoch": 0.10026666666666667,
+      "grad_norm": 0.5959928631782532,
+      "learning_rate": 4.999893982003819e-06,
+      "loss": 0.6296,
+      "step": 94
+    },
+    {
+      "epoch": 0.10133333333333333,
+      "grad_norm": 0.6335151195526123,
+      "learning_rate": 4.999865821225493e-06,
+      "loss": 0.7056,
+      "step": 95
+    },
+    {
+      "epoch": 0.1024,
+      "grad_norm": 0.6671686768531799,
+      "learning_rate": 4.999834347539554e-06,
+      "loss": 0.7071,
+      "step": 96
+    },
+    {
+      "epoch": 0.10346666666666667,
+      "grad_norm": 0.6432976722717285,
+      "learning_rate": 4.9997995609877125e-06,
+      "loss": 0.7177,
+      "step": 97
+    },
+    {
+      "epoch": 0.10453333333333334,
+      "grad_norm": 0.6482373476028442,
+      "learning_rate": 4.999761461616068e-06,
+      "loss": 0.6837,
+      "step": 98
+    },
+    {
+      "epoch": 0.1056,
+      "grad_norm": 0.6275866031646729,
+      "learning_rate": 4.999720049475112e-06,
+      "loss": 0.7019,
+      "step": 99
+    },
+    {
+      "epoch": 0.10666666666666667,
+      "grad_norm": 0.6774845123291016,
+      "learning_rate": 4.999675324619724e-06,
+      "loss": 0.7391,
+      "step": 100
+    },
+    {
+      "epoch": 0.10773333333333333,
+      "grad_norm": 0.6798214912414551,
+      "learning_rate": 4.999627287109175e-06,
+      "loss": 0.6801,
+      "step": 101
+    },
+    {
+      "epoch": 0.1088,
+      "grad_norm": 0.6623095870018005,
+      "learning_rate": 4.999575937007128e-06,
+      "loss": 0.668,
+      "step": 102
+    },
+    {
+      "epoch": 0.10986666666666667,
+      "grad_norm": 0.5799662470817566,
+      "learning_rate": 4.99952127438163e-06,
+      "loss": 0.6546,
+      "step": 103
+    },
+    {
+      "epoch": 0.11093333333333333,
+      "grad_norm": 0.6182264089584351,
+      "learning_rate": 4.999463299305126e-06,
+      "loss": 0.6707,
+      "step": 104
+    },
+    {
+      "epoch": 0.112,
+      "grad_norm": 0.6331518292427063,
+      "learning_rate": 4.999402011854444e-06,
+      "loss": 0.6708,
+      "step": 105
+    },
+    {
+      "epoch": 0.11306666666666666,
+      "grad_norm": 0.65323406457901,
+      "learning_rate": 4.999337412110807e-06,
+      "loss": 0.6373,
+      "step": 106
+    },
+    {
+      "epoch": 0.11413333333333334,
+      "grad_norm": 0.6391531825065613,
+      "learning_rate": 4.99926950015982e-06,
+      "loss": 0.7145,
+      "step": 107
+    },
+    {
+      "epoch": 0.1152,
+      "grad_norm": 0.6258933544158936,
+      "learning_rate": 4.999198276091487e-06,
+      "loss": 0.6589,
+      "step": 108
+    },
+    {
+      "epoch": 0.11626666666666667,
+      "grad_norm": 0.5695871114730835,
+      "learning_rate": 4.999123740000193e-06,
+      "loss": 0.5602,
+      "step": 109
+    },
+    {
+      "epoch": 0.11733333333333333,
+      "grad_norm": 0.6247305274009705,
+      "learning_rate": 4.999045891984719e-06,
+      "loss": 0.6947,
+      "step": 110
+    },
+    {
+      "epoch": 0.1184,
+      "grad_norm": 0.6736364960670471,
+      "learning_rate": 4.998964732148229e-06,
+      "loss": 0.7098,
+      "step": 111
+    },
+    {
+      "epoch": 0.11946666666666667,
+      "grad_norm": 0.6904242634773254,
+      "learning_rate": 4.998880260598281e-06,
+      "loss": 0.667,
+      "step": 112
+    },
+    {
+      "epoch": 0.12053333333333334,
+      "grad_norm": 0.6118626594543457,
+      "learning_rate": 4.9987924774468175e-06,
+      "loss": 0.6885,
+      "step": 113
+    },
+    {
+      "epoch": 0.1216,
+      "grad_norm": 0.5440800786018372,
+      "learning_rate": 4.998701382810174e-06,
+      "loss": 0.6067,
+      "step": 114
+    },
+    {
+      "epoch": 0.12266666666666666,
+      "grad_norm": 0.6443036794662476,
+      "learning_rate": 4.99860697680907e-06,
+      "loss": 0.6598,
+      "step": 115
+    },
+    {
+      "epoch": 0.12373333333333333,
+      "grad_norm": 0.6877956986427307,
+      "learning_rate": 4.998509259568617e-06,
+      "loss": 0.7062,
+      "step": 116
+    },
+    {
+      "epoch": 0.1248,
+      "grad_norm": 0.7749872803688049,
+      "learning_rate": 4.998408231218313e-06,
+      "loss": 0.7363,
+      "step": 117
+    },
+    {
+      "epoch": 0.12586666666666665,
+      "grad_norm": 0.6315820217132568,
+      "learning_rate": 4.998303891892043e-06,
+      "loss": 0.6889,
+      "step": 118
+    },
+    {
+      "epoch": 0.12693333333333334,
+      "grad_norm": 0.5668684840202332,
+      "learning_rate": 4.998196241728084e-06,
+      "loss": 0.6431,
+      "step": 119
+    },
+    {
+      "epoch": 0.128,
+      "grad_norm": 0.6565888524055481,
+      "learning_rate": 4.998085280869094e-06,
+      "loss": 0.6744,
+      "step": 120
+    },
+    {
+      "epoch": 0.12906666666666666,
+      "grad_norm": 0.5803560614585876,
+      "learning_rate": 4.997971009462125e-06,
+      "loss": 0.6031,
+      "step": 121
+    },
+    {
+      "epoch": 0.13013333333333332,
+      "grad_norm": 0.5977576375007629,
+      "learning_rate": 4.997853427658612e-06,
+      "loss": 0.6597,
+      "step": 122
+    },
+    {
+      "epoch": 0.1312,
+      "grad_norm": 0.6212902069091797,
+      "learning_rate": 4.997732535614379e-06,
+      "loss": 0.6894,
+      "step": 123
+    },
+    {
+      "epoch": 0.13226666666666667,
+      "grad_norm": 0.5790144205093384,
+      "learning_rate": 4.997608333489635e-06,
+      "loss": 0.6531,
+      "step": 124
+    },
+    {
+      "epoch": 0.13333333333333333,
+      "grad_norm": 0.5905394554138184,
+      "learning_rate": 4.997480821448979e-06,
+      "loss": 0.6342,
+      "step": 125
+    },
+    {
+      "epoch": 0.1344,
+      "grad_norm": 0.5412520170211792,
+      "learning_rate": 4.997349999661392e-06,
+      "loss": 0.6226,
+      "step": 126
+    },
+    {
+      "epoch": 0.13546666666666668,
+      "grad_norm": 0.5972446203231812,
+      "learning_rate": 4.997215868300245e-06,
+      "loss": 0.6593,
+      "step": 127
+    },
+    {
+      "epoch": 0.13653333333333334,
+      "grad_norm": 0.5612914562225342,
+      "learning_rate": 4.9970784275432935e-06,
+      "loss": 0.6188,
+      "step": 128
+    },
+    {
+      "epoch": 0.1376,
+      "grad_norm": 0.59096360206604,
+      "learning_rate": 4.996937677572679e-06,
+      "loss": 0.6469,
+      "step": 129
+    },
+    {
+      "epoch": 0.13866666666666666,
+      "grad_norm": 0.6909805536270142,
+      "learning_rate": 4.996793618574926e-06,
+      "loss": 0.7248,
+      "step": 130
+    },
+    {
+      "epoch": 0.13973333333333332,
+      "grad_norm": 0.620657205581665,
+      "learning_rate": 4.9966462507409484e-06,
+      "loss": 0.6402,
+      "step": 131
+    },
+    {
+      "epoch": 0.1408,
+      "grad_norm": 0.5836001038551331,
+      "learning_rate": 4.9964955742660435e-06,
+      "loss": 0.6516,
+      "step": 132
+    },
+    {
+      "epoch": 0.14186666666666667,
+      "grad_norm": 0.5696783065795898,
+      "learning_rate": 4.9963415893498914e-06,
+      "loss": 0.6112,
+      "step": 133
+    },
+    {
+      "epoch": 0.14293333333333333,
+      "grad_norm": 0.5956443548202515,
+      "learning_rate": 4.996184296196558e-06,
+      "loss": 0.5918,
+      "step": 134
+    },
+    {
+      "epoch": 0.144,
+      "grad_norm": 0.6324007511138916,
+      "learning_rate": 4.996023695014495e-06,
+      "loss": 0.6354,
+      "step": 135
+    },
+    {
+      "epoch": 0.14506666666666668,
+      "grad_norm": 0.6471300721168518,
+      "learning_rate": 4.995859786016536e-06,
+      "loss": 0.6373,
+      "step": 136
+    },
+    {
+      "epoch": 0.14613333333333334,
+      "grad_norm": 0.6222944855690002,
+      "learning_rate": 4.995692569419899e-06,
+      "loss": 0.6736,
+      "step": 137
+    },
+    {
+      "epoch": 0.1472,
+      "grad_norm": 0.5940760970115662,
+      "learning_rate": 4.995522045446184e-06,
+      "loss": 0.6438,
+      "step": 138
+    },
+    {
+      "epoch": 0.14826666666666666,
+      "grad_norm": 0.5666523575782776,
+      "learning_rate": 4.995348214321376e-06,
+      "loss": 0.5949,
+      "step": 139
+    },
+    {
+      "epoch": 0.14933333333333335,
+      "grad_norm": 0.5974641442298889,
+      "learning_rate": 4.995171076275843e-06,
+      "loss": 0.6379,
+      "step": 140
+    },
+    {
+      "epoch": 0.1504,
+      "grad_norm": 0.5480021238327026,
+      "learning_rate": 4.994990631544333e-06,
+      "loss": 0.6413,
+      "step": 141
+    },
+    {
+      "epoch": 0.15146666666666667,
+      "grad_norm": 0.5503633618354797,
+      "learning_rate": 4.994806880365978e-06,
+      "loss": 0.5872,
+      "step": 142
+    },
+    {
+      "epoch": 0.15253333333333333,
+      "grad_norm": 0.6513713598251343,
+      "learning_rate": 4.994619822984291e-06,
+      "loss": 0.6553,
+      "step": 143
+    },
+    {
+      "epoch": 0.1536,
+      "grad_norm": 0.6396033763885498,
+      "learning_rate": 4.994429459647167e-06,
+      "loss": 0.6377,
+      "step": 144
+    },
+    {
+      "epoch": 0.15466666666666667,
+      "grad_norm": 0.5844723582267761,
+      "learning_rate": 4.994235790606883e-06,
+      "loss": 0.6219,
+      "step": 145
+    },
+    {
+      "epoch": 0.15573333333333333,
+      "grad_norm": 0.6159989833831787,
+      "learning_rate": 4.994038816120094e-06,
+      "loss": 0.6611,
+      "step": 146
+    },
+    {
+      "epoch": 0.1568,
+      "grad_norm": 0.5976393222808838,
+      "learning_rate": 4.9938385364478386e-06,
+      "loss": 0.6055,
+      "step": 147
+    },
+    {
+      "epoch": 0.15786666666666666,
+      "grad_norm": 0.6148470044136047,
+      "learning_rate": 4.993634951855534e-06,
+      "loss": 0.6245,
+      "step": 148
+    },
+    {
+      "epoch": 0.15893333333333334,
+      "grad_norm": 0.6044766902923584,
+      "learning_rate": 4.993428062612977e-06,
+      "loss": 0.6378,
+      "step": 149
+    },
+    {
+      "epoch": 0.16,
+      "grad_norm": 0.643021821975708,
+      "learning_rate": 4.993217868994345e-06,
+      "loss": 0.7164,
+      "step": 150
+    },
+    {
+      "epoch": 0.16106666666666666,
+      "grad_norm": 0.7177815437316895,
+      "learning_rate": 4.993004371278194e-06,
+      "loss": 0.7049,
+      "step": 151
+    },
+    {
+      "epoch": 0.16213333333333332,
+      "grad_norm": 0.5678836107254028,
+      "learning_rate": 4.9927875697474574e-06,
+      "loss": 0.6226,
+      "step": 152
+    },
+    {
+      "epoch": 0.1632,
+      "grad_norm": 0.6344117522239685,
+      "learning_rate": 4.9925674646894475e-06,
+      "loss": 0.6447,
+      "step": 153
+    },
+    {
+      "epoch": 0.16426666666666667,
+      "grad_norm": 0.6891792416572571,
+      "learning_rate": 4.992344056395857e-06,
+      "loss": 0.7171,
+      "step": 154
+    },
+    {
+      "epoch": 0.16533333333333333,
+      "grad_norm": 0.5988249182701111,
+      "learning_rate": 4.992117345162754e-06,
+      "loss": 0.6318,
+      "step": 155
+    },
+    {
+      "epoch": 0.1664,
+      "grad_norm": 0.5938913822174072,
+      "learning_rate": 4.991887331290582e-06,
+      "loss": 0.6352,
+      "step": 156
+    },
+    {
+      "epoch": 0.16746666666666668,
+      "grad_norm": 0.603183388710022,
+      "learning_rate": 4.991654015084164e-06,
+      "loss": 0.6347,
+      "step": 157
+    },
+    {
+      "epoch": 0.16853333333333334,
+      "grad_norm": 0.5748515129089355,
+      "learning_rate": 4.991417396852701e-06,
+      "loss": 0.6607,
+      "step": 158
+    },
+    {
+      "epoch": 0.1696,
+      "grad_norm": 0.6740009188652039,
+      "learning_rate": 4.991177476909764e-06,
+      "loss": 0.6992,
+      "step": 159
+    },
+    {
+      "epoch": 0.17066666666666666,
+      "grad_norm": 0.6180859804153442,
+      "learning_rate": 4.990934255573305e-06,
+      "loss": 0.6368,
+      "step": 160
+    },
+    {
+      "epoch": 0.17173333333333332,
+      "grad_norm": 0.6067483425140381,
+      "learning_rate": 4.99068773316565e-06,
+      "loss": 0.6174,
+      "step": 161
+    },
+    {
+      "epoch": 0.1728,
+      "grad_norm": 0.5992940068244934,
+      "learning_rate": 4.990437910013497e-06,
+      "loss": 0.6363,
+      "step": 162
+    },
+    {
+      "epoch": 0.17386666666666667,
+      "grad_norm": 0.5584693551063538,
+      "learning_rate": 4.990184786447922e-06,
+      "loss": 0.6305,
+      "step": 163
+    },
+    {
+      "epoch": 0.17493333333333333,
+      "grad_norm": 0.6583156585693359,
+      "learning_rate": 4.98992836280437e-06,
+      "loss": 0.6789,
+      "step": 164
+    },
+    {
+      "epoch": 0.176,
+      "grad_norm": 0.6230149269104004,
+      "learning_rate": 4.989668639422667e-06,
+      "loss": 0.6852,
+      "step": 165
+    },
+    {
+      "epoch": 0.17706666666666668,
+      "grad_norm": 0.5826439261436462,
+      "learning_rate": 4.989405616647003e-06,
+      "loss": 0.666,
+      "step": 166
+    },
+    {
+      "epoch": 0.17813333333333334,
+      "grad_norm": 0.6398501396179199,
+      "learning_rate": 4.989139294825947e-06,
+      "loss": 0.7031,
+      "step": 167
+    },
+    {
+      "epoch": 0.1792,
+      "grad_norm": 0.6406261920928955,
+      "learning_rate": 4.988869674312438e-06,
+      "loss": 0.7106,
+      "step": 168
+    },
+    {
+      "epoch": 0.18026666666666666,
+      "grad_norm": 0.5871196985244751,
+      "learning_rate": 4.988596755463785e-06,
+      "loss": 0.6562,
+      "step": 169
+    },
+    {
+      "epoch": 0.18133333333333335,
+      "grad_norm": 0.5835694074630737,
+      "learning_rate": 4.98832053864167e-06,
+      "loss": 0.658,
+      "step": 170
+    },
+    {
+      "epoch": 0.1824,
+      "grad_norm": 0.6452926993370056,
+      "learning_rate": 4.9880410242121446e-06,
+      "loss": 0.6592,
+      "step": 171
+    },
+    {
+      "epoch": 0.18346666666666667,
+      "grad_norm": 0.6020696759223938,
+      "learning_rate": 4.987758212545631e-06,
+      "loss": 0.6532,
+      "step": 172
+    },
+    {
+      "epoch": 0.18453333333333333,
+      "grad_norm": 0.5690480470657349,
+      "learning_rate": 4.987472104016923e-06,
+      "loss": 0.6361,
+      "step": 173
+    },
+    {
+      "epoch": 0.1856,
+      "grad_norm": 0.6022936105728149,
+      "learning_rate": 4.987182699005177e-06,
+      "loss": 0.6205,
+      "step": 174
+    },
+    {
+      "epoch": 0.18666666666666668,
+      "grad_norm": 0.5617965459823608,
+      "learning_rate": 4.986889997893927e-06,
+      "loss": 0.5732,
+      "step": 175
+    },
+    {
+      "epoch": 0.18773333333333334,
+      "grad_norm": 0.6081774234771729,
+      "learning_rate": 4.986594001071068e-06,
+      "loss": 0.6721,
+      "step": 176
+    },
+    {
+      "epoch": 0.1888,
+      "grad_norm": 0.6151561737060547,
+      "learning_rate": 4.986294708928865e-06,
+      "loss": 0.6213,
+      "step": 177
+    },
+    {
+      "epoch": 0.18986666666666666,
+      "grad_norm": 0.5810381770133972,
+      "learning_rate": 4.985992121863951e-06,
+      "loss": 0.5989,
+      "step": 178
+    },
+    {
+      "epoch": 0.19093333333333334,
+      "grad_norm": 0.5558521151542664,
+      "learning_rate": 4.985686240277324e-06,
+      "loss": 0.5875,
+      "step": 179
+    },
+    {
+      "epoch": 0.192,
+      "grad_norm": 0.625558078289032,
+      "learning_rate": 4.98537706457435e-06,
+      "loss": 0.6369,
+      "step": 180
+    },
+    {
+      "epoch": 0.19306666666666666,
+      "grad_norm": 0.6327069401741028,
+      "learning_rate": 4.985064595164758e-06,
+      "loss": 0.6444,
+      "step": 181
+    },
+    {
+      "epoch": 0.19413333333333332,
+      "grad_norm": 0.6493352055549622,
+      "learning_rate": 4.9847488324626435e-06,
+      "loss": 0.6552,
+      "step": 182
+    },
+    {
+      "epoch": 0.1952,
+      "grad_norm": 0.5843132138252258,
+      "learning_rate": 4.984429776886465e-06,
+      "loss": 0.6329,
+      "step": 183
+    },
+    {
+      "epoch": 0.19626666666666667,
+      "grad_norm": 0.5913636684417725,
+      "learning_rate": 4.9841074288590495e-06,
+      "loss": 0.6056,
+      "step": 184
+    },
+    {
+      "epoch": 0.19733333333333333,
+      "grad_norm": 0.5990220904350281,
+      "learning_rate": 4.983781788807579e-06,
+      "loss": 0.6618,
+      "step": 185
+    },
+    {
+      "epoch": 0.1984,
+      "grad_norm": 0.6559251546859741,
+      "learning_rate": 4.9834528571636055e-06,
+      "loss": 0.6413,
+      "step": 186
+    },
+    {
+      "epoch": 0.19946666666666665,
+      "grad_norm": 0.7146479487419128,
+      "learning_rate": 4.98312063436304e-06,
+      "loss": 0.7471,
+      "step": 187
+    },
+    {
+      "epoch": 0.20053333333333334,
+      "grad_norm": 0.5879586338996887,
+      "learning_rate": 4.982785120846156e-06,
+      "loss": 0.634,
+      "step": 188
+    },
+    {
+      "epoch": 0.2016,
+      "grad_norm": 0.7046877145767212,
+      "learning_rate": 4.982446317057585e-06,
+      "loss": 0.7178,
+      "step": 189
+    },
+    {
+      "epoch": 0.20266666666666666,
+      "grad_norm": 0.6549324989318848,
+      "learning_rate": 4.982104223446324e-06,
+      "loss": 0.6811,
+      "step": 190
+    },
+    {
+      "epoch": 0.20373333333333332,
+      "grad_norm": 0.669995129108429,
+      "learning_rate": 4.981758840465727e-06,
+      "loss": 0.6876,
+      "step": 191
+    },
+    {
+      "epoch": 0.2048,
+      "grad_norm": 0.6099154949188232,
+      "learning_rate": 4.981410168573505e-06,
+      "loss": 0.6203,
+      "step": 192
+    },
+    {
+      "epoch": 0.20586666666666667,
+      "grad_norm": 0.5650361180305481,
+      "learning_rate": 4.981058208231733e-06,
+      "loss": 0.6752,
+      "step": 193
+    },
+    {
+      "epoch": 0.20693333333333333,
+      "grad_norm": 0.6351343989372253,
+      "learning_rate": 4.980702959906838e-06,
+      "loss": 0.6269,
+      "step": 194
+    },
+    {
+      "epoch": 0.208,
+      "grad_norm": 0.6827161908149719,
+      "learning_rate": 4.98034442406961e-06,
+      "loss": 0.7091,
+      "step": 195
+    },
+    {
+      "epoch": 0.20906666666666668,
+      "grad_norm": 0.64639812707901,
+      "learning_rate": 4.979982601195192e-06,
+      "loss": 0.6688,
+      "step": 196
+    },
+    {
+      "epoch": 0.21013333333333334,
+      "grad_norm": 0.6144318580627441,
+      "learning_rate": 4.9796174917630816e-06,
+      "loss": 0.6286,
+      "step": 197
+    },
+    {
+      "epoch": 0.2112,
+      "grad_norm": 0.7037844657897949,
+      "learning_rate": 4.979249096257138e-06,
+      "loss": 0.7147,
+      "step": 198
+    },
+    {
+      "epoch": 0.21226666666666666,
+      "grad_norm": 0.5951513051986694,
+      "learning_rate": 4.9788774151655685e-06,
+      "loss": 0.6209,
+      "step": 199
+    },
+    {
+      "epoch": 0.21333333333333335,
+      "grad_norm": 0.6704598665237427,
+      "learning_rate": 4.97850244898094e-06,
+      "loss": 0.6604,
+      "step": 200
+    },
+    {
+      "epoch": 0.2144,
+      "grad_norm": 0.5946887135505676,
+      "learning_rate": 4.97812419820017e-06,
+      "loss": 0.6099,
+      "step": 201
+    },
+    {
+      "epoch": 0.21546666666666667,
+      "grad_norm": 0.619726300239563,
+      "learning_rate": 4.977742663324527e-06,
+      "loss": 0.634,
+      "step": 202
+    },
+    {
+      "epoch": 0.21653333333333333,
+      "grad_norm": 0.6785538196563721,
+      "learning_rate": 4.977357844859636e-06,
+      "loss": 0.6975,
+      "step": 203
+    },
+    {
+      "epoch": 0.2176,
+      "grad_norm": 0.6248236298561096,
+      "learning_rate": 4.976969743315472e-06,
+      "loss": 0.6643,
+      "step": 204
+    },
+    {
+      "epoch": 0.21866666666666668,
+      "grad_norm": 0.5693626403808594,
+      "learning_rate": 4.97657835920636e-06,
+      "loss": 0.6645,
+      "step": 205
+    },
+    {
+      "epoch": 0.21973333333333334,
+      "grad_norm": 0.5894892811775208,
+      "learning_rate": 4.976183693050975e-06,
+      "loss": 0.6645,
+      "step": 206
+    },
+    {
+      "epoch": 0.2208,
+      "grad_norm": 0.6759524941444397,
+      "learning_rate": 4.975785745372343e-06,
+      "loss": 0.6145,
+      "step": 207
+    },
+    {
+      "epoch": 0.22186666666666666,
+      "grad_norm": 0.6225232481956482,
+      "learning_rate": 4.975384516697837e-06,
+      "loss": 0.63,
+      "step": 208
+    },
+    {
+      "epoch": 0.22293333333333334,
+      "grad_norm": 0.620917558670044,
+      "learning_rate": 4.97498000755918e-06,
+      "loss": 0.6209,
+      "step": 209
+    },
+    {
+      "epoch": 0.224,
+      "grad_norm": 0.6591837406158447,
+      "learning_rate": 4.974572218492439e-06,
+      "loss": 0.6827,
+      "step": 210
+    },
+    {
+      "epoch": 0.22506666666666666,
+      "grad_norm": 0.5325132608413696,
+      "learning_rate": 4.974161150038034e-06,
+      "loss": 0.6037,
+      "step": 211
+    },
+    {
+      "epoch": 0.22613333333333333,
+      "grad_norm": 0.5483846664428711,
+      "learning_rate": 4.973746802740722e-06,
+      "loss": 0.5719,
+      "step": 212
+    },
+    {
+      "epoch": 0.2272,
+      "grad_norm": 0.6321028470993042,
+      "learning_rate": 4.973329177149615e-06,
+      "loss": 0.643,
+      "step": 213
+    },
+    {
+      "epoch": 0.22826666666666667,
+      "grad_norm": 0.5787076950073242,
+      "learning_rate": 4.972908273818161e-06,
+      "loss": 0.5644,
+      "step": 214
+    },
+    {
+      "epoch": 0.22933333333333333,
+      "grad_norm": 0.6039051413536072,
+      "learning_rate": 4.9724840933041586e-06,
+      "loss": 0.6093,
+      "step": 215
+    },
+    {
+      "epoch": 0.2304,
+      "grad_norm": 0.6096665263175964,
+      "learning_rate": 4.972056636169743e-06,
+      "loss": 0.6667,
+      "step": 216
+    },
+    {
+      "epoch": 0.23146666666666665,
+      "grad_norm": 0.5931844711303711,
+      "learning_rate": 4.971625902981397e-06,
+      "loss": 0.566,
+      "step": 217
+    },
+    {
+      "epoch": 0.23253333333333334,
+      "grad_norm": 0.6082255840301514,
+      "learning_rate": 4.971191894309943e-06,
+      "loss": 0.6525,
+      "step": 218
+    },
+    {
+      "epoch": 0.2336,
+      "grad_norm": 0.5989522933959961,
+      "learning_rate": 4.970754610730545e-06,
+      "loss": 0.5894,
+      "step": 219
+    },
+    {
+      "epoch": 0.23466666666666666,
+      "grad_norm": 0.5640434622764587,
+      "learning_rate": 4.970314052822703e-06,
+      "loss": 0.6043,
+      "step": 220
+    },
+    {
+      "epoch": 0.23573333333333332,
+      "grad_norm": 0.6771663427352905,
+      "learning_rate": 4.969870221170263e-06,
+      "loss": 0.6057,
+      "step": 221
+    },
+    {
+      "epoch": 0.2368,
+      "grad_norm": 0.6361478567123413,
+      "learning_rate": 4.9694231163614025e-06,
+      "loss": 0.6575,
+      "step": 222
+    },
+    {
+      "epoch": 0.23786666666666667,
+      "grad_norm": 0.6293002963066101,
+      "learning_rate": 4.9689727389886435e-06,
+      "loss": 0.6165,
+      "step": 223
+    },
+    {
+      "epoch": 0.23893333333333333,
+      "grad_norm": 0.5633680820465088,
+      "learning_rate": 4.968519089648838e-06,
+      "loss": 0.5735,
+      "step": 224
+    },
+    {
+      "epoch": 0.24,
+      "grad_norm": 0.6580431461334229,
+      "learning_rate": 4.96806216894318e-06,
+      "loss": 0.6781,
+      "step": 225
+    },
+    {
+      "epoch": 0.24106666666666668,
+      "grad_norm": 0.623583972454071,
+      "learning_rate": 4.967601977477197e-06,
+      "loss": 0.6345,
+      "step": 226
+    },
+    {
+      "epoch": 0.24213333333333334,
+      "grad_norm": 0.6129546761512756,
+      "learning_rate": 4.967138515860748e-06,
+      "loss": 0.6497,
+      "step": 227
+    },
+    {
+      "epoch": 0.2432,
+      "grad_norm": 0.6621289253234863,
+      "learning_rate": 4.966671784708029e-06,
+      "loss": 0.6488,
+      "step": 228
+    },
+    {
+      "epoch": 0.24426666666666666,
+      "grad_norm": 0.6044623851776123,
+      "learning_rate": 4.966201784637569e-06,
+      "loss": 0.6228,
+      "step": 229
+    },
+    {
+      "epoch": 0.24533333333333332,
+      "grad_norm": 0.5134773254394531,
+      "learning_rate": 4.965728516272228e-06,
+      "loss": 0.584,
+      "step": 230
+    },
+    {
+      "epoch": 0.2464,
+      "grad_norm": 0.632207989692688,
+      "learning_rate": 4.965251980239197e-06,
+      "loss": 0.6776,
+      "step": 231
+    },
+    {
+      "epoch": 0.24746666666666667,
+      "grad_norm": 0.6010668873786926,
+      "learning_rate": 4.964772177169997e-06,
+      "loss": 0.6068,
+      "step": 232
+    },
+    {
+      "epoch": 0.24853333333333333,
+      "grad_norm": 0.6676483750343323,
+      "learning_rate": 4.964289107700481e-06,
+      "loss": 0.6092,
+      "step": 233
+    },
+    {
+      "epoch": 0.2496,
+      "grad_norm": 0.640129029750824,
+      "learning_rate": 4.9638027724708285e-06,
+      "loss": 0.614,
+      "step": 234
+    },
+    {
+      "epoch": 0.25066666666666665,
+      "grad_norm": 0.6328281164169312,
+      "learning_rate": 4.9633131721255476e-06,
+      "loss": 0.6704,
+      "step": 235
+    },
+    {
+      "epoch": 0.2517333333333333,
+      "grad_norm": 0.6918546557426453,
+      "learning_rate": 4.962820307313473e-06,
+      "loss": 0.7415,
+      "step": 236
+    },
+    {
+      "epoch": 0.2528,
+      "grad_norm": 0.6388983726501465,
+      "learning_rate": 4.962324178687766e-06,
+      "loss": 0.6818,
+      "step": 237
+    },
+    {
+      "epoch": 0.2538666666666667,
+      "grad_norm": 0.6416466236114502,
+      "learning_rate": 4.961824786905914e-06,
+      "loss": 0.6079,
+      "step": 238
+    },
+    {
+      "epoch": 0.25493333333333335,
+      "grad_norm": 0.6765209436416626,
+      "learning_rate": 4.961322132629728e-06,
+      "loss": 0.6875,
+      "step": 239
+    },
+    {
+      "epoch": 0.256,
+      "grad_norm": 0.6752843260765076,
+      "learning_rate": 4.960816216525341e-06,
+      "loss": 0.6498,
+      "step": 240
+    },
+    {
+      "epoch": 0.25706666666666667,
+      "grad_norm": 0.6713927388191223,
+      "learning_rate": 4.960307039263213e-06,
+      "loss": 0.6693,
+      "step": 241
+    },
+    {
+      "epoch": 0.2581333333333333,
+      "grad_norm": 0.6458859443664551,
+      "learning_rate": 4.9597946015181205e-06,
+      "loss": 0.6156,
+      "step": 242
+    },
+    {
+      "epoch": 0.2592,
+      "grad_norm": 0.6224912405014038,
+      "learning_rate": 4.959278903969166e-06,
+      "loss": 0.6246,
+      "step": 243
+    },
+    {
+      "epoch": 0.26026666666666665,
+      "grad_norm": 0.6396812200546265,
+      "learning_rate": 4.958759947299767e-06,
+      "loss": 0.6563,
+      "step": 244
+    },
+    {
+      "epoch": 0.2613333333333333,
+      "grad_norm": 0.7267150282859802,
+      "learning_rate": 4.958237732197665e-06,
+      "loss": 0.6375,
+      "step": 245
+    },
+    {
+      "epoch": 0.2624,
+      "grad_norm": 0.6136030554771423,
+      "learning_rate": 4.957712259354914e-06,
+      "loss": 0.6196,
+      "step": 246
+    },
+    {
+      "epoch": 0.2634666666666667,
+      "grad_norm": 0.6759042739868164,
+      "learning_rate": 4.957183529467893e-06,
+      "loss": 0.6537,
+      "step": 247
+    },
+    {
+      "epoch": 0.26453333333333334,
+      "grad_norm": 0.5983374714851379,
+      "learning_rate": 4.956651543237289e-06,
+      "loss": 0.604,
+      "step": 248
+    },
+    {
+      "epoch": 0.2656,
+      "grad_norm": 0.5732500553131104,
+      "learning_rate": 4.95611630136811e-06,
+      "loss": 0.5786,
+      "step": 249
+    },
+    {
+      "epoch": 0.26666666666666666,
+      "grad_norm": 0.6396532654762268,
+      "learning_rate": 4.955577804569677e-06,
+      "loss": 0.642,
+      "step": 250
+    },
+    {
+      "epoch": 0.2677333333333333,
+      "grad_norm": 0.6125209927558899,
+      "learning_rate": 4.955036053555625e-06,
+      "loss": 0.6826,
+      "step": 251
+    },
+    {
+      "epoch": 0.2688,
+      "grad_norm": 0.6456829905509949,
+      "learning_rate": 4.954491049043899e-06,
+      "loss": 0.6399,
+      "step": 252
+    },
+    {
+      "epoch": 0.26986666666666664,
+      "grad_norm": 0.6272636651992798,
+      "learning_rate": 4.953942791756759e-06,
+      "loss": 0.6752,
+      "step": 253
+    },
+    {
+      "epoch": 0.27093333333333336,
+      "grad_norm": 0.5766415596008301,
+      "learning_rate": 4.953391282420773e-06,
+      "loss": 0.6179,
+      "step": 254
+    },
+    {
+      "epoch": 0.272,
+      "grad_norm": 0.6692551374435425,
+      "learning_rate": 4.9528365217668215e-06,
+      "loss": 0.6691,
+      "step": 255
+    },
+    {
+      "epoch": 0.2730666666666667,
+      "grad_norm": 0.6190515160560608,
+      "learning_rate": 4.952278510530092e-06,
+      "loss": 0.6083,
+      "step": 256
+    },
+    {
+      "epoch": 0.27413333333333334,
+      "grad_norm": 0.6144403219223022,
+      "learning_rate": 4.95171724945008e-06,
+      "loss": 0.64,
+      "step": 257
+    },
+    {
+      "epoch": 0.2752,
+      "grad_norm": 0.6729688048362732,
+      "learning_rate": 4.951152739270587e-06,
+      "loss": 0.6519,
+      "step": 258
+    },
+    {
+      "epoch": 0.27626666666666666,
+      "grad_norm": 0.6649523377418518,
+      "learning_rate": 4.950584980739722e-06,
+      "loss": 0.6497,
+      "step": 259
+    },
+    {
+      "epoch": 0.2773333333333333,
+      "grad_norm": 0.6052703261375427,
+      "learning_rate": 4.950013974609898e-06,
+      "loss": 0.6137,
+      "step": 260
+    },
+    {
+      "epoch": 0.2784,
+      "grad_norm": 0.6784672141075134,
+      "learning_rate": 4.949439721637832e-06,
+      "loss": 0.5924,
+      "step": 261
+    },
+    {
+      "epoch": 0.27946666666666664,
+      "grad_norm": 0.6013864874839783,
+      "learning_rate": 4.948862222584543e-06,
+      "loss": 0.6012,
+      "step": 262
+    },
+    {
+      "epoch": 0.28053333333333336,
+      "grad_norm": 0.6014862060546875,
+      "learning_rate": 4.948281478215352e-06,
+      "loss": 0.6024,
+      "step": 263
+    },
+    {
+      "epoch": 0.2816,
+      "grad_norm": 0.622893750667572,
+      "learning_rate": 4.947697489299883e-06,
+      "loss": 0.5982,
+      "step": 264
+    },
+    {
+      "epoch": 0.2826666666666667,
+      "grad_norm": 0.6729969382286072,
+      "learning_rate": 4.947110256612056e-06,
+      "loss": 0.6389,
+      "step": 265
+    },
+    {
+      "epoch": 0.28373333333333334,
+      "grad_norm": 0.6277989745140076,
+      "learning_rate": 4.946519780930095e-06,
+      "loss": 0.6541,
+      "step": 266
+    },
+    {
+      "epoch": 0.2848,
+      "grad_norm": 0.6472575664520264,
+      "learning_rate": 4.945926063036515e-06,
+      "loss": 0.6055,
+      "step": 267
+    },
+    {
+      "epoch": 0.28586666666666666,
+      "grad_norm": 0.651124119758606,
+      "learning_rate": 4.945329103718134e-06,
+      "loss": 0.6627,
+      "step": 268
+    },
+    {
+      "epoch": 0.2869333333333333,
+      "grad_norm": 0.6825057864189148,
+      "learning_rate": 4.944728903766061e-06,
+      "loss": 0.703,
+      "step": 269
+    },
+    {
+      "epoch": 0.288,
+      "grad_norm": 0.6111598610877991,
+      "learning_rate": 4.944125463975701e-06,
+      "loss": 0.6051,
+      "step": 270
+    },
+    {
+      "epoch": 0.2890666666666667,
+      "grad_norm": 0.6787324547767639,
+      "learning_rate": 4.943518785146756e-06,
+      "loss": 0.6831,
+      "step": 271
+    },
+    {
+      "epoch": 0.29013333333333335,
+      "grad_norm": 0.630763828754425,
+      "learning_rate": 4.942908868083215e-06,
+      "loss": 0.6767,
+      "step": 272
+    },
+    {
+      "epoch": 0.2912,
+      "grad_norm": 0.5915973782539368,
+      "learning_rate": 4.942295713593361e-06,
+      "loss": 0.5901,
+      "step": 273
+    },
+    {
+      "epoch": 0.2922666666666667,
+      "grad_norm": 0.6316576600074768,
+      "learning_rate": 4.941679322489769e-06,
+      "loss": 0.6668,
+      "step": 274
+    },
+    {
+      "epoch": 0.29333333333333333,
+      "grad_norm": 0.6122906804084778,
+      "learning_rate": 4.9410596955892995e-06,
+      "loss": 0.6393,
+      "step": 275
+    },
+    {
+      "epoch": 0.2944,
+      "grad_norm": 0.662102222442627,
+      "learning_rate": 4.940436833713105e-06,
+      "loss": 0.6727,
+      "step": 276
+    },
+    {
+      "epoch": 0.29546666666666666,
+      "grad_norm": 0.622401237487793,
+      "learning_rate": 4.939810737686622e-06,
+      "loss": 0.5968,
+      "step": 277
+    },
+    {
+      "epoch": 0.2965333333333333,
+      "grad_norm": 0.6198617815971375,
+      "learning_rate": 4.939181408339575e-06,
+      "loss": 0.6957,
+      "step": 278
+    },
+    {
+      "epoch": 0.2976,
+      "grad_norm": 0.5765002369880676,
+      "learning_rate": 4.938548846505972e-06,
+      "loss": 0.6271,
+      "step": 279
+    },
+    {
+      "epoch": 0.2986666666666667,
+      "grad_norm": 0.5937513113021851,
+      "learning_rate": 4.937913053024108e-06,
+      "loss": 0.633,
+      "step": 280
+    },
+    {
+      "epoch": 0.29973333333333335,
+      "grad_norm": 0.6199644804000854,
+      "learning_rate": 4.937274028736555e-06,
+      "loss": 0.5799,
+      "step": 281
+    },
+    {
+      "epoch": 0.3008,
+      "grad_norm": 0.5865389704704285,
+      "learning_rate": 4.936631774490172e-06,
+      "loss": 0.6295,
+      "step": 282
+    },
+    {
+      "epoch": 0.30186666666666667,
+      "grad_norm": 0.6426358819007874,
+      "learning_rate": 4.935986291136095e-06,
+      "loss": 0.6933,
+      "step": 283
+    },
+    {
+      "epoch": 0.30293333333333333,
+      "grad_norm": 0.5625179409980774,
+      "learning_rate": 4.935337579529741e-06,
+      "loss": 0.5538,
+      "step": 284
+    },
+    {
+      "epoch": 0.304,
+      "grad_norm": 0.6401445865631104,
+      "learning_rate": 4.934685640530807e-06,
+      "loss": 0.6864,
+      "step": 285
+    },
+    {
+      "epoch": 0.30506666666666665,
+      "grad_norm": 0.5709410309791565,
+      "learning_rate": 4.9340304750032605e-06,
+      "loss": 0.5709,
+      "step": 286
+    },
+    {
+      "epoch": 0.3061333333333333,
+      "grad_norm": 0.6234865188598633,
+      "learning_rate": 4.933372083815352e-06,
+      "loss": 0.6804,
+      "step": 287
+    },
+    {
+      "epoch": 0.3072,
+      "grad_norm": 0.615082859992981,
+      "learning_rate": 4.932710467839604e-06,
+      "loss": 0.6488,
+      "step": 288
+    },
+    {
+      "epoch": 0.3082666666666667,
+      "grad_norm": 0.6121888160705566,
+      "learning_rate": 4.932045627952812e-06,
+      "loss": 0.5949,
+      "step": 289
+    },
+    {
+      "epoch": 0.30933333333333335,
+      "grad_norm": 0.6704373359680176,
+      "learning_rate": 4.931377565036044e-06,
+      "loss": 0.6339,
+      "step": 290
+    },
+    {
+      "epoch": 0.3104,
+      "grad_norm": 0.6356788277626038,
+      "learning_rate": 4.9307062799746415e-06,
+      "loss": 0.6425,
+      "step": 291
+    },
+    {
+      "epoch": 0.31146666666666667,
+      "grad_norm": 0.6167903542518616,
+      "learning_rate": 4.9300317736582125e-06,
+      "loss": 0.638,
+      "step": 292
+    },
+    {
+      "epoch": 0.31253333333333333,
+      "grad_norm": 0.5941944122314453,
+      "learning_rate": 4.929354046980638e-06,
+      "loss": 0.5737,
+      "step": 293
+    },
+    {
+      "epoch": 0.3136,
+      "grad_norm": 0.6967790722846985,
+      "learning_rate": 4.928673100840062e-06,
+      "loss": 0.6896,
+      "step": 294
+    },
+    {
+      "epoch": 0.31466666666666665,
+      "grad_norm": 0.6249736547470093,
+      "learning_rate": 4.927988936138899e-06,
+      "loss": 0.6934,
+      "step": 295
+    },
+    {
+      "epoch": 0.3157333333333333,
+      "grad_norm": 0.6239500045776367,
+      "learning_rate": 4.927301553783828e-06,
+      "loss": 0.6172,
+      "step": 296
+    },
+    {
+      "epoch": 0.3168,
+      "grad_norm": 0.625528872013092,
+      "learning_rate": 4.92661095468579e-06,
+      "loss": 0.6273,
+      "step": 297
+    },
+    {
+      "epoch": 0.3178666666666667,
+      "grad_norm": 0.6596346497535706,
+      "learning_rate": 4.925917139759992e-06,
+      "loss": 0.7188,
+      "step": 298
+    },
+    {
+      "epoch": 0.31893333333333335,
+      "grad_norm": 0.6969476342201233,
+      "learning_rate": 4.925220109925901e-06,
+      "loss": 0.6739,
+      "step": 299
+    },
+    {
+      "epoch": 0.32,
+      "grad_norm": 0.6098787188529968,
+      "learning_rate": 4.9245198661072436e-06,
+      "loss": 0.6271,
+      "step": 300
+    },
+    {
+      "epoch": 0.32106666666666667,
+      "grad_norm": 0.5932720303535461,
+      "learning_rate": 4.923816409232008e-06,
+      "loss": 0.5845,
+      "step": 301
+    },
+    {
+      "epoch": 0.3221333333333333,
+      "grad_norm": 0.6145159602165222,
+      "learning_rate": 4.923109740232439e-06,
+      "loss": 0.6273,
+      "step": 302
+    },
+    {
+      "epoch": 0.3232,
+      "grad_norm": 0.6037285923957825,
+      "learning_rate": 4.922399860045039e-06,
+      "loss": 0.6297,
+      "step": 303
+    },
+    {
+      "epoch": 0.32426666666666665,
+      "grad_norm": 0.6172651648521423,
+      "learning_rate": 4.921686769610563e-06,
+      "loss": 0.6157,
+      "step": 304
+    },
+    {
+      "epoch": 0.3253333333333333,
+      "grad_norm": 0.6572133898735046,
+      "learning_rate": 4.9209704698740265e-06,
+      "loss": 0.6281,
+      "step": 305
+    },
+    {
+      "epoch": 0.3264,
+      "grad_norm": 0.5956056714057922,
+      "learning_rate": 4.920250961784692e-06,
+      "loss": 0.6524,
+      "step": 306
+    },
+    {
+      "epoch": 0.3274666666666667,
+      "grad_norm": 0.5965023636817932,
+      "learning_rate": 4.919528246296077e-06,
+      "loss": 0.591,
+      "step": 307
+    },
+    {
+      "epoch": 0.32853333333333334,
+      "grad_norm": 0.5844211578369141,
+      "learning_rate": 4.9188023243659485e-06,
+      "loss": 0.6099,
+      "step": 308
+    },
+    {
+      "epoch": 0.3296,
+      "grad_norm": 0.6559067964553833,
+      "learning_rate": 4.918073196956323e-06,
+      "loss": 0.6788,
+      "step": 309
+    },
+    {
+      "epoch": 0.33066666666666666,
+      "grad_norm": 0.6280657649040222,
+      "learning_rate": 4.917340865033466e-06,
+      "loss": 0.6428,
+      "step": 310
+    },
+    {
+      "epoch": 0.3317333333333333,
+      "grad_norm": 0.5380066633224487,
+      "learning_rate": 4.916605329567887e-06,
+      "loss": 0.5903,
+      "step": 311
+    },
+    {
+      "epoch": 0.3328,
+      "grad_norm": 0.5981898307800293,
+      "learning_rate": 4.915866591534344e-06,
+      "loss": 0.5789,
+      "step": 312
+    },
+    {
+      "epoch": 0.33386666666666664,
+      "grad_norm": 0.5888707041740417,
+      "learning_rate": 4.915124651911838e-06,
+      "loss": 0.6021,
+      "step": 313
+    },
+    {
+      "epoch": 0.33493333333333336,
+      "grad_norm": 0.5799882411956787,
+      "learning_rate": 4.914379511683612e-06,
+      "loss": 0.6154,
+      "step": 314
+    },
+    {
+      "epoch": 0.336,
+      "grad_norm": 0.6873787045478821,
+      "learning_rate": 4.913631171837152e-06,
+      "loss": 0.6593,
+      "step": 315
+    },
+    {
+      "epoch": 0.3370666666666667,
+      "grad_norm": 0.5818606615066528,
+      "learning_rate": 4.912879633364183e-06,
+      "loss": 0.6066,
+      "step": 316
+    },
+    {
+      "epoch": 0.33813333333333334,
+      "grad_norm": 0.5887603163719177,
+      "learning_rate": 4.912124897260669e-06,
+      "loss": 0.6161,
+      "step": 317
+    },
+    {
+      "epoch": 0.3392,
+      "grad_norm": 0.6320002675056458,
+      "learning_rate": 4.911366964526814e-06,
+      "loss": 0.6412,
+      "step": 318
+    },
+    {
+      "epoch": 0.34026666666666666,
+      "grad_norm": 0.5656236410140991,
+      "learning_rate": 4.910605836167055e-06,
+      "loss": 0.5601,
+      "step": 319
+    },
+    {
+      "epoch": 0.3413333333333333,
+      "grad_norm": 0.6086665391921997,
+      "learning_rate": 4.909841513190064e-06,
+      "loss": 0.6005,
+      "step": 320
+    },
+    {
+      "epoch": 0.3424,
+      "grad_norm": 0.5900653600692749,
+      "learning_rate": 4.909073996608751e-06,
+      "loss": 0.5851,
+      "step": 321
+    },
+    {
+      "epoch": 0.34346666666666664,
+      "grad_norm": 0.5914739370346069,
+      "learning_rate": 4.908303287440253e-06,
+      "loss": 0.6247,
+      "step": 322
+    },
+    {
+      "epoch": 0.34453333333333336,
+      "grad_norm": 0.5889635682106018,
+      "learning_rate": 4.90752938670594e-06,
+      "loss": 0.569,
+      "step": 323
+    },
+    {
+      "epoch": 0.3456,
+      "grad_norm": 0.6186237931251526,
+      "learning_rate": 4.906752295431412e-06,
+      "loss": 0.6256,
+      "step": 324
+    },
+    {
+      "epoch": 0.3466666666666667,
+      "grad_norm": 0.6266998648643494,
+      "learning_rate": 4.905972014646498e-06,
+      "loss": 0.6433,
+      "step": 325
+    },
+    {
+      "epoch": 0.34773333333333334,
+      "grad_norm": 0.5682054758071899,
+      "learning_rate": 4.905188545385252e-06,
+      "loss": 0.5959,
+      "step": 326
+    },
+    {
+      "epoch": 0.3488,
+      "grad_norm": 0.7074918150901794,
+      "learning_rate": 4.9044018886859545e-06,
+      "loss": 0.6817,
+      "step": 327
+    },
+    {
+      "epoch": 0.34986666666666666,
+      "grad_norm": 0.6173619627952576,
+      "learning_rate": 4.90361204559111e-06,
+      "loss": 0.6286,
+      "step": 328
+    },
+    {
+      "epoch": 0.3509333333333333,
+      "grad_norm": 0.6429257392883301,
+      "learning_rate": 4.9028190171474444e-06,
+      "loss": 0.5924,
+      "step": 329
+    },
+    {
+      "epoch": 0.352,
+      "grad_norm": 0.6551210284233093,
+      "learning_rate": 4.9020228044059075e-06,
+      "loss": 0.6219,
+      "step": 330
+    },
+    {
+      "epoch": 0.35306666666666664,
+      "grad_norm": 0.5596452951431274,
+      "learning_rate": 4.901223408421666e-06,
+      "loss": 0.5849,
+      "step": 331
+    },
+    {
+      "epoch": 0.35413333333333336,
+      "grad_norm": 0.6264711022377014,
+      "learning_rate": 4.900420830254108e-06,
+      "loss": 0.6044,
+      "step": 332
+    },
+    {
+      "epoch": 0.3552,
+      "grad_norm": 0.6364989280700684,
+      "learning_rate": 4.899615070966838e-06,
+      "loss": 0.6115,
+      "step": 333
+    },
+    {
+      "epoch": 0.3562666666666667,
+      "grad_norm": 0.60328209400177,
+      "learning_rate": 4.898806131627675e-06,
+      "loss": 0.6096,
+      "step": 334
+    },
+    {
+      "epoch": 0.35733333333333334,
+      "grad_norm": 0.646192193031311,
+      "learning_rate": 4.897994013308653e-06,
+      "loss": 0.649,
+      "step": 335
+    },
+    {
+      "epoch": 0.3584,
+      "grad_norm": 0.6669407486915588,
+      "learning_rate": 4.897178717086018e-06,
+      "loss": 0.6829,
+      "step": 336
+    },
+    {
+      "epoch": 0.35946666666666666,
+      "grad_norm": 0.6107304096221924,
+      "learning_rate": 4.89636024404023e-06,
+      "loss": 0.6115,
+      "step": 337
+    },
+    {
+      "epoch": 0.3605333333333333,
+      "grad_norm": 0.5472016930580139,
+      "learning_rate": 4.895538595255958e-06,
+      "loss": 0.6018,
+      "step": 338
+    },
+    {
+      "epoch": 0.3616,
+      "grad_norm": 0.5630766749382019,
+      "learning_rate": 4.894713771822076e-06,
+      "loss": 0.6158,
+      "step": 339
+    },
+    {
+      "epoch": 0.3626666666666667,
+      "grad_norm": 0.6403055787086487,
+      "learning_rate": 4.893885774831671e-06,
+      "loss": 0.6363,
+      "step": 340
+    },
+    {
+      "epoch": 0.36373333333333335,
+      "grad_norm": 0.6184769868850708,
+      "learning_rate": 4.893054605382032e-06,
+      "loss": 0.6274,
+      "step": 341
+    },
+    {
+      "epoch": 0.3648,
+      "grad_norm": 0.5826984643936157,
+      "learning_rate": 4.8922202645746544e-06,
+      "loss": 0.645,
+      "step": 342
+    },
+    {
+      "epoch": 0.3658666666666667,
+      "grad_norm": 0.6365123391151428,
+      "learning_rate": 4.891382753515232e-06,
+      "loss": 0.6195,
+      "step": 343
+    },
+    {
+      "epoch": 0.36693333333333333,
+      "grad_norm": 0.6441884636878967,
+      "learning_rate": 4.890542073313667e-06,
+      "loss": 0.6193,
+      "step": 344
+    },
+    {
+      "epoch": 0.368,
+      "grad_norm": 0.6300407648086548,
+      "learning_rate": 4.889698225084054e-06,
+      "loss": 0.6594,
+      "step": 345
+    },
+    {
+      "epoch": 0.36906666666666665,
+      "grad_norm": 0.5925156474113464,
+      "learning_rate": 4.888851209944692e-06,
+      "loss": 0.6531,
+      "step": 346
+    },
+    {
+      "epoch": 0.3701333333333333,
+      "grad_norm": 0.6377213001251221,
+      "learning_rate": 4.888001029018074e-06,
+      "loss": 0.6532,
+      "step": 347
+    },
+    {
+      "epoch": 0.3712,
+      "grad_norm": 0.6720328330993652,
+      "learning_rate": 4.887147683430887e-06,
+      "loss": 0.6805,
+      "step": 348
+    },
+    {
+      "epoch": 0.3722666666666667,
+      "grad_norm": 0.5236750841140747,
+      "learning_rate": 4.886291174314015e-06,
+      "loss": 0.5377,
+      "step": 349
+    },
+    {
+      "epoch": 0.37333333333333335,
+      "grad_norm": 0.5787746906280518,
+      "learning_rate": 4.885431502802534e-06,
+      "loss": 0.6135,
+      "step": 350
+    },
+    {
+      "epoch": 0.3744,
+      "grad_norm": 0.6289299130439758,
+      "learning_rate": 4.884568670035709e-06,
+      "loss": 0.656,
+      "step": 351
+    },
+    {
+      "epoch": 0.37546666666666667,
+      "grad_norm": 0.5872620344161987,
+      "learning_rate": 4.883702677156995e-06,
+      "loss": 0.5799,
+      "step": 352
+    },
+    {
+      "epoch": 0.37653333333333333,
+      "grad_norm": 0.6312486529350281,
+      "learning_rate": 4.882833525314037e-06,
+      "loss": 0.6294,
+      "step": 353
+    },
+    {
+      "epoch": 0.3776,
+      "grad_norm": 0.6254330277442932,
+      "learning_rate": 4.8819612156586634e-06,
+      "loss": 0.6379,
+      "step": 354
+    },
+    {
+      "epoch": 0.37866666666666665,
+      "grad_norm": 0.5490694046020508,
+      "learning_rate": 4.881085749346889e-06,
+      "loss": 0.5696,
+      "step": 355
+    },
+    {
+      "epoch": 0.3797333333333333,
+      "grad_norm": 0.5892033576965332,
+      "learning_rate": 4.880207127538913e-06,
+      "loss": 0.6356,
+      "step": 356
+    },
+    {
+      "epoch": 0.3808,
+      "grad_norm": 0.6258782148361206,
+      "learning_rate": 4.879325351399112e-06,
+      "loss": 0.6292,
+      "step": 357
+    },
+    {
+      "epoch": 0.3818666666666667,
+      "grad_norm": 0.5353337526321411,
+      "learning_rate": 4.878440422096049e-06,
+      "loss": 0.5735,
+      "step": 358
+    },
+    {
+      "epoch": 0.38293333333333335,
+      "grad_norm": 0.6368969082832336,
+      "learning_rate": 4.877552340802461e-06,
+      "loss": 0.6306,
+      "step": 359
+    },
+    {
+      "epoch": 0.384,
+      "grad_norm": 0.5622411966323853,
+      "learning_rate": 4.876661108695264e-06,
+      "loss": 0.5529,
+      "step": 360
+    },
+    {
+      "epoch": 0.38506666666666667,
+      "grad_norm": 0.6233123540878296,
+      "learning_rate": 4.8757667269555495e-06,
+      "loss": 0.636,
+      "step": 361
+    },
+    {
+      "epoch": 0.38613333333333333,
+      "grad_norm": 0.6207735538482666,
+      "learning_rate": 4.874869196768583e-06,
+      "loss": 0.6111,
+      "step": 362
+    },
+    {
+      "epoch": 0.3872,
+      "grad_norm": 0.5748562216758728,
+      "learning_rate": 4.8739685193238005e-06,
+      "loss": 0.6054,
+      "step": 363
+    },
+    {
+      "epoch": 0.38826666666666665,
+      "grad_norm": 0.6099179983139038,
+      "learning_rate": 4.873064695814812e-06,
+      "loss": 0.6155,
+      "step": 364
+    },
+    {
+      "epoch": 0.3893333333333333,
+      "grad_norm": 0.633601725101471,
+      "learning_rate": 4.872157727439395e-06,
+      "loss": 0.6072,
+      "step": 365
+    },
+    {
+      "epoch": 0.3904,
+      "grad_norm": 0.5923605561256409,
+      "learning_rate": 4.871247615399495e-06,
+      "loss": 0.6186,
+      "step": 366
+    },
+    {
+      "epoch": 0.3914666666666667,
+      "grad_norm": 0.6110531091690063,
+      "learning_rate": 4.8703343609012235e-06,
+      "loss": 0.5766,
+      "step": 367
+    },
+    {
+      "epoch": 0.39253333333333335,
+      "grad_norm": 0.6255255341529846,
+      "learning_rate": 4.8694179651548564e-06,
+      "loss": 0.6588,
+      "step": 368
+    },
+    {
+      "epoch": 0.3936,
+      "grad_norm": 0.6012208461761475,
+      "learning_rate": 4.868498429374833e-06,
+      "loss": 0.6179,
+      "step": 369
+    },
+    {
+      "epoch": 0.39466666666666667,
+      "grad_norm": 0.6439220905303955,
+      "learning_rate": 4.867575754779753e-06,
+      "loss": 0.6616,
+      "step": 370
+    },
+    {
+      "epoch": 0.3957333333333333,
+      "grad_norm": 0.6314601302146912,
+      "learning_rate": 4.866649942592378e-06,
+      "loss": 0.6342,
+      "step": 371
+    },
+    {
+      "epoch": 0.3968,
+      "grad_norm": 0.6793239116668701,
+      "learning_rate": 4.865720994039623e-06,
+      "loss": 0.663,
+      "step": 372
+    },
+    {
+      "epoch": 0.39786666666666665,
+      "grad_norm": 0.661105751991272,
+      "learning_rate": 4.864788910352565e-06,
+      "loss": 0.65,
+      "step": 373
+    },
+    {
+      "epoch": 0.3989333333333333,
+      "grad_norm": 0.5754902958869934,
+      "learning_rate": 4.863853692766432e-06,
+      "loss": 0.6035,
+      "step": 374
+    },
+    {
+      "epoch": 0.4,
+      "grad_norm": 0.595014750957489,
+      "learning_rate": 4.862915342520606e-06,
+      "loss": 0.6151,
+      "step": 375
+    },
+    {
+      "epoch": 0.4010666666666667,
+      "grad_norm": 0.6572543382644653,
+      "learning_rate": 4.861973860858622e-06,
+      "loss": 0.6329,
+      "step": 376
+    },
+    {
+      "epoch": 0.40213333333333334,
+      "grad_norm": 0.5982528328895569,
+      "learning_rate": 4.861029249028163e-06,
+      "loss": 0.5962,
+      "step": 377
+    },
+    {
+      "epoch": 0.4032,
+      "grad_norm": 0.578765869140625,
+      "learning_rate": 4.8600815082810605e-06,
+      "loss": 0.6042,
+      "step": 378
+    },
+    {
+      "epoch": 0.40426666666666666,
+      "grad_norm": 0.665203869342804,
+      "learning_rate": 4.859130639873293e-06,
+      "loss": 0.6842,
+      "step": 379
+    },
+    {
+      "epoch": 0.4053333333333333,
+      "grad_norm": 0.5822910070419312,
+      "learning_rate": 4.858176645064985e-06,
+      "loss": 0.5328,
+      "step": 380
+    },
+    {
+      "epoch": 0.4064,
+      "grad_norm": 0.6278824210166931,
+      "learning_rate": 4.857219525120401e-06,
+      "loss": 0.6042,
+      "step": 381
+    },
+    {
+      "epoch": 0.40746666666666664,
+      "grad_norm": 0.572611927986145,
+      "learning_rate": 4.856259281307951e-06,
+      "loss": 0.596,
+      "step": 382
+    },
+    {
+      "epoch": 0.40853333333333336,
+      "grad_norm": 0.6641197800636292,
+      "learning_rate": 4.855295914900182e-06,
+      "loss": 0.6492,
+      "step": 383
+    },
+    {
+      "epoch": 0.4096,
+      "grad_norm": 0.6087556481361389,
+      "learning_rate": 4.854329427173779e-06,
+      "loss": 0.659,
+      "step": 384
+    },
+    {
+      "epoch": 0.4106666666666667,
+      "grad_norm": 0.6128455400466919,
+      "learning_rate": 4.853359819409567e-06,
+      "loss": 0.6197,
+      "step": 385
+    },
+    {
+      "epoch": 0.41173333333333334,
+      "grad_norm": 0.6231691837310791,
+      "learning_rate": 4.852387092892501e-06,
+      "loss": 0.6203,
+      "step": 386
+    },
+    {
+      "epoch": 0.4128,
+      "grad_norm": 0.6040841937065125,
+      "learning_rate": 4.851411248911673e-06,
+      "loss": 0.6044,
+      "step": 387
+    },
+    {
+      "epoch": 0.41386666666666666,
+      "grad_norm": 0.5762168169021606,
+      "learning_rate": 4.850432288760305e-06,
+      "loss": 0.6365,
+      "step": 388
+    },
+    {
+      "epoch": 0.4149333333333333,
+      "grad_norm": 0.5995022058486938,
+      "learning_rate": 4.849450213735747e-06,
+      "loss": 0.6319,
+      "step": 389
+    },
+    {
+      "epoch": 0.416,
+      "grad_norm": 0.6166043281555176,
+      "learning_rate": 4.848465025139479e-06,
+      "loss": 0.6432,
+      "step": 390
+    },
+    {
+      "epoch": 0.41706666666666664,
+      "grad_norm": 0.5812424421310425,
+      "learning_rate": 4.847476724277107e-06,
+      "loss": 0.6068,
+      "step": 391
+    },
+    {
+      "epoch": 0.41813333333333336,
+      "grad_norm": 0.6298794746398926,
+      "learning_rate": 4.84648531245836e-06,
+      "loss": 0.6645,
+      "step": 392
+    },
+    {
+      "epoch": 0.4192,
+      "grad_norm": 0.6683804392814636,
+      "learning_rate": 4.845490790997093e-06,
+      "loss": 0.6803,
+      "step": 393
+    },
+    {
+      "epoch": 0.4202666666666667,
+      "grad_norm": 0.6388056874275208,
+      "learning_rate": 4.844493161211277e-06,
+      "loss": 0.6395,
+      "step": 394
+    },
+    {
+      "epoch": 0.42133333333333334,
+      "grad_norm": 0.638214647769928,
+      "learning_rate": 4.843492424423007e-06,
+      "loss": 0.6852,
+      "step": 395
+    },
+    {
+      "epoch": 0.4224,
+      "grad_norm": 0.5727797150611877,
+      "learning_rate": 4.842488581958493e-06,
+      "loss": 0.5915,
+      "step": 396
+    },
+    {
+      "epoch": 0.42346666666666666,
+      "grad_norm": 0.5715830326080322,
+      "learning_rate": 4.841481635148062e-06,
+      "loss": 0.5863,
+      "step": 397
+    },
+    {
+      "epoch": 0.4245333333333333,
+      "grad_norm": 0.6514164805412292,
+      "learning_rate": 4.840471585326153e-06,
+      "loss": 0.5834,
+      "step": 398
+    },
+    {
+      "epoch": 0.4256,
+      "grad_norm": 0.6230443120002747,
+      "learning_rate": 4.83945843383132e-06,
+      "loss": 0.616,
+      "step": 399
+    },
+    {
+      "epoch": 0.4266666666666667,
+      "grad_norm": 0.6301071047782898,
+      "learning_rate": 4.838442182006224e-06,
+      "loss": 0.6226,
+      "step": 400
+    },
+    {
+      "epoch": 0.42773333333333335,
+      "grad_norm": 0.640888512134552,
+      "learning_rate": 4.837422831197639e-06,
+      "loss": 0.6105,
+      "step": 401
+    },
+    {
+      "epoch": 0.4288,
+      "grad_norm": 0.6074056029319763,
+      "learning_rate": 4.836400382756442e-06,
+      "loss": 0.6041,
+      "step": 402
+    },
+    {
+      "epoch": 0.4298666666666667,
+      "grad_norm": 0.6404791474342346,
+      "learning_rate": 4.8353748380376175e-06,
+      "loss": 0.5859,
+      "step": 403
+    },
+    {
+      "epoch": 0.43093333333333333,
+      "grad_norm": 0.7058281302452087,
+      "learning_rate": 4.8343461984002516e-06,
+      "loss": 0.5997,
+      "step": 404
+    },
+    {
+      "epoch": 0.432,
+      "grad_norm": 0.5944395661354065,
+      "learning_rate": 4.8333144652075335e-06,
+      "loss": 0.5805,
+      "step": 405
+    },
+    {
+      "epoch": 0.43306666666666666,
+      "grad_norm": 0.6783080697059631,
+      "learning_rate": 4.8322796398267506e-06,
+      "loss": 0.6279,
+      "step": 406
+    },
+    {
+      "epoch": 0.4341333333333333,
+      "grad_norm": 0.7226743102073669,
+      "learning_rate": 4.831241723629288e-06,
+      "loss": 0.7177,
+      "step": 407
+    },
+    {
+      "epoch": 0.4352,
+      "grad_norm": 0.5515469908714294,
+      "learning_rate": 4.83020071799063e-06,
+      "loss": 0.6056,
+      "step": 408
+    },
+    {
+      "epoch": 0.4362666666666667,
+      "grad_norm": 0.6173730492591858,
+      "learning_rate": 4.829156624290352e-06,
+      "loss": 0.6108,
+      "step": 409
+    },
+    {
+      "epoch": 0.43733333333333335,
+      "grad_norm": 0.596896231174469,
+      "learning_rate": 4.8281094439121215e-06,
+      "loss": 0.5202,
+      "step": 410
+    },
+    {
+      "epoch": 0.4384,
+      "grad_norm": 0.5915566682815552,
+      "learning_rate": 4.8270591782437e-06,
+      "loss": 0.5777,
+      "step": 411
+    },
+    {
+      "epoch": 0.43946666666666667,
+      "grad_norm": 0.6043774485588074,
+      "learning_rate": 4.826005828676931e-06,
+      "loss": 0.6096,
+      "step": 412
+    },
+    {
+      "epoch": 0.44053333333333333,
+      "grad_norm": 0.7036218047142029,
+      "learning_rate": 4.824949396607756e-06,
+      "loss": 0.7042,
+      "step": 413
+    },
+    {
+      "epoch": 0.4416,
+      "grad_norm": 0.5874921083450317,
+      "learning_rate": 4.8238898834361884e-06,
+      "loss": 0.648,
+      "step": 414
+    },
+    {
+      "epoch": 0.44266666666666665,
+      "grad_norm": 0.5833300948143005,
+      "learning_rate": 4.822827290566335e-06,
+      "loss": 0.5531,
+      "step": 415
+    },
+    {
+      "epoch": 0.4437333333333333,
+      "grad_norm": 0.6393194794654846,
+      "learning_rate": 4.821761619406378e-06,
+      "loss": 0.6867,
+      "step": 416
+    },
+    {
+      "epoch": 0.4448,
+      "grad_norm": 0.6127629280090332,
+      "learning_rate": 4.820692871368585e-06,
+      "loss": 0.6173,
+      "step": 417
+    },
+    {
+      "epoch": 0.4458666666666667,
+      "grad_norm": 0.6388437151908875,
+      "learning_rate": 4.819621047869293e-06,
+      "loss": 0.6528,
+      "step": 418
+    },
+    {
+      "epoch": 0.44693333333333335,
+      "grad_norm": 0.5839512348175049,
+      "learning_rate": 4.818546150328922e-06,
+      "loss": 0.6273,
+      "step": 419
+    },
+    {
+      "epoch": 0.448,
+      "grad_norm": 0.5715600848197937,
+      "learning_rate": 4.8174681801719615e-06,
+      "loss": 0.5855,
+      "step": 420
+    },
+    {
+      "epoch": 0.44906666666666667,
+      "grad_norm": 0.6014574766159058,
+      "learning_rate": 4.816387138826975e-06,
+      "loss": 0.633,
+      "step": 421
+    },
+    {
+      "epoch": 0.45013333333333333,
+      "grad_norm": 0.6036352515220642,
+      "learning_rate": 4.815303027726595e-06,
+      "loss": 0.6442,
+      "step": 422
+    },
+    {
+      "epoch": 0.4512,
+      "grad_norm": 0.6178746819496155,
+      "learning_rate": 4.814215848307524e-06,
+      "loss": 0.6441,
+      "step": 423
+    },
+    {
+      "epoch": 0.45226666666666665,
+      "grad_norm": 0.6130580306053162,
+      "learning_rate": 4.813125602010527e-06,
+      "loss": 0.626,
+      "step": 424
+    },
+    {
+      "epoch": 0.4533333333333333,
+      "grad_norm": 0.6255093216896057,
+      "learning_rate": 4.812032290280437e-06,
+      "loss": 0.6102,
+      "step": 425
+    },
+    {
+      "epoch": 0.4544,
+      "grad_norm": 0.6189607977867126,
+      "learning_rate": 4.810935914566148e-06,
+      "loss": 0.6212,
+      "step": 426
+    },
+    {
+      "epoch": 0.4554666666666667,
+      "grad_norm": 0.5386304259300232,
+      "learning_rate": 4.809836476320615e-06,
+      "loss": 0.5632,
+      "step": 427
+    },
+    {
+      "epoch": 0.45653333333333335,
+      "grad_norm": 0.5640906691551208,
+      "learning_rate": 4.80873397700085e-06,
+      "loss": 0.5386,
+      "step": 428
+    },
+    {
+      "epoch": 0.4576,
+      "grad_norm": 0.5749167799949646,
+      "learning_rate": 4.807628418067924e-06,
+      "loss": 0.6233,
+      "step": 429
+    },
+    {
+      "epoch": 0.45866666666666667,
+      "grad_norm": 0.645693302154541,
+      "learning_rate": 4.8065198009869606e-06,
+      "loss": 0.6353,
+      "step": 430
+    },
+    {
+      "epoch": 0.4597333333333333,
+      "grad_norm": 0.6835891008377075,
+      "learning_rate": 4.805408127227137e-06,
+      "loss": 0.7023,
+      "step": 431
+    },
+    {
+      "epoch": 0.4608,
+      "grad_norm": 0.6253502368927002,
+      "learning_rate": 4.804293398261682e-06,
+      "loss": 0.6352,
+      "step": 432
+    },
+    {
+      "epoch": 0.46186666666666665,
+      "grad_norm": 0.5692882537841797,
+      "learning_rate": 4.803175615567872e-06,
+      "loss": 0.547,
+      "step": 433
+    },
+    {
+      "epoch": 0.4629333333333333,
+      "grad_norm": 0.6294782161712646,
+      "learning_rate": 4.8020547806270306e-06,
+      "loss": 0.6061,
+      "step": 434
+    },
+    {
+      "epoch": 0.464,
+      "grad_norm": 0.5851484537124634,
+      "learning_rate": 4.800930894924527e-06,
+      "loss": 0.5706,
+      "step": 435
+    },
+    {
+      "epoch": 0.4650666666666667,
+      "grad_norm": 0.6211123466491699,
+      "learning_rate": 4.799803959949773e-06,
+      "loss": 0.6564,
+      "step": 436
+    },
+    {
+      "epoch": 0.46613333333333334,
+      "grad_norm": 0.5770750045776367,
+      "learning_rate": 4.798673977196221e-06,
+      "loss": 0.5709,
+      "step": 437
+    },
+    {
+      "epoch": 0.4672,
+      "grad_norm": 0.6148988008499146,
+      "learning_rate": 4.797540948161363e-06,
+      "loss": 0.6217,
+      "step": 438
+    },
+    {
+      "epoch": 0.46826666666666666,
+      "grad_norm": 0.6477574110031128,
+      "learning_rate": 4.796404874346727e-06,
+      "loss": 0.7014,
+      "step": 439
+    },
+    {
+      "epoch": 0.4693333333333333,
+      "grad_norm": 0.6236480474472046,
+      "learning_rate": 4.795265757257879e-06,
+      "loss": 0.6501,
+      "step": 440
+    },
+    {
+      "epoch": 0.4704,
+      "grad_norm": 0.6011667847633362,
+      "learning_rate": 4.794123598404413e-06,
+      "loss": 0.6458,
+      "step": 441
+    },
+    {
+      "epoch": 0.47146666666666665,
+      "grad_norm": 0.612973153591156,
+      "learning_rate": 4.7929783992999596e-06,
+      "loss": 0.6448,
+      "step": 442
+    },
+    {
+      "epoch": 0.47253333333333336,
+      "grad_norm": 0.6520044803619385,
+      "learning_rate": 4.791830161462173e-06,
+      "loss": 0.6803,
+      "step": 443
+    },
+    {
+      "epoch": 0.4736,
+      "grad_norm": 0.6207833886146545,
+      "learning_rate": 4.790678886412741e-06,
+      "loss": 0.5927,
+      "step": 444
+    },
+    {
+      "epoch": 0.4746666666666667,
+      "grad_norm": 0.6449158191680908,
+      "learning_rate": 4.789524575677369e-06,
+      "loss": 0.5998,
+      "step": 445
+    },
+    {
+      "epoch": 0.47573333333333334,
+      "grad_norm": 0.6006563901901245,
+      "learning_rate": 4.78836723078579e-06,
+      "loss": 0.5843,
+      "step": 446
+    },
+    {
+      "epoch": 0.4768,
+      "grad_norm": 0.687724769115448,
+      "learning_rate": 4.7872068532717585e-06,
+      "loss": 0.6891,
+      "step": 447
+    },
+    {
+      "epoch": 0.47786666666666666,
+      "grad_norm": 0.6384672522544861,
+      "learning_rate": 4.786043444673045e-06,
+      "loss": 0.6132,
+      "step": 448
+    },
+    {
+      "epoch": 0.4789333333333333,
+      "grad_norm": 0.5960268974304199,
+      "learning_rate": 4.784877006531439e-06,
+      "loss": 0.6054,
+      "step": 449
+    },
+    {
+      "epoch": 0.48,
+      "grad_norm": 0.6720285415649414,
+      "learning_rate": 4.783707540392743e-06,
+      "loss": 0.696,
+      "step": 450
+    },
+    {
+      "epoch": 0.48106666666666664,
+      "grad_norm": 0.6899218559265137,
+      "learning_rate": 4.782535047806775e-06,
+      "loss": 0.6686,
+      "step": 451
+    },
+    {
+      "epoch": 0.48213333333333336,
+      "grad_norm": 0.6242839694023132,
+      "learning_rate": 4.781359530327362e-06,
+      "loss": 0.6203,
+      "step": 452
+    },
+    {
+      "epoch": 0.4832,
+      "grad_norm": 0.5929518342018127,
+      "learning_rate": 4.780180989512339e-06,
+      "loss": 0.6627,
+      "step": 453
+    },
+    {
+      "epoch": 0.4842666666666667,
+      "grad_norm": 0.6084147691726685,
+      "learning_rate": 4.778999426923549e-06,
+      "loss": 0.6147,
+      "step": 454
+    },
+    {
+      "epoch": 0.48533333333333334,
+      "grad_norm": 0.6080532670021057,
+      "learning_rate": 4.77781484412684e-06,
+      "loss": 0.6252,
+      "step": 455
+    },
+    {
+      "epoch": 0.4864,
+      "grad_norm": 0.6034124493598938,
+      "learning_rate": 4.77662724269206e-06,
+      "loss": 0.6074,
+      "step": 456
+    },
+    {
+      "epoch": 0.48746666666666666,
+      "grad_norm": 0.5750753879547119,
+      "learning_rate": 4.775436624193061e-06,
+      "loss": 0.5996,
+      "step": 457
+    },
+    {
+      "epoch": 0.4885333333333333,
+      "grad_norm": 0.5886911153793335,
+      "learning_rate": 4.774242990207689e-06,
+      "loss": 0.6087,
+      "step": 458
+    },
+    {
+      "epoch": 0.4896,
+      "grad_norm": 0.5647364258766174,
+      "learning_rate": 4.77304634231779e-06,
+      "loss": 0.6123,
+      "step": 459
+    },
+    {
+      "epoch": 0.49066666666666664,
+      "grad_norm": 0.6324787139892578,
+      "learning_rate": 4.771846682109203e-06,
+      "loss": 0.66,
+      "step": 460
+    },
+    {
+      "epoch": 0.49173333333333336,
+      "grad_norm": 0.575066089630127,
+      "learning_rate": 4.770644011171758e-06,
+      "loss": 0.6167,
+      "step": 461
+    },
+    {
+      "epoch": 0.4928,
+      "grad_norm": 0.5502923727035522,
+      "learning_rate": 4.7694383310992755e-06,
+      "loss": 0.5699,
+      "step": 462
+    },
+    {
+      "epoch": 0.4938666666666667,
+      "grad_norm": 0.5926790833473206,
+      "learning_rate": 4.7682296434895634e-06,
+      "loss": 0.6145,
+      "step": 463
+    },
+    {
+      "epoch": 0.49493333333333334,
+      "grad_norm": 0.6054263710975647,
+      "learning_rate": 4.767017949944418e-06,
+      "loss": 0.5882,
+      "step": 464
+    },
+    {
+      "epoch": 0.496,
+      "grad_norm": 0.5817866921424866,
+      "learning_rate": 4.765803252069615e-06,
+      "loss": 0.6305,
+      "step": 465
+    },
+    {
+      "epoch": 0.49706666666666666,
+      "grad_norm": 0.5888158679008484,
+      "learning_rate": 4.764585551474914e-06,
+      "loss": 0.5967,
+      "step": 466
+    },
+    {
+      "epoch": 0.4981333333333333,
+      "grad_norm": 0.5797093510627747,
+      "learning_rate": 4.763364849774053e-06,
+      "loss": 0.6255,
+      "step": 467
+    },
+    {
+      "epoch": 0.4992,
+      "grad_norm": 0.5925189852714539,
+      "learning_rate": 4.7621411485847495e-06,
+      "loss": 0.6378,
+      "step": 468
+    },
+    {
+      "epoch": 0.5002666666666666,
+      "grad_norm": 0.6369298100471497,
+      "learning_rate": 4.7609144495286915e-06,
+      "loss": 0.6391,
+      "step": 469
+    },
+    {
+      "epoch": 0.5013333333333333,
+      "grad_norm": 0.5904714465141296,
+      "learning_rate": 4.759684754231545e-06,
+      "loss": 0.5885,
+      "step": 470
+    },
+    {
+      "epoch": 0.5024,
+      "grad_norm": 0.5584716200828552,
+      "learning_rate": 4.758452064322942e-06,
+      "loss": 0.5834,
+      "step": 471
+    },
+    {
+      "epoch": 0.5034666666666666,
+      "grad_norm": 0.6332317590713501,
+      "learning_rate": 4.757216381436487e-06,
+      "loss": 0.6388,
+      "step": 472
+    },
+    {
+      "epoch": 0.5045333333333333,
+      "grad_norm": 0.6089542508125305,
+      "learning_rate": 4.755977707209748e-06,
+      "loss": 0.6379,
+      "step": 473
+    },
+    {
+      "epoch": 0.5056,
+      "grad_norm": 0.6104575395584106,
+      "learning_rate": 4.754736043284259e-06,
+      "loss": 0.6604,
+      "step": 474
+    },
+    {
+      "epoch": 0.5066666666666667,
+      "grad_norm": 0.687782883644104,
+      "learning_rate": 4.7534913913055156e-06,
+      "loss": 0.7409,
+      "step": 475
+    },
+    {
+      "epoch": 0.5077333333333334,
+      "grad_norm": 0.540304958820343,
+      "learning_rate": 4.752243752922973e-06,
+      "loss": 0.5667,
+      "step": 476
+    },
+    {
+      "epoch": 0.5088,
+      "grad_norm": 0.5895708203315735,
+      "learning_rate": 4.7509931297900444e-06,
+      "loss": 0.6059,
+      "step": 477
+    },
+    {
+      "epoch": 0.5098666666666667,
+      "grad_norm": 0.5945648550987244,
+      "learning_rate": 4.749739523564098e-06,
+      "loss": 0.6191,
+      "step": 478
+    },
+    {
+      "epoch": 0.5109333333333334,
+      "grad_norm": 0.5570189952850342,
+      "learning_rate": 4.748482935906456e-06,
+      "loss": 0.57,
+      "step": 479
+    },
+    {
+      "epoch": 0.512,
+      "grad_norm": 0.5762370824813843,
+      "learning_rate": 4.74722336848239e-06,
+      "loss": 0.6199,
+      "step": 480
+    },
+    {
+      "epoch": 0.5130666666666667,
+      "grad_norm": 0.6282486915588379,
+      "learning_rate": 4.7459608229611236e-06,
+      "loss": 0.5937,
+      "step": 481
+    },
+    {
+      "epoch": 0.5141333333333333,
+      "grad_norm": 0.5871881246566772,
+      "learning_rate": 4.744695301015823e-06,
+      "loss": 0.5968,
+      "step": 482
+    },
+    {
+      "epoch": 0.5152,
+      "grad_norm": 0.5988528728485107,
+      "learning_rate": 4.7434268043236034e-06,
+      "loss": 0.6083,
+      "step": 483
+    },
+    {
+      "epoch": 0.5162666666666667,
+      "grad_norm": 0.6470425128936768,
+      "learning_rate": 4.74215533456552e-06,
+      "loss": 0.6267,
+      "step": 484
+    },
+    {
+      "epoch": 0.5173333333333333,
+      "grad_norm": 0.5777196884155273,
+      "learning_rate": 4.740880893426566e-06,
+      "loss": 0.5762,
+      "step": 485
+    },
+    {
+      "epoch": 0.5184,
+      "grad_norm": 0.6144599318504333,
+      "learning_rate": 4.739603482595676e-06,
+      "loss": 0.5818,
+      "step": 486
+    },
+    {
+      "epoch": 0.5194666666666666,
+      "grad_norm": 0.6376152634620667,
+      "learning_rate": 4.738323103765718e-06,
+      "loss": 0.6614,
+      "step": 487
+    },
+    {
+      "epoch": 0.5205333333333333,
+      "grad_norm": 0.6899168491363525,
+      "learning_rate": 4.7370397586334935e-06,
+      "loss": 0.6182,
+      "step": 488
+    },
+    {
+      "epoch": 0.5216,
+      "grad_norm": 0.6371681690216064,
+      "learning_rate": 4.7357534488997355e-06,
+      "loss": 0.6054,
+      "step": 489
+    },
+    {
+      "epoch": 0.5226666666666666,
+      "grad_norm": 0.5293333530426025,
+      "learning_rate": 4.7344641762691056e-06,
+      "loss": 0.5576,
+      "step": 490
+    },
+    {
+      "epoch": 0.5237333333333334,
+      "grad_norm": 0.5872089862823486,
+      "learning_rate": 4.733171942450192e-06,
+      "loss": 0.583,
+      "step": 491
+    },
+    {
+      "epoch": 0.5248,
+      "grad_norm": 0.6644601225852966,
+      "learning_rate": 4.731876749155507e-06,
+      "loss": 0.6144,
+      "step": 492
+    },
+    {
+      "epoch": 0.5258666666666667,
+      "grad_norm": 0.5726211071014404,
+      "learning_rate": 4.730578598101486e-06,
+      "loss": 0.5305,
+      "step": 493
+    },
+    {
+      "epoch": 0.5269333333333334,
+      "grad_norm": 0.6074063777923584,
+      "learning_rate": 4.729277491008482e-06,
+      "loss": 0.6255,
+      "step": 494
+    },
+    {
+      "epoch": 0.528,
+      "grad_norm": 0.6119967699050903,
+      "learning_rate": 4.727973429600766e-06,
+      "loss": 0.6187,
+      "step": 495
+    },
+    {
+      "epoch": 0.5290666666666667,
+      "grad_norm": 0.552763044834137,
+      "learning_rate": 4.726666415606526e-06,
+      "loss": 0.535,
+      "step": 496
+    },
+    {
+      "epoch": 0.5301333333333333,
+      "grad_norm": 0.6003803014755249,
+      "learning_rate": 4.725356450757862e-06,
+      "loss": 0.5902,
+      "step": 497
+    },
+    {
+      "epoch": 0.5312,
+      "grad_norm": 0.5872358083724976,
+      "learning_rate": 4.724043536790782e-06,
+      "loss": 0.5672,
+      "step": 498
+    },
+    {
+      "epoch": 0.5322666666666667,
+      "grad_norm": 0.536277174949646,
+      "learning_rate": 4.722727675445207e-06,
+      "loss": 0.5728,
+      "step": 499
+    },
+    {
+      "epoch": 0.5333333333333333,
+      "grad_norm": 0.5266653895378113,
+      "learning_rate": 4.72140886846496e-06,
+      "loss": 0.5535,
+      "step": 500
+    },
+    {
+      "epoch": 0.5344,
+      "grad_norm": 0.5693493485450745,
+      "learning_rate": 4.7200871175977695e-06,
+      "loss": 0.564,
+      "step": 501
+    },
+    {
+      "epoch": 0.5354666666666666,
+      "grad_norm": 0.5780934691429138,
+      "learning_rate": 4.718762424595263e-06,
+      "loss": 0.5895,
+      "step": 502
+    },
+    {
+      "epoch": 0.5365333333333333,
+      "grad_norm": 0.5788530707359314,
+      "learning_rate": 4.7174347912129725e-06,
+      "loss": 0.583,
+      "step": 503
+    },
+    {
+      "epoch": 0.5376,
+      "grad_norm": 0.6269481778144836,
+      "learning_rate": 4.7161042192103215e-06,
+      "loss": 0.5905,
+      "step": 504
+    },
+    {
+      "epoch": 0.5386666666666666,
+      "grad_norm": 0.6489405632019043,
+      "learning_rate": 4.7147707103506284e-06,
+      "loss": 0.6266,
+      "step": 505
+    },
+    {
+      "epoch": 0.5397333333333333,
+      "grad_norm": 0.5784042477607727,
+      "learning_rate": 4.7134342664011066e-06,
+      "loss": 0.6039,
+      "step": 506
+    },
+    {
+      "epoch": 0.5408,
+      "grad_norm": 0.5466086864471436,
+      "learning_rate": 4.712094889132855e-06,
+      "loss": 0.5614,
+      "step": 507
+    },
+    {
+      "epoch": 0.5418666666666667,
+      "grad_norm": 0.5435602068901062,
+      "learning_rate": 4.710752580320864e-06,
+      "loss": 0.6046,
+      "step": 508
+    },
+    {
+      "epoch": 0.5429333333333334,
+      "grad_norm": 0.5960467457771301,
+      "learning_rate": 4.709407341744007e-06,
+      "loss": 0.5851,
+      "step": 509
+    },
+    {
+      "epoch": 0.544,
+      "grad_norm": 0.6057007312774658,
+      "learning_rate": 4.708059175185039e-06,
+      "loss": 0.59,
+      "step": 510
+    },
+    {
+      "epoch": 0.5450666666666667,
+      "grad_norm": 0.6069756746292114,
+      "learning_rate": 4.706708082430597e-06,
+      "loss": 0.6137,
+      "step": 511
+    },
+    {
+      "epoch": 0.5461333333333334,
+      "grad_norm": 0.5730114579200745,
+      "learning_rate": 4.705354065271197e-06,
+      "loss": 0.6275,
+      "step": 512
+    },
+    {
+      "epoch": 0.5472,
+      "grad_norm": 0.561038613319397,
+      "learning_rate": 4.703997125501225e-06,
+      "loss": 0.5845,
+      "step": 513
+    },
+    {
+      "epoch": 0.5482666666666667,
+      "grad_norm": 0.6208556294441223,
+      "learning_rate": 4.702637264918948e-06,
+      "loss": 0.656,
+      "step": 514
+    },
+    {
+      "epoch": 0.5493333333333333,
+      "grad_norm": 0.6386368274688721,
+      "learning_rate": 4.701274485326496e-06,
+      "loss": 0.61,
+      "step": 515
+    },
+    {
+      "epoch": 0.5504,
+      "grad_norm": 0.6227326989173889,
+      "learning_rate": 4.699908788529874e-06,
+      "loss": 0.6472,
+      "step": 516
+    },
+    {
+      "epoch": 0.5514666666666667,
+      "grad_norm": 0.6626928448677063,
+      "learning_rate": 4.698540176338949e-06,
+      "loss": 0.6766,
+      "step": 517
+    },
+    {
+      "epoch": 0.5525333333333333,
+      "grad_norm": 0.6136627197265625,
+      "learning_rate": 4.697168650567452e-06,
+      "loss": 0.6176,
+      "step": 518
+    },
+    {
+      "epoch": 0.5536,
+      "grad_norm": 0.6682325005531311,
+      "learning_rate": 4.695794213032977e-06,
+      "loss": 0.6118,
+      "step": 519
+    },
+    {
+      "epoch": 0.5546666666666666,
+      "grad_norm": 0.6289040446281433,
+      "learning_rate": 4.694416865556975e-06,
+      "loss": 0.6336,
+      "step": 520
+    },
+    {
+      "epoch": 0.5557333333333333,
+      "grad_norm": 0.5783531665802002,
+      "learning_rate": 4.693036609964754e-06,
+      "loss": 0.6496,
+      "step": 521
+    },
+    {
+      "epoch": 0.5568,
+      "grad_norm": 0.5765947699546814,
+      "learning_rate": 4.691653448085476e-06,
+      "loss": 0.582,
+      "step": 522
+    },
+    {
+      "epoch": 0.5578666666666666,
+      "grad_norm": 0.606831967830658,
+      "learning_rate": 4.690267381752153e-06,
+      "loss": 0.558,
+      "step": 523
+    },
+    {
+      "epoch": 0.5589333333333333,
+      "grad_norm": 0.610277533531189,
+      "learning_rate": 4.68887841280165e-06,
+      "loss": 0.5826,
+      "step": 524
+    },
+    {
+      "epoch": 0.56,
+      "grad_norm": 0.6619186401367188,
+      "learning_rate": 4.687486543074675e-06,
+      "loss": 0.6804,
+      "step": 525
+    },
+    {
+      "epoch": 0.5610666666666667,
+      "grad_norm": 0.5690367221832275,
+      "learning_rate": 4.6860917744157804e-06,
+      "loss": 0.6014,
+      "step": 526
+    },
+    {
+      "epoch": 0.5621333333333334,
+      "grad_norm": 0.5943863391876221,
+      "learning_rate": 4.684694108673362e-06,
+      "loss": 0.5882,
+      "step": 527
+    },
+    {
+      "epoch": 0.5632,
+      "grad_norm": 0.6730422973632812,
+      "learning_rate": 4.683293547699655e-06,
+      "loss": 0.6642,
+      "step": 528
+    },
+    {
+      "epoch": 0.5642666666666667,
+      "grad_norm": 0.6663715243339539,
+      "learning_rate": 4.68189009335073e-06,
+      "loss": 0.6475,
+      "step": 529
+    },
+    {
+      "epoch": 0.5653333333333334,
+      "grad_norm": 0.5895207524299622,
+      "learning_rate": 4.680483747486492e-06,
+      "loss": 0.5849,
+      "step": 530
+    },
+    {
+      "epoch": 0.5664,
+      "grad_norm": 0.6676821708679199,
+      "learning_rate": 4.679074511970679e-06,
+      "loss": 0.645,
+      "step": 531
+    },
+    {
+      "epoch": 0.5674666666666667,
+      "grad_norm": 0.5877640247344971,
+      "learning_rate": 4.677662388670858e-06,
+      "loss": 0.5846,
+      "step": 532
+    },
+    {
+      "epoch": 0.5685333333333333,
+      "grad_norm": 0.6326382160186768,
+      "learning_rate": 4.676247379458424e-06,
+      "loss": 0.6693,
+      "step": 533
+    },
+    {
+      "epoch": 0.5696,
+      "grad_norm": 0.622182309627533,
+      "learning_rate": 4.674829486208595e-06,
+      "loss": 0.6087,
+      "step": 534
+    },
+    {
+      "epoch": 0.5706666666666667,
+      "grad_norm": 0.6631737351417542,
+      "learning_rate": 4.67340871080041e-06,
+      "loss": 0.6682,
+      "step": 535
+    },
+    {
+      "epoch": 0.5717333333333333,
+      "grad_norm": 0.5950546264648438,
+      "learning_rate": 4.671985055116732e-06,
+      "loss": 0.6063,
+      "step": 536
+    },
+    {
+      "epoch": 0.5728,
+      "grad_norm": 0.5871408581733704,
+      "learning_rate": 4.670558521044237e-06,
+      "loss": 0.6729,
+      "step": 537
+    },
+    {
+      "epoch": 0.5738666666666666,
+      "grad_norm": 0.5698063969612122,
+      "learning_rate": 4.669129110473416e-06,
+      "loss": 0.576,
+      "step": 538
+    },
+    {
+      "epoch": 0.5749333333333333,
+      "grad_norm": 0.6735860705375671,
+      "learning_rate": 4.667696825298572e-06,
+      "loss": 0.6692,
+      "step": 539
+    },
+    {
+      "epoch": 0.576,
+      "grad_norm": 0.6418671011924744,
+      "learning_rate": 4.666261667417821e-06,
+      "loss": 0.6008,
+      "step": 540
+    },
+    {
+      "epoch": 0.5770666666666666,
+      "grad_norm": 0.6123111248016357,
+      "learning_rate": 4.664823638733081e-06,
+      "loss": 0.5891,
+      "step": 541
+    },
+    {
+      "epoch": 0.5781333333333334,
+      "grad_norm": 0.6036990284919739,
+      "learning_rate": 4.663382741150077e-06,
+      "loss": 0.5786,
+      "step": 542
+    },
+    {
+      "epoch": 0.5792,
+      "grad_norm": 0.5836086273193359,
+      "learning_rate": 4.661938976578337e-06,
+      "loss": 0.5861,
+      "step": 543
+    },
+    {
+      "epoch": 0.5802666666666667,
+      "grad_norm": 0.6482841372489929,
+      "learning_rate": 4.660492346931186e-06,
+      "loss": 0.623,
+      "step": 544
+    },
+    {
+      "epoch": 0.5813333333333334,
+      "grad_norm": 0.6036791205406189,
+      "learning_rate": 4.659042854125747e-06,
+      "loss": 0.5827,
+      "step": 545
+    },
+    {
+      "epoch": 0.5824,
+      "grad_norm": 0.5864742398262024,
+      "learning_rate": 4.657590500082939e-06,
+      "loss": 0.5912,
+      "step": 546
+    },
+    {
+      "epoch": 0.5834666666666667,
+      "grad_norm": 0.5719034075737,
+      "learning_rate": 4.656135286727468e-06,
+      "loss": 0.5554,
+      "step": 547
+    },
+    {
+      "epoch": 0.5845333333333333,
+      "grad_norm": 0.642200231552124,
+      "learning_rate": 4.654677215987836e-06,
+      "loss": 0.6433,
+      "step": 548
+    },
+    {
+      "epoch": 0.5856,
+      "grad_norm": 0.6627729535102844,
+      "learning_rate": 4.653216289796326e-06,
+      "loss": 0.6048,
+      "step": 549
+    },
+    {
+      "epoch": 0.5866666666666667,
+      "grad_norm": 0.615558385848999,
+      "learning_rate": 4.651752510089008e-06,
+      "loss": 0.6335,
+      "step": 550
+    },
+    {
+      "epoch": 0.5877333333333333,
+      "grad_norm": 0.5590251684188843,
+      "learning_rate": 4.6502858788057325e-06,
+      "loss": 0.5429,
+      "step": 551
+    },
+    {
+      "epoch": 0.5888,
+      "grad_norm": 0.6588932871818542,
+      "learning_rate": 4.64881639789013e-06,
+      "loss": 0.6407,
+      "step": 552
+    },
+    {
+      "epoch": 0.5898666666666667,
+      "grad_norm": 0.6065369844436646,
+      "learning_rate": 4.6473440692896065e-06,
+      "loss": 0.643,
+      "step": 553
+    },
+    {
+      "epoch": 0.5909333333333333,
+      "grad_norm": 0.6486513614654541,
+      "learning_rate": 4.645868894955342e-06,
+      "loss": 0.6936,
+      "step": 554
+    },
+    {
+      "epoch": 0.592,
+      "grad_norm": 0.5697367787361145,
+      "learning_rate": 4.644390876842288e-06,
+      "loss": 0.6027,
+      "step": 555
+    },
+    {
+      "epoch": 0.5930666666666666,
+      "grad_norm": 0.6077702641487122,
+      "learning_rate": 4.642910016909165e-06,
+      "loss": 0.6411,
+      "step": 556
+    },
+    {
+      "epoch": 0.5941333333333333,
+      "grad_norm": 0.5879567861557007,
+      "learning_rate": 4.641426317118459e-06,
+      "loss": 0.5764,
+      "step": 557
+    },
+    {
+      "epoch": 0.5952,
+      "grad_norm": 0.6125138401985168,
+      "learning_rate": 4.63993977943642e-06,
+      "loss": 0.6055,
+      "step": 558
+    },
+    {
+      "epoch": 0.5962666666666666,
+      "grad_norm": 0.6460203528404236,
+      "learning_rate": 4.638450405833058e-06,
+      "loss": 0.6567,
+      "step": 559
+    },
+    {
+      "epoch": 0.5973333333333334,
+      "grad_norm": 0.596439003944397,
+      "learning_rate": 4.636958198282141e-06,
+      "loss": 0.6294,
+      "step": 560
+    },
+    {
+      "epoch": 0.5984,
+      "grad_norm": 0.6404560208320618,
+      "learning_rate": 4.635463158761195e-06,
+      "loss": 0.6677,
+      "step": 561
+    },
+    {
+      "epoch": 0.5994666666666667,
+      "grad_norm": 0.6068525910377502,
+      "learning_rate": 4.6339652892514966e-06,
+      "loss": 0.5594,
+      "step": 562
+    },
+    {
+      "epoch": 0.6005333333333334,
+      "grad_norm": 0.6066293120384216,
+      "learning_rate": 4.632464591738074e-06,
+      "loss": 0.6178,
+      "step": 563
+    },
+    {
+      "epoch": 0.6016,
+      "grad_norm": 0.5822814106941223,
+      "learning_rate": 4.6309610682097025e-06,
+      "loss": 0.6372,
+      "step": 564
+    },
+    {
+      "epoch": 0.6026666666666667,
+      "grad_norm": 0.611085057258606,
+      "learning_rate": 4.629454720658904e-06,
+      "loss": 0.6344,
+      "step": 565
+    },
+    {
+      "epoch": 0.6037333333333333,
+      "grad_norm": 0.6101945638656616,
+      "learning_rate": 4.62794555108194e-06,
+      "loss": 0.6259,
+      "step": 566
+    },
+    {
+      "epoch": 0.6048,
+      "grad_norm": 0.5678918957710266,
+      "learning_rate": 4.6264335614788146e-06,
+      "loss": 0.53,
+      "step": 567
+    },
+    {
+      "epoch": 0.6058666666666667,
+      "grad_norm": 0.6594523191452026,
+      "learning_rate": 4.624918753853268e-06,
+      "loss": 0.6829,
+      "step": 568
+    },
+    {
+      "epoch": 0.6069333333333333,
+      "grad_norm": 0.6083823442459106,
+      "learning_rate": 4.623401130212775e-06,
+      "loss": 0.5867,
+      "step": 569
+    },
+    {
+      "epoch": 0.608,
+      "grad_norm": 0.5760588645935059,
+      "learning_rate": 4.6218806925685425e-06,
+      "loss": 0.5532,
+      "step": 570
+    },
+    {
+      "epoch": 0.6090666666666666,
+      "grad_norm": 0.5899492502212524,
+      "learning_rate": 4.620357442935505e-06,
+      "loss": 0.5891,
+      "step": 571
+    },
+    {
+      "epoch": 0.6101333333333333,
+      "grad_norm": 0.651433527469635,
+      "learning_rate": 4.618831383332327e-06,
+      "loss": 0.5758,
+      "step": 572
+    },
+    {
+      "epoch": 0.6112,
+      "grad_norm": 0.6091398000717163,
+      "learning_rate": 4.6173025157813936e-06,
+      "loss": 0.6067,
+      "step": 573
+    },
+    {
+      "epoch": 0.6122666666666666,
+      "grad_norm": 0.5831539630889893,
+      "learning_rate": 4.615770842308814e-06,
+      "loss": 0.6495,
+      "step": 574
+    },
+    {
+      "epoch": 0.6133333333333333,
+      "grad_norm": 0.6487995386123657,
+      "learning_rate": 4.614236364944411e-06,
+      "loss": 0.6258,
+      "step": 575
+    },
+    {
+      "epoch": 0.6144,
+      "grad_norm": 0.6468432545661926,
+      "learning_rate": 4.612699085721729e-06,
+      "loss": 0.5562,
+      "step": 576
+    },
+    {
+      "epoch": 0.6154666666666667,
+      "grad_norm": 0.6319065093994141,
+      "learning_rate": 4.6111590066780225e-06,
+      "loss": 0.5958,
+      "step": 577
+    },
+    {
+      "epoch": 0.6165333333333334,
+      "grad_norm": 0.5837726593017578,
+      "learning_rate": 4.609616129854257e-06,
+      "loss": 0.5608,
+      "step": 578
+    },
+    {
+      "epoch": 0.6176,
+      "grad_norm": 0.6847442984580994,
+      "learning_rate": 4.608070457295105e-06,
+      "loss": 0.6445,
+      "step": 579
+    },
+    {
+      "epoch": 0.6186666666666667,
+      "grad_norm": 0.6101451516151428,
+      "learning_rate": 4.606521991048945e-06,
+      "loss": 0.5896,
+      "step": 580
+    },
+    {
+      "epoch": 0.6197333333333334,
+      "grad_norm": 0.6876742839813232,
+      "learning_rate": 4.604970733167857e-06,
+      "loss": 0.6532,
+      "step": 581
+    },
+    {
+      "epoch": 0.6208,
+      "grad_norm": 0.5982151627540588,
+      "learning_rate": 4.603416685707622e-06,
+      "loss": 0.5803,
+      "step": 582
+    },
+    {
+      "epoch": 0.6218666666666667,
+      "grad_norm": 0.6490232944488525,
+      "learning_rate": 4.6018598507277146e-06,
+      "loss": 0.6507,
+      "step": 583
+    },
+    {
+      "epoch": 0.6229333333333333,
+      "grad_norm": 0.651472270488739,
+      "learning_rate": 4.600300230291308e-06,
+      "loss": 0.6599,
+      "step": 584
+    },
+    {
+      "epoch": 0.624,
+      "grad_norm": 0.5513569116592407,
+      "learning_rate": 4.598737826465264e-06,
+      "loss": 0.5919,
+      "step": 585
+    },
+    {
+      "epoch": 0.6250666666666667,
+      "grad_norm": 0.6778193116188049,
+      "learning_rate": 4.597172641320133e-06,
+      "loss": 0.6916,
+      "step": 586
+    },
+    {
+      "epoch": 0.6261333333333333,
+      "grad_norm": 0.6551267504692078,
+      "learning_rate": 4.595604676930151e-06,
+      "loss": 0.6251,
+      "step": 587
+    },
+    {
+      "epoch": 0.6272,
+      "grad_norm": 0.6577136516571045,
+      "learning_rate": 4.59403393537324e-06,
+      "loss": 0.6411,
+      "step": 588
+    },
+    {
+      "epoch": 0.6282666666666666,
+      "grad_norm": 0.5586519241333008,
+      "learning_rate": 4.5924604187309995e-06,
+      "loss": 0.5238,
+      "step": 589
+    },
+    {
+      "epoch": 0.6293333333333333,
+      "grad_norm": 0.620701789855957,
+      "learning_rate": 4.590884129088707e-06,
+      "loss": 0.588,
+      "step": 590
+    },
+    {
+      "epoch": 0.6304,
+      "grad_norm": 0.6946352124214172,
+      "learning_rate": 4.589305068535316e-06,
+      "loss": 0.6795,
+      "step": 591
+    },
+    {
+      "epoch": 0.6314666666666666,
+      "grad_norm": 0.6922391653060913,
+      "learning_rate": 4.5877232391634505e-06,
+      "loss": 0.6004,
+      "step": 592
+    },
+    {
+      "epoch": 0.6325333333333333,
+      "grad_norm": 0.6643169522285461,
+      "learning_rate": 4.586138643069407e-06,
+      "loss": 0.6251,
+      "step": 593
+    },
+    {
+      "epoch": 0.6336,
+      "grad_norm": 0.6167647242546082,
+      "learning_rate": 4.584551282353144e-06,
+      "loss": 0.6032,
+      "step": 594
+    },
+    {
+      "epoch": 0.6346666666666667,
+      "grad_norm": 0.612909197807312,
+      "learning_rate": 4.582961159118288e-06,
+      "loss": 0.6241,
+      "step": 595
+    },
+    {
+      "epoch": 0.6357333333333334,
+      "grad_norm": 0.6283129453659058,
+      "learning_rate": 4.5813682754721236e-06,
+      "loss": 0.613,
+      "step": 596
+    },
+    {
+      "epoch": 0.6368,
+      "grad_norm": 0.5795093774795532,
+      "learning_rate": 4.579772633525596e-06,
+      "loss": 0.5564,
+      "step": 597
+    },
+    {
+      "epoch": 0.6378666666666667,
+      "grad_norm": 0.6937316060066223,
+      "learning_rate": 4.578174235393301e-06,
+      "loss": 0.631,
+      "step": 598
+    },
+    {
+      "epoch": 0.6389333333333334,
+      "grad_norm": 0.6075345277786255,
+      "learning_rate": 4.576573083193495e-06,
+      "loss": 0.6308,
+      "step": 599
+    },
+    {
+      "epoch": 0.64,
+      "grad_norm": 0.6687782406806946,
+      "learning_rate": 4.574969179048076e-06,
+      "loss": 0.6143,
+      "step": 600
+    },
+    {
+      "epoch": 0.6410666666666667,
+      "grad_norm": 0.5971570611000061,
+      "learning_rate": 4.573362525082594e-06,
+      "loss": 0.6097,
+      "step": 601
+    },
+    {
+      "epoch": 0.6421333333333333,
+      "grad_norm": 0.6692882776260376,
+      "learning_rate": 4.5717531234262425e-06,
+      "loss": 0.6384,
+      "step": 602
+    },
+    {
+      "epoch": 0.6432,
+      "grad_norm": 0.6454700231552124,
+      "learning_rate": 4.570140976211854e-06,
+      "loss": 0.6282,
+      "step": 603
+    },
+    {
+      "epoch": 0.6442666666666667,
+      "grad_norm": 0.5656050443649292,
+      "learning_rate": 4.568526085575903e-06,
+      "loss": 0.5289,
+      "step": 604
+    },
+    {
+      "epoch": 0.6453333333333333,
+      "grad_norm": 0.6414498686790466,
+      "learning_rate": 4.566908453658496e-06,
+      "loss": 0.6449,
+      "step": 605
+    },
+    {
+      "epoch": 0.6464,
+      "grad_norm": 0.6192442178726196,
+      "learning_rate": 4.565288082603374e-06,
+      "loss": 0.5815,
+      "step": 606
+    },
+    {
+      "epoch": 0.6474666666666666,
+      "grad_norm": 0.5898687839508057,
+      "learning_rate": 4.5636649745579095e-06,
+      "loss": 0.6057,
+      "step": 607
+    },
+    {
+      "epoch": 0.6485333333333333,
+      "grad_norm": 0.6340996623039246,
+      "learning_rate": 4.562039131673101e-06,
+      "loss": 0.629,
+      "step": 608
+    },
+    {
+      "epoch": 0.6496,
+      "grad_norm": 0.6370675563812256,
+      "learning_rate": 4.560410556103569e-06,
+      "loss": 0.6833,
+      "step": 609
+    },
+    {
+      "epoch": 0.6506666666666666,
+      "grad_norm": 0.650817334651947,
+      "learning_rate": 4.5587792500075574e-06,
+      "loss": 0.5788,
+      "step": 610
+    },
+    {
+      "epoch": 0.6517333333333334,
+      "grad_norm": 0.6824094653129578,
+      "learning_rate": 4.557145215546932e-06,
+      "loss": 0.6153,
+      "step": 611
+    },
+    {
+      "epoch": 0.6528,
+      "grad_norm": 0.6595913171768188,
+      "learning_rate": 4.555508454887168e-06,
+      "loss": 0.6117,
+      "step": 612
+    },
+    {
+      "epoch": 0.6538666666666667,
+      "grad_norm": 0.5787853002548218,
+      "learning_rate": 4.553868970197358e-06,
+      "loss": 0.6182,
+      "step": 613
+    },
+    {
+      "epoch": 0.6549333333333334,
+      "grad_norm": 0.5896221995353699,
+      "learning_rate": 4.552226763650203e-06,
+      "loss": 0.6022,
+      "step": 614
+    },
+    {
+      "epoch": 0.656,
+      "grad_norm": 0.7050360441207886,
+      "learning_rate": 4.5505818374220115e-06,
+      "loss": 0.6103,
+      "step": 615
+    },
+    {
+      "epoch": 0.6570666666666667,
+      "grad_norm": 0.619540274143219,
+      "learning_rate": 4.548934193692694e-06,
+      "loss": 0.5969,
+      "step": 616
+    },
+    {
+      "epoch": 0.6581333333333333,
+      "grad_norm": 0.5326828956604004,
+      "learning_rate": 4.547283834645766e-06,
+      "loss": 0.6001,
+      "step": 617
+    },
+    {
+      "epoch": 0.6592,
+      "grad_norm": 0.5835014581680298,
+      "learning_rate": 4.54563076246834e-06,
+      "loss": 0.6104,
+      "step": 618
+    },
+    {
+      "epoch": 0.6602666666666667,
+      "grad_norm": 0.5600228309631348,
+      "learning_rate": 4.543974979351123e-06,
+      "loss": 0.5669,
+      "step": 619
+    },
+    {
+      "epoch": 0.6613333333333333,
+      "grad_norm": 0.6030709743499756,
+      "learning_rate": 4.542316487488416e-06,
+      "loss": 0.6252,
+      "step": 620
+    },
+    {
+      "epoch": 0.6624,
+      "grad_norm": 0.5701911449432373,
+      "learning_rate": 4.540655289078109e-06,
+      "loss": 0.6115,
+      "step": 621
+    },
+    {
+      "epoch": 0.6634666666666666,
+      "grad_norm": 0.5787457227706909,
+      "learning_rate": 4.538991386321678e-06,
+      "loss": 0.583,
+      "step": 622
+    },
+    {
+      "epoch": 0.6645333333333333,
+      "grad_norm": 0.5921309590339661,
+      "learning_rate": 4.537324781424184e-06,
+      "loss": 0.6064,
+      "step": 623
+    },
+    {
+      "epoch": 0.6656,
+      "grad_norm": 0.6044897437095642,
+      "learning_rate": 4.535655476594269e-06,
+      "loss": 0.6237,
+      "step": 624
+    },
+    {
+      "epoch": 0.6666666666666666,
+      "grad_norm": 0.5990356206893921,
+      "learning_rate": 4.533983474044153e-06,
+      "loss": 0.6386,
+      "step": 625
+    },
+    {
+      "epoch": 0.6677333333333333,
+      "grad_norm": 0.6282498240470886,
+      "learning_rate": 4.532308775989633e-06,
+      "loss": 0.6009,
+      "step": 626
+    },
+    {
+      "epoch": 0.6688,
+      "grad_norm": 0.5405251383781433,
+      "learning_rate": 4.5306313846500705e-06,
+      "loss": 0.5671,
+      "step": 627
+    },
+    {
+      "epoch": 0.6698666666666667,
+      "grad_norm": 0.6092672348022461,
+      "learning_rate": 4.5289513022484076e-06,
+      "loss": 0.599,
+      "step": 628
+    },
+    {
+      "epoch": 0.6709333333333334,
+      "grad_norm": 0.632253110408783,
+      "learning_rate": 4.527268531011143e-06,
+      "loss": 0.6025,
+      "step": 629
+    },
+    {
+      "epoch": 0.672,
+      "grad_norm": 0.6181769967079163,
+      "learning_rate": 4.525583073168345e-06,
+      "loss": 0.6037,
+      "step": 630
+    },
+    {
+      "epoch": 0.6730666666666667,
+      "grad_norm": 0.6004154682159424,
+      "learning_rate": 4.52389493095364e-06,
+      "loss": 0.5759,
+      "step": 631
+    },
+    {
+      "epoch": 0.6741333333333334,
+      "grad_norm": 0.575222909450531,
+      "learning_rate": 4.52220410660421e-06,
+      "loss": 0.5981,
+      "step": 632
+    },
+    {
+      "epoch": 0.6752,
+      "grad_norm": 0.6711370944976807,
+      "learning_rate": 4.520510602360794e-06,
+      "loss": 0.6218,
+      "step": 633
+    },
+    {
+      "epoch": 0.6762666666666667,
+      "grad_norm": 0.6279858350753784,
+      "learning_rate": 4.518814420467681e-06,
+      "loss": 0.5604,
+      "step": 634
+    },
+    {
+      "epoch": 0.6773333333333333,
+      "grad_norm": 0.5844382643699646,
+      "learning_rate": 4.517115563172711e-06,
+      "loss": 0.5411,
+      "step": 635
+    },
+    {
+      "epoch": 0.6784,
+      "grad_norm": 0.5980414152145386,
+      "learning_rate": 4.515414032727267e-06,
+      "loss": 0.5906,
+      "step": 636
+    },
+    {
+      "epoch": 0.6794666666666667,
+      "grad_norm": 0.6012035608291626,
+      "learning_rate": 4.5137098313862736e-06,
+      "loss": 0.5958,
+      "step": 637
+    },
+    {
+      "epoch": 0.6805333333333333,
+      "grad_norm": 0.6324159502983093,
+      "learning_rate": 4.5120029614082e-06,
+      "loss": 0.6189,
+      "step": 638
+    },
+    {
+      "epoch": 0.6816,
+      "grad_norm": 0.5914866328239441,
+      "learning_rate": 4.510293425055045e-06,
+      "loss": 0.6013,
+      "step": 639
+    },
+    {
+      "epoch": 0.6826666666666666,
+      "grad_norm": 0.614493727684021,
+      "learning_rate": 4.508581224592348e-06,
+      "loss": 0.5856,
+      "step": 640
+    },
+    {
+      "epoch": 0.6837333333333333,
+      "grad_norm": 0.6028826236724854,
+      "learning_rate": 4.5068663622891725e-06,
+      "loss": 0.6437,
+      "step": 641
+    },
+    {
+      "epoch": 0.6848,
+      "grad_norm": 0.5645555257797241,
+      "learning_rate": 4.5051488404181145e-06,
+      "loss": 0.5706,
+      "step": 642
+    },
+    {
+      "epoch": 0.6858666666666666,
+      "grad_norm": 0.6342235207557678,
+      "learning_rate": 4.503428661255292e-06,
+      "loss": 0.6562,
+      "step": 643
+    },
+    {
+      "epoch": 0.6869333333333333,
+      "grad_norm": 0.576919674873352,
+      "learning_rate": 4.501705827080346e-06,
+      "loss": 0.5274,
+      "step": 644
+    },
+    {
+      "epoch": 0.688,
+      "grad_norm": 0.5946143269538879,
+      "learning_rate": 4.499980340176434e-06,
+      "loss": 0.5924,
+      "step": 645
+    },
+    {
+      "epoch": 0.6890666666666667,
+      "grad_norm": 0.5935350060462952,
+      "learning_rate": 4.49825220283023e-06,
+      "loss": 0.6284,
+      "step": 646
+    },
+    {
+      "epoch": 0.6901333333333334,
+      "grad_norm": 0.5721989274024963,
+      "learning_rate": 4.496521417331923e-06,
+      "loss": 0.6094,
+      "step": 647
+    },
+    {
+      "epoch": 0.6912,
+      "grad_norm": 0.5700258016586304,
+      "learning_rate": 4.4947879859752065e-06,
+      "loss": 0.5841,
+      "step": 648
+    },
+    {
+      "epoch": 0.6922666666666667,
+      "grad_norm": 0.5945534110069275,
+      "learning_rate": 4.493051911057285e-06,
+      "loss": 0.6016,
+      "step": 649
+    },
+    {
+      "epoch": 0.6933333333333334,
+      "grad_norm": 0.5496425628662109,
+      "learning_rate": 4.491313194878863e-06,
+      "loss": 0.5357,
+      "step": 650
+    },
+    {
+      "epoch": 0.6944,
+      "grad_norm": 0.5595776438713074,
+      "learning_rate": 4.489571839744146e-06,
+      "loss": 0.5392,
+      "step": 651
+    },
+    {
+      "epoch": 0.6954666666666667,
+      "grad_norm": 0.6292697787284851,
+      "learning_rate": 4.487827847960838e-06,
+      "loss": 0.6559,
+      "step": 652
+    },
+    {
+      "epoch": 0.6965333333333333,
+      "grad_norm": 0.634451687335968,
+      "learning_rate": 4.486081221840139e-06,
+      "loss": 0.6074,
+      "step": 653
+    },
+    {
+      "epoch": 0.6976,
+      "grad_norm": 0.5959906578063965,
+      "learning_rate": 4.484331963696733e-06,
+      "loss": 0.5737,
+      "step": 654
+    },
+    {
+      "epoch": 0.6986666666666667,
+      "grad_norm": 0.5970995426177979,
+      "learning_rate": 4.482580075848801e-06,
+      "loss": 0.6107,
+      "step": 655
+    },
+    {
+      "epoch": 0.6997333333333333,
+      "grad_norm": 0.609966516494751,
+      "learning_rate": 4.480825560618002e-06,
+      "loss": 0.6064,
+      "step": 656
+    },
+    {
+      "epoch": 0.7008,
+      "grad_norm": 0.6113733649253845,
+      "learning_rate": 4.47906842032948e-06,
+      "loss": 0.668,
+      "step": 657
+    },
+    {
+      "epoch": 0.7018666666666666,
+      "grad_norm": 0.5909054279327393,
+      "learning_rate": 4.477308657311857e-06,
+      "loss": 0.6135,
+      "step": 658
+    },
+    {
+      "epoch": 0.7029333333333333,
+      "grad_norm": 0.6065821647644043,
+      "learning_rate": 4.4755462738972326e-06,
+      "loss": 0.5704,
+      "step": 659
+    },
+    {
+      "epoch": 0.704,
+      "grad_norm": 0.5529882311820984,
+      "learning_rate": 4.473781272421176e-06,
+      "loss": 0.5688,
+      "step": 660
+    },
+    {
+      "epoch": 0.7050666666666666,
+      "grad_norm": 0.5944676399230957,
+      "learning_rate": 4.472013655222729e-06,
+      "loss": 0.5832,
+      "step": 661
+    },
+    {
+      "epoch": 0.7061333333333333,
+      "grad_norm": 0.5572047829627991,
+      "learning_rate": 4.470243424644397e-06,
+      "loss": 0.5773,
+      "step": 662
+    },
+    {
+      "epoch": 0.7072,
+      "grad_norm": 0.6089645028114319,
+      "learning_rate": 4.468470583032149e-06,
+      "loss": 0.6744,
+      "step": 663
+    },
+    {
+      "epoch": 0.7082666666666667,
+      "grad_norm": 0.6234023571014404,
+      "learning_rate": 4.466695132735419e-06,
+      "loss": 0.6238,
+      "step": 664
+    },
+    {
+      "epoch": 0.7093333333333334,
+      "grad_norm": 0.6461954116821289,
+      "learning_rate": 4.464917076107091e-06,
+      "loss": 0.6583,
+      "step": 665
+    },
+    {
+      "epoch": 0.7104,
+      "grad_norm": 0.6400443911552429,
+      "learning_rate": 4.463136415503508e-06,
+      "loss": 0.6493,
+      "step": 666
+    },
+    {
+      "epoch": 0.7114666666666667,
+      "grad_norm": 0.5852741003036499,
+      "learning_rate": 4.461353153284462e-06,
+      "loss": 0.6217,
+      "step": 667
+    },
+    {
+      "epoch": 0.7125333333333334,
+      "grad_norm": 0.5597299933433533,
+      "learning_rate": 4.459567291813192e-06,
+      "loss": 0.6014,
+      "step": 668
+    },
+    {
+      "epoch": 0.7136,
+      "grad_norm": 0.5789735913276672,
+      "learning_rate": 4.4577788334563836e-06,
+      "loss": 0.6083,
+      "step": 669
+    },
+    {
+      "epoch": 0.7146666666666667,
+      "grad_norm": 0.5667948722839355,
+      "learning_rate": 4.455987780584163e-06,
+      "loss": 0.57,
+      "step": 670
+    },
+    {
+      "epoch": 0.7157333333333333,
+      "grad_norm": 0.5485178232192993,
+      "learning_rate": 4.454194135570095e-06,
+      "loss": 0.5946,
+      "step": 671
+    },
+    {
+      "epoch": 0.7168,
+      "grad_norm": 0.6660294532775879,
+      "learning_rate": 4.452397900791178e-06,
+      "loss": 0.6154,
+      "step": 672
+    },
+    {
+      "epoch": 0.7178666666666667,
+      "grad_norm": 0.5962326526641846,
+      "learning_rate": 4.450599078627845e-06,
+      "loss": 0.6042,
+      "step": 673
+    },
+    {
+      "epoch": 0.7189333333333333,
+      "grad_norm": 0.6404402852058411,
+      "learning_rate": 4.4487976714639566e-06,
+      "loss": 0.6133,
+      "step": 674
+    },
+    {
+      "epoch": 0.72,
+      "grad_norm": 0.5994961261749268,
+      "learning_rate": 4.446993681686797e-06,
+      "loss": 0.5612,
+      "step": 675
+    },
+    {
+      "epoch": 0.7210666666666666,
+      "grad_norm": 0.6647468209266663,
+      "learning_rate": 4.445187111687079e-06,
+      "loss": 0.6309,
+      "step": 676
+    },
+    {
+      "epoch": 0.7221333333333333,
+      "grad_norm": 0.6309939026832581,
+      "learning_rate": 4.443377963858927e-06,
+      "loss": 0.602,
+      "step": 677
+    },
+    {
+      "epoch": 0.7232,
+      "grad_norm": 0.6646437644958496,
+      "learning_rate": 4.441566240599888e-06,
+      "loss": 0.629,
+      "step": 678
+    },
+    {
+      "epoch": 0.7242666666666666,
+      "grad_norm": 0.5995011329650879,
+      "learning_rate": 4.439751944310918e-06,
+      "loss": 0.5957,
+      "step": 679
+    },
+    {
+      "epoch": 0.7253333333333334,
+      "grad_norm": 0.5883131623268127,
+      "learning_rate": 4.4379350773963856e-06,
+      "loss": 0.5716,
+      "step": 680
+    },
+    {
+      "epoch": 0.7264,
+      "grad_norm": 0.5861538648605347,
+      "learning_rate": 4.436115642264064e-06,
+      "loss": 0.5408,
+      "step": 681
+    },
+    {
+      "epoch": 0.7274666666666667,
+      "grad_norm": 0.671612024307251,
+      "learning_rate": 4.434293641325131e-06,
+      "loss": 0.6126,
+      "step": 682
+    },
+    {
+      "epoch": 0.7285333333333334,
+      "grad_norm": 0.650126039981842,
+      "learning_rate": 4.4324690769941655e-06,
+      "loss": 0.6566,
+      "step": 683
+    },
+    {
+      "epoch": 0.7296,
+      "grad_norm": 0.6602903008460999,
+      "learning_rate": 4.4306419516891416e-06,
+      "loss": 0.6309,
+      "step": 684
+    },
+    {
+      "epoch": 0.7306666666666667,
+      "grad_norm": 0.6321360468864441,
+      "learning_rate": 4.428812267831429e-06,
+      "loss": 0.6198,
+      "step": 685
+    },
+    {
+      "epoch": 0.7317333333333333,
+      "grad_norm": 0.6128281354904175,
+      "learning_rate": 4.426980027845787e-06,
+      "loss": 0.6404,
+      "step": 686
+    },
+    {
+      "epoch": 0.7328,
+      "grad_norm": 0.6438015699386597,
+      "learning_rate": 4.425145234160361e-06,
+      "loss": 0.5825,
+      "step": 687
+    },
+    {
+      "epoch": 0.7338666666666667,
+      "grad_norm": 0.6683218479156494,
+      "learning_rate": 4.4233078892066834e-06,
+      "loss": 0.6344,
+      "step": 688
+    },
+    {
+      "epoch": 0.7349333333333333,
+      "grad_norm": 0.5395619869232178,
+      "learning_rate": 4.421467995419668e-06,
+      "loss": 0.5283,
+      "step": 689
+    },
+    {
+      "epoch": 0.736,
+      "grad_norm": 0.5981725454330444,
+      "learning_rate": 4.419625555237603e-06,
+      "loss": 0.5698,
+      "step": 690
+    },
+    {
+      "epoch": 0.7370666666666666,
+      "grad_norm": 0.6336219906806946,
+      "learning_rate": 4.417780571102154e-06,
+      "loss": 0.5866,
+      "step": 691
+    },
+    {
+      "epoch": 0.7381333333333333,
+      "grad_norm": 0.6563888192176819,
+      "learning_rate": 4.415933045458356e-06,
+      "loss": 0.6249,
+      "step": 692
+    },
+    {
+      "epoch": 0.7392,
+      "grad_norm": 0.5688859820365906,
+      "learning_rate": 4.414082980754615e-06,
+      "loss": 0.5597,
+      "step": 693
+    },
+    {
+      "epoch": 0.7402666666666666,
+      "grad_norm": 0.5633489489555359,
+      "learning_rate": 4.412230379442698e-06,
+      "loss": 0.5954,
+      "step": 694
+    },
+    {
+      "epoch": 0.7413333333333333,
+      "grad_norm": 0.5826729536056519,
+      "learning_rate": 4.410375243977736e-06,
+      "loss": 0.5833,
+      "step": 695
+    },
+    {
+      "epoch": 0.7424,
+      "grad_norm": 0.623176634311676,
+      "learning_rate": 4.40851757681822e-06,
+      "loss": 0.6215,
+      "step": 696
+    },
+    {
+      "epoch": 0.7434666666666667,
+      "grad_norm": 0.5312844514846802,
+      "learning_rate": 4.40665738042599e-06,
+      "loss": 0.5431,
+      "step": 697
+    },
+    {
+      "epoch": 0.7445333333333334,
+      "grad_norm": 0.5887020826339722,
+      "learning_rate": 4.4047946572662455e-06,
+      "loss": 0.6437,
+      "step": 698
+    },
+    {
+      "epoch": 0.7456,
+      "grad_norm": 0.5731702446937561,
+      "learning_rate": 4.40292940980753e-06,
+      "loss": 0.5691,
+      "step": 699
+    },
+    {
+      "epoch": 0.7466666666666667,
+      "grad_norm": 0.6528239250183105,
+      "learning_rate": 4.401061640521732e-06,
+      "loss": 0.6044,
+      "step": 700
+    },
+    {
+      "epoch": 0.7477333333333334,
+      "grad_norm": 0.5828586220741272,
+      "learning_rate": 4.3991913518840845e-06,
+      "loss": 0.5561,
+      "step": 701
+    },
+    {
+      "epoch": 0.7488,
+      "grad_norm": 0.6046525239944458,
+      "learning_rate": 4.397318546373157e-06,
+      "loss": 0.6424,
+      "step": 702
+    },
+    {
+      "epoch": 0.7498666666666667,
+      "grad_norm": 0.6662541627883911,
+      "learning_rate": 4.395443226470856e-06,
+      "loss": 0.653,
+      "step": 703
+    },
+    {
+      "epoch": 0.7509333333333333,
+      "grad_norm": 0.6103813648223877,
+      "learning_rate": 4.393565394662418e-06,
+      "loss": 0.5948,
+      "step": 704
+    },
+    {
+      "epoch": 0.752,
+      "grad_norm": 0.6245561242103577,
+      "learning_rate": 4.391685053436412e-06,
+      "loss": 0.6306,
+      "step": 705
+    },
+    {
+      "epoch": 0.7530666666666667,
+      "grad_norm": 0.5731967687606812,
+      "learning_rate": 4.389802205284729e-06,
+      "loss": 0.6174,
+      "step": 706
+    },
+    {
+      "epoch": 0.7541333333333333,
+      "grad_norm": 0.6278999447822571,
+      "learning_rate": 4.387916852702585e-06,
+      "loss": 0.6931,
+      "step": 707
+    },
+    {
+      "epoch": 0.7552,
+      "grad_norm": 0.6700905561447144,
+      "learning_rate": 4.386028998188512e-06,
+      "loss": 0.6381,
+      "step": 708
+    },
+    {
+      "epoch": 0.7562666666666666,
+      "grad_norm": 0.6093689799308777,
+      "learning_rate": 4.384138644244361e-06,
+      "loss": 0.6671,
+      "step": 709
+    },
+    {
+      "epoch": 0.7573333333333333,
+      "grad_norm": 0.5726748108863831,
+      "learning_rate": 4.382245793375292e-06,
+      "loss": 0.6159,
+      "step": 710
+    },
+    {
+      "epoch": 0.7584,
+      "grad_norm": 0.6134355068206787,
+      "learning_rate": 4.380350448089777e-06,
+      "loss": 0.6344,
+      "step": 711
+    },
+    {
+      "epoch": 0.7594666666666666,
+      "grad_norm": 0.6912075877189636,
+      "learning_rate": 4.378452610899592e-06,
+      "loss": 0.6001,
+      "step": 712
+    },
+    {
+      "epoch": 0.7605333333333333,
+      "grad_norm": 0.6007059216499329,
+      "learning_rate": 4.376552284319815e-06,
+      "loss": 0.5863,
+      "step": 713
+    },
+    {
+      "epoch": 0.7616,
+      "grad_norm": 0.603341817855835,
+      "learning_rate": 4.374649470868825e-06,
+      "loss": 0.5988,
+      "step": 714
+    },
+    {
+      "epoch": 0.7626666666666667,
+      "grad_norm": 0.6090309023857117,
+      "learning_rate": 4.372744173068294e-06,
+      "loss": 0.6034,
+      "step": 715
+    },
+    {
+      "epoch": 0.7637333333333334,
+      "grad_norm": 0.6230724453926086,
+      "learning_rate": 4.370836393443189e-06,
+      "loss": 0.6455,
+      "step": 716
+    },
+    {
+      "epoch": 0.7648,
+      "grad_norm": 0.6223626136779785,
+      "learning_rate": 4.368926134521764e-06,
+      "loss": 0.5961,
+      "step": 717
+    },
+    {
+      "epoch": 0.7658666666666667,
+      "grad_norm": 0.5391390919685364,
+      "learning_rate": 4.3670133988355594e-06,
+      "loss": 0.5293,
+      "step": 718
+    },
+    {
+      "epoch": 0.7669333333333334,
+      "grad_norm": 0.5531719923019409,
+      "learning_rate": 4.365098188919398e-06,
+      "loss": 0.5548,
+      "step": 719
+    },
+    {
+      "epoch": 0.768,
+      "grad_norm": 0.5982630252838135,
+      "learning_rate": 4.363180507311382e-06,
+      "loss": 0.6253,
+      "step": 720
+    },
+    {
+      "epoch": 0.7690666666666667,
+      "grad_norm": 0.5804744362831116,
+      "learning_rate": 4.361260356552888e-06,
+      "loss": 0.5725,
+      "step": 721
+    },
+    {
+      "epoch": 0.7701333333333333,
+      "grad_norm": 0.5492886304855347,
+      "learning_rate": 4.359337739188565e-06,
+      "loss": 0.5701,
+      "step": 722
+    },
+    {
+      "epoch": 0.7712,
+      "grad_norm": 0.6174424886703491,
+      "learning_rate": 4.357412657766332e-06,
+      "loss": 0.657,
+      "step": 723
+    },
+    {
+      "epoch": 0.7722666666666667,
+      "grad_norm": 0.6585338115692139,
+      "learning_rate": 4.3554851148373734e-06,
+      "loss": 0.6255,
+      "step": 724
+    },
+    {
+      "epoch": 0.7733333333333333,
+      "grad_norm": 0.5927243828773499,
+      "learning_rate": 4.353555112956132e-06,
+      "loss": 0.5905,
+      "step": 725
+    },
+    {
+      "epoch": 0.7744,
+      "grad_norm": 0.5702055096626282,
+      "learning_rate": 4.351622654680317e-06,
+      "loss": 0.5823,
+      "step": 726
+    },
+    {
+      "epoch": 0.7754666666666666,
+      "grad_norm": 0.6298528909683228,
+      "learning_rate": 4.349687742570883e-06,
+      "loss": 0.5844,
+      "step": 727
+    },
+    {
+      "epoch": 0.7765333333333333,
+      "grad_norm": 0.5355176329612732,
+      "learning_rate": 4.347750379192045e-06,
+      "loss": 0.531,
+      "step": 728
+    },
+    {
+      "epoch": 0.7776,
+      "grad_norm": 0.5822606682777405,
+      "learning_rate": 4.345810567111262e-06,
+      "loss": 0.5929,
+      "step": 729
+    },
+    {
+      "epoch": 0.7786666666666666,
+      "grad_norm": 0.6086956262588501,
+      "learning_rate": 4.34386830889924e-06,
+      "loss": 0.6647,
+      "step": 730
+    },
+    {
+      "epoch": 0.7797333333333333,
+      "grad_norm": 0.6076291799545288,
+      "learning_rate": 4.341923607129924e-06,
+      "loss": 0.6525,
+      "step": 731
+    },
+    {
+      "epoch": 0.7808,
+      "grad_norm": 0.5628846883773804,
+      "learning_rate": 4.339976464380502e-06,
+      "loss": 0.5568,
+      "step": 732
+    },
+    {
+      "epoch": 0.7818666666666667,
+      "grad_norm": 0.6300817131996155,
+      "learning_rate": 4.3380268832313925e-06,
+      "loss": 0.6087,
+      "step": 733
+    },
+    {
+      "epoch": 0.7829333333333334,
+      "grad_norm": 0.5442864298820496,
+      "learning_rate": 4.336074866266246e-06,
+      "loss": 0.5268,
+      "step": 734
+    },
+    {
+      "epoch": 0.784,
+      "grad_norm": 0.518878161907196,
+      "learning_rate": 4.3341204160719445e-06,
+      "loss": 0.5501,
+      "step": 735
+    },
+    {
+      "epoch": 0.7850666666666667,
+      "grad_norm": 0.6485167145729065,
+      "learning_rate": 4.332163535238591e-06,
+      "loss": 0.6123,
+      "step": 736
+    },
+    {
+      "epoch": 0.7861333333333334,
+      "grad_norm": 0.6591404676437378,
+      "learning_rate": 4.330204226359511e-06,
+      "loss": 0.718,
+      "step": 737
+    },
+    {
+      "epoch": 0.7872,
+      "grad_norm": 0.5981202721595764,
+      "learning_rate": 4.328242492031247e-06,
+      "loss": 0.5822,
+      "step": 738
+    },
+    {
+      "epoch": 0.7882666666666667,
+      "grad_norm": 0.5216851830482483,
+      "learning_rate": 4.326278334853558e-06,
+      "loss": 0.5618,
+      "step": 739
+    },
+    {
+      "epoch": 0.7893333333333333,
+      "grad_norm": 0.5599318742752075,
+      "learning_rate": 4.3243117574294106e-06,
+      "loss": 0.6046,
+      "step": 740
+    },
+    {
+      "epoch": 0.7904,
+      "grad_norm": 0.6600239872932434,
+      "learning_rate": 4.3223427623649806e-06,
+      "loss": 0.6664,
+      "step": 741
+    },
+    {
+      "epoch": 0.7914666666666667,
+      "grad_norm": 0.569790780544281,
+      "learning_rate": 4.3203713522696474e-06,
+      "loss": 0.6213,
+      "step": 742
+    },
+    {
+      "epoch": 0.7925333333333333,
+      "grad_norm": 0.6771045327186584,
+      "learning_rate": 4.318397529755992e-06,
+      "loss": 0.675,
+      "step": 743
+    },
+    {
+      "epoch": 0.7936,
+      "grad_norm": 0.593367874622345,
+      "learning_rate": 4.316421297439791e-06,
+      "loss": 0.5703,
+      "step": 744
+    },
+    {
+      "epoch": 0.7946666666666666,
+      "grad_norm": 0.6849992275238037,
+      "learning_rate": 4.314442657940015e-06,
+      "loss": 0.6438,
+      "step": 745
+    },
+    {
+      "epoch": 0.7957333333333333,
+      "grad_norm": 0.5869582295417786,
+      "learning_rate": 4.312461613878825e-06,
+      "loss": 0.6022,
+      "step": 746
+    },
+    {
+      "epoch": 0.7968,
+      "grad_norm": 0.5446725487709045,
+      "learning_rate": 4.310478167881566e-06,
+      "loss": 0.6223,
+      "step": 747
+    },
+    {
+      "epoch": 0.7978666666666666,
+      "grad_norm": 0.5858989357948303,
+      "learning_rate": 4.308492322576773e-06,
+      "loss": 0.5397,
+      "step": 748
+    },
+    {
+      "epoch": 0.7989333333333334,
+      "grad_norm": 0.5479538440704346,
+      "learning_rate": 4.306504080596151e-06,
+      "loss": 0.5463,
+      "step": 749
+    },
+    {
+      "epoch": 0.8,
+      "grad_norm": 0.619148313999176,
+      "learning_rate": 4.304513444574589e-06,
+      "loss": 0.6219,
+      "step": 750
+    },
+    {
+      "epoch": 0.8010666666666667,
+      "grad_norm": 0.5301182866096497,
+      "learning_rate": 4.3025204171501465e-06,
+      "loss": 0.5426,
+      "step": 751
+    },
+    {
+      "epoch": 0.8021333333333334,
+      "grad_norm": 0.6077245473861694,
+      "learning_rate": 4.300525000964051e-06,
+      "loss": 0.5974,
+      "step": 752
+    },
+    {
+      "epoch": 0.8032,
+      "grad_norm": 0.5915474891662598,
+      "learning_rate": 4.298527198660694e-06,
+      "loss": 0.623,
+      "step": 753
+    },
+    {
+      "epoch": 0.8042666666666667,
+      "grad_norm": 0.6224533915519714,
+      "learning_rate": 4.296527012887633e-06,
+      "loss": 0.6729,
+      "step": 754
+    },
+    {
+      "epoch": 0.8053333333333333,
+      "grad_norm": 0.604912519454956,
+      "learning_rate": 4.294524446295584e-06,
+      "loss": 0.586,
+      "step": 755
+    },
+    {
+      "epoch": 0.8064,
+      "grad_norm": 0.6141861081123352,
+      "learning_rate": 4.292519501538415e-06,
+      "loss": 0.5806,
+      "step": 756
+    },
+    {
+      "epoch": 0.8074666666666667,
+      "grad_norm": 0.6346126198768616,
+      "learning_rate": 4.290512181273148e-06,
+      "loss": 0.6096,
+      "step": 757
+    },
+    {
+      "epoch": 0.8085333333333333,
+      "grad_norm": 0.5592239499092102,
+      "learning_rate": 4.288502488159951e-06,
+      "loss": 0.5279,
+      "step": 758
+    },
+    {
+      "epoch": 0.8096,
+      "grad_norm": 0.5802796483039856,
+      "learning_rate": 4.28649042486214e-06,
+      "loss": 0.6077,
+      "step": 759
+    },
+    {
+      "epoch": 0.8106666666666666,
+      "grad_norm": 0.5942670106887817,
+      "learning_rate": 4.2844759940461686e-06,
+      "loss": 0.5928,
+      "step": 760
+    },
+    {
+      "epoch": 0.8117333333333333,
+      "grad_norm": 0.6619848608970642,
+      "learning_rate": 4.2824591983816295e-06,
+      "loss": 0.6257,
+      "step": 761
+    },
+    {
+      "epoch": 0.8128,
+      "grad_norm": 0.6630727052688599,
+      "learning_rate": 4.280440040541249e-06,
+      "loss": 0.6452,
+      "step": 762
+    },
+    {
+      "epoch": 0.8138666666666666,
+      "grad_norm": 0.5733046531677246,
+      "learning_rate": 4.2784185232008865e-06,
+      "loss": 0.5755,
+      "step": 763
+    },
+    {
+      "epoch": 0.8149333333333333,
+      "grad_norm": 0.5723044872283936,
+      "learning_rate": 4.276394649039522e-06,
+      "loss": 0.5555,
+      "step": 764
+    },
+    {
+      "epoch": 0.816,
+      "grad_norm": 0.6092213988304138,
+      "learning_rate": 4.274368420739267e-06,
+      "loss": 0.6169,
+      "step": 765
+    },
+    {
+      "epoch": 0.8170666666666667,
+      "grad_norm": 0.5935916304588318,
+      "learning_rate": 4.2723398409853435e-06,
+      "loss": 0.5647,
+      "step": 766
+    },
+    {
+      "epoch": 0.8181333333333334,
+      "grad_norm": 0.5536573529243469,
+      "learning_rate": 4.270308912466099e-06,
+      "loss": 0.5865,
+      "step": 767
+    },
+    {
+      "epoch": 0.8192,
+      "grad_norm": 0.6576724052429199,
+      "learning_rate": 4.268275637872988e-06,
+      "loss": 0.6312,
+      "step": 768
+    },
+    {
+      "epoch": 0.8202666666666667,
+      "grad_norm": 0.5728570818901062,
+      "learning_rate": 4.266240019900574e-06,
+      "loss": 0.5842,
+      "step": 769
+    },
+    {
+      "epoch": 0.8213333333333334,
+      "grad_norm": 0.695012629032135,
+      "learning_rate": 4.264202061246529e-06,
+      "loss": 0.7122,
+      "step": 770
+    },
+    {
+      "epoch": 0.8224,
+      "grad_norm": 0.5636841058731079,
+      "learning_rate": 4.262161764611627e-06,
+      "loss": 0.5663,
+      "step": 771
+    },
+    {
+      "epoch": 0.8234666666666667,
+      "grad_norm": 0.5579693913459778,
+      "learning_rate": 4.260119132699735e-06,
+      "loss": 0.5408,
+      "step": 772
+    },
+    {
+      "epoch": 0.8245333333333333,
+      "grad_norm": 0.6032036542892456,
+      "learning_rate": 4.2580741682178216e-06,
+      "loss": 0.6324,
+      "step": 773
+    },
+    {
+      "epoch": 0.8256,
+      "grad_norm": 0.5871884822845459,
+      "learning_rate": 4.256026873875942e-06,
+      "loss": 0.5866,
+      "step": 774
+    },
+    {
+      "epoch": 0.8266666666666667,
+      "grad_norm": 0.5559691786766052,
+      "learning_rate": 4.253977252387242e-06,
+      "loss": 0.587,
+      "step": 775
+    },
+    {
+      "epoch": 0.8277333333333333,
+      "grad_norm": 0.605316162109375,
+      "learning_rate": 4.2519253064679484e-06,
+      "loss": 0.5741,
+      "step": 776
+    },
+    {
+      "epoch": 0.8288,
+      "grad_norm": 0.5974510908126831,
+      "learning_rate": 4.249871038837371e-06,
+      "loss": 0.6304,
+      "step": 777
+    },
+    {
+      "epoch": 0.8298666666666666,
+      "grad_norm": 0.581228494644165,
+      "learning_rate": 4.247814452217896e-06,
+      "loss": 0.6267,
+      "step": 778
+    },
+    {
+      "epoch": 0.8309333333333333,
+      "grad_norm": 0.5544297099113464,
+      "learning_rate": 4.245755549334981e-06,
+      "loss": 0.5636,
+      "step": 779
+    },
+    {
+      "epoch": 0.832,
+      "grad_norm": 0.6431424021720886,
+      "learning_rate": 4.243694332917155e-06,
+      "loss": 0.5963,
+      "step": 780
+    },
+    {
+      "epoch": 0.8330666666666666,
+      "grad_norm": 0.6238623857498169,
+      "learning_rate": 4.241630805696015e-06,
+      "loss": 0.6224,
+      "step": 781
+    },
+    {
+      "epoch": 0.8341333333333333,
+      "grad_norm": 0.6023938059806824,
+      "learning_rate": 4.239564970406212e-06,
+      "loss": 0.6244,
+      "step": 782
+    },
+    {
+      "epoch": 0.8352,
+      "grad_norm": 0.6179195046424866,
+      "learning_rate": 4.237496829785467e-06,
+      "loss": 0.6712,
+      "step": 783
+    },
+    {
+      "epoch": 0.8362666666666667,
+      "grad_norm": 0.6627472043037415,
+      "learning_rate": 4.2354263865745475e-06,
+      "loss": 0.6952,
+      "step": 784
+    },
+    {
+      "epoch": 0.8373333333333334,
+      "grad_norm": 0.5910513401031494,
+      "learning_rate": 4.233353643517278e-06,
+      "loss": 0.6317,
+      "step": 785
+    },
+    {
+      "epoch": 0.8384,
+      "grad_norm": 0.551588237285614,
+      "learning_rate": 4.231278603360525e-06,
+      "loss": 0.5888,
+      "step": 786
+    },
+    {
+      "epoch": 0.8394666666666667,
+      "grad_norm": 0.6270415782928467,
+      "learning_rate": 4.2292012688542065e-06,
+      "loss": 0.6409,
+      "step": 787
+    },
+    {
+      "epoch": 0.8405333333333334,
+      "grad_norm": 0.6535519957542419,
+      "learning_rate": 4.2271216427512734e-06,
+      "loss": 0.641,
+      "step": 788
+    },
+    {
+      "epoch": 0.8416,
+      "grad_norm": 0.596442461013794,
+      "learning_rate": 4.2250397278077205e-06,
+      "loss": 0.55,
+      "step": 789
+    },
+    {
+      "epoch": 0.8426666666666667,
+      "grad_norm": 0.5700710415840149,
+      "learning_rate": 4.222955526782571e-06,
+      "loss": 0.5659,
+      "step": 790
+    },
+    {
+      "epoch": 0.8437333333333333,
+      "grad_norm": 0.6013472676277161,
+      "learning_rate": 4.2208690424378794e-06,
+      "loss": 0.6131,
+      "step": 791
+    },
+    {
+      "epoch": 0.8448,
+      "grad_norm": 0.571749746799469,
+      "learning_rate": 4.218780277538726e-06,
+      "loss": 0.5715,
+      "step": 792
+    },
+    {
+      "epoch": 0.8458666666666667,
+      "grad_norm": 0.5752919912338257,
+      "learning_rate": 4.216689234853215e-06,
+      "loss": 0.5595,
+      "step": 793
+    },
+    {
+      "epoch": 0.8469333333333333,
+      "grad_norm": 0.5699914693832397,
+      "learning_rate": 4.214595917152466e-06,
+      "loss": 0.5691,
+      "step": 794
+    },
+    {
+      "epoch": 0.848,
+      "grad_norm": 0.5755786299705505,
+      "learning_rate": 4.212500327210615e-06,
+      "loss": 0.6216,
+      "step": 795
+    },
+    {
+      "epoch": 0.8490666666666666,
+      "grad_norm": 0.5507399439811707,
+      "learning_rate": 4.21040246780481e-06,
+      "loss": 0.5827,
+      "step": 796
+    },
+    {
+      "epoch": 0.8501333333333333,
+      "grad_norm": 0.58803790807724,
+      "learning_rate": 4.208302341715207e-06,
+      "loss": 0.5927,
+      "step": 797
+    },
+    {
+      "epoch": 0.8512,
+      "grad_norm": 0.5566146969795227,
+      "learning_rate": 4.206199951724962e-06,
+      "loss": 0.5604,
+      "step": 798
+    },
+    {
+      "epoch": 0.8522666666666666,
+      "grad_norm": 0.6356599926948547,
+      "learning_rate": 4.204095300620237e-06,
+      "loss": 0.601,
+      "step": 799
+    },
+    {
+      "epoch": 0.8533333333333334,
+      "grad_norm": 0.5856143832206726,
+      "learning_rate": 4.201988391190186e-06,
+      "loss": 0.5869,
+      "step": 800
+    },
+    {
+      "epoch": 0.8544,
+      "grad_norm": 0.5834171772003174,
+      "learning_rate": 4.1998792262269574e-06,
+      "loss": 0.5976,
+      "step": 801
+    },
+    {
+      "epoch": 0.8554666666666667,
+      "grad_norm": 0.5931845903396606,
+      "learning_rate": 4.197767808525689e-06,
+      "loss": 0.6316,
+      "step": 802
+    },
+    {
+      "epoch": 0.8565333333333334,
+      "grad_norm": 0.5423629879951477,
+      "learning_rate": 4.195654140884504e-06,
+      "loss": 0.5938,
+      "step": 803
+    },
+    {
+      "epoch": 0.8576,
+      "grad_norm": 0.595956027507782,
+      "learning_rate": 4.193538226104506e-06,
+      "loss": 0.5933,
+      "step": 804
+    },
+    {
+      "epoch": 0.8586666666666667,
+      "grad_norm": 0.6532610058784485,
+      "learning_rate": 4.19142006698978e-06,
+      "loss": 0.6724,
+      "step": 805
+    },
+    {
+      "epoch": 0.8597333333333333,
+      "grad_norm": 0.5916064977645874,
+      "learning_rate": 4.189299666347379e-06,
+      "loss": 0.6087,
+      "step": 806
+    },
+    {
+      "epoch": 0.8608,
+      "grad_norm": 0.5431850552558899,
+      "learning_rate": 4.1871770269873344e-06,
+      "loss": 0.5561,
+      "step": 807
+    },
+    {
+      "epoch": 0.8618666666666667,
+      "grad_norm": 0.5944782495498657,
+      "learning_rate": 4.185052151722637e-06,
+      "loss": 0.599,
+      "step": 808
+    },
+    {
+      "epoch": 0.8629333333333333,
+      "grad_norm": 0.5644088983535767,
+      "learning_rate": 4.182925043369247e-06,
+      "loss": 0.6159,
+      "step": 809
+    },
+    {
+      "epoch": 0.864,
+      "grad_norm": 0.6588236689567566,
+      "learning_rate": 4.180795704746079e-06,
+      "loss": 0.631,
+      "step": 810
+    },
+    {
+      "epoch": 0.8650666666666667,
+      "grad_norm": 0.5589002966880798,
+      "learning_rate": 4.178664138675006e-06,
+      "loss": 0.5694,
+      "step": 811
+    },
+    {
+      "epoch": 0.8661333333333333,
+      "grad_norm": 0.5892253518104553,
+      "learning_rate": 4.176530347980853e-06,
+      "loss": 0.5968,
+      "step": 812
+    },
+    {
+      "epoch": 0.8672,
+      "grad_norm": 0.6091468930244446,
+      "learning_rate": 4.17439433549139e-06,
+      "loss": 0.5645,
+      "step": 813
+    },
+    {
+      "epoch": 0.8682666666666666,
+      "grad_norm": 0.637734055519104,
+      "learning_rate": 4.172256104037336e-06,
+      "loss": 0.6099,
+      "step": 814
+    },
+    {
+      "epoch": 0.8693333333333333,
+      "grad_norm": 0.6298534870147705,
+      "learning_rate": 4.170115656452348e-06,
+      "loss": 0.6802,
+      "step": 815
+    },
+    {
+      "epoch": 0.8704,
+      "grad_norm": 0.6110515594482422,
+      "learning_rate": 4.16797299557302e-06,
+      "loss": 0.6585,
+      "step": 816
+    },
+    {
+      "epoch": 0.8714666666666666,
+      "grad_norm": 0.5639678835868835,
+      "learning_rate": 4.165828124238879e-06,
+      "loss": 0.5633,
+      "step": 817
+    },
+    {
+      "epoch": 0.8725333333333334,
+      "grad_norm": 0.611602783203125,
+      "learning_rate": 4.1636810452923824e-06,
+      "loss": 0.5874,
+      "step": 818
+    },
+    {
+      "epoch": 0.8736,
+      "grad_norm": 0.5484479069709778,
+      "learning_rate": 4.161531761578913e-06,
+      "loss": 0.5705,
+      "step": 819
+    },
+    {
+      "epoch": 0.8746666666666667,
+      "grad_norm": 0.5495359897613525,
+      "learning_rate": 4.159380275946774e-06,
+      "loss": 0.5502,
+      "step": 820
+    },
+    {
+      "epoch": 0.8757333333333334,
+      "grad_norm": 0.5983431339263916,
+      "learning_rate": 4.157226591247187e-06,
+      "loss": 0.567,
+      "step": 821
+    },
+    {
+      "epoch": 0.8768,
+      "grad_norm": 0.6292389035224915,
+      "learning_rate": 4.155070710334291e-06,
+      "loss": 0.5964,
+      "step": 822
+    },
+    {
+      "epoch": 0.8778666666666667,
+      "grad_norm": 0.6518849730491638,
+      "learning_rate": 4.152912636065132e-06,
+      "loss": 0.6613,
+      "step": 823
+    },
+    {
+      "epoch": 0.8789333333333333,
+      "grad_norm": 0.5625004768371582,
+      "learning_rate": 4.150752371299662e-06,
+      "loss": 0.5669,
+      "step": 824
+    },
+    {
+      "epoch": 0.88,
+      "grad_norm": 0.6387596726417542,
+      "learning_rate": 4.14858991890074e-06,
+      "loss": 0.6315,
+      "step": 825
+    },
+    {
+      "epoch": 0.8810666666666667,
+      "grad_norm": 0.6020834445953369,
+      "learning_rate": 4.146425281734121e-06,
+      "loss": 0.6165,
+      "step": 826
+    },
+    {
+      "epoch": 0.8821333333333333,
+      "grad_norm": 0.581591010093689,
+      "learning_rate": 4.144258462668456e-06,
+      "loss": 0.5748,
+      "step": 827
+    },
+    {
+      "epoch": 0.8832,
+      "grad_norm": 0.5733075737953186,
+      "learning_rate": 4.142089464575288e-06,
+      "loss": 0.5538,
+      "step": 828
+    },
+    {
+      "epoch": 0.8842666666666666,
+      "grad_norm": 0.6576880812644958,
+      "learning_rate": 4.139918290329047e-06,
+      "loss": 0.606,
+      "step": 829
+    },
+    {
+      "epoch": 0.8853333333333333,
+      "grad_norm": 0.5757404565811157,
+      "learning_rate": 4.137744942807047e-06,
+      "loss": 0.5814,
+      "step": 830
+    },
+    {
+      "epoch": 0.8864,
+      "grad_norm": 0.5444555282592773,
+      "learning_rate": 4.135569424889484e-06,
+      "loss": 0.5453,
+      "step": 831
+    },
+    {
+      "epoch": 0.8874666666666666,
+      "grad_norm": 0.5457245111465454,
+      "learning_rate": 4.133391739459427e-06,
+      "loss": 0.5968,
+      "step": 832
+    },
+    {
+      "epoch": 0.8885333333333333,
+      "grad_norm": 0.5762104988098145,
+      "learning_rate": 4.13121188940282e-06,
+      "loss": 0.5541,
+      "step": 833
+    },
+    {
+      "epoch": 0.8896,
+      "grad_norm": 0.582664430141449,
+      "learning_rate": 4.129029877608473e-06,
+      "loss": 0.6076,
+      "step": 834
+    },
+    {
+      "epoch": 0.8906666666666667,
+      "grad_norm": 0.5698184370994568,
+      "learning_rate": 4.126845706968066e-06,
+      "loss": 0.5655,
+      "step": 835
+    },
+    {
+      "epoch": 0.8917333333333334,
+      "grad_norm": 0.5519005656242371,
+      "learning_rate": 4.124659380376134e-06,
+      "loss": 0.6019,
+      "step": 836
+    },
+    {
+      "epoch": 0.8928,
+      "grad_norm": 0.6212468147277832,
+      "learning_rate": 4.122470900730072e-06,
+      "loss": 0.6064,
+      "step": 837
+    },
+    {
+      "epoch": 0.8938666666666667,
+      "grad_norm": 0.5539268255233765,
+      "learning_rate": 4.120280270930129e-06,
+      "loss": 0.606,
+      "step": 838
+    },
+    {
+      "epoch": 0.8949333333333334,
+      "grad_norm": 0.5502208471298218,
+      "learning_rate": 4.118087493879402e-06,
+      "loss": 0.5492,
+      "step": 839
+    },
+    {
+      "epoch": 0.896,
+      "grad_norm": 0.5899258255958557,
+      "learning_rate": 4.115892572483834e-06,
+      "loss": 0.5614,
+      "step": 840
+    },
+    {
+      "epoch": 0.8970666666666667,
+      "grad_norm": 0.5694776177406311,
+      "learning_rate": 4.113695509652209e-06,
+      "loss": 0.6038,
+      "step": 841
+    },
+    {
+      "epoch": 0.8981333333333333,
+      "grad_norm": 0.5535959005355835,
+      "learning_rate": 4.111496308296152e-06,
+      "loss": 0.565,
+      "step": 842
+    },
+    {
+      "epoch": 0.8992,
+      "grad_norm": 0.6170676350593567,
+      "learning_rate": 4.109294971330117e-06,
+      "loss": 0.6121,
+      "step": 843
+    },
+    {
+      "epoch": 0.9002666666666667,
+      "grad_norm": 0.5881417989730835,
+      "learning_rate": 4.107091501671393e-06,
+      "loss": 0.5772,
+      "step": 844
+    },
+    {
+      "epoch": 0.9013333333333333,
+      "grad_norm": 0.5499644875526428,
+      "learning_rate": 4.1048859022400925e-06,
+      "loss": 0.587,
+      "step": 845
+    },
+    {
+      "epoch": 0.9024,
+      "grad_norm": 0.5718510150909424,
+      "learning_rate": 4.10267817595915e-06,
+      "loss": 0.6136,
+      "step": 846
+    },
+    {
+      "epoch": 0.9034666666666666,
+      "grad_norm": 0.6420497298240662,
+      "learning_rate": 4.100468325754322e-06,
+      "loss": 0.6329,
+      "step": 847
+    },
+    {
+      "epoch": 0.9045333333333333,
+      "grad_norm": 0.6238356232643127,
+      "learning_rate": 4.098256354554177e-06,
+      "loss": 0.597,
+      "step": 848
+    },
+    {
+      "epoch": 0.9056,
+      "grad_norm": 0.6152764558792114,
+      "learning_rate": 4.096042265290094e-06,
+      "loss": 0.6373,
+      "step": 849
+    },
+    {
+      "epoch": 0.9066666666666666,
+      "grad_norm": 0.6001502275466919,
+      "learning_rate": 4.093826060896261e-06,
+      "loss": 0.5858,
+      "step": 850
+    },
+    {
+      "epoch": 0.9077333333333333,
+      "grad_norm": 0.5592588782310486,
+      "learning_rate": 4.091607744309667e-06,
+      "loss": 0.57,
+      "step": 851
+    },
+    {
+      "epoch": 0.9088,
+      "grad_norm": 0.5799663066864014,
+      "learning_rate": 4.089387318470101e-06,
+      "loss": 0.5925,
+      "step": 852
+    },
+    {
+      "epoch": 0.9098666666666667,
+      "grad_norm": 0.6240248084068298,
+      "learning_rate": 4.087164786320147e-06,
+      "loss": 0.5907,
+      "step": 853
+    },
+    {
+      "epoch": 0.9109333333333334,
+      "grad_norm": 0.5542529821395874,
+      "learning_rate": 4.08494015080518e-06,
+      "loss": 0.5138,
+      "step": 854
+    },
+    {
+      "epoch": 0.912,
+      "grad_norm": 0.5860090851783752,
+      "learning_rate": 4.082713414873364e-06,
+      "loss": 0.5558,
+      "step": 855
+    },
+    {
+      "epoch": 0.9130666666666667,
+      "grad_norm": 0.5614107251167297,
+      "learning_rate": 4.0804845814756454e-06,
+      "loss": 0.598,
+      "step": 856
+    },
+    {
+      "epoch": 0.9141333333333334,
+      "grad_norm": 0.6157853603363037,
+      "learning_rate": 4.078253653565751e-06,
+      "loss": 0.6279,
+      "step": 857
+    },
+    {
+      "epoch": 0.9152,
+      "grad_norm": 0.6493934988975525,
+      "learning_rate": 4.076020634100181e-06,
+      "loss": 0.6444,
+      "step": 858
+    },
+    {
+      "epoch": 0.9162666666666667,
+      "grad_norm": 0.6030386686325073,
+      "learning_rate": 4.073785526038211e-06,
+      "loss": 0.6323,
+      "step": 859
+    },
+    {
+      "epoch": 0.9173333333333333,
+      "grad_norm": 0.5975478291511536,
+      "learning_rate": 4.071548332341881e-06,
+      "loss": 0.6116,
+      "step": 860
+    },
+    {
+      "epoch": 0.9184,
+      "grad_norm": 0.6111212372779846,
+      "learning_rate": 4.069309055975997e-06,
+      "loss": 0.6231,
+      "step": 861
+    },
+    {
+      "epoch": 0.9194666666666667,
+      "grad_norm": 0.6610676050186157,
+      "learning_rate": 4.067067699908125e-06,
+      "loss": 0.6181,
+      "step": 862
+    },
+    {
+      "epoch": 0.9205333333333333,
+      "grad_norm": 0.6267375349998474,
+      "learning_rate": 4.064824267108586e-06,
+      "loss": 0.6283,
+      "step": 863
+    },
+    {
+      "epoch": 0.9216,
+      "grad_norm": 0.6119623780250549,
+      "learning_rate": 4.062578760550455e-06,
+      "loss": 0.6224,
+      "step": 864
+    },
+    {
+      "epoch": 0.9226666666666666,
+      "grad_norm": 0.6098064184188843,
+      "learning_rate": 4.060331183209553e-06,
+      "loss": 0.604,
+      "step": 865
+    },
+    {
+      "epoch": 0.9237333333333333,
+      "grad_norm": 0.5912611484527588,
+      "learning_rate": 4.058081538064446e-06,
+      "loss": 0.6747,
+      "step": 866
+    },
+    {
+      "epoch": 0.9248,
+      "grad_norm": 0.6654200553894043,
+      "learning_rate": 4.055829828096442e-06,
+      "loss": 0.6024,
+      "step": 867
+    },
+    {
+      "epoch": 0.9258666666666666,
+      "grad_norm": 0.6581156253814697,
+      "learning_rate": 4.053576056289583e-06,
+      "loss": 0.6662,
+      "step": 868
+    },
+    {
+      "epoch": 0.9269333333333334,
+      "grad_norm": 0.5383312702178955,
+      "learning_rate": 4.051320225630644e-06,
+      "loss": 0.5324,
+      "step": 869
+    },
+    {
+      "epoch": 0.928,
+      "grad_norm": 0.5871057510375977,
+      "learning_rate": 4.04906233910913e-06,
+      "loss": 0.6123,
+      "step": 870
+    },
+    {
+      "epoch": 0.9290666666666667,
+      "grad_norm": 0.5423468947410583,
+      "learning_rate": 4.046802399717268e-06,
+      "loss": 0.5432,
+      "step": 871
+    },
+    {
+      "epoch": 0.9301333333333334,
+      "grad_norm": 0.7259275317192078,
+      "learning_rate": 4.044540410450009e-06,
+      "loss": 0.6703,
+      "step": 872
+    },
+    {
+      "epoch": 0.9312,
+      "grad_norm": 0.6046900153160095,
+      "learning_rate": 4.042276374305016e-06,
+      "loss": 0.5748,
+      "step": 873
+    },
+    {
+      "epoch": 0.9322666666666667,
+      "grad_norm": 0.6363403797149658,
+      "learning_rate": 4.040010294282669e-06,
+      "loss": 0.6066,
+      "step": 874
+    },
+    {
+      "epoch": 0.9333333333333333,
+      "grad_norm": 0.6075894236564636,
+      "learning_rate": 4.037742173386054e-06,
+      "loss": 0.5973,
+      "step": 875
+    },
+    {
+      "epoch": 0.9344,
+      "grad_norm": 0.5808365345001221,
+      "learning_rate": 4.035472014620962e-06,
+      "loss": 0.5922,
+      "step": 876
+    },
+    {
+      "epoch": 0.9354666666666667,
+      "grad_norm": 0.5733830332756042,
+      "learning_rate": 4.033199820995886e-06,
+      "loss": 0.606,
+      "step": 877
+    },
+    {
+      "epoch": 0.9365333333333333,
+      "grad_norm": 0.601738691329956,
+      "learning_rate": 4.0309255955220124e-06,
+      "loss": 0.5978,
+      "step": 878
+    },
+    {
+      "epoch": 0.9376,
+      "grad_norm": 0.596818745136261,
+      "learning_rate": 4.028649341213225e-06,
+      "loss": 0.5724,
+      "step": 879
+    },
+    {
+      "epoch": 0.9386666666666666,
+      "grad_norm": 0.5161429047584534,
+      "learning_rate": 4.0263710610860925e-06,
+      "loss": 0.554,
+      "step": 880
+    },
+    {
+      "epoch": 0.9397333333333333,
+      "grad_norm": 0.6047207117080688,
+      "learning_rate": 4.0240907581598706e-06,
+      "loss": 0.5372,
+      "step": 881
+    },
+    {
+      "epoch": 0.9408,
+      "grad_norm": 0.5482892394065857,
+      "learning_rate": 4.0218084354564936e-06,
+      "loss": 0.5807,
+      "step": 882
+    },
+    {
+      "epoch": 0.9418666666666666,
+      "grad_norm": 0.6282208561897278,
+      "learning_rate": 4.019524096000573e-06,
+      "loss": 0.5412,
+      "step": 883
+    },
+    {
+      "epoch": 0.9429333333333333,
+      "grad_norm": 0.5509742498397827,
+      "learning_rate": 4.017237742819395e-06,
+      "loss": 0.6028,
+      "step": 884
+    },
+    {
+      "epoch": 0.944,
+      "grad_norm": 0.5843110680580139,
+      "learning_rate": 4.0149493789429125e-06,
+      "loss": 0.6613,
+      "step": 885
+    },
+    {
+      "epoch": 0.9450666666666667,
+      "grad_norm": 0.5556974411010742,
+      "learning_rate": 4.012659007403743e-06,
+      "loss": 0.6268,
+      "step": 886
+    },
+    {
+      "epoch": 0.9461333333333334,
+      "grad_norm": 0.598298966884613,
+      "learning_rate": 4.010366631237166e-06,
+      "loss": 0.5928,
+      "step": 887
+    },
+    {
+      "epoch": 0.9472,
+      "grad_norm": 0.5736271739006042,
+      "learning_rate": 4.008072253481116e-06,
+      "loss": 0.6351,
+      "step": 888
+    },
+    {
+      "epoch": 0.9482666666666667,
+      "grad_norm": 0.563037097454071,
+      "learning_rate": 4.0057758771761815e-06,
+      "loss": 0.625,
+      "step": 889
+    },
+    {
+      "epoch": 0.9493333333333334,
+      "grad_norm": 0.5613559484481812,
+      "learning_rate": 4.003477505365597e-06,
+      "loss": 0.5932,
+      "step": 890
+    },
+    {
+      "epoch": 0.9504,
+      "grad_norm": 0.5705847144126892,
+      "learning_rate": 4.001177141095246e-06,
+      "loss": 0.582,
+      "step": 891
+    },
+    {
+      "epoch": 0.9514666666666667,
+      "grad_norm": 0.539749801158905,
+      "learning_rate": 3.998874787413649e-06,
+      "loss": 0.6164,
+      "step": 892
+    },
+    {
+      "epoch": 0.9525333333333333,
+      "grad_norm": 0.5652883052825928,
+      "learning_rate": 3.996570447371963e-06,
+      "loss": 0.6134,
+      "step": 893
+    },
+    {
+      "epoch": 0.9536,
+      "grad_norm": 0.736020028591156,
+      "learning_rate": 3.994264124023978e-06,
+      "loss": 0.6058,
+      "step": 894
+    },
+    {
+      "epoch": 0.9546666666666667,
+      "grad_norm": 0.600042998790741,
+      "learning_rate": 3.991955820426113e-06,
+      "loss": 0.6137,
+      "step": 895
+    },
+    {
+      "epoch": 0.9557333333333333,
+      "grad_norm": 0.6180554628372192,
+      "learning_rate": 3.989645539637411e-06,
+      "loss": 0.6752,
+      "step": 896
+    },
+    {
+      "epoch": 0.9568,
+      "grad_norm": 0.5427966713905334,
+      "learning_rate": 3.987333284719534e-06,
+      "loss": 0.5618,
+      "step": 897
+    },
+    {
+      "epoch": 0.9578666666666666,
+      "grad_norm": 0.611888587474823,
+      "learning_rate": 3.985019058736764e-06,
+      "loss": 0.6111,
+      "step": 898
+    },
+    {
+      "epoch": 0.9589333333333333,
+      "grad_norm": 0.5804568529129028,
+      "learning_rate": 3.98270286475599e-06,
+      "loss": 0.6464,
+      "step": 899
+    },
+    {
+      "epoch": 0.96,
+      "grad_norm": 0.5864506959915161,
+      "learning_rate": 3.980384705846711e-06,
+      "loss": 0.5848,
+      "step": 900
+    },
+    {
+      "epoch": 0.9610666666666666,
+      "grad_norm": 0.5798951983451843,
+      "learning_rate": 3.978064585081032e-06,
+      "loss": 0.5954,
+      "step": 901
+    },
+    {
+      "epoch": 0.9621333333333333,
+      "grad_norm": 0.6306714415550232,
+      "learning_rate": 3.9757425055336556e-06,
+      "loss": 0.6311,
+      "step": 902
+    },
+    {
+      "epoch": 0.9632,
+      "grad_norm": 0.5956549048423767,
+      "learning_rate": 3.973418470281881e-06,
+      "loss": 0.6349,
+      "step": 903
+    },
+    {
+      "epoch": 0.9642666666666667,
+      "grad_norm": 0.5544397830963135,
+      "learning_rate": 3.971092482405599e-06,
+      "loss": 0.5309,
+      "step": 904
+    },
+    {
+      "epoch": 0.9653333333333334,
+      "grad_norm": 0.5570192933082581,
+      "learning_rate": 3.968764544987288e-06,
+      "loss": 0.5694,
+      "step": 905
+    },
+    {
+      "epoch": 0.9664,
+      "grad_norm": 0.5762341022491455,
+      "learning_rate": 3.966434661112012e-06,
+      "loss": 0.562,
+      "step": 906
+    },
+    {
+      "epoch": 0.9674666666666667,
+      "grad_norm": 0.6258487701416016,
+      "learning_rate": 3.9641028338674095e-06,
+      "loss": 0.6253,
+      "step": 907
+    },
+    {
+      "epoch": 0.9685333333333334,
+      "grad_norm": 0.5830110311508179,
+      "learning_rate": 3.961769066343701e-06,
+      "loss": 0.568,
+      "step": 908
+    },
+    {
+      "epoch": 0.9696,
+      "grad_norm": 0.6831852793693542,
+      "learning_rate": 3.959433361633672e-06,
+      "loss": 0.6393,
+      "step": 909
+    },
+    {
+      "epoch": 0.9706666666666667,
+      "grad_norm": 0.5552694201469421,
+      "learning_rate": 3.95709572283268e-06,
+      "loss": 0.6088,
+      "step": 910
+    },
+    {
+      "epoch": 0.9717333333333333,
+      "grad_norm": 0.5924383401870728,
+      "learning_rate": 3.9547561530386445e-06,
+      "loss": 0.6343,
+      "step": 911
+    },
+    {
+      "epoch": 0.9728,
+      "grad_norm": 0.5930561423301697,
+      "learning_rate": 3.952414655352041e-06,
+      "loss": 0.584,
+      "step": 912
+    },
+    {
+      "epoch": 0.9738666666666667,
+      "grad_norm": 0.6042167544364929,
+      "learning_rate": 3.950071232875904e-06,
+      "loss": 0.6214,
+      "step": 913
+    },
+    {
+      "epoch": 0.9749333333333333,
+      "grad_norm": 0.5707955956459045,
+      "learning_rate": 3.947725888715817e-06,
+      "loss": 0.6243,
+      "step": 914
+    },
+    {
+      "epoch": 0.976,
+      "grad_norm": 0.6637380123138428,
+      "learning_rate": 3.94537862597991e-06,
+      "loss": 0.6831,
+      "step": 915
+    },
+    {
+      "epoch": 0.9770666666666666,
+      "grad_norm": 0.5662384033203125,
+      "learning_rate": 3.943029447778854e-06,
+      "loss": 0.531,
+      "step": 916
+    },
+    {
+      "epoch": 0.9781333333333333,
+      "grad_norm": 0.6221411824226379,
+      "learning_rate": 3.940678357225863e-06,
+      "loss": 0.6174,
+      "step": 917
+    },
+    {
+      "epoch": 0.9792,
+      "grad_norm": 0.5357489585876465,
+      "learning_rate": 3.938325357436682e-06,
+      "loss": 0.5278,
+      "step": 918
+    },
+    {
+      "epoch": 0.9802666666666666,
+      "grad_norm": 0.6189228296279907,
+      "learning_rate": 3.935970451529585e-06,
+      "loss": 0.6471,
+      "step": 919
+    },
+    {
+      "epoch": 0.9813333333333333,
+      "grad_norm": 0.6070924997329712,
+      "learning_rate": 3.9336136426253755e-06,
+      "loss": 0.5622,
+      "step": 920
+    },
+    {
+      "epoch": 0.9824,
+      "grad_norm": 0.6406233310699463,
+      "learning_rate": 3.931254933847376e-06,
+      "loss": 0.6285,
+      "step": 921
+    },
+    {
+      "epoch": 0.9834666666666667,
+      "grad_norm": 0.5626932382583618,
+      "learning_rate": 3.928894328321429e-06,
+      "loss": 0.5764,
+      "step": 922
+    },
+    {
+      "epoch": 0.9845333333333334,
+      "grad_norm": 0.5974101424217224,
+      "learning_rate": 3.9265318291758895e-06,
+      "loss": 0.576,
+      "step": 923
+    },
+    {
+      "epoch": 0.9856,
+      "grad_norm": 0.5678866505622864,
+      "learning_rate": 3.9241674395416214e-06,
+      "loss": 0.6011,
+      "step": 924
+    },
+    {
+      "epoch": 0.9866666666666667,
+      "grad_norm": 0.5224618911743164,
+      "learning_rate": 3.9218011625519945e-06,
+      "loss": 0.5167,
+      "step": 925
+    },
+    {
+      "epoch": 0.9877333333333334,
+      "grad_norm": 0.6168708205223083,
+      "learning_rate": 3.919433001342881e-06,
+      "loss": 0.6256,
+      "step": 926
+    },
+    {
+      "epoch": 0.9888,
+      "grad_norm": 0.5544697642326355,
+      "learning_rate": 3.917062959052649e-06,
+      "loss": 0.5688,
+      "step": 927
+    },
+    {
+      "epoch": 0.9898666666666667,
+      "grad_norm": 0.5654980540275574,
+      "learning_rate": 3.914691038822158e-06,
+      "loss": 0.5228,
+      "step": 928
+    },
+    {
+      "epoch": 0.9909333333333333,
+      "grad_norm": 0.5385432243347168,
+      "learning_rate": 3.91231724379476e-06,
+      "loss": 0.4881,
+      "step": 929
+    },
+    {
+      "epoch": 0.992,
+      "grad_norm": 0.593205988407135,
+      "learning_rate": 3.909941577116287e-06,
+      "loss": 0.6159,
+      "step": 930
+    },
+    {
+      "epoch": 0.9930666666666667,
+      "grad_norm": 0.5599035620689392,
+      "learning_rate": 3.907564041935055e-06,
+      "loss": 0.5824,
+      "step": 931
+    },
+    {
+      "epoch": 0.9941333333333333,
+      "grad_norm": 0.6163393259048462,
+      "learning_rate": 3.9051846414018544e-06,
+      "loss": 0.5783,
+      "step": 932
+    },
+    {
+      "epoch": 0.9952,
+      "grad_norm": 0.6336512565612793,
+      "learning_rate": 3.902803378669948e-06,
+      "loss": 0.612,
+      "step": 933
+    },
+    {
+      "epoch": 0.9962666666666666,
+      "grad_norm": 0.5998383164405823,
+      "learning_rate": 3.900420256895068e-06,
+      "loss": 0.6372,
+      "step": 934
+    },
+    {
+      "epoch": 0.9973333333333333,
+      "grad_norm": 0.5630584955215454,
+      "learning_rate": 3.898035279235407e-06,
+      "loss": 0.5971,
+      "step": 935
+    },
+    {
+      "epoch": 0.9984,
+      "grad_norm": 0.5631433725357056,
+      "learning_rate": 3.895648448851619e-06,
+      "loss": 0.5828,
+      "step": 936
+    },
+    {
+      "epoch": 0.9994666666666666,
+      "grad_norm": 0.5787785649299622,
+      "learning_rate": 3.893259768906814e-06,
+      "loss": 0.513,
+      "step": 937
+    },
+    {
+      "epoch": 1.0,
+      "grad_norm": 0.8083898425102234,
+      "learning_rate": 3.890869242566553e-06,
+      "loss": 0.4709,
+      "step": 938
+    },
+    {
+      "epoch": 1.0010666666666668,
+      "grad_norm": 0.6938320994377136,
+      "learning_rate": 3.888476872998842e-06,
+      "loss": 0.5868,
+      "step": 939
+    },
+    {
+      "epoch": 1.0021333333333333,
+      "grad_norm": 0.5984360575675964,
+      "learning_rate": 3.88608266337413e-06,
+      "loss": 0.5797,
+      "step": 940
+    },
+    {
+      "epoch": 1.0032,
+      "grad_norm": 0.6141080856323242,
+      "learning_rate": 3.883686616865307e-06,
+      "loss": 0.5368,
+      "step": 941
+    },
+    {
+      "epoch": 1.0042666666666666,
+      "grad_norm": 0.547386884689331,
+      "learning_rate": 3.881288736647696e-06,
+      "loss": 0.5588,
+      "step": 942
+    },
+    {
+      "epoch": 1.0053333333333334,
+      "grad_norm": 0.6089945435523987,
+      "learning_rate": 3.878889025899049e-06,
+      "loss": 0.5979,
+      "step": 943
+    },
+    {
+      "epoch": 1.0064,
+      "grad_norm": 0.5689895153045654,
+      "learning_rate": 3.876487487799544e-06,
+      "loss": 0.552,
+      "step": 944
+    },
+    {
+      "epoch": 1.0074666666666667,
+      "grad_norm": 0.7019808292388916,
+      "learning_rate": 3.8740841255317815e-06,
+      "loss": 0.6714,
+      "step": 945
+    },
+    {
+      "epoch": 1.0085333333333333,
+      "grad_norm": 0.5730398893356323,
+      "learning_rate": 3.871678942280781e-06,
+      "loss": 0.5653,
+      "step": 946
+    },
+    {
+      "epoch": 1.0096,
+      "grad_norm": 0.6939638257026672,
+      "learning_rate": 3.869271941233973e-06,
+      "loss": 0.5829,
+      "step": 947
+    },
+    {
+      "epoch": 1.0106666666666666,
+      "grad_norm": 0.6052855849266052,
+      "learning_rate": 3.866863125581195e-06,
+      "loss": 0.5828,
+      "step": 948
+    },
+    {
+      "epoch": 1.0117333333333334,
+      "grad_norm": 0.6679799556732178,
+      "learning_rate": 3.864452498514696e-06,
+      "loss": 0.6733,
+      "step": 949
+    },
+    {
+      "epoch": 1.0128,
+      "grad_norm": 0.61423659324646,
+      "learning_rate": 3.862040063229118e-06,
+      "loss": 0.5596,
+      "step": 950
+    },
+    {
+      "epoch": 1.0138666666666667,
+      "grad_norm": 0.6028274893760681,
+      "learning_rate": 3.859625822921504e-06,
+      "loss": 0.5957,
+      "step": 951
+    },
+    {
+      "epoch": 1.0149333333333332,
+      "grad_norm": 0.6048401594161987,
+      "learning_rate": 3.857209780791288e-06,
+      "loss": 0.5459,
+      "step": 952
+    },
+    {
+      "epoch": 1.016,
+      "grad_norm": 0.5483227372169495,
+      "learning_rate": 3.854791940040291e-06,
+      "loss": 0.5414,
+      "step": 953
+    },
+    {
+      "epoch": 1.0170666666666666,
+      "grad_norm": 0.6255030035972595,
+      "learning_rate": 3.852372303872718e-06,
+      "loss": 0.6176,
+      "step": 954
+    },
+    {
+      "epoch": 1.0181333333333333,
+      "grad_norm": 0.6436975598335266,
+      "learning_rate": 3.8499508754951545e-06,
+      "loss": 0.6139,
+      "step": 955
+    },
+    {
+      "epoch": 1.0192,
+      "grad_norm": 0.5594171285629272,
+      "learning_rate": 3.847527658116559e-06,
+      "loss": 0.5414,
+      "step": 956
+    },
+    {
+      "epoch": 1.0202666666666667,
+      "grad_norm": 0.6422448754310608,
+      "learning_rate": 3.845102654948262e-06,
+      "loss": 0.5202,
+      "step": 957
+    },
+    {
+      "epoch": 1.0213333333333334,
+      "grad_norm": 0.5989338159561157,
+      "learning_rate": 3.842675869203962e-06,
+      "loss": 0.5453,
+      "step": 958
+    },
+    {
+      "epoch": 1.0224,
+      "grad_norm": 0.5826500058174133,
+      "learning_rate": 3.8402473040997175e-06,
+      "loss": 0.5974,
+      "step": 959
+    },
+    {
+      "epoch": 1.0234666666666667,
+      "grad_norm": 0.6105327606201172,
+      "learning_rate": 3.837816962853945e-06,
+      "loss": 0.6082,
+      "step": 960
+    },
+    {
+      "epoch": 1.0245333333333333,
+      "grad_norm": 0.5792525410652161,
+      "learning_rate": 3.835384848687419e-06,
+      "loss": 0.5076,
+      "step": 961
+    },
+    {
+      "epoch": 1.0256,
+      "grad_norm": 0.6044538021087646,
+      "learning_rate": 3.832950964823257e-06,
+      "loss": 0.5787,
+      "step": 962
+    },
+    {
+      "epoch": 1.0266666666666666,
+      "grad_norm": 0.5737023949623108,
+      "learning_rate": 3.830515314486925e-06,
+      "loss": 0.5809,
+      "step": 963
+    },
+    {
+      "epoch": 1.0277333333333334,
+      "grad_norm": 0.6024502515792847,
+      "learning_rate": 3.828077900906232e-06,
+      "loss": 0.6251,
+      "step": 964
+    },
+    {
+      "epoch": 1.0288,
+      "grad_norm": 0.6452201008796692,
+      "learning_rate": 3.825638727311321e-06,
+      "loss": 0.6082,
+      "step": 965
+    },
+    {
+      "epoch": 1.0298666666666667,
+      "grad_norm": 0.5491701364517212,
+      "learning_rate": 3.823197796934667e-06,
+      "loss": 0.56,
+      "step": 966
+    },
+    {
+      "epoch": 1.0309333333333333,
+      "grad_norm": 0.6038528680801392,
+      "learning_rate": 3.820755113011077e-06,
+      "loss": 0.5752,
+      "step": 967
+    },
+    {
+      "epoch": 1.032,
+      "grad_norm": 0.5309896469116211,
+      "learning_rate": 3.8183106787776765e-06,
+      "loss": 0.5088,
+      "step": 968
+    },
+    {
+      "epoch": 1.0330666666666666,
+      "grad_norm": 0.5325185656547546,
+      "learning_rate": 3.8158644974739145e-06,
+      "loss": 0.5097,
+      "step": 969
+    },
+    {
+      "epoch": 1.0341333333333333,
+      "grad_norm": 0.6305834650993347,
+      "learning_rate": 3.813416572341555e-06,
+      "loss": 0.6185,
+      "step": 970
+    },
+    {
+      "epoch": 1.0352,
+      "grad_norm": 0.6541138291358948,
+      "learning_rate": 3.8109669066246707e-06,
+      "loss": 0.6133,
+      "step": 971
+    },
+    {
+      "epoch": 1.0362666666666667,
+      "grad_norm": 0.6071637272834778,
+      "learning_rate": 3.8085155035696424e-06,
+      "loss": 0.5655,
+      "step": 972
+    },
+    {
+      "epoch": 1.0373333333333334,
+      "grad_norm": 0.5968308448791504,
+      "learning_rate": 3.8060623664251537e-06,
+      "loss": 0.5818,
+      "step": 973
+    },
+    {
+      "epoch": 1.0384,
+      "grad_norm": 0.641974151134491,
+      "learning_rate": 3.8036074984421857e-06,
+      "loss": 0.6054,
+      "step": 974
+    },
+    {
+      "epoch": 1.0394666666666668,
+      "grad_norm": 0.6215962171554565,
+      "learning_rate": 3.8011509028740128e-06,
+      "loss": 0.5946,
+      "step": 975
+    },
+    {
+      "epoch": 1.0405333333333333,
+      "grad_norm": 0.6438944935798645,
+      "learning_rate": 3.7986925829762e-06,
+      "loss": 0.572,
+      "step": 976
+    },
+    {
+      "epoch": 1.0416,
+      "grad_norm": 0.5599973201751709,
+      "learning_rate": 3.7962325420065965e-06,
+      "loss": 0.5476,
+      "step": 977
+    },
+    {
+      "epoch": 1.0426666666666666,
+      "grad_norm": 0.5799870491027832,
+      "learning_rate": 3.7937707832253336e-06,
+      "loss": 0.5606,
+      "step": 978
+    },
+    {
+      "epoch": 1.0437333333333334,
+      "grad_norm": 0.5892784595489502,
+      "learning_rate": 3.791307309894816e-06,
+      "loss": 0.5954,
+      "step": 979
+    },
+    {
+      "epoch": 1.0448,
+      "grad_norm": 0.5950177907943726,
+      "learning_rate": 3.788842125279725e-06,
+      "loss": 0.5311,
+      "step": 980
+    },
+    {
+      "epoch": 1.0458666666666667,
+      "grad_norm": 0.5876550078392029,
+      "learning_rate": 3.786375232647006e-06,
+      "loss": 0.5793,
+      "step": 981
+    },
+    {
+      "epoch": 1.0469333333333333,
+      "grad_norm": 0.6084430813789368,
+      "learning_rate": 3.7839066352658704e-06,
+      "loss": 0.5869,
+      "step": 982
+    },
+    {
+      "epoch": 1.048,
+      "grad_norm": 0.52766352891922,
+      "learning_rate": 3.781436336407787e-06,
+      "loss": 0.5493,
+      "step": 983
+    },
+    {
+      "epoch": 1.0490666666666666,
+      "grad_norm": 0.5687288045883179,
+      "learning_rate": 3.7789643393464814e-06,
+      "loss": 0.5476,
+      "step": 984
+    },
+    {
+      "epoch": 1.0501333333333334,
+      "grad_norm": 0.600828230381012,
+      "learning_rate": 3.776490647357927e-06,
+      "loss": 0.5459,
+      "step": 985
+    },
+    {
+      "epoch": 1.0512,
+      "grad_norm": 0.6564854383468628,
+      "learning_rate": 3.7740152637203462e-06,
+      "loss": 0.5946,
+      "step": 986
+    },
+    {
+      "epoch": 1.0522666666666667,
+      "grad_norm": 0.6397482752799988,
+      "learning_rate": 3.7715381917142025e-06,
+      "loss": 0.6088,
+      "step": 987
+    },
+    {
+      "epoch": 1.0533333333333332,
+      "grad_norm": 0.6165938973426819,
+      "learning_rate": 3.769059434622194e-06,
+      "loss": 0.5925,
+      "step": 988
+    },
+    {
+      "epoch": 1.0544,
+      "grad_norm": 0.5620561838150024,
+      "learning_rate": 3.7665789957292566e-06,
+      "loss": 0.5986,
+      "step": 989
+    },
+    {
+      "epoch": 1.0554666666666668,
+      "grad_norm": 0.6017423868179321,
+      "learning_rate": 3.764096878322552e-06,
+      "loss": 0.6198,
+      "step": 990
+    },
+    {
+      "epoch": 1.0565333333333333,
+      "grad_norm": 0.6110119223594666,
+      "learning_rate": 3.7616130856914657e-06,
+      "loss": 0.5888,
+      "step": 991
+    },
+    {
+      "epoch": 1.0576,
+      "grad_norm": 0.5718916654586792,
+      "learning_rate": 3.7591276211276062e-06,
+      "loss": 0.5288,
+      "step": 992
+    },
+    {
+      "epoch": 1.0586666666666666,
+      "grad_norm": 0.5520381927490234,
+      "learning_rate": 3.7566404879247963e-06,
+      "loss": 0.5643,
+      "step": 993
+    },
+    {
+      "epoch": 1.0597333333333334,
+      "grad_norm": 0.5869061350822449,
+      "learning_rate": 3.7541516893790684e-06,
+      "loss": 0.5102,
+      "step": 994
+    },
+    {
+      "epoch": 1.0608,
+      "grad_norm": 0.5792644023895264,
+      "learning_rate": 3.751661228788665e-06,
+      "loss": 0.5419,
+      "step": 995
+    },
+    {
+      "epoch": 1.0618666666666667,
+      "grad_norm": 0.5559021830558777,
+      "learning_rate": 3.7491691094540284e-06,
+      "loss": 0.5399,
+      "step": 996
+    },
+    {
+      "epoch": 1.0629333333333333,
+      "grad_norm": 0.6452680826187134,
+      "learning_rate": 3.7466753346778006e-06,
+      "loss": 0.5352,
+      "step": 997
+    },
+    {
+      "epoch": 1.064,
+      "grad_norm": 0.5756367444992065,
+      "learning_rate": 3.744179907764818e-06,
+      "loss": 0.5529,
+      "step": 998
+    },
+    {
+      "epoch": 1.0650666666666666,
+      "grad_norm": 0.6299931406974792,
+      "learning_rate": 3.7416828320221034e-06,
+      "loss": 0.5671,
+      "step": 999
+    },
+    {
+      "epoch": 1.0661333333333334,
+      "grad_norm": 0.6399582624435425,
+      "learning_rate": 3.739184110758869e-06,
+      "loss": 0.6109,
+      "step": 1000
+    },
+    {
+      "epoch": 1.0672,
+      "grad_norm": 0.6434157490730286,
+      "learning_rate": 3.736683747286505e-06,
+      "loss": 0.5851,
+      "step": 1001
+    },
+    {
+      "epoch": 1.0682666666666667,
+      "grad_norm": 0.5716328024864197,
+      "learning_rate": 3.7341817449185785e-06,
+      "loss": 0.5558,
+      "step": 1002
+    },
+    {
+      "epoch": 1.0693333333333332,
+      "grad_norm": 0.5992347002029419,
+      "learning_rate": 3.7316781069708287e-06,
+      "loss": 0.57,
+      "step": 1003
+    },
+    {
+      "epoch": 1.0704,
+      "grad_norm": 0.6952702403068542,
+      "learning_rate": 3.729172836761162e-06,
+      "loss": 0.4976,
+      "step": 1004
+    },
+    {
+      "epoch": 1.0714666666666666,
+      "grad_norm": 0.6574565768241882,
+      "learning_rate": 3.7266659376096476e-06,
+      "loss": 0.5802,
+      "step": 1005
+    },
+    {
+      "epoch": 1.0725333333333333,
+      "grad_norm": 0.6703108549118042,
+      "learning_rate": 3.7241574128385143e-06,
+      "loss": 0.6248,
+      "step": 1006
+    },
+    {
+      "epoch": 1.0735999999999999,
+      "grad_norm": 0.5984768867492676,
+      "learning_rate": 3.7216472657721454e-06,
+      "loss": 0.552,
+      "step": 1007
+    },
+    {
+      "epoch": 1.0746666666666667,
+      "grad_norm": 0.59859699010849,
+      "learning_rate": 3.719135499737073e-06,
+      "loss": 0.5787,
+      "step": 1008
+    },
+    {
+      "epoch": 1.0757333333333334,
+      "grad_norm": 0.660254955291748,
+      "learning_rate": 3.7166221180619754e-06,
+      "loss": 0.6041,
+      "step": 1009
+    },
+    {
+      "epoch": 1.0768,
+      "grad_norm": 0.6064770817756653,
+      "learning_rate": 3.7141071240776722e-06,
+      "loss": 0.5198,
+      "step": 1010
+    },
+    {
+      "epoch": 1.0778666666666668,
+      "grad_norm": 0.5956878662109375,
+      "learning_rate": 3.711590521117119e-06,
+      "loss": 0.5968,
+      "step": 1011
+    },
+    {
+      "epoch": 1.0789333333333333,
+      "grad_norm": 0.6192936897277832,
+      "learning_rate": 3.7090723125154036e-06,
+      "loss": 0.5766,
+      "step": 1012
+    },
+    {
+      "epoch": 1.08,
+      "grad_norm": 0.5869913697242737,
+      "learning_rate": 3.706552501609743e-06,
+      "loss": 0.6316,
+      "step": 1013
+    },
+    {
+      "epoch": 1.0810666666666666,
+      "grad_norm": 0.530838668346405,
+      "learning_rate": 3.704031091739476e-06,
+      "loss": 0.5419,
+      "step": 1014
+    },
+    {
+      "epoch": 1.0821333333333334,
+      "grad_norm": 0.5924392938613892,
+      "learning_rate": 3.7015080862460617e-06,
+      "loss": 0.5435,
+      "step": 1015
+    },
+    {
+      "epoch": 1.0832,
+      "grad_norm": 0.6169924139976501,
+      "learning_rate": 3.6989834884730725e-06,
+      "loss": 0.6114,
+      "step": 1016
+    },
+    {
+      "epoch": 1.0842666666666667,
+      "grad_norm": 0.5850513577461243,
+      "learning_rate": 3.6964573017661927e-06,
+      "loss": 0.5942,
+      "step": 1017
+    },
+    {
+      "epoch": 1.0853333333333333,
+      "grad_norm": 0.6097222566604614,
+      "learning_rate": 3.6939295294732104e-06,
+      "loss": 0.6137,
+      "step": 1018
+    },
+    {
+      "epoch": 1.0864,
+      "grad_norm": 0.5484235286712646,
+      "learning_rate": 3.691400174944016e-06,
+      "loss": 0.5325,
+      "step": 1019
+    },
+    {
+      "epoch": 1.0874666666666666,
+      "grad_norm": 0.5697526931762695,
+      "learning_rate": 3.6888692415305968e-06,
+      "loss": 0.5728,
+      "step": 1020
+    },
+    {
+      "epoch": 1.0885333333333334,
+      "grad_norm": 0.5859434604644775,
+      "learning_rate": 3.6863367325870315e-06,
+      "loss": 0.5469,
+      "step": 1021
+    },
+    {
+      "epoch": 1.0896,
+      "grad_norm": 0.579197108745575,
+      "learning_rate": 3.6838026514694885e-06,
+      "loss": 0.6079,
+      "step": 1022
+    },
+    {
+      "epoch": 1.0906666666666667,
+      "grad_norm": 0.5440885424613953,
+      "learning_rate": 3.6812670015362183e-06,
+      "loss": 0.5382,
+      "step": 1023
+    },
+    {
+      "epoch": 1.0917333333333334,
+      "grad_norm": 0.6072251200675964,
+      "learning_rate": 3.67872978614755e-06,
+      "loss": 0.5779,
+      "step": 1024
+    },
+    {
+      "epoch": 1.0928,
+      "grad_norm": 0.5659698843955994,
+      "learning_rate": 3.67619100866589e-06,
+      "loss": 0.5552,
+      "step": 1025
+    },
+    {
+      "epoch": 1.0938666666666668,
+      "grad_norm": 0.5740523338317871,
+      "learning_rate": 3.673650672455711e-06,
+      "loss": 0.5844,
+      "step": 1026
+    },
+    {
+      "epoch": 1.0949333333333333,
+      "grad_norm": 0.57796710729599,
+      "learning_rate": 3.6711087808835544e-06,
+      "loss": 0.589,
+      "step": 1027
+    },
+    {
+      "epoch": 1.096,
+      "grad_norm": 0.5485849976539612,
+      "learning_rate": 3.6685653373180226e-06,
+      "loss": 0.5448,
+      "step": 1028
+    },
+    {
+      "epoch": 1.0970666666666666,
+      "grad_norm": 0.6198381781578064,
+      "learning_rate": 3.6660203451297715e-06,
+      "loss": 0.604,
+      "step": 1029
+    },
+    {
+      "epoch": 1.0981333333333334,
+      "grad_norm": 0.63736492395401,
+      "learning_rate": 3.6634738076915144e-06,
+      "loss": 0.5969,
+      "step": 1030
+    },
+    {
+      "epoch": 1.0992,
+      "grad_norm": 0.5028262138366699,
+      "learning_rate": 3.6609257283780076e-06,
+      "loss": 0.509,
+      "step": 1031
+    },
+    {
+      "epoch": 1.1002666666666667,
+      "grad_norm": 0.5751879811286926,
+      "learning_rate": 3.6583761105660543e-06,
+      "loss": 0.5677,
+      "step": 1032
+    },
+    {
+      "epoch": 1.1013333333333333,
+      "grad_norm": 0.5568650364875793,
+      "learning_rate": 3.6558249576344938e-06,
+      "loss": 0.5583,
+      "step": 1033
+    },
+    {
+      "epoch": 1.1024,
+      "grad_norm": 0.6463531851768494,
+      "learning_rate": 3.6532722729642035e-06,
+      "loss": 0.6299,
+      "step": 1034
+    },
+    {
+      "epoch": 1.1034666666666666,
+      "grad_norm": 0.6075899004936218,
+      "learning_rate": 3.650718059938086e-06,
+      "loss": 0.6151,
+      "step": 1035
+    },
+    {
+      "epoch": 1.1045333333333334,
+      "grad_norm": 0.6461043953895569,
+      "learning_rate": 3.6481623219410723e-06,
+      "loss": 0.6309,
+      "step": 1036
+    },
+    {
+      "epoch": 1.1056,
+      "grad_norm": 0.6655203700065613,
+      "learning_rate": 3.6456050623601146e-06,
+      "loss": 0.6739,
+      "step": 1037
+    },
+    {
+      "epoch": 1.1066666666666667,
+      "grad_norm": 0.6061891317367554,
+      "learning_rate": 3.643046284584179e-06,
+      "loss": 0.544,
+      "step": 1038
+    },
+    {
+      "epoch": 1.1077333333333332,
+      "grad_norm": 0.5927504301071167,
+      "learning_rate": 3.6404859920042467e-06,
+      "loss": 0.5577,
+      "step": 1039
+    },
+    {
+      "epoch": 1.1088,
+      "grad_norm": 0.5958196520805359,
+      "learning_rate": 3.6379241880133048e-06,
+      "loss": 0.5556,
+      "step": 1040
+    },
+    {
+      "epoch": 1.1098666666666666,
+      "grad_norm": 0.6962246298789978,
+      "learning_rate": 3.635360876006343e-06,
+      "loss": 0.5678,
+      "step": 1041
+    },
+    {
+      "epoch": 1.1109333333333333,
+      "grad_norm": 0.5937632322311401,
+      "learning_rate": 3.6327960593803504e-06,
+      "loss": 0.577,
+      "step": 1042
+    },
+    {
+      "epoch": 1.112,
+      "grad_norm": 0.5488424897193909,
+      "learning_rate": 3.630229741534309e-06,
+      "loss": 0.5204,
+      "step": 1043
+    },
+    {
+      "epoch": 1.1130666666666666,
+      "grad_norm": 0.6131934523582458,
+      "learning_rate": 3.627661925869192e-06,
+      "loss": 0.5976,
+      "step": 1044
+    },
+    {
+      "epoch": 1.1141333333333334,
+      "grad_norm": 0.6064742803573608,
+      "learning_rate": 3.625092615787955e-06,
+      "loss": 0.5851,
+      "step": 1045
+    },
+    {
+      "epoch": 1.1152,
+      "grad_norm": 0.6370125412940979,
+      "learning_rate": 3.622521814695537e-06,
+      "loss": 0.5528,
+      "step": 1046
+    },
+    {
+      "epoch": 1.1162666666666667,
+      "grad_norm": 0.6009589433670044,
+      "learning_rate": 3.6199495259988503e-06,
+      "loss": 0.589,
+      "step": 1047
+    },
+    {
+      "epoch": 1.1173333333333333,
+      "grad_norm": 0.573767364025116,
+      "learning_rate": 3.61737575310678e-06,
+      "loss": 0.529,
+      "step": 1048
+    },
+    {
+      "epoch": 1.1184,
+      "grad_norm": 0.5882362723350525,
+      "learning_rate": 3.6148004994301783e-06,
+      "loss": 0.5956,
+      "step": 1049
+    },
+    {
+      "epoch": 1.1194666666666666,
+      "grad_norm": 0.5791586637496948,
+      "learning_rate": 3.6122237683818595e-06,
+      "loss": 0.5792,
+      "step": 1050
+    },
+    {
+      "epoch": 1.1205333333333334,
+      "grad_norm": 0.5596249103546143,
+      "learning_rate": 3.6096455633765946e-06,
+      "loss": 0.538,
+      "step": 1051
+    },
+    {
+      "epoch": 1.1216,
+      "grad_norm": 0.6111263632774353,
+      "learning_rate": 3.6070658878311106e-06,
+      "loss": 0.5593,
+      "step": 1052
+    },
+    {
+      "epoch": 1.1226666666666667,
+      "grad_norm": 0.6641891002655029,
+      "learning_rate": 3.604484745164081e-06,
+      "loss": 0.6148,
+      "step": 1053
+    },
+    {
+      "epoch": 1.1237333333333333,
+      "grad_norm": 0.6806473731994629,
+      "learning_rate": 3.601902138796123e-06,
+      "loss": 0.5962,
+      "step": 1054
+    },
+    {
+      "epoch": 1.1248,
+      "grad_norm": 0.5546264052391052,
+      "learning_rate": 3.599318072149796e-06,
+      "loss": 0.5053,
+      "step": 1055
+    },
+    {
+      "epoch": 1.1258666666666666,
+      "grad_norm": 0.6385917663574219,
+      "learning_rate": 3.596732548649594e-06,
+      "loss": 0.5419,
+      "step": 1056
+    },
+    {
+      "epoch": 1.1269333333333333,
+      "grad_norm": 0.5998086333274841,
+      "learning_rate": 3.5941455717219396e-06,
+      "loss": 0.5351,
+      "step": 1057
+    },
+    {
+      "epoch": 1.1280000000000001,
+      "grad_norm": 0.6184577345848083,
+      "learning_rate": 3.591557144795185e-06,
+      "loss": 0.5954,
+      "step": 1058
+    },
+    {
+      "epoch": 1.1290666666666667,
+      "grad_norm": 0.6389825344085693,
+      "learning_rate": 3.5889672712996e-06,
+      "loss": 0.6001,
+      "step": 1059
+    },
+    {
+      "epoch": 1.1301333333333332,
+      "grad_norm": 0.5561845302581787,
+      "learning_rate": 3.586375954667374e-06,
+      "loss": 0.5764,
+      "step": 1060
+    },
+    {
+      "epoch": 1.1312,
+      "grad_norm": 0.532995879650116,
+      "learning_rate": 3.58378319833261e-06,
+      "loss": 0.531,
+      "step": 1061
+    },
+    {
+      "epoch": 1.1322666666666668,
+      "grad_norm": 0.6292034387588501,
+      "learning_rate": 3.5811890057313146e-06,
+      "loss": 0.571,
+      "step": 1062
+    },
+    {
+      "epoch": 1.1333333333333333,
+      "grad_norm": 0.6344674825668335,
+      "learning_rate": 3.5785933803014023e-06,
+      "loss": 0.5445,
+      "step": 1063
+    },
+    {
+      "epoch": 1.1344,
+      "grad_norm": 0.5501471757888794,
+      "learning_rate": 3.575996325482684e-06,
+      "loss": 0.534,
+      "step": 1064
+    },
+    {
+      "epoch": 1.1354666666666666,
+      "grad_norm": 0.6051688194274902,
+      "learning_rate": 3.573397844716866e-06,
+      "loss": 0.5608,
+      "step": 1065
+    },
+    {
+      "epoch": 1.1365333333333334,
+      "grad_norm": 0.583592414855957,
+      "learning_rate": 3.570797941447543e-06,
+      "loss": 0.5515,
+      "step": 1066
+    },
+    {
+      "epoch": 1.1376,
+      "grad_norm": 0.6181302666664124,
+      "learning_rate": 3.568196619120196e-06,
+      "loss": 0.5591,
+      "step": 1067
+    },
+    {
+      "epoch": 1.1386666666666667,
+      "grad_norm": 0.6221619248390198,
+      "learning_rate": 3.5655938811821866e-06,
+      "loss": 0.5909,
+      "step": 1068
+    },
+    {
+      "epoch": 1.1397333333333333,
+      "grad_norm": 0.5964818000793457,
+      "learning_rate": 3.5629897310827527e-06,
+      "loss": 0.5174,
+      "step": 1069
+    },
+    {
+      "epoch": 1.1408,
+      "grad_norm": 0.5837390422821045,
+      "learning_rate": 3.5603841722730017e-06,
+      "loss": 0.5407,
+      "step": 1070
+    },
+    {
+      "epoch": 1.1418666666666666,
+      "grad_norm": 0.6146875619888306,
+      "learning_rate": 3.557777208205909e-06,
+      "loss": 0.5116,
+      "step": 1071
+    },
+    {
+      "epoch": 1.1429333333333334,
+      "grad_norm": 0.5841287970542908,
+      "learning_rate": 3.5551688423363133e-06,
+      "loss": 0.56,
+      "step": 1072
+    },
+    {
+      "epoch": 1.144,
+      "grad_norm": 0.6571990251541138,
+      "learning_rate": 3.5525590781209102e-06,
+      "loss": 0.5873,
+      "step": 1073
+    },
+    {
+      "epoch": 1.1450666666666667,
+      "grad_norm": 0.5797997117042542,
+      "learning_rate": 3.549947919018247e-06,
+      "loss": 0.5536,
+      "step": 1074
+    },
+    {
+      "epoch": 1.1461333333333332,
+      "grad_norm": 0.6288291811943054,
+      "learning_rate": 3.5473353684887235e-06,
+      "loss": 0.5713,
+      "step": 1075
+    },
+    {
+      "epoch": 1.1472,
+      "grad_norm": 0.611189067363739,
+      "learning_rate": 3.544721429994579e-06,
+      "loss": 0.6116,
+      "step": 1076
+    },
+    {
+      "epoch": 1.1482666666666668,
+      "grad_norm": 0.613508403301239,
+      "learning_rate": 3.542106106999895e-06,
+      "loss": 0.5584,
+      "step": 1077
+    },
+    {
+      "epoch": 1.1493333333333333,
+      "grad_norm": 0.5744166374206543,
+      "learning_rate": 3.5394894029705867e-06,
+      "loss": 0.5249,
+      "step": 1078
+    },
+    {
+      "epoch": 1.1504,
+      "grad_norm": 0.5526232123374939,
+      "learning_rate": 3.536871321374399e-06,
+      "loss": 0.536,
+      "step": 1079
+    },
+    {
+      "epoch": 1.1514666666666666,
+      "grad_norm": 0.649944007396698,
+      "learning_rate": 3.5342518656809043e-06,
+      "loss": 0.6304,
+      "step": 1080
+    },
+    {
+      "epoch": 1.1525333333333334,
+      "grad_norm": 0.6395799517631531,
+      "learning_rate": 3.531631039361494e-06,
+      "loss": 0.544,
+      "step": 1081
+    },
+    {
+      "epoch": 1.1536,
+      "grad_norm": 0.5826876759529114,
+      "learning_rate": 3.5290088458893768e-06,
+      "loss": 0.6013,
+      "step": 1082
+    },
+    {
+      "epoch": 1.1546666666666667,
+      "grad_norm": 0.6632768511772156,
+      "learning_rate": 3.5263852887395735e-06,
+      "loss": 0.6447,
+      "step": 1083
+    },
+    {
+      "epoch": 1.1557333333333333,
+      "grad_norm": 0.6110882759094238,
+      "learning_rate": 3.5237603713889105e-06,
+      "loss": 0.5672,
+      "step": 1084
+    },
+    {
+      "epoch": 1.1568,
+      "grad_norm": 0.6169748902320862,
+      "learning_rate": 3.521134097316019e-06,
+      "loss": 0.5939,
+      "step": 1085
+    },
+    {
+      "epoch": 1.1578666666666666,
+      "grad_norm": 0.6294716596603394,
+      "learning_rate": 3.5185064700013284e-06,
+      "loss": 0.5784,
+      "step": 1086
+    },
+    {
+      "epoch": 1.1589333333333334,
+      "grad_norm": 0.6815844178199768,
+      "learning_rate": 3.515877492927058e-06,
+      "loss": 0.5712,
+      "step": 1087
+    },
+    {
+      "epoch": 1.16,
+      "grad_norm": 0.6125465631484985,
+      "learning_rate": 3.5132471695772182e-06,
+      "loss": 0.5626,
+      "step": 1088
+    },
+    {
+      "epoch": 1.1610666666666667,
+      "grad_norm": 0.5582150220870972,
+      "learning_rate": 3.5106155034376042e-06,
+      "loss": 0.5125,
+      "step": 1089
+    },
+    {
+      "epoch": 1.1621333333333332,
+      "grad_norm": 0.6332792639732361,
+      "learning_rate": 3.5079824979957898e-06,
+      "loss": 0.6031,
+      "step": 1090
+    },
+    {
+      "epoch": 1.1632,
+      "grad_norm": 0.5606494545936584,
+      "learning_rate": 3.505348156741124e-06,
+      "loss": 0.5352,
+      "step": 1091
+    },
+    {
+      "epoch": 1.1642666666666668,
+      "grad_norm": 0.6061694622039795,
+      "learning_rate": 3.502712483164726e-06,
+      "loss": 0.5663,
+      "step": 1092
+    },
+    {
+      "epoch": 1.1653333333333333,
+      "grad_norm": 0.609596848487854,
+      "learning_rate": 3.50007548075948e-06,
+      "loss": 0.578,
+      "step": 1093
+    },
+    {
+      "epoch": 1.1663999999999999,
+      "grad_norm": 0.6260790824890137,
+      "learning_rate": 3.4974371530200312e-06,
+      "loss": 0.518,
+      "step": 1094
+    },
+    {
+      "epoch": 1.1674666666666667,
+      "grad_norm": 0.563435435295105,
+      "learning_rate": 3.4947975034427826e-06,
+      "loss": 0.567,
+      "step": 1095
+    },
+    {
+      "epoch": 1.1685333333333334,
+      "grad_norm": 0.5746175646781921,
+      "learning_rate": 3.492156535525888e-06,
+      "loss": 0.5758,
+      "step": 1096
+    },
+    {
+      "epoch": 1.1696,
+      "grad_norm": 0.5700274705886841,
+      "learning_rate": 3.4895142527692476e-06,
+      "loss": 0.5518,
+      "step": 1097
+    },
+    {
+      "epoch": 1.1706666666666667,
+      "grad_norm": 0.6294188499450684,
+      "learning_rate": 3.4868706586745047e-06,
+      "loss": 0.5335,
+      "step": 1098
+    },
+    {
+      "epoch": 1.1717333333333333,
+      "grad_norm": 0.5872018337249756,
+      "learning_rate": 3.484225756745042e-06,
+      "loss": 0.5412,
+      "step": 1099
+    },
+    {
+      "epoch": 1.1728,
+      "grad_norm": 0.6316784024238586,
+      "learning_rate": 3.481579550485973e-06,
+      "loss": 0.6288,
+      "step": 1100
+    },
+    {
+      "epoch": 1.1738666666666666,
+      "grad_norm": 0.553163468837738,
+      "learning_rate": 3.4789320434041395e-06,
+      "loss": 0.5515,
+      "step": 1101
+    },
+    {
+      "epoch": 1.1749333333333334,
+      "grad_norm": 0.6305729746818542,
+      "learning_rate": 3.5231245893177495e-06,
+      "loss": 0.5847,
+      "step": 1102
+    },
+    {
+      "epoch": 1.176,
+      "grad_norm": 0.6295369267463684,
+      "learning_rate": 3.5204707514216343e-06,
+      "loss": 0.5898,
+      "step": 1103
+    },
+    {
+      "epoch": 1.1770666666666667,
+      "grad_norm": 0.5711569786071777,
+      "learning_rate": 3.517815532978859e-06,
+      "loss": 0.5856,
+      "step": 1104
+    },
+    {
+      "epoch": 1.1781333333333333,
+      "grad_norm": 0.6025047302246094,
+      "learning_rate": 3.515158937581543e-06,
+      "loss": 0.6091,
+      "step": 1105
+    },
+    {
+      "epoch": 1.1792,
+      "grad_norm": 0.6308361291885376,
+      "learning_rate": 3.5125009688236688e-06,
+      "loss": 0.6147,
+      "step": 1106
+    },
+    {
+      "epoch": 1.1802666666666666,
+      "grad_norm": 0.6012118458747864,
+      "learning_rate": 3.5098416303010773e-06,
+      "loss": 0.5767,
+      "step": 1107
+    },
+    {
+      "epoch": 1.1813333333333333,
+      "grad_norm": 0.5999771356582642,
+      "learning_rate": 3.5071809256114614e-06,
+      "loss": 0.5755,
+      "step": 1108
+    },
+    {
+      "epoch": 1.1824,
+      "grad_norm": 0.6509708762168884,
+      "learning_rate": 3.5045188583543627e-06,
+      "loss": 0.5707,
+      "step": 1109
+    },
+    {
+      "epoch": 1.1834666666666667,
+      "grad_norm": 0.6038892865180969,
+      "learning_rate": 3.5018554321311664e-06,
+      "loss": 0.5623,
+      "step": 1110
+    },
+    {
+      "epoch": 1.1845333333333334,
+      "grad_norm": 0.5779822468757629,
+      "learning_rate": 3.4991906505450963e-06,
+      "loss": 0.5521,
+      "step": 1111
+    },
+    {
+      "epoch": 1.1856,
+      "grad_norm": 0.5952118635177612,
+      "learning_rate": 3.4965245172012087e-06,
+      "loss": 0.5343,
+      "step": 1112
+    },
+    {
+      "epoch": 1.1866666666666668,
+      "grad_norm": 0.5359090566635132,
+      "learning_rate": 3.4938570357063906e-06,
+      "loss": 0.5042,
+      "step": 1113
+    },
+    {
+      "epoch": 1.1877333333333333,
+      "grad_norm": 0.6266350150108337,
+      "learning_rate": 3.49118820966935e-06,
+      "loss": 0.5884,
+      "step": 1114
+    },
+    {
+      "epoch": 1.1888,
+      "grad_norm": 0.5860795974731445,
+      "learning_rate": 3.488518042700617e-06,
+      "loss": 0.5429,
+      "step": 1115
+    },
+    {
+      "epoch": 1.1898666666666666,
+      "grad_norm": 0.5853914022445679,
+      "learning_rate": 3.4858465384125328e-06,
+      "loss": 0.523,
+      "step": 1116
+    },
+    {
+      "epoch": 1.1909333333333334,
+      "grad_norm": 0.5783575177192688,
+      "learning_rate": 3.483173700419251e-06,
+      "loss": 0.5098,
+      "step": 1117
+    },
+    {
+      "epoch": 1.192,
+      "grad_norm": 0.5925812721252441,
+      "learning_rate": 3.4804995323367273e-06,
+      "loss": 0.5545,
+      "step": 1118
+    },
+    {
+      "epoch": 1.1930666666666667,
+      "grad_norm": 0.5792834758758545,
+      "learning_rate": 3.4778240377827176e-06,
+      "loss": 0.5633,
+      "step": 1119
+    },
+    {
+      "epoch": 1.1941333333333333,
+      "grad_norm": 0.5979787111282349,
+      "learning_rate": 3.475147220376771e-06,
+      "loss": 0.5644,
+      "step": 1120
+    },
+    {
+      "epoch": 1.1952,
+      "grad_norm": 0.5954440236091614,
+      "learning_rate": 3.472469083740228e-06,
+      "loss": 0.561,
+      "step": 1121
+    },
+    {
+      "epoch": 1.1962666666666666,
+      "grad_norm": 0.5805739760398865,
+      "learning_rate": 3.469789631496213e-06,
+      "loss": 0.5264,
+      "step": 1122
+    },
+    {
+      "epoch": 1.1973333333333334,
+      "grad_norm": 0.5833154916763306,
+      "learning_rate": 3.46710886726963e-06,
+      "loss": 0.5746,
+      "step": 1123
+    },
+    {
+      "epoch": 1.1984,
+      "grad_norm": 0.6004980802536011,
+      "learning_rate": 3.464426794687159e-06,
+      "loss": 0.561,
+      "step": 1124
+    },
+    {
+      "epoch": 1.1994666666666667,
+      "grad_norm": 0.6670483946800232,
+      "learning_rate": 3.461743417377249e-06,
+      "loss": 0.6466,
+      "step": 1125
+    },
+    {
+      "epoch": 1.2005333333333335,
+      "grad_norm": 0.5908915400505066,
+      "learning_rate": 3.4590587389701137e-06,
+      "loss": 0.5551,
+      "step": 1126
+    },
+    {
+      "epoch": 1.2016,
+      "grad_norm": 0.6483814716339111,
+      "learning_rate": 3.4563727630977286e-06,
+      "loss": 0.6305,
+      "step": 1127
+    },
+    {
+      "epoch": 1.2026666666666666,
+      "grad_norm": 0.6038757562637329,
+      "learning_rate": 3.4536854933938236e-06,
+      "loss": 0.5986,
+      "step": 1128
+    },
+    {
+      "epoch": 1.2037333333333333,
+      "grad_norm": 0.6044571995735168,
+      "learning_rate": 3.4509969334938777e-06,
+      "loss": 0.5966,
+      "step": 1129
+    },
+    {
+      "epoch": 1.2048,
+      "grad_norm": 0.6069327592849731,
+      "learning_rate": 3.448307087035117e-06,
+      "loss": 0.5391,
+      "step": 1130
+    },
+    {
+      "epoch": 1.2058666666666666,
+      "grad_norm": 0.5592043995857239,
+      "learning_rate": 3.4456159576565084e-06,
+      "loss": 0.5906,
+      "step": 1131
+    },
+    {
+      "epoch": 1.2069333333333334,
+      "grad_norm": 0.5954341888427734,
+      "learning_rate": 3.4429235489987535e-06,
+      "loss": 0.548,
+      "step": 1132
+    },
+    {
+      "epoch": 1.208,
+      "grad_norm": 0.6257811784744263,
+      "learning_rate": 3.4402298647042838e-06,
+      "loss": 0.6242,
+      "step": 1133
+    },
+    {
+      "epoch": 1.2090666666666667,
+      "grad_norm": 0.6486472487449646,
+      "learning_rate": 3.4375349084172583e-06,
+      "loss": 0.5767,
+      "step": 1134
+    },
+    {
+      "epoch": 1.2101333333333333,
+      "grad_norm": 0.6021019220352173,
+      "learning_rate": 3.4348386837835563e-06,
+      "loss": 0.5561,
+      "step": 1135
+    },
+    {
+      "epoch": 1.2112,
+      "grad_norm": 0.6502773761749268,
+      "learning_rate": 3.432141194450772e-06,
+      "loss": 0.6171,
+      "step": 1136
+    },
+    {
+      "epoch": 1.2122666666666666,
+      "grad_norm": 0.5636438131332397,
+      "learning_rate": 3.4294424440682115e-06,
+      "loss": 0.5407,
+      "step": 1137
+    },
+    {
+      "epoch": 1.2133333333333334,
+      "grad_norm": 0.6253723502159119,
+      "learning_rate": 3.4267424362868866e-06,
+      "loss": 0.5759,
+      "step": 1138
+    },
+    {
+      "epoch": 1.2144,
+      "grad_norm": 0.550049901008606,
+      "learning_rate": 3.4240411747595105e-06,
+      "loss": 0.5325,
+      "step": 1139
+    },
+    {
+      "epoch": 1.2154666666666667,
+      "grad_norm": 0.5767499208450317,
+      "learning_rate": 3.421338663140492e-06,
+      "loss": 0.5605,
+      "step": 1140
+    },
+    {
+      "epoch": 1.2165333333333332,
+      "grad_norm": 0.6397063732147217,
+      "learning_rate": 3.418634905085932e-06,
+      "loss": 0.6103,
+      "step": 1141
+    },
+    {
+      "epoch": 1.2176,
+      "grad_norm": 0.6001563668251038,
+      "learning_rate": 3.4159299042536163e-06,
+      "loss": 0.5811,
+      "step": 1142
+    },
+    {
+      "epoch": 1.2186666666666666,
+      "grad_norm": 0.5760254859924316,
+      "learning_rate": 3.413223664303013e-06,
+      "loss": 0.5879,
+      "step": 1143
+    },
+    {
+      "epoch": 1.2197333333333333,
+      "grad_norm": 0.6054921746253967,
+      "learning_rate": 3.4105161888952665e-06,
+      "loss": 0.5816,
+      "step": 1144
+    },
+    {
+      "epoch": 1.2208,
+      "grad_norm": 0.6112329959869385,
+      "learning_rate": 3.4078074816931916e-06,
+      "loss": 0.5309,
+      "step": 1145
+    },
+    {
+      "epoch": 1.2218666666666667,
+      "grad_norm": 0.5607280731201172,
+      "learning_rate": 3.40509754636127e-06,
+      "loss": 0.5498,
+      "step": 1146
+    },
+    {
+      "epoch": 1.2229333333333334,
+      "grad_norm": 0.6140485405921936,
+      "learning_rate": 3.402386386565647e-06,
+      "loss": 0.5414,
+      "step": 1147
+    },
+    {
+      "epoch": 1.224,
+      "grad_norm": 0.6261629462242126,
+      "learning_rate": 3.399674005974121e-06,
+      "loss": 0.6023,
+      "step": 1148
+    },
+    {
+      "epoch": 1.2250666666666667,
+      "grad_norm": 0.5713756084442139,
+      "learning_rate": 3.3969604082561434e-06,
+      "loss": 0.5292,
+      "step": 1149
+    },
+    {
+      "epoch": 1.2261333333333333,
+      "grad_norm": 0.548392117023468,
+      "learning_rate": 3.3942455970828146e-06,
+      "loss": 0.5054,
+      "step": 1150
+    },
+    {
+      "epoch": 1.2272,
+      "grad_norm": 0.6158407926559448,
+      "learning_rate": 3.3915295761268713e-06,
+      "loss": 0.569,
+      "step": 1151
+    },
+    {
+      "epoch": 1.2282666666666666,
+      "grad_norm": 0.5453423261642456,
+      "learning_rate": 3.3888123490626917e-06,
+      "loss": 0.5004,
+      "step": 1152
+    },
+    {
+      "epoch": 1.2293333333333334,
+      "grad_norm": 0.5757051706314087,
+      "learning_rate": 3.3860939195662827e-06,
+      "loss": 0.533,
+      "step": 1153
+    },
+    {
+      "epoch": 1.2304,
+      "grad_norm": 0.5892519950866699,
+      "learning_rate": 3.3833742913152806e-06,
+      "loss": 0.5873,
+      "step": 1154
+    },
+    {
+      "epoch": 1.2314666666666667,
+      "grad_norm": 0.59669029712677,
+      "learning_rate": 3.3806534679889414e-06,
+      "loss": 0.4932,
+      "step": 1155
+    },
+    {
+      "epoch": 1.2325333333333333,
+      "grad_norm": 0.6010440587997437,
+      "learning_rate": 3.377931453268138e-06,
+      "loss": 0.5771,
+      "step": 1156
+    },
+    {
+      "epoch": 1.2336,
+      "grad_norm": 0.5718351006507874,
+      "learning_rate": 3.375208250835356e-06,
+      "loss": 0.517,
+      "step": 1157
+    },
+    {
+      "epoch": 1.2346666666666666,
+      "grad_norm": 0.5291377305984497,
+      "learning_rate": 3.372483864374687e-06,
+      "loss": 0.5327,
+      "step": 1158
+    },
+    {
+      "epoch": 1.2357333333333334,
+      "grad_norm": 0.5772890448570251,
+      "learning_rate": 3.3697582975718245e-06,
+      "loss": 0.5356,
+      "step": 1159
+    },
+    {
+      "epoch": 1.2368000000000001,
+      "grad_norm": 0.6065099835395813,
+      "learning_rate": 3.367031554114059e-06,
+      "loss": 0.5799,
+      "step": 1160
+    },
+    {
+      "epoch": 1.2378666666666667,
+      "grad_norm": 0.5792447328567505,
+      "learning_rate": 3.364303637690274e-06,
+      "loss": 0.5475,
+      "step": 1161
+    },
+    {
+      "epoch": 1.2389333333333332,
+      "grad_norm": 0.5343523025512695,
+      "learning_rate": 3.361574551990937e-06,
+      "loss": 0.4988,
+      "step": 1162
+    },
+    {
+      "epoch": 1.24,
+      "grad_norm": 0.6508857607841492,
+      "learning_rate": 3.3588443007081006e-06,
+      "loss": 0.5898,
+      "step": 1163
+    },
+    {
+      "epoch": 1.2410666666666668,
+      "grad_norm": 0.5562260150909424,
+      "learning_rate": 3.356112887535392e-06,
+      "loss": 0.5617,
+      "step": 1164
+    },
+    {
+      "epoch": 1.2421333333333333,
+      "grad_norm": 0.6177778840065002,
+      "learning_rate": 3.3533803161680116e-06,
+      "loss": 0.5673,
+      "step": 1165
+    },
+    {
+      "epoch": 1.2432,
+      "grad_norm": 0.610817551612854,
+      "learning_rate": 3.3506465903027253e-06,
+      "loss": 0.5699,
+      "step": 1166
+    },
+    {
+      "epoch": 1.2442666666666666,
+      "grad_norm": 0.5545720458030701,
+      "learning_rate": 3.3479117136378617e-06,
+      "loss": 0.5444,
+      "step": 1167
+    },
+    {
+      "epoch": 1.2453333333333334,
+      "grad_norm": 0.5244311094284058,
+      "learning_rate": 3.3451756898733066e-06,
+      "loss": 0.5191,
+      "step": 1168
+    },
+    {
+      "epoch": 1.2464,
+      "grad_norm": 0.6220963001251221,
+      "learning_rate": 3.3424385227104977e-06,
+      "loss": 0.5965,
+      "step": 1169
+    },
+    {
+      "epoch": 1.2474666666666667,
+      "grad_norm": 0.5474932789802551,
+      "learning_rate": 3.3397002158524184e-06,
+      "loss": 0.5317,
+      "step": 1170
+    },
+    {
+      "epoch": 1.2485333333333333,
+      "grad_norm": 0.6420882344245911,
+      "learning_rate": 3.3369607730035943e-06,
+      "loss": 0.5363,
+      "step": 1171
+    },
+    {
+      "epoch": 1.2496,
+      "grad_norm": 0.6030506491661072,
+      "learning_rate": 3.334220197870089e-06,
+      "loss": 0.5432,
+      "step": 1172
+    },
+    {
+      "epoch": 1.2506666666666666,
+      "grad_norm": 0.5881881713867188,
+      "learning_rate": 3.331478494159497e-06,
+      "loss": 0.5965,
+      "step": 1173
+    },
+    {
+      "epoch": 1.2517333333333334,
+      "grad_norm": 0.6803209185600281,
+      "learning_rate": 3.328735665580939e-06,
+      "loss": 0.6573,
+      "step": 1174
+    },
+    {
+      "epoch": 1.2528000000000001,
+      "grad_norm": 0.617428719997406,
+      "learning_rate": 3.3259917158450595e-06,
+      "loss": 0.6006,
+      "step": 1175
+    },
+    {
+      "epoch": 1.2538666666666667,
+      "grad_norm": 0.5585335493087769,
+      "learning_rate": 3.323246648664017e-06,
+      "loss": 0.5383,
+      "step": 1176
+    },
+    {
+      "epoch": 1.2549333333333332,
+      "grad_norm": 0.621188223361969,
+      "learning_rate": 3.320500467751484e-06,
+      "loss": 0.6075,
+      "step": 1177
+    },
+    {
+      "epoch": 1.256,
+      "grad_norm": 0.6106104254722595,
+      "learning_rate": 3.3177531768226386e-06,
+      "loss": 0.5715,
+      "step": 1178
+    },
+    {
+      "epoch": 1.2570666666666668,
+      "grad_norm": 0.6492130756378174,
+      "learning_rate": 3.3150047795941615e-06,
+      "loss": 0.5863,
+      "step": 1179
+    },
+    {
+      "epoch": 1.2581333333333333,
+      "grad_norm": 0.6408774852752686,
+      "learning_rate": 3.312255279784229e-06,
+      "loss": 0.5389,
+      "step": 1180
+    },
+    {
+      "epoch": 1.2591999999999999,
+      "grad_norm": 0.6181980967521667,
+      "learning_rate": 3.3095046811125086e-06,
+      "loss": 0.5498,
+      "step": 1181
+    },
+    {
+      "epoch": 1.2602666666666666,
+      "grad_norm": 0.6170240044593811,
+      "learning_rate": 3.3067529873001564e-06,
+      "loss": 0.5802,
+      "step": 1182
+    },
+    {
+      "epoch": 1.2613333333333334,
+      "grad_norm": 0.6443089246749878,
+      "learning_rate": 3.3040002020698088e-06,
+      "loss": 0.561,
+      "step": 1183
+    },
+    {
+      "epoch": 1.2624,
+      "grad_norm": 0.6143125891685486,
+      "learning_rate": 3.3012463291455788e-06,
+      "loss": 0.543,
+      "step": 1184
+    },
+    {
+      "epoch": 1.2634666666666667,
+      "grad_norm": 0.6347858309745789,
+      "learning_rate": 3.2984913722530506e-06,
+      "loss": 0.5704,
+      "step": 1185
+    },
+    {
+      "epoch": 1.2645333333333333,
+      "grad_norm": 0.5513836741447449,
+      "learning_rate": 3.295735335119275e-06,
+      "loss": 0.5338,
+      "step": 1186
+    },
+    {
+      "epoch": 1.2656,
+      "grad_norm": 0.5678606629371643,
+      "learning_rate": 3.2929782214727657e-06,
+      "loss": 0.5114,
+      "step": 1187
+    },
+    {
+      "epoch": 1.2666666666666666,
+      "grad_norm": 0.6556112766265869,
+      "learning_rate": 3.2902200350434903e-06,
+      "loss": 0.5609,
+      "step": 1188
+    },
+    {
+      "epoch": 1.2677333333333334,
+      "grad_norm": 0.6102450489997864,
+      "learning_rate": 3.2874607795628686e-06,
+      "loss": 0.6103,
+      "step": 1189
+    },
+    {
+      "epoch": 1.2688,
+      "grad_norm": 0.6598638296127319,
+      "learning_rate": 3.284700458763768e-06,
+      "loss": 0.56,
+      "step": 1190
+    },
+    {
+      "epoch": 1.2698666666666667,
+      "grad_norm": 0.5996280312538147,
+      "learning_rate": 3.281939076380496e-06,
+      "loss": 0.5966,
+      "step": 1191
+    },
+    {
+      "epoch": 1.2709333333333332,
+      "grad_norm": 0.5846070051193237,
+      "learning_rate": 3.279176636148795e-06,
+      "loss": 0.5464,
+      "step": 1192
+    },
+    {
+      "epoch": 1.272,
+      "grad_norm": 0.6693992614746094,
+      "learning_rate": 3.276413141805842e-06,
+      "loss": 0.5893,
+      "step": 1193
+    },
+    {
+      "epoch": 1.2730666666666668,
+      "grad_norm": 0.6017161011695862,
+      "learning_rate": 3.2736485970902364e-06,
+      "loss": 0.5338,
+      "step": 1194
+    },
+    {
+      "epoch": 1.2741333333333333,
+      "grad_norm": 0.5704279541969299,
+      "learning_rate": 3.2708830057420004e-06,
+      "loss": 0.5663,
+      "step": 1195
+    },
+    {
+      "epoch": 1.2752,
+      "grad_norm": 0.6382817029953003,
+      "learning_rate": 3.268116371502572e-06,
+      "loss": 0.5725,
+      "step": 1196
+    },
+    {
+      "epoch": 1.2762666666666667,
+      "grad_norm": 0.6413946151733398,
+      "learning_rate": 3.2653486981148e-06,
+      "loss": 0.5732,
+      "step": 1197
+    },
+    {
+      "epoch": 1.2773333333333334,
+      "grad_norm": 0.5781510472297668,
+      "learning_rate": 3.262579989322938e-06,
+      "loss": 0.5392,
+      "step": 1198
+    },
+    {
+      "epoch": 1.2784,
+      "grad_norm": 0.634791374206543,
+      "learning_rate": 3.259810248872643e-06,
+      "loss": 0.5182,
+      "step": 1199
+    },
+    {
+      "epoch": 1.2794666666666665,
+      "grad_norm": 0.6060518026351929,
+      "learning_rate": 3.257039480510965e-06,
+      "loss": 0.5342,
+      "step": 1200
+    },
+    {
+      "epoch": 1.2805333333333333,
+      "grad_norm": 0.57082599401474,
+      "learning_rate": 3.2542676879863454e-06,
+      "loss": 0.5288,
+      "step": 1201
+    },
+    {
+      "epoch": 1.2816,
+      "grad_norm": 0.6113089919090271,
+      "learning_rate": 3.251494875048612e-06,
+      "loss": 0.5292,
+      "step": 1202
+    },
+    {
+      "epoch": 1.2826666666666666,
+      "grad_norm": 0.627722978591919,
+      "learning_rate": 3.2487210454489714e-06,
+      "loss": 0.5659,
+      "step": 1203
+    },
+    {
+      "epoch": 1.2837333333333334,
+      "grad_norm": 0.609973669052124,
+      "learning_rate": 3.2459462029400073e-06,
+      "loss": 0.5847,
+      "step": 1204
+    },
+    {
+      "epoch": 1.2848,
+      "grad_norm": 0.6237058043479919,
+      "learning_rate": 3.2431703512756735e-06,
+      "loss": 0.5362,
+      "step": 1205
+    },
+    {
+      "epoch": 1.2858666666666667,
+      "grad_norm": 0.6224337816238403,
+      "learning_rate": 3.2403934942112875e-06,
+      "loss": 0.5765,
+      "step": 1206
+    },
+    {
+      "epoch": 1.2869333333333333,
+      "grad_norm": 0.6581616401672363,
+      "learning_rate": 3.2376156355035283e-06,
+      "loss": 0.6254,
+      "step": 1207
+    },
+    {
+      "epoch": 1.288,
+      "grad_norm": 0.5871275067329407,
+      "learning_rate": 3.23483677891043e-06,
+      "loss": 0.54,
+      "step": 1208
+    },
+    {
+      "epoch": 1.2890666666666668,
+      "grad_norm": 0.6016267538070679,
+      "learning_rate": 3.232056928191376e-06,
+      "loss": 0.6119,
+      "step": 1209
+    },
+    {
+      "epoch": 1.2901333333333334,
+      "grad_norm": 0.6010908484458923,
+      "learning_rate": 3.2292760871070962e-06,
+      "loss": 0.6045,
+      "step": 1210
+    },
+    {
+      "epoch": 1.2912,
+      "grad_norm": 0.5557634830474854,
+      "learning_rate": 3.226494259419657e-06,
+      "loss": 0.5212,
+      "step": 1211
+    },
+    {
+      "epoch": 1.2922666666666667,
+      "grad_norm": 0.6151732206344604,
+      "learning_rate": 3.2237114488924633e-06,
+      "loss": 0.5861,
+      "step": 1212
+    },
+    {
+      "epoch": 1.2933333333333334,
+      "grad_norm": 0.620948076248169,
+      "learning_rate": 3.2209276592902473e-06,
+      "loss": 0.5649,
+      "step": 1213
+    },
+    {
+      "epoch": 1.2944,
+      "grad_norm": 0.6259783506393433,
+      "learning_rate": 3.2181428943790664e-06,
+      "loss": 0.6002,
+      "step": 1214
+    },
+    {
+      "epoch": 1.2954666666666665,
+      "grad_norm": 0.6026394367218018,
+      "learning_rate": 3.2153571579262975e-06,
+      "loss": 0.5277,
+      "step": 1215
+    },
+    {
+      "epoch": 1.2965333333333333,
+      "grad_norm": 0.6032781600952148,
+      "learning_rate": 3.212570453700633e-06,
+      "loss": 0.623,
+      "step": 1216
+    },
+    {
+      "epoch": 1.2976,
+      "grad_norm": 0.5602598786354065,
+      "learning_rate": 3.2097827854720712e-06,
+      "loss": 0.5631,
+      "step": 1217
+    },
+    {
+      "epoch": 1.2986666666666666,
+      "grad_norm": 0.5729973316192627,
+      "learning_rate": 3.2069941570119184e-06,
+      "loss": 0.5657,
+      "step": 1218
+    },
+    {
+      "epoch": 1.2997333333333334,
+      "grad_norm": 0.5725788474082947,
+      "learning_rate": 3.2042045720927775e-06,
+      "loss": 0.5152,
+      "step": 1219
+    },
+    {
+      "epoch": 1.3008,
+      "grad_norm": 0.5468958020210266,
+      "learning_rate": 3.201414034488546e-06,
+      "loss": 0.5585,
+      "step": 1220
+    },
+    {
+      "epoch": 1.3018666666666667,
+      "grad_norm": 0.6389617919921875,
+      "learning_rate": 3.198622547974411e-06,
+      "loss": 0.6183,
+      "step": 1221
+    },
+    {
+      "epoch": 1.3029333333333333,
+      "grad_norm": 0.5335264801979065,
+      "learning_rate": 3.1958301163268424e-06,
+      "loss": 0.4926,
+      "step": 1222
+    },
+    {
+      "epoch": 1.304,
+      "grad_norm": 0.6117722988128662,
+      "learning_rate": 3.1930367433235888e-06,
+      "loss": 0.6151,
+      "step": 1223
+    },
+    {
+      "epoch": 1.3050666666666666,
+      "grad_norm": 0.5419655442237854,
+      "learning_rate": 3.190242432743673e-06,
+      "loss": 0.5082,
+      "step": 1224
+    },
+    {
+      "epoch": 1.3061333333333334,
+      "grad_norm": 0.6067537069320679,
+      "learning_rate": 3.187447188367385e-06,
+      "loss": 0.607,
+      "step": 1225
+    },
+    {
+      "epoch": 1.3072,
+      "grad_norm": 0.6129657626152039,
+      "learning_rate": 3.1846510139762794e-06,
+      "loss": 0.5784,
+      "step": 1226
+    },
+    {
+      "epoch": 1.3082666666666667,
+      "grad_norm": 0.5924935340881348,
+      "learning_rate": 3.181853913353168e-06,
+      "loss": 0.5285,
+      "step": 1227
+    },
+    {
+      "epoch": 1.3093333333333335,
+      "grad_norm": 0.6033439040184021,
+      "learning_rate": 3.1790558902821167e-06,
+      "loss": 0.5607,
+      "step": 1228
+    },
+    {
+      "epoch": 1.3104,
+      "grad_norm": 0.5916463136672974,
+      "learning_rate": 3.176256948548439e-06,
+      "loss": 0.5711,
+      "step": 1229
+    },
+    {
+      "epoch": 1.3114666666666666,
+      "grad_norm": 0.6031509637832642,
+      "learning_rate": 3.1734570919386896e-06,
+      "loss": 0.5695,
+      "step": 1230
+    },
+    {
+      "epoch": 1.3125333333333333,
+      "grad_norm": 0.5542117953300476,
+      "learning_rate": 3.170656324240664e-06,
+      "loss": 0.5035,
+      "step": 1231
+    },
+    {
+      "epoch": 1.3136,
+      "grad_norm": 0.6933876276016235,
+      "learning_rate": 3.1678546492433864e-06,
+      "loss": 0.6144,
+      "step": 1232
+    },
+    {
+      "epoch": 1.3146666666666667,
+      "grad_norm": 0.6271664500236511,
+      "learning_rate": 3.1650520707371113e-06,
+      "loss": 0.6271,
+      "step": 1233
+    },
+    {
+      "epoch": 1.3157333333333332,
+      "grad_norm": 0.5649417638778687,
+      "learning_rate": 3.1622485925133156e-06,
+      "loss": 0.55,
+      "step": 1234
+    },
+    {
+      "epoch": 1.3168,
+      "grad_norm": 0.5905370712280273,
+      "learning_rate": 3.159444218364691e-06,
+      "loss": 0.5554,
+      "step": 1235
+    },
+    {
+      "epoch": 1.3178666666666667,
+      "grad_norm": 0.6053836941719055,
+      "learning_rate": 3.156638952085145e-06,
+      "loss": 0.645,
+      "step": 1236
+    },
+    {
+      "epoch": 1.3189333333333333,
+      "grad_norm": 0.6420016288757324,
+      "learning_rate": 3.1538327974697874e-06,
+      "loss": 0.6,
+      "step": 1237
+    },
+    {
+      "epoch": 1.32,
+      "grad_norm": 0.5797627568244934,
+      "learning_rate": 3.1510257583149332e-06,
+      "loss": 0.5514,
+      "step": 1238
+    },
+    {
+      "epoch": 1.3210666666666666,
+      "grad_norm": 0.5872842669487,
+      "learning_rate": 3.148217838418094e-06,
+      "loss": 0.5142,
+      "step": 1239
+    },
+    {
+      "epoch": 1.3221333333333334,
+      "grad_norm": 0.6135072112083435,
+      "learning_rate": 3.1454090415779705e-06,
+      "loss": 0.5592,
+      "step": 1240
+    },
+    {
+      "epoch": 1.3232,
+      "grad_norm": 0.5641511082649231,
+      "learning_rate": 3.1425993715944513e-06,
+      "loss": 0.5532,
+      "step": 1241
+    },
+    {
+      "epoch": 1.3242666666666667,
+      "grad_norm": 0.5949620604515076,
+      "learning_rate": 3.1397888322686066e-06,
+      "loss": 0.5483,
+      "step": 1242
+    },
+    {
+      "epoch": 1.3253333333333333,
+      "grad_norm": 0.6253963708877563,
+      "learning_rate": 3.136977427402682e-06,
+      "loss": 0.5634,
+      "step": 1243
+    },
+    {
+      "epoch": 1.3264,
+      "grad_norm": 0.5980871915817261,
+      "learning_rate": 3.134165160800095e-06,
+      "loss": 0.5796,
+      "step": 1244
+    },
+    {
+      "epoch": 1.3274666666666666,
+      "grad_norm": 0.6051768064498901,
+      "learning_rate": 3.131352036265428e-06,
+      "loss": 0.524,
+      "step": 1245
+    },
+    {
+      "epoch": 1.3285333333333333,
+      "grad_norm": 0.5623943209648132,
+      "learning_rate": 3.1285380576044233e-06,
+      "loss": 0.5475,
+      "step": 1246
+    },
+    {
+      "epoch": 1.3296000000000001,
+      "grad_norm": 0.6178256273269653,
+      "learning_rate": 3.1257232286239803e-06,
+      "loss": 0.5997,
+      "step": 1247
+    },
+    {
+      "epoch": 1.3306666666666667,
+      "grad_norm": 0.5775625109672546,
+      "learning_rate": 3.1229075531321485e-06,
+      "loss": 0.5755,
+      "step": 1248
+    },
+    {
+      "epoch": 1.3317333333333332,
+      "grad_norm": 0.5028210282325745,
+      "learning_rate": 3.120091034938122e-06,
+      "loss": 0.5279,
+      "step": 1249
+    },
+    {
+      "epoch": 1.3328,
+      "grad_norm": 0.5687126517295837,
+      "learning_rate": 3.117273677852235e-06,
+      "loss": 0.5128,
+      "step": 1250
+    },
+    {
+      "epoch": 1.3338666666666668,
+      "grad_norm": 0.5651512145996094,
+      "learning_rate": 3.1144554856859567e-06,
+      "loss": 0.5364,
+      "step": 1251
+    },
+    {
+      "epoch": 1.3349333333333333,
+      "grad_norm": 0.5815364718437195,
+      "learning_rate": 3.1116364622518863e-06,
+      "loss": 0.5476,
+      "step": 1252
+    },
+    {
+      "epoch": 1.336,
+      "grad_norm": 0.6326936483383179,
+      "learning_rate": 3.1088166113637473e-06,
+      "loss": 0.5817,
+      "step": 1253
+    },
+    {
+      "epoch": 1.3370666666666666,
+      "grad_norm": 0.5675243139266968,
+      "learning_rate": 3.1059959368363833e-06,
+      "loss": 0.5445,
+      "step": 1254
+    },
+    {
+      "epoch": 1.3381333333333334,
+      "grad_norm": 0.5498394966125488,
+      "learning_rate": 3.10317444248575e-06,
+      "loss": 0.5434,
+      "step": 1255
+    },
+    {
+      "epoch": 1.3392,
+      "grad_norm": 0.5967531800270081,
+      "learning_rate": 3.100352132128916e-06,
+      "loss": 0.5758,
+      "step": 1256
+    },
+    {
+      "epoch": 1.3402666666666667,
+      "grad_norm": 0.5276792049407959,
+      "learning_rate": 3.09752900958405e-06,
+      "loss": 0.4974,
+      "step": 1257
+    },
+    {
+      "epoch": 1.3413333333333333,
+      "grad_norm": 0.5854984521865845,
+      "learning_rate": 3.0947050786704213e-06,
+      "loss": 0.5368,
+      "step": 1258
+    },
+    {
+      "epoch": 1.3424,
+      "grad_norm": 0.5745218396186829,
+      "learning_rate": 3.0918803432083925e-06,
+      "loss": 0.5225,
+      "step": 1259
+    },
+    {
+      "epoch": 1.3434666666666666,
+      "grad_norm": 0.5833876729011536,
+      "learning_rate": 3.089054807019416e-06,
+      "loss": 0.5567,
+      "step": 1260
+    },
+    {
+      "epoch": 1.3445333333333334,
+      "grad_norm": 0.5663256049156189,
+      "learning_rate": 3.0862284739260247e-06,
+      "loss": 0.5083,
+      "step": 1261
+    },
+    {
+      "epoch": 1.3456000000000001,
+      "grad_norm": 0.5832214951515198,
+      "learning_rate": 3.0834013477518323e-06,
+      "loss": 0.5511,
+      "step": 1262
+    },
+    {
+      "epoch": 1.3466666666666667,
+      "grad_norm": 0.628870964050293,
+      "learning_rate": 3.0805734323215227e-06,
+      "loss": 0.5776,
+      "step": 1263
+    },
+    {
+      "epoch": 1.3477333333333332,
+      "grad_norm": 0.5693417191505432,
+      "learning_rate": 3.07774473146085e-06,
+      "loss": 0.5336,
+      "step": 1264
+    },
+    {
+      "epoch": 1.3488,
+      "grad_norm": 0.615167498588562,
+      "learning_rate": 3.0749152489966306e-06,
+      "loss": 0.6114,
+      "step": 1265
+    },
+    {
+      "epoch": 1.3498666666666668,
+      "grad_norm": 0.5708635449409485,
+      "learning_rate": 3.0720849887567362e-06,
+      "loss": 0.565,
+      "step": 1266
+    },
+    {
+      "epoch": 1.3509333333333333,
+      "grad_norm": 0.5854796767234802,
+      "learning_rate": 3.0692539545700934e-06,
+      "loss": 0.5246,
+      "step": 1267
+    },
+    {
+      "epoch": 1.3519999999999999,
+      "grad_norm": 0.6369312405586243,
+      "learning_rate": 3.066422150266674e-06,
+      "loss": 0.5496,
+      "step": 1268
+    },
+    {
+      "epoch": 1.3530666666666666,
+      "grad_norm": 0.5719568133354187,
+      "learning_rate": 3.0635895796774923e-06,
+      "loss": 0.5266,
+      "step": 1269
+    },
+    {
+      "epoch": 1.3541333333333334,
+      "grad_norm": 0.6037620902061462,
+      "learning_rate": 3.0607562466345987e-06,
+      "loss": 0.5388,
+      "step": 1270
+    },
+    {
+      "epoch": 1.3552,
+      "grad_norm": 0.5496617555618286,
+      "learning_rate": 3.0579221549710763e-06,
+      "loss": 0.5478,
+      "step": 1271
+    },
+    {
+      "epoch": 1.3562666666666667,
+      "grad_norm": 0.5807669162750244,
+      "learning_rate": 3.055087308521033e-06,
+      "loss": 0.5456,
+      "step": 1272
+    },
+    {
+      "epoch": 1.3573333333333333,
+      "grad_norm": 0.613358199596405,
+      "learning_rate": 3.0522517111196e-06,
+      "loss": 0.5758,
+      "step": 1273
+    },
+    {
+      "epoch": 1.3584,
+      "grad_norm": 0.6438480019569397,
+      "learning_rate": 3.049415366602922e-06,
+      "loss": 0.6178,
+      "step": 1274
+    },
+    {
+      "epoch": 1.3594666666666666,
+      "grad_norm": 0.5591219067573547,
+      "learning_rate": 3.0465782788081554e-06,
+      "loss": 0.543,
+      "step": 1275
+    },
+    {
+      "epoch": 1.3605333333333334,
+      "grad_norm": 0.5304659008979797,
+      "learning_rate": 3.043740451573463e-06,
+      "loss": 0.5395,
+      "step": 1276
+    },
+    {
+      "epoch": 1.3616,
+      "grad_norm": 0.5301405191421509,
+      "learning_rate": 3.040901888738006e-06,
+      "loss": 0.5593,
+      "step": 1277
+    },
+    {
+      "epoch": 1.3626666666666667,
+      "grad_norm": 0.6252367496490479,
+      "learning_rate": 3.0380625941419426e-06,
+      "loss": 0.5686,
+      "step": 1278
+    },
+    {
+      "epoch": 1.3637333333333332,
+      "grad_norm": 0.567630410194397,
+      "learning_rate": 3.035222571626421e-06,
+      "loss": 0.5573,
+      "step": 1279
+    },
+    {
+      "epoch": 1.3648,
+      "grad_norm": 0.6194931864738464,
+      "learning_rate": 3.0323818250335726e-06,
+      "loss": 0.5815,
+      "step": 1280
+    },
+    {
+      "epoch": 1.3658666666666668,
+      "grad_norm": 0.5967805981636047,
+      "learning_rate": 3.029540358206508e-06,
+      "loss": 0.5475,
+      "step": 1281
+    },
+    {
+      "epoch": 1.3669333333333333,
+      "grad_norm": 0.6195791363716125,
+      "learning_rate": 3.026698174989316e-06,
+      "loss": 0.5551,
+      "step": 1282
+    },
+    {
+      "epoch": 1.3679999999999999,
+      "grad_norm": 0.6347622275352478,
+      "learning_rate": 3.023855279227051e-06,
+      "loss": 0.5914,
+      "step": 1283
+    },
+    {
+      "epoch": 1.3690666666666667,
+      "grad_norm": 0.5529806613922119,
+      "learning_rate": 3.0210116747657315e-06,
+      "loss": 0.5872,
+      "step": 1284
+    },
+    {
+      "epoch": 1.3701333333333334,
+      "grad_norm": 0.5764380693435669,
+      "learning_rate": 3.018167365452336e-06,
+      "loss": 0.5859,
+      "step": 1285
+    },
+    {
+      "epoch": 1.3712,
+      "grad_norm": 0.6495466232299805,
+      "learning_rate": 3.0153223551347973e-06,
+      "loss": 0.6097,
+      "step": 1286
+    },
+    {
+      "epoch": 1.3722666666666667,
+      "grad_norm": 0.5129145979881287,
+      "learning_rate": 3.0124766476619936e-06,
+      "loss": 0.4838,
+      "step": 1287
+    },
+    {
+      "epoch": 1.3733333333333333,
+      "grad_norm": 0.5461344718933105,
+      "learning_rate": 3.0096302468837495e-06,
+      "loss": 0.5476,
+      "step": 1288
+    },
+    {
+      "epoch": 1.3744,
+      "grad_norm": 0.6183241009712219,
+      "learning_rate": 3.0067831566508254e-06,
+      "loss": 0.5931,
+      "step": 1289
+    },
+    {
+      "epoch": 1.3754666666666666,
+      "grad_norm": 0.5431004166603088,
+      "learning_rate": 3.0039353808149153e-06,
+      "loss": 0.5225,
+      "step": 1290
+    },
+    {
+      "epoch": 1.3765333333333334,
+      "grad_norm": 0.597988486289978,
+      "learning_rate": 3.001086923228641e-06,
+      "loss": 0.5609,
+      "step": 1291
+    },
+    {
+      "epoch": 1.3776,
+      "grad_norm": 0.6128572225570679,
+      "learning_rate": 2.9982377877455456e-06,
+      "loss": 0.5736,
+      "step": 1292
+    },
+    {
+      "epoch": 1.3786666666666667,
+      "grad_norm": 0.5359616279602051,
+      "learning_rate": 2.99538797822009e-06,
+      "loss": 0.5085,
+      "step": 1293
+    },
+    {
+      "epoch": 1.3797333333333333,
+      "grad_norm": 0.5716959238052368,
+      "learning_rate": 2.9925374985076468e-06,
+      "loss": 0.5706,
+      "step": 1294
+    },
+    {
+      "epoch": 1.3808,
+      "grad_norm": 0.589451789855957,
+      "learning_rate": 2.9896863524644955e-06,
+      "loss": 0.5696,
+      "step": 1295
+    },
+    {
+      "epoch": 1.3818666666666668,
+      "grad_norm": 0.5128101706504822,
+      "learning_rate": 2.9868345439478163e-06,
+      "loss": 0.5208,
+      "step": 1296
+    },
+    {
+      "epoch": 1.3829333333333333,
+      "grad_norm": 0.6228993535041809,
+      "learning_rate": 2.9839820768156867e-06,
+      "loss": 0.5682,
+      "step": 1297
+    },
+    {
+      "epoch": 1.384,
+      "grad_norm": 0.5027860999107361,
+      "learning_rate": 2.981128954927075e-06,
+      "loss": 0.498,
+      "step": 1298
+    },
+    {
+      "epoch": 1.3850666666666667,
+      "grad_norm": 0.5820503830909729,
+      "learning_rate": 2.9782751821418356e-06,
+      "loss": 0.571,
+      "step": 1299
+    },
+    {
+      "epoch": 1.3861333333333334,
+      "grad_norm": 0.6069969534873962,
+      "learning_rate": 2.9754207623207e-06,
+      "loss": 0.5482,
+      "step": 1300
+    },
+    {
+      "epoch": 1.3872,
+      "grad_norm": 0.5822513699531555,
+      "learning_rate": 2.9725656993252805e-06,
+      "loss": 0.5447,
+      "step": 1301
+    },
+    {
+      "epoch": 1.3882666666666665,
+      "grad_norm": 0.5825053453445435,
+      "learning_rate": 2.9697099970180565e-06,
+      "loss": 0.5511,
+      "step": 1302
+    },
+    {
+      "epoch": 1.3893333333333333,
+      "grad_norm": 0.6190667748451233,
+      "learning_rate": 2.966853659262372e-06,
+      "loss": 0.5433,
+      "step": 1303
+    },
+    {
+      "epoch": 1.3904,
+      "grad_norm": 0.5729175806045532,
+      "learning_rate": 2.963996689922432e-06,
+      "loss": 0.5552,
+      "step": 1304
+    },
+    {
+      "epoch": 1.3914666666666666,
+      "grad_norm": 0.5590782761573792,
+      "learning_rate": 2.9611390928632954e-06,
+      "loss": 0.5209,
+      "step": 1305
+    },
+    {
+      "epoch": 1.3925333333333334,
+      "grad_norm": 0.6327686309814453,
+      "learning_rate": 2.9582808719508697e-06,
+      "loss": 0.5895,
+      "step": 1306
+    },
+    {
+      "epoch": 1.3936,
+      "grad_norm": 0.5980751514434814,
+      "learning_rate": 2.955422031051907e-06,
+      "loss": 0.5554,
+      "step": 1307
+    },
+    {
+      "epoch": 1.3946666666666667,
+      "grad_norm": 0.5704339742660522,
+      "learning_rate": 2.9525625740339985e-06,
+      "loss": 0.5958,
+      "step": 1308
+    },
+    {
+      "epoch": 1.3957333333333333,
+      "grad_norm": 0.5839002132415771,
+      "learning_rate": 2.949702504765568e-06,
+      "loss": 0.5703,
+      "step": 1309
+    },
+    {
+      "epoch": 1.3968,
+      "grad_norm": 0.660755455493927,
+      "learning_rate": 2.9468418271158687e-06,
+      "loss": 0.5869,
+      "step": 1310
+    },
+    {
+      "epoch": 1.3978666666666666,
+      "grad_norm": 0.6481025218963623,
+      "learning_rate": 2.9439805449549753e-06,
+      "loss": 0.5898,
+      "step": 1311
+    },
+    {
+      "epoch": 1.3989333333333334,
+      "grad_norm": 0.5733228921890259,
+      "learning_rate": 2.941118662153782e-06,
+      "loss": 0.5441,
+      "step": 1312
+    },
+    {
+      "epoch": 1.4,
+      "grad_norm": 0.5833050012588501,
+      "learning_rate": 2.938256182583995e-06,
+      "loss": 0.5575,
+      "step": 1313
+    },
+    {
+      "epoch": 1.4010666666666667,
+      "grad_norm": 0.6129735112190247,
+      "learning_rate": 2.9353931101181265e-06,
+      "loss": 0.5687,
+      "step": 1314
+    },
+    {
+      "epoch": 1.4021333333333335,
+      "grad_norm": 0.54153972864151,
+      "learning_rate": 2.9325294486294933e-06,
+      "loss": 0.5408,
+      "step": 1315
+    },
+    {
+      "epoch": 1.4032,
+      "grad_norm": 0.5766595602035522,
+      "learning_rate": 2.9296652019922063e-06,
+      "loss": 0.5416,
+      "step": 1316
+    },
+    {
+      "epoch": 1.4042666666666666,
+      "grad_norm": 0.6089082956314087,
+      "learning_rate": 2.9268003740811703e-06,
+      "loss": 0.6186,
+      "step": 1317
+    },
+    {
+      "epoch": 1.4053333333333333,
+      "grad_norm": 0.5455739498138428,
+      "learning_rate": 2.9239349687720755e-06,
+      "loss": 0.4785,
+      "step": 1318
+    },
+    {
+      "epoch": 1.4064,
+      "grad_norm": 0.5785406231880188,
+      "learning_rate": 2.921068989941393e-06,
+      "loss": 0.5428,
+      "step": 1319
+    },
+    {
+      "epoch": 1.4074666666666666,
+      "grad_norm": 0.5553635954856873,
+      "learning_rate": 2.918202441466372e-06,
+      "loss": 0.5339,
+      "step": 1320
+    },
+    {
+      "epoch": 1.4085333333333334,
+      "grad_norm": 0.65394526720047,
+      "learning_rate": 2.9153353272250272e-06,
+      "loss": 0.5813,
+      "step": 1321
+    },
+    {
+      "epoch": 1.4096,
+      "grad_norm": 0.5980402827262878,
+      "learning_rate": 2.9124676510961447e-06,
+      "loss": 0.5877,
+      "step": 1322
+    },
+    {
+      "epoch": 1.4106666666666667,
+      "grad_norm": 0.5857977867126465,
+      "learning_rate": 2.9095994169592666e-06,
+      "loss": 0.5592,
+      "step": 1323
+    },
+    {
+      "epoch": 1.4117333333333333,
+      "grad_norm": 0.5848472118377686,
+      "learning_rate": 2.906730628694692e-06,
+      "loss": 0.558,
+      "step": 1324
+    },
+    {
+      "epoch": 1.4128,
+      "grad_norm": 0.5572457313537598,
+      "learning_rate": 2.9038612901834697e-06,
+      "loss": 0.5361,
+      "step": 1325
+    },
+    {
+      "epoch": 1.4138666666666666,
+      "grad_norm": 0.5682950615882874,
+      "learning_rate": 2.9009914053073903e-06,
+      "loss": 0.5709,
+      "step": 1326
+    },
+    {
+      "epoch": 1.4149333333333334,
+      "grad_norm": 0.6108357906341553,
+      "learning_rate": 2.898120977948986e-06,
+      "loss": 0.5674,
+      "step": 1327
+    },
+    {
+      "epoch": 1.416,
+      "grad_norm": 0.6161071062088013,
+      "learning_rate": 2.8952500119915246e-06,
+      "loss": 0.5865,
+      "step": 1328
+    },
+    {
+      "epoch": 1.4170666666666667,
+      "grad_norm": 0.5622226595878601,
+      "learning_rate": 2.8923785113189965e-06,
+      "loss": 0.5515,
+      "step": 1329
+    },
+    {
+      "epoch": 1.4181333333333335,
+      "grad_norm": 0.6264538764953613,
+      "learning_rate": 2.889506479816122e-06,
+      "loss": 0.6053,
+      "step": 1330
+    },
+    {
+      "epoch": 1.4192,
+      "grad_norm": 0.6347070932388306,
+      "learning_rate": 2.8866339213683362e-06,
+      "loss": 0.6111,
+      "step": 1331
+    },
+    {
+      "epoch": 1.4202666666666666,
+      "grad_norm": 0.6150041222572327,
+      "learning_rate": 2.883760839861787e-06,
+      "loss": 0.5758,
+      "step": 1332
+    },
+    {
+      "epoch": 1.4213333333333333,
+      "grad_norm": 0.6400144100189209,
+      "learning_rate": 2.880887239183332e-06,
+      "loss": 0.6189,
+      "step": 1333
+    },
+    {
+      "epoch": 1.4224,
+      "grad_norm": 0.5714231133460999,
+      "learning_rate": 2.878013123220528e-06,
+      "loss": 0.5363,
+      "step": 1334
+    },
+    {
+      "epoch": 1.4234666666666667,
+      "grad_norm": 0.5401744842529297,
+      "learning_rate": 2.8751384958616318e-06,
+      "loss": 0.5232,
+      "step": 1335
+    },
+    {
+      "epoch": 1.4245333333333332,
+      "grad_norm": 0.6231694221496582,
+      "learning_rate": 2.8722633609955908e-06,
+      "loss": 0.5281,
+      "step": 1336
+    },
+    {
+      "epoch": 1.4256,
+      "grad_norm": 0.6024305820465088,
+      "learning_rate": 2.869387722512039e-06,
+      "loss": 0.5578,
+      "step": 1337
+    },
+    {
+      "epoch": 1.4266666666666667,
+      "grad_norm": 0.621441125869751,
+      "learning_rate": 2.866511584301292e-06,
+      "loss": 0.5588,
+      "step": 1338
+    },
+    {
+      "epoch": 1.4277333333333333,
+      "grad_norm": 0.5579687356948853,
+      "learning_rate": 2.863634950254341e-06,
+      "loss": 0.5541,
+      "step": 1339
+    },
+    {
+      "epoch": 1.4288,
+      "grad_norm": 0.5559951663017273,
+      "learning_rate": 2.860757824262849e-06,
+      "loss": 0.5452,
+      "step": 1340
+    },
+    {
+      "epoch": 1.4298666666666666,
+      "grad_norm": 0.5890815854072571,
+      "learning_rate": 2.857880210219142e-06,
+      "loss": 0.5163,
+      "step": 1341
+    },
+    {
+      "epoch": 1.4309333333333334,
+      "grad_norm": 0.615848958492279,
+      "learning_rate": 2.8550021120162103e-06,
+      "loss": 0.534,
+      "step": 1342
+    },
+    {
+      "epoch": 1.432,
+      "grad_norm": 0.5641388893127441,
+      "learning_rate": 2.8521235335476956e-06,
+      "loss": 0.5262,
+      "step": 1343
+    },
+    {
+      "epoch": 1.4330666666666667,
+      "grad_norm": 0.6321529150009155,
+      "learning_rate": 2.849244478707891e-06,
+      "loss": 0.5626,
+      "step": 1344
+    },
+    {
+      "epoch": 1.4341333333333333,
+      "grad_norm": 0.6373756527900696,
+      "learning_rate": 2.8463649513917337e-06,
+      "loss": 0.6433,
+      "step": 1345
+    },
+    {
+      "epoch": 1.4352,
+      "grad_norm": 0.548363983631134,
+      "learning_rate": 2.8434849554947995e-06,
+      "loss": 0.5451,
+      "step": 1346
+    },
+    {
+      "epoch": 1.4362666666666666,
+      "grad_norm": 0.5981884002685547,
+      "learning_rate": 2.8406044949133005e-06,
+      "loss": 0.5529,
+      "step": 1347
+    },
+    {
+      "epoch": 1.4373333333333334,
+      "grad_norm": 0.5139580368995667,
+      "learning_rate": 2.837723573544074e-06,
+      "loss": 0.4711,
+      "step": 1348
+    },
+    {
+      "epoch": 1.4384000000000001,
+      "grad_norm": 0.5963191390037537,
+      "learning_rate": 2.8348421952845834e-06,
+      "loss": 0.5158,
+      "step": 1349
+    },
+    {
+      "epoch": 1.4394666666666667,
+      "grad_norm": 0.5751117467880249,
+      "learning_rate": 2.8319603640329097e-06,
+      "loss": 0.5556,
+      "step": 1350
+    },
+    {
+      "epoch": 1.4405333333333332,
+      "grad_norm": 0.6744896173477173,
+      "learning_rate": 2.829078083687744e-06,
+      "loss": 0.6334,
+      "step": 1351
+    },
+    {
+      "epoch": 1.4416,
+      "grad_norm": 0.5630660653114319,
+      "learning_rate": 2.826195358148389e-06,
+      "loss": 0.5926,
+      "step": 1352
+    },
+    {
+      "epoch": 1.4426666666666668,
+      "grad_norm": 0.5466919541358948,
+      "learning_rate": 2.8233121913147477e-06,
+      "loss": 0.5023,
+      "step": 1353
+    },
+    {
+      "epoch": 1.4437333333333333,
+      "grad_norm": 0.6368496417999268,
+      "learning_rate": 2.82042858708732e-06,
+      "loss": 0.6195,
+      "step": 1354
+    },
+    {
+      "epoch": 1.4447999999999999,
+      "grad_norm": 0.6054936647415161,
+      "learning_rate": 2.817544549367197e-06,
+      "loss": 0.5583,
+      "step": 1355
+    },
+    {
+      "epoch": 1.4458666666666666,
+      "grad_norm": 0.5941324830055237,
+      "learning_rate": 2.814660082056058e-06,
+      "loss": 0.5887,
+      "step": 1356
+    },
+    {
+      "epoch": 1.4469333333333334,
+      "grad_norm": 0.5582903623580933,
+      "learning_rate": 2.811775189056164e-06,
+      "loss": 0.5706,
+      "step": 1357
+    },
+    {
+      "epoch": 1.448,
+      "grad_norm": 0.5088196992874146,
+      "learning_rate": 2.8088898742703473e-06,
+      "loss": 0.5344,
+      "step": 1358
+    },
+    {
+      "epoch": 1.4490666666666667,
+      "grad_norm": 0.5669221878051758,
+      "learning_rate": 2.8060041416020164e-06,
+      "loss": 0.5809,
+      "step": 1359
+    },
+    {
+      "epoch": 1.4501333333333333,
+      "grad_norm": 0.6101093888282776,
+      "learning_rate": 2.8031179949551408e-06,
+      "loss": 0.5787,
+      "step": 1360
+    },
+    {
+      "epoch": 1.4512,
+      "grad_norm": 0.6305686235427856,
+      "learning_rate": 2.800231438234253e-06,
+      "loss": 0.5854,
+      "step": 1361
+    },
+    {
+      "epoch": 1.4522666666666666,
+      "grad_norm": 0.5828922390937805,
+      "learning_rate": 2.7973444753444396e-06,
+      "loss": 0.5666,
+      "step": 1362
+    },
+    {
+      "epoch": 1.4533333333333334,
+      "grad_norm": 0.5642648935317993,
+      "learning_rate": 2.794457110191335e-06,
+      "loss": 0.5465,
+      "step": 1363
+    },
+    {
+      "epoch": 1.4544000000000001,
+      "grad_norm": 0.5725633502006531,
+      "learning_rate": 2.7915693466811204e-06,
+      "loss": 0.56,
+      "step": 1364
+    },
+    {
+      "epoch": 1.4554666666666667,
+      "grad_norm": 0.5330065488815308,
+      "learning_rate": 2.7886811887205146e-06,
+      "loss": 0.5079,
+      "step": 1365
+    },
+    {
+      "epoch": 1.4565333333333332,
+      "grad_norm": 0.5477259755134583,
+      "learning_rate": 2.7857926402167685e-06,
+      "loss": 0.4838,
+      "step": 1366
+    },
+    {
+      "epoch": 1.4576,
+      "grad_norm": 0.5837104320526123,
+      "learning_rate": 2.7829037050776643e-06,
+      "loss": 0.5621,
+      "step": 1367
+    },
+    {
+      "epoch": 1.4586666666666668,
+      "grad_norm": 0.5974380373954773,
+      "learning_rate": 2.780014387211505e-06,
+      "loss": 0.5783,
+      "step": 1368
+    },
+    {
+      "epoch": 1.4597333333333333,
+      "grad_norm": 0.6537115573883057,
+      "learning_rate": 2.777124690527112e-06,
+      "loss": 0.6369,
+      "step": 1369
+    },
+    {
+      "epoch": 1.4607999999999999,
+      "grad_norm": 0.6045864224433899,
+      "learning_rate": 2.774234618933821e-06,
+      "loss": 0.5734,
+      "step": 1370
+    },
+    {
+      "epoch": 1.4618666666666666,
+      "grad_norm": 0.5617974996566772,
+      "learning_rate": 2.771344176341472e-06,
+      "loss": 0.4951,
+      "step": 1371
+    },
+    {
+      "epoch": 1.4629333333333334,
+      "grad_norm": 0.5908352136611938,
+      "learning_rate": 2.768453366660408e-06,
+      "loss": 0.5441,
+      "step": 1372
+    },
+    {
+      "epoch": 1.464,
+      "grad_norm": 0.5348447561264038,
+      "learning_rate": 2.765562193801469e-06,
+      "loss": 0.5175,
+      "step": 1373
+    },
+    {
+      "epoch": 1.4650666666666667,
+      "grad_norm": 0.5878811478614807,
+      "learning_rate": 2.7626706616759874e-06,
+      "loss": 0.5889,
+      "step": 1374
+    },
+    {
+      "epoch": 1.4661333333333333,
+      "grad_norm": 0.5517585277557373,
+      "learning_rate": 2.7597787741957786e-06,
+      "loss": 0.5116,
+      "step": 1375
+    },
+    {
+      "epoch": 1.4672,
+      "grad_norm": 0.5685011744499207,
+      "learning_rate": 2.756886535273142e-06,
+      "loss": 0.5656,
+      "step": 1376
+    },
+    {
+      "epoch": 1.4682666666666666,
+      "grad_norm": 0.6189650893211365,
+      "learning_rate": 2.75399394882085e-06,
+      "loss": 0.6365,
+      "step": 1377
+    },
+    {
+      "epoch": 1.4693333333333334,
+      "grad_norm": 0.597507119178772,
+      "learning_rate": 2.7511010187521465e-06,
+      "loss": 0.5914,
+      "step": 1378
+    },
+    {
+      "epoch": 1.4704,
+      "grad_norm": 0.5608368515968323,
+      "learning_rate": 2.748207748980741e-06,
+      "loss": 0.585,
+      "step": 1379
+    },
+    {
+      "epoch": 1.4714666666666667,
+      "grad_norm": 0.6263598799705505,
+      "learning_rate": 2.7453141434207987e-06,
+      "loss": 0.5832,
+      "step": 1380
+    },
+    {
+      "epoch": 1.4725333333333332,
+      "grad_norm": 0.6032932996749878,
+      "learning_rate": 2.742420205986944e-06,
+      "loss": 0.6122,
+      "step": 1381
+    },
+    {
+      "epoch": 1.4736,
+      "grad_norm": 0.6083922386169434,
+      "learning_rate": 2.739525940594247e-06,
+      "loss": 0.5379,
+      "step": 1382
+    },
+    {
+      "epoch": 1.4746666666666668,
+      "grad_norm": 0.6012508869171143,
+      "learning_rate": 2.7366313511582233e-06,
+      "loss": 0.5463,
+      "step": 1383
+    },
+    {
+      "epoch": 1.4757333333333333,
+      "grad_norm": 0.622545063495636,
+      "learning_rate": 2.7337364415948265e-06,
+      "loss": 0.5225,
+      "step": 1384
+    },
+    {
+      "epoch": 1.4768,
+      "grad_norm": 0.6588039994239807,
+      "learning_rate": 2.7308412158204423e-06,
+      "loss": 0.6246,
+      "step": 1385
+    },
+    {
+      "epoch": 1.4778666666666667,
+      "grad_norm": 0.6048028469085693,
+      "learning_rate": 2.727945677751884e-06,
+      "loss": 0.5552,
+      "step": 1386
+    },
+    {
+      "epoch": 1.4789333333333334,
+      "grad_norm": 0.583180844783783,
+      "learning_rate": 2.7250498313063906e-06,
+      "loss": 0.5482,
+      "step": 1387
+    },
+    {
+      "epoch": 1.48,
+      "grad_norm": 0.6495665907859802,
+      "learning_rate": 2.722153680401615e-06,
+      "loss": 0.6283,
+      "step": 1388
+    },
+    {
+      "epoch": 1.4810666666666665,
+      "grad_norm": 0.6740365028381348,
+      "learning_rate": 2.7192572289556207e-06,
+      "loss": 0.6066,
+      "step": 1389
+    },
+    {
+      "epoch": 1.4821333333333333,
+      "grad_norm": 0.6036199331283569,
+      "learning_rate": 2.7163604808868826e-06,
+      "loss": 0.5584,
+      "step": 1390
+    },
+    {
+      "epoch": 1.4832,
+      "grad_norm": 0.5816176533699036,
+      "learning_rate": 2.7134634401142735e-06,
+      "loss": 0.6032,
+      "step": 1391
+    },
+    {
+      "epoch": 1.4842666666666666,
+      "grad_norm": 0.6142483353614807,
+      "learning_rate": 2.710566110557062e-06,
+      "loss": 0.555,
+      "step": 1392
+    },
+    {
+      "epoch": 1.4853333333333334,
+      "grad_norm": 0.5987225770950317,
+      "learning_rate": 2.7076684961349103e-06,
+      "loss": 0.5658,
+      "step": 1393
+    },
+    {
+      "epoch": 1.4864,
+      "grad_norm": 0.5604981780052185,
+      "learning_rate": 2.7047706007678633e-06,
+      "loss": 0.5524,
+      "step": 1394
+    },
+    {
+      "epoch": 1.4874666666666667,
+      "grad_norm": 0.5303362607955933,
+      "learning_rate": 2.7018724283763455e-06,
+      "loss": 0.5465,
+      "step": 1395
+    },
+    {
+      "epoch": 1.4885333333333333,
+      "grad_norm": 0.5550576448440552,
+      "learning_rate": 2.6989739828811584e-06,
+      "loss": 0.5554,
+      "step": 1396
+    },
+    {
+      "epoch": 1.4896,
+      "grad_norm": 0.5684102773666382,
+      "learning_rate": 2.6960752682034725e-06,
+      "loss": 0.5551,
+      "step": 1397
+    },
+    {
+      "epoch": 1.4906666666666666,
+      "grad_norm": 0.636640191078186,
+      "learning_rate": 2.6931762882648205e-06,
+      "loss": 0.5986,
+      "step": 1398
+    },
+    {
+      "epoch": 1.4917333333333334,
+      "grad_norm": 0.5733447074890137,
+      "learning_rate": 2.6902770469870965e-06,
+      "loss": 0.5677,
+      "step": 1399
+    },
+    {
+      "epoch": 1.4928,
+      "grad_norm": 0.5313457250595093,
+      "learning_rate": 2.6873775482925463e-06,
+      "loss": 0.5198,
+      "step": 1400
+    },
+    {
+      "epoch": 1.4938666666666667,
+      "grad_norm": 0.5723292827606201,
+      "learning_rate": 2.6844777961037656e-06,
+      "loss": 0.5526,
+      "step": 1401
+    },
+    {
+      "epoch": 1.4949333333333334,
+      "grad_norm": 0.561348557472229,
+      "learning_rate": 2.6815777943436917e-06,
+      "loss": 0.5332,
+      "step": 1402
+    },
+    {
+      "epoch": 1.496,
+      "grad_norm": 0.5647664070129395,
+      "learning_rate": 2.6786775469355995e-06,
+      "loss": 0.5747,
+      "step": 1403
+    },
+    {
+      "epoch": 1.4970666666666665,
+      "grad_norm": 0.5964372754096985,
+      "learning_rate": 2.675777057803097e-06,
+      "loss": 0.5414,
+      "step": 1404
+    },
+    {
+      "epoch": 1.4981333333333333,
+      "grad_norm": 0.5979411602020264,
+      "learning_rate": 2.672876330870118e-06,
+      "loss": 0.5653,
+      "step": 1405
+    },
+    {
+      "epoch": 1.4992,
+      "grad_norm": 0.5671616792678833,
+      "learning_rate": 2.669975370060921e-06,
+      "loss": 0.5783,
+      "step": 1406
+    },
+    {
+      "epoch": 1.5002666666666666,
+      "grad_norm": 0.6468378305435181,
+      "learning_rate": 2.667074179300077e-06,
+      "loss": 0.578,
+      "step": 1407
+    },
+    {
+      "epoch": 1.5013333333333332,
+      "grad_norm": 0.5652937889099121,
+      "learning_rate": 2.66417276251247e-06,
+      "loss": 0.5299,
+      "step": 1408
+    },
+    {
+      "epoch": 1.5024,
+      "grad_norm": 0.5694491863250732,
+      "learning_rate": 2.6612711236232915e-06,
+      "loss": 0.5261,
+      "step": 1409
+    },
+    {
+      "epoch": 1.5034666666666667,
+      "grad_norm": 0.6151190996170044,
+      "learning_rate": 2.658369266558029e-06,
+      "loss": 0.5699,
+      "step": 1410
+    },
+    {
+      "epoch": 1.5045333333333333,
+      "grad_norm": 0.6188161373138428,
+      "learning_rate": 2.6554671952424695e-06,
+      "loss": 0.5797,
+      "step": 1411
+    },
+    {
+      "epoch": 1.5056,
+      "grad_norm": 0.6171818971633911,
+      "learning_rate": 2.6525649136026876e-06,
+      "loss": 0.5979,
+      "step": 1412
+    },
+    {
+      "epoch": 1.5066666666666668,
+      "grad_norm": 0.6753449440002441,
+      "learning_rate": 2.649662425565043e-06,
+      "loss": 0.6719,
+      "step": 1413
+    },
+    {
+      "epoch": 1.5077333333333334,
+      "grad_norm": 0.5502130389213562,
+      "learning_rate": 2.6467597350561756e-06,
+      "loss": 0.5173,
+      "step": 1414
+    },
+    {
+      "epoch": 1.5088,
+      "grad_norm": 0.5752622485160828,
+      "learning_rate": 2.6438568460029965e-06,
+      "loss": 0.5525,
+      "step": 1415
+    },
+    {
+      "epoch": 1.5098666666666667,
+      "grad_norm": 0.5953404307365417,
+      "learning_rate": 2.6409537623326887e-06,
+      "loss": 0.5647,
+      "step": 1416
+    },
+    {
+      "epoch": 1.5109333333333335,
+      "grad_norm": 0.5768327713012695,
+      "learning_rate": 2.6380504879726965e-06,
+      "loss": 0.5207,
+      "step": 1417
+    },
+    {
+      "epoch": 1.512,
+      "grad_norm": 0.6140506267547607,
+      "learning_rate": 2.635147026850721e-06,
+      "loss": 0.5664,
+      "step": 1418
+    },
+    {
+      "epoch": 1.5130666666666666,
+      "grad_norm": 0.5980311632156372,
+      "learning_rate": 2.6322433828947196e-06,
+      "loss": 0.5344,
+      "step": 1419
+    },
+    {
+      "epoch": 1.5141333333333333,
+      "grad_norm": 0.5670979022979736,
+      "learning_rate": 2.629339560032895e-06,
+      "loss": 0.5424,
+      "step": 1420
+    },
+    {
+      "epoch": 1.5152,
+      "grad_norm": 0.5901089906692505,
+      "learning_rate": 2.6264355621936898e-06,
+      "loss": 0.5537,
+      "step": 1421
+    },
+    {
+      "epoch": 1.5162666666666667,
+      "grad_norm": 0.62852942943573,
+      "learning_rate": 2.6235313933057876e-06,
+      "loss": 0.5699,
+      "step": 1422
+    },
+    {
+      "epoch": 1.5173333333333332,
+      "grad_norm": 0.5507748126983643,
+      "learning_rate": 2.6206270572981007e-06,
+      "loss": 0.5258,
+      "step": 1423
+    },
+    {
+      "epoch": 1.5184,
+      "grad_norm": 0.5639006495475769,
+      "learning_rate": 2.617722558099768e-06,
+      "loss": 0.5339,
+      "step": 1424
+    },
+    {
+      "epoch": 1.5194666666666667,
+      "grad_norm": 0.6298571228981018,
+      "learning_rate": 2.614817899640149e-06,
+      "loss": 0.6025,
+      "step": 1425
+    },
+    {
+      "epoch": 1.5205333333333333,
+      "grad_norm": 0.630781888961792,
+      "learning_rate": 2.6119130858488188e-06,
+      "loss": 0.5554,
+      "step": 1426
+    },
+    {
+      "epoch": 1.5215999999999998,
+      "grad_norm": 0.626796543598175,
+      "learning_rate": 2.609008120655563e-06,
+      "loss": 0.5481,
+      "step": 1427
+    },
+    {
+      "epoch": 1.5226666666666666,
+      "grad_norm": 0.527982771396637,
+      "learning_rate": 2.606103007990371e-06,
+      "loss": 0.5081,
+      "step": 1428
+    },
+    {
+      "epoch": 1.5237333333333334,
+      "grad_norm": 0.5887176394462585,
+      "learning_rate": 2.6031977517834334e-06,
+      "loss": 0.5289,
+      "step": 1429
+    },
+    {
+      "epoch": 1.5248,
+      "grad_norm": 0.5766338109970093,
+      "learning_rate": 2.6002923559651337e-06,
+      "loss": 0.5627,
+      "step": 1430
+    },
+    {
+      "epoch": 1.5258666666666667,
+      "grad_norm": 0.5629610419273376,
+      "learning_rate": 2.597386824466046e-06,
+      "loss": 0.4782,
+      "step": 1431
+    },
+    {
+      "epoch": 1.5269333333333335,
+      "grad_norm": 0.6010608077049255,
+      "learning_rate": 2.594481161216924e-06,
+      "loss": 0.5652,
+      "step": 1432
+    },
+    {
+      "epoch": 1.528,
+      "grad_norm": 0.6217585206031799,
+      "learning_rate": 2.5915753701487035e-06,
+      "loss": 0.5635,
+      "step": 1433
+    },
+    {
+      "epoch": 1.5290666666666666,
+      "grad_norm": 0.5369071960449219,
+      "learning_rate": 2.5886694551924918e-06,
+      "loss": 0.4899,
+      "step": 1434
+    },
+    {
+      "epoch": 1.5301333333333333,
+      "grad_norm": 0.5586481690406799,
+      "learning_rate": 2.5857634202795647e-06,
+      "loss": 0.5422,
+      "step": 1435
+    },
+    {
+      "epoch": 1.5312000000000001,
+      "grad_norm": 0.5488178730010986,
+      "learning_rate": 2.582857269341358e-06,
+      "loss": 0.5127,
+      "step": 1436
+    },
+    {
+      "epoch": 1.5322666666666667,
+      "grad_norm": 0.542677104473114,
+      "learning_rate": 2.5799510063094667e-06,
+      "loss": 0.5194,
+      "step": 1437
+    },
+    {
+      "epoch": 1.5333333333333332,
+      "grad_norm": 0.5384035110473633,
+      "learning_rate": 2.5770446351156377e-06,
+      "loss": 0.5067,
+      "step": 1438
+    },
+    {
+      "epoch": 1.5344,
+      "grad_norm": 0.5888073444366455,
+      "learning_rate": 2.5741381596917626e-06,
+      "loss": 0.5154,
+      "step": 1439
+    },
+    {
+      "epoch": 1.5354666666666668,
+      "grad_norm": 0.565727949142456,
+      "learning_rate": 2.571231583969874e-06,
+      "loss": 0.5375,
+      "step": 1440
+    },
+    {
+      "epoch": 1.5365333333333333,
+      "grad_norm": 0.5694854259490967,
+      "learning_rate": 2.5683249118821406e-06,
+      "loss": 0.5312,
+      "step": 1441
+    },
+    {
+      "epoch": 1.5375999999999999,
+      "grad_norm": 0.6007062196731567,
+      "learning_rate": 2.565418147360863e-06,
+      "loss": 0.5393,
+      "step": 1442
+    },
+    {
+      "epoch": 1.5386666666666666,
+      "grad_norm": 0.6185889840126038,
+      "learning_rate": 2.562511294338465e-06,
+      "loss": 0.5779,
+      "step": 1443
+    },
+    {
+      "epoch": 1.5397333333333334,
+      "grad_norm": 0.5803970098495483,
+      "learning_rate": 2.5596043567474902e-06,
+      "loss": 0.5505,
+      "step": 1444
+    },
+    {
+      "epoch": 1.5408,
+      "grad_norm": 0.5489518642425537,
+      "learning_rate": 2.5566973385205986e-06,
+      "loss": 0.5049,
+      "step": 1445
+    },
+    {
+      "epoch": 1.5418666666666667,
+      "grad_norm": 0.5375267863273621,
+      "learning_rate": 2.553790243590556e-06,
+      "loss": 0.5543,
+      "step": 1446
+    },
+    {
+      "epoch": 1.5429333333333335,
+      "grad_norm": 0.5545782446861267,
+      "learning_rate": 2.5508830758902347e-06,
+      "loss": 0.5322,
+      "step": 1447
+    },
+    {
+      "epoch": 1.544,
+      "grad_norm": 0.5754210948944092,
+      "learning_rate": 2.5479758393526043e-06,
+      "loss": 0.5381,
+      "step": 1448
+    },
+    {
+      "epoch": 1.5450666666666666,
+      "grad_norm": 0.5682605504989624,
+      "learning_rate": 2.5450685379107282e-06,
+      "loss": 0.5625,
+      "step": 1449
+    },
+    {
+      "epoch": 1.5461333333333334,
+      "grad_norm": 0.5629562735557556,
+      "learning_rate": 2.542161175497756e-06,
+      "loss": 0.5745,
+      "step": 1450
+    },
+    {
+      "epoch": 1.5472000000000001,
+      "grad_norm": 0.5552952289581299,
+      "learning_rate": 2.539253756046922e-06,
+      "loss": 0.535,
+      "step": 1451
+    },
+    {
+      "epoch": 1.5482666666666667,
+      "grad_norm": 0.6384092569351196,
+      "learning_rate": 2.536346283491537e-06,
+      "loss": 0.5963,
+      "step": 1452
+    },
+    {
+      "epoch": 1.5493333333333332,
+      "grad_norm": 0.6080561280250549,
+      "learning_rate": 2.5334387617649818e-06,
+      "loss": 0.5594,
+      "step": 1453
+    },
+    {
+      "epoch": 1.5504,
+      "grad_norm": 0.6004402041435242,
+      "learning_rate": 2.5305311948007066e-06,
+      "loss": 0.5867,
+      "step": 1454
+    },
+    {
+      "epoch": 1.5514666666666668,
+      "grad_norm": 0.6241918802261353,
+      "learning_rate": 2.52762358653222e-06,
+      "loss": 0.6169,
+      "step": 1455
+    },
+    {
+      "epoch": 1.5525333333333333,
+      "grad_norm": 0.5842376351356506,
+      "learning_rate": 2.524715940893088e-06,
+      "loss": 0.5636,
+      "step": 1456
+    },
+    {
+      "epoch": 1.5535999999999999,
+      "grad_norm": 0.6381618976593018,
+      "learning_rate": 2.521808261816928e-06,
+      "loss": 0.5538,
+      "step": 1457
+    },
+    {
+      "epoch": 1.5546666666666666,
+      "grad_norm": 0.625495970249176,
+      "learning_rate": 2.5189005532374012e-06,
+      "loss": 0.5771,
+      "step": 1458
+    },
+    {
+      "epoch": 1.5557333333333334,
+      "grad_norm": 0.5967257022857666,
+      "learning_rate": 2.5159928190882088e-06,
+      "loss": 0.5942,
+      "step": 1459
+    },
+    {
+      "epoch": 1.5568,
+      "grad_norm": 0.612021803855896,
+      "learning_rate": 2.5130850633030873e-06,
+      "loss": 0.5271,
+      "step": 1460
+    },
+    {
+      "epoch": 1.5578666666666665,
+      "grad_norm": 0.5938337445259094,
+      "learning_rate": 2.5101772898158022e-06,
+      "loss": 0.5082,
+      "step": 1461
+    },
+    {
+      "epoch": 1.5589333333333333,
+      "grad_norm": 0.5558522939682007,
+      "learning_rate": 2.5072695025601423e-06,
+      "loss": 0.5294,
+      "step": 1462
+    },
+    {
+      "epoch": 1.56,
+      "grad_norm": 0.6162985563278198,
+      "learning_rate": 2.504361705469916e-06,
+      "loss": 0.6187,
+      "step": 1463
+    },
+    {
+      "epoch": 1.5610666666666666,
+      "grad_norm": 0.5782329440116882,
+      "learning_rate": 2.5014539024789446e-06,
+      "loss": 0.5533,
+      "step": 1464
+    },
+    {
+      "epoch": 1.5621333333333334,
+      "grad_norm": 0.5703573226928711,
+      "learning_rate": 2.4985460975210567e-06,
+      "loss": 0.5387,
+      "step": 1465
+    },
+    {
+      "epoch": 1.5632000000000001,
+      "grad_norm": 0.6725596785545349,
+      "learning_rate": 2.4956382945300843e-06,
+      "loss": 0.6073,
+      "step": 1466
+    },
+    {
+      "epoch": 1.5642666666666667,
+      "grad_norm": 0.6670015454292297,
+      "learning_rate": 2.4927304974398586e-06,
+      "loss": 0.5871,
+      "step": 1467
+    },
+    {
+      "epoch": 1.5653333333333332,
+      "grad_norm": 0.5434366464614868,
+      "learning_rate": 2.4898227101841986e-06,
+      "loss": 0.5338,
+      "step": 1468
+    },
+    {
+      "epoch": 1.5664,
+      "grad_norm": 0.6429566144943237,
+      "learning_rate": 2.4869149366969135e-06,
+      "loss": 0.5838,
+      "step": 1469
+    },
+    {
+      "epoch": 1.5674666666666668,
+      "grad_norm": 0.5906824469566345,
+      "learning_rate": 2.4840071809117916e-06,
+      "loss": 0.5331,
+      "step": 1470
+    },
+    {
+      "epoch": 1.5685333333333333,
+      "grad_norm": 0.623287558555603,
+      "learning_rate": 2.4810994467626e-06,
+      "loss": 0.606,
+      "step": 1471
+    },
+    {
+      "epoch": 1.5695999999999999,
+      "grad_norm": 0.6085667014122009,
+      "learning_rate": 2.4781917381830723e-06,
+      "loss": 0.5523,
+      "step": 1472
+    },
+    {
+      "epoch": 1.5706666666666667,
+      "grad_norm": 0.6562735438346863,
+      "learning_rate": 2.4752840591069126e-06,
+      "loss": 0.6112,
+      "step": 1473
+    },
+    {
+      "epoch": 1.5717333333333334,
+      "grad_norm": 0.5980086922645569,
+      "learning_rate": 2.472376413467781e-06,
+      "loss": 0.5555,
+      "step": 1474
+    },
+    {
+      "epoch": 1.5728,
+      "grad_norm": 0.5889531373977661,
+      "learning_rate": 2.469468805199294e-06,
+      "loss": 0.617,
+      "step": 1475
+    },
+    {
+      "epoch": 1.5738666666666665,
+      "grad_norm": 0.5733875036239624,
+      "learning_rate": 2.466561238235019e-06,
+      "loss": 0.5223,
+      "step": 1476
+    },
+    {
+      "epoch": 1.5749333333333333,
+      "grad_norm": 0.6267130970954895,
+      "learning_rate": 2.4636537165084633e-06,
+      "loss": 0.6074,
+      "step": 1477
+    },
+    {
+      "epoch": 1.576,
+      "grad_norm": 0.6109331846237183,
+      "learning_rate": 2.4607462439530782e-06,
+      "loss": 0.5412,
+      "step": 1478
+    },
+    {
+      "epoch": 1.5770666666666666,
+      "grad_norm": 0.605431854724884,
+      "learning_rate": 2.4578388245022438e-06,
+      "loss": 0.5341,
+      "step": 1479
+    },
+    {
+      "epoch": 1.5781333333333334,
+      "grad_norm": 0.6023809313774109,
+      "learning_rate": 2.4549314620892726e-06,
+      "loss": 0.5271,
+      "step": 1480
+    },
+    {
+      "epoch": 1.5792000000000002,
+      "grad_norm": 0.5738220810890198,
+      "learning_rate": 2.4520241606473957e-06,
+      "loss": 0.5314,
+      "step": 1481
+    },
+    {
+      "epoch": 1.5802666666666667,
+      "grad_norm": 0.5869870185852051,
+      "learning_rate": 2.449116924109766e-06,
+      "loss": 0.5681,
+      "step": 1482
+    },
+    {
+      "epoch": 1.5813333333333333,
+      "grad_norm": 0.558468759059906,
+      "learning_rate": 2.446209756409445e-06,
+      "loss": 0.5304,
+      "step": 1483
+    },
+    {
+      "epoch": 1.5824,
+      "grad_norm": 0.59517502784729,
+      "learning_rate": 2.443302661479403e-06,
+      "loss": 0.5392,
+      "step": 1484
+    },
+    {
+      "epoch": 1.5834666666666668,
+      "grad_norm": 0.5444238185882568,
+      "learning_rate": 2.44039564325251e-06,
+      "loss": 0.5085,
+      "step": 1485
+    },
+    {
+      "epoch": 1.5845333333333333,
+      "grad_norm": 0.6041073799133301,
+      "learning_rate": 2.4374887056615365e-06,
+      "loss": 0.5822,
+      "step": 1486
+    },
+    {
+      "epoch": 1.5856,
+      "grad_norm": 0.6188609600067139,
+      "learning_rate": 2.434581852639138e-06,
+      "loss": 0.549,
+      "step": 1487
+    },
+    {
+      "epoch": 1.5866666666666667,
+      "grad_norm": 0.6117807626724243,
+      "learning_rate": 2.4316750881178606e-06,
+      "loss": 0.5803,
+      "step": 1488
+    },
+    {
+      "epoch": 1.5877333333333334,
+      "grad_norm": 0.5755393505096436,
+      "learning_rate": 2.4287684160301274e-06,
+      "loss": 0.4977,
+      "step": 1489
+    },
+    {
+      "epoch": 1.5888,
+      "grad_norm": 0.6143332719802856,
+      "learning_rate": 2.4258618403082387e-06,
+      "loss": 0.5848,
+      "step": 1490
+    },
+    {
+      "epoch": 1.5898666666666665,
+      "grad_norm": 0.5907071232795715,
+      "learning_rate": 2.422955364884363e-06,
+      "loss": 0.5859,
+      "step": 1491
+    },
+    {
+      "epoch": 1.5909333333333333,
+      "grad_norm": 0.6694046258926392,
+      "learning_rate": 2.4200489936905337e-06,
+      "loss": 0.6358,
+      "step": 1492
+    },
+    {
+      "epoch": 1.592,
+      "grad_norm": 0.5815695524215698,
+      "learning_rate": 2.417142730658643e-06,
+      "loss": 0.5578,
+      "step": 1493
+    },
+    {
+      "epoch": 1.5930666666666666,
+      "grad_norm": 0.5996785163879395,
+      "learning_rate": 2.4142365797204357e-06,
+      "loss": 0.587,
+      "step": 1494
+    },
+    {
+      "epoch": 1.5941333333333332,
+      "grad_norm": 0.552546501159668,
+      "learning_rate": 2.4113305448075086e-06,
+      "loss": 0.5244,
+      "step": 1495
+    },
+    {
+      "epoch": 1.5952,
+      "grad_norm": 0.5738987922668457,
+      "learning_rate": 2.408424629851297e-06,
+      "loss": 0.5525,
+      "step": 1496
+    },
+    {
+      "epoch": 1.5962666666666667,
+      "grad_norm": 0.6112881302833557,
+      "learning_rate": 2.405518838783077e-06,
+      "loss": 0.6014,
+      "step": 1497
+    },
+    {
+      "epoch": 1.5973333333333333,
+      "grad_norm": 0.5724321007728577,
+      "learning_rate": 2.402613175533955e-06,
+      "loss": 0.572,
+      "step": 1498
+    },
+    {
+      "epoch": 1.5984,
+      "grad_norm": 0.6388633847236633,
+      "learning_rate": 2.3997076440348667e-06,
+      "loss": 0.6075,
+      "step": 1499
+    },
+    {
+      "epoch": 1.5994666666666668,
+      "grad_norm": 0.5861961841583252,
+      "learning_rate": 2.3968022482165666e-06,
+      "loss": 0.5114,
+      "step": 1500
+    },
+    {
+      "epoch": 1.6005333333333334,
+      "grad_norm": 0.6288614273071289,
+      "learning_rate": 2.39389699200963e-06,
+      "loss": 0.564,
+      "step": 1501
+    },
+    {
+      "epoch": 1.6016,
+      "grad_norm": 0.5873380303382874,
+      "learning_rate": 2.390991879344438e-06,
+      "loss": 0.5814,
+      "step": 1502
+    },
+    {
+      "epoch": 1.6026666666666667,
+      "grad_norm": 0.5955636501312256,
+      "learning_rate": 2.3880869141511825e-06,
+      "loss": 0.5838,
+      "step": 1503
+    },
+    {
+      "epoch": 1.6037333333333335,
+      "grad_norm": 0.5858679413795471,
+      "learning_rate": 2.3851821003598517e-06,
+      "loss": 0.5719,
+      "step": 1504
+    },
+    {
+      "epoch": 1.6048,
+      "grad_norm": 0.56053227186203,
+      "learning_rate": 2.3822774419002332e-06,
+      "loss": 0.4845,
+      "step": 1505
+    },
+    {
+      "epoch": 1.6058666666666666,
+      "grad_norm": 0.6437355279922485,
+      "learning_rate": 2.3793729427019e-06,
+      "loss": 0.625,
+      "step": 1506
+    },
+    {
+      "epoch": 1.6069333333333333,
+      "grad_norm": 0.5867210626602173,
+      "learning_rate": 2.3764686066942132e-06,
+      "loss": 0.5374,
+      "step": 1507
+    },
+    {
+      "epoch": 1.608,
+      "grad_norm": 0.573719322681427,
+      "learning_rate": 2.3735644378063107e-06,
+      "loss": 0.504,
+      "step": 1508
+    },
+    {
+      "epoch": 1.6090666666666666,
+      "grad_norm": 0.5808039903640747,
+      "learning_rate": 2.3706604399671064e-06,
+      "loss": 0.5358,
+      "step": 1509
+    },
+    {
+      "epoch": 1.6101333333333332,
+      "grad_norm": 0.6083292961120605,
+      "learning_rate": 2.3677566171052808e-06,
+      "loss": 0.5265,
+      "step": 1510
+    },
+    {
+      "epoch": 1.6112,
+      "grad_norm": 0.5882713794708252,
+      "learning_rate": 2.3648529731492785e-06,
+      "loss": 0.5532,
+      "step": 1511
+    },
+    {
+      "epoch": 1.6122666666666667,
+      "grad_norm": 0.6440022587776184,
+      "learning_rate": 2.3619495120273043e-06,
+      "loss": 0.5935,
+      "step": 1512
+    },
+    {
+      "epoch": 1.6133333333333333,
+      "grad_norm": 0.5920600295066833,
+      "learning_rate": 2.3590462376673113e-06,
+      "loss": 0.5721,
+      "step": 1513
+    },
+    {
+      "epoch": 1.6143999999999998,
+      "grad_norm": 0.6095946431159973,
+      "learning_rate": 2.356143153997004e-06,
+      "loss": 0.5104,
+      "step": 1514
+    },
+    {
+      "epoch": 1.6154666666666668,
+      "grad_norm": 0.6113899350166321,
+      "learning_rate": 2.353240264943825e-06,
+      "loss": 0.5479,
+      "step": 1515
+    },
+    {
+      "epoch": 1.6165333333333334,
+      "grad_norm": 0.5968347787857056,
+      "learning_rate": 2.3503375744349572e-06,
+      "loss": 0.51,
+      "step": 1516
+    },
+    {
+      "epoch": 1.6176,
+      "grad_norm": 0.6478811502456665,
+      "learning_rate": 2.3474350863973124e-06,
+      "loss": 0.5873,
+      "step": 1517
+    },
+    {
+      "epoch": 1.6186666666666667,
+      "grad_norm": 0.5636304020881653,
+      "learning_rate": 2.344532804757531e-06,
+      "loss": 0.544,
+      "step": 1518
+    },
+    {
+      "epoch": 1.6197333333333335,
+      "grad_norm": 0.6070194244384766,
+      "learning_rate": 2.341630733441971e-06,
+      "loss": 0.5963,
+      "step": 1519
+    },
+    {
+      "epoch": 1.6208,
+      "grad_norm": 0.585229754447937,
+      "learning_rate": 2.3387288763767097e-06,
+      "loss": 0.5309,
+      "step": 1520
+    },
+    {
+      "epoch": 1.6218666666666666,
+      "grad_norm": 0.6294019222259521,
+      "learning_rate": 2.3358272374875303e-06,
+      "loss": 0.5926,
+      "step": 1521
+    },
+    {
+      "epoch": 1.6229333333333333,
+      "grad_norm": 0.6481665372848511,
+      "learning_rate": 2.3329258206999243e-06,
+      "loss": 0.6008,
+      "step": 1522
+    },
+    {
+      "epoch": 1.624,
+      "grad_norm": 0.5666581392288208,
+      "learning_rate": 2.33002462993908e-06,
+      "loss": 0.5431,
+      "step": 1523
+    },
+    {
+      "epoch": 1.6250666666666667,
+      "grad_norm": 0.6154401898384094,
+      "learning_rate": 2.327123669129883e-06,
+      "loss": 0.6362,
+      "step": 1524
+    },
+    {
+      "epoch": 1.6261333333333332,
+      "grad_norm": 0.6251190304756165,
+      "learning_rate": 2.324222942196904e-06,
+      "loss": 0.5731,
+      "step": 1525
+    },
+    {
+      "epoch": 1.6272,
+      "grad_norm": 0.6081116795539856,
+      "learning_rate": 2.3213224530644018e-06,
+      "loss": 0.5826,
+      "step": 1526
+    },
+    {
+      "epoch": 1.6282666666666668,
+      "grad_norm": 0.5585058331489563,
+      "learning_rate": 2.318422205656309e-06,
+      "loss": 0.4776,
+      "step": 1527
+    },
+    {
+      "epoch": 1.6293333333333333,
+      "grad_norm": 0.5804232954978943,
+      "learning_rate": 2.3155222038962353e-06,
+      "loss": 0.5381,
+      "step": 1528
+    },
+    {
+      "epoch": 1.6303999999999998,
+      "grad_norm": 0.6176146268844604,
+      "learning_rate": 2.312622451707454e-06,
+      "loss": 0.6286,
+      "step": 1529
+    },
+    {
+      "epoch": 1.6314666666666666,
+      "grad_norm": 0.5866295099258423,
+      "learning_rate": 2.3097229530129035e-06,
+      "loss": 0.5495,
+      "step": 1530
+    },
+    {
+      "epoch": 1.6325333333333334,
+      "grad_norm": 0.6173415184020996,
+      "learning_rate": 2.3068237117351804e-06,
+      "loss": 0.5729,
+      "step": 1531
+    },
+    {
+      "epoch": 1.6336,
+      "grad_norm": 0.6096200942993164,
+      "learning_rate": 2.303924731796528e-06,
+      "loss": 0.554,
+      "step": 1532
+    },
+    {
+      "epoch": 1.6346666666666667,
+      "grad_norm": 0.5972051620483398,
+      "learning_rate": 2.301026017118842e-06,
+      "loss": 0.5715,
+      "step": 1533
+    },
+    {
+      "epoch": 1.6357333333333335,
+      "grad_norm": 0.5724682807922363,
+      "learning_rate": 2.298127571623655e-06,
+      "loss": 0.561,
+      "step": 1534
+    },
+    {
+      "epoch": 1.6368,
+      "grad_norm": 0.5236764550209045,
+      "learning_rate": 2.2952293992321375e-06,
+      "loss": 0.5126,
+      "step": 1535
+    },
+    {
+      "epoch": 1.6378666666666666,
+      "grad_norm": 0.5955392718315125,
+      "learning_rate": 2.29233150386509e-06,
+      "loss": 0.5749,
+      "step": 1536
+    },
+    {
+      "epoch": 1.6389333333333334,
+      "grad_norm": 0.5955274701118469,
+      "learning_rate": 2.2894338894429386e-06,
+      "loss": 0.5798,
+      "step": 1537
+    },
+    {
+      "epoch": 1.6400000000000001,
+      "grad_norm": 0.630774199962616,
+      "learning_rate": 2.2865365598857273e-06,
+      "loss": 0.5668,
+      "step": 1538
+    },
+    {
+      "epoch": 1.6410666666666667,
+      "grad_norm": 0.5916664600372314,
+      "learning_rate": 2.2836395191131186e-06,
+      "loss": 0.5589,
+      "step": 1539
+    },
+    {
+      "epoch": 1.6421333333333332,
+      "grad_norm": 0.6529306173324585,
+      "learning_rate": 2.2807427710443797e-06,
+      "loss": 0.5827,
+      "step": 1540
+    },
+    {
+      "epoch": 1.6432,
+      "grad_norm": 0.5903279185295105,
+      "learning_rate": 2.277846319598387e-06,
+      "loss": 0.5822,
+      "step": 1541
+    },
+    {
+      "epoch": 1.6442666666666668,
+      "grad_norm": 0.5168103575706482,
+      "learning_rate": 2.27495016869361e-06,
+      "loss": 0.487,
+      "step": 1542
+    },
+    {
+      "epoch": 1.6453333333333333,
+      "grad_norm": 0.6075484752655029,
+      "learning_rate": 2.272054322248116e-06,
+      "loss": 0.5914,
+      "step": 1543
+    },
+    {
+      "epoch": 1.6463999999999999,
+      "grad_norm": 0.5778329968452454,
+      "learning_rate": 2.2691587841795585e-06,
+      "loss": 0.5359,
+      "step": 1544
+    },
+    {
+      "epoch": 1.6474666666666666,
+      "grad_norm": 0.5688116550445557,
+      "learning_rate": 2.2662635584051748e-06,
+      "loss": 0.5628,
+      "step": 1545
+    },
+    {
+      "epoch": 1.6485333333333334,
+      "grad_norm": 0.5901572108268738,
+      "learning_rate": 2.263368648841777e-06,
+      "loss": 0.5779,
+      "step": 1546
+    },
+    {
+      "epoch": 1.6496,
+      "grad_norm": 0.5749793648719788,
+      "learning_rate": 2.260474059405754e-06,
+      "loss": 0.6267,
+      "step": 1547
+    },
+    {
+      "epoch": 1.6506666666666665,
+      "grad_norm": 0.6205683350563049,
+      "learning_rate": 2.257579794013057e-06,
+      "loss": 0.5193,
+      "step": 1548
+    },
+    {
+      "epoch": 1.6517333333333335,
+      "grad_norm": 0.6277090311050415,
+      "learning_rate": 2.254685856579202e-06,
+      "loss": 0.5645,
+      "step": 1549
+    },
+    {
+      "epoch": 1.6528,
+      "grad_norm": 0.5938338041305542,
+      "learning_rate": 2.2517922510192604e-06,
+      "loss": 0.5645,
+      "step": 1550
+    },
+    {
+      "epoch": 1.6538666666666666,
+      "grad_norm": 0.5444108843803406,
+      "learning_rate": 2.2488989812478535e-06,
+      "loss": 0.568,
+      "step": 1551
+    },
+    {
+      "epoch": 1.6549333333333334,
+      "grad_norm": 0.5699042677879333,
+      "learning_rate": 2.2460060511791506e-06,
+      "loss": 0.5546,
+      "step": 1552
+    },
+    {
+      "epoch": 1.6560000000000001,
+      "grad_norm": 0.6253505945205688,
+      "learning_rate": 2.243113464726858e-06,
+      "loss": 0.5508,
+      "step": 1553
+    },
+    {
+      "epoch": 1.6570666666666667,
+      "grad_norm": 0.5595110654830933,
+      "learning_rate": 2.2402212258042218e-06,
+      "loss": 0.5491,
+      "step": 1554
+    },
+    {
+      "epoch": 1.6581333333333332,
+      "grad_norm": 0.5147233009338379,
+      "learning_rate": 2.2373293383240126e-06,
+      "loss": 0.5529,
+      "step": 1555
+    },
+    {
+      "epoch": 1.6592,
+      "grad_norm": 0.5705822110176086,
+      "learning_rate": 2.2344378061985313e-06,
+      "loss": 0.5601,
+      "step": 1556
+    },
+    {
+      "epoch": 1.6602666666666668,
+      "grad_norm": 0.5533824563026428,
+      "learning_rate": 2.2315466333395927e-06,
+      "loss": 0.5223,
+      "step": 1557
+    },
+    {
+      "epoch": 1.6613333333333333,
+      "grad_norm": 0.5866848230361938,
+      "learning_rate": 2.228655823658529e-06,
+      "loss": 0.5752,
+      "step": 1558
+    },
+    {
+      "epoch": 1.6623999999999999,
+      "grad_norm": 0.5550838708877563,
+      "learning_rate": 2.2257653810661796e-06,
+      "loss": 0.5599,
+      "step": 1559
+    },
+    {
+      "epoch": 1.6634666666666666,
+      "grad_norm": 0.5565953254699707,
+      "learning_rate": 2.222875309472889e-06,
+      "loss": 0.535,
+      "step": 1560
+    },
+    {
+      "epoch": 1.6645333333333334,
+      "grad_norm": 0.5838174819946289,
+      "learning_rate": 2.219985612788496e-06,
+      "loss": 0.5599,
+      "step": 1561
+    },
+    {
+      "epoch": 1.6656,
+      "grad_norm": 0.5580055713653564,
+      "learning_rate": 2.217096294922337e-06,
+      "loss": 0.5753,
+      "step": 1562
+    },
+    {
+      "epoch": 1.6666666666666665,
+      "grad_norm": 0.5744698643684387,
+      "learning_rate": 2.214207359783232e-06,
+      "loss": 0.5895,
+      "step": 1563
+    },
+    {
+      "epoch": 1.6677333333333333,
+      "grad_norm": 0.596702516078949,
+      "learning_rate": 2.2113188112794866e-06,
+      "loss": 0.5496,
+      "step": 1564
+    },
+    {
+      "epoch": 1.6688,
+      "grad_norm": 0.5423305630683899,
+      "learning_rate": 2.20843065331888e-06,
+      "loss": 0.5191,
+      "step": 1565
+    },
+    {
+      "epoch": 1.6698666666666666,
+      "grad_norm": 0.588824450969696,
+      "learning_rate": 2.205542889808665e-06,
+      "loss": 0.5475,
+      "step": 1566
+    },
+    {
+      "epoch": 1.6709333333333334,
+      "grad_norm": 0.6162691712379456,
+      "learning_rate": 2.2026555246555613e-06,
+      "loss": 0.5537,
+      "step": 1567
+    },
+    {
+      "epoch": 1.6720000000000002,
+      "grad_norm": 0.6036542057991028,
+      "learning_rate": 2.199768561765747e-06,
+      "loss": 0.5487,
+      "step": 1568
+    },
+    {
+      "epoch": 1.6730666666666667,
+      "grad_norm": 0.5802077054977417,
+      "learning_rate": 2.1968820050448596e-06,
+      "loss": 0.5237,
+      "step": 1569
+    },
+    {
+      "epoch": 1.6741333333333333,
+      "grad_norm": 0.5785837173461914,
+      "learning_rate": 2.193995858397984e-06,
+      "loss": 0.5497,
+      "step": 1570
+    },
+    {
+      "epoch": 1.6752,
+      "grad_norm": 0.5940715074539185,
+      "learning_rate": 2.191110125729653e-06,
+      "loss": 0.5667,
+      "step": 1571
+    },
+    {
+      "epoch": 1.6762666666666668,
+      "grad_norm": 0.6194994449615479,
+      "learning_rate": 2.188224810943837e-06,
+      "loss": 0.513,
+      "step": 1572
+    },
+    {
+      "epoch": 1.6773333333333333,
+      "grad_norm": 0.5260475873947144,
+      "learning_rate": 2.1853399179439423e-06,
+      "loss": 0.4972,
+      "step": 1573
+    },
+    {
+      "epoch": 1.6784,
+      "grad_norm": 0.5759393572807312,
+      "learning_rate": 2.1824554506328033e-06,
+      "loss": 0.5446,
+      "step": 1574
+    },
+    {
+      "epoch": 1.6794666666666667,
+      "grad_norm": 0.5640266537666321,
+      "learning_rate": 2.1795714129126817e-06,
+      "loss": 0.5462,
+      "step": 1575
+    },
+    {
+      "epoch": 1.6805333333333334,
+      "grad_norm": 0.6233800649642944,
+      "learning_rate": 2.176687808685253e-06,
+      "loss": 0.5639,
+      "step": 1576
+    },
+    {
+      "epoch": 1.6816,
+      "grad_norm": 0.5555598735809326,
+      "learning_rate": 2.173804641851612e-06,
+      "loss": 0.5529,
+      "step": 1577
+    },
+    {
+      "epoch": 1.6826666666666665,
+      "grad_norm": 0.587116003036499,
+      "learning_rate": 2.1709219163122567e-06,
+      "loss": 0.5352,
+      "step": 1578
+    },
+    {
+      "epoch": 1.6837333333333333,
+      "grad_norm": 0.6128495931625366,
+      "learning_rate": 2.168039635967092e-06,
+      "loss": 0.5953,
+      "step": 1579
+    },
+    {
+      "epoch": 1.6848,
+      "grad_norm": 0.5667166709899902,
+      "learning_rate": 2.1651578047154174e-06,
+      "loss": 0.521,
+      "step": 1580
+    },
+    {
+      "epoch": 1.6858666666666666,
+      "grad_norm": 0.6210879683494568,
+      "learning_rate": 2.162276426455927e-06,
+      "loss": 0.6026,
+      "step": 1581
+    },
+    {
+      "epoch": 1.6869333333333332,
+      "grad_norm": 0.5297496914863586,
+      "learning_rate": 2.1593955050867003e-06,
+      "loss": 0.4871,
+      "step": 1582
+    },
+    {
+      "epoch": 1.688,
+      "grad_norm": 0.5662011504173279,
+      "learning_rate": 2.1565150445052017e-06,
+      "loss": 0.5339,
+      "step": 1583
+    },
+    {
+      "epoch": 1.6890666666666667,
+      "grad_norm": 0.5975602865219116,
+      "learning_rate": 2.1536350486082676e-06,
+      "loss": 0.5782,
+      "step": 1584
+    },
+    {
+      "epoch": 1.6901333333333333,
+      "grad_norm": 0.56111741065979,
+      "learning_rate": 2.1507555212921096e-06,
+      "loss": 0.5576,
+      "step": 1585
+    },
+    {
+      "epoch": 1.6912,
+      "grad_norm": 0.5528186559677124,
+      "learning_rate": 2.147876466452305e-06,
+      "loss": 0.5327,
+      "step": 1586
+    },
+    {
+      "epoch": 1.6922666666666668,
+      "grad_norm": 0.6013805866241455,
+      "learning_rate": 2.1449978879837905e-06,
+      "loss": 0.5531,
+      "step": 1587
+    },
+    {
+      "epoch": 1.6933333333333334,
+      "grad_norm": 0.5632591843605042,
+      "learning_rate": 2.142119789780859e-06,
+      "loss": 0.49,
+      "step": 1588
+    },
+    {
+      "epoch": 1.6944,
+      "grad_norm": 0.54252028465271,
+      "learning_rate": 2.1392421757371516e-06,
+      "loss": 0.4976,
+      "step": 1589
+    },
+    {
+      "epoch": 1.6954666666666667,
+      "grad_norm": 0.6163222789764404,
+      "learning_rate": 2.1363650497456594e-06,
+      "loss": 0.6014,
+      "step": 1590
+    },
+    {
+      "epoch": 1.6965333333333334,
+      "grad_norm": 0.6067668795585632,
+      "learning_rate": 2.1334884156987077e-06,
+      "loss": 0.5583,
+      "step": 1591
+    },
+    {
+      "epoch": 1.6976,
+      "grad_norm": 0.5589525103569031,
+      "learning_rate": 2.1306122774879616e-06,
+      "loss": 0.5328,
+      "step": 1592
+    },
+    {
+      "epoch": 1.6986666666666665,
+      "grad_norm": 0.5535843968391418,
+      "learning_rate": 2.1277366390044092e-06,
+      "loss": 0.5653,
+      "step": 1593
+    },
+    {
+      "epoch": 1.6997333333333333,
+      "grad_norm": 0.58413165807724,
+      "learning_rate": 2.1248615041383686e-06,
+      "loss": 0.5558,
+      "step": 1594
+    },
+    {
+      "epoch": 1.7008,
+      "grad_norm": 0.610386073589325,
+      "learning_rate": 2.1219868767794728e-06,
+      "loss": 0.6098,
+      "step": 1595
+    },
+    {
+      "epoch": 1.7018666666666666,
+      "grad_norm": 0.5764549374580383,
+      "learning_rate": 2.1191127608166697e-06,
+      "loss": 0.5681,
+      "step": 1596
+    },
+    {
+      "epoch": 1.7029333333333332,
+      "grad_norm": 0.5602437257766724,
+      "learning_rate": 2.1162391601382133e-06,
+      "loss": 0.5222,
+      "step": 1597
+    },
+    {
+      "epoch": 1.704,
+      "grad_norm": 0.5438634157180786,
+      "learning_rate": 2.113366078631665e-06,
+      "loss": 0.5212,
+      "step": 1598
+    },
+    {
+      "epoch": 1.7050666666666667,
+      "grad_norm": 0.6134042739868164,
+      "learning_rate": 2.1104935201838783e-06,
+      "loss": 0.5327,
+      "step": 1599
+    },
+    {
+      "epoch": 1.7061333333333333,
+      "grad_norm": 0.5315368175506592,
+      "learning_rate": 2.1076214886810043e-06,
+      "loss": 0.5293,
+      "step": 1600
+    },
+    {
+      "epoch": 1.7072,
+      "grad_norm": 0.6189311742782593,
+      "learning_rate": 2.1047499880084767e-06,
+      "loss": 0.6269,
+      "step": 1601
+    },
+    {
+      "epoch": 1.7082666666666668,
+      "grad_norm": 0.6537549495697021,
+      "learning_rate": 2.1018790220510143e-06,
+      "loss": 0.5708,
+      "step": 1602
+    },
+    {
+      "epoch": 1.7093333333333334,
+      "grad_norm": 0.6436859369277954,
+      "learning_rate": 2.0990085946926106e-06,
+      "loss": 0.6062,
+      "step": 1603
+    },
+    {
+      "epoch": 1.7104,
+      "grad_norm": 0.6070958375930786,
+      "learning_rate": 2.0961387098165307e-06,
+      "loss": 0.5983,
+      "step": 1604
+    },
+    {
+      "epoch": 1.7114666666666667,
+      "grad_norm": 0.5917964577674866,
+      "learning_rate": 2.0932693713053083e-06,
+      "loss": 0.5728,
+      "step": 1605
+    },
+    {
+      "epoch": 1.7125333333333335,
+      "grad_norm": 0.5708195567131042,
+      "learning_rate": 2.090400583040733e-06,
+      "loss": 0.5575,
+      "step": 1606
+    },
+    {
+      "epoch": 1.7136,
+      "grad_norm": 0.5541338324546814,
+      "learning_rate": 2.087532348903856e-06,
+      "loss": 0.5596,
+      "step": 1607
+    },
+    {
+      "epoch": 1.7146666666666666,
+      "grad_norm": 0.5562179684638977,
+      "learning_rate": 2.0846646727749723e-06,
+      "loss": 0.5212,
+      "step": 1608
+    },
+    {
+      "epoch": 1.7157333333333333,
+      "grad_norm": 0.5486186742782593,
+      "learning_rate": 2.081797558533629e-06,
+      "loss": 0.5481,
+      "step": 1609
+    },
+    {
+      "epoch": 1.7168,
+      "grad_norm": 0.6275199055671692,
+      "learning_rate": 2.0789310100586072e-06,
+      "loss": 0.5627,
+      "step": 1610
+    },
+    {
+      "epoch": 1.7178666666666667,
+      "grad_norm": 0.598376989364624,
+      "learning_rate": 2.0760650312279258e-06,
+      "loss": 0.5565,
+      "step": 1611
+    },
+    {
+      "epoch": 1.7189333333333332,
+      "grad_norm": 0.6304999589920044,
+      "learning_rate": 2.07319962591883e-06,
+      "loss": 0.5653,
+      "step": 1612
+    },
+    {
+      "epoch": 1.72,
+      "grad_norm": 0.6116060614585876,
+      "learning_rate": 2.070334798007795e-06,
+      "loss": 0.5139,
+      "step": 1613
+    },
+    {
+      "epoch": 1.7210666666666667,
+      "grad_norm": 0.6468369364738464,
+      "learning_rate": 2.067470551370508e-06,
+      "loss": 0.5809,
+      "step": 1614
+    },
+    {
+      "epoch": 1.7221333333333333,
+      "grad_norm": 0.5918450355529785,
+      "learning_rate": 2.064606889881875e-06,
+      "loss": 0.5498,
+      "step": 1615
+    },
+    {
+      "epoch": 1.7231999999999998,
+      "grad_norm": 0.6250776648521423,
+      "learning_rate": 2.0617438174160055e-06,
+      "loss": 0.5768,
+      "step": 1616
+    },
+    {
+      "epoch": 1.7242666666666666,
+      "grad_norm": 0.6208653450012207,
+      "learning_rate": 2.0588813378462184e-06,
+      "loss": 0.5406,
+      "step": 1617
+    },
+    {
+      "epoch": 1.7253333333333334,
+      "grad_norm": 0.698184609413147,
+      "learning_rate": 2.056019455045025e-06,
+      "loss": 0.5264,
+      "step": 1618
+    },
+    {
+      "epoch": 1.7264,
+      "grad_norm": 0.568439245223999,
+      "learning_rate": 2.0531581728841325e-06,
+      "loss": 0.498,
+      "step": 1619
+    },
+    {
+      "epoch": 1.7274666666666667,
+      "grad_norm": 0.605999767780304,
+      "learning_rate": 2.0502974952344325e-06,
+      "loss": 0.5633,
+      "step": 1620
+    },
+    {
+      "epoch": 1.7285333333333335,
+      "grad_norm": 0.6371756196022034,
+      "learning_rate": 2.047437425966001e-06,
+      "loss": 0.6079,
+      "step": 1621
+    },
+    {
+      "epoch": 1.7296,
+      "grad_norm": 0.6485066413879395,
+      "learning_rate": 2.0445779689480933e-06,
+      "loss": 0.5817,
+      "step": 1622
+    },
+    {
+      "epoch": 1.7306666666666666,
+      "grad_norm": 0.6326406598091125,
+      "learning_rate": 2.0417191280491307e-06,
+      "loss": 0.5696,
+      "step": 1623
+    },
+    {
+      "epoch": 1.7317333333333333,
+      "grad_norm": 0.6030905842781067,
+      "learning_rate": 2.038860907136705e-06,
+      "loss": 0.5922,
+      "step": 1624
+    },
+    {
+      "epoch": 1.7328000000000001,
+      "grad_norm": 0.6086179614067078,
+      "learning_rate": 2.036003310077568e-06,
+      "loss": 0.5335,
+      "step": 1625
+    },
+    {
+      "epoch": 1.7338666666666667,
+      "grad_norm": 0.6221082806587219,
+      "learning_rate": 2.0331463407376285e-06,
+      "loss": 0.5841,
+      "step": 1626
+    },
+    {
+      "epoch": 1.7349333333333332,
+      "grad_norm": 0.5252853631973267,
+      "learning_rate": 2.030290002981944e-06,
+      "loss": 0.4904,
+      "step": 1627
+    },
+    {
+      "epoch": 1.736,
+      "grad_norm": 0.5745863914489746,
+      "learning_rate": 2.0274343006747204e-06,
+      "loss": 0.5198,
+      "step": 1628
+    },
+    {
+      "epoch": 1.7370666666666668,
+      "grad_norm": 0.6417500376701355,
+      "learning_rate": 2.0245792376793e-06,
+      "loss": 0.5329,
+      "step": 1629
+    },
+    {
+      "epoch": 1.7381333333333333,
+      "grad_norm": 0.6605126857757568,
+      "learning_rate": 2.021724817858166e-06,
+      "loss": 0.5759,
+      "step": 1630
+    },
+    {
+      "epoch": 1.7391999999999999,
+      "grad_norm": 0.5531045198440552,
+      "learning_rate": 2.0188710450729255e-06,
+      "loss": 0.5173,
+      "step": 1631
+    },
+    {
+      "epoch": 1.7402666666666666,
+      "grad_norm": 0.5425867438316345,
+      "learning_rate": 2.0160179231843137e-06,
+      "loss": 0.549,
+      "step": 1632
+    },
+    {
+      "epoch": 1.7413333333333334,
+      "grad_norm": 0.5674037337303162,
+      "learning_rate": 2.0131654560521845e-06,
+      "loss": 0.5354,
+      "step": 1633
+    },
+    {
+      "epoch": 1.7424,
+      "grad_norm": 0.6070069074630737,
+      "learning_rate": 2.010313647535506e-06,
+      "loss": 0.5754,
+      "step": 1634
+    },
+    {
+      "epoch": 1.7434666666666667,
+      "grad_norm": 0.5280061364173889,
+      "learning_rate": 2.007462501492354e-06,
+      "loss": 0.5004,
+      "step": 1635
+    },
+    {
+      "epoch": 1.7445333333333335,
+      "grad_norm": 0.5902109742164612,
+      "learning_rate": 2.0046120217799112e-06,
+      "loss": 0.5976,
+      "step": 1636
+    },
+    {
+      "epoch": 1.7456,
+      "grad_norm": 0.5465067625045776,
+      "learning_rate": 2.001762212254455e-06,
+      "loss": 0.526,
+      "step": 1637
+    },
+    {
+      "epoch": 1.7466666666666666,
+      "grad_norm": 0.5972843170166016,
+      "learning_rate": 1.99891307677136e-06,
+      "loss": 0.5517,
+      "step": 1638
+    },
+    {
+      "epoch": 1.7477333333333334,
+      "grad_norm": 0.5676629543304443,
+      "learning_rate": 1.9960646191850855e-06,
+      "loss": 0.5114,
+      "step": 1639
+    },
+    {
+      "epoch": 1.7488000000000001,
+      "grad_norm": 0.5720435976982117,
+      "learning_rate": 1.993216843349175e-06,
+      "loss": 0.5975,
+      "step": 1640
+    },
+    {
+      "epoch": 1.7498666666666667,
+      "grad_norm": 0.5782079100608826,
+      "learning_rate": 1.9903697531162514e-06,
+      "loss": 0.6049,
+      "step": 1641
+    },
+    {
+      "epoch": 1.7509333333333332,
+      "grad_norm": 0.599057674407959,
+      "learning_rate": 1.987523352338007e-06,
+      "loss": 0.5477,
+      "step": 1642
+    },
+    {
+      "epoch": 1.752,
+      "grad_norm": 0.6098547577857971,
+      "learning_rate": 1.9846776448652035e-06,
+      "loss": 0.585,
+      "step": 1643
+    },
+    {
+      "epoch": 1.7530666666666668,
+      "grad_norm": 0.5915402173995972,
+      "learning_rate": 1.981832634547664e-06,
+      "loss": 0.5712,
+      "step": 1644
+    },
+    {
+      "epoch": 1.7541333333333333,
+      "grad_norm": 0.6109204292297363,
+      "learning_rate": 1.9789883252342693e-06,
+      "loss": 0.6344,
+      "step": 1645
+    },
+    {
+      "epoch": 1.7551999999999999,
+      "grad_norm": 0.5946940779685974,
+      "learning_rate": 1.97614472077295e-06,
+      "loss": 0.5864,
+      "step": 1646
+    },
+    {
+      "epoch": 1.7562666666666666,
+      "grad_norm": 0.5739620923995972,
+      "learning_rate": 1.973301825010685e-06,
+      "loss": 0.619,
+      "step": 1647
+    },
+    {
+      "epoch": 1.7573333333333334,
+      "grad_norm": 0.5794653296470642,
+      "learning_rate": 1.9704596417934925e-06,
+      "loss": 0.5708,
+      "step": 1648
+    },
+    {
+      "epoch": 1.7584,
+      "grad_norm": 0.5760328769683838,
+      "learning_rate": 1.967618174966429e-06,
+      "loss": 0.5834,
+      "step": 1649
+    },
+    {
+      "epoch": 1.7594666666666665,
+      "grad_norm": 0.6612114310264587,
+      "learning_rate": 1.9647774283735797e-06,
+      "loss": 0.5478,
+      "step": 1650
+    },
+    {
+      "epoch": 1.7605333333333333,
+      "grad_norm": 0.5697236061096191,
+      "learning_rate": 1.961937405858058e-06,
+      "loss": 0.5463,
+      "step": 1651
+    },
+    {
+      "epoch": 1.7616,
+      "grad_norm": 0.6125072836875916,
+      "learning_rate": 1.9590981112619945e-06,
+      "loss": 0.554,
+      "step": 1652
+    },
+    {
+      "epoch": 1.7626666666666666,
+      "grad_norm": 0.6136943101882935,
+      "learning_rate": 1.9562595484265383e-06,
+      "loss": 0.5581,
+      "step": 1653
+    },
+    {
+      "epoch": 1.7637333333333334,
+      "grad_norm": 0.6308527588844299,
+      "learning_rate": 1.9534217211918455e-06,
+      "loss": 0.5899,
+      "step": 1654
+    },
+    {
+      "epoch": 1.7648000000000001,
+      "grad_norm": 0.578942596912384,
+      "learning_rate": 1.950584633397079e-06,
+      "loss": 0.5444,
+      "step": 1655
+    },
+    {
+      "epoch": 1.7658666666666667,
+      "grad_norm": 0.5360605716705322,
+      "learning_rate": 1.947748288880401e-06,
+      "loss": 0.4873,
+      "step": 1656
+    },
+    {
+      "epoch": 1.7669333333333332,
+      "grad_norm": 0.5238365530967712,
+      "learning_rate": 1.9449126914789677e-06,
+      "loss": 0.5152,
+      "step": 1657
+    },
+    {
+      "epoch": 1.768,
+      "grad_norm": 0.5766008496284485,
+      "learning_rate": 1.9420778450289245e-06,
+      "loss": 0.5743,
+      "step": 1658
+    },
+    {
+      "epoch": 1.7690666666666668,
+      "grad_norm": 0.5634192824363708,
+      "learning_rate": 1.9392437533654018e-06,
+      "loss": 0.5278,
+      "step": 1659
+    },
+    {
+      "epoch": 1.7701333333333333,
+      "grad_norm": 0.5427104234695435,
+      "learning_rate": 1.9364104203225085e-06,
+      "loss": 0.5223,
+      "step": 1660
+    },
+    {
+      "epoch": 1.7711999999999999,
+      "grad_norm": 0.6028302907943726,
+      "learning_rate": 1.9335778497333264e-06,
+      "loss": 0.6028,
+      "step": 1661
+    },
+    {
+      "epoch": 1.7722666666666667,
+      "grad_norm": 0.6239231824874878,
+      "learning_rate": 1.930746045429908e-06,
+      "loss": 0.5756,
+      "step": 1662
+    },
+    {
+      "epoch": 1.7733333333333334,
+      "grad_norm": 0.5647031664848328,
+      "learning_rate": 1.927915011243264e-06,
+      "loss": 0.5395,
+      "step": 1663
+    },
+    {
+      "epoch": 1.7744,
+      "grad_norm": 0.5507516860961914,
+      "learning_rate": 1.9250847510033706e-06,
+      "loss": 0.5349,
+      "step": 1664
+    },
+    {
+      "epoch": 1.7754666666666665,
+      "grad_norm": 0.5937464833259583,
+      "learning_rate": 1.9222552685391498e-06,
+      "loss": 0.5386,
+      "step": 1665
+    },
+    {
+      "epoch": 1.7765333333333333,
+      "grad_norm": 0.5240331888198853,
+      "learning_rate": 1.919426567678478e-06,
+      "loss": 0.4903,
+      "step": 1666
+    },
+    {
+      "epoch": 1.7776,
+      "grad_norm": 0.5823207497596741,
+      "learning_rate": 1.916598652248168e-06,
+      "loss": 0.5433,
+      "step": 1667
+    },
+    {
+      "epoch": 1.7786666666666666,
+      "grad_norm": 0.6004706025123596,
+      "learning_rate": 1.913771526073976e-06,
+      "loss": 0.6122,
+      "step": 1668
+    },
+    {
+      "epoch": 1.7797333333333332,
+      "grad_norm": 0.6217394471168518,
+      "learning_rate": 1.910945192980585e-06,
+      "loss": 0.605,
+      "step": 1669
+    },
+    {
+      "epoch": 1.7808000000000002,
+      "grad_norm": 0.5175200700759888,
+      "learning_rate": 1.9081196567916083e-06,
+      "loss": 0.5168,
+      "step": 1670
+    },
+    {
+      "epoch": 1.7818666666666667,
+      "grad_norm": 0.5864924788475037,
+      "learning_rate": 1.9052949213295796e-06,
+      "loss": 0.559,
+      "step": 1671
+    },
+    {
+      "epoch": 1.7829333333333333,
+      "grad_norm": 0.5183194279670715,
+      "learning_rate": 1.9024709904159516e-06,
+      "loss": 0.4892,
+      "step": 1672
+    },
+    {
+      "epoch": 1.784,
+      "grad_norm": 0.5278530120849609,
+      "learning_rate": 1.899647867871085e-06,
+      "loss": 0.5124,
+      "step": 1673
+    },
+    {
+      "epoch": 1.7850666666666668,
+      "grad_norm": 0.6240493655204773,
+      "learning_rate": 1.8968255575142507e-06,
+      "loss": 0.5624,
+      "step": 1674
+    },
+    {
+      "epoch": 1.7861333333333334,
+      "grad_norm": 0.6313085556030273,
+      "learning_rate": 1.8940040631636176e-06,
+      "loss": 0.6624,
+      "step": 1675
+    },
+    {
+      "epoch": 1.7872,
+      "grad_norm": 0.5554013848304749,
+      "learning_rate": 1.891183388636253e-06,
+      "loss": 0.5386,
+      "step": 1676
+    },
+    {
+      "epoch": 1.7882666666666667,
+      "grad_norm": 0.5133564472198486,
+      "learning_rate": 1.8883635377481147e-06,
+      "loss": 0.5237,
+      "step": 1677
+    },
+    {
+      "epoch": 1.7893333333333334,
+      "grad_norm": 0.543805718421936,
+      "learning_rate": 1.8855445143140435e-06,
+      "loss": 0.563,
+      "step": 1678
+    },
+    {
+      "epoch": 1.7904,
+      "grad_norm": 0.6283137798309326,
+      "learning_rate": 1.882726322147766e-06,
+      "loss": 0.6157,
+      "step": 1679
+    },
+    {
+      "epoch": 1.7914666666666665,
+      "grad_norm": 0.5701860785484314,
+      "learning_rate": 1.879908965061878e-06,
+      "loss": 0.5743,
+      "step": 1680
+    },
+    {
+      "epoch": 1.7925333333333333,
+      "grad_norm": 0.6190077066421509,
+      "learning_rate": 1.8770924468678519e-06,
+      "loss": 0.6224,
+      "step": 1681
+    },
+    {
+      "epoch": 1.7936,
+      "grad_norm": 0.5609646439552307,
+      "learning_rate": 1.8742767713760196e-06,
+      "loss": 0.5285,
+      "step": 1682
+    },
+    {
+      "epoch": 1.7946666666666666,
+      "grad_norm": 0.6458594799041748,
+      "learning_rate": 1.8714619423955777e-06,
+      "loss": 0.5939,
+      "step": 1683
+    },
+    {
+      "epoch": 1.7957333333333332,
+      "grad_norm": 0.5634021162986755,
+      "learning_rate": 1.868647963734573e-06,
+      "loss": 0.5553,
+      "step": 1684
+    },
+    {
+      "epoch": 1.7968,
+      "grad_norm": 0.5371116399765015,
+      "learning_rate": 1.8658348391999062e-06,
+      "loss": 0.5777,
+      "step": 1685
+    },
+    {
+      "epoch": 1.7978666666666667,
+      "grad_norm": 0.5373111367225647,
+      "learning_rate": 1.8630225725973182e-06,
+      "loss": 0.5,
+      "step": 1686
+    },
+    {
+      "epoch": 1.7989333333333333,
+      "grad_norm": 0.5287656188011169,
+      "learning_rate": 1.8602111677313947e-06,
+      "loss": 0.5062,
+      "step": 1687
+    },
+    {
+      "epoch": 1.8,
+      "grad_norm": 0.5996980667114258,
+      "learning_rate": 1.8574006284055496e-06,
+      "loss": 0.577,
+      "step": 1688
+    },
+    {
+      "epoch": 1.8010666666666668,
+      "grad_norm": 0.4899791181087494,
+      "learning_rate": 1.8545909584220312e-06,
+      "loss": 0.5028,
+      "step": 1689
+    },
+    {
+      "epoch": 1.8021333333333334,
+      "grad_norm": 0.5770726203918457,
+      "learning_rate": 1.8517821615819067e-06,
+      "loss": 0.5543,
+      "step": 1690
+    },
+    {
+      "epoch": 1.8032,
+      "grad_norm": 0.5755534172058105,
+      "learning_rate": 1.8489742416850676e-06,
+      "loss": 0.5778,
+      "step": 1691
+    },
+    {
+      "epoch": 1.8042666666666667,
+      "grad_norm": 0.6012746095657349,
+      "learning_rate": 1.8461672025302134e-06,
+      "loss": 0.6244,
+      "step": 1692
+    },
+    {
+      "epoch": 1.8053333333333335,
+      "grad_norm": 0.5997793078422546,
+      "learning_rate": 1.8433610479148566e-06,
+      "loss": 0.5376,
+      "step": 1693
+    },
+    {
+      "epoch": 1.8064,
+      "grad_norm": 0.5796613097190857,
+      "learning_rate": 1.8405557816353092e-06,
+      "loss": 0.5341,
+      "step": 1694
+    },
+    {
+      "epoch": 1.8074666666666666,
+      "grad_norm": 0.6183069944381714,
+      "learning_rate": 1.8377514074866848e-06,
+      "loss": 0.5611,
+      "step": 1695
+    },
+    {
+      "epoch": 1.8085333333333333,
+      "grad_norm": 0.5579950213432312,
+      "learning_rate": 1.834947929262889e-06,
+      "loss": 0.4865,
+      "step": 1696
+    },
+    {
+      "epoch": 1.8096,
+      "grad_norm": 0.5725162625312805,
+      "learning_rate": 1.8321453507566145e-06,
+      "loss": 0.562,
+      "step": 1697
+    },
+    {
+      "epoch": 1.8106666666666666,
+      "grad_norm": 0.5687267780303955,
+      "learning_rate": 1.829343675759337e-06,
+      "loss": 0.5491,
+      "step": 1698
+    },
+    {
+      "epoch": 1.8117333333333332,
+      "grad_norm": 0.6462470889091492,
+      "learning_rate": 1.8265429080613106e-06,
+      "loss": 0.5713,
+      "step": 1699
+    },
+    {
+      "epoch": 1.8128,
+      "grad_norm": 0.6535474061965942,
+      "learning_rate": 1.823743051451562e-06,
+      "loss": 0.5939,
+      "step": 1700
+    },
+    {
+      "epoch": 1.8138666666666667,
+      "grad_norm": 0.5572129487991333,
+      "learning_rate": 1.8209441097178831e-06,
+      "loss": 0.5283,
+      "step": 1701
+    },
+    {
+      "epoch": 1.8149333333333333,
+      "grad_norm": 0.5714105367660522,
+      "learning_rate": 1.8181460866468326e-06,
+      "loss": 0.5132,
+      "step": 1702
+    },
+    {
+      "epoch": 1.8159999999999998,
+      "grad_norm": 0.6136705279350281,
+      "learning_rate": 1.8153489860237212e-06,
+      "loss": 0.566,
+      "step": 1703
+    },
+    {
+      "epoch": 1.8170666666666668,
+      "grad_norm": 0.5756381750106812,
+      "learning_rate": 1.8125528116326163e-06,
+      "loss": 0.52,
+      "step": 1704
+    },
+    {
+      "epoch": 1.8181333333333334,
+      "grad_norm": 0.566407322883606,
+      "learning_rate": 1.8097575672563278e-06,
+      "loss": 0.5443,
+      "step": 1705
+    },
+    {
+      "epoch": 1.8192,
+      "grad_norm": 0.6058952808380127,
+      "learning_rate": 1.8069632566764123e-06,
+      "loss": 0.5821,
+      "step": 1706
+    },
+    {
+      "epoch": 1.8202666666666667,
+      "grad_norm": 0.5795944929122925,
+      "learning_rate": 1.8041698836731586e-06,
+      "loss": 0.5441,
+      "step": 1707
+    },
+    {
+      "epoch": 1.8213333333333335,
+      "grad_norm": 0.6884957551956177,
+      "learning_rate": 1.8013774520255903e-06,
+      "loss": 0.6549,
+      "step": 1708
+    },
+    {
+      "epoch": 1.8224,
+      "grad_norm": 0.5669118165969849,
+      "learning_rate": 1.7985859655114546e-06,
+      "loss": 0.5246,
+      "step": 1709
+    },
+    {
+      "epoch": 1.8234666666666666,
+      "grad_norm": 0.534381091594696,
+      "learning_rate": 1.7957954279072238e-06,
+      "loss": 0.497,
+      "step": 1710
+    },
+    {
+      "epoch": 1.8245333333333333,
+      "grad_norm": 0.6085880994796753,
+      "learning_rate": 1.793005842988082e-06,
+      "loss": 0.5809,
+      "step": 1711
+    },
+    {
+      "epoch": 1.8256000000000001,
+      "grad_norm": 0.5540530681610107,
+      "learning_rate": 1.7902172145279296e-06,
+      "loss": 0.5483,
+      "step": 1712
+    },
+    {
+      "epoch": 1.8266666666666667,
+      "grad_norm": 0.5336449146270752,
+      "learning_rate": 1.7874295462993673e-06,
+      "loss": 0.5448,
+      "step": 1713
+    },
+    {
+      "epoch": 1.8277333333333332,
+      "grad_norm": 0.6006146669387817,
+      "learning_rate": 1.7846428420737023e-06,
+      "loss": 0.5289,
+      "step": 1714
+    },
+    {
+      "epoch": 1.8288,
+      "grad_norm": 0.6028801202774048,
+      "learning_rate": 1.7818571056209342e-06,
+      "loss": 0.5872,
+      "step": 1715
+    },
+    {
+      "epoch": 1.8298666666666668,
+      "grad_norm": 0.6096197962760925,
+      "learning_rate": 1.7790723407097527e-06,
+      "loss": 0.5822,
+      "step": 1716
+    },
+    {
+      "epoch": 1.8309333333333333,
+      "grad_norm": 0.5700444579124451,
+      "learning_rate": 1.7762885511075373e-06,
+      "loss": 0.5202,
+      "step": 1717
+    },
+    {
+      "epoch": 1.8319999999999999,
+      "grad_norm": 0.5754455924034119,
+      "learning_rate": 1.773505740580343e-06,
+      "loss": 0.5495,
+      "step": 1718
+    },
+    {
+      "epoch": 1.8330666666666666,
+      "grad_norm": 0.6039101481437683,
+      "learning_rate": 1.7707239128929048e-06,
+      "loss": 0.5756,
+      "step": 1719
+    },
+    {
+      "epoch": 1.8341333333333334,
+      "grad_norm": 0.5833544731140137,
+      "learning_rate": 1.7679430718086244e-06,
+      "loss": 0.5777,
+      "step": 1720
+    },
+    {
+      "epoch": 1.8352,
+      "grad_norm": 0.5887574553489685,
+      "learning_rate": 1.765163221089571e-06,
+      "loss": 0.6274,
+      "step": 1721
+    },
+    {
+      "epoch": 1.8362666666666667,
+      "grad_norm": 0.6357359886169434,
+      "learning_rate": 1.7623843644964721e-06,
+      "loss": 0.6465,
+      "step": 1722
+    },
+    {
+      "epoch": 1.8373333333333335,
+      "grad_norm": 0.5766712427139282,
+      "learning_rate": 1.7596065057887141e-06,
+      "loss": 0.5882,
+      "step": 1723
+    },
+    {
+      "epoch": 1.8384,
+      "grad_norm": 0.5557194352149963,
+      "learning_rate": 1.7568296487243276e-06,
+      "loss": 0.5472,
+      "step": 1724
+    },
+    {
+      "epoch": 1.8394666666666666,
+      "grad_norm": 0.6292763352394104,
+      "learning_rate": 1.7540537970599935e-06,
+      "loss": 0.5948,
+      "step": 1725
+    },
+    {
+      "epoch": 1.8405333333333334,
+      "grad_norm": 0.6249510049819946,
+      "learning_rate": 1.7512789545510292e-06,
+      "loss": 0.5889,
+      "step": 1726
+    },
+    {
+      "epoch": 1.8416000000000001,
+      "grad_norm": 0.5925092697143555,
+      "learning_rate": 1.7485051249513893e-06,
+      "loss": 0.5045,
+      "step": 1727
+    },
+    {
+      "epoch": 1.8426666666666667,
+      "grad_norm": 0.5549812316894531,
+      "learning_rate": 1.7457323120136554e-06,
+      "loss": 0.521,
+      "step": 1728
+    },
+    {
+      "epoch": 1.8437333333333332,
+      "grad_norm": 0.5917726755142212,
+      "learning_rate": 1.7429605194890359e-06,
+      "loss": 0.5615,
+      "step": 1729
+    },
+    {
+      "epoch": 1.8448,
+      "grad_norm": 0.5616986155509949,
+      "learning_rate": 1.7401897511273576e-06,
+      "loss": 0.5307,
+      "step": 1730
+    },
+    {
+      "epoch": 1.8458666666666668,
+      "grad_norm": 0.5563868284225464,
+      "learning_rate": 1.7374200106770616e-06,
+      "loss": 0.517,
+      "step": 1731
+    },
+    {
+      "epoch": 1.8469333333333333,
+      "grad_norm": 0.5652538537979126,
+      "learning_rate": 1.7346513018852006e-06,
+      "loss": 0.5323,
+      "step": 1732
+    },
+    {
+      "epoch": 1.8479999999999999,
+      "grad_norm": 0.579039454460144,
+      "learning_rate": 1.731883628497428e-06,
+      "loss": 0.5805,
+      "step": 1733
+    },
+    {
+      "epoch": 1.8490666666666666,
+      "grad_norm": 0.5491101741790771,
+      "learning_rate": 1.729116994258e-06,
+      "loss": 0.5397,
+      "step": 1734
+    },
+    {
+      "epoch": 1.8501333333333334,
+      "grad_norm": 0.5880038738250732,
+      "learning_rate": 1.7263514029097638e-06,
+      "loss": 0.5494,
+      "step": 1735
+    },
+    {
+      "epoch": 1.8512,
+      "grad_norm": 0.5583192110061646,
+      "learning_rate": 1.7235868581941589e-06,
+      "loss": 0.5194,
+      "step": 1736
+    },
+    {
+      "epoch": 1.8522666666666665,
+      "grad_norm": 0.5917359590530396,
+      "learning_rate": 1.7208233638512048e-06,
+      "loss": 0.5512,
+      "step": 1737
+    },
+    {
+      "epoch": 1.8533333333333335,
+      "grad_norm": 0.5671622157096863,
+      "learning_rate": 1.718060923619505e-06,
+      "loss": 0.5404,
+      "step": 1738
+    },
+    {
+      "epoch": 1.8544,
+      "grad_norm": 0.5809801816940308,
+      "learning_rate": 1.7152995412362322e-06,
+      "loss": 0.5555,
+      "step": 1739
+    },
+    {
+      "epoch": 1.8554666666666666,
+      "grad_norm": 0.6043382287025452,
+      "learning_rate": 1.7125392204371322e-06,
+      "loss": 0.5833,
+      "step": 1740
+    },
+    {
+      "epoch": 1.8565333333333334,
+      "grad_norm": 0.544808566570282,
+      "learning_rate": 1.7097799649565106e-06,
+      "loss": 0.5534,
+      "step": 1741
+    },
+    {
+      "epoch": 1.8576000000000001,
+      "grad_norm": 0.5620670318603516,
+      "learning_rate": 1.7070217785272354e-06,
+      "loss": 0.5496,
+      "step": 1742
+    },
+    {
+      "epoch": 1.8586666666666667,
+      "grad_norm": 0.6243292689323425,
+      "learning_rate": 1.7042646648807257e-06,
+      "loss": 0.6259,
+      "step": 1743
+    },
+    {
+      "epoch": 1.8597333333333332,
+      "grad_norm": 0.5439655184745789,
+      "learning_rate": 1.7015086277469511e-06,
+      "loss": 0.5671,
+      "step": 1744
+    },
+    {
+      "epoch": 1.8608,
+      "grad_norm": 0.5227819681167603,
+      "learning_rate": 1.6987536708544223e-06,
+      "loss": 0.5182,
+      "step": 1745
+    },
+    {
+      "epoch": 1.8618666666666668,
+      "grad_norm": 0.5490351319313049,
+      "learning_rate": 1.6959997979301923e-06,
+      "loss": 0.5575,
+      "step": 1746
+    },
+    {
+      "epoch": 1.8629333333333333,
+      "grad_norm": 0.5634819865226746,
+      "learning_rate": 1.6932470126998443e-06,
+      "loss": 0.5664,
+      "step": 1747
+    },
+    {
+      "epoch": 1.8639999999999999,
+      "grad_norm": 0.5933120250701904,
+      "learning_rate": 1.6904953188874927e-06,
+      "loss": 0.5834,
+      "step": 1748
+    },
+    {
+      "epoch": 1.8650666666666667,
+      "grad_norm": 0.5526019334793091,
+      "learning_rate": 1.687744720215772e-06,
+      "loss": 0.53,
+      "step": 1749
+    },
+    {
+      "epoch": 1.8661333333333334,
+      "grad_norm": 0.5459107756614685,
+      "learning_rate": 1.6849952204058389e-06,
+      "loss": 0.5513,
+      "step": 1750
+    },
+    {
+      "epoch": 1.8672,
+      "grad_norm": 0.5976851582527161,
+      "learning_rate": 1.682246823177362e-06,
+      "loss": 0.5203,
+      "step": 1751
+    },
+    {
+      "epoch": 1.8682666666666665,
+      "grad_norm": 0.6465879082679749,
+      "learning_rate": 1.6794995322485163e-06,
+      "loss": 0.5653,
+      "step": 1752
+    },
+    {
+      "epoch": 1.8693333333333333,
+      "grad_norm": 0.6286371946334839,
+      "learning_rate": 1.6767533513359842e-06,
+      "loss": 0.6268,
+      "step": 1753
+    },
+    {
+      "epoch": 1.8704,
+      "grad_norm": 0.6098568439483643,
+      "learning_rate": 1.674008284154941e-06,
+      "loss": 0.6115,
+      "step": 1754
+    },
+    {
+      "epoch": 1.8714666666666666,
+      "grad_norm": 0.5432325005531311,
+      "learning_rate": 1.6712643344190615e-06,
+      "loss": 0.5223,
+      "step": 1755
+    },
+    {
+      "epoch": 1.8725333333333334,
+      "grad_norm": 0.5734124183654785,
+      "learning_rate": 1.6685215058405036e-06,
+      "loss": 0.5477,
+      "step": 1756
+    },
+    {
+      "epoch": 1.8736000000000002,
+      "grad_norm": 0.5498462319374084,
+      "learning_rate": 1.6657798021299118e-06,
+      "loss": 0.5331,
+      "step": 1757
+    },
+    {
+      "epoch": 1.8746666666666667,
+      "grad_norm": 0.5413914918899536,
+      "learning_rate": 1.6630392269964066e-06,
+      "loss": 0.5113,
+      "step": 1758
+    },
+    {
+      "epoch": 1.8757333333333333,
+      "grad_norm": 0.6220923066139221,
+      "learning_rate": 1.6602997841475833e-06,
+      "loss": 0.518,
+      "step": 1759
+    },
+    {
+      "epoch": 1.8768,
+      "grad_norm": 0.5869837403297424,
+      "learning_rate": 1.6575614772895033e-06,
+      "loss": 0.5474,
+      "step": 1760
+    },
+    {
+      "epoch": 1.8778666666666668,
+      "grad_norm": 0.6242550611495972,
+      "learning_rate": 1.6548243101266942e-06,
+      "loss": 0.6091,
+      "step": 1761
+    },
+    {
+      "epoch": 1.8789333333333333,
+      "grad_norm": 0.575932502746582,
+      "learning_rate": 1.6520882863621387e-06,
+      "loss": 0.5256,
+      "step": 1762
+    },
+    {
+      "epoch": 1.88,
+      "grad_norm": 0.6235504150390625,
+      "learning_rate": 1.6493534096972757e-06,
+      "loss": 0.5805,
+      "step": 1763
+    },
+    {
+      "epoch": 1.8810666666666667,
+      "grad_norm": 0.5928342938423157,
+      "learning_rate": 1.646619683831989e-06,
+      "loss": 0.5706,
+      "step": 1764
+    },
+    {
+      "epoch": 1.8821333333333334,
+      "grad_norm": 0.5627301335334778,
+      "learning_rate": 1.6438871124646087e-06,
+      "loss": 0.5374,
+      "step": 1765
+    },
+    {
+      "epoch": 1.8832,
+      "grad_norm": 0.535269558429718,
+      "learning_rate": 1.6411556992918998e-06,
+      "loss": 0.5177,
+      "step": 1766
+    },
+    {
+      "epoch": 1.8842666666666665,
+      "grad_norm": 0.6219112277030945,
+      "learning_rate": 1.638425448009064e-06,
+      "loss": 0.5576,
+      "step": 1767
+    },
+    {
+      "epoch": 1.8853333333333333,
+      "grad_norm": 0.5773259401321411,
+      "learning_rate": 1.635696362309727e-06,
+      "loss": 0.5388,
+      "step": 1768
+    },
+    {
+      "epoch": 1.8864,
+      "grad_norm": 0.5490816831588745,
+      "learning_rate": 1.6329684458859406e-06,
+      "loss": 0.5056,
+      "step": 1769
+    },
+    {
+      "epoch": 1.8874666666666666,
+      "grad_norm": 0.5687902569770813,
+      "learning_rate": 1.6302417024281764e-06,
+      "loss": 0.5526,
+      "step": 1770
+    },
+    {
+      "epoch": 1.8885333333333332,
+      "grad_norm": 0.5446656346321106,
+      "learning_rate": 1.6275161356253132e-06,
+      "loss": 0.5185,
+      "step": 1771
+    },
+    {
+      "epoch": 1.8896,
+      "grad_norm": 0.5413210988044739,
+      "learning_rate": 1.6247917491646447e-06,
+      "loss": 0.571,
+      "step": 1772
+    },
+    {
+      "epoch": 1.8906666666666667,
+      "grad_norm": 0.5543221235275269,
+      "learning_rate": 1.6220685467318624e-06,
+      "loss": 0.5275,
+      "step": 1773
+    },
+    {
+      "epoch": 1.8917333333333333,
+      "grad_norm": 0.5512712001800537,
+      "learning_rate": 1.6193465320110596e-06,
+      "loss": 0.5655,
+      "step": 1774
+    },
+    {
+      "epoch": 1.8928,
+      "grad_norm": 0.6050304174423218,
+      "learning_rate": 1.6166257086847198e-06,
+      "loss": 0.5601,
+      "step": 1775
+    },
+    {
+      "epoch": 1.8938666666666668,
+      "grad_norm": 0.5760836005210876,
+      "learning_rate": 1.613906080433718e-06,
+      "loss": 0.5661,
+      "step": 1776
+    },
+    {
+      "epoch": 1.8949333333333334,
+      "grad_norm": 0.5429130792617798,
+      "learning_rate": 1.6111876509373093e-06,
+      "loss": 0.5092,
+      "step": 1777
+    },
+    {
+      "epoch": 1.896,
+      "grad_norm": 0.6469739079475403,
+      "learning_rate": 1.6084704238731297e-06,
+      "loss": 0.5204,
+      "step": 1778
+    },
+    {
+      "epoch": 1.8970666666666667,
+      "grad_norm": 0.5290738344192505,
+      "learning_rate": 1.6057544029171863e-06,
+      "loss": 0.5624,
+      "step": 1779
+    },
+    {
+      "epoch": 1.8981333333333335,
+      "grad_norm": 0.5309202671051025,
+      "learning_rate": 1.6030395917438568e-06,
+      "loss": 0.5248,
+      "step": 1780
+    },
+    {
+      "epoch": 1.8992,
+      "grad_norm": 0.6061741709709167,
+      "learning_rate": 1.6003259940258798e-06,
+      "loss": 0.5669,
+      "step": 1781
+    },
+    {
+      "epoch": 1.9002666666666665,
+      "grad_norm": 0.5801570415496826,
+      "learning_rate": 1.5976136134343542e-06,
+      "loss": 0.533,
+      "step": 1782
+    },
+    {
+      "epoch": 1.9013333333333333,
+      "grad_norm": 0.5620945692062378,
+      "learning_rate": 1.5949024536387303e-06,
+      "loss": 0.5494,
+      "step": 1783
+    },
+    {
+      "epoch": 1.9024,
+      "grad_norm": 0.5412174463272095,
+      "learning_rate": 1.5921925183068099e-06,
+      "loss": 0.5739,
+      "step": 1784
+    },
+    {
+      "epoch": 1.9034666666666666,
+      "grad_norm": 0.616183340549469,
+      "learning_rate": 1.5894838111047346e-06,
+      "loss": 0.5882,
+      "step": 1785
+    },
+    {
+      "epoch": 1.9045333333333332,
+      "grad_norm": 0.5915341377258301,
+      "learning_rate": 1.5867763356969879e-06,
+      "loss": 0.5554,
+      "step": 1786
+    },
+    {
+      "epoch": 1.9056,
+      "grad_norm": 0.5898361802101135,
+      "learning_rate": 1.5840700957463839e-06,
+      "loss": 0.5966,
+      "step": 1787
+    },
+    {
+      "epoch": 1.9066666666666667,
+      "grad_norm": 0.5827757120132446,
+      "learning_rate": 1.5813650949140682e-06,
+      "loss": 0.5411,
+      "step": 1788
+    },
+    {
+      "epoch": 1.9077333333333333,
+      "grad_norm": 0.5625357627868652,
+      "learning_rate": 1.5786613368595082e-06,
+      "loss": 0.5324,
+      "step": 1789
+    },
+    {
+      "epoch": 1.9088,
+      "grad_norm": 0.5563949346542358,
+      "learning_rate": 1.5759588252404894e-06,
+      "loss": 0.5542,
+      "step": 1790
+    },
+    {
+      "epoch": 1.9098666666666668,
+      "grad_norm": 0.5846853852272034,
+      "learning_rate": 1.573257563713114e-06,
+      "loss": 0.5498,
+      "step": 1791
+    },
+    {
+      "epoch": 1.9109333333333334,
+      "grad_norm": 0.5266727209091187,
+      "learning_rate": 1.5705575559317887e-06,
+      "loss": 0.4692,
+      "step": 1792
+    },
+    {
+      "epoch": 1.912,
+      "grad_norm": 0.5822840332984924,
+      "learning_rate": 1.5678588055492289e-06,
+      "loss": 0.5136,
+      "step": 1793
+    },
+    {
+      "epoch": 1.9130666666666667,
+      "grad_norm": 0.5439043641090393,
+      "learning_rate": 1.5651613162164448e-06,
+      "loss": 0.5571,
+      "step": 1794
+    },
+    {
+      "epoch": 1.9141333333333335,
+      "grad_norm": 0.5851044654846191,
+      "learning_rate": 1.5624650915827421e-06,
+      "loss": 0.5866,
+      "step": 1795
+    },
+    {
+      "epoch": 1.9152,
+      "grad_norm": 0.6061752438545227,
+      "learning_rate": 1.5597701352957168e-06,
+      "loss": 0.6001,
+      "step": 1796
+    },
+    {
+      "epoch": 1.9162666666666666,
+      "grad_norm": 0.5734285116195679,
+      "learning_rate": 1.5570764510012482e-06,
+      "loss": 0.5891,
+      "step": 1797
+    },
+    {
+      "epoch": 1.9173333333333333,
+      "grad_norm": 0.5760787129402161,
+      "learning_rate": 1.5543840423434922e-06,
+      "loss": 0.5703,
+      "step": 1798
+    },
+    {
+      "epoch": 1.9184,
+      "grad_norm": 0.5850062966346741,
+      "learning_rate": 1.5516929129648838e-06,
+      "loss": 0.5789,
+      "step": 1799
+    },
+    {
+      "epoch": 1.9194666666666667,
+      "grad_norm": 0.618988573551178,
+      "learning_rate": 1.5490030665061232e-06,
+      "loss": 0.5778,
+      "step": 1800
+    },
+    {
+      "epoch": 1.9205333333333332,
+      "grad_norm": 0.6139165759086609,
+      "learning_rate": 1.546314506606178e-06,
+      "loss": 0.5898,
+      "step": 1801
+    },
+    {
+      "epoch": 1.9216,
+      "grad_norm": 0.5872771739959717,
+      "learning_rate": 1.543627236902272e-06,
+      "loss": 0.5769,
+      "step": 1802
+    },
+    {
+      "epoch": 1.9226666666666667,
+      "grad_norm": 0.5837470889091492,
+      "learning_rate": 1.540941261029887e-06,
+      "loss": 0.5607,
+      "step": 1803
+    },
+    {
+      "epoch": 1.9237333333333333,
+      "grad_norm": 0.5986273884773254,
+      "learning_rate": 1.538256582622752e-06,
+      "loss": 0.628,
+      "step": 1804
+    },
+    {
+      "epoch": 1.9247999999999998,
+      "grad_norm": 0.6136653423309326,
+      "learning_rate": 1.535573205312841e-06,
+      "loss": 0.5576,
+      "step": 1805
+    },
+    {
+      "epoch": 1.9258666666666666,
+      "grad_norm": 0.6648598313331604,
+      "learning_rate": 1.5328911327303705e-06,
+      "loss": 0.6175,
+      "step": 1806
+    },
+    {
+      "epoch": 1.9269333333333334,
+      "grad_norm": 0.5282381772994995,
+      "learning_rate": 1.5302103685037871e-06,
+      "loss": 0.4939,
+      "step": 1807
+    },
+    {
+      "epoch": 1.928,
+      "grad_norm": 0.5781686305999756,
+      "learning_rate": 1.5275309162597728e-06,
+      "loss": 0.572,
+      "step": 1808
+    },
+    {
+      "epoch": 1.9290666666666667,
+      "grad_norm": 0.5199376940727234,
+      "learning_rate": 1.5248527796232298e-06,
+      "loss": 0.5062,
+      "step": 1809
+    },
+    {
+      "epoch": 1.9301333333333335,
+      "grad_norm": 0.6853319406509399,
+      "learning_rate": 1.5221759622172833e-06,
+      "loss": 0.6205,
+      "step": 1810
+    },
+    {
+      "epoch": 1.9312,
+      "grad_norm": 0.5890238881111145,
+      "learning_rate": 1.5195004676632729e-06,
+      "loss": 0.5342,
+      "step": 1811
+    },
+    {
+      "epoch": 1.9322666666666666,
+      "grad_norm": 0.628747820854187,
+      "learning_rate": 1.5168262995807495e-06,
+      "loss": 0.5682,
+      "step": 1812
+    },
+    {
+      "epoch": 1.9333333333333333,
+      "grad_norm": 0.5897372961044312,
+      "learning_rate": 1.5141534615874672e-06,
+      "loss": 0.5538,
+      "step": 1813
+    },
+    {
+      "epoch": 1.9344000000000001,
+      "grad_norm": 0.567550539970398,
+      "learning_rate": 1.5114819572993844e-06,
+      "loss": 0.5498,
+      "step": 1814
+    },
+    {
+      "epoch": 1.9354666666666667,
+      "grad_norm": 0.5476131439208984,
+      "learning_rate": 1.5088117903306504e-06,
+      "loss": 0.5669,
+      "step": 1815
+    },
+    {
+      "epoch": 1.9365333333333332,
+      "grad_norm": 0.5784737467765808,
+      "learning_rate": 1.5061429642936107e-06,
+      "loss": 0.5574,
+      "step": 1816
+    },
+    {
+      "epoch": 1.9376,
+      "grad_norm": 0.5713197588920593,
+      "learning_rate": 1.5034754827987918e-06,
+      "loss": 0.5303,
+      "step": 1817
+    },
+    {
+      "epoch": 1.9386666666666668,
+      "grad_norm": 0.521609902381897,
+      "learning_rate": 1.5008093494549046e-06,
+      "loss": 0.5147,
+      "step": 1818
+    },
+    {
+      "epoch": 1.9397333333333333,
+      "grad_norm": 0.6044138669967651,
+      "learning_rate": 1.498144567868834e-06,
+      "loss": 0.4947,
+      "step": 1819
+    },
+    {
+      "epoch": 1.9407999999999999,
+      "grad_norm": 0.5520240664482117,
+      "learning_rate": 1.4954811416456384e-06,
+      "loss": 0.5445,
+      "step": 1820
+    },
+    {
+      "epoch": 1.9418666666666666,
+      "grad_norm": 0.5774211287498474,
+      "learning_rate": 1.492819074388539e-06,
+      "loss": 0.4957,
+      "step": 1821
+    },
+    {
+      "epoch": 1.9429333333333334,
+      "grad_norm": 0.538632869720459,
+      "learning_rate": 1.4901583696989235e-06,
+      "loss": 0.5625,
+      "step": 1822
+    },
+    {
+      "epoch": 1.944,
+      "grad_norm": 0.591201663017273,
+      "learning_rate": 1.4874990311763316e-06,
+      "loss": 0.619,
+      "step": 1823
+    },
+    {
+      "epoch": 1.9450666666666667,
+      "grad_norm": 0.5466227531433105,
+      "learning_rate": 1.4848410624184576e-06,
+      "loss": 0.5858,
+      "step": 1824
+    },
+    {
+      "epoch": 1.9461333333333335,
+      "grad_norm": 0.5727980136871338,
+      "learning_rate": 1.4821844670211422e-06,
+      "loss": 0.5506,
+      "step": 1825
+    },
+    {
+      "epoch": 1.9472,
+      "grad_norm": 0.5867694020271301,
+      "learning_rate": 1.4795292485783664e-06,
+      "loss": 0.5896,
+      "step": 1826
+    },
+    {
+      "epoch": 1.9482666666666666,
+      "grad_norm": 0.5465431809425354,
+      "learning_rate": 1.4768754106822513e-06,
+      "loss": 0.5887,
+      "step": 1827
+    },
+    {
+      "epoch": 1.9493333333333334,
+      "grad_norm": 0.5540134310722351,
+      "learning_rate": 1.474222956923047e-06,
+      "loss": 0.5527,
+      "step": 1828
+    },
+    {
+      "epoch": 1.9504000000000001,
+      "grad_norm": 0.566859245300293,
+      "learning_rate": 1.4715718908891353e-06,
+      "loss": 0.5424,
+      "step": 1829
+    },
+    {
+      "epoch": 1.9514666666666667,
+      "grad_norm": 0.550857663154602,
+      "learning_rate": 1.4689222161670158e-06,
+      "loss": 0.5766,
+      "step": 1830
+    },
+    {
+      "epoch": 1.9525333333333332,
+      "grad_norm": 0.570770800113678,
+      "learning_rate": 1.46627393634131e-06,
+      "loss": 0.5758,
+      "step": 1831
+    },
+    {
+      "epoch": 1.9536,
+      "grad_norm": 0.558303713798523,
+      "learning_rate": 1.4636270549947495e-06,
+      "loss": 0.5577,
+      "step": 1832
+    },
+    {
+      "epoch": 1.9546666666666668,
+      "grad_norm": 0.5618413686752319,
+      "learning_rate": 1.4609815757081757e-06,
+      "loss": 0.571,
+      "step": 1833
+    },
+    {
+      "epoch": 1.9557333333333333,
+      "grad_norm": 0.5922463536262512,
+      "learning_rate": 1.458337502060531e-06,
+      "loss": 0.6254,
+      "step": 1834
+    },
+    {
+      "epoch": 1.9567999999999999,
+      "grad_norm": 0.555290937423706,
+      "learning_rate": 1.4556948376288602e-06,
+      "loss": 0.5212,
+      "step": 1835
+    },
+    {
+      "epoch": 1.9578666666666666,
+      "grad_norm": 0.587537407875061,
+      "learning_rate": 1.4530535859882966e-06,
+      "loss": 0.5692,
+      "step": 1836
+    },
+    {
+      "epoch": 1.9589333333333334,
+      "grad_norm": 0.5902701616287231,
+      "learning_rate": 1.4504137507120665e-06,
+      "loss": 0.6057,
+      "step": 1837
+    },
+    {
+      "epoch": 1.96,
+      "grad_norm": 0.5883980989456177,
+      "learning_rate": 1.4477753353714772e-06,
+      "loss": 0.5444,
+      "step": 1838
+    },
+    {
+      "epoch": 1.9610666666666665,
+      "grad_norm": 0.5503685474395752,
+      "learning_rate": 1.4451383435359173e-06,
+      "loss": 0.554,
+      "step": 1839
+    },
+    {
+      "epoch": 1.9621333333333333,
+      "grad_norm": 0.6230605840682983,
+      "learning_rate": 1.442502778772847e-06,
+      "loss": 0.5923,
+      "step": 1840
+    },
+    {
+      "epoch": 1.9632,
+      "grad_norm": 0.5827583074569702,
+      "learning_rate": 1.4398686446477989e-06,
+      "loss": 0.5907,
+      "step": 1841
+    },
+    {
+      "epoch": 1.9642666666666666,
+      "grad_norm": 0.5248436331748962,
+      "learning_rate": 1.4372359447243673e-06,
+      "loss": 0.488,
+      "step": 1842
+    },
+    {
+      "epoch": 1.9653333333333334,
+      "grad_norm": 0.5628165006637573,
+      "learning_rate": 1.4346046825642085e-06,
+      "loss": 0.5353,
+      "step": 1843
+    },
+    {
+      "epoch": 1.9664000000000001,
+      "grad_norm": 0.5576211810112,
+      "learning_rate": 1.4319748617270323e-06,
+      "loss": 0.5239,
+      "step": 1844
+    },
+    {
+      "epoch": 1.9674666666666667,
+      "grad_norm": 0.5965511202812195,
+      "learning_rate": 1.4293464857705982e-06,
+      "loss": 0.5862,
+      "step": 1845
+    },
+    {
+      "epoch": 1.9685333333333332,
+      "grad_norm": 0.6039086580276489,
+      "learning_rate": 1.4267195582507137e-06,
+      "loss": 0.5302,
+      "step": 1846
+    },
+    {
+      "epoch": 1.9696,
+      "grad_norm": 0.6205388307571411,
+      "learning_rate": 1.424094082721223e-06,
+      "loss": 0.5939,
+      "step": 1847
+    },
+    {
+      "epoch": 1.9706666666666668,
+      "grad_norm": 0.5464006066322327,
+      "learning_rate": 1.4214700627340094e-06,
+      "loss": 0.5717,
+      "step": 1848
+    },
+    {
+      "epoch": 1.9717333333333333,
+      "grad_norm": 0.5798570513725281,
+      "learning_rate": 1.4188475018389841e-06,
+      "loss": 0.591,
+      "step": 1849
+    },
+    {
+      "epoch": 1.9727999999999999,
+      "grad_norm": 0.577594518661499,
+      "learning_rate": 1.4162264035840875e-06,
+      "loss": 0.5471,
+      "step": 1850
+    },
+    {
+      "epoch": 1.9738666666666667,
+      "grad_norm": 0.550423264503479,
+      "learning_rate": 1.4136067715152779e-06,
+      "loss": 0.5816,
+      "step": 1851
+    },
+    {
+      "epoch": 1.9749333333333334,
+      "grad_norm": 0.5649510025978088,
+      "learning_rate": 1.4109886091765335e-06,
+      "loss": 0.589,
+      "step": 1852
+    },
+    {
+      "epoch": 1.976,
+      "grad_norm": 0.6209117770195007,
+      "learning_rate": 1.4083719201098404e-06,
+      "loss": 0.6327,
+      "step": 1853
+    },
+    {
+      "epoch": 1.9770666666666665,
+      "grad_norm": 0.5309554934501648,
+      "learning_rate": 1.4057567078551953e-06,
+      "loss": 0.4931,
+      "step": 1854
+    },
+    {
+      "epoch": 1.9781333333333333,
+      "grad_norm": 0.5866615176200867,
+      "learning_rate": 1.4031429759505943e-06,
+      "loss": 0.5774,
+      "step": 1855
+    },
+    {
+      "epoch": 1.9792,
+      "grad_norm": 0.5370825529098511,
+      "learning_rate": 1.4005307279320326e-06,
+      "loss": 0.4969,
+      "step": 1856
+    },
+    {
+      "epoch": 1.9802666666666666,
+      "grad_norm": 0.6252390146255493,
+      "learning_rate": 1.3979199673334958e-06,
+      "loss": 0.6068,
+      "step": 1857
+    },
+    {
+      "epoch": 1.9813333333333332,
+      "grad_norm": 0.5765666365623474,
+      "learning_rate": 1.3953106976869604e-06,
+      "loss": 0.5206,
+      "step": 1858
+    },
+    {
+      "epoch": 1.9824000000000002,
+      "grad_norm": 0.6497637033462524,
+      "learning_rate": 1.3927029225223828e-06,
+      "loss": 0.5767,
+      "step": 1859
+    },
+    {
+      "epoch": 1.9834666666666667,
+      "grad_norm": 0.5402831435203552,
+      "learning_rate": 1.3900966453676983e-06,
+      "loss": 0.5415,
+      "step": 1860
+    },
+    {
+      "epoch": 1.9845333333333333,
+      "grad_norm": 0.5628657937049866,
+      "learning_rate": 1.3874918697488177e-06,
+      "loss": 0.5405,
+      "step": 1861
+    },
+    {
+      "epoch": 1.9856,
+      "grad_norm": 0.5750677585601807,
+      "learning_rate": 1.3848885991896167e-06,
+      "loss": 0.5633,
+      "step": 1862
+    },
+    {
+      "epoch": 1.9866666666666668,
+      "grad_norm": 0.5000765323638916,
+      "learning_rate": 1.3822868372119396e-06,
+      "loss": 0.4871,
+      "step": 1863
+    },
+    {
+      "epoch": 1.9877333333333334,
+      "grad_norm": 0.5814458727836609,
+      "learning_rate": 1.3796865873355848e-06,
+      "loss": 0.583,
+      "step": 1864
+    },
+    {
+      "epoch": 1.9888,
+      "grad_norm": 0.5213147401809692,
+      "learning_rate": 1.3770878530783095e-06,
+      "loss": 0.5367,
+      "step": 1865
+    },
+    {
+      "epoch": 1.9898666666666667,
+      "grad_norm": 0.5349053144454956,
+      "learning_rate": 1.3744906379558165e-06,
+      "loss": 0.4849,
+      "step": 1866
+    },
+    {
+      "epoch": 1.9909333333333334,
+      "grad_norm": 0.5113944411277771,
+      "learning_rate": 1.371894945481758e-06,
+      "loss": 0.4503,
+      "step": 1867
+    },
+    {
+      "epoch": 1.992,
+      "grad_norm": 0.5839912295341492,
+      "learning_rate": 1.3693007791677207e-06,
+      "loss": 0.5812,
+      "step": 1868
+    },
+    {
+      "epoch": 1.9930666666666665,
+      "grad_norm": 0.5590923428535461,
+      "learning_rate": 1.3667081425232322e-06,
+      "loss": 0.5441,
+      "step": 1869
+    },
+    {
+      "epoch": 1.9941333333333333,
+      "grad_norm": 0.5750559568405151,
+      "learning_rate": 1.3641170390557463e-06,
+      "loss": 0.539,
+      "step": 1870
+    },
+    {
+      "epoch": 1.9952,
+      "grad_norm": 0.58957839012146,
+      "learning_rate": 1.361527472270646e-06,
+      "loss": 0.5758,
+      "step": 1871
+    },
+    {
+      "epoch": 1.9962666666666666,
+      "grad_norm": 0.5947452783584595,
+      "learning_rate": 1.3589394456712318e-06,
+      "loss": 0.5917,
+      "step": 1872
+    },
+    {
+      "epoch": 1.9973333333333332,
+      "grad_norm": 0.5548158884048462,
+      "learning_rate": 1.3563529627587252e-06,
+      "loss": 0.5583,
+      "step": 1873
+    },
+    {
+      "epoch": 1.9984,
+      "grad_norm": 0.521709144115448,
+      "learning_rate": 1.353768027032255e-06,
+      "loss": 0.5468,
+      "step": 1874
+    },
+    {
+      "epoch": 1.9994666666666667,
+      "grad_norm": 0.5349715948104858,
+      "learning_rate": 1.351184641988859e-06,
+      "loss": 0.4789,
+      "step": 1875
+    },
+    {
+      "epoch": 2.0,
+      "grad_norm": 0.7958458065986633,
+      "learning_rate": 1.348602811123476e-06,
+      "loss": 0.4055,
+      "step": 1876
+    },
+    {
+      "epoch": 2.0010666666666665,
+      "grad_norm": 0.5380450487136841,
+      "learning_rate": 1.3460225379289442e-06,
+      "loss": 0.5041,
+      "step": 1877
+    },
+    {
+      "epoch": 2.0021333333333335,
+      "grad_norm": 0.6346489787101746,
+      "learning_rate": 1.3434438258959923e-06,
+      "loss": 0.6495,
+      "step": 1878
+    },
+    {
+      "epoch": 2.0032,
+      "grad_norm": 0.598236620426178,
+      "learning_rate": 1.340866678513238e-06,
+      "loss": 0.5833,
+      "step": 1879
+    },
+    {
+      "epoch": 2.0042666666666666,
+      "grad_norm": 0.5186083912849426,
+      "learning_rate": 1.3382910992671838e-06,
+      "loss": 0.4797,
+      "step": 1880
+    },
+    {
+      "epoch": 2.005333333333333,
+      "grad_norm": 0.5631312131881714,
+      "learning_rate": 1.3357170916422069e-06,
+      "loss": 0.5267,
+      "step": 1881
+    },
+    {
+      "epoch": 2.0064,
+      "grad_norm": 0.6059322953224182,
+      "learning_rate": 1.3331446591205628e-06,
+      "loss": 0.5626,
+      "step": 1882
+    },
+    {
+      "epoch": 2.0074666666666667,
+      "grad_norm": 0.5569186806678772,
+      "learning_rate": 1.3305738051823712e-06,
+      "loss": 0.527,
+      "step": 1883
+    },
+    {
+      "epoch": 2.0085333333333333,
+      "grad_norm": 0.561802327632904,
+      "learning_rate": 1.328004533305622e-06,
+      "loss": 0.5543,
+      "step": 1884
+    },
+    {
+      "epoch": 2.0096,
+      "grad_norm": 0.6388578414916992,
+      "learning_rate": 1.3254368469661593e-06,
+      "loss": 0.6503,
+      "step": 1885
+    },
+    {
+      "epoch": 2.010666666666667,
+      "grad_norm": 0.598400354385376,
+      "learning_rate": 1.3228707496376864e-06,
+      "loss": 0.5602,
+      "step": 1886
+    },
+    {
+      "epoch": 2.0117333333333334,
+      "grad_norm": 0.5630940794944763,
+      "learning_rate": 1.3203062447917542e-06,
+      "loss": 0.5493,
+      "step": 1887
+    },
+    {
+      "epoch": 2.0128,
+      "grad_norm": 0.5907948613166809,
+      "learning_rate": 1.3177433358977593e-06,
+      "loss": 0.573,
+      "step": 1888
+    },
+    {
+      "epoch": 2.0138666666666665,
+      "grad_norm": 0.6058995127677917,
+      "learning_rate": 1.3151820264229417e-06,
+      "loss": 0.5523,
+      "step": 1889
+    },
+    {
+      "epoch": 2.0149333333333335,
+      "grad_norm": 0.6081379055976868,
+      "learning_rate": 1.3126223198323752e-06,
+      "loss": 0.5516,
+      "step": 1890
+    },
+    {
+      "epoch": 2.016,
+      "grad_norm": 0.5794486999511719,
+      "learning_rate": 1.3100642195889652e-06,
+      "loss": 0.5325,
+      "step": 1891
+    },
+    {
+      "epoch": 2.0170666666666666,
+      "grad_norm": 0.6074906587600708,
+      "learning_rate": 1.3075077291534461e-06,
+      "loss": 0.5072,
+      "step": 1892
+    },
+    {
+      "epoch": 2.018133333333333,
+      "grad_norm": 0.6252747178077698,
+      "learning_rate": 1.304952851984371e-06,
+      "loss": 0.5771,
+      "step": 1893
+    },
+    {
+      "epoch": 2.0192,
+      "grad_norm": 0.6485872864723206,
+      "learning_rate": 1.3023995915381149e-06,
+      "loss": 0.6154,
+      "step": 1894
+    },
+    {
+      "epoch": 2.0202666666666667,
+      "grad_norm": 0.5912834405899048,
+      "learning_rate": 1.2998479512688612e-06,
+      "loss": 0.5844,
+      "step": 1895
+    },
+    {
+      "epoch": 2.021333333333333,
+      "grad_norm": 0.5877307653427124,
+      "learning_rate": 1.297297934628605e-06,
+      "loss": 0.5397,
+      "step": 1896
+    },
+    {
+      "epoch": 2.0224,
+      "grad_norm": 0.5971736311912537,
+      "learning_rate": 1.2947495450671417e-06,
+      "loss": 0.5377,
+      "step": 1897
+    },
+    {
+      "epoch": 2.0234666666666667,
+      "grad_norm": 0.6043569445610046,
+      "learning_rate": 1.2922027860320679e-06,
+      "loss": 0.5824,
+      "step": 1898
+    },
+    {
+      "epoch": 2.0245333333333333,
+      "grad_norm": 0.6186167597770691,
+      "learning_rate": 1.289657660968775e-06,
+      "loss": 0.5521,
+      "step": 1899
+    },
+    {
+      "epoch": 2.0256,
+      "grad_norm": 0.6284368634223938,
+      "learning_rate": 1.2871141733204402e-06,
+      "loss": 0.572,
+      "step": 1900
+    },
+    {
+      "epoch": 2.026666666666667,
+      "grad_norm": 0.5548790693283081,
+      "learning_rate": 1.284572326528029e-06,
+      "loss": 0.5155,
+      "step": 1901
+    },
+    {
+      "epoch": 2.0277333333333334,
+      "grad_norm": 0.5335134863853455,
+      "learning_rate": 1.2820321240302861e-06,
+      "loss": 0.5436,
+      "step": 1902
+    },
+    {
+      "epoch": 2.0288,
+      "grad_norm": 0.5594540238380432,
+      "learning_rate": 1.2794935692637305e-06,
+      "loss": 0.461,
+      "step": 1903
+    },
+    {
+      "epoch": 2.0298666666666665,
+      "grad_norm": 0.5302798748016357,
+      "learning_rate": 1.2769566656626526e-06,
+      "loss": 0.5146,
+      "step": 1904
+    },
+    {
+      "epoch": 2.0309333333333335,
+      "grad_norm": 0.6151626110076904,
+      "learning_rate": 1.2744214166591106e-06,
+      "loss": 0.6002,
+      "step": 1905
+    },
+    {
+      "epoch": 2.032,
+      "grad_norm": 0.6000319719314575,
+      "learning_rate": 1.271887825682922e-06,
+      "loss": 0.5635,
+      "step": 1906
+    },
+    {
+      "epoch": 2.0330666666666666,
+      "grad_norm": 0.5436738729476929,
+      "learning_rate": 1.269355896161664e-06,
+      "loss": 0.4866,
+      "step": 1907
+    },
+    {
+      "epoch": 2.034133333333333,
+      "grad_norm": 0.6566639542579651,
+      "learning_rate": 1.266825631520662e-06,
+      "loss": 0.5572,
+      "step": 1908
+    },
+    {
+      "epoch": 2.0352,
+      "grad_norm": 0.583052396774292,
+      "learning_rate": 1.264297035182994e-06,
+      "loss": 0.5165,
+      "step": 1909
+    },
+    {
+      "epoch": 2.0362666666666667,
+      "grad_norm": 0.5783602595329285,
+      "learning_rate": 1.2617701105694763e-06,
+      "loss": 0.5433,
+      "step": 1910
+    },
+    {
+      "epoch": 2.037333333333333,
+      "grad_norm": 0.6847120523452759,
+      "learning_rate": 1.2592448610986674e-06,
+      "loss": 0.5824,
+      "step": 1911
+    },
+    {
+      "epoch": 2.0384,
+      "grad_norm": 0.6015878915786743,
+      "learning_rate": 1.2567212901868569e-06,
+      "loss": 0.5628,
+      "step": 1912
+    },
+    {
+      "epoch": 2.0394666666666668,
+      "grad_norm": 0.5725298523902893,
+      "learning_rate": 1.254199401248066e-06,
+      "loss": 0.5399,
+      "step": 1913
+    },
+    {
+      "epoch": 2.0405333333333333,
+      "grad_norm": 0.6029639840126038,
+      "learning_rate": 1.251679197694037e-06,
+      "loss": 0.5669,
+      "step": 1914
+    },
+    {
+      "epoch": 2.0416,
+      "grad_norm": 0.5572661757469177,
+      "learning_rate": 1.2491606829342356e-06,
+      "loss": 0.5211,
+      "step": 1915
+    },
+    {
+      "epoch": 2.042666666666667,
+      "grad_norm": 0.5546789765357971,
+      "learning_rate": 1.2466438603758422e-06,
+      "loss": 0.5401,
+      "step": 1916
+    },
+    {
+      "epoch": 2.0437333333333334,
+      "grad_norm": 0.5578565001487732,
+      "learning_rate": 1.2441287334237463e-06,
+      "loss": 0.4962,
+      "step": 1917
+    },
+    {
+      "epoch": 2.0448,
+      "grad_norm": 0.5654686689376831,
+      "learning_rate": 1.2416153054805439e-06,
+      "loss": 0.5353,
+      "step": 1918
+    },
+    {
+      "epoch": 2.0458666666666665,
+      "grad_norm": 0.5965808629989624,
+      "learning_rate": 1.239103579946532e-06,
+      "loss": 0.5504,
+      "step": 1919
+    },
+    {
+      "epoch": 2.0469333333333335,
+      "grad_norm": 0.5819885730743408,
+      "learning_rate": 1.2365935602197077e-06,
+      "loss": 0.5062,
+      "step": 1920
+    },
+    {
+      "epoch": 2.048,
+      "grad_norm": 0.5571475028991699,
+      "learning_rate": 1.234085249695756e-06,
+      "loss": 0.5008,
+      "step": 1921
+    },
+    {
+      "epoch": 2.0490666666666666,
+      "grad_norm": 0.5734038352966309,
+      "learning_rate": 1.2315786517680536e-06,
+      "loss": 0.5192,
+      "step": 1922
+    },
+    {
+      "epoch": 2.050133333333333,
+      "grad_norm": 0.6100568771362305,
+      "learning_rate": 1.2290737698276565e-06,
+      "loss": 0.6144,
+      "step": 1923
+    },
+    {
+      "epoch": 2.0512,
+      "grad_norm": 0.5595180988311768,
+      "learning_rate": 1.2265706072633028e-06,
+      "loss": 0.5264,
+      "step": 1924
+    },
+    {
+      "epoch": 2.0522666666666667,
+      "grad_norm": 0.5759934186935425,
+      "learning_rate": 1.2240691674614008e-06,
+      "loss": 0.5168,
+      "step": 1925
+    },
+    {
+      "epoch": 2.0533333333333332,
+      "grad_norm": 0.5875388383865356,
+      "learning_rate": 1.2215694538060329e-06,
+      "loss": 0.5121,
+      "step": 1926
+    },
+    {
+      "epoch": 2.0544,
+      "grad_norm": 0.6254099011421204,
+      "learning_rate": 1.219071469678941e-06,
+      "loss": 0.5762,
+      "step": 1927
+    },
+    {
+      "epoch": 2.0554666666666668,
+      "grad_norm": 0.5313997268676758,
+      "learning_rate": 1.216575218459532e-06,
+      "loss": 0.4896,
+      "step": 1928
+    },
+    {
+      "epoch": 2.0565333333333333,
+      "grad_norm": 0.6309417486190796,
+      "learning_rate": 1.2140807035248641e-06,
+      "loss": 0.5898,
+      "step": 1929
+    },
+    {
+      "epoch": 2.0576,
+      "grad_norm": 0.5938588380813599,
+      "learning_rate": 1.211587928249651e-06,
+      "loss": 0.5944,
+      "step": 1930
+    },
+    {
+      "epoch": 2.058666666666667,
+      "grad_norm": 0.5849666595458984,
+      "learning_rate": 1.2090968960062483e-06,
+      "loss": 0.5515,
+      "step": 1931
+    },
+    {
+      "epoch": 2.0597333333333334,
+      "grad_norm": 0.6419081091880798,
+      "learning_rate": 1.2066076101646576e-06,
+      "loss": 0.5565,
+      "step": 1932
+    },
+    {
+      "epoch": 2.0608,
+      "grad_norm": 0.5296061635017395,
+      "learning_rate": 1.2041200740925153e-06,
+      "loss": 0.5059,
+      "step": 1933
+    },
+    {
+      "epoch": 2.0618666666666665,
+      "grad_norm": 0.5917050838470459,
+      "learning_rate": 1.2016342911550907e-06,
+      "loss": 0.562,
+      "step": 1934
+    },
+    {
+      "epoch": 2.0629333333333335,
+      "grad_norm": 0.6520066857337952,
+      "learning_rate": 1.1991502647152836e-06,
+      "loss": 0.5676,
+      "step": 1935
+    },
+    {
+      "epoch": 2.064,
+      "grad_norm": 0.5788351893424988,
+      "learning_rate": 1.1966679981336144e-06,
+      "loss": 0.5588,
+      "step": 1936
+    },
+    {
+      "epoch": 2.0650666666666666,
+      "grad_norm": 0.6698751449584961,
+      "learning_rate": 1.1941874947682262e-06,
+      "loss": 0.61,
+      "step": 1937
+    },
+    {
+      "epoch": 2.066133333333333,
+      "grad_norm": 0.6372243165969849,
+      "learning_rate": 1.1917087579748723e-06,
+      "loss": 0.5565,
+      "step": 1938
+    },
+    {
+      "epoch": 2.0672,
+      "grad_norm": 0.5944187641143799,
+      "learning_rate": 1.1892317911069212e-06,
+      "loss": 0.5367,
+      "step": 1939
+    },
+    {
+      "epoch": 2.0682666666666667,
+      "grad_norm": 0.5895387530326843,
+      "learning_rate": 1.1867565975153423e-06,
+      "loss": 0.5265,
+      "step": 1940
+    },
+    {
+      "epoch": 2.0693333333333332,
+      "grad_norm": 0.5684133768081665,
+      "learning_rate": 1.1842831805487096e-06,
+      "loss": 0.5338,
+      "step": 1941
+    },
+    {
+      "epoch": 2.0704,
+      "grad_norm": 0.6244049072265625,
+      "learning_rate": 1.1818115435531901e-06,
+      "loss": 0.5414,
+      "step": 1942
+    },
+    {
+      "epoch": 2.071466666666667,
+      "grad_norm": 0.6335210204124451,
+      "learning_rate": 1.179341689872547e-06,
+      "loss": 0.5941,
+      "step": 1943
+    },
+    {
+      "epoch": 2.0725333333333333,
+      "grad_norm": 0.6212891936302185,
+      "learning_rate": 1.1768736228481268e-06,
+      "loss": 0.5692,
+      "step": 1944
+    },
+    {
+      "epoch": 2.0736,
+      "grad_norm": 0.595076858997345,
+      "learning_rate": 1.1744073458188623e-06,
+      "loss": 0.5404,
+      "step": 1945
+    },
+    {
+      "epoch": 2.074666666666667,
+      "grad_norm": 0.5500801205635071,
+      "learning_rate": 1.1719428621212615e-06,
+      "loss": 0.5358,
+      "step": 1946
+    },
+    {
+      "epoch": 2.0757333333333334,
+      "grad_norm": 0.6618889570236206,
+      "learning_rate": 1.1694801750894094e-06,
+      "loss": 0.623,
+      "step": 1947
+    },
+    {
+      "epoch": 2.0768,
+      "grad_norm": 0.5690721869468689,
+      "learning_rate": 1.1670192880549586e-06,
+      "loss": 0.5416,
+      "step": 1948
+    },
+    {
+      "epoch": 2.0778666666666665,
+      "grad_norm": 0.5415211319923401,
+      "learning_rate": 1.1645602043471265e-06,
+      "loss": 0.4916,
+      "step": 1949
+    },
+    {
+      "epoch": 2.0789333333333335,
+      "grad_norm": 0.5435727834701538,
+      "learning_rate": 1.1621029272926903e-06,
+      "loss": 0.4911,
+      "step": 1950
+    },
+    {
+      "epoch": 2.08,
+      "grad_norm": 0.5090012550354004,
+      "learning_rate": 1.159647460215986e-06,
+      "loss": 0.4997,
+      "step": 1951
+    },
+    {
+      "epoch": 2.0810666666666666,
+      "grad_norm": 0.5989108681678772,
+      "learning_rate": 1.1571938064388974e-06,
+      "loss": 0.5426,
+      "step": 1952
+    },
+    {
+      "epoch": 2.082133333333333,
+      "grad_norm": 0.5798938870429993,
+      "learning_rate": 1.154741969280857e-06,
+      "loss": 0.5252,
+      "step": 1953
+    },
+    {
+      "epoch": 2.0832,
+      "grad_norm": 0.594546914100647,
+      "learning_rate": 1.152291952058841e-06,
+      "loss": 0.5777,
+      "step": 1954
+    },
+    {
+      "epoch": 2.0842666666666667,
+      "grad_norm": 0.5412114858627319,
+      "learning_rate": 1.1498437580873597e-06,
+      "loss": 0.5345,
+      "step": 1955
+    },
+    {
+      "epoch": 2.0853333333333333,
+      "grad_norm": 0.6135668158531189,
+      "learning_rate": 1.147397390678461e-06,
+      "loss": 0.5719,
+      "step": 1956
+    },
+    {
+      "epoch": 2.0864,
+      "grad_norm": 0.5569204092025757,
+      "learning_rate": 1.1449528531417182e-06,
+      "loss": 0.4826,
+      "step": 1957
+    },
+    {
+      "epoch": 2.087466666666667,
+      "grad_norm": 0.5708873271942139,
+      "learning_rate": 1.1425101487842318e-06,
+      "loss": 0.5797,
+      "step": 1958
+    },
+    {
+      "epoch": 2.0885333333333334,
+      "grad_norm": 0.584963321685791,
+      "learning_rate": 1.1400692809106198e-06,
+      "loss": 0.5202,
+      "step": 1959
+    },
+    {
+      "epoch": 2.0896,
+      "grad_norm": 0.5479303002357483,
+      "learning_rate": 1.1376302528230187e-06,
+      "loss": 0.5123,
+      "step": 1960
+    },
+    {
+      "epoch": 2.0906666666666665,
+      "grad_norm": 0.5171927809715271,
+      "learning_rate": 1.1351930678210738e-06,
+      "loss": 0.5081,
+      "step": 1961
+    },
+    {
+      "epoch": 2.0917333333333334,
+      "grad_norm": 0.5712481737136841,
+      "learning_rate": 1.1327577292019359e-06,
+      "loss": 0.5772,
+      "step": 1962
+    },
+    {
+      "epoch": 2.0928,
+      "grad_norm": 0.5113205909729004,
+      "learning_rate": 1.1303242402602617e-06,
+      "loss": 0.4857,
+      "step": 1963
+    },
+    {
+      "epoch": 2.0938666666666665,
+      "grad_norm": 0.6491210460662842,
+      "learning_rate": 1.1278926042882026e-06,
+      "loss": 0.5678,
+      "step": 1964
+    },
+    {
+      "epoch": 2.0949333333333335,
+      "grad_norm": 0.5297279953956604,
+      "learning_rate": 1.1254628245754031e-06,
+      "loss": 0.5207,
+      "step": 1965
+    },
+    {
+      "epoch": 2.096,
+      "grad_norm": 0.5820677280426025,
+      "learning_rate": 1.1230349044089992e-06,
+      "loss": 0.5275,
+      "step": 1966
+    },
+    {
+      "epoch": 2.0970666666666666,
+      "grad_norm": 0.5983148217201233,
+      "learning_rate": 1.1206088470736073e-06,
+      "loss": 0.5512,
+      "step": 1967
+    },
+    {
+      "epoch": 2.098133333333333,
+      "grad_norm": 0.5799309611320496,
+      "learning_rate": 1.1181846558513277e-06,
+      "loss": 0.556,
+      "step": 1968
+    },
+    {
+      "epoch": 2.0992,
+      "grad_norm": 0.539401650428772,
+      "learning_rate": 1.1157623340217325e-06,
+      "loss": 0.5265,
+      "step": 1969
+    },
+    {
+      "epoch": 2.1002666666666667,
+      "grad_norm": 0.563730001449585,
+      "learning_rate": 1.113341884861867e-06,
+      "loss": 0.5334,
+      "step": 1970
+    },
+    {
+      "epoch": 2.1013333333333333,
+      "grad_norm": 0.5880308151245117,
+      "learning_rate": 1.1109233116462434e-06,
+      "loss": 0.5275,
+      "step": 1971
+    },
+    {
+      "epoch": 2.1024,
+      "grad_norm": 0.6275655627250671,
+      "learning_rate": 1.1085066176468338e-06,
+      "loss": 0.566,
+      "step": 1972
+    },
+    {
+      "epoch": 2.103466666666667,
+      "grad_norm": 0.5944007635116577,
+      "learning_rate": 1.1060918061330708e-06,
+      "loss": 0.5675,
+      "step": 1973
+    },
+    {
+      "epoch": 2.1045333333333334,
+      "grad_norm": 0.5988786220550537,
+      "learning_rate": 1.1036788803718368e-06,
+      "loss": 0.5112,
+      "step": 1974
+    },
+    {
+      "epoch": 2.1056,
+      "grad_norm": 0.6023604273796082,
+      "learning_rate": 1.1012678436274673e-06,
+      "loss": 0.5499,
+      "step": 1975
+    },
+    {
+      "epoch": 2.1066666666666665,
+      "grad_norm": 0.5482395887374878,
+      "learning_rate": 1.0988586991617386e-06,
+      "loss": 0.5349,
+      "step": 1976
+    },
+    {
+      "epoch": 2.1077333333333335,
+      "grad_norm": 0.5086895227432251,
+      "learning_rate": 1.096451450233868e-06,
+      "loss": 0.4655,
+      "step": 1977
+    },
+    {
+      "epoch": 2.1088,
+      "grad_norm": 0.5548471808433533,
+      "learning_rate": 1.0940461001005104e-06,
+      "loss": 0.5096,
+      "step": 1978
+    },
+    {
+      "epoch": 2.1098666666666666,
+      "grad_norm": 0.5107628107070923,
+      "learning_rate": 1.091642652015749e-06,
+      "loss": 0.5533,
+      "step": 1979
+    },
+    {
+      "epoch": 2.1109333333333336,
+      "grad_norm": 0.5831104516983032,
+      "learning_rate": 1.0892411092310954e-06,
+      "loss": 0.5426,
+      "step": 1980
+    },
+    {
+      "epoch": 2.112,
+      "grad_norm": 0.5468901991844177,
+      "learning_rate": 1.086841474995484e-06,
+      "loss": 0.5612,
+      "step": 1981
+    },
+    {
+      "epoch": 2.1130666666666666,
+      "grad_norm": 0.656074047088623,
+      "learning_rate": 1.084443752555265e-06,
+      "loss": 0.5081,
+      "step": 1982
+    },
+    {
+      "epoch": 2.114133333333333,
+      "grad_norm": 0.5445921421051025,
+      "learning_rate": 1.0820479451542059e-06,
+      "loss": 0.5001,
+      "step": 1983
+    },
+    {
+      "epoch": 2.1152,
+      "grad_norm": 0.6055880188941956,
+      "learning_rate": 1.0796540560334794e-06,
+      "loss": 0.5932,
+      "step": 1984
+    },
+    {
+      "epoch": 2.1162666666666667,
+      "grad_norm": 0.6210678815841675,
+      "learning_rate": 1.077262088431667e-06,
+      "loss": 0.5597,
+      "step": 1985
+    },
+    {
+      "epoch": 2.1173333333333333,
+      "grad_norm": 0.5986397862434387,
+      "learning_rate": 1.0748720455847464e-06,
+      "loss": 0.5799,
+      "step": 1986
+    },
+    {
+      "epoch": 2.1184,
+      "grad_norm": 0.5931581854820251,
+      "learning_rate": 1.0724839307260955e-06,
+      "loss": 0.5693,
+      "step": 1987
+    },
+    {
+      "epoch": 2.119466666666667,
+      "grad_norm": 0.6203857064247131,
+      "learning_rate": 1.0700977470864807e-06,
+      "loss": 0.5699,
+      "step": 1988
+    },
+    {
+      "epoch": 2.1205333333333334,
+      "grad_norm": 0.5313528776168823,
+      "learning_rate": 1.0677134978940576e-06,
+      "loss": 0.5173,
+      "step": 1989
+    },
+    {
+      "epoch": 2.1216,
+      "grad_norm": 0.5395098924636841,
+      "learning_rate": 1.0653311863743653e-06,
+      "loss": 0.5294,
+      "step": 1990
+    },
+    {
+      "epoch": 2.1226666666666665,
+      "grad_norm": 0.5761310458183289,
+      "learning_rate": 1.0629508157503194e-06,
+      "loss": 0.5266,
+      "step": 1991
+    },
+    {
+      "epoch": 2.1237333333333335,
+      "grad_norm": 0.5517644882202148,
+      "learning_rate": 1.0605723892422111e-06,
+      "loss": 0.5222,
+      "step": 1992
+    },
+    {
+      "epoch": 2.1248,
+      "grad_norm": 0.5455965995788574,
+      "learning_rate": 1.0581959100677002e-06,
+      "loss": 0.5214,
+      "step": 1993
+    },
+    {
+      "epoch": 2.1258666666666666,
+      "grad_norm": 0.5511570572853088,
+      "learning_rate": 1.055821381441815e-06,
+      "loss": 0.5312,
+      "step": 1994
+    },
+    {
+      "epoch": 2.1269333333333336,
+      "grad_norm": 0.577914297580719,
+      "learning_rate": 1.053448806576941e-06,
+      "loss": 0.5928,
+      "step": 1995
+    },
+    {
+      "epoch": 2.128,
+      "grad_norm": 0.5714656114578247,
+      "learning_rate": 1.0510781886828247e-06,
+      "loss": 0.5314,
+      "step": 1996
+    },
+    {
+      "epoch": 2.1290666666666667,
+      "grad_norm": 0.5726284384727478,
+      "learning_rate": 1.0487095309665612e-06,
+      "loss": 0.5336,
+      "step": 1997
+    },
+    {
+      "epoch": 2.130133333333333,
+      "grad_norm": 0.5546801686286926,
+      "learning_rate": 1.0463428366325975e-06,
+      "loss": 0.5132,
+      "step": 1998
+    },
+    {
+      "epoch": 2.1312,
+      "grad_norm": 0.5761683583259583,
+      "learning_rate": 1.0439781088827202e-06,
+      "loss": 0.5218,
+      "step": 1999
+    },
+    {
+      "epoch": 2.1322666666666668,
+      "grad_norm": 0.5767887234687805,
+      "learning_rate": 1.04161535091606e-06,
+      "loss": 0.5599,
+      "step": 2000
+    },
+    {
+      "epoch": 2.1333333333333333,
+      "grad_norm": 0.5805522799491882,
+      "learning_rate": 1.0392545659290789e-06,
+      "loss": 0.5464,
+      "step": 2001
+    },
+    {
+      "epoch": 2.1344,
+      "grad_norm": 0.5446550846099854,
+      "learning_rate": 1.0368957571155727e-06,
+      "loss": 0.5512,
+      "step": 2002
+    },
+    {
+      "epoch": 2.135466666666667,
+      "grad_norm": 0.5859853029251099,
+      "learning_rate": 1.0345389276666607e-06,
+      "loss": 0.5458,
+      "step": 2003
+    },
+    {
+      "epoch": 2.1365333333333334,
+      "grad_norm": 0.6816343665122986,
+      "learning_rate": 1.032184080770788e-06,
+      "loss": 0.5985,
+      "step": 2004
+    },
+    {
+      "epoch": 2.1376,
+      "grad_norm": 0.6137908101081848,
+      "learning_rate": 1.0298312196137138e-06,
+      "loss": 0.5986,
+      "step": 2005
+    },
+    {
+      "epoch": 2.1386666666666665,
+      "grad_norm": 0.5871024131774902,
+      "learning_rate": 1.0274803473785148e-06,
+      "loss": 0.5677,
+      "step": 2006
+    },
+    {
+      "epoch": 2.1397333333333335,
+      "grad_norm": 0.6219473481178284,
+      "learning_rate": 1.0251314672455737e-06,
+      "loss": 0.6108,
+      "step": 2007
+    },
+    {
+      "epoch": 2.1408,
+      "grad_norm": 0.5645517110824585,
+      "learning_rate": 1.0227845823925785e-06,
+      "loss": 0.5677,
+      "step": 2008
+    },
+    {
+      "epoch": 2.1418666666666666,
+      "grad_norm": 0.6285390257835388,
+      "learning_rate": 1.0204396959945212e-06,
+      "loss": 0.561,
+      "step": 2009
+    },
+    {
+      "epoch": 2.142933333333333,
+      "grad_norm": 0.5604811310768127,
+      "learning_rate": 1.0180968112236855e-06,
+      "loss": 0.5702,
+      "step": 2010
+    },
+    {
+      "epoch": 2.144,
+      "grad_norm": 0.5761069655418396,
+      "learning_rate": 1.0157559312496517e-06,
+      "loss": 0.5269,
+      "step": 2011
+    },
+    {
+      "epoch": 2.1450666666666667,
+      "grad_norm": 0.6039048433303833,
+      "learning_rate": 1.0134170592392837e-06,
+      "loss": 0.577,
+      "step": 2012
+    },
+    {
+      "epoch": 2.1461333333333332,
+      "grad_norm": 0.5595918297767639,
+      "learning_rate": 1.0110801983567323e-06,
+      "loss": 0.5242,
+      "step": 2013
+    },
+    {
+      "epoch": 2.1471999999999998,
+      "grad_norm": 0.5823515057563782,
+      "learning_rate": 1.008745351763425e-06,
+      "loss": 0.5296,
+      "step": 2014
+    },
+    {
+      "epoch": 2.1482666666666668,
+      "grad_norm": 0.6052217483520508,
+      "learning_rate": 1.0064125226180667e-06,
+      "loss": 0.5679,
+      "step": 2015
+    },
+    {
+      "epoch": 2.1493333333333333,
+      "grad_norm": 0.5503516793251038,
+      "learning_rate": 1.0040817140766306e-06,
+      "loss": 0.4951,
+      "step": 2016
+    },
+    {
+      "epoch": 2.1504,
+      "grad_norm": 0.5656489133834839,
+      "learning_rate": 1.0017529292923586e-06,
+      "loss": 0.5602,
+      "step": 2017
+    },
+    {
+      "epoch": 2.151466666666667,
+      "grad_norm": 0.5811589956283569,
+      "learning_rate": 9.994261714157522e-07,
+      "loss": 0.5522,
+      "step": 2018
+    },
+    {
+      "epoch": 2.1525333333333334,
+      "grad_norm": 0.5971390604972839,
+      "learning_rate": 9.97101443594574e-07,
+      "loss": 0.5426,
+      "step": 2019
+    },
+    {
+      "epoch": 2.1536,
+      "grad_norm": 0.5795657634735107,
+      "learning_rate": 9.947787489738359e-07,
+      "loss": 0.5783,
+      "step": 2020
+    },
+    {
+      "epoch": 2.1546666666666665,
+      "grad_norm": 0.600114107131958,
+      "learning_rate": 9.924580906958046e-07,
+      "loss": 0.5433,
+      "step": 2021
+    },
+    {
+      "epoch": 2.1557333333333335,
+      "grad_norm": 0.5910055041313171,
+      "learning_rate": 9.90139471899987e-07,
+      "loss": 0.5353,
+      "step": 2022
+    },
+    {
+      "epoch": 2.1568,
+      "grad_norm": 0.5579214096069336,
+      "learning_rate": 9.878228957231339e-07,
+      "loss": 0.5456,
+      "step": 2023
+    },
+    {
+      "epoch": 2.1578666666666666,
+      "grad_norm": 0.5730103850364685,
+      "learning_rate": 9.855083652992304e-07,
+      "loss": 0.5066,
+      "step": 2024
+    },
+    {
+      "epoch": 2.158933333333333,
+      "grad_norm": 0.6051849722862244,
+      "learning_rate": 9.83195883759496e-07,
+      "loss": 0.495,
+      "step": 2025
+    },
+    {
+      "epoch": 2.16,
+      "grad_norm": 0.529668927192688,
+      "learning_rate": 9.808854542323792e-07,
+      "loss": 0.506,
+      "step": 2026
+    },
+    {
+      "epoch": 2.1610666666666667,
+      "grad_norm": 0.5591755509376526,
+      "learning_rate": 9.785770798435487e-07,
+      "loss": 0.5849,
+      "step": 2027
+    },
+    {
+      "epoch": 2.1621333333333332,
+      "grad_norm": 0.5689535737037659,
+      "learning_rate": 9.76270763715897e-07,
+      "loss": 0.5506,
+      "step": 2028
+    },
+    {
+      "epoch": 2.1632,
+      "grad_norm": 0.5651264786720276,
+      "learning_rate": 9.739665089695285e-07,
+      "loss": 0.5537,
+      "step": 2029
+    },
+    {
+      "epoch": 2.164266666666667,
+      "grad_norm": 0.5339370965957642,
+      "learning_rate": 9.716643187217622e-07,
+      "loss": 0.4935,
+      "step": 2030
+    },
+    {
+      "epoch": 2.1653333333333333,
+      "grad_norm": 0.5934387445449829,
+      "learning_rate": 9.693641960871209e-07,
+      "loss": 0.5116,
+      "step": 2031
+    },
+    {
+      "epoch": 2.1664,
+      "grad_norm": 0.579507052898407,
+      "learning_rate": 9.670661441773336e-07,
+      "loss": 0.5747,
+      "step": 2032
+    },
+    {
+      "epoch": 2.167466666666667,
+      "grad_norm": 0.5288676023483276,
+      "learning_rate": 9.647701661013242e-07,
+      "loss": 0.493,
+      "step": 2033
+    },
+    {
+      "epoch": 2.1685333333333334,
+      "grad_norm": 0.55874103307724,
+      "learning_rate": 9.62476264965215e-07,
+      "loss": 0.5019,
+      "step": 2034
+    },
+    {
+      "epoch": 2.1696,
+      "grad_norm": 0.5492939949035645,
+      "learning_rate": 9.601844438723143e-07,
+      "loss": 0.5429,
+      "step": 2035
+    },
+    {
+      "epoch": 2.1706666666666665,
+      "grad_norm": 0.5544688701629639,
+      "learning_rate": 9.578947059231208e-07,
+      "loss": 0.5091,
+      "step": 2036
+    },
+    {
+      "epoch": 2.1717333333333335,
+      "grad_norm": 0.6270142793655396,
+      "learning_rate": 9.556070542153115e-07,
+      "loss": 0.5959,
+      "step": 2037
+    },
+    {
+      "epoch": 2.1728,
+      "grad_norm": 0.5455418229103088,
+      "learning_rate": 9.533214918437422e-07,
+      "loss": 0.526,
+      "step": 2038
+    },
+    {
+      "epoch": 2.1738666666666666,
+      "grad_norm": 0.6009964942932129,
+      "learning_rate": 9.51038021900442e-07,
+      "loss": 0.5567,
+      "step": 2039
+    },
+    {
+      "epoch": 2.174933333333333,
+      "grad_norm": 0.5218198299407959,
+      "learning_rate": 9.487566474746104e-07,
+      "loss": 0.4971,
+      "step": 2040
+    },
+    {
+      "epoch": 2.176,
+      "grad_norm": 0.5542805790901184,
+      "learning_rate": 9.464773716526101e-07,
+      "loss": 0.4931,
+      "step": 2041
+    },
+    {
+      "epoch": 2.1770666666666667,
+      "grad_norm": 0.5713418126106262,
+      "learning_rate": 9.442001975179669e-07,
+      "loss": 0.5712,
+      "step": 2042
+    },
+    {
+      "epoch": 2.1781333333333333,
+      "grad_norm": 0.5816754102706909,
+      "learning_rate": 9.419251281513606e-07,
+      "loss": 0.5455,
+      "step": 2043
+    },
+    {
+      "epoch": 2.1792,
+      "grad_norm": 0.6008051037788391,
+      "learning_rate": 9.396521666306254e-07,
+      "loss": 0.5763,
+      "step": 2044
+    },
+    {
+      "epoch": 2.180266666666667,
+      "grad_norm": 0.6195715069770813,
+      "learning_rate": 9.373813160307452e-07,
+      "loss": 0.5388,
+      "step": 2045
+    },
+    {
+      "epoch": 2.1813333333333333,
+      "grad_norm": 0.5859052538871765,
+      "learning_rate": 9.351125794238444e-07,
+      "loss": 0.555,
+      "step": 2046
+    },
+    {
+      "epoch": 2.1824,
+      "grad_norm": 0.5943363308906555,
+      "learning_rate": 9.328459598791908e-07,
+      "loss": 0.5178,
+      "step": 2047
+    },
+    {
+      "epoch": 2.183466666666667,
+      "grad_norm": 0.5554051399230957,
+      "learning_rate": 9.30581460463186e-07,
+      "loss": 0.5216,
+      "step": 2048
+    },
+    {
+      "epoch": 2.1845333333333334,
+      "grad_norm": 0.5342950224876404,
+      "learning_rate": 9.283190842393655e-07,
+      "loss": 0.4783,
+      "step": 2049
+    },
+    {
+      "epoch": 2.1856,
+      "grad_norm": 0.5493296384811401,
+      "learning_rate": 9.260588342683902e-07,
+      "loss": 0.4864,
+      "step": 2050
+    },
+    {
+      "epoch": 2.1866666666666665,
+      "grad_norm": 0.5886991024017334,
+      "learning_rate": 9.238007136080448e-07,
+      "loss": 0.5575,
+      "step": 2051
+    },
+    {
+      "epoch": 2.1877333333333335,
+      "grad_norm": 0.5620487332344055,
+      "learning_rate": 9.215447253132362e-07,
+      "loss": 0.5812,
+      "step": 2052
+    },
+    {
+      "epoch": 2.1888,
+      "grad_norm": 0.5663284063339233,
+      "learning_rate": 9.192908724359825e-07,
+      "loss": 0.5068,
+      "step": 2053
+    },
+    {
+      "epoch": 2.1898666666666666,
+      "grad_norm": 0.5591151714324951,
+      "learning_rate": 9.170391580254148e-07,
+      "loss": 0.5213,
+      "step": 2054
+    },
+    {
+      "epoch": 2.190933333333333,
+      "grad_norm": 0.592227578163147,
+      "learning_rate": 9.147895851277727e-07,
+      "loss": 0.5575,
+      "step": 2055
+    },
+    {
+      "epoch": 2.192,
+      "grad_norm": 0.5500637292861938,
+      "learning_rate": 9.125421567863949e-07,
+      "loss": 0.5214,
+      "step": 2056
+    },
+    {
+      "epoch": 2.1930666666666667,
+      "grad_norm": 0.5776407122612,
+      "learning_rate": 9.10296876041723e-07,
+      "loss": 0.5489,
+      "step": 2057
+    },
+    {
+      "epoch": 2.1941333333333333,
+      "grad_norm": 0.6105439066886902,
+      "learning_rate": 9.080537459312896e-07,
+      "loss": 0.5474,
+      "step": 2058
+    },
+    {
+      "epoch": 2.1952,
+      "grad_norm": 0.5926482677459717,
+      "learning_rate": 9.058127694897209e-07,
+      "loss": 0.547,
+      "step": 2059
+    },
+    {
+      "epoch": 2.196266666666667,
+      "grad_norm": 0.5561122298240662,
+      "learning_rate": 9.035739497487267e-07,
+      "loss": 0.5022,
+      "step": 2060
+    },
+    {
+      "epoch": 2.1973333333333334,
+      "grad_norm": 0.5820502638816833,
+      "learning_rate": 9.01337289737102e-07,
+      "loss": 0.4992,
+      "step": 2061
+    },
+    {
+      "epoch": 2.1984,
+      "grad_norm": 0.5556044578552246,
+      "learning_rate": 8.991027924807164e-07,
+      "loss": 0.4953,
+      "step": 2062
+    },
+    {
+      "epoch": 2.1994666666666665,
+      "grad_norm": 0.590665340423584,
+      "learning_rate": 8.96870461002517e-07,
+      "loss": 0.5489,
+      "step": 2063
+    },
+    {
+      "epoch": 2.2005333333333335,
+      "grad_norm": 0.6162412166595459,
+      "learning_rate": 8.9464029832252e-07,
+      "loss": 0.5735,
+      "step": 2064
+    },
+    {
+      "epoch": 2.2016,
+      "grad_norm": 0.6081416010856628,
+      "learning_rate": 8.924123074578067e-07,
+      "loss": 0.5577,
+      "step": 2065
+    },
+    {
+      "epoch": 2.2026666666666666,
+      "grad_norm": 0.6302059888839722,
+      "learning_rate": 8.901864914225202e-07,
+      "loss": 0.5374,
+      "step": 2066
+    },
+    {
+      "epoch": 2.203733333333333,
+      "grad_norm": 0.6405434608459473,
+      "learning_rate": 8.879628532278614e-07,
+      "loss": 0.5873,
+      "step": 2067
+    },
+    {
+      "epoch": 2.2048,
+      "grad_norm": 0.5628075003623962,
+      "learning_rate": 8.857413958820868e-07,
+      "loss": 0.5649,
+      "step": 2068
+    },
+    {
+      "epoch": 2.2058666666666666,
+      "grad_norm": 0.5672374367713928,
+      "learning_rate": 8.835221223904994e-07,
+      "loss": 0.4964,
+      "step": 2069
+    },
+    {
+      "epoch": 2.206933333333333,
+      "grad_norm": 0.5410338044166565,
+      "learning_rate": 8.813050357554509e-07,
+      "loss": 0.5155,
+      "step": 2070
+    },
+    {
+      "epoch": 2.208,
+      "grad_norm": 0.5642537474632263,
+      "learning_rate": 8.790901389763321e-07,
+      "loss": 0.5261,
+      "step": 2071
+    },
+    {
+      "epoch": 2.2090666666666667,
+      "grad_norm": 0.5579466223716736,
+      "learning_rate": 8.768774350495731e-07,
+      "loss": 0.5348,
+      "step": 2072
+    },
+    {
+      "epoch": 2.2101333333333333,
+      "grad_norm": 0.5569579601287842,
+      "learning_rate": 8.746669269686351e-07,
+      "loss": 0.515,
+      "step": 2073
+    },
+    {
+      "epoch": 2.2112,
+      "grad_norm": 0.5726329684257507,
+      "learning_rate": 8.724586177240118e-07,
+      "loss": 0.5002,
+      "step": 2074
+    },
+    {
+      "epoch": 2.212266666666667,
+      "grad_norm": 0.5273937582969666,
+      "learning_rate": 8.702525103032186e-07,
+      "loss": 0.498,
+      "step": 2075
+    },
+    {
+      "epoch": 2.2133333333333334,
+      "grad_norm": 0.5700516700744629,
+      "learning_rate": 8.680486076907959e-07,
+      "loss": 0.5289,
+      "step": 2076
+    },
+    {
+      "epoch": 2.2144,
+      "grad_norm": 0.5850619077682495,
+      "learning_rate": 8.658469128682972e-07,
+      "loss": 0.5216,
+      "step": 2077
+    },
+    {
+      "epoch": 2.2154666666666665,
+      "grad_norm": 0.5674796104431152,
+      "learning_rate": 8.636474288142937e-07,
+      "loss": 0.4693,
+      "step": 2078
+    },
+    {
+      "epoch": 2.2165333333333335,
+      "grad_norm": 0.5981563925743103,
+      "learning_rate": 8.614501585043616e-07,
+      "loss": 0.5618,
+      "step": 2079
+    },
+    {
+      "epoch": 2.2176,
+      "grad_norm": 0.5239196419715881,
+      "learning_rate": 8.592551049110856e-07,
+      "loss": 0.5048,
+      "step": 2080
+    },
+    {
+      "epoch": 2.2186666666666666,
+      "grad_norm": 0.593116819858551,
+      "learning_rate": 8.570622710040491e-07,
+      "loss": 0.5692,
+      "step": 2081
+    },
+    {
+      "epoch": 2.219733333333333,
+      "grad_norm": 0.5372644662857056,
+      "learning_rate": 8.548716597498327e-07,
+      "loss": 0.5257,
+      "step": 2082
+    },
+    {
+      "epoch": 2.2208,
+      "grad_norm": 0.545542299747467,
+      "learning_rate": 8.526832741120125e-07,
+      "loss": 0.4925,
+      "step": 2083
+    },
+    {
+      "epoch": 2.2218666666666667,
+      "grad_norm": 0.5951074361801147,
+      "learning_rate": 8.504971170511506e-07,
+      "loss": 0.568,
+      "step": 2084
+    },
+    {
+      "epoch": 2.222933333333333,
+      "grad_norm": 0.571184515953064,
+      "learning_rate": 8.483131915247969e-07,
+      "loss": 0.5029,
+      "step": 2085
+    },
+    {
+      "epoch": 2.224,
+      "grad_norm": 0.5529885292053223,
+      "learning_rate": 8.461315004874796e-07,
+      "loss": 0.5982,
+      "step": 2086
+    },
+    {
+      "epoch": 2.2250666666666667,
+      "grad_norm": 0.576643705368042,
+      "learning_rate": 8.43952046890707e-07,
+      "loss": 0.562,
+      "step": 2087
+    },
+    {
+      "epoch": 2.2261333333333333,
+      "grad_norm": 0.6097579598426819,
+      "learning_rate": 8.417748336829573e-07,
+      "loss": 0.5303,
+      "step": 2088
+    },
+    {
+      "epoch": 2.2272,
+      "grad_norm": 0.5668955445289612,
+      "learning_rate": 8.395998638096811e-07,
+      "loss": 0.5142,
+      "step": 2089
+    },
+    {
+      "epoch": 2.228266666666667,
+      "grad_norm": 0.5348567962646484,
+      "learning_rate": 8.374271402132905e-07,
+      "loss": 0.4686,
+      "step": 2090
+    },
+    {
+      "epoch": 2.2293333333333334,
+      "grad_norm": 0.5873087644577026,
+      "learning_rate": 8.352566658331624e-07,
+      "loss": 0.5327,
+      "step": 2091
+    },
+    {
+      "epoch": 2.2304,
+      "grad_norm": 0.5951141119003296,
+      "learning_rate": 8.330884436056272e-07,
+      "loss": 0.5561,
+      "step": 2092
+    },
+    {
+      "epoch": 2.2314666666666665,
+      "grad_norm": 0.5448186993598938,
+      "learning_rate": 8.30922476463972e-07,
+      "loss": 0.5276,
+      "step": 2093
+    },
+    {
+      "epoch": 2.2325333333333335,
+      "grad_norm": 0.535361111164093,
+      "learning_rate": 8.287587673384298e-07,
+      "loss": 0.5215,
+      "step": 2094
+    },
+    {
+      "epoch": 2.2336,
+      "grad_norm": 0.5738558173179626,
+      "learning_rate": 8.265973191561824e-07,
+      "loss": 0.5323,
+      "step": 2095
+    },
+    {
+      "epoch": 2.2346666666666666,
+      "grad_norm": 0.5859645009040833,
+      "learning_rate": 8.244381348413496e-07,
+      "loss": 0.5287,
+      "step": 2096
+    },
+    {
+      "epoch": 2.235733333333333,
+      "grad_norm": 0.5580891370773315,
+      "learning_rate": 8.2228121731499e-07,
+      "loss": 0.5478,
+      "step": 2097
+    },
+    {
+      "epoch": 2.2368,
+      "grad_norm": 0.6400141716003418,
+      "learning_rate": 8.201265694950947e-07,
+      "loss": 0.5678,
+      "step": 2098
+    },
+    {
+      "epoch": 2.2378666666666667,
+      "grad_norm": 0.590736985206604,
+      "learning_rate": 8.179741942965854e-07,
+      "loss": 0.5282,
+      "step": 2099
+    },
+    {
+      "epoch": 2.238933333333333,
+      "grad_norm": 0.580832302570343,
+      "learning_rate": 8.158240946313101e-07,
+      "loss": 0.5399,
+      "step": 2100
+    },
+    {
+      "epoch": 2.24,
+      "grad_norm": 0.5894486308097839,
+      "learning_rate": 8.13676273408035e-07,
+      "loss": 0.5518,
+      "step": 2101
+    },
+    {
+      "epoch": 2.2410666666666668,
+      "grad_norm": 0.5787906050682068,
+      "learning_rate": 8.11530733532448e-07,
+      "loss": 0.5772,
+      "step": 2102
+    },
+    {
+      "epoch": 2.2421333333333333,
+      "grad_norm": 0.5960515737533569,
+      "learning_rate": 8.093874779071465e-07,
+      "loss": 0.5217,
+      "step": 2103
+    },
+    {
+      "epoch": 2.2432,
+      "grad_norm": 0.552178144454956,
+      "learning_rate": 8.072465094316418e-07,
+      "loss": 0.5614,
+      "step": 2104
+    },
+    {
+      "epoch": 2.244266666666667,
+      "grad_norm": 0.5917844772338867,
+      "learning_rate": 8.051078310023469e-07,
+      "loss": 0.5297,
+      "step": 2105
+    },
+    {
+      "epoch": 2.2453333333333334,
+      "grad_norm": 0.6294974684715271,
+      "learning_rate": 8.029714455125809e-07,
+      "loss": 0.57,
+      "step": 2106
+    },
+    {
+      "epoch": 2.2464,
+      "grad_norm": 0.6084240078926086,
+      "learning_rate": 8.008373558525568e-07,
+      "loss": 0.5803,
+      "step": 2107
+    },
+    {
+      "epoch": 2.2474666666666665,
+      "grad_norm": 0.5830882787704468,
+      "learning_rate": 7.987055649093855e-07,
+      "loss": 0.5226,
+      "step": 2108
+    },
+    {
+      "epoch": 2.2485333333333335,
+      "grad_norm": 0.5257877111434937,
+      "learning_rate": 7.965760755670646e-07,
+      "loss": 0.5186,
+      "step": 2109
+    },
+    {
+      "epoch": 2.2496,
+      "grad_norm": 0.5937321782112122,
+      "learning_rate": 7.944488907064812e-07,
+      "loss": 0.5983,
+      "step": 2110
+    },
+    {
+      "epoch": 2.2506666666666666,
+      "grad_norm": 0.6028729677200317,
+      "learning_rate": 7.923240132054025e-07,
+      "loss": 0.5746,
+      "step": 2111
+    },
+    {
+      "epoch": 2.251733333333333,
+      "grad_norm": 0.5760929584503174,
+      "learning_rate": 7.902014459384744e-07,
+      "loss": 0.5414,
+      "step": 2112
+    },
+    {
+      "epoch": 2.2528,
+      "grad_norm": 0.6098974943161011,
+      "learning_rate": 7.880811917772174e-07,
+      "loss": 0.5977,
+      "step": 2113
+    },
+    {
+      "epoch": 2.2538666666666667,
+      "grad_norm": 0.5387048721313477,
+      "learning_rate": 7.859632535900249e-07,
+      "loss": 0.5234,
+      "step": 2114
+    },
+    {
+      "epoch": 2.2549333333333332,
+      "grad_norm": 0.5575622320175171,
+      "learning_rate": 7.838476342421536e-07,
+      "loss": 0.4887,
+      "step": 2115
+    },
+    {
+      "epoch": 2.2560000000000002,
+      "grad_norm": 0.5173914432525635,
+      "learning_rate": 7.817343365957266e-07,
+      "loss": 0.4951,
+      "step": 2116
+    },
+    {
+      "epoch": 2.2570666666666668,
+      "grad_norm": 0.5869449377059937,
+      "learning_rate": 7.796233635097228e-07,
+      "loss": 0.553,
+      "step": 2117
+    },
+    {
+      "epoch": 2.2581333333333333,
+      "grad_norm": 0.5391082167625427,
+      "learning_rate": 7.775147178399786e-07,
+      "loss": 0.4972,
+      "step": 2118
+    },
+    {
+      "epoch": 2.2592,
+      "grad_norm": 0.5923578143119812,
+      "learning_rate": 7.754084024391822e-07,
+      "loss": 0.5577,
+      "step": 2119
+    },
+    {
+      "epoch": 2.2602666666666664,
+      "grad_norm": 0.6544821858406067,
+      "learning_rate": 7.733044201568663e-07,
+      "loss": 0.55,
+      "step": 2120
+    },
+    {
+      "epoch": 2.2613333333333334,
+      "grad_norm": 0.5964756608009338,
+      "learning_rate": 7.712027738394109e-07,
+      "loss": 0.5453,
+      "step": 2121
+    },
+    {
+      "epoch": 2.2624,
+      "grad_norm": 0.6140027046203613,
+      "learning_rate": 7.691034663300323e-07,
+      "loss": 0.537,
+      "step": 2122
+    },
+    {
+      "epoch": 2.2634666666666665,
+      "grad_norm": 0.56719571352005,
+      "learning_rate": 7.670065004687862e-07,
+      "loss": 0.5365,
+      "step": 2123
+    },
+    {
+      "epoch": 2.2645333333333335,
+      "grad_norm": 0.588505208492279,
+      "learning_rate": 7.649118790925575e-07,
+      "loss": 0.5502,
+      "step": 2124
+    },
+    {
+      "epoch": 2.2656,
+      "grad_norm": 0.5829797387123108,
+      "learning_rate": 7.628196050350601e-07,
+      "loss": 0.5307,
+      "step": 2125
+    },
+    {
+      "epoch": 2.2666666666666666,
+      "grad_norm": 0.5846615433692932,
+      "learning_rate": 7.607296811268338e-07,
+      "loss": 0.5543,
+      "step": 2126
+    },
+    {
+      "epoch": 2.267733333333333,
+      "grad_norm": 0.5283834338188171,
+      "learning_rate": 7.586421101952376e-07,
+      "loss": 0.5281,
+      "step": 2127
+    },
+    {
+      "epoch": 2.2688,
+      "grad_norm": 0.5763760805130005,
+      "learning_rate": 7.565568950644464e-07,
+      "loss": 0.4942,
+      "step": 2128
+    },
+    {
+      "epoch": 2.2698666666666667,
+      "grad_norm": 0.5524572730064392,
+      "learning_rate": 7.544740385554511e-07,
+      "loss": 0.5404,
+      "step": 2129
+    },
+    {
+      "epoch": 2.2709333333333332,
+      "grad_norm": 0.5165268778800964,
+      "learning_rate": 7.52393543486048e-07,
+      "loss": 0.5128,
+      "step": 2130
+    },
+    {
+      "epoch": 2.2720000000000002,
+      "grad_norm": 0.6210837960243225,
+      "learning_rate": 7.503154126708423e-07,
+      "loss": 0.6044,
+      "step": 2131
+    },
+    {
+      "epoch": 2.273066666666667,
+      "grad_norm": 0.5734737515449524,
+      "learning_rate": 7.482396489212373e-07,
+      "loss": 0.5473,
+      "step": 2132
+    },
+    {
+      "epoch": 2.2741333333333333,
+      "grad_norm": 0.5944502949714661,
+      "learning_rate": 7.461662550454374e-07,
+      "loss": 0.5699,
+      "step": 2133
+    },
+    {
+      "epoch": 2.2752,
+      "grad_norm": 0.6464000344276428,
+      "learning_rate": 7.440952338484378e-07,
+      "loss": 0.5804,
+      "step": 2134
+    },
+    {
+      "epoch": 2.2762666666666664,
+      "grad_norm": 0.5660073757171631,
+      "learning_rate": 7.420265881320262e-07,
+      "loss": 0.5268,
+      "step": 2135
+    },
+    {
+      "epoch": 2.2773333333333334,
+      "grad_norm": 0.5786594748497009,
+      "learning_rate": 7.399603206947747e-07,
+      "loss": 0.5635,
+      "step": 2136
+    },
+    {
+      "epoch": 2.2784,
+      "grad_norm": 0.5887163281440735,
+      "learning_rate": 7.378964343320394e-07,
+      "loss": 0.558,
+      "step": 2137
+    },
+    {
+      "epoch": 2.2794666666666665,
+      "grad_norm": 0.5443077683448792,
+      "learning_rate": 7.358349318359553e-07,
+      "loss": 0.5222,
+      "step": 2138
+    },
+    {
+      "epoch": 2.2805333333333335,
+      "grad_norm": 0.5990632176399231,
+      "learning_rate": 7.337758159954314e-07,
+      "loss": 0.5674,
+      "step": 2139
+    },
+    {
+      "epoch": 2.2816,
+      "grad_norm": 0.5847434997558594,
+      "learning_rate": 7.317190895961468e-07,
+      "loss": 0.5478,
+      "step": 2140
+    },
+    {
+      "epoch": 2.2826666666666666,
+      "grad_norm": 0.573564887046814,
+      "learning_rate": 7.296647554205514e-07,
+      "loss": 0.5492,
+      "step": 2141
+    },
+    {
+      "epoch": 2.283733333333333,
+      "grad_norm": 0.571886420249939,
+      "learning_rate": 7.27612816247856e-07,
+      "loss": 0.489,
+      "step": 2142
+    },
+    {
+      "epoch": 2.2848,
+      "grad_norm": 0.6117568016052246,
+      "learning_rate": 7.255632748540312e-07,
+      "loss": 0.5642,
+      "step": 2143
+    },
+    {
+      "epoch": 2.2858666666666667,
+      "grad_norm": 0.5740789771080017,
+      "learning_rate": 7.235161340118066e-07,
+      "loss": 0.5635,
+      "step": 2144
+    },
+    {
+      "epoch": 2.2869333333333333,
+      "grad_norm": 0.5822352766990662,
+      "learning_rate": 7.214713964906602e-07,
+      "loss": 0.5134,
+      "step": 2145
+    },
+    {
+      "epoch": 2.288,
+      "grad_norm": 0.6193169951438904,
+      "learning_rate": 7.194290650568231e-07,
+      "loss": 0.5399,
+      "step": 2146
+    },
+    {
+      "epoch": 2.289066666666667,
+      "grad_norm": 0.637004017829895,
+      "learning_rate": 7.173891424732667e-07,
+      "loss": 0.5789,
+      "step": 2147
+    },
+    {
+      "epoch": 2.2901333333333334,
+      "grad_norm": 0.5810766220092773,
+      "learning_rate": 7.153516314997081e-07,
+      "loss": 0.5847,
+      "step": 2148
+    },
+    {
+      "epoch": 2.2912,
+      "grad_norm": 0.5804557204246521,
+      "learning_rate": 7.133165348925978e-07,
+      "loss": 0.5459,
+      "step": 2149
+    },
+    {
+      "epoch": 2.2922666666666665,
+      "grad_norm": 0.5641734004020691,
+      "learning_rate": 7.11283855405123e-07,
+      "loss": 0.4844,
+      "step": 2150
+    },
+    {
+      "epoch": 2.2933333333333334,
+      "grad_norm": 0.517396092414856,
+      "learning_rate": 7.092535957871985e-07,
+      "loss": 0.515,
+      "step": 2151
+    },
+    {
+      "epoch": 2.2944,
+      "grad_norm": 0.5628241896629333,
+      "learning_rate": 7.072257587854683e-07,
+      "loss": 0.5202,
+      "step": 2152
+    },
+    {
+      "epoch": 2.2954666666666665,
+      "grad_norm": 0.5393465757369995,
+      "learning_rate": 7.052003471432956e-07,
+      "loss": 0.5025,
+      "step": 2153
+    },
+    {
+      "epoch": 2.2965333333333335,
+      "grad_norm": 0.5430815815925598,
+      "learning_rate": 7.031773636007653e-07,
+      "loss": 0.5177,
+      "step": 2154
+    },
+    {
+      "epoch": 2.2976,
+      "grad_norm": 0.5273514986038208,
+      "learning_rate": 7.011568108946759e-07,
+      "loss": 0.5207,
+      "step": 2155
+    },
+    {
+      "epoch": 2.2986666666666666,
+      "grad_norm": 0.6141219735145569,
+      "learning_rate": 6.991386917585369e-07,
+      "loss": 0.5798,
+      "step": 2156
+    },
+    {
+      "epoch": 2.299733333333333,
+      "grad_norm": 0.5463828444480896,
+      "learning_rate": 6.971230089225678e-07,
+      "loss": 0.5372,
+      "step": 2157
+    },
+    {
+      "epoch": 2.3008,
+      "grad_norm": 0.5647149085998535,
+      "learning_rate": 6.95109765113689e-07,
+      "loss": 0.5461,
+      "step": 2158
+    },
+    {
+      "epoch": 2.3018666666666667,
+      "grad_norm": 0.5486133098602295,
+      "learning_rate": 6.930989630555246e-07,
+      "loss": 0.5606,
+      "step": 2159
+    },
+    {
+      "epoch": 2.3029333333333333,
+      "grad_norm": 0.5877485275268555,
+      "learning_rate": 6.910906054683919e-07,
+      "loss": 0.562,
+      "step": 2160
+    },
+    {
+      "epoch": 2.304,
+      "grad_norm": 0.5545321702957153,
+      "learning_rate": 6.890846950693047e-07,
+      "loss": 0.5419,
+      "step": 2161
+    },
+    {
+      "epoch": 2.305066666666667,
+      "grad_norm": 0.5702171325683594,
+      "learning_rate": 6.87081234571963e-07,
+      "loss": 0.5235,
+      "step": 2162
+    },
+    {
+      "epoch": 2.3061333333333334,
+      "grad_norm": 0.6140770316123962,
+      "learning_rate": 6.850802266867551e-07,
+      "loss": 0.5549,
+      "step": 2163
+    },
+    {
+      "epoch": 2.3072,
+      "grad_norm": 0.5681145191192627,
+      "learning_rate": 6.830816741207489e-07,
+      "loss": 0.5519,
+      "step": 2164
+    },
+    {
+      "epoch": 2.3082666666666665,
+      "grad_norm": 0.5549550652503967,
+      "learning_rate": 6.810855795776927e-07,
+      "loss": 0.5229,
+      "step": 2165
+    },
+    {
+      "epoch": 2.3093333333333335,
+      "grad_norm": 0.5571963787078857,
+      "learning_rate": 6.790919457580072e-07,
+      "loss": 0.5181,
+      "step": 2166
+    },
+    {
+      "epoch": 2.3104,
+      "grad_norm": 0.5379077792167664,
+      "learning_rate": 6.771007753587872e-07,
+      "loss": 0.529,
+      "step": 2167
+    },
+    {
+      "epoch": 2.3114666666666666,
+      "grad_norm": 0.5576977133750916,
+      "learning_rate": 6.75112071073791e-07,
+      "loss": 0.5521,
+      "step": 2168
+    },
+    {
+      "epoch": 2.3125333333333336,
+      "grad_norm": 0.5549098253250122,
+      "learning_rate": 6.731258355934447e-07,
+      "loss": 0.5415,
+      "step": 2169
+    },
+    {
+      "epoch": 2.3136,
+      "grad_norm": 0.5330442786216736,
+      "learning_rate": 6.711420716048311e-07,
+      "loss": 0.5334,
+      "step": 2170
+    },
+    {
+      "epoch": 2.3146666666666667,
+      "grad_norm": 0.5996719598770142,
+      "learning_rate": 6.691607817916914e-07,
+      "loss": 0.5962,
+      "step": 2171
+    },
+    {
+      "epoch": 2.315733333333333,
+      "grad_norm": 0.6260022521018982,
+      "learning_rate": 6.671819688344177e-07,
+      "loss": 0.5957,
+      "step": 2172
+    },
+    {
+      "epoch": 2.3168,
+      "grad_norm": 0.581509530544281,
+      "learning_rate": 6.652056354100536e-07,
+      "loss": 0.5671,
+      "step": 2173
+    },
+    {
+      "epoch": 2.3178666666666667,
+      "grad_norm": 0.5659917593002319,
+      "learning_rate": 6.632317841922878e-07,
+      "loss": 0.5125,
+      "step": 2174
+    },
+    {
+      "epoch": 2.3189333333333333,
+      "grad_norm": 0.5576387047767639,
+      "learning_rate": 6.61260417851449e-07,
+      "loss": 0.5127,
+      "step": 2175
+    },
+    {
+      "epoch": 2.32,
+      "grad_norm": 0.5573277473449707,
+      "learning_rate": 6.592915390545068e-07,
+      "loss": 0.5268,
+      "step": 2176
+    },
+    {
+      "epoch": 2.321066666666667,
+      "grad_norm": 0.54007887840271,
+      "learning_rate": 6.573251504650629e-07,
+      "loss": 0.5558,
+      "step": 2177
+    },
+    {
+      "epoch": 2.3221333333333334,
+      "grad_norm": 0.543655514717102,
+      "learning_rate": 6.553612547433533e-07,
+      "loss": 0.5681,
+      "step": 2178
+    },
+    {
+      "epoch": 2.3232,
+      "grad_norm": 0.5757970809936523,
+      "learning_rate": 6.533998545462377e-07,
+      "loss": 0.5741,
+      "step": 2179
+    },
+    {
+      "epoch": 2.3242666666666665,
+      "grad_norm": 0.587647557258606,
+      "learning_rate": 6.514409525272039e-07,
+      "loss": 0.5785,
+      "step": 2180
+    },
+    {
+      "epoch": 2.3253333333333335,
+      "grad_norm": 0.6424332857131958,
+      "learning_rate": 6.494845513363557e-07,
+      "loss": 0.5927,
+      "step": 2181
+    },
+    {
+      "epoch": 2.3264,
+      "grad_norm": 0.5005308389663696,
+      "learning_rate": 6.475306536204176e-07,
+      "loss": 0.4784,
+      "step": 2182
+    },
+    {
+      "epoch": 2.3274666666666666,
+      "grad_norm": 0.5394622683525085,
+      "learning_rate": 6.455792620227242e-07,
+      "loss": 0.5146,
+      "step": 2183
+    },
+    {
+      "epoch": 2.3285333333333336,
+      "grad_norm": 0.5890732407569885,
+      "learning_rate": 6.436303791832222e-07,
+      "loss": 0.5608,
+      "step": 2184
+    },
+    {
+      "epoch": 2.3296,
+      "grad_norm": 0.6829611659049988,
+      "learning_rate": 6.416840077384625e-07,
+      "loss": 0.6596,
+      "step": 2185
+    },
+    {
+      "epoch": 2.3306666666666667,
+      "grad_norm": 0.5375193953514099,
+      "learning_rate": 6.397401503215992e-07,
+      "loss": 0.5321,
+      "step": 2186
+    },
+    {
+      "epoch": 2.331733333333333,
+      "grad_norm": 0.562964141368866,
+      "learning_rate": 6.377988095623841e-07,
+      "loss": 0.5499,
+      "step": 2187
+    },
+    {
+      "epoch": 2.3327999999999998,
+      "grad_norm": 0.6026499271392822,
+      "learning_rate": 6.358599880871668e-07,
+      "loss": 0.5822,
+      "step": 2188
+    },
+    {
+      "epoch": 2.3338666666666668,
+      "grad_norm": 0.5351163148880005,
+      "learning_rate": 6.339236885188863e-07,
+      "loss": 0.5301,
+      "step": 2189
+    },
+    {
+      "epoch": 2.3349333333333333,
+      "grad_norm": 0.596741795539856,
+      "learning_rate": 6.319899134770716e-07,
+      "loss": 0.5437,
+      "step": 2190
+    },
+    {
+      "epoch": 2.336,
+      "grad_norm": 0.5134318470954895,
+      "learning_rate": 6.300586655778345e-07,
+      "loss": 0.5197,
+      "step": 2191
+    },
+    {
+      "epoch": 2.337066666666667,
+      "grad_norm": 0.6396583914756775,
+      "learning_rate": 6.2812994743387e-07,
+      "loss": 0.5655,
+      "step": 2192
+    },
+    {
+      "epoch": 2.3381333333333334,
+      "grad_norm": 0.6056528687477112,
+      "learning_rate": 6.2620376165445e-07,
+      "loss": 0.5511,
+      "step": 2193
+    },
+    {
+      "epoch": 2.3392,
+      "grad_norm": 0.5409857630729675,
+      "learning_rate": 6.242801108454189e-07,
+      "loss": 0.4959,
+      "step": 2194
+    },
+    {
+      "epoch": 2.3402666666666665,
+      "grad_norm": 0.537287712097168,
+      "learning_rate": 6.223589976091945e-07,
+      "loss": 0.5205,
+      "step": 2195
+    },
+    {
+      "epoch": 2.3413333333333335,
+      "grad_norm": 0.6054346561431885,
+      "learning_rate": 6.204404245447588e-07,
+      "loss": 0.5723,
+      "step": 2196
+    },
+    {
+      "epoch": 2.3424,
+      "grad_norm": 0.5128665566444397,
+      "learning_rate": 6.185243942476599e-07,
+      "loss": 0.4914,
+      "step": 2197
+    },
+    {
+      "epoch": 2.3434666666666666,
+      "grad_norm": 0.6032143235206604,
+      "learning_rate": 6.166109093100031e-07,
+      "loss": 0.5767,
+      "step": 2198
+    },
+    {
+      "epoch": 2.3445333333333336,
+      "grad_norm": 0.5874686241149902,
+      "learning_rate": 6.146999723204533e-07,
+      "loss": 0.5602,
+      "step": 2199
+    },
+    {
+      "epoch": 2.3456,
+      "grad_norm": 0.5823512077331543,
+      "learning_rate": 6.127915858642264e-07,
+      "loss": 0.5412,
+      "step": 2200
+    },
+    {
+      "epoch": 2.3466666666666667,
+      "grad_norm": 0.5651906728744507,
+      "learning_rate": 6.10885752523088e-07,
+      "loss": 0.5146,
+      "step": 2201
+    },
+    {
+      "epoch": 2.3477333333333332,
+      "grad_norm": 0.6195403337478638,
+      "learning_rate": 6.089824748753492e-07,
+      "loss": 0.5327,
+      "step": 2202
+    },
+    {
+      "epoch": 2.3487999999999998,
+      "grad_norm": 0.5302814841270447,
+      "learning_rate": 6.070817554958661e-07,
+      "loss": 0.545,
+      "step": 2203
+    },
+    {
+      "epoch": 2.3498666666666668,
+      "grad_norm": 0.5653929710388184,
+      "learning_rate": 6.051835969560301e-07,
+      "loss": 0.5334,
+      "step": 2204
+    },
+    {
+      "epoch": 2.3509333333333333,
+      "grad_norm": 0.577916145324707,
+      "learning_rate": 6.032880018237725e-07,
+      "loss": 0.5532,
+      "step": 2205
+    },
+    {
+      "epoch": 2.352,
+      "grad_norm": 0.5718585252761841,
+      "learning_rate": 6.013949726635523e-07,
+      "loss": 0.5248,
+      "step": 2206
+    },
+    {
+      "epoch": 2.353066666666667,
+      "grad_norm": 0.5898280143737793,
+      "learning_rate": 5.99504512036361e-07,
+      "loss": 0.5039,
+      "step": 2207
+    },
+    {
+      "epoch": 2.3541333333333334,
+      "grad_norm": 0.5920451283454895,
+      "learning_rate": 5.976166224997118e-07,
+      "loss": 0.543,
+      "step": 2208
+    },
+    {
+      "epoch": 2.3552,
+      "grad_norm": 0.5738232135772705,
+      "learning_rate": 5.95731306607642e-07,
+      "loss": 0.5603,
+      "step": 2209
+    },
+    {
+      "epoch": 2.3562666666666665,
+      "grad_norm": 0.5750663876533508,
+      "learning_rate": 5.938485669107072e-07,
+      "loss": 0.5523,
+      "step": 2210
+    },
+    {
+      "epoch": 2.3573333333333335,
+      "grad_norm": 0.5588812828063965,
+      "learning_rate": 5.919684059559752e-07,
+      "loss": 0.4847,
+      "step": 2211
+    },
+    {
+      "epoch": 2.3584,
+      "grad_norm": 0.5052850842475891,
+      "learning_rate": 5.900908262870289e-07,
+      "loss": 0.4998,
+      "step": 2212
+    },
+    {
+      "epoch": 2.3594666666666666,
+      "grad_norm": 0.558524489402771,
+      "learning_rate": 5.882158304439561e-07,
+      "loss": 0.5054,
+      "step": 2213
+    },
+    {
+      "epoch": 2.360533333333333,
+      "grad_norm": 0.6151294708251953,
+      "learning_rate": 5.863434209633493e-07,
+      "loss": 0.5434,
+      "step": 2214
+    },
+    {
+      "epoch": 2.3616,
+      "grad_norm": 0.5964664816856384,
+      "learning_rate": 5.844736003783041e-07,
+      "loss": 0.5408,
+      "step": 2215
+    },
+    {
+      "epoch": 2.3626666666666667,
+      "grad_norm": 0.5545241832733154,
+      "learning_rate": 5.826063712184124e-07,
+      "loss": 0.5523,
+      "step": 2216
+    },
+    {
+      "epoch": 2.3637333333333332,
+      "grad_norm": 0.5729799270629883,
+      "learning_rate": 5.807417360097587e-07,
+      "loss": 0.5322,
+      "step": 2217
+    },
+    {
+      "epoch": 2.3648,
+      "grad_norm": 0.5336989164352417,
+      "learning_rate": 5.788796972749219e-07,
+      "loss": 0.5008,
+      "step": 2218
+    },
+    {
+      "epoch": 2.365866666666667,
+      "grad_norm": 0.5911531448364258,
+      "learning_rate": 5.770202575329645e-07,
+      "loss": 0.5607,
+      "step": 2219
+    },
+    {
+      "epoch": 2.3669333333333333,
+      "grad_norm": 0.5486395359039307,
+      "learning_rate": 5.751634192994363e-07,
+      "loss": 0.5154,
+      "step": 2220
+    },
+    {
+      "epoch": 2.368,
+      "grad_norm": 0.5693590044975281,
+      "learning_rate": 5.733091850863643e-07,
+      "loss": 0.4938,
+      "step": 2221
+    },
+    {
+      "epoch": 2.369066666666667,
+      "grad_norm": 0.5664892792701721,
+      "learning_rate": 5.71457557402256e-07,
+      "loss": 0.5711,
+      "step": 2222
+    },
+    {
+      "epoch": 2.3701333333333334,
+      "grad_norm": 0.5724595785140991,
+      "learning_rate": 5.696085387520894e-07,
+      "loss": 0.5796,
+      "step": 2223
+    },
+    {
+      "epoch": 2.3712,
+      "grad_norm": 0.5411311984062195,
+      "learning_rate": 5.677621316373161e-07,
+      "loss": 0.5072,
+      "step": 2224
+    },
+    {
+      "epoch": 2.3722666666666665,
+      "grad_norm": 0.5558463931083679,
+      "learning_rate": 5.659183385558515e-07,
+      "loss": 0.5236,
+      "step": 2225
+    },
+    {
+      "epoch": 2.3733333333333335,
+      "grad_norm": 0.5135002732276917,
+      "learning_rate": 5.640771620020776e-07,
+      "loss": 0.4739,
+      "step": 2226
+    },
+    {
+      "epoch": 2.3744,
+      "grad_norm": 0.537838876247406,
+      "learning_rate": 5.622386044668338e-07,
+      "loss": 0.5247,
+      "step": 2227
+    },
+    {
+      "epoch": 2.3754666666666666,
+      "grad_norm": 0.6402057409286499,
+      "learning_rate": 5.604026684374189e-07,
+      "loss": 0.5053,
+      "step": 2228
+    },
+    {
+      "epoch": 2.376533333333333,
+      "grad_norm": 0.5663795471191406,
+      "learning_rate": 5.585693563975833e-07,
+      "loss": 0.5543,
+      "step": 2229
+    },
+    {
+      "epoch": 2.3776,
+      "grad_norm": 0.5612260103225708,
+      "learning_rate": 5.56738670827528e-07,
+      "loss": 0.5179,
+      "step": 2230
+    },
+    {
+      "epoch": 2.3786666666666667,
+      "grad_norm": 0.5202215909957886,
+      "learning_rate": 5.549106142039018e-07,
+      "loss": 0.5218,
+      "step": 2231
+    },
+    {
+      "epoch": 2.3797333333333333,
+      "grad_norm": 0.6023814082145691,
+      "learning_rate": 5.530851889997951e-07,
+      "loss": 0.5737,
+      "step": 2232
+    },
+    {
+      "epoch": 2.3808,
+      "grad_norm": 0.5627083778381348,
+      "learning_rate": 5.512623976847406e-07,
+      "loss": 0.5163,
+      "step": 2233
+    },
+    {
+      "epoch": 2.381866666666667,
+      "grad_norm": 0.5802216529846191,
+      "learning_rate": 5.494422427247054e-07,
+      "loss": 0.5426,
+      "step": 2234
+    },
+    {
+      "epoch": 2.3829333333333333,
+      "grad_norm": 0.5782692432403564,
+      "learning_rate": 5.476247265820922e-07,
+      "loss": 0.5737,
+      "step": 2235
+    },
+    {
+      "epoch": 2.384,
+      "grad_norm": 0.5901110768318176,
+      "learning_rate": 5.458098517157315e-07,
+      "loss": 0.5572,
+      "step": 2236
+    },
+    {
+      "epoch": 2.385066666666667,
+      "grad_norm": 0.5664865970611572,
+      "learning_rate": 5.439976205808834e-07,
+      "loss": 0.5501,
+      "step": 2237
+    },
+    {
+      "epoch": 2.3861333333333334,
+      "grad_norm": 0.5871819853782654,
+      "learning_rate": 5.421880356292278e-07,
+      "loss": 0.556,
+      "step": 2238
+    },
+    {
+      "epoch": 2.3872,
+      "grad_norm": 0.6240547299385071,
+      "learning_rate": 5.403810993088684e-07,
+      "loss": 0.6062,
+      "step": 2239
+    },
+    {
+      "epoch": 2.3882666666666665,
+      "grad_norm": 0.5784744024276733,
+      "learning_rate": 5.385768140643227e-07,
+      "loss": 0.518,
+      "step": 2240
+    },
+    {
+      "epoch": 2.389333333333333,
+      "grad_norm": 0.5427837371826172,
+      "learning_rate": 5.367751823365241e-07,
+      "loss": 0.5359,
+      "step": 2241
+    },
+    {
+      "epoch": 2.3904,
+      "grad_norm": 0.5362616777420044,
+      "learning_rate": 5.349762065628136e-07,
+      "loss": 0.5063,
+      "step": 2242
+    },
+    {
+      "epoch": 2.3914666666666666,
+      "grad_norm": 0.5446994304656982,
+      "learning_rate": 5.331798891769421e-07,
+      "loss": 0.5556,
+      "step": 2243
+    },
+    {
+      "epoch": 2.392533333333333,
+      "grad_norm": 0.5700189471244812,
+      "learning_rate": 5.313862326090618e-07,
+      "loss": 0.5434,
+      "step": 2244
+    },
+    {
+      "epoch": 2.3936,
+      "grad_norm": 0.5307015180587769,
+      "learning_rate": 5.295952392857254e-07,
+      "loss": 0.5548,
+      "step": 2245
+    },
+    {
+      "epoch": 2.3946666666666667,
+      "grad_norm": 0.5710926055908203,
+      "learning_rate": 5.278069116298842e-07,
+      "loss": 0.5448,
+      "step": 2246
+    },
+    {
+      "epoch": 2.3957333333333333,
+      "grad_norm": 0.5681818723678589,
+      "learning_rate": 5.260212520608806e-07,
+      "loss": 0.5255,
+      "step": 2247
+    },
+    {
+      "epoch": 2.3968,
+      "grad_norm": 0.5293386578559875,
+      "learning_rate": 5.242382629944512e-07,
+      "loss": 0.5084,
+      "step": 2248
+    },
+    {
+      "epoch": 2.397866666666667,
+      "grad_norm": 0.580551028251648,
+      "learning_rate": 5.224579468427154e-07,
+      "loss": 0.5196,
+      "step": 2249
+    },
+    {
+      "epoch": 2.3989333333333334,
+      "grad_norm": 0.5389193892478943,
+      "learning_rate": 5.206803060141808e-07,
+      "loss": 0.5217,
+      "step": 2250
+    },
+    {
+      "epoch": 2.4,
+      "grad_norm": 0.563150942325592,
+      "learning_rate": 5.189053429137319e-07,
+      "loss": 0.54,
+      "step": 2251
+    },
+    {
+      "epoch": 2.401066666666667,
+      "grad_norm": 0.5276778936386108,
+      "learning_rate": 5.171330599426344e-07,
+      "loss": 0.4823,
+      "step": 2252
+    },
+    {
+      "epoch": 2.4021333333333335,
+      "grad_norm": 0.556806206703186,
+      "learning_rate": 5.153634594985241e-07,
+      "loss": 0.4927,
+      "step": 2253
+    },
+    {
+      "epoch": 2.4032,
+      "grad_norm": 0.5906751155853271,
+      "learning_rate": 5.135965439754115e-07,
+      "loss": 0.5204,
+      "step": 2254
+    },
+    {
+      "epoch": 2.4042666666666666,
+      "grad_norm": 0.5882688760757446,
+      "learning_rate": 5.118323157636718e-07,
+      "loss": 0.532,
+      "step": 2255
+    },
+    {
+      "epoch": 2.405333333333333,
+      "grad_norm": 0.6109330058097839,
+      "learning_rate": 5.100707772500471e-07,
+      "loss": 0.557,
+      "step": 2256
+    },
+    {
+      "epoch": 2.4064,
+      "grad_norm": 0.572471559047699,
+      "learning_rate": 5.083119308176385e-07,
+      "loss": 0.5447,
+      "step": 2257
+    },
+    {
+      "epoch": 2.4074666666666666,
+      "grad_norm": 0.556056559085846,
+      "learning_rate": 5.065557788459077e-07,
+      "loss": 0.553,
+      "step": 2258
+    },
+    {
+      "epoch": 2.408533333333333,
+      "grad_norm": 0.5681343078613281,
+      "learning_rate": 5.048023237106689e-07,
+      "loss": 0.5448,
+      "step": 2259
+    },
+    {
+      "epoch": 2.4096,
+      "grad_norm": 0.5574612021446228,
+      "learning_rate": 5.030515677840883e-07,
+      "loss": 0.5088,
+      "step": 2260
+    },
+    {
+      "epoch": 2.4106666666666667,
+      "grad_norm": 0.587236762046814,
+      "learning_rate": 5.013035134346808e-07,
+      "loss": 0.5359,
+      "step": 2261
+    },
+    {
+      "epoch": 2.4117333333333333,
+      "grad_norm": 0.6098780632019043,
+      "learning_rate": 4.995581630273077e-07,
+      "loss": 0.5676,
+      "step": 2262
+    },
+    {
+      "epoch": 2.4128,
+      "grad_norm": 0.5588917136192322,
+      "learning_rate": 4.978155189231699e-07,
+      "loss": 0.5049,
+      "step": 2263
+    },
+    {
+      "epoch": 2.413866666666667,
+      "grad_norm": 0.5921647548675537,
+      "learning_rate": 4.960755834798084e-07,
+      "loss": 0.5275,
+      "step": 2264
+    },
+    {
+      "epoch": 2.4149333333333334,
+      "grad_norm": 0.5792187452316284,
+      "learning_rate": 4.943383590511005e-07,
+      "loss": 0.5337,
+      "step": 2265
+    },
+    {
+      "epoch": 2.416,
+      "grad_norm": 0.512283205986023,
+      "learning_rate": 4.926038479872541e-07,
+      "loss": 0.5092,
+      "step": 2266
+    },
+    {
+      "epoch": 2.4170666666666665,
+      "grad_norm": 0.5436060428619385,
+      "learning_rate": 4.908720526348082e-07,
+      "loss": 0.4888,
+      "step": 2267
+    },
+    {
+      "epoch": 2.4181333333333335,
+      "grad_norm": 0.5571280717849731,
+      "learning_rate": 4.891429753366259e-07,
+      "loss": 0.5476,
+      "step": 2268
+    },
+    {
+      "epoch": 2.4192,
+      "grad_norm": 0.6241567134857178,
+      "learning_rate": 4.874166184318951e-07,
+      "loss": 0.5762,
+      "step": 2269
+    },
+    {
+      "epoch": 2.4202666666666666,
+      "grad_norm": 0.568487286567688,
+      "learning_rate": 4.856929842561214e-07,
+      "loss": 0.5594,
+      "step": 2270
+    },
+    {
+      "epoch": 2.421333333333333,
+      "grad_norm": 0.5692694783210754,
+      "learning_rate": 4.839720751411295e-07,
+      "loss": 0.567,
+      "step": 2271
+    },
+    {
+      "epoch": 2.4224,
+      "grad_norm": 0.6195253729820251,
+      "learning_rate": 4.822538934150545e-07,
+      "loss": 0.5821,
+      "step": 2272
+    },
+    {
+      "epoch": 2.4234666666666667,
+      "grad_norm": 0.5361106991767883,
+      "learning_rate": 4.805384414023446e-07,
+      "loss": 0.5739,
+      "step": 2273
+    },
+    {
+      "epoch": 2.424533333333333,
+      "grad_norm": 0.605800211429596,
+      "learning_rate": 4.788257214237529e-07,
+      "loss": 0.5207,
+      "step": 2274
+    },
+    {
+      "epoch": 2.4256,
+      "grad_norm": 0.5943007469177246,
+      "learning_rate": 4.771157357963377e-07,
+      "loss": 0.4742,
+      "step": 2275
+    },
+    {
+      "epoch": 2.4266666666666667,
+      "grad_norm": 0.5917038917541504,
+      "learning_rate": 4.7540848683345687e-07,
+      "loss": 0.5824,
+      "step": 2276
+    },
+    {
+      "epoch": 2.4277333333333333,
+      "grad_norm": 0.609126627445221,
+      "learning_rate": 4.7370397684476823e-07,
+      "loss": 0.5544,
+      "step": 2277
+    },
+    {
+      "epoch": 2.4288,
+      "grad_norm": 0.5431211590766907,
+      "learning_rate": 4.720022081362216e-07,
+      "loss": 0.5219,
+      "step": 2278
+    },
+    {
+      "epoch": 2.429866666666667,
+      "grad_norm": 0.5863184928894043,
+      "learning_rate": 4.703031830100607e-07,
+      "loss": 0.5712,
+      "step": 2279
+    },
+    {
+      "epoch": 2.4309333333333334,
+      "grad_norm": 0.5198492407798767,
+      "learning_rate": 4.68606903764815e-07,
+      "loss": 0.5214,
+      "step": 2280
+    },
+    {
+      "epoch": 2.432,
+      "grad_norm": 0.5479253530502319,
+      "learning_rate": 4.669133726953018e-07,
+      "loss": 0.5073,
+      "step": 2281
+    },
+    {
+      "epoch": 2.4330666666666665,
+      "grad_norm": 0.6536023616790771,
+      "learning_rate": 4.652225920926179e-07,
+      "loss": 0.5908,
+      "step": 2282
+    },
+    {
+      "epoch": 2.4341333333333335,
+      "grad_norm": 0.5827467441558838,
+      "learning_rate": 4.635345642441413e-07,
+      "loss": 0.5695,
+      "step": 2283
+    },
+    {
+      "epoch": 2.4352,
+      "grad_norm": 0.5664957165718079,
+      "learning_rate": 4.6184929143352596e-07,
+      "loss": 0.5273,
+      "step": 2284
+    },
+    {
+      "epoch": 2.4362666666666666,
+      "grad_norm": 0.5974279642105103,
+      "learning_rate": 4.601667759406961e-07,
+      "loss": 0.5316,
+      "step": 2285
+    },
+    {
+      "epoch": 2.437333333333333,
+      "grad_norm": 0.5674735903739929,
+      "learning_rate": 4.584870200418487e-07,
+      "loss": 0.5159,
+      "step": 2286
+    },
+    {
+      "epoch": 2.4384,
+      "grad_norm": 0.5150651931762695,
+      "learning_rate": 4.56810026009446e-07,
+      "loss": 0.541,
+      "step": 2287
+    },
+    {
+      "epoch": 2.4394666666666667,
+      "grad_norm": 0.5962228775024414,
+      "learning_rate": 4.55135796112213e-07,
+      "loss": 0.5654,
+      "step": 2288
+    },
+    {
+      "epoch": 2.440533333333333,
+      "grad_norm": 0.620161235332489,
+      "learning_rate": 4.534643326151375e-07,
+      "loss": 0.5195,
+      "step": 2289
+    },
+    {
+      "epoch": 2.4416,
+      "grad_norm": 0.5573378801345825,
+      "learning_rate": 4.517956377794627e-07,
+      "loss": 0.5249,
+      "step": 2290
+    },
+    {
+      "epoch": 2.4426666666666668,
+      "grad_norm": 0.6032543182373047,
+      "learning_rate": 4.5012971386268674e-07,
+      "loss": 0.5808,
+      "step": 2291
+    },
+    {
+      "epoch": 2.4437333333333333,
+      "grad_norm": 0.6000561118125916,
+      "learning_rate": 4.484665631185603e-07,
+      "loss": 0.5562,
+      "step": 2292
+    },
+    {
+      "epoch": 2.4448,
+      "grad_norm": 0.603122353553772,
+      "learning_rate": 4.4680618779708056e-07,
+      "loss": 0.5592,
+      "step": 2293
+    },
+    {
+      "epoch": 2.445866666666667,
+      "grad_norm": 0.5409132838249207,
+      "learning_rate": 4.451485901444916e-07,
+      "loss": 0.5157,
+      "step": 2294
+    },
+    {
+      "epoch": 2.4469333333333334,
+      "grad_norm": 0.6046131253242493,
+      "learning_rate": 4.4349377240327814e-07,
+      "loss": 0.5669,
+      "step": 2295
+    },
+    {
+      "epoch": 2.448,
+      "grad_norm": 0.586675763130188,
+      "learning_rate": 4.418417368121658e-07,
+      "loss": 0.5705,
+      "step": 2296
+    },
+    {
+      "epoch": 2.4490666666666665,
+      "grad_norm": 0.6326794624328613,
+      "learning_rate": 4.401924856061146e-07,
+      "loss": 0.5363,
+      "step": 2297
+    },
+    {
+      "epoch": 2.4501333333333335,
+      "grad_norm": 0.6308794021606445,
+      "learning_rate": 4.385460210163192e-07,
+      "loss": 0.5707,
+      "step": 2298
+    },
+    {
+      "epoch": 2.4512,
+      "grad_norm": 0.6299499869346619,
+      "learning_rate": 4.3690234527020344e-07,
+      "loss": 0.6053,
+      "step": 2299
+    },
+    {
+      "epoch": 2.4522666666666666,
+      "grad_norm": 0.5709599256515503,
+      "learning_rate": 4.352614605914188e-07,
+      "loss": 0.5789,
+      "step": 2300
+    },
+    {
+      "epoch": 2.453333333333333,
+      "grad_norm": 0.5512765049934387,
+      "learning_rate": 4.336233691998401e-07,
+      "loss": 0.5189,
+      "step": 2301
+    },
+    {
+      "epoch": 2.4544,
+      "grad_norm": 0.5583138465881348,
+      "learning_rate": 4.319880733115647e-07,
+      "loss": 0.5345,
+      "step": 2302
+    },
+    {
+      "epoch": 2.4554666666666667,
+      "grad_norm": 0.5125033259391785,
+      "learning_rate": 4.3035557513890603e-07,
+      "loss": 0.4828,
+      "step": 2303
+    },
+    {
+      "epoch": 2.4565333333333332,
+      "grad_norm": 0.5173566937446594,
+      "learning_rate": 4.2872587689039486e-07,
+      "loss": 0.459,
+      "step": 2304
+    },
+    {
+      "epoch": 2.4576000000000002,
+      "grad_norm": 0.5581088662147522,
+      "learning_rate": 4.270989807707723e-07,
+      "loss": 0.5333,
+      "step": 2305
+    },
+    {
+      "epoch": 2.458666666666667,
+      "grad_norm": 0.5802802443504333,
+      "learning_rate": 4.25474888980989e-07,
+      "loss": 0.5494,
+      "step": 2306
+    },
+    {
+      "epoch": 2.4597333333333333,
+      "grad_norm": 0.6074570417404175,
+      "learning_rate": 4.2385360371820254e-07,
+      "loss": 0.6038,
+      "step": 2307
+    },
+    {
+      "epoch": 2.4608,
+      "grad_norm": 0.5959473848342896,
+      "learning_rate": 4.222351271757727e-07,
+      "loss": 0.5416,
+      "step": 2308
+    },
+    {
+      "epoch": 2.4618666666666664,
+      "grad_norm": 0.5327832102775574,
+      "learning_rate": 4.2061946154326043e-07,
+      "loss": 0.469,
+      "step": 2309
+    },
+    {
+      "epoch": 2.4629333333333334,
+      "grad_norm": 0.5699118375778198,
+      "learning_rate": 4.1900660900642265e-07,
+      "loss": 0.5155,
+      "step": 2310
+    },
+    {
+      "epoch": 2.464,
+      "grad_norm": 0.5209793448448181,
+      "learning_rate": 4.1739657174721225e-07,
+      "loss": 0.4927,
+      "step": 2311
+    },
+    {
+      "epoch": 2.4650666666666665,
+      "grad_norm": 0.5630666017532349,
+      "learning_rate": 4.157893519437717e-07,
+      "loss": 0.5577,
+      "step": 2312
+    },
+    {
+      "epoch": 2.4661333333333335,
+      "grad_norm": 0.5399818420410156,
+      "learning_rate": 4.1418495177043383e-07,
+      "loss": 0.4864,
+      "step": 2313
+    },
+    {
+      "epoch": 2.4672,
+      "grad_norm": 0.542241632938385,
+      "learning_rate": 4.1258337339771443e-07,
+      "loss": 0.5379,
+      "step": 2314
+    },
+    {
+      "epoch": 2.4682666666666666,
+      "grad_norm": 0.5924122929573059,
+      "learning_rate": 4.1098461899231446e-07,
+      "loss": 0.6081,
+      "step": 2315
+    },
+    {
+      "epoch": 2.469333333333333,
+      "grad_norm": 0.5701544284820557,
+      "learning_rate": 4.093886907171121e-07,
+      "loss": 0.564,
+      "step": 2316
+    },
+    {
+      "epoch": 2.4704,
+      "grad_norm": 0.5366319417953491,
+      "learning_rate": 4.0779559073116453e-07,
+      "loss": 0.5566,
+      "step": 2317
+    },
+    {
+      "epoch": 2.4714666666666667,
+      "grad_norm": 0.5981549620628357,
+      "learning_rate": 4.0620532118970076e-07,
+      "loss": 0.5545,
+      "step": 2318
+    },
+    {
+      "epoch": 2.4725333333333332,
+      "grad_norm": 0.6032107472419739,
+      "learning_rate": 4.0461788424412065e-07,
+      "loss": 0.58,
+      "step": 2319
+    },
+    {
+      "epoch": 2.4736000000000002,
+      "grad_norm": 0.5841613411903381,
+      "learning_rate": 4.030332820419941e-07,
+      "loss": 0.5084,
+      "step": 2320
+    },
+    {
+      "epoch": 2.474666666666667,
+      "grad_norm": 0.5670744180679321,
+      "learning_rate": 4.0145151672705304e-07,
+      "loss": 0.5185,
+      "step": 2321
+    },
+    {
+      "epoch": 2.4757333333333333,
+      "grad_norm": 0.6013261675834656,
+      "learning_rate": 3.998725904391942e-07,
+      "loss": 0.4911,
+      "step": 2322
+    },
+    {
+      "epoch": 2.4768,
+      "grad_norm": 0.6240042448043823,
+      "learning_rate": 3.982965053144716e-07,
+      "loss": 0.5905,
+      "step": 2323
+    },
+    {
+      "epoch": 2.4778666666666664,
+      "grad_norm": 0.5641903281211853,
+      "learning_rate": 3.9672326348509704e-07,
+      "loss": 0.5296,
+      "step": 2324
+    },
+    {
+      "epoch": 2.4789333333333334,
+      "grad_norm": 0.5335812568664551,
+      "learning_rate": 3.9515286707943413e-07,
+      "loss": 0.5228,
+      "step": 2325
+    },
+    {
+      "epoch": 2.48,
+      "grad_norm": 0.6114559769630432,
+      "learning_rate": 3.9358531822199926e-07,
+      "loss": 0.5941,
+      "step": 2326
+    },
+    {
+      "epoch": 2.4810666666666665,
+      "grad_norm": 0.6382512450218201,
+      "learning_rate": 3.920206190334536e-07,
+      "loss": 0.5733,
+      "step": 2327
+    },
+    {
+      "epoch": 2.4821333333333335,
+      "grad_norm": 0.5974535346031189,
+      "learning_rate": 3.904587716306063e-07,
+      "loss": 0.5297,
+      "step": 2328
+    },
+    {
+      "epoch": 2.4832,
+      "grad_norm": 0.5607669949531555,
+      "learning_rate": 3.8889977812640536e-07,
+      "loss": 0.5742,
+      "step": 2329
+    },
+    {
+      "epoch": 2.4842666666666666,
+      "grad_norm": 0.5830842852592468,
+      "learning_rate": 3.8734364062994105e-07,
+      "loss": 0.5269,
+      "step": 2330
+    },
+    {
+      "epoch": 2.485333333333333,
+      "grad_norm": 0.5639181137084961,
+      "learning_rate": 3.857903612464367e-07,
+      "loss": 0.5369,
+      "step": 2331
+    },
+    {
+      "epoch": 2.4864,
+      "grad_norm": 0.5713692903518677,
+      "learning_rate": 3.8423994207725216e-07,
+      "loss": 0.5277,
+      "step": 2332
+    },
+    {
+      "epoch": 2.4874666666666667,
+      "grad_norm": 0.5324771404266357,
+      "learning_rate": 3.826923852198752e-07,
+      "loss": 0.524,
+      "step": 2333
+    },
+    {
+      "epoch": 2.4885333333333333,
+      "grad_norm": 0.570686399936676,
+      "learning_rate": 3.811476927679228e-07,
+      "loss": 0.5307,
+      "step": 2334
+    },
+    {
+      "epoch": 2.4896,
+      "grad_norm": 0.5416530966758728,
+      "learning_rate": 3.7960586681113546e-07,
+      "loss": 0.5276,
+      "step": 2335
+    },
+    {
+      "epoch": 2.490666666666667,
+      "grad_norm": 0.5992644429206848,
+      "learning_rate": 3.780669094353781e-07,
+      "loss": 0.568,
+      "step": 2336
+    },
+    {
+      "epoch": 2.4917333333333334,
+      "grad_norm": 0.5600096583366394,
+      "learning_rate": 3.765308227226322e-07,
+      "loss": 0.5438,
+      "step": 2337
+    },
+    {
+      "epoch": 2.4928,
+      "grad_norm": 0.5148209929466248,
+      "learning_rate": 3.7499760875099737e-07,
+      "loss": 0.4962,
+      "step": 2338
+    },
+    {
+      "epoch": 2.4938666666666665,
+      "grad_norm": 0.5869463086128235,
+      "learning_rate": 3.7346726959468697e-07,
+      "loss": 0.5215,
+      "step": 2339
+    },
+    {
+      "epoch": 2.4949333333333334,
+      "grad_norm": 0.5516563653945923,
+      "learning_rate": 3.7193980732402353e-07,
+      "loss": 0.5069,
+      "step": 2340
+    },
+    {
+      "epoch": 2.496,
+      "grad_norm": 0.557686984539032,
+      "learning_rate": 3.7041522400543953e-07,
+      "loss": 0.5482,
+      "step": 2341
+    },
+    {
+      "epoch": 2.4970666666666665,
+      "grad_norm": 0.5793091058731079,
+      "learning_rate": 3.688935217014705e-07,
+      "loss": 0.5152,
+      "step": 2342
+    },
+    {
+      "epoch": 2.4981333333333335,
+      "grad_norm": 0.5641347169876099,
+      "learning_rate": 3.6737470247075693e-07,
+      "loss": 0.5404,
+      "step": 2343
+    },
+    {
+      "epoch": 2.4992,
+      "grad_norm": 0.569489598274231,
+      "learning_rate": 3.6585876836803645e-07,
+      "loss": 0.551,
+      "step": 2344
+    },
+    {
+      "epoch": 2.5002666666666666,
+      "grad_norm": 0.60856032371521,
+      "learning_rate": 3.6434572144414564e-07,
+      "loss": 0.544,
+      "step": 2345
+    },
+    {
+      "epoch": 2.501333333333333,
+      "grad_norm": 0.5496404767036438,
+      "learning_rate": 3.628355637460132e-07,
+      "loss": 0.5062,
+      "step": 2346
+    },
+    {
+      "epoch": 2.5023999999999997,
+      "grad_norm": 0.5617270469665527,
+      "learning_rate": 3.61328297316661e-07,
+      "loss": 0.4998,
+      "step": 2347
+    },
+    {
+      "epoch": 2.5034666666666667,
+      "grad_norm": 0.6132131814956665,
+      "learning_rate": 3.598239241951984e-07,
+      "loss": 0.5378,
+      "step": 2348
+    },
+    {
+      "epoch": 2.5045333333333333,
+      "grad_norm": 0.603583037853241,
+      "learning_rate": 3.5832244641682055e-07,
+      "loss": 0.5492,
+      "step": 2349
+    },
+    {
+      "epoch": 2.5056000000000003,
+      "grad_norm": 0.5874846577644348,
+      "learning_rate": 3.568238660128051e-07,
+      "loss": 0.5689,
+      "step": 2350
+    },
+    {
+      "epoch": 2.506666666666667,
+      "grad_norm": 0.6678633093833923,
+      "learning_rate": 3.553281850105117e-07,
+      "loss": 0.6394,
+      "step": 2351
+    },
+    {
+      "epoch": 2.5077333333333334,
+      "grad_norm": 0.5198361873626709,
+      "learning_rate": 3.538354054333756e-07,
+      "loss": 0.4936,
+      "step": 2352
+    },
+    {
+      "epoch": 2.5088,
+      "grad_norm": 0.5683629512786865,
+      "learning_rate": 3.523455293009093e-07,
+      "loss": 0.5255,
+      "step": 2353
+    },
+    {
+      "epoch": 2.5098666666666665,
+      "grad_norm": 0.5538510084152222,
+      "learning_rate": 3.508585586286936e-07,
+      "loss": 0.5377,
+      "step": 2354
+    },
+    {
+      "epoch": 2.5109333333333335,
+      "grad_norm": 0.5507937669754028,
+      "learning_rate": 3.4937449542838317e-07,
+      "loss": 0.4954,
+      "step": 2355
+    },
+    {
+      "epoch": 2.512,
+      "grad_norm": 0.5647968649864197,
+      "learning_rate": 3.478933417076949e-07,
+      "loss": 0.5384,
+      "step": 2356
+    },
+    {
+      "epoch": 2.5130666666666666,
+      "grad_norm": 0.558871328830719,
+      "learning_rate": 3.464150994704127e-07,
+      "loss": 0.506,
+      "step": 2357
+    },
+    {
+      "epoch": 2.5141333333333336,
+      "grad_norm": 0.5513589978218079,
+      "learning_rate": 3.449397707163812e-07,
+      "loss": 0.5172,
+      "step": 2358
+    },
+    {
+      "epoch": 2.5152,
+      "grad_norm": 0.5529550313949585,
+      "learning_rate": 3.434673574415018e-07,
+      "loss": 0.5283,
+      "step": 2359
+    },
+    {
+      "epoch": 2.5162666666666667,
+      "grad_norm": 0.5992206931114197,
+      "learning_rate": 3.4199786163773395e-07,
+      "loss": 0.5418,
+      "step": 2360
+    },
+    {
+      "epoch": 2.517333333333333,
+      "grad_norm": 0.5094637870788574,
+      "learning_rate": 3.405312852930881e-07,
+      "loss": 0.5024,
+      "step": 2361
+    },
+    {
+      "epoch": 2.5183999999999997,
+      "grad_norm": 0.5480905175209045,
+      "learning_rate": 3.390676303916268e-07,
+      "loss": 0.5106,
+      "step": 2362
+    },
+    {
+      "epoch": 2.5194666666666667,
+      "grad_norm": 0.5990375280380249,
+      "learning_rate": 3.3760689891345953e-07,
+      "loss": 0.5732,
+      "step": 2363
+    },
+    {
+      "epoch": 2.5205333333333333,
+      "grad_norm": 0.5936521291732788,
+      "learning_rate": 3.3614909283474053e-07,
+      "loss": 0.5248,
+      "step": 2364
+    },
+    {
+      "epoch": 2.5216,
+      "grad_norm": 0.579448401927948,
+      "learning_rate": 3.346942141276666e-07,
+      "loss": 0.5212,
+      "step": 2365
+    },
+    {
+      "epoch": 2.522666666666667,
+      "grad_norm": 0.5115594863891602,
+      "learning_rate": 3.3324226476047496e-07,
+      "loss": 0.4839,
+      "step": 2366
+    },
+    {
+      "epoch": 2.5237333333333334,
+      "grad_norm": 0.5534176826477051,
+      "learning_rate": 3.3179324669743857e-07,
+      "loss": 0.503,
+      "step": 2367
+    },
+    {
+      "epoch": 2.5248,
+      "grad_norm": 0.5782673954963684,
+      "learning_rate": 3.3034716189886656e-07,
+      "loss": 0.5367,
+      "step": 2368
+    },
+    {
+      "epoch": 2.5258666666666665,
+      "grad_norm": 0.5430724024772644,
+      "learning_rate": 3.2890401232109736e-07,
+      "loss": 0.4543,
+      "step": 2369
+    },
+    {
+      "epoch": 2.5269333333333335,
+      "grad_norm": 0.5703079700469971,
+      "learning_rate": 3.2746379991650147e-07,
+      "loss": 0.539,
+      "step": 2370
+    },
+    {
+      "epoch": 2.528,
+      "grad_norm": 0.5925745964050293,
+      "learning_rate": 3.260265266334725e-07,
+      "loss": 0.5363,
+      "step": 2371
+    },
+    {
+      "epoch": 2.5290666666666666,
+      "grad_norm": 0.4857441484928131,
+      "learning_rate": 3.2459219441643124e-07,
+      "loss": 0.4691,
+      "step": 2372
+    },
+    {
+      "epoch": 2.5301333333333336,
+      "grad_norm": 0.5436407923698425,
+      "learning_rate": 3.2316080520581635e-07,
+      "loss": 0.5188,
+      "step": 2373
+    },
+    {
+      "epoch": 2.5312,
+      "grad_norm": 0.5505132675170898,
+      "learning_rate": 3.217323609380882e-07,
+      "loss": 0.4875,
+      "step": 2374
+    },
+    {
+      "epoch": 2.5322666666666667,
+      "grad_norm": 0.5131097435951233,
+      "learning_rate": 3.203068635457202e-07,
+      "loss": 0.4964,
+      "step": 2375
+    },
+    {
+      "epoch": 2.533333333333333,
+      "grad_norm": 0.5210650563240051,
+      "learning_rate": 3.1888431495720127e-07,
+      "loss": 0.4844,
+      "step": 2376
+    },
+    {
+      "epoch": 2.5343999999999998,
+      "grad_norm": 0.5502787232398987,
+      "learning_rate": 3.1746471709702963e-07,
+      "loss": 0.4902,
+      "step": 2377
+    },
+    {
+      "epoch": 2.5354666666666668,
+      "grad_norm": 0.5507121086120605,
+      "learning_rate": 3.1604807188571283e-07,
+      "loss": 0.5137,
+      "step": 2378
+    },
+    {
+      "epoch": 2.5365333333333333,
+      "grad_norm": 0.538411021232605,
+      "learning_rate": 3.1463438123976286e-07,
+      "loss": 0.5056,
+      "step": 2379
+    },
+    {
+      "epoch": 2.5376,
+      "grad_norm": 0.5636138916015625,
+      "learning_rate": 3.132236470716943e-07,
+      "loss": 0.5126,
+      "step": 2380
+    },
+    {
+      "epoch": 2.538666666666667,
+      "grad_norm": 0.5770083665847778,
+      "learning_rate": 3.1181587129002403e-07,
+      "loss": 0.5519,
+      "step": 2381
+    },
+    {
+      "epoch": 2.5397333333333334,
+      "grad_norm": 0.5415277481079102,
+      "learning_rate": 3.1041105579926426e-07,
+      "loss": 0.5238,
+      "step": 2382
+    },
+    {
+      "epoch": 2.5408,
+      "grad_norm": 0.5439598560333252,
+      "learning_rate": 3.0900920249992446e-07,
+      "loss": 0.4824,
+      "step": 2383
+    },
+    {
+      "epoch": 2.5418666666666665,
+      "grad_norm": 0.5350870490074158,
+      "learning_rate": 3.076103132885047e-07,
+      "loss": 0.5285,
+      "step": 2384
+    },
+    {
+      "epoch": 2.5429333333333335,
+      "grad_norm": 0.538722038269043,
+      "learning_rate": 3.062143900574971e-07,
+      "loss": 0.5084,
+      "step": 2385
+    },
+    {
+      "epoch": 2.544,
+      "grad_norm": 0.5643247961997986,
+      "learning_rate": 3.0482143469537955e-07,
+      "loss": 0.5121,
+      "step": 2386
+    },
+    {
+      "epoch": 2.5450666666666666,
+      "grad_norm": 0.565648078918457,
+      "learning_rate": 3.034314490866161e-07,
+      "loss": 0.5389,
+      "step": 2387
+    },
+    {
+      "epoch": 2.5461333333333336,
+      "grad_norm": 0.5534795522689819,
+      "learning_rate": 3.0204443511165167e-07,
+      "loss": 0.5485,
+      "step": 2388
+    },
+    {
+      "epoch": 2.5472,
+      "grad_norm": 0.5274404883384705,
+      "learning_rate": 3.0066039464691304e-07,
+      "loss": 0.5117,
+      "step": 2389
+    },
+    {
+      "epoch": 2.5482666666666667,
+      "grad_norm": 0.5778272747993469,
+      "learning_rate": 2.992793295648022e-07,
+      "loss": 0.5698,
+      "step": 2390
+    },
+    {
+      "epoch": 2.5493333333333332,
+      "grad_norm": 0.5618088841438293,
+      "learning_rate": 2.9790124173369765e-07,
+      "loss": 0.5314,
+      "step": 2391
+    },
+    {
+      "epoch": 2.5504,
+      "grad_norm": 0.5858922600746155,
+      "learning_rate": 2.9652613301794865e-07,
+      "loss": 0.5574,
+      "step": 2392
+    },
+    {
+      "epoch": 2.5514666666666668,
+      "grad_norm": 0.6184186339378357,
+      "learning_rate": 2.9515400527787537e-07,
+      "loss": 0.5888,
+      "step": 2393
+    },
+    {
+      "epoch": 2.5525333333333333,
+      "grad_norm": 0.5701260566711426,
+      "learning_rate": 2.937848603697643e-07,
+      "loss": 0.5367,
+      "step": 2394
+    },
+    {
+      "epoch": 2.5536,
+      "grad_norm": 0.6209617257118225,
+      "learning_rate": 2.9241870014586645e-07,
+      "loss": 0.5259,
+      "step": 2395
+    },
+    {
+      "epoch": 2.554666666666667,
+      "grad_norm": 0.5648928284645081,
+      "learning_rate": 2.910555264543966e-07,
+      "loss": 0.5501,
+      "step": 2396
+    },
+    {
+      "epoch": 2.5557333333333334,
+      "grad_norm": 0.5321146845817566,
+      "learning_rate": 2.896953411395265e-07,
+      "loss": 0.5682,
+      "step": 2397
+    },
+    {
+      "epoch": 2.5568,
+      "grad_norm": 0.6044555306434631,
+      "learning_rate": 2.883381460413881e-07,
+      "loss": 0.5012,
+      "step": 2398
+    },
+    {
+      "epoch": 2.5578666666666665,
+      "grad_norm": 0.571291446685791,
+      "learning_rate": 2.8698394299606495e-07,
+      "loss": 0.4842,
+      "step": 2399
+    },
+    {
+      "epoch": 2.558933333333333,
+      "grad_norm": 0.5503345727920532,
+      "learning_rate": 2.8563273383559606e-07,
+      "loss": 0.5043,
+      "step": 2400
+    },
+    {
+      "epoch": 2.56,
+      "grad_norm": 0.5989288091659546,
+      "learning_rate": 2.842845203879671e-07,
+      "loss": 0.5928,
+      "step": 2401
+    },
+    {
+      "epoch": 2.5610666666666666,
+      "grad_norm": 0.5572039484977722,
+      "learning_rate": 2.829393044771131e-07,
+      "loss": 0.5272,
+      "step": 2402
+    },
+    {
+      "epoch": 2.5621333333333336,
+      "grad_norm": 0.5745526552200317,
+      "learning_rate": 2.815970879229127e-07,
+      "loss": 0.515,
+      "step": 2403
+    },
+    {
+      "epoch": 2.5632,
+      "grad_norm": 0.6288716793060303,
+      "learning_rate": 2.802578725411875e-07,
+      "loss": 0.5759,
+      "step": 2404
+    },
+    {
+      "epoch": 2.5642666666666667,
+      "grad_norm": 0.6512477993965149,
+      "learning_rate": 2.7892166014369834e-07,
+      "loss": 0.557,
+      "step": 2405
+    },
+    {
+      "epoch": 2.5653333333333332,
+      "grad_norm": 0.5245921015739441,
+      "learning_rate": 2.7758845253814474e-07,
+      "loss": 0.5105,
+      "step": 2406
+    },
+    {
+      "epoch": 2.5664,
+      "grad_norm": 0.6181188821792603,
+      "learning_rate": 2.762582515281595e-07,
+      "loss": 0.5525,
+      "step": 2407
+    },
+    {
+      "epoch": 2.567466666666667,
+      "grad_norm": 0.5605493187904358,
+      "learning_rate": 2.7493105891330837e-07,
+      "loss": 0.5078,
+      "step": 2408
+    },
+    {
+      "epoch": 2.5685333333333333,
+      "grad_norm": 0.630293071269989,
+      "learning_rate": 2.736068764890884e-07,
+      "loss": 0.5769,
+      "step": 2409
+    },
+    {
+      "epoch": 2.5696,
+      "grad_norm": 0.5946937203407288,
+      "learning_rate": 2.7228570604692335e-07,
+      "loss": 0.5275,
+      "step": 2410
+    },
+    {
+      "epoch": 2.570666666666667,
+      "grad_norm": 0.6069318652153015,
+      "learning_rate": 2.709675493741612e-07,
+      "loss": 0.5808,
+      "step": 2411
+    },
+    {
+      "epoch": 2.5717333333333334,
+      "grad_norm": 0.5872083902359009,
+      "learning_rate": 2.6965240825407466e-07,
+      "loss": 0.5316,
+      "step": 2412
+    },
+    {
+      "epoch": 2.5728,
+      "grad_norm": 0.5626084208488464,
+      "learning_rate": 2.683402844658564e-07,
+      "loss": 0.5908,
+      "step": 2413
+    },
+    {
+      "epoch": 2.5738666666666665,
+      "grad_norm": 0.5506133437156677,
+      "learning_rate": 2.6703117978461564e-07,
+      "loss": 0.4956,
+      "step": 2414
+    },
+    {
+      "epoch": 2.574933333333333,
+      "grad_norm": 0.5995098352432251,
+      "learning_rate": 2.657250959813795e-07,
+      "loss": 0.5812,
+      "step": 2415
+    },
+    {
+      "epoch": 2.576,
+      "grad_norm": 0.5709054470062256,
+      "learning_rate": 2.644220348230858e-07,
+      "loss": 0.5151,
+      "step": 2416
+    },
+    {
+      "epoch": 2.5770666666666666,
+      "grad_norm": 0.5541917085647583,
+      "learning_rate": 2.6312199807258547e-07,
+      "loss": 0.51,
+      "step": 2417
+    },
+    {
+      "epoch": 2.5781333333333336,
+      "grad_norm": 0.5535787343978882,
+      "learning_rate": 2.618249874886358e-07,
+      "loss": 0.5049,
+      "step": 2418
+    },
+    {
+      "epoch": 2.5792,
+      "grad_norm": 0.5444157719612122,
+      "learning_rate": 2.605310048259022e-07,
+      "loss": 0.5073,
+      "step": 2419
+    },
+    {
+      "epoch": 2.5802666666666667,
+      "grad_norm": 0.5895073413848877,
+      "learning_rate": 2.592400518349517e-07,
+      "loss": 0.5403,
+      "step": 2420
+    },
+    {
+      "epoch": 2.5813333333333333,
+      "grad_norm": 0.5408369898796082,
+      "learning_rate": 2.5795213026225427e-07,
+      "loss": 0.5084,
+      "step": 2421
+    },
+    {
+      "epoch": 2.5824,
+      "grad_norm": 0.5565311908721924,
+      "learning_rate": 2.5666724185017785e-07,
+      "loss": 0.516,
+      "step": 2422
+    },
+    {
+      "epoch": 2.583466666666667,
+      "grad_norm": 0.5165038108825684,
+      "learning_rate": 2.553853883369875e-07,
+      "loss": 0.4863,
+      "step": 2423
+    },
+    {
+      "epoch": 2.5845333333333333,
+      "grad_norm": 0.5777057409286499,
+      "learning_rate": 2.5410657145684165e-07,
+      "loss": 0.5543,
+      "step": 2424
+    },
+    {
+      "epoch": 2.5856,
+      "grad_norm": 0.6161931157112122,
+      "learning_rate": 2.528307929397919e-07,
+      "loss": 0.519,
+      "step": 2425
+    },
+    {
+      "epoch": 2.586666666666667,
+      "grad_norm": 0.5989852547645569,
+      "learning_rate": 2.5155805451177793e-07,
+      "loss": 0.5528,
+      "step": 2426
+    },
+    {
+      "epoch": 2.5877333333333334,
+      "grad_norm": 0.5571348071098328,
+      "learning_rate": 2.502883578946286e-07,
+      "loss": 0.4754,
+      "step": 2427
+    },
+    {
+      "epoch": 2.5888,
+      "grad_norm": 0.5986202955245972,
+      "learning_rate": 2.490217048060553e-07,
+      "loss": 0.5577,
+      "step": 2428
+    },
+    {
+      "epoch": 2.5898666666666665,
+      "grad_norm": 0.5512256622314453,
+      "learning_rate": 2.4775809695965436e-07,
+      "loss": 0.5588,
+      "step": 2429
+    },
+    {
+      "epoch": 2.590933333333333,
+      "grad_norm": 0.6004214286804199,
+      "learning_rate": 2.4649753606489966e-07,
+      "loss": 0.6043,
+      "step": 2430
+    },
+    {
+      "epoch": 2.592,
+      "grad_norm": 0.544854462146759,
+      "learning_rate": 2.452400238271455e-07,
+      "loss": 0.5324,
+      "step": 2431
+    },
+    {
+      "epoch": 2.5930666666666666,
+      "grad_norm": 0.567756175994873,
+      "learning_rate": 2.439855619476206e-07,
+      "loss": 0.5622,
+      "step": 2432
+    },
+    {
+      "epoch": 2.594133333333333,
+      "grad_norm": 0.5360385179519653,
+      "learning_rate": 2.427341521234269e-07,
+      "loss": 0.5026,
+      "step": 2433
+    },
+    {
+      "epoch": 2.5952,
+      "grad_norm": 0.5594282746315002,
+      "learning_rate": 2.4148579604753805e-07,
+      "loss": 0.5259,
+      "step": 2434
+    },
+    {
+      "epoch": 2.5962666666666667,
+      "grad_norm": 0.5913674235343933,
+      "learning_rate": 2.4024049540879555e-07,
+      "loss": 0.5747,
+      "step": 2435
+    },
+    {
+      "epoch": 2.5973333333333333,
+      "grad_norm": 0.5560617446899414,
+      "learning_rate": 2.389982518919082e-07,
+      "loss": 0.5452,
+      "step": 2436
+    },
+    {
+      "epoch": 2.5984,
+      "grad_norm": 0.6127963662147522,
+      "learning_rate": 2.3775906717744852e-07,
+      "loss": 0.5779,
+      "step": 2437
+    },
+    {
+      "epoch": 2.599466666666667,
+      "grad_norm": 0.5600277781486511,
+      "learning_rate": 2.3652294294185056e-07,
+      "loss": 0.4873,
+      "step": 2438
+    },
+    {
+      "epoch": 2.6005333333333334,
+      "grad_norm": 0.5962520837783813,
+      "learning_rate": 2.3528988085740807e-07,
+      "loss": 0.5392,
+      "step": 2439
+    },
+    {
+      "epoch": 2.6016,
+      "grad_norm": 0.5710563063621521,
+      "learning_rate": 2.340598825922738e-07,
+      "loss": 0.5535,
+      "step": 2440
+    },
+    {
+      "epoch": 2.602666666666667,
+      "grad_norm": 0.5756018757820129,
+      "learning_rate": 2.3283294981045285e-07,
+      "loss": 0.5573,
+      "step": 2441
+    },
+    {
+      "epoch": 2.6037333333333335,
+      "grad_norm": 0.5777895450592041,
+      "learning_rate": 2.316090841718055e-07,
+      "loss": 0.5478,
+      "step": 2442
+    },
+    {
+      "epoch": 2.6048,
+      "grad_norm": 0.550434410572052,
+      "learning_rate": 2.3038828733204122e-07,
+      "loss": 0.4621,
+      "step": 2443
+    },
+    {
+      "epoch": 2.6058666666666666,
+      "grad_norm": 0.6128739714622498,
+      "learning_rate": 2.2917056094271916e-07,
+      "loss": 0.5964,
+      "step": 2444
+    },
+    {
+      "epoch": 2.606933333333333,
+      "grad_norm": 0.5771676898002625,
+      "learning_rate": 2.2795590665124267e-07,
+      "loss": 0.5108,
+      "step": 2445
+    },
+    {
+      "epoch": 2.608,
+      "grad_norm": 0.5464791655540466,
+      "learning_rate": 2.2674432610086145e-07,
+      "loss": 0.4799,
+      "step": 2446
+    },
+    {
+      "epoch": 2.6090666666666666,
+      "grad_norm": 0.5791307687759399,
+      "learning_rate": 2.2553582093066405e-07,
+      "loss": 0.513,
+      "step": 2447
+    },
+    {
+      "epoch": 2.610133333333333,
+      "grad_norm": 0.5920294523239136,
+      "learning_rate": 2.2433039277558134e-07,
+      "loss": 0.5035,
+      "step": 2448
+    },
+    {
+      "epoch": 2.6112,
+      "grad_norm": 0.5546295046806335,
+      "learning_rate": 2.231280432663796e-07,
+      "loss": 0.5297,
+      "step": 2449
+    },
+    {
+      "epoch": 2.6122666666666667,
+      "grad_norm": 0.6298972964286804,
+      "learning_rate": 2.219287740296605e-07,
+      "loss": 0.5666,
+      "step": 2450
+    },
+    {
+      "epoch": 2.6133333333333333,
+      "grad_norm": 0.5771021246910095,
+      "learning_rate": 2.2073258668785929e-07,
+      "loss": 0.5473,
+      "step": 2451
+    },
+    {
+      "epoch": 2.6144,
+      "grad_norm": 0.5502965450286865,
+      "learning_rate": 2.1953948285924093e-07,
+      "loss": 0.4875,
+      "step": 2452
+    },
+    {
+      "epoch": 2.615466666666667,
+      "grad_norm": 0.554499089717865,
+      "learning_rate": 2.1834946415789926e-07,
+      "loss": 0.5229,
+      "step": 2453
+    },
+    {
+      "epoch": 2.6165333333333334,
+      "grad_norm": 0.55083167552948,
+      "learning_rate": 2.1716253219375372e-07,
+      "loss": 0.4858,
+      "step": 2454
+    },
+    {
+      "epoch": 2.6176,
+      "grad_norm": 0.6105460524559021,
+      "learning_rate": 2.1597868857254955e-07,
+      "loss": 0.5591,
+      "step": 2455
+    },
+    {
+      "epoch": 2.618666666666667,
+      "grad_norm": 0.55473393201828,
+      "learning_rate": 2.1479793489585176e-07,
+      "loss": 0.5202,
+      "step": 2456
+    },
+    {
+      "epoch": 2.6197333333333335,
+      "grad_norm": 0.5816541314125061,
+      "learning_rate": 2.1362027276104757e-07,
+      "loss": 0.5678,
+      "step": 2457
+    },
+    {
+      "epoch": 2.6208,
+      "grad_norm": 0.5551761984825134,
+      "learning_rate": 2.1244570376133894e-07,
+      "loss": 0.5089,
+      "step": 2458
+    },
+    {
+      "epoch": 2.6218666666666666,
+      "grad_norm": 0.5861223936080933,
+      "learning_rate": 2.112742294857459e-07,
+      "loss": 0.5652,
+      "step": 2459
+    },
+    {
+      "epoch": 2.622933333333333,
+      "grad_norm": 0.5981099009513855,
+      "learning_rate": 2.1010585151910012e-07,
+      "loss": 0.5714,
+      "step": 2460
+    },
+    {
+      "epoch": 2.624,
+      "grad_norm": 0.5367360711097717,
+      "learning_rate": 2.0894057144204505e-07,
+      "loss": 0.522,
+      "step": 2461
+    },
+    {
+      "epoch": 2.6250666666666667,
+      "grad_norm": 0.5915141105651855,
+      "learning_rate": 2.0777839083103295e-07,
+      "loss": 0.6123,
+      "step": 2462
+    },
+    {
+      "epoch": 2.626133333333333,
+      "grad_norm": 0.5923894643783569,
+      "learning_rate": 2.0661931125832342e-07,
+      "loss": 0.5462,
+      "step": 2463
+    },
+    {
+      "epoch": 2.6272,
+      "grad_norm": 0.5999698042869568,
+      "learning_rate": 2.0546333429197984e-07,
+      "loss": 0.5554,
+      "step": 2464
+    },
+    {
+      "epoch": 2.6282666666666668,
+      "grad_norm": 0.5291692614555359,
+      "learning_rate": 2.0431046149586935e-07,
+      "loss": 0.4546,
+      "step": 2465
+    },
+    {
+      "epoch": 2.6293333333333333,
+      "grad_norm": 0.5492172241210938,
+      "learning_rate": 2.031606944296588e-07,
+      "loss": 0.5163,
+      "step": 2466
+    },
+    {
+      "epoch": 2.6304,
+      "grad_norm": 0.6245316863059998,
+      "learning_rate": 2.020140346488139e-07,
+      "loss": 0.6033,
+      "step": 2467
+    },
+    {
+      "epoch": 2.6314666666666664,
+      "grad_norm": 0.5555020570755005,
+      "learning_rate": 2.008704837045966e-07,
+      "loss": 0.5275,
+      "step": 2468
+    },
+    {
+      "epoch": 2.6325333333333334,
+      "grad_norm": 0.5783883929252625,
+      "learning_rate": 1.997300431440624e-07,
+      "loss": 0.5473,
+      "step": 2469
+    },
+    {
+      "epoch": 2.6336,
+      "grad_norm": 0.5754239559173584,
+      "learning_rate": 1.9859271451006024e-07,
+      "loss": 0.5295,
+      "step": 2470
+    },
+    {
+      "epoch": 2.634666666666667,
+      "grad_norm": 0.5771903395652771,
+      "learning_rate": 1.9745849934122707e-07,
+      "loss": 0.546,
+      "step": 2471
+    },
+    {
+      "epoch": 2.6357333333333335,
+      "grad_norm": 0.5634128451347351,
+      "learning_rate": 1.9632739917199052e-07,
+      "loss": 0.5379,
+      "step": 2472
+    },
+    {
+      "epoch": 2.6368,
+      "grad_norm": 0.5011523962020874,
+      "learning_rate": 1.9519941553256122e-07,
+      "loss": 0.4922,
+      "step": 2473
+    },
+    {
+      "epoch": 2.6378666666666666,
+      "grad_norm": 0.5753183364868164,
+      "learning_rate": 1.9407454994893578e-07,
+      "loss": 0.5518,
+      "step": 2474
+    },
+    {
+      "epoch": 2.638933333333333,
+      "grad_norm": 0.5580869913101196,
+      "learning_rate": 1.929528039428913e-07,
+      "loss": 0.5561,
+      "step": 2475
+    },
+    {
+      "epoch": 2.64,
+      "grad_norm": 0.5615633130073547,
+      "learning_rate": 1.9183417903198524e-07,
+      "loss": 0.5441,
+      "step": 2476
+    },
+    {
+      "epoch": 2.6410666666666667,
+      "grad_norm": 0.5642194747924805,
+      "learning_rate": 1.9071867672955185e-07,
+      "loss": 0.5306,
+      "step": 2477
+    },
+    {
+      "epoch": 2.6421333333333332,
+      "grad_norm": 0.6066592335700989,
+      "learning_rate": 1.8960629854470252e-07,
+      "loss": 0.5559,
+      "step": 2478
+    },
+    {
+      "epoch": 2.6432,
+      "grad_norm": 0.5634541511535645,
+      "learning_rate": 1.8849704598231989e-07,
+      "loss": 0.5592,
+      "step": 2479
+    },
+    {
+      "epoch": 2.6442666666666668,
+      "grad_norm": 0.509685218334198,
+      "learning_rate": 1.8739092054306018e-07,
+      "loss": 0.4687,
+      "step": 2480
+    },
+    {
+      "epoch": 2.6453333333333333,
+      "grad_norm": 0.5861576199531555,
+      "learning_rate": 1.8628792372334808e-07,
+      "loss": 0.5645,
+      "step": 2481
+    },
+    {
+      "epoch": 2.6464,
+      "grad_norm": 0.5679677724838257,
+      "learning_rate": 1.851880570153755e-07,
+      "loss": 0.5119,
+      "step": 2482
+    },
+    {
+      "epoch": 2.6474666666666664,
+      "grad_norm": 0.5511580109596252,
+      "learning_rate": 1.8409132190710056e-07,
+      "loss": 0.5385,
+      "step": 2483
+    },
+    {
+      "epoch": 2.6485333333333334,
+      "grad_norm": 0.5765694975852966,
+      "learning_rate": 1.8299771988224442e-07,
+      "loss": 0.5526,
+      "step": 2484
+    },
+    {
+      "epoch": 2.6496,
+      "grad_norm": 0.5682989358901978,
+      "learning_rate": 1.8190725242028888e-07,
+      "loss": 0.6014,
+      "step": 2485
+    },
+    {
+      "epoch": 2.6506666666666665,
+      "grad_norm": 0.5844370722770691,
+      "learning_rate": 1.8081992099647616e-07,
+      "loss": 0.4951,
+      "step": 2486
+    },
+    {
+      "epoch": 2.6517333333333335,
+      "grad_norm": 0.6125804781913757,
+      "learning_rate": 1.797357270818062e-07,
+      "loss": 0.5393,
+      "step": 2487
+    },
+    {
+      "epoch": 2.6528,
+      "grad_norm": 0.5793260335922241,
+      "learning_rate": 1.7865467214303296e-07,
+      "loss": 0.5412,
+      "step": 2488
+    },
+    {
+      "epoch": 2.6538666666666666,
+      "grad_norm": 0.5265635848045349,
+      "learning_rate": 1.7757675764266512e-07,
+      "loss": 0.5453,
+      "step": 2489
+    },
+    {
+      "epoch": 2.654933333333333,
+      "grad_norm": 0.544439971446991,
+      "learning_rate": 1.7650198503896182e-07,
+      "loss": 0.5323,
+      "step": 2490
+    },
+    {
+      "epoch": 2.656,
+      "grad_norm": 0.6266802549362183,
+      "learning_rate": 1.754303557859327e-07,
+      "loss": 0.5236,
+      "step": 2491
+    },
+    {
+      "epoch": 2.6570666666666667,
+      "grad_norm": 0.5558192133903503,
+      "learning_rate": 1.7436187133333337e-07,
+      "loss": 0.5268,
+      "step": 2492
+    },
+    {
+      "epoch": 2.6581333333333332,
+      "grad_norm": 0.5023372173309326,
+      "learning_rate": 1.73296533126667e-07,
+      "loss": 0.5311,
+      "step": 2493
+    },
+    {
+      "epoch": 2.6592000000000002,
+      "grad_norm": 0.5580044388771057,
+      "learning_rate": 1.7223434260717876e-07,
+      "loss": 0.5376,
+      "step": 2494
+    },
+    {
+      "epoch": 2.660266666666667,
+      "grad_norm": 0.5213510990142822,
+      "learning_rate": 1.711753012118561e-07,
+      "loss": 0.5022,
+      "step": 2495
+    },
+    {
+      "epoch": 2.6613333333333333,
+      "grad_norm": 0.5575329661369324,
+      "learning_rate": 1.7011941037342633e-07,
+      "loss": 0.5504,
+      "step": 2496
+    },
+    {
+      "epoch": 2.6624,
+      "grad_norm": 0.5464884638786316,
+      "learning_rate": 1.690666715203537e-07,
+      "loss": 0.5396,
+      "step": 2497
+    },
+    {
+      "epoch": 2.6634666666666664,
+      "grad_norm": 0.5426650047302246,
+      "learning_rate": 1.6801708607683958e-07,
+      "loss": 0.5104,
+      "step": 2498
+    },
+    {
+      "epoch": 2.6645333333333334,
+      "grad_norm": 0.5701771974563599,
+      "learning_rate": 1.669706554628181e-07,
+      "loss": 0.5358,
+      "step": 2499
+    },
+    {
+      "epoch": 2.6656,
+      "grad_norm": 0.5490157008171082,
+      "learning_rate": 1.6592738109395544e-07,
+      "loss": 0.5529,
+      "step": 2500
+    },
+    {
+      "epoch": 2.6666666666666665,
+      "grad_norm": 0.5537054538726807,
+      "learning_rate": 1.6488726438164903e-07,
+      "loss": 0.5662,
+      "step": 2501
+    },
+    {
+      "epoch": 2.6677333333333335,
+      "grad_norm": 0.5848407745361328,
+      "learning_rate": 1.638503067330227e-07,
+      "loss": 0.5222,
+      "step": 2502
+    },
+    {
+      "epoch": 2.6688,
+      "grad_norm": 0.5319936275482178,
+      "learning_rate": 1.6281650955092792e-07,
+      "loss": 0.4981,
+      "step": 2503
+    },
+    {
+      "epoch": 2.6698666666666666,
+      "grad_norm": 0.5724566578865051,
+      "learning_rate": 1.6178587423394066e-07,
+      "loss": 0.5224,
+      "step": 2504
+    },
+    {
+      "epoch": 2.670933333333333,
+      "grad_norm": 0.5987517833709717,
+      "learning_rate": 1.6075840217635752e-07,
+      "loss": 0.5272,
+      "step": 2505
+    },
+    {
+      "epoch": 2.672,
+      "grad_norm": 0.594692587852478,
+      "learning_rate": 1.5973409476819802e-07,
+      "loss": 0.5246,
+      "step": 2506
+    },
+    {
+      "epoch": 2.6730666666666667,
+      "grad_norm": 0.5640548467636108,
+      "learning_rate": 1.5871295339519838e-07,
+      "loss": 0.4995,
+      "step": 2507
+    },
+    {
+      "epoch": 2.6741333333333333,
+      "grad_norm": 0.5746001601219177,
+      "learning_rate": 1.576949794388133e-07,
+      "loss": 0.5277,
+      "step": 2508
+    },
+    {
+      "epoch": 2.6752000000000002,
+      "grad_norm": 0.5715292692184448,
+      "learning_rate": 1.5668017427621085e-07,
+      "loss": 0.5422,
+      "step": 2509
+    },
+    {
+      "epoch": 2.676266666666667,
+      "grad_norm": 0.5748471617698669,
+      "learning_rate": 1.556685392802737e-07,
+      "loss": 0.4891,
+      "step": 2510
+    },
+    {
+      "epoch": 2.6773333333333333,
+      "grad_norm": 0.5294566750526428,
+      "learning_rate": 1.5466007581959487e-07,
+      "loss": 0.4773,
+      "step": 2511
+    },
+    {
+      "epoch": 2.6784,
+      "grad_norm": 0.5718724727630615,
+      "learning_rate": 1.536547852584766e-07,
+      "loss": 0.5231,
+      "step": 2512
+    },
+    {
+      "epoch": 2.6794666666666664,
+      "grad_norm": 0.5323492288589478,
+      "learning_rate": 1.5265266895692883e-07,
+      "loss": 0.5257,
+      "step": 2513
+    },
+    {
+      "epoch": 2.6805333333333334,
+      "grad_norm": 0.6099315881729126,
+      "learning_rate": 1.5165372827066788e-07,
+      "loss": 0.538,
+      "step": 2514
+    },
+    {
+      "epoch": 2.6816,
+      "grad_norm": 0.5484195947647095,
+      "learning_rate": 1.5065796455111304e-07,
+      "loss": 0.5292,
+      "step": 2515
+    },
+    {
+      "epoch": 2.6826666666666665,
+      "grad_norm": 0.5738089084625244,
+      "learning_rate": 1.496653791453864e-07,
+      "loss": 0.5112,
+      "step": 2516
+    },
+    {
+      "epoch": 2.6837333333333335,
+      "grad_norm": 0.5827524662017822,
+      "learning_rate": 1.4867597339630918e-07,
+      "loss": 0.5687,
+      "step": 2517
+    },
+    {
+      "epoch": 2.6848,
+      "grad_norm": 0.5323463678359985,
+      "learning_rate": 1.4768974864240255e-07,
+      "loss": 0.4996,
+      "step": 2518
+    },
+    {
+      "epoch": 2.6858666666666666,
+      "grad_norm": 0.5984359383583069,
+      "learning_rate": 1.467067062178823e-07,
+      "loss": 0.5781,
+      "step": 2519
+    },
+    {
+      "epoch": 2.686933333333333,
+      "grad_norm": 0.5222101807594299,
+      "learning_rate": 1.457268474526613e-07,
+      "loss": 0.4681,
+      "step": 2520
+    },
+    {
+      "epoch": 2.6879999999999997,
+      "grad_norm": 0.559768557548523,
+      "learning_rate": 1.4475017367234306e-07,
+      "loss": 0.5112,
+      "step": 2521
+    },
+    {
+      "epoch": 2.6890666666666667,
+      "grad_norm": 0.585125744342804,
+      "learning_rate": 1.43776686198224e-07,
+      "loss": 0.5548,
+      "step": 2522
+    },
+    {
+      "epoch": 2.6901333333333333,
+      "grad_norm": 0.5639452934265137,
+      "learning_rate": 1.428063863472895e-07,
+      "loss": 0.5334,
+      "step": 2523
+    },
+    {
+      "epoch": 2.6912000000000003,
+      "grad_norm": 0.5504449009895325,
+      "learning_rate": 1.4183927543221177e-07,
+      "loss": 0.5103,
+      "step": 2524
+    },
+    {
+      "epoch": 2.692266666666667,
+      "grad_norm": 0.594199001789093,
+      "learning_rate": 1.4087535476135007e-07,
+      "loss": 0.5302,
+      "step": 2525
+    },
+    {
+      "epoch": 2.6933333333333334,
+      "grad_norm": 0.532041072845459,
+      "learning_rate": 1.3991462563874708e-07,
+      "loss": 0.4707,
+      "step": 2526
+    },
+    {
+      "epoch": 2.6944,
+      "grad_norm": 0.5282225012779236,
+      "learning_rate": 1.3895708936412734e-07,
+      "loss": 0.4776,
+      "step": 2527
+    },
+    {
+      "epoch": 2.6954666666666665,
+      "grad_norm": 0.6046940684318542,
+      "learning_rate": 1.3800274723289653e-07,
+      "loss": 0.5747,
+      "step": 2528
+    },
+    {
+      "epoch": 2.6965333333333334,
+      "grad_norm": 0.5881485939025879,
+      "learning_rate": 1.370516005361394e-07,
+      "loss": 0.5338,
+      "step": 2529
+    },
+    {
+      "epoch": 2.6976,
+      "grad_norm": 0.559546709060669,
+      "learning_rate": 1.3610365056061668e-07,
+      "loss": 0.5117,
+      "step": 2530
+    },
+    {
+      "epoch": 2.6986666666666665,
+      "grad_norm": 0.5418488383293152,
+      "learning_rate": 1.3515889858876612e-07,
+      "loss": 0.5443,
+      "step": 2531
+    },
+    {
+      "epoch": 2.6997333333333335,
+      "grad_norm": 0.5862845182418823,
+      "learning_rate": 1.34217345898697e-07,
+      "loss": 0.5338,
+      "step": 2532
+    },
+    {
+      "epoch": 2.7008,
+      "grad_norm": 0.5824123620986938,
+      "learning_rate": 1.3327899376419234e-07,
+      "loss": 0.5848,
+      "step": 2533
+    },
+    {
+      "epoch": 2.7018666666666666,
+      "grad_norm": 0.5740205645561218,
+      "learning_rate": 1.3234384345470364e-07,
+      "loss": 0.5453,
+      "step": 2534
+    },
+    {
+      "epoch": 2.702933333333333,
+      "grad_norm": 0.5607318878173828,
+      "learning_rate": 1.314118962353522e-07,
+      "loss": 0.5008,
+      "step": 2535
+    },
+    {
+      "epoch": 2.7039999999999997,
+      "grad_norm": 0.5282258987426758,
+      "learning_rate": 1.3048315336692484e-07,
+      "loss": 0.5,
+      "step": 2536
+    },
+    {
+      "epoch": 2.7050666666666667,
+      "grad_norm": 0.5995808243751526,
+      "learning_rate": 1.2955761610587481e-07,
+      "loss": 0.5095,
+      "step": 2537
+    },
+    {
+      "epoch": 2.7061333333333333,
+      "grad_norm": 0.5247874855995178,
+      "learning_rate": 1.2863528570431633e-07,
+      "loss": 0.5118,
+      "step": 2538
+    },
+    {
+      "epoch": 2.7072000000000003,
+      "grad_norm": 0.5795832872390747,
+      "learning_rate": 1.2771616341002796e-07,
+      "loss": 0.604,
+      "step": 2539
+    },
+    {
+      "epoch": 2.708266666666667,
+      "grad_norm": 0.6103571057319641,
+      "learning_rate": 1.2680025046644562e-07,
+      "loss": 0.5456,
+      "step": 2540
+    },
+    {
+      "epoch": 2.7093333333333334,
+      "grad_norm": 0.6031224131584167,
+      "learning_rate": 1.2588754811266591e-07,
+      "loss": 0.5803,
+      "step": 2541
+    },
+    {
+      "epoch": 2.7104,
+      "grad_norm": 0.5988409519195557,
+      "learning_rate": 1.2497805758344002e-07,
+      "loss": 0.576,
+      "step": 2542
+    },
+    {
+      "epoch": 2.7114666666666665,
+      "grad_norm": 0.5727169513702393,
+      "learning_rate": 1.2407178010917426e-07,
+      "loss": 0.5501,
+      "step": 2543
+    },
+    {
+      "epoch": 2.7125333333333335,
+      "grad_norm": 0.5508211255073547,
+      "learning_rate": 1.2316871691592959e-07,
+      "loss": 0.5378,
+      "step": 2544
+    },
+    {
+      "epoch": 2.7136,
+      "grad_norm": 0.5284850597381592,
+      "learning_rate": 1.2226886922541674e-07,
+      "loss": 0.5382,
+      "step": 2545
+    },
+    {
+      "epoch": 2.7146666666666666,
+      "grad_norm": 0.5470293164253235,
+      "learning_rate": 1.2137223825499755e-07,
+      "loss": 0.4992,
+      "step": 2546
+    },
+    {
+      "epoch": 2.7157333333333336,
+      "grad_norm": 0.5336693525314331,
+      "learning_rate": 1.2047882521768167e-07,
+      "loss": 0.5266,
+      "step": 2547
+    },
+    {
+      "epoch": 2.7168,
+      "grad_norm": 0.6173526644706726,
+      "learning_rate": 1.1958863132212534e-07,
+      "loss": 0.5374,
+      "step": 2548
+    },
+    {
+      "epoch": 2.7178666666666667,
+      "grad_norm": 0.5522445440292358,
+      "learning_rate": 1.1870165777262937e-07,
+      "loss": 0.5343,
+      "step": 2549
+    },
+    {
+      "epoch": 2.718933333333333,
+      "grad_norm": 0.5795469284057617,
+      "learning_rate": 1.1781790576913948e-07,
+      "loss": 0.5431,
+      "step": 2550
+    },
+    {
+      "epoch": 2.7199999999999998,
+      "grad_norm": 0.5724670886993408,
+      "learning_rate": 1.1693737650724069e-07,
+      "loss": 0.4893,
+      "step": 2551
+    },
+    {
+      "epoch": 2.7210666666666667,
+      "grad_norm": 0.5953028798103333,
+      "learning_rate": 1.1606007117816037e-07,
+      "loss": 0.5551,
+      "step": 2552
+    },
+    {
+      "epoch": 2.7221333333333333,
+      "grad_norm": 0.590925931930542,
+      "learning_rate": 1.1518599096876277e-07,
+      "loss": 0.5272,
+      "step": 2553
+    },
+    {
+      "epoch": 2.7232,
+      "grad_norm": 0.5711330771446228,
+      "learning_rate": 1.1431513706155028e-07,
+      "loss": 0.5514,
+      "step": 2554
+    },
+    {
+      "epoch": 2.724266666666667,
+      "grad_norm": 0.5950753688812256,
+      "learning_rate": 1.1344751063465969e-07,
+      "loss": 0.5145,
+      "step": 2555
+    },
+    {
+      "epoch": 2.7253333333333334,
+      "grad_norm": 0.5410615801811218,
+      "learning_rate": 1.1258311286186208e-07,
+      "loss": 0.5075,
+      "step": 2556
+    },
+    {
+      "epoch": 2.7264,
+      "grad_norm": 0.5445073246955872,
+      "learning_rate": 1.1172194491256006e-07,
+      "loss": 0.4767,
+      "step": 2557
+    },
+    {
+      "epoch": 2.7274666666666665,
+      "grad_norm": 0.6074643135070801,
+      "learning_rate": 1.1086400795178697e-07,
+      "loss": 0.5385,
+      "step": 2558
+    },
+    {
+      "epoch": 2.7285333333333335,
+      "grad_norm": 0.6062946319580078,
+      "learning_rate": 1.1000930314020553e-07,
+      "loss": 0.5823,
+      "step": 2559
+    },
+    {
+      "epoch": 2.7296,
+      "grad_norm": 0.5871686339378357,
+      "learning_rate": 1.0915783163410493e-07,
+      "loss": 0.5575,
+      "step": 2560
+    },
+    {
+      "epoch": 2.7306666666666666,
+      "grad_norm": 0.5970661044120789,
+      "learning_rate": 1.0830959458540152e-07,
+      "loss": 0.5471,
+      "step": 2561
+    },
+    {
+      "epoch": 2.7317333333333336,
+      "grad_norm": 0.5668028593063354,
+      "learning_rate": 1.0746459314163432e-07,
+      "loss": 0.5701,
+      "step": 2562
+    },
+    {
+      "epoch": 2.7328,
+      "grad_norm": 0.5968182682991028,
+      "learning_rate": 1.0662282844596666e-07,
+      "loss": 0.5104,
+      "step": 2563
+    },
+    {
+      "epoch": 2.7338666666666667,
+      "grad_norm": 0.6025888919830322,
+      "learning_rate": 1.0578430163718151e-07,
+      "loss": 0.5618,
+      "step": 2564
+    },
+    {
+      "epoch": 2.734933333333333,
+      "grad_norm": 0.49972036480903625,
+      "learning_rate": 1.0494901384968281e-07,
+      "loss": 0.4723,
+      "step": 2565
+    },
+    {
+      "epoch": 2.7359999999999998,
+      "grad_norm": 0.5474928617477417,
+      "learning_rate": 1.0411696621349137e-07,
+      "loss": 0.4977,
+      "step": 2566
+    },
+    {
+      "epoch": 2.7370666666666668,
+      "grad_norm": 0.6077110767364502,
+      "learning_rate": 1.0328815985424539e-07,
+      "loss": 0.5096,
+      "step": 2567
+    },
+    {
+      "epoch": 2.7381333333333333,
+      "grad_norm": 0.6369513869285583,
+      "learning_rate": 1.0246259589319768e-07,
+      "loss": 0.5514,
+      "step": 2568
+    },
+    {
+      "epoch": 2.7392,
+      "grad_norm": 0.5435371398925781,
+      "learning_rate": 1.0164027544721511e-07,
+      "loss": 0.4977,
+      "step": 2569
+    },
+    {
+      "epoch": 2.740266666666667,
+      "grad_norm": 0.534968912601471,
+      "learning_rate": 1.0082119962877584e-07,
+      "loss": 0.53,
+      "step": 2570
+    },
+    {
+      "epoch": 2.7413333333333334,
+      "grad_norm": 0.5606449842453003,
+      "learning_rate": 1.0000536954596851e-07,
+      "loss": 0.5141,
+      "step": 2571
+    },
+    {
+      "epoch": 2.7424,
+      "grad_norm": 0.5620842576026917,
+      "learning_rate": 9.91927863024919e-08,
+      "loss": 0.5541,
+      "step": 2572
+    },
+    {
+      "epoch": 2.7434666666666665,
+      "grad_norm": 0.5142610669136047,
+      "learning_rate": 9.838345099765084e-08,
+      "loss": 0.4827,
+      "step": 2573
+    },
+    {
+      "epoch": 2.7445333333333335,
+      "grad_norm": 0.5689069032669067,
+      "learning_rate": 9.757736472635698e-08,
+      "loss": 0.5758,
+      "step": 2574
+    },
+    {
+      "epoch": 2.7456,
+      "grad_norm": 0.5502250790596008,
+      "learning_rate": 9.677452857912662e-08,
+      "loss": 0.5064,
+      "step": 2575
+    },
+    {
+      "epoch": 2.7466666666666666,
+      "grad_norm": 0.5969790816307068,
+      "learning_rate": 9.597494364207816e-08,
+      "loss": 0.5292,
+      "step": 2576
+    },
+    {
+      "epoch": 2.7477333333333336,
+      "grad_norm": 0.56192547082901,
+      "learning_rate": 9.517861099693271e-08,
+      "loss": 0.4914,
+      "step": 2577
+    },
+    {
+      "epoch": 2.7488,
+      "grad_norm": 0.5753182768821716,
+      "learning_rate": 9.438553172101156e-08,
+      "loss": 0.5748,
+      "step": 2578
+    },
+    {
+      "epoch": 2.7498666666666667,
+      "grad_norm": 0.5742263197898865,
+      "learning_rate": 9.35957068872334e-08,
+      "loss": 0.5841,
+      "step": 2579
+    },
+    {
+      "epoch": 2.7509333333333332,
+      "grad_norm": 0.5770480036735535,
+      "learning_rate": 9.280913756411547e-08,
+      "loss": 0.5271,
+      "step": 2580
+    },
+    {
+      "epoch": 2.752,
+      "grad_norm": 0.5970488786697388,
+      "learning_rate": 9.20258248157696e-08,
+      "loss": 0.5621,
+      "step": 2581
+    },
+    {
+      "epoch": 2.7530666666666668,
+      "grad_norm": 0.5599910020828247,
+      "learning_rate": 9.124576970190369e-08,
+      "loss": 0.5501,
+      "step": 2582
+    },
+    {
+      "epoch": 2.7541333333333333,
+      "grad_norm": 0.5896212458610535,
+      "learning_rate": 9.046897327781607e-08,
+      "loss": 0.6103,
+      "step": 2583
+    },
+    {
+      "epoch": 2.7552,
+      "grad_norm": 0.5887967944145203,
+      "learning_rate": 8.969543659439917e-08,
+      "loss": 0.5617,
+      "step": 2584
+    },
+    {
+      "epoch": 2.756266666666667,
+      "grad_norm": 0.5807200074195862,
+      "learning_rate": 8.892516069813367e-08,
+      "loss": 0.5972,
+      "step": 2585
+    },
+    {
+      "epoch": 2.7573333333333334,
+      "grad_norm": 0.5503824949264526,
+      "learning_rate": 8.815814663108935e-08,
+      "loss": 0.5502,
+      "step": 2586
+    },
+    {
+      "epoch": 2.7584,
+      "grad_norm": 0.5406961441040039,
+      "learning_rate": 8.739439543092282e-08,
+      "loss": 0.5608,
+      "step": 2587
+    },
+    {
+      "epoch": 2.7594666666666665,
+      "grad_norm": 0.6655884385108948,
+      "learning_rate": 8.663390813087813e-08,
+      "loss": 0.5232,
+      "step": 2588
+    },
+    {
+      "epoch": 2.760533333333333,
+      "grad_norm": 0.5909585356712341,
+      "learning_rate": 8.587668575978176e-08,
+      "loss": 0.5245,
+      "step": 2589
+    },
+    {
+      "epoch": 2.7616,
+      "grad_norm": 0.5588054656982422,
+      "learning_rate": 8.512272934204451e-08,
+      "loss": 0.5338,
+      "step": 2590
+    },
+    {
+      "epoch": 2.7626666666666666,
+      "grad_norm": 0.5838527083396912,
+      "learning_rate": 8.437203989765802e-08,
+      "loss": 0.5377,
+      "step": 2591
+    },
+    {
+      "epoch": 2.7637333333333336,
+      "grad_norm": 0.6012356281280518,
+      "learning_rate": 8.362461844219516e-08,
+      "loss": 0.565,
+      "step": 2592
+    },
+    {
+      "epoch": 2.7648,
+      "grad_norm": 0.5522394776344299,
+      "learning_rate": 8.288046598680627e-08,
+      "loss": 0.5222,
+      "step": 2593
+    },
+    {
+      "epoch": 2.7658666666666667,
+      "grad_norm": 0.5138412117958069,
+      "learning_rate": 8.213958353822076e-08,
+      "loss": 0.4689,
+      "step": 2594
+    },
+    {
+      "epoch": 2.7669333333333332,
+      "grad_norm": 0.5326974391937256,
+      "learning_rate": 8.1401972098743e-08,
+      "loss": 0.4959,
+      "step": 2595
+    },
+    {
+      "epoch": 2.768,
+      "grad_norm": 0.5575687289237976,
+      "learning_rate": 8.066763266625283e-08,
+      "loss": 0.5525,
+      "step": 2596
+    },
+    {
+      "epoch": 2.769066666666667,
+      "grad_norm": 0.5546820163726807,
+      "learning_rate": 7.993656623420359e-08,
+      "loss": 0.5081,
+      "step": 2597
+    },
+    {
+      "epoch": 2.7701333333333333,
+      "grad_norm": 0.5488652586936951,
+      "learning_rate": 7.920877379162029e-08,
+      "loss": 0.5046,
+      "step": 2598
+    },
+    {
+      "epoch": 2.7712,
+      "grad_norm": 0.5885601043701172,
+      "learning_rate": 7.848425632309892e-08,
+      "loss": 0.5802,
+      "step": 2599
+    },
+    {
+      "epoch": 2.772266666666667,
+      "grad_norm": 0.608909547328949,
+      "learning_rate": 7.776301480880516e-08,
+      "loss": 0.5517,
+      "step": 2600
+    },
+    {
+      "epoch": 2.7733333333333334,
+      "grad_norm": 0.5569639205932617,
+      "learning_rate": 7.70450502244724e-08,
+      "loss": 0.5182,
+      "step": 2601
+    },
+    {
+      "epoch": 2.7744,
+      "grad_norm": 0.5457772612571716,
+      "learning_rate": 7.633036354140088e-08,
+      "loss": 0.5157,
+      "step": 2602
+    },
+    {
+      "epoch": 2.7754666666666665,
+      "grad_norm": 0.5674906373023987,
+      "learning_rate": 7.561895572645666e-08,
+      "loss": 0.5128,
+      "step": 2603
+    },
+    {
+      "epoch": 2.776533333333333,
+      "grad_norm": 0.5120345950126648,
+      "learning_rate": 7.491082774206931e-08,
+      "loss": 0.472,
+      "step": 2604
+    },
+    {
+      "epoch": 2.7776,
+      "grad_norm": 0.5695876479148865,
+      "learning_rate": 7.420598054623224e-08,
+      "loss": 0.5226,
+      "step": 2605
+    },
+    {
+      "epoch": 2.7786666666666666,
+      "grad_norm": 0.5844399333000183,
+      "learning_rate": 7.350441509249989e-08,
+      "loss": 0.5879,
+      "step": 2606
+    },
+    {
+      "epoch": 2.779733333333333,
+      "grad_norm": 0.5856999754905701,
+      "learning_rate": 7.280613232998668e-08,
+      "loss": 0.5826,
+      "step": 2607
+    },
+    {
+      "epoch": 2.7808,
+      "grad_norm": 0.5122194886207581,
+      "learning_rate": 7.211113320336665e-08,
+      "loss": 0.4977,
+      "step": 2608
+    },
+    {
+      "epoch": 2.7818666666666667,
+      "grad_norm": 0.5735731720924377,
+      "learning_rate": 7.141941865287106e-08,
+      "loss": 0.5358,
+      "step": 2609
+    },
+    {
+      "epoch": 2.7829333333333333,
+      "grad_norm": 0.5109619498252869,
+      "learning_rate": 7.073098961428799e-08,
+      "loss": 0.4717,
+      "step": 2610
+    },
+    {
+      "epoch": 2.784,
+      "grad_norm": 0.5542183518409729,
+      "learning_rate": 7.004584701896077e-08,
+      "loss": 0.4954,
+      "step": 2611
+    },
+    {
+      "epoch": 2.785066666666667,
+      "grad_norm": 0.5920616984367371,
+      "learning_rate": 6.936399179378577e-08,
+      "loss": 0.5408,
+      "step": 2612
+    },
+    {
+      "epoch": 2.7861333333333334,
+      "grad_norm": 0.6276311278343201,
+      "learning_rate": 6.868542486121315e-08,
+      "loss": 0.6383,
+      "step": 2613
+    },
+    {
+      "epoch": 2.7872,
+      "grad_norm": 0.5453687906265259,
+      "learning_rate": 6.801014713924442e-08,
+      "loss": 0.5163,
+      "step": 2614
+    },
+    {
+      "epoch": 2.788266666666667,
+      "grad_norm": 0.5111283659934998,
+      "learning_rate": 6.73381595414302e-08,
+      "loss": 0.5047,
+      "step": 2615
+    },
+    {
+      "epoch": 2.7893333333333334,
+      "grad_norm": 0.5528305172920227,
+      "learning_rate": 6.666946297687133e-08,
+      "loss": 0.5421,
+      "step": 2616
+    },
+    {
+      "epoch": 2.7904,
+      "grad_norm": 0.6200871467590332,
+      "learning_rate": 6.600405835021529e-08,
+      "loss": 0.5908,
+      "step": 2617
+    },
+    {
+      "epoch": 2.7914666666666665,
+      "grad_norm": 0.5820772051811218,
+      "learning_rate": 6.534194656165699e-08,
+      "loss": 0.5551,
+      "step": 2618
+    },
+    {
+      "epoch": 2.792533333333333,
+      "grad_norm": 0.6337178349494934,
+      "learning_rate": 6.468312850693576e-08,
+      "loss": 0.5983,
+      "step": 2619
+    },
+    {
+      "epoch": 2.7936,
+      "grad_norm": 0.5576120615005493,
+      "learning_rate": 6.402760507733585e-08,
+      "loss": 0.5078,
+      "step": 2620
+    },
+    {
+      "epoch": 2.7946666666666666,
+      "grad_norm": 0.6338408589363098,
+      "learning_rate": 6.337537715968345e-08,
+      "loss": 0.5701,
+      "step": 2621
+    },
+    {
+      "epoch": 2.795733333333333,
+      "grad_norm": 0.5602776408195496,
+      "learning_rate": 6.272644563634744e-08,
+      "loss": 0.5352,
+      "step": 2622
+    },
+    {
+      "epoch": 2.7968,
+      "grad_norm": 0.5368744730949402,
+      "learning_rate": 6.208081138523614e-08,
+      "loss": 0.5594,
+      "step": 2623
+    },
+    {
+      "epoch": 2.7978666666666667,
+      "grad_norm": 0.5174717307090759,
+      "learning_rate": 6.143847527979808e-08,
+      "loss": 0.4807,
+      "step": 2624
+    },
+    {
+      "epoch": 2.7989333333333333,
+      "grad_norm": 0.5250020027160645,
+      "learning_rate": 6.079943818901895e-08,
+      "loss": 0.4885,
+      "step": 2625
+    },
+    {
+      "epoch": 2.8,
+      "grad_norm": 0.5890145897865295,
+      "learning_rate": 6.016370097742224e-08,
+      "loss": 0.5547,
+      "step": 2626
+    },
+    {
+      "epoch": 2.801066666666667,
+      "grad_norm": 0.476974219083786,
+      "learning_rate": 5.9531264505066354e-08,
+      "loss": 0.4851,
+      "step": 2627
+    },
+    {
+      "epoch": 2.8021333333333334,
+      "grad_norm": 0.5741441249847412,
+      "learning_rate": 5.8902129627545216e-08,
+      "loss": 0.5355,
+      "step": 2628
+    },
+    {
+      "epoch": 2.8032,
+      "grad_norm": 0.567035973072052,
+      "learning_rate": 5.827629719598521e-08,
+      "loss": 0.5568,
+      "step": 2629
+    },
+    {
+      "epoch": 2.804266666666667,
+      "grad_norm": 0.6023795008659363,
+      "learning_rate": 5.7653768057045757e-08,
+      "loss": 0.6018,
+      "step": 2630
+    },
+    {
+      "epoch": 2.8053333333333335,
+      "grad_norm": 0.5850528478622437,
+      "learning_rate": 5.7034543052917335e-08,
+      "loss": 0.5157,
+      "step": 2631
+    },
+    {
+      "epoch": 2.8064,
+      "grad_norm": 0.5716785788536072,
+      "learning_rate": 5.641862302131928e-08,
+      "loss": 0.5141,
+      "step": 2632
+    },
+    {
+      "epoch": 2.8074666666666666,
+      "grad_norm": 0.6090503334999084,
+      "learning_rate": 5.5806008795501745e-08,
+      "loss": 0.5397,
+      "step": 2633
+    },
+    {
+      "epoch": 2.808533333333333,
+      "grad_norm": 0.550299346446991,
+      "learning_rate": 5.519670120424064e-08,
+      "loss": 0.4664,
+      "step": 2634
+    },
+    {
+      "epoch": 2.8096,
+      "grad_norm": 0.5627291798591614,
+      "learning_rate": 5.45907010718405e-08,
+      "loss": 0.5425,
+      "step": 2635
+    },
+    {
+      "epoch": 2.8106666666666666,
+      "grad_norm": 0.557490885257721,
+      "learning_rate": 5.3988009218129135e-08,
+      "loss": 0.5275,
+      "step": 2636
+    },
+    {
+      "epoch": 2.811733333333333,
+      "grad_norm": 0.6254628896713257,
+      "learning_rate": 5.3388626458460714e-08,
+      "loss": 0.5458,
+      "step": 2637
+    },
+    {
+      "epoch": 2.8128,
+      "grad_norm": 0.6449782252311707,
+      "learning_rate": 5.2792553603711326e-08,
+      "loss": 0.5699,
+      "step": 2638
+    },
+    {
+      "epoch": 2.8138666666666667,
+      "grad_norm": 0.5508193969726562,
+      "learning_rate": 5.219979146028037e-08,
+      "loss": 0.5077,
+      "step": 2639
+    },
+    {
+      "epoch": 2.8149333333333333,
+      "grad_norm": 0.5563542246818542,
+      "learning_rate": 5.161034083008693e-08,
+      "loss": 0.4941,
+      "step": 2640
+    },
+    {
+      "epoch": 2.816,
+      "grad_norm": 0.597621738910675,
+      "learning_rate": 5.102420251057144e-08,
+      "loss": 0.5459,
+      "step": 2641
+    },
+    {
+      "epoch": 2.817066666666667,
+      "grad_norm": 0.5498049259185791,
+      "learning_rate": 5.0441377294692675e-08,
+      "loss": 0.5001,
+      "step": 2642
+    },
+    {
+      "epoch": 2.8181333333333334,
+      "grad_norm": 0.5433846712112427,
+      "learning_rate": 4.9861865970927404e-08,
+      "loss": 0.525,
+      "step": 2643
+    },
+    {
+      "epoch": 2.8192,
+      "grad_norm": 0.5855333805084229,
+      "learning_rate": 4.928566932326906e-08,
+      "loss": 0.5591,
+      "step": 2644
+    },
+    {
+      "epoch": 2.820266666666667,
+      "grad_norm": 0.5447830557823181,
+      "learning_rate": 4.871278813122632e-08,
+      "loss": 0.5258,
+      "step": 2645
+    },
+    {
+      "epoch": 2.8213333333333335,
+      "grad_norm": 0.6776189208030701,
+      "learning_rate": 4.814322316982395e-08,
+      "loss": 0.6251,
+      "step": 2646
+    },
+    {
+      "epoch": 2.8224,
+      "grad_norm": 0.5470100045204163,
+      "learning_rate": 4.7576975209599195e-08,
+      "loss": 0.5052,
+      "step": 2647
+    },
+    {
+      "epoch": 2.8234666666666666,
+      "grad_norm": 0.52247554063797,
+      "learning_rate": 4.7014045016601784e-08,
+      "loss": 0.4799,
+      "step": 2648
+    },
+    {
+      "epoch": 2.824533333333333,
+      "grad_norm": 0.5897868275642395,
+      "learning_rate": 4.6454433352393634e-08,
+      "loss": 0.5598,
+      "step": 2649
+    },
+    {
+      "epoch": 2.8256,
+      "grad_norm": 0.5361445546150208,
+      "learning_rate": 4.589814097404694e-08,
+      "loss": 0.5301,
+      "step": 2650
+    },
+    {
+      "epoch": 2.8266666666666667,
+      "grad_norm": 0.5335550308227539,
+      "learning_rate": 4.534516863414329e-08,
+      "loss": 0.5262,
+      "step": 2651
+    },
+    {
+      "epoch": 2.827733333333333,
+      "grad_norm": 0.5572186708450317,
+      "learning_rate": 4.4795517080773175e-08,
+      "loss": 0.5068,
+      "step": 2652
+    },
+    {
+      "epoch": 2.8288,
+      "grad_norm": 0.5761824250221252,
+      "learning_rate": 4.4249187057533725e-08,
+      "loss": 0.5667,
+      "step": 2653
+    },
+    {
+      "epoch": 2.8298666666666668,
+      "grad_norm": 0.5707184672355652,
+      "learning_rate": 4.3706179303529276e-08,
+      "loss": 0.5633,
+      "step": 2654
+    },
+    {
+      "epoch": 2.8309333333333333,
+      "grad_norm": 0.5556488037109375,
+      "learning_rate": 4.316649455336913e-08,
+      "loss": 0.5019,
+      "step": 2655
+    },
+    {
+      "epoch": 2.832,
+      "grad_norm": 0.5763635635375977,
+      "learning_rate": 4.2630133537167885e-08,
+      "loss": 0.53,
+      "step": 2656
+    },
+    {
+      "epoch": 2.8330666666666664,
+      "grad_norm": 0.6106783747673035,
+      "learning_rate": 4.209709698054232e-08,
+      "loss": 0.5524,
+      "step": 2657
+    },
+    {
+      "epoch": 2.8341333333333334,
+      "grad_norm": 0.5716109275817871,
+      "learning_rate": 4.156738560461282e-08,
+      "loss": 0.5574,
+      "step": 2658
+    },
+    {
+      "epoch": 2.8352,
+      "grad_norm": 0.5815556645393372,
+      "learning_rate": 4.1041000126000595e-08,
+      "loss": 0.6054,
+      "step": 2659
+    },
+    {
+      "epoch": 2.836266666666667,
+      "grad_norm": 0.640309751033783,
+      "learning_rate": 4.051794125682767e-08,
+      "loss": 0.6251,
+      "step": 2660
+    },
+    {
+      "epoch": 2.8373333333333335,
+      "grad_norm": 0.5669311285018921,
+      "learning_rate": 3.999820970471635e-08,
+      "loss": 0.568,
+      "step": 2661
+    },
+    {
+      "epoch": 2.8384,
+      "grad_norm": 0.5455305576324463,
+      "learning_rate": 3.948180617278613e-08,
+      "loss": 0.5269,
+      "step": 2662
+    },
+    {
+      "epoch": 2.8394666666666666,
+      "grad_norm": 0.6008930802345276,
+      "learning_rate": 3.896873135965484e-08,
+      "loss": 0.574,
+      "step": 2663
+    },
+    {
+      "epoch": 2.840533333333333,
+      "grad_norm": 0.6322816014289856,
+      "learning_rate": 3.845898595943809e-08,
+      "loss": 0.564,
+      "step": 2664
+    },
+    {
+      "epoch": 2.8416,
+      "grad_norm": 0.63923579454422,
+      "learning_rate": 3.795257066174535e-08,
+      "loss": 0.4854,
+      "step": 2665
+    },
+    {
+      "epoch": 2.8426666666666667,
+      "grad_norm": 0.551508367061615,
+      "learning_rate": 3.744948615168248e-08,
+      "loss": 0.5019,
+      "step": 2666
+    },
+    {
+      "epoch": 2.8437333333333332,
+      "grad_norm": 0.6072929501533508,
+      "learning_rate": 3.6949733109848395e-08,
+      "loss": 0.5404,
+      "step": 2667
+    },
+    {
+      "epoch": 2.8448,
+      "grad_norm": 0.5438897013664246,
+      "learning_rate": 3.645331221233589e-08,
+      "loss": 0.512,
+      "step": 2668
+    },
+    {
+      "epoch": 2.8458666666666668,
+      "grad_norm": 0.5544848442077637,
+      "learning_rate": 3.596022413072886e-08,
+      "loss": 0.4987,
+      "step": 2669
+    },
+    {
+      "epoch": 2.8469333333333333,
+      "grad_norm": 0.5465447306632996,
+      "learning_rate": 3.5470469532103146e-08,
+      "loss": 0.5153,
+      "step": 2670
+    },
+    {
+      "epoch": 2.848,
+      "grad_norm": 0.5588910579681396,
+      "learning_rate": 3.4984049079024584e-08,
+      "loss": 0.56,
+      "step": 2671
+    },
+    {
+      "epoch": 2.8490666666666664,
+      "grad_norm": 0.5397117733955383,
+      "learning_rate": 3.450096342954817e-08,
+      "loss": 0.521,
+      "step": 2672
+    },
+    {
+      "epoch": 2.8501333333333334,
+      "grad_norm": 0.5790277123451233,
+      "learning_rate": 3.40212132372178e-08,
+      "loss": 0.531,
+      "step": 2673
+    },
+    {
+      "epoch": 2.8512,
+      "grad_norm": 0.5491939783096313,
+      "learning_rate": 3.354479915106512e-08,
+      "loss": 0.4978,
+      "step": 2674
+    },
+    {
+      "epoch": 2.8522666666666665,
+      "grad_norm": 0.577021062374115,
+      "learning_rate": 3.307172181560791e-08,
+      "loss": 0.5316,
+      "step": 2675
+    },
+    {
+      "epoch": 2.8533333333333335,
+      "grad_norm": 0.5781399011611938,
+      "learning_rate": 3.2601981870850065e-08,
+      "loss": 0.5223,
+      "step": 2676
+    },
+    {
+      "epoch": 2.8544,
+      "grad_norm": 0.5581707954406738,
+      "learning_rate": 3.2135579952281005e-08,
+      "loss": 0.5383,
+      "step": 2677
+    },
+    {
+      "epoch": 2.8554666666666666,
+      "grad_norm": 0.5679935812950134,
+      "learning_rate": 3.167251669087323e-08,
+      "loss": 0.563,
+      "step": 2678
+    },
+    {
+      "epoch": 2.856533333333333,
+      "grad_norm": 0.5353943705558777,
+      "learning_rate": 3.1212792713083696e-08,
+      "loss": 0.5344,
+      "step": 2679
+    },
+    {
+      "epoch": 2.8576,
+      "grad_norm": 0.5612926483154297,
+      "learning_rate": 3.075640864085072e-08,
+      "loss": 0.5301,
+      "step": 2680
+    },
+    {
+      "epoch": 2.8586666666666667,
+      "grad_norm": 0.6111009120941162,
+      "learning_rate": 3.030336509159543e-08,
+      "loss": 0.6039,
+      "step": 2681
+    },
+    {
+      "epoch": 2.8597333333333332,
+      "grad_norm": 0.5487512350082397,
+      "learning_rate": 2.9853662678218376e-08,
+      "loss": 0.5478,
+      "step": 2682
+    },
+    {
+      "epoch": 2.8608000000000002,
+      "grad_norm": 0.5282209515571594,
+      "learning_rate": 2.9407302009101247e-08,
+      "loss": 0.5019,
+      "step": 2683
+    },
+    {
+      "epoch": 2.861866666666667,
+      "grad_norm": 0.5531167984008789,
+      "learning_rate": 2.896428368810378e-08,
+      "loss": 0.5394,
+      "step": 2684
+    },
+    {
+      "epoch": 2.8629333333333333,
+      "grad_norm": 0.5424631237983704,
+      "learning_rate": 2.8524608314564882e-08,
+      "loss": 0.549,
+      "step": 2685
+    },
+    {
+      "epoch": 2.864,
+      "grad_norm": 0.5677931308746338,
+      "learning_rate": 2.8088276483300425e-08,
+      "loss": 0.5627,
+      "step": 2686
+    },
+    {
+      "epoch": 2.8650666666666664,
+      "grad_norm": 0.5294113159179688,
+      "learning_rate": 2.765528878460322e-08,
+      "loss": 0.5129,
+      "step": 2687
+    },
+    {
+      "epoch": 2.8661333333333334,
+      "grad_norm": 0.5425478219985962,
+      "learning_rate": 2.722564580424192e-08,
+      "loss": 0.5313,
+      "step": 2688
+    },
+    {
+      "epoch": 2.8672,
+      "grad_norm": 0.5886773467063904,
+      "learning_rate": 2.679934812346019e-08,
+      "loss": 0.5017,
+      "step": 2689
+    },
+    {
+      "epoch": 2.8682666666666665,
+      "grad_norm": 0.6226116418838501,
+      "learning_rate": 2.6376396318975874e-08,
+      "loss": 0.5435,
+      "step": 2690
+    },
+    {
+      "epoch": 2.8693333333333335,
+      "grad_norm": 0.6127182841300964,
+      "learning_rate": 2.5956790962980427e-08,
+      "loss": 0.606,
+      "step": 2691
+    },
+    {
+      "epoch": 2.8704,
+      "grad_norm": 0.592984676361084,
+      "learning_rate": 2.5540532623138657e-08,
+      "loss": 0.5902,
+      "step": 2692
+    },
+    {
+      "epoch": 2.8714666666666666,
+      "grad_norm": 0.5479094982147217,
+      "learning_rate": 2.5127621862585938e-08,
+      "loss": 0.5051,
+      "step": 2693
+    },
+    {
+      "epoch": 2.872533333333333,
+      "grad_norm": 0.5575157999992371,
+      "learning_rate": 2.4718059239930426e-08,
+      "loss": 0.5315,
+      "step": 2694
+    },
+    {
+      "epoch": 2.8736,
+      "grad_norm": 0.542863130569458,
+      "learning_rate": 2.4311845309249737e-08,
+      "loss": 0.5151,
+      "step": 2695
+    },
+    {
+      "epoch": 2.8746666666666667,
+      "grad_norm": 0.5516861081123352,
+      "learning_rate": 2.3908980620091783e-08,
+      "loss": 0.4949,
+      "step": 2696
+    },
+    {
+      "epoch": 2.8757333333333333,
+      "grad_norm": 0.6040905117988586,
+      "learning_rate": 2.3509465717472536e-08,
+      "loss": 0.4955,
+      "step": 2697
+    },
+    {
+      "epoch": 2.8768000000000002,
+      "grad_norm": 0.6001858115196228,
+      "learning_rate": 2.311330114187743e-08,
+      "loss": 0.5264,
+      "step": 2698
+    },
+    {
+      "epoch": 2.877866666666667,
+      "grad_norm": 0.6188099384307861,
+      "learning_rate": 2.2720487429258587e-08,
+      "loss": 0.5884,
+      "step": 2699
+    },
+    {
+      "epoch": 2.8789333333333333,
+      "grad_norm": 0.5582754015922546,
+      "learning_rate": 2.2331025111035353e-08,
+      "loss": 0.5089,
+      "step": 2700
+    },
+    {
+      "epoch": 2.88,
+      "grad_norm": 0.6072304248809814,
+      "learning_rate": 2.194491471409238e-08,
+      "loss": 0.5599,
+      "step": 2701
+    },
+    {
+      "epoch": 2.8810666666666664,
+      "grad_norm": 0.5973630547523499,
+      "learning_rate": 2.1562156760780715e-08,
+      "loss": 0.5511,
+      "step": 2702
+    },
+    {
+      "epoch": 2.8821333333333334,
+      "grad_norm": 0.5531256794929504,
+      "learning_rate": 2.1182751768915044e-08,
+      "loss": 0.5205,
+      "step": 2703
+    },
+    {
+      "epoch": 2.8832,
+      "grad_norm": 0.5069364309310913,
+      "learning_rate": 2.0806700251775057e-08,
+      "loss": 0.5015,
+      "step": 2704
+    },
+    {
+      "epoch": 2.8842666666666665,
+      "grad_norm": 0.5934831500053406,
+      "learning_rate": 2.043400271810242e-08,
+      "loss": 0.5374,
+      "step": 2705
+    },
+    {
+      "epoch": 2.8853333333333335,
+      "grad_norm": 0.5287733674049377,
+      "learning_rate": 2.0064659672102414e-08,
+      "loss": 0.5208,
+      "step": 2706
+    },
+    {
+      "epoch": 2.8864,
+      "grad_norm": 0.525516927242279,
+      "learning_rate": 1.9698671613441746e-08,
+      "loss": 0.4896,
+      "step": 2707
+    },
+    {
+      "epoch": 2.8874666666666666,
+      "grad_norm": 0.5495995879173279,
+      "learning_rate": 1.9336039037247954e-08,
+      "loss": 0.5339,
+      "step": 2708
+    },
+    {
+      "epoch": 2.888533333333333,
+      "grad_norm": 0.5455077290534973,
+      "learning_rate": 1.8976762434110284e-08,
+      "loss": 0.504,
+      "step": 2709
+    },
+    {
+      "epoch": 2.8895999999999997,
+      "grad_norm": 0.5438787937164307,
+      "learning_rate": 1.8620842290076324e-08,
+      "loss": 0.5555,
+      "step": 2710
+    },
+    {
+      "epoch": 2.8906666666666667,
+      "grad_norm": 0.5508490204811096,
+      "learning_rate": 1.8268279086654238e-08,
+      "loss": 0.5105,
+      "step": 2711
+    },
+    {
+      "epoch": 2.8917333333333333,
+      "grad_norm": 0.5326748490333557,
+      "learning_rate": 1.791907330080972e-08,
+      "loss": 0.548,
+      "step": 2712
+    },
+    {
+      "epoch": 2.8928000000000003,
+      "grad_norm": 0.5808681845664978,
+      "learning_rate": 1.757322540496681e-08,
+      "loss": 0.5406,
+      "step": 2713
+    },
+    {
+      "epoch": 2.893866666666667,
+      "grad_norm": 0.5584660172462463,
+      "learning_rate": 1.7230735867007075e-08,
+      "loss": 0.5479,
+      "step": 2714
+    },
+    {
+      "epoch": 2.8949333333333334,
+      "grad_norm": 0.5412822961807251,
+      "learning_rate": 1.689160515026822e-08,
+      "loss": 0.4937,
+      "step": 2715
+    },
+    {
+      "epoch": 2.896,
+      "grad_norm": 0.5503650903701782,
+      "learning_rate": 1.65558337135438e-08,
+      "loss": 0.5049,
+      "step": 2716
+    },
+    {
+      "epoch": 2.8970666666666665,
+      "grad_norm": 0.5330009460449219,
+      "learning_rate": 1.6223422011083788e-08,
+      "loss": 0.5448,
+      "step": 2717
+    },
+    {
+      "epoch": 2.8981333333333335,
+      "grad_norm": 0.5436614751815796,
+      "learning_rate": 1.5894370492592072e-08,
+      "loss": 0.5096,
+      "step": 2718
+    },
+    {
+      "epoch": 2.8992,
+      "grad_norm": 0.5625155568122864,
+      "learning_rate": 1.556867960322672e-08,
+      "loss": 0.5497,
+      "step": 2719
+    },
+    {
+      "epoch": 2.9002666666666665,
+      "grad_norm": 0.5704814195632935,
+      "learning_rate": 1.5246349783599456e-08,
+      "loss": 0.5143,
+      "step": 2720
+    },
+    {
+      "epoch": 2.9013333333333335,
+      "grad_norm": 0.5566697120666504,
+      "learning_rate": 1.4927381469775627e-08,
+      "loss": 0.5311,
+      "step": 2721
+    },
+    {
+      "epoch": 2.9024,
+      "grad_norm": 0.5258682370185852,
+      "learning_rate": 1.4611775093271718e-08,
+      "loss": 0.5589,
+      "step": 2722
+    },
+    {
+      "epoch": 2.9034666666666666,
+      "grad_norm": 0.5933458209037781,
+      "learning_rate": 1.4299531081057028e-08,
+      "loss": 0.5693,
+      "step": 2723
+    },
+    {
+      "epoch": 2.904533333333333,
+      "grad_norm": 0.5834786295890808,
+      "learning_rate": 1.399064985555143e-08,
+      "loss": 0.5373,
+      "step": 2724
+    },
+    {
+      "epoch": 2.9055999999999997,
+      "grad_norm": 0.5947481393814087,
+      "learning_rate": 1.368513183462622e-08,
+      "loss": 0.5801,
+      "step": 2725
+    },
+    {
+      "epoch": 2.9066666666666667,
+      "grad_norm": 0.5709309577941895,
+      "learning_rate": 1.3382977431602162e-08,
+      "loss": 0.5244,
+      "step": 2726
+    },
+    {
+      "epoch": 2.9077333333333333,
+      "grad_norm": 0.5500085353851318,
+      "learning_rate": 1.3084187055249497e-08,
+      "loss": 0.5161,
+      "step": 2727
+    },
+    {
+      "epoch": 2.9088000000000003,
+      "grad_norm": 0.5291803479194641,
+      "learning_rate": 1.2788761109787662e-08,
+      "loss": 0.5364,
+      "step": 2728
+    },
+    {
+      "epoch": 2.909866666666667,
+      "grad_norm": 0.57053142786026,
+      "learning_rate": 1.2496699994884175e-08,
+      "loss": 0.532,
+      "step": 2729
+    },
+    {
+      "epoch": 2.9109333333333334,
+      "grad_norm": 0.516263484954834,
+      "learning_rate": 1.220800410565548e-08,
+      "loss": 0.4543,
+      "step": 2730
+    },
+    {
+      "epoch": 2.912,
+      "grad_norm": 0.5759371519088745,
+      "learning_rate": 1.1922673832663601e-08,
+      "loss": 0.4963,
+      "step": 2731
+    },
+    {
+      "epoch": 2.9130666666666665,
+      "grad_norm": 0.5456444621086121,
+      "learning_rate": 1.1640709561919483e-08,
+      "loss": 0.541,
+      "step": 2732
+    },
+    {
+      "epoch": 2.9141333333333335,
+      "grad_norm": 0.5618428587913513,
+      "learning_rate": 1.1362111674878274e-08,
+      "loss": 0.5668,
+      "step": 2733
+    },
+    {
+      "epoch": 2.9152,
+      "grad_norm": 0.615202784538269,
+      "learning_rate": 1.1086880548442369e-08,
+      "loss": 0.5824,
+      "step": 2734
+    },
+    {
+      "epoch": 2.9162666666666666,
+      "grad_norm": 0.58868408203125,
+      "learning_rate": 1.0815016554959202e-08,
+      "loss": 0.571,
+      "step": 2735
+    },
+    {
+      "epoch": 2.9173333333333336,
+      "grad_norm": 0.5875019431114197,
+      "learning_rate": 1.0546520062220123e-08,
+      "loss": 0.5495,
+      "step": 2736
+    },
+    {
+      "epoch": 2.9184,
+      "grad_norm": 0.5869956016540527,
+      "learning_rate": 1.0281391433461795e-08,
+      "loss": 0.5611,
+      "step": 2737
+    },
+    {
+      "epoch": 2.9194666666666667,
+      "grad_norm": 0.5980009436607361,
+      "learning_rate": 1.0019631027363975e-08,
+      "loss": 0.5602,
+      "step": 2738
+    },
+    {
+      "epoch": 2.920533333333333,
+      "grad_norm": 0.5840904116630554,
+      "learning_rate": 9.761239198050055e-09,
+      "loss": 0.5725,
+      "step": 2739
+    },
+    {
+      "epoch": 2.9215999999999998,
+      "grad_norm": 0.596625030040741,
+      "learning_rate": 9.506216295086246e-09,
+      "loss": 0.5576,
+      "step": 2740
+    },
+    {
+      "epoch": 2.9226666666666667,
+      "grad_norm": 0.5779701471328735,
+      "learning_rate": 9.25456266348046e-09,
+      "loss": 0.5416,
+      "step": 2741
+    },
+    {
+      "epoch": 2.9237333333333333,
+      "grad_norm": 0.5945303440093994,
+      "learning_rate": 9.006278643683697e-09,
+      "loss": 0.6077,
+      "step": 2742
+    },
+    {
+      "epoch": 2.9248,
+      "grad_norm": 0.610310435295105,
+      "learning_rate": 8.761364571587273e-09,
+      "loss": 0.5381,
+      "step": 2743
+    },
+    {
+      "epoch": 2.925866666666667,
+      "grad_norm": 0.6415067911148071,
+      "learning_rate": 8.519820778524201e-09,
+      "loss": 0.596,
+      "step": 2744
+    },
+    {
+      "epoch": 2.9269333333333334,
+      "grad_norm": 0.5158318877220154,
+      "learning_rate": 8.281647591267262e-09,
+      "loss": 0.4777,
+      "step": 2745
+    },
+    {
+      "epoch": 2.928,
+      "grad_norm": 0.5789709091186523,
+      "learning_rate": 8.046845332029818e-09,
+      "loss": 0.5553,
+      "step": 2746
+    },
+    {
+      "epoch": 2.9290666666666665,
+      "grad_norm": 0.5262317657470703,
+      "learning_rate": 7.81541431846472e-09,
+      "loss": 0.4906,
+      "step": 2747
+    },
+    {
+      "epoch": 2.9301333333333335,
+      "grad_norm": 0.6687551736831665,
+      "learning_rate": 7.587354863664298e-09,
+      "loss": 0.6016,
+      "step": 2748
+    },
+    {
+      "epoch": 2.9312,
+      "grad_norm": 0.5554529428482056,
+      "learning_rate": 7.362667276159252e-09,
+      "loss": 0.5151,
+      "step": 2749
+    },
+    {
+      "epoch": 2.9322666666666666,
+      "grad_norm": 0.5800417065620422,
+      "learning_rate": 7.141351859918655e-09,
+      "loss": 0.5526,
+      "step": 2750
+    },
+    {
+      "epoch": 2.9333333333333336,
+      "grad_norm": 0.5736481547355652,
+      "learning_rate": 6.92340891434995e-09,
+      "loss": 0.537,
+      "step": 2751
+    },
+    {
+      "epoch": 2.9344,
+      "grad_norm": 0.5542134642601013,
+      "learning_rate": 6.708838734297562e-09,
+      "loss": 0.5321,
+      "step": 2752
+    },
+    {
+      "epoch": 2.9354666666666667,
+      "grad_norm": 0.5511532425880432,
+      "learning_rate": 6.497641610043737e-09,
+      "loss": 0.5507,
+      "step": 2753
+    },
+    {
+      "epoch": 2.936533333333333,
+      "grad_norm": 0.5876654982566833,
+      "learning_rate": 6.289817827306588e-09,
+      "loss": 0.541,
+      "step": 2754
+    },
+    {
+      "epoch": 2.9375999999999998,
+      "grad_norm": 0.5688034296035767,
+      "learning_rate": 6.085367667241493e-09,
+      "loss": 0.5135,
+      "step": 2755
+    },
+    {
+      "epoch": 2.9386666666666668,
+      "grad_norm": 0.5167495608329773,
+      "learning_rate": 5.884291406439424e-09,
+      "loss": 0.5004,
+      "step": 2756
+    },
+    {
+      "epoch": 2.9397333333333333,
+      "grad_norm": 0.5855696201324463,
+      "learning_rate": 5.686589316926672e-09,
+      "loss": 0.4754,
+      "step": 2757
+    },
+    {
+      "epoch": 2.9408,
+      "grad_norm": 0.5450001955032349,
+      "learning_rate": 5.492261666165122e-09,
+      "loss": 0.5283,
+      "step": 2758
+    },
+    {
+      "epoch": 2.941866666666667,
+      "grad_norm": 0.585999608039856,
+      "learning_rate": 5.301308717051423e-09,
+      "loss": 0.4786,
+      "step": 2759
+    },
+    {
+      "epoch": 2.9429333333333334,
+      "grad_norm": 0.5446635484695435,
+      "learning_rate": 5.113730727917265e-09,
+      "loss": 0.5467,
+      "step": 2760
+    },
+    {
+      "epoch": 2.944,
+      "grad_norm": 0.5706652998924255,
+      "learning_rate": 4.929527952527436e-09,
+      "loss": 0.6021,
+      "step": 2761
+    },
+    {
+      "epoch": 2.9450666666666665,
+      "grad_norm": 0.5716686248779297,
+      "learning_rate": 4.748700640081483e-09,
+      "loss": 0.5712,
+      "step": 2762
+    },
+    {
+      "epoch": 2.9461333333333335,
+      "grad_norm": 0.5880100131034851,
+      "learning_rate": 4.5712490352120555e-09,
+      "loss": 0.5335,
+      "step": 2763
+    },
+    {
+      "epoch": 2.9472,
+      "grad_norm": 0.5808339715003967,
+      "learning_rate": 4.397173377984898e-09,
+      "loss": 0.5708,
+      "step": 2764
+    },
+    {
+      "epoch": 2.9482666666666666,
+      "grad_norm": 0.5454754829406738,
+      "learning_rate": 4.226473903899131e-09,
+      "loss": 0.5736,
+      "step": 2765
+    },
+    {
+      "epoch": 2.9493333333333336,
+      "grad_norm": 0.5399262309074402,
+      "learning_rate": 4.0591508438855846e-09,
+      "loss": 0.537,
+      "step": 2766
+    },
+    {
+      "epoch": 2.9504,
+      "grad_norm": 0.5704312920570374,
+      "learning_rate": 3.8952044243081855e-09,
+      "loss": 0.5276,
+      "step": 2767
+    },
+    {
+      "epoch": 2.9514666666666667,
+      "grad_norm": 0.5484793782234192,
+      "learning_rate": 3.734634866961739e-09,
+      "loss": 0.5593,
+      "step": 2768
+    },
+    {
+      "epoch": 2.9525333333333332,
+      "grad_norm": 0.5756340026855469,
+      "learning_rate": 3.5774423890735934e-09,
+      "loss": 0.5615,
+      "step": 2769
+    },
+    {
+      "epoch": 2.9536,
+      "grad_norm": 0.5652394890785217,
+      "learning_rate": 3.4236272033019714e-09,
+      "loss": 0.5407,
+      "step": 2770
+    },
+    {
+      "epoch": 2.9546666666666668,
+      "grad_norm": 0.5671141147613525,
+      "learning_rate": 3.2731895177362526e-09,
+      "loss": 0.5556,
+      "step": 2771
+    },
+    {
+      "epoch": 2.9557333333333333,
+      "grad_norm": 0.5954770445823669,
+      "learning_rate": 3.1261295358961385e-09,
+      "loss": 0.6057,
+      "step": 2772
+    },
+    {
+      "epoch": 2.9568,
+      "grad_norm": 0.5492429733276367,
+      "learning_rate": 2.9824474567324844e-09,
+      "loss": 0.5044,
+      "step": 2773
+    },
+    {
+      "epoch": 2.957866666666667,
+      "grad_norm": 0.583488404750824,
+      "learning_rate": 2.842143474625636e-09,
+      "loss": 0.5521,
+      "step": 2774
+    },
+    {
+      "epoch": 2.9589333333333334,
+      "grad_norm": 0.5825504064559937,
+      "learning_rate": 2.7052177793865376e-09,
+      "loss": 0.5863,
+      "step": 2775
+    },
+    {
+      "epoch": 2.96,
+      "grad_norm": 0.5671625137329102,
+      "learning_rate": 2.5716705562553456e-09,
+      "loss": 0.5267,
+      "step": 2776
+    },
+    {
+      "epoch": 2.9610666666666665,
+      "grad_norm": 0.5394807457923889,
+      "learning_rate": 2.441501985901984e-09,
+      "loss": 0.5388,
+      "step": 2777
+    },
+    {
+      "epoch": 2.962133333333333,
+      "grad_norm": 0.5825269818305969,
+      "learning_rate": 2.3147122444250327e-09,
+      "loss": 0.5749,
+      "step": 2778
+    },
+    {
+      "epoch": 2.9632,
+      "grad_norm": 0.5829220414161682,
+      "learning_rate": 2.1913015033525607e-09,
+      "loss": 0.5724,
+      "step": 2779
+    },
+    {
+      "epoch": 2.9642666666666666,
+      "grad_norm": 0.5266127586364746,
+      "learning_rate": 2.0712699296410176e-09,
+      "loss": 0.4732,
+      "step": 2780
+    },
+    {
+      "epoch": 2.9653333333333336,
+      "grad_norm": 0.5657854676246643,
+      "learning_rate": 1.9546176856755083e-09,
+      "loss": 0.5204,
+      "step": 2781
+    },
+    {
+      "epoch": 2.9664,
+      "grad_norm": 0.5607903599739075,
+      "learning_rate": 1.8413449292695174e-09,
+      "loss": 0.5091,
+      "step": 2782
+    },
+    {
+      "epoch": 2.9674666666666667,
+      "grad_norm": 0.5998398661613464,
+      "learning_rate": 1.7314518136640756e-09,
+      "loss": 0.569,
+      "step": 2783
+    },
+    {
+      "epoch": 2.9685333333333332,
+      "grad_norm": 0.5958418250083923,
+      "learning_rate": 1.6249384875285935e-09,
+      "loss": 0.5149,
+      "step": 2784
+    },
+    {
+      "epoch": 2.9696,
+      "grad_norm": 0.5959089398384094,
+      "learning_rate": 1.5218050949597495e-09,
+      "loss": 0.5734,
+      "step": 2785
+    },
+    {
+      "epoch": 2.970666666666667,
+      "grad_norm": 0.5484638214111328,
+      "learning_rate": 1.4220517754820474e-09,
+      "loss": 0.5548,
+      "step": 2786
+    },
+    {
+      "epoch": 2.9717333333333333,
+      "grad_norm": 0.5785630941390991,
+      "learning_rate": 1.3256786640469809e-09,
+      "loss": 0.5718,
+      "step": 2787
+    },
+    {
+      "epoch": 2.9728,
+      "grad_norm": 0.5672924518585205,
+      "learning_rate": 1.2326858910330364e-09,
+      "loss": 0.5332,
+      "step": 2788
+    },
+    {
+      "epoch": 2.973866666666667,
+      "grad_norm": 0.5598438382148743,
+      "learning_rate": 1.1430735822459681e-09,
+      "loss": 0.5641,
+      "step": 2789
+    },
+    {
+      "epoch": 2.9749333333333334,
+      "grad_norm": 0.5887501835823059,
+      "learning_rate": 1.0568418589176899e-09,
+      "loss": 0.5739,
+      "step": 2790
+    },
+    {
+      "epoch": 2.976,
+      "grad_norm": 0.6167333126068115,
+      "learning_rate": 9.739908377073836e-10,
+      "loss": 0.6144,
+      "step": 2791
+    },
+    {
+      "epoch": 2.9770666666666665,
+      "grad_norm": 0.5357959270477295,
+      "learning_rate": 8.945206307001131e-10,
+      "loss": 0.4787,
+      "step": 2792
+    },
+    {
+      "epoch": 2.978133333333333,
+      "grad_norm": 0.599374532699585,
+      "learning_rate": 8.184313454073778e-10,
+      "loss": 0.5586,
+      "step": 2793
+    },
+    {
+      "epoch": 2.9792,
+      "grad_norm": 0.5376509428024292,
+      "learning_rate": 7.457230847668362e-10,
+      "loss": 0.4842,
+      "step": 2794
+    },
+    {
+      "epoch": 2.9802666666666666,
+      "grad_norm": 0.6136676669120789,
+      "learning_rate": 6.763959471420278e-10,
+      "loss": 0.5895,
+      "step": 2795
+    },
+    {
+      "epoch": 2.981333333333333,
+      "grad_norm": 0.5848807692527771,
+      "learning_rate": 6.104500263223734e-10,
+      "loss": 0.5064,
+      "step": 2796
+    },
+    {
+      "epoch": 2.9824,
+      "grad_norm": 0.6210826635360718,
+      "learning_rate": 5.478854115228971e-10,
+      "loss": 0.5569,
+      "step": 2797
+    },
+    {
+      "epoch": 2.9834666666666667,
+      "grad_norm": 0.5470573902130127,
+      "learning_rate": 4.887021873845043e-10,
+      "loss": 0.5277,
+      "step": 2798
+    },
+    {
+      "epoch": 2.9845333333333333,
+      "grad_norm": 0.5712572932243347,
+      "learning_rate": 4.3290043397314905e-10,
+      "loss": 0.5268,
+      "step": 2799
+    },
+    {
+      "epoch": 2.9856,
+      "grad_norm": 0.5734822750091553,
+      "learning_rate": 3.804802267806662e-10,
+      "loss": 0.5459,
+      "step": 2800
+    },
+    {
+      "epoch": 2.986666666666667,
+      "grad_norm": 0.51096111536026,
+      "learning_rate": 3.3144163672338416e-10,
+      "loss": 0.4757,
+      "step": 2801
+    },
+    {
+      "epoch": 2.9877333333333334,
+      "grad_norm": 0.5946183800697327,
+      "learning_rate": 2.8578473014378994e-10,
+      "loss": 0.5669,
+      "step": 2802
+    },
+    {
+      "epoch": 2.9888,
+      "grad_norm": 0.5268621444702148,
+      "learning_rate": 2.43509568808864e-10,
+      "loss": 0.5241,
+      "step": 2803
+    },
+    {
+      "epoch": 2.989866666666667,
+      "grad_norm": 0.544581949710846,
+      "learning_rate": 2.0461620991063524e-10,
+      "loss": 0.4706,
+      "step": 2804
+    },
+    {
+      "epoch": 2.9909333333333334,
+      "grad_norm": 0.5091453790664673,
+      "learning_rate": 1.6910470606590345e-10,
+      "loss": 0.4373,
+      "step": 2805
+    },
+    {
+      "epoch": 2.992,
+      "grad_norm": 0.5821213126182556,
+      "learning_rate": 1.3697510531651693e-10,
+      "loss": 0.5659,
+      "step": 2806
+    },
+    {
+      "epoch": 2.9930666666666665,
+      "grad_norm": 0.5594663023948669,
+      "learning_rate": 1.0822745112964994e-10,
+      "loss": 0.5292,
+      "step": 2807
+    },
+    {
+      "epoch": 2.994133333333333,
+      "grad_norm": 0.5854476690292358,
+      "learning_rate": 8.286178239585995e-11,
+      "loss": 0.523,
+      "step": 2808
+    },
+    {
+      "epoch": 2.9952,
+      "grad_norm": 0.5891215205192566,
+      "learning_rate": 6.087813343158555e-11,
+      "loss": 0.56,
+      "step": 2809
+    },
+    {
+      "epoch": 2.9962666666666666,
+      "grad_norm": 0.5810789465904236,
+      "learning_rate": 4.2276533977481104e-11,
+      "loss": 0.576,
+      "step": 2810
+    },
+    {
+      "epoch": 2.997333333333333,
+      "grad_norm": 0.5482070446014404,
+      "learning_rate": 2.705700919869436e-11,
+      "loss": 0.5447,
+      "step": 2811
+    },
+    {
+      "epoch": 2.9984,
+      "grad_norm": 0.5240169763565063,
+      "learning_rate": 1.521957968514398e-11,
+      "loss": 0.5315,
+      "step": 2812
+    },
+    {
+      "epoch": 2.9994666666666667,
+      "grad_norm": 0.5372490882873535,
+      "learning_rate": 6.764261450686871e-12,
+      "loss": 0.4681,
+      "step": 2813
+    },
+    {
+      "epoch": 3.0,
+      "grad_norm": 0.8005771040916443,
+      "learning_rate": 1.6910659345059643e-12,
+      "loss": 0.3797,
+      "step": 2814
+    },
+    {
+      "epoch": 3.0,
+      "step": 2814,
+      "total_flos": 6.849963317700592e+18,
+      "train_loss": 0.09753237076913879,
+      "train_runtime": 6368.1203,
+      "train_samples_per_second": 7.066,
+      "train_steps_per_second": 0.442
+    }
+  ],
+  "logging_steps": 1,
+  "max_steps": 2814,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 3,
+  "save_steps": 100,
+  "stateful_callbacks": {
+    "TrainerControl": {
+      "args": {
+        "should_epoch_stop": false,
+        "should_evaluate": false,
+        "should_log": false,
+        "should_save": true,
+        "should_training_stop": true
+      },
+      "attributes": {}
+    }
+  },
+  "total_flos": 6.849963317700592e+18,
+  "train_batch_size": 2,
+  "trial_name": null,
+  "trial_params": null
+}