| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 3.0, |
| "eval_steps": 500, |
| "global_step": 2814, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.0010666666666666667, |
| "grad_norm": 4.566504001617432, |
| "learning_rate": 0.0, |
| "loss": 0.8922, |
| "step": 1 |
| }, |
| { |
| "epoch": 0.0021333333333333334, |
| "grad_norm": 4.4117536544799805, |
| "learning_rate": 5.882352941176471e-08, |
| "loss": 0.9251, |
| "step": 2 |
| }, |
| { |
| "epoch": 0.0032, |
| "grad_norm": 4.508401393890381, |
| "learning_rate": 1.1764705882352942e-07, |
| "loss": 0.9213, |
| "step": 3 |
| }, |
| { |
| "epoch": 0.004266666666666667, |
| "grad_norm": 4.617777347564697, |
| "learning_rate": 1.7647058823529414e-07, |
| "loss": 0.9655, |
| "step": 4 |
| }, |
| { |
| "epoch": 0.005333333333333333, |
| "grad_norm": 3.9636576175689697, |
| "learning_rate": 2.3529411764705883e-07, |
| "loss": 0.8552, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.0064, |
| "grad_norm": 4.183191776275635, |
| "learning_rate": 2.9411764705882356e-07, |
| "loss": 0.8878, |
| "step": 6 |
| }, |
| { |
| "epoch": 0.007466666666666667, |
| "grad_norm": 4.5866618156433105, |
| "learning_rate": 3.529411764705883e-07, |
| "loss": 0.931, |
| "step": 7 |
| }, |
| { |
| "epoch": 0.008533333333333334, |
| "grad_norm": 4.402273178100586, |
| "learning_rate": 4.1176470588235295e-07, |
| "loss": 0.8675, |
| "step": 8 |
| }, |
| { |
| "epoch": 0.0096, |
| "grad_norm": 4.406903266906738, |
| "learning_rate": 4.7058823529411767e-07, |
| "loss": 0.9926, |
| "step": 9 |
| }, |
| { |
| "epoch": 0.010666666666666666, |
| "grad_norm": 3.8975658416748047, |
| "learning_rate": 5.294117647058824e-07, |
| "loss": 0.9057, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.011733333333333333, |
| "grad_norm": 4.261193752288818, |
| "learning_rate": 5.882352941176471e-07, |
| "loss": 0.9186, |
| "step": 11 |
| }, |
| { |
| "epoch": 0.0128, |
| "grad_norm": 3.6863276958465576, |
| "learning_rate": 6.470588235294118e-07, |
| "loss": 0.9366, |
| "step": 12 |
| }, |
| { |
| "epoch": 0.013866666666666666, |
| "grad_norm": 4.061769962310791, |
| "learning_rate": 7.058823529411766e-07, |
| "loss": 0.8969, |
| "step": 13 |
| }, |
| { |
| "epoch": 0.014933333333333333, |
| "grad_norm": 3.740935802459717, |
| "learning_rate": 7.647058823529413e-07, |
| "loss": 0.8348, |
| "step": 14 |
| }, |
| { |
| "epoch": 0.016, |
| "grad_norm": 3.5623903274536133, |
| "learning_rate": 8.235294117647059e-07, |
| "loss": 0.8454, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.017066666666666667, |
| "grad_norm": 3.8143725395202637, |
| "learning_rate": 8.823529411764707e-07, |
| "loss": 0.9018, |
| "step": 16 |
| }, |
| { |
| "epoch": 0.018133333333333335, |
| "grad_norm": 3.5640323162078857, |
| "learning_rate": 9.411764705882353e-07, |
| "loss": 0.908, |
| "step": 17 |
| }, |
| { |
| "epoch": 0.0192, |
| "grad_norm": 2.721888542175293, |
| "learning_rate": 1.0000000000000002e-06, |
| "loss": 0.9319, |
| "step": 18 |
| }, |
| { |
| "epoch": 0.020266666666666665, |
| "grad_norm": 2.1399009227752686, |
| "learning_rate": 1.0588235294117648e-06, |
| "loss": 0.8547, |
| "step": 19 |
| }, |
| { |
| "epoch": 0.021333333333333333, |
| "grad_norm": 2.0046727657318115, |
| "learning_rate": 1.1176470588235296e-06, |
| "loss": 0.8902, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.0224, |
| "grad_norm": 2.197277069091797, |
| "learning_rate": 1.1764705882352942e-06, |
| "loss": 0.8941, |
| "step": 21 |
| }, |
| { |
| "epoch": 0.023466666666666667, |
| "grad_norm": 2.0037100315093994, |
| "learning_rate": 1.235294117647059e-06, |
| "loss": 0.907, |
| "step": 22 |
| }, |
| { |
| "epoch": 0.024533333333333334, |
| "grad_norm": 1.750028371810913, |
| "learning_rate": 1.2941176470588237e-06, |
| "loss": 0.8289, |
| "step": 23 |
| }, |
| { |
| "epoch": 0.0256, |
| "grad_norm": 1.7012758255004883, |
| "learning_rate": 1.3529411764705883e-06, |
| "loss": 0.8054, |
| "step": 24 |
| }, |
| { |
| "epoch": 0.02666666666666667, |
| "grad_norm": 1.7519198656082153, |
| "learning_rate": 1.4117647058823531e-06, |
| "loss": 0.8835, |
| "step": 25 |
| }, |
| { |
| "epoch": 0.027733333333333332, |
| "grad_norm": 1.7918092012405396, |
| "learning_rate": 1.4705882352941177e-06, |
| "loss": 0.8299, |
| "step": 26 |
| }, |
| { |
| "epoch": 0.0288, |
| "grad_norm": 1.7241520881652832, |
| "learning_rate": 1.5294117647058826e-06, |
| "loss": 0.7901, |
| "step": 27 |
| }, |
| { |
| "epoch": 0.029866666666666666, |
| "grad_norm": 1.9483325481414795, |
| "learning_rate": 1.5882352941176472e-06, |
| "loss": 0.8185, |
| "step": 28 |
| }, |
| { |
| "epoch": 0.030933333333333334, |
| "grad_norm": 1.6269898414611816, |
| "learning_rate": 1.6470588235294118e-06, |
| "loss": 0.7378, |
| "step": 29 |
| }, |
| { |
| "epoch": 0.032, |
| "grad_norm": 1.8874937295913696, |
| "learning_rate": 1.7058823529411766e-06, |
| "loss": 0.9152, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.03306666666666667, |
| "grad_norm": 1.8306068181991577, |
| "learning_rate": 1.7647058823529414e-06, |
| "loss": 0.8539, |
| "step": 31 |
| }, |
| { |
| "epoch": 0.034133333333333335, |
| "grad_norm": 1.613088846206665, |
| "learning_rate": 1.8235294117647058e-06, |
| "loss": 0.8366, |
| "step": 32 |
| }, |
| { |
| "epoch": 0.0352, |
| "grad_norm": 1.4593359231948853, |
| "learning_rate": 1.8823529411764707e-06, |
| "loss": 0.8555, |
| "step": 33 |
| }, |
| { |
| "epoch": 0.03626666666666667, |
| "grad_norm": 1.3017423152923584, |
| "learning_rate": 1.9411764705882353e-06, |
| "loss": 0.8561, |
| "step": 34 |
| }, |
| { |
| "epoch": 0.037333333333333336, |
| "grad_norm": 1.2600188255310059, |
| "learning_rate": 2.0000000000000003e-06, |
| "loss": 0.9059, |
| "step": 35 |
| }, |
| { |
| "epoch": 0.0384, |
| "grad_norm": 1.0784955024719238, |
| "learning_rate": 2.058823529411765e-06, |
| "loss": 0.806, |
| "step": 36 |
| }, |
| { |
| "epoch": 0.039466666666666664, |
| "grad_norm": 1.0628715753555298, |
| "learning_rate": 2.1176470588235296e-06, |
| "loss": 0.8493, |
| "step": 37 |
| }, |
| { |
| "epoch": 0.04053333333333333, |
| "grad_norm": 0.9693719148635864, |
| "learning_rate": 2.176470588235294e-06, |
| "loss": 0.7355, |
| "step": 38 |
| }, |
| { |
| "epoch": 0.0416, |
| "grad_norm": 0.9862779378890991, |
| "learning_rate": 2.2352941176470592e-06, |
| "loss": 0.8022, |
| "step": 39 |
| }, |
| { |
| "epoch": 0.042666666666666665, |
| "grad_norm": 0.9912720322608948, |
| "learning_rate": 2.2941176470588234e-06, |
| "loss": 0.8134, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.04373333333333333, |
| "grad_norm": 0.8306381106376648, |
| "learning_rate": 2.3529411764705885e-06, |
| "loss": 0.7472, |
| "step": 41 |
| }, |
| { |
| "epoch": 0.0448, |
| "grad_norm": 0.8788517713546753, |
| "learning_rate": 2.411764705882353e-06, |
| "loss": 0.7787, |
| "step": 42 |
| }, |
| { |
| "epoch": 0.04586666666666667, |
| "grad_norm": 0.7703118324279785, |
| "learning_rate": 2.470588235294118e-06, |
| "loss": 0.7422, |
| "step": 43 |
| }, |
| { |
| "epoch": 0.046933333333333334, |
| "grad_norm": 0.7671517133712769, |
| "learning_rate": 2.5294117647058823e-06, |
| "loss": 0.8003, |
| "step": 44 |
| }, |
| { |
| "epoch": 0.048, |
| "grad_norm": 0.8128208518028259, |
| "learning_rate": 2.5882352941176473e-06, |
| "loss": 0.8253, |
| "step": 45 |
| }, |
| { |
| "epoch": 0.04906666666666667, |
| "grad_norm": 0.8128588199615479, |
| "learning_rate": 2.647058823529412e-06, |
| "loss": 0.8277, |
| "step": 46 |
| }, |
| { |
| "epoch": 0.050133333333333335, |
| "grad_norm": 0.7655066251754761, |
| "learning_rate": 2.7058823529411766e-06, |
| "loss": 0.7095, |
| "step": 47 |
| }, |
| { |
| "epoch": 0.0512, |
| "grad_norm": 0.7544714212417603, |
| "learning_rate": 2.7647058823529416e-06, |
| "loss": 0.7045, |
| "step": 48 |
| }, |
| { |
| "epoch": 0.05226666666666667, |
| "grad_norm": 0.719732940196991, |
| "learning_rate": 2.8235294117647062e-06, |
| "loss": 0.6996, |
| "step": 49 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 0.794549822807312, |
| "learning_rate": 2.8823529411764704e-06, |
| "loss": 0.7439, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.0544, |
| "grad_norm": 0.7253097295761108, |
| "learning_rate": 2.9411764705882355e-06, |
| "loss": 0.7625, |
| "step": 51 |
| }, |
| { |
| "epoch": 0.055466666666666664, |
| "grad_norm": 0.6963235139846802, |
| "learning_rate": 3e-06, |
| "loss": 0.6687, |
| "step": 52 |
| }, |
| { |
| "epoch": 0.05653333333333333, |
| "grad_norm": 0.7076661586761475, |
| "learning_rate": 3.058823529411765e-06, |
| "loss": 0.7561, |
| "step": 53 |
| }, |
| { |
| "epoch": 0.0576, |
| "grad_norm": 0.7591197490692139, |
| "learning_rate": 3.1176470588235297e-06, |
| "loss": 0.7876, |
| "step": 54 |
| }, |
| { |
| "epoch": 0.058666666666666666, |
| "grad_norm": 0.7556438446044922, |
| "learning_rate": 3.1764705882352943e-06, |
| "loss": 0.773, |
| "step": 55 |
| }, |
| { |
| "epoch": 0.05973333333333333, |
| "grad_norm": 0.7726501822471619, |
| "learning_rate": 3.2352941176470594e-06, |
| "loss": 0.7701, |
| "step": 56 |
| }, |
| { |
| "epoch": 0.0608, |
| "grad_norm": 0.6716817021369934, |
| "learning_rate": 3.2941176470588236e-06, |
| "loss": 0.6678, |
| "step": 57 |
| }, |
| { |
| "epoch": 0.06186666666666667, |
| "grad_norm": 0.6559661030769348, |
| "learning_rate": 3.352941176470588e-06, |
| "loss": 0.6855, |
| "step": 58 |
| }, |
| { |
| "epoch": 0.06293333333333333, |
| "grad_norm": 0.6422522068023682, |
| "learning_rate": 3.4117647058823532e-06, |
| "loss": 0.6898, |
| "step": 59 |
| }, |
| { |
| "epoch": 0.064, |
| "grad_norm": 0.7184504866600037, |
| "learning_rate": 3.470588235294118e-06, |
| "loss": 0.742, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.06506666666666666, |
| "grad_norm": 0.7742836475372314, |
| "learning_rate": 3.529411764705883e-06, |
| "loss": 0.746, |
| "step": 61 |
| }, |
| { |
| "epoch": 0.06613333333333334, |
| "grad_norm": 0.6760046482086182, |
| "learning_rate": 3.5882352941176475e-06, |
| "loss": 0.7009, |
| "step": 62 |
| }, |
| { |
| "epoch": 0.0672, |
| "grad_norm": 0.6763818264007568, |
| "learning_rate": 3.6470588235294117e-06, |
| "loss": 0.7294, |
| "step": 63 |
| }, |
| { |
| "epoch": 0.06826666666666667, |
| "grad_norm": 0.7293891310691833, |
| "learning_rate": 3.7058823529411767e-06, |
| "loss": 0.7667, |
| "step": 64 |
| }, |
| { |
| "epoch": 0.06933333333333333, |
| "grad_norm": 0.6588060855865479, |
| "learning_rate": 3.7647058823529414e-06, |
| "loss": 0.7138, |
| "step": 65 |
| }, |
| { |
| "epoch": 0.0704, |
| "grad_norm": 0.8562939167022705, |
| "learning_rate": 3.8235294117647055e-06, |
| "loss": 0.7254, |
| "step": 66 |
| }, |
| { |
| "epoch": 0.07146666666666666, |
| "grad_norm": 0.6445937156677246, |
| "learning_rate": 3.882352941176471e-06, |
| "loss": 0.7395, |
| "step": 67 |
| }, |
| { |
| "epoch": 0.07253333333333334, |
| "grad_norm": 0.7322450280189514, |
| "learning_rate": 3.941176470588236e-06, |
| "loss": 0.7671, |
| "step": 68 |
| }, |
| { |
| "epoch": 0.0736, |
| "grad_norm": 0.6127592921257019, |
| "learning_rate": 4.000000000000001e-06, |
| "loss": 0.7073, |
| "step": 69 |
| }, |
| { |
| "epoch": 0.07466666666666667, |
| "grad_norm": 0.6505527496337891, |
| "learning_rate": 4.058823529411765e-06, |
| "loss": 0.7017, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.07573333333333333, |
| "grad_norm": 0.6569400429725647, |
| "learning_rate": 4.11764705882353e-06, |
| "loss": 0.7127, |
| "step": 71 |
| }, |
| { |
| "epoch": 0.0768, |
| "grad_norm": 0.6146572232246399, |
| "learning_rate": 4.176470588235295e-06, |
| "loss": 0.6991, |
| "step": 72 |
| }, |
| { |
| "epoch": 0.07786666666666667, |
| "grad_norm": 0.5813089609146118, |
| "learning_rate": 4.235294117647059e-06, |
| "loss": 0.6021, |
| "step": 73 |
| }, |
| { |
| "epoch": 0.07893333333333333, |
| "grad_norm": 0.6429851651191711, |
| "learning_rate": 4.294117647058823e-06, |
| "loss": 0.676, |
| "step": 74 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 0.6435620188713074, |
| "learning_rate": 4.352941176470588e-06, |
| "loss": 0.7147, |
| "step": 75 |
| }, |
| { |
| "epoch": 0.08106666666666666, |
| "grad_norm": 0.6419257521629333, |
| "learning_rate": 4.411764705882353e-06, |
| "loss": 0.6814, |
| "step": 76 |
| }, |
| { |
| "epoch": 0.08213333333333334, |
| "grad_norm": 0.6326638460159302, |
| "learning_rate": 4.4705882352941184e-06, |
| "loss": 0.7013, |
| "step": 77 |
| }, |
| { |
| "epoch": 0.0832, |
| "grad_norm": 0.6038550138473511, |
| "learning_rate": 4.529411764705883e-06, |
| "loss": 0.6816, |
| "step": 78 |
| }, |
| { |
| "epoch": 0.08426666666666667, |
| "grad_norm": 0.7091596126556396, |
| "learning_rate": 4.588235294117647e-06, |
| "loss": 0.7548, |
| "step": 79 |
| }, |
| { |
| "epoch": 0.08533333333333333, |
| "grad_norm": 0.6248887777328491, |
| "learning_rate": 4.647058823529412e-06, |
| "loss": 0.7115, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.0864, |
| "grad_norm": 0.6790881156921387, |
| "learning_rate": 4.705882352941177e-06, |
| "loss": 0.7399, |
| "step": 81 |
| }, |
| { |
| "epoch": 0.08746666666666666, |
| "grad_norm": 0.5829601883888245, |
| "learning_rate": 4.764705882352941e-06, |
| "loss": 0.6517, |
| "step": 82 |
| }, |
| { |
| "epoch": 0.08853333333333334, |
| "grad_norm": 0.6263288855552673, |
| "learning_rate": 4.823529411764706e-06, |
| "loss": 0.7274, |
| "step": 83 |
| }, |
| { |
| "epoch": 0.0896, |
| "grad_norm": 0.6250352263450623, |
| "learning_rate": 4.882352941176471e-06, |
| "loss": 0.6625, |
| "step": 84 |
| }, |
| { |
| "epoch": 0.09066666666666667, |
| "grad_norm": 0.6283255219459534, |
| "learning_rate": 4.941176470588236e-06, |
| "loss": 0.6511, |
| "step": 85 |
| }, |
| { |
| "epoch": 0.09173333333333333, |
| "grad_norm": 0.6237804889678955, |
| "learning_rate": 5e-06, |
| "loss": 0.6797, |
| "step": 86 |
| }, |
| { |
| "epoch": 0.0928, |
| "grad_norm": 0.6975212097167969, |
| "learning_rate": 4.999998343457284e-06, |
| "loss": 0.7217, |
| "step": 87 |
| }, |
| { |
| "epoch": 0.09386666666666667, |
| "grad_norm": 0.6506552696228027, |
| "learning_rate": 4.999993373831333e-06, |
| "loss": 0.7298, |
| "step": 88 |
| }, |
| { |
| "epoch": 0.09493333333333333, |
| "grad_norm": 0.5955935716629028, |
| "learning_rate": 4.999985091128731e-06, |
| "loss": 0.635, |
| "step": 89 |
| }, |
| { |
| "epoch": 0.096, |
| "grad_norm": 0.6474183797836304, |
| "learning_rate": 4.999973495360456e-06, |
| "loss": 0.6883, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.09706666666666666, |
| "grad_norm": 0.6518855690956116, |
| "learning_rate": 4.999958586541874e-06, |
| "loss": 0.6947, |
| "step": 91 |
| }, |
| { |
| "epoch": 0.09813333333333334, |
| "grad_norm": 0.5830003023147583, |
| "learning_rate": 4.999940364692744e-06, |
| "loss": 0.6107, |
| "step": 92 |
| }, |
| { |
| "epoch": 0.0992, |
| "grad_norm": 0.6202980279922485, |
| "learning_rate": 4.999918829837212e-06, |
| "loss": 0.6691, |
| "step": 93 |
| }, |
| { |
| "epoch": 0.10026666666666667, |
| "grad_norm": 0.5959928631782532, |
| "learning_rate": 4.999893982003819e-06, |
| "loss": 0.6296, |
| "step": 94 |
| }, |
| { |
| "epoch": 0.10133333333333333, |
| "grad_norm": 0.6335151195526123, |
| "learning_rate": 4.999865821225493e-06, |
| "loss": 0.7056, |
| "step": 95 |
| }, |
| { |
| "epoch": 0.1024, |
| "grad_norm": 0.6671686768531799, |
| "learning_rate": 4.999834347539554e-06, |
| "loss": 0.7071, |
| "step": 96 |
| }, |
| { |
| "epoch": 0.10346666666666667, |
| "grad_norm": 0.6432976722717285, |
| "learning_rate": 4.9997995609877125e-06, |
| "loss": 0.7177, |
| "step": 97 |
| }, |
| { |
| "epoch": 0.10453333333333334, |
| "grad_norm": 0.6482373476028442, |
| "learning_rate": 4.999761461616068e-06, |
| "loss": 0.6837, |
| "step": 98 |
| }, |
| { |
| "epoch": 0.1056, |
| "grad_norm": 0.6275866031646729, |
| "learning_rate": 4.999720049475112e-06, |
| "loss": 0.7019, |
| "step": 99 |
| }, |
| { |
| "epoch": 0.10666666666666667, |
| "grad_norm": 0.6774845123291016, |
| "learning_rate": 4.999675324619724e-06, |
| "loss": 0.7391, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.10773333333333333, |
| "grad_norm": 0.6798214912414551, |
| "learning_rate": 4.999627287109175e-06, |
| "loss": 0.6801, |
| "step": 101 |
| }, |
| { |
| "epoch": 0.1088, |
| "grad_norm": 0.6623095870018005, |
| "learning_rate": 4.999575937007128e-06, |
| "loss": 0.668, |
| "step": 102 |
| }, |
| { |
| "epoch": 0.10986666666666667, |
| "grad_norm": 0.5799662470817566, |
| "learning_rate": 4.99952127438163e-06, |
| "loss": 0.6546, |
| "step": 103 |
| }, |
| { |
| "epoch": 0.11093333333333333, |
| "grad_norm": 0.6182264089584351, |
| "learning_rate": 4.999463299305126e-06, |
| "loss": 0.6707, |
| "step": 104 |
| }, |
| { |
| "epoch": 0.112, |
| "grad_norm": 0.6331518292427063, |
| "learning_rate": 4.999402011854444e-06, |
| "loss": 0.6708, |
| "step": 105 |
| }, |
| { |
| "epoch": 0.11306666666666666, |
| "grad_norm": 0.65323406457901, |
| "learning_rate": 4.999337412110807e-06, |
| "loss": 0.6373, |
| "step": 106 |
| }, |
| { |
| "epoch": 0.11413333333333334, |
| "grad_norm": 0.6391531825065613, |
| "learning_rate": 4.99926950015982e-06, |
| "loss": 0.7145, |
| "step": 107 |
| }, |
| { |
| "epoch": 0.1152, |
| "grad_norm": 0.6258933544158936, |
| "learning_rate": 4.999198276091487e-06, |
| "loss": 0.6589, |
| "step": 108 |
| }, |
| { |
| "epoch": 0.11626666666666667, |
| "grad_norm": 0.5695871114730835, |
| "learning_rate": 4.999123740000193e-06, |
| "loss": 0.5602, |
| "step": 109 |
| }, |
| { |
| "epoch": 0.11733333333333333, |
| "grad_norm": 0.6247305274009705, |
| "learning_rate": 4.999045891984719e-06, |
| "loss": 0.6947, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.1184, |
| "grad_norm": 0.6736364960670471, |
| "learning_rate": 4.998964732148229e-06, |
| "loss": 0.7098, |
| "step": 111 |
| }, |
| { |
| "epoch": 0.11946666666666667, |
| "grad_norm": 0.6904242634773254, |
| "learning_rate": 4.998880260598281e-06, |
| "loss": 0.667, |
| "step": 112 |
| }, |
| { |
| "epoch": 0.12053333333333334, |
| "grad_norm": 0.6118626594543457, |
| "learning_rate": 4.9987924774468175e-06, |
| "loss": 0.6885, |
| "step": 113 |
| }, |
| { |
| "epoch": 0.1216, |
| "grad_norm": 0.5440800786018372, |
| "learning_rate": 4.998701382810174e-06, |
| "loss": 0.6067, |
| "step": 114 |
| }, |
| { |
| "epoch": 0.12266666666666666, |
| "grad_norm": 0.6443036794662476, |
| "learning_rate": 4.99860697680907e-06, |
| "loss": 0.6598, |
| "step": 115 |
| }, |
| { |
| "epoch": 0.12373333333333333, |
| "grad_norm": 0.6877956986427307, |
| "learning_rate": 4.998509259568617e-06, |
| "loss": 0.7062, |
| "step": 116 |
| }, |
| { |
| "epoch": 0.1248, |
| "grad_norm": 0.7749872803688049, |
| "learning_rate": 4.998408231218313e-06, |
| "loss": 0.7363, |
| "step": 117 |
| }, |
| { |
| "epoch": 0.12586666666666665, |
| "grad_norm": 0.6315820217132568, |
| "learning_rate": 4.998303891892043e-06, |
| "loss": 0.6889, |
| "step": 118 |
| }, |
| { |
| "epoch": 0.12693333333333334, |
| "grad_norm": 0.5668684840202332, |
| "learning_rate": 4.998196241728084e-06, |
| "loss": 0.6431, |
| "step": 119 |
| }, |
| { |
| "epoch": 0.128, |
| "grad_norm": 0.6565888524055481, |
| "learning_rate": 4.998085280869094e-06, |
| "loss": 0.6744, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.12906666666666666, |
| "grad_norm": 0.5803560614585876, |
| "learning_rate": 4.997971009462125e-06, |
| "loss": 0.6031, |
| "step": 121 |
| }, |
| { |
| "epoch": 0.13013333333333332, |
| "grad_norm": 0.5977576375007629, |
| "learning_rate": 4.997853427658612e-06, |
| "loss": 0.6597, |
| "step": 122 |
| }, |
| { |
| "epoch": 0.1312, |
| "grad_norm": 0.6212902069091797, |
| "learning_rate": 4.997732535614379e-06, |
| "loss": 0.6894, |
| "step": 123 |
| }, |
| { |
| "epoch": 0.13226666666666667, |
| "grad_norm": 0.5790144205093384, |
| "learning_rate": 4.997608333489635e-06, |
| "loss": 0.6531, |
| "step": 124 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 0.5905394554138184, |
| "learning_rate": 4.997480821448979e-06, |
| "loss": 0.6342, |
| "step": 125 |
| }, |
| { |
| "epoch": 0.1344, |
| "grad_norm": 0.5412520170211792, |
| "learning_rate": 4.997349999661392e-06, |
| "loss": 0.6226, |
| "step": 126 |
| }, |
| { |
| "epoch": 0.13546666666666668, |
| "grad_norm": 0.5972446203231812, |
| "learning_rate": 4.997215868300245e-06, |
| "loss": 0.6593, |
| "step": 127 |
| }, |
| { |
| "epoch": 0.13653333333333334, |
| "grad_norm": 0.5612914562225342, |
| "learning_rate": 4.9970784275432935e-06, |
| "loss": 0.6188, |
| "step": 128 |
| }, |
| { |
| "epoch": 0.1376, |
| "grad_norm": 0.59096360206604, |
| "learning_rate": 4.996937677572679e-06, |
| "loss": 0.6469, |
| "step": 129 |
| }, |
| { |
| "epoch": 0.13866666666666666, |
| "grad_norm": 0.6909805536270142, |
| "learning_rate": 4.996793618574926e-06, |
| "loss": 0.7248, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.13973333333333332, |
| "grad_norm": 0.620657205581665, |
| "learning_rate": 4.9966462507409484e-06, |
| "loss": 0.6402, |
| "step": 131 |
| }, |
| { |
| "epoch": 0.1408, |
| "grad_norm": 0.5836001038551331, |
| "learning_rate": 4.9964955742660435e-06, |
| "loss": 0.6516, |
| "step": 132 |
| }, |
| { |
| "epoch": 0.14186666666666667, |
| "grad_norm": 0.5696783065795898, |
| "learning_rate": 4.9963415893498914e-06, |
| "loss": 0.6112, |
| "step": 133 |
| }, |
| { |
| "epoch": 0.14293333333333333, |
| "grad_norm": 0.5956443548202515, |
| "learning_rate": 4.996184296196558e-06, |
| "loss": 0.5918, |
| "step": 134 |
| }, |
| { |
| "epoch": 0.144, |
| "grad_norm": 0.6324007511138916, |
| "learning_rate": 4.996023695014495e-06, |
| "loss": 0.6354, |
| "step": 135 |
| }, |
| { |
| "epoch": 0.14506666666666668, |
| "grad_norm": 0.6471300721168518, |
| "learning_rate": 4.995859786016536e-06, |
| "loss": 0.6373, |
| "step": 136 |
| }, |
| { |
| "epoch": 0.14613333333333334, |
| "grad_norm": 0.6222944855690002, |
| "learning_rate": 4.995692569419899e-06, |
| "loss": 0.6736, |
| "step": 137 |
| }, |
| { |
| "epoch": 0.1472, |
| "grad_norm": 0.5940760970115662, |
| "learning_rate": 4.995522045446184e-06, |
| "loss": 0.6438, |
| "step": 138 |
| }, |
| { |
| "epoch": 0.14826666666666666, |
| "grad_norm": 0.5666523575782776, |
| "learning_rate": 4.995348214321376e-06, |
| "loss": 0.5949, |
| "step": 139 |
| }, |
| { |
| "epoch": 0.14933333333333335, |
| "grad_norm": 0.5974641442298889, |
| "learning_rate": 4.995171076275843e-06, |
| "loss": 0.6379, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.1504, |
| "grad_norm": 0.5480021238327026, |
| "learning_rate": 4.994990631544333e-06, |
| "loss": 0.6413, |
| "step": 141 |
| }, |
| { |
| "epoch": 0.15146666666666667, |
| "grad_norm": 0.5503633618354797, |
| "learning_rate": 4.994806880365978e-06, |
| "loss": 0.5872, |
| "step": 142 |
| }, |
| { |
| "epoch": 0.15253333333333333, |
| "grad_norm": 0.6513713598251343, |
| "learning_rate": 4.994619822984291e-06, |
| "loss": 0.6553, |
| "step": 143 |
| }, |
| { |
| "epoch": 0.1536, |
| "grad_norm": 0.6396033763885498, |
| "learning_rate": 4.994429459647167e-06, |
| "loss": 0.6377, |
| "step": 144 |
| }, |
| { |
| "epoch": 0.15466666666666667, |
| "grad_norm": 0.5844723582267761, |
| "learning_rate": 4.994235790606883e-06, |
| "loss": 0.6219, |
| "step": 145 |
| }, |
| { |
| "epoch": 0.15573333333333333, |
| "grad_norm": 0.6159989833831787, |
| "learning_rate": 4.994038816120094e-06, |
| "loss": 0.6611, |
| "step": 146 |
| }, |
| { |
| "epoch": 0.1568, |
| "grad_norm": 0.5976393222808838, |
| "learning_rate": 4.9938385364478386e-06, |
| "loss": 0.6055, |
| "step": 147 |
| }, |
| { |
| "epoch": 0.15786666666666666, |
| "grad_norm": 0.6148470044136047, |
| "learning_rate": 4.993634951855534e-06, |
| "loss": 0.6245, |
| "step": 148 |
| }, |
| { |
| "epoch": 0.15893333333333334, |
| "grad_norm": 0.6044766902923584, |
| "learning_rate": 4.993428062612977e-06, |
| "loss": 0.6378, |
| "step": 149 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 0.643021821975708, |
| "learning_rate": 4.993217868994345e-06, |
| "loss": 0.7164, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.16106666666666666, |
| "grad_norm": 0.7177815437316895, |
| "learning_rate": 4.993004371278194e-06, |
| "loss": 0.7049, |
| "step": 151 |
| }, |
| { |
| "epoch": 0.16213333333333332, |
| "grad_norm": 0.5678836107254028, |
| "learning_rate": 4.9927875697474574e-06, |
| "loss": 0.6226, |
| "step": 152 |
| }, |
| { |
| "epoch": 0.1632, |
| "grad_norm": 0.6344117522239685, |
| "learning_rate": 4.9925674646894475e-06, |
| "loss": 0.6447, |
| "step": 153 |
| }, |
| { |
| "epoch": 0.16426666666666667, |
| "grad_norm": 0.6891792416572571, |
| "learning_rate": 4.992344056395857e-06, |
| "loss": 0.7171, |
| "step": 154 |
| }, |
| { |
| "epoch": 0.16533333333333333, |
| "grad_norm": 0.5988249182701111, |
| "learning_rate": 4.992117345162754e-06, |
| "loss": 0.6318, |
| "step": 155 |
| }, |
| { |
| "epoch": 0.1664, |
| "grad_norm": 0.5938913822174072, |
| "learning_rate": 4.991887331290582e-06, |
| "loss": 0.6352, |
| "step": 156 |
| }, |
| { |
| "epoch": 0.16746666666666668, |
| "grad_norm": 0.603183388710022, |
| "learning_rate": 4.991654015084164e-06, |
| "loss": 0.6347, |
| "step": 157 |
| }, |
| { |
| "epoch": 0.16853333333333334, |
| "grad_norm": 0.5748515129089355, |
| "learning_rate": 4.991417396852701e-06, |
| "loss": 0.6607, |
| "step": 158 |
| }, |
| { |
| "epoch": 0.1696, |
| "grad_norm": 0.6740009188652039, |
| "learning_rate": 4.991177476909764e-06, |
| "loss": 0.6992, |
| "step": 159 |
| }, |
| { |
| "epoch": 0.17066666666666666, |
| "grad_norm": 0.6180859804153442, |
| "learning_rate": 4.990934255573305e-06, |
| "loss": 0.6368, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.17173333333333332, |
| "grad_norm": 0.6067483425140381, |
| "learning_rate": 4.99068773316565e-06, |
| "loss": 0.6174, |
| "step": 161 |
| }, |
| { |
| "epoch": 0.1728, |
| "grad_norm": 0.5992940068244934, |
| "learning_rate": 4.990437910013497e-06, |
| "loss": 0.6363, |
| "step": 162 |
| }, |
| { |
| "epoch": 0.17386666666666667, |
| "grad_norm": 0.5584693551063538, |
| "learning_rate": 4.990184786447922e-06, |
| "loss": 0.6305, |
| "step": 163 |
| }, |
| { |
| "epoch": 0.17493333333333333, |
| "grad_norm": 0.6583156585693359, |
| "learning_rate": 4.98992836280437e-06, |
| "loss": 0.6789, |
| "step": 164 |
| }, |
| { |
| "epoch": 0.176, |
| "grad_norm": 0.6230149269104004, |
| "learning_rate": 4.989668639422667e-06, |
| "loss": 0.6852, |
| "step": 165 |
| }, |
| { |
| "epoch": 0.17706666666666668, |
| "grad_norm": 0.5826439261436462, |
| "learning_rate": 4.989405616647003e-06, |
| "loss": 0.666, |
| "step": 166 |
| }, |
| { |
| "epoch": 0.17813333333333334, |
| "grad_norm": 0.6398501396179199, |
| "learning_rate": 4.989139294825947e-06, |
| "loss": 0.7031, |
| "step": 167 |
| }, |
| { |
| "epoch": 0.1792, |
| "grad_norm": 0.6406261920928955, |
| "learning_rate": 4.988869674312438e-06, |
| "loss": 0.7106, |
| "step": 168 |
| }, |
| { |
| "epoch": 0.18026666666666666, |
| "grad_norm": 0.5871196985244751, |
| "learning_rate": 4.988596755463785e-06, |
| "loss": 0.6562, |
| "step": 169 |
| }, |
| { |
| "epoch": 0.18133333333333335, |
| "grad_norm": 0.5835694074630737, |
| "learning_rate": 4.98832053864167e-06, |
| "loss": 0.658, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.1824, |
| "grad_norm": 0.6452926993370056, |
| "learning_rate": 4.9880410242121446e-06, |
| "loss": 0.6592, |
| "step": 171 |
| }, |
| { |
| "epoch": 0.18346666666666667, |
| "grad_norm": 0.6020696759223938, |
| "learning_rate": 4.987758212545631e-06, |
| "loss": 0.6532, |
| "step": 172 |
| }, |
| { |
| "epoch": 0.18453333333333333, |
| "grad_norm": 0.5690480470657349, |
| "learning_rate": 4.987472104016923e-06, |
| "loss": 0.6361, |
| "step": 173 |
| }, |
| { |
| "epoch": 0.1856, |
| "grad_norm": 0.6022936105728149, |
| "learning_rate": 4.987182699005177e-06, |
| "loss": 0.6205, |
| "step": 174 |
| }, |
| { |
| "epoch": 0.18666666666666668, |
| "grad_norm": 0.5617965459823608, |
| "learning_rate": 4.986889997893927e-06, |
| "loss": 0.5732, |
| "step": 175 |
| }, |
| { |
| "epoch": 0.18773333333333334, |
| "grad_norm": 0.6081774234771729, |
| "learning_rate": 4.986594001071068e-06, |
| "loss": 0.6721, |
| "step": 176 |
| }, |
| { |
| "epoch": 0.1888, |
| "grad_norm": 0.6151561737060547, |
| "learning_rate": 4.986294708928865e-06, |
| "loss": 0.6213, |
| "step": 177 |
| }, |
| { |
| "epoch": 0.18986666666666666, |
| "grad_norm": 0.5810381770133972, |
| "learning_rate": 4.985992121863951e-06, |
| "loss": 0.5989, |
| "step": 178 |
| }, |
| { |
| "epoch": 0.19093333333333334, |
| "grad_norm": 0.5558521151542664, |
| "learning_rate": 4.985686240277324e-06, |
| "loss": 0.5875, |
| "step": 179 |
| }, |
| { |
| "epoch": 0.192, |
| "grad_norm": 0.625558078289032, |
| "learning_rate": 4.98537706457435e-06, |
| "loss": 0.6369, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.19306666666666666, |
| "grad_norm": 0.6327069401741028, |
| "learning_rate": 4.985064595164758e-06, |
| "loss": 0.6444, |
| "step": 181 |
| }, |
| { |
| "epoch": 0.19413333333333332, |
| "grad_norm": 0.6493352055549622, |
| "learning_rate": 4.9847488324626435e-06, |
| "loss": 0.6552, |
| "step": 182 |
| }, |
| { |
| "epoch": 0.1952, |
| "grad_norm": 0.5843132138252258, |
| "learning_rate": 4.984429776886465e-06, |
| "loss": 0.6329, |
| "step": 183 |
| }, |
| { |
| "epoch": 0.19626666666666667, |
| "grad_norm": 0.5913636684417725, |
| "learning_rate": 4.9841074288590495e-06, |
| "loss": 0.6056, |
| "step": 184 |
| }, |
| { |
| "epoch": 0.19733333333333333, |
| "grad_norm": 0.5990220904350281, |
| "learning_rate": 4.983781788807579e-06, |
| "loss": 0.6618, |
| "step": 185 |
| }, |
| { |
| "epoch": 0.1984, |
| "grad_norm": 0.6559251546859741, |
| "learning_rate": 4.9834528571636055e-06, |
| "loss": 0.6413, |
| "step": 186 |
| }, |
| { |
| "epoch": 0.19946666666666665, |
| "grad_norm": 0.7146479487419128, |
| "learning_rate": 4.98312063436304e-06, |
| "loss": 0.7471, |
| "step": 187 |
| }, |
| { |
| "epoch": 0.20053333333333334, |
| "grad_norm": 0.5879586338996887, |
| "learning_rate": 4.982785120846156e-06, |
| "loss": 0.634, |
| "step": 188 |
| }, |
| { |
| "epoch": 0.2016, |
| "grad_norm": 0.7046877145767212, |
| "learning_rate": 4.982446317057585e-06, |
| "loss": 0.7178, |
| "step": 189 |
| }, |
| { |
| "epoch": 0.20266666666666666, |
| "grad_norm": 0.6549324989318848, |
| "learning_rate": 4.982104223446324e-06, |
| "loss": 0.6811, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.20373333333333332, |
| "grad_norm": 0.669995129108429, |
| "learning_rate": 4.981758840465727e-06, |
| "loss": 0.6876, |
| "step": 191 |
| }, |
| { |
| "epoch": 0.2048, |
| "grad_norm": 0.6099154949188232, |
| "learning_rate": 4.981410168573505e-06, |
| "loss": 0.6203, |
| "step": 192 |
| }, |
| { |
| "epoch": 0.20586666666666667, |
| "grad_norm": 0.5650361180305481, |
| "learning_rate": 4.981058208231733e-06, |
| "loss": 0.6752, |
| "step": 193 |
| }, |
| { |
| "epoch": 0.20693333333333333, |
| "grad_norm": 0.6351343989372253, |
| "learning_rate": 4.980702959906838e-06, |
| "loss": 0.6269, |
| "step": 194 |
| }, |
| { |
| "epoch": 0.208, |
| "grad_norm": 0.6827161908149719, |
| "learning_rate": 4.98034442406961e-06, |
| "loss": 0.7091, |
| "step": 195 |
| }, |
| { |
| "epoch": 0.20906666666666668, |
| "grad_norm": 0.64639812707901, |
| "learning_rate": 4.979982601195192e-06, |
| "loss": 0.6688, |
| "step": 196 |
| }, |
| { |
| "epoch": 0.21013333333333334, |
| "grad_norm": 0.6144318580627441, |
| "learning_rate": 4.9796174917630816e-06, |
| "loss": 0.6286, |
| "step": 197 |
| }, |
| { |
| "epoch": 0.2112, |
| "grad_norm": 0.7037844657897949, |
| "learning_rate": 4.979249096257138e-06, |
| "loss": 0.7147, |
| "step": 198 |
| }, |
| { |
| "epoch": 0.21226666666666666, |
| "grad_norm": 0.5951513051986694, |
| "learning_rate": 4.9788774151655685e-06, |
| "loss": 0.6209, |
| "step": 199 |
| }, |
| { |
| "epoch": 0.21333333333333335, |
| "grad_norm": 0.6704598665237427, |
| "learning_rate": 4.97850244898094e-06, |
| "loss": 0.6604, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.2144, |
| "grad_norm": 0.5946887135505676, |
| "learning_rate": 4.97812419820017e-06, |
| "loss": 0.6099, |
| "step": 201 |
| }, |
| { |
| "epoch": 0.21546666666666667, |
| "grad_norm": 0.619726300239563, |
| "learning_rate": 4.977742663324527e-06, |
| "loss": 0.634, |
| "step": 202 |
| }, |
| { |
| "epoch": 0.21653333333333333, |
| "grad_norm": 0.6785538196563721, |
| "learning_rate": 4.977357844859636e-06, |
| "loss": 0.6975, |
| "step": 203 |
| }, |
| { |
| "epoch": 0.2176, |
| "grad_norm": 0.6248236298561096, |
| "learning_rate": 4.976969743315472e-06, |
| "loss": 0.6643, |
| "step": 204 |
| }, |
| { |
| "epoch": 0.21866666666666668, |
| "grad_norm": 0.5693626403808594, |
| "learning_rate": 4.97657835920636e-06, |
| "loss": 0.6645, |
| "step": 205 |
| }, |
| { |
| "epoch": 0.21973333333333334, |
| "grad_norm": 0.5894892811775208, |
| "learning_rate": 4.976183693050975e-06, |
| "loss": 0.6645, |
| "step": 206 |
| }, |
| { |
| "epoch": 0.2208, |
| "grad_norm": 0.6759524941444397, |
| "learning_rate": 4.975785745372343e-06, |
| "loss": 0.6145, |
| "step": 207 |
| }, |
| { |
| "epoch": 0.22186666666666666, |
| "grad_norm": 0.6225232481956482, |
| "learning_rate": 4.975384516697837e-06, |
| "loss": 0.63, |
| "step": 208 |
| }, |
| { |
| "epoch": 0.22293333333333334, |
| "grad_norm": 0.620917558670044, |
| "learning_rate": 4.97498000755918e-06, |
| "loss": 0.6209, |
| "step": 209 |
| }, |
| { |
| "epoch": 0.224, |
| "grad_norm": 0.6591837406158447, |
| "learning_rate": 4.974572218492439e-06, |
| "loss": 0.6827, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.22506666666666666, |
| "grad_norm": 0.5325132608413696, |
| "learning_rate": 4.974161150038034e-06, |
| "loss": 0.6037, |
| "step": 211 |
| }, |
| { |
| "epoch": 0.22613333333333333, |
| "grad_norm": 0.5483846664428711, |
| "learning_rate": 4.973746802740722e-06, |
| "loss": 0.5719, |
| "step": 212 |
| }, |
| { |
| "epoch": 0.2272, |
| "grad_norm": 0.6321028470993042, |
| "learning_rate": 4.973329177149615e-06, |
| "loss": 0.643, |
| "step": 213 |
| }, |
| { |
| "epoch": 0.22826666666666667, |
| "grad_norm": 0.5787076950073242, |
| "learning_rate": 4.972908273818161e-06, |
| "loss": 0.5644, |
| "step": 214 |
| }, |
| { |
| "epoch": 0.22933333333333333, |
| "grad_norm": 0.6039051413536072, |
| "learning_rate": 4.9724840933041586e-06, |
| "loss": 0.6093, |
| "step": 215 |
| }, |
| { |
| "epoch": 0.2304, |
| "grad_norm": 0.6096665263175964, |
| "learning_rate": 4.972056636169743e-06, |
| "loss": 0.6667, |
| "step": 216 |
| }, |
| { |
| "epoch": 0.23146666666666665, |
| "grad_norm": 0.5931844711303711, |
| "learning_rate": 4.971625902981397e-06, |
| "loss": 0.566, |
| "step": 217 |
| }, |
| { |
| "epoch": 0.23253333333333334, |
| "grad_norm": 0.6082255840301514, |
| "learning_rate": 4.971191894309943e-06, |
| "loss": 0.6525, |
| "step": 218 |
| }, |
| { |
| "epoch": 0.2336, |
| "grad_norm": 0.5989522933959961, |
| "learning_rate": 4.970754610730545e-06, |
| "loss": 0.5894, |
| "step": 219 |
| }, |
| { |
| "epoch": 0.23466666666666666, |
| "grad_norm": 0.5640434622764587, |
| "learning_rate": 4.970314052822703e-06, |
| "loss": 0.6043, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.23573333333333332, |
| "grad_norm": 0.6771663427352905, |
| "learning_rate": 4.969870221170263e-06, |
| "loss": 0.6057, |
| "step": 221 |
| }, |
| { |
| "epoch": 0.2368, |
| "grad_norm": 0.6361478567123413, |
| "learning_rate": 4.9694231163614025e-06, |
| "loss": 0.6575, |
| "step": 222 |
| }, |
| { |
| "epoch": 0.23786666666666667, |
| "grad_norm": 0.6293002963066101, |
| "learning_rate": 4.9689727389886435e-06, |
| "loss": 0.6165, |
| "step": 223 |
| }, |
| { |
| "epoch": 0.23893333333333333, |
| "grad_norm": 0.5633680820465088, |
| "learning_rate": 4.968519089648838e-06, |
| "loss": 0.5735, |
| "step": 224 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 0.6580431461334229, |
| "learning_rate": 4.96806216894318e-06, |
| "loss": 0.6781, |
| "step": 225 |
| }, |
| { |
| "epoch": 0.24106666666666668, |
| "grad_norm": 0.623583972454071, |
| "learning_rate": 4.967601977477197e-06, |
| "loss": 0.6345, |
| "step": 226 |
| }, |
| { |
| "epoch": 0.24213333333333334, |
| "grad_norm": 0.6129546761512756, |
| "learning_rate": 4.967138515860748e-06, |
| "loss": 0.6497, |
| "step": 227 |
| }, |
| { |
| "epoch": 0.2432, |
| "grad_norm": 0.6621289253234863, |
| "learning_rate": 4.966671784708029e-06, |
| "loss": 0.6488, |
| "step": 228 |
| }, |
| { |
| "epoch": 0.24426666666666666, |
| "grad_norm": 0.6044623851776123, |
| "learning_rate": 4.966201784637569e-06, |
| "loss": 0.6228, |
| "step": 229 |
| }, |
| { |
| "epoch": 0.24533333333333332, |
| "grad_norm": 0.5134773254394531, |
| "learning_rate": 4.965728516272228e-06, |
| "loss": 0.584, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.2464, |
| "grad_norm": 0.632207989692688, |
| "learning_rate": 4.965251980239197e-06, |
| "loss": 0.6776, |
| "step": 231 |
| }, |
| { |
| "epoch": 0.24746666666666667, |
| "grad_norm": 0.6010668873786926, |
| "learning_rate": 4.964772177169997e-06, |
| "loss": 0.6068, |
| "step": 232 |
| }, |
| { |
| "epoch": 0.24853333333333333, |
| "grad_norm": 0.6676483750343323, |
| "learning_rate": 4.964289107700481e-06, |
| "loss": 0.6092, |
| "step": 233 |
| }, |
| { |
| "epoch": 0.2496, |
| "grad_norm": 0.640129029750824, |
| "learning_rate": 4.9638027724708285e-06, |
| "loss": 0.614, |
| "step": 234 |
| }, |
| { |
| "epoch": 0.25066666666666665, |
| "grad_norm": 0.6328281164169312, |
| "learning_rate": 4.9633131721255476e-06, |
| "loss": 0.6704, |
| "step": 235 |
| }, |
| { |
| "epoch": 0.2517333333333333, |
| "grad_norm": 0.6918546557426453, |
| "learning_rate": 4.962820307313473e-06, |
| "loss": 0.7415, |
| "step": 236 |
| }, |
| { |
| "epoch": 0.2528, |
| "grad_norm": 0.6388983726501465, |
| "learning_rate": 4.962324178687766e-06, |
| "loss": 0.6818, |
| "step": 237 |
| }, |
| { |
| "epoch": 0.2538666666666667, |
| "grad_norm": 0.6416466236114502, |
| "learning_rate": 4.961824786905914e-06, |
| "loss": 0.6079, |
| "step": 238 |
| }, |
| { |
| "epoch": 0.25493333333333335, |
| "grad_norm": 0.6765209436416626, |
| "learning_rate": 4.961322132629728e-06, |
| "loss": 0.6875, |
| "step": 239 |
| }, |
| { |
| "epoch": 0.256, |
| "grad_norm": 0.6752843260765076, |
| "learning_rate": 4.960816216525341e-06, |
| "loss": 0.6498, |
| "step": 240 |
| }, |
| { |
| "epoch": 0.25706666666666667, |
| "grad_norm": 0.6713927388191223, |
| "learning_rate": 4.960307039263213e-06, |
| "loss": 0.6693, |
| "step": 241 |
| }, |
| { |
| "epoch": 0.2581333333333333, |
| "grad_norm": 0.6458859443664551, |
| "learning_rate": 4.9597946015181205e-06, |
| "loss": 0.6156, |
| "step": 242 |
| }, |
| { |
| "epoch": 0.2592, |
| "grad_norm": 0.6224912405014038, |
| "learning_rate": 4.959278903969166e-06, |
| "loss": 0.6246, |
| "step": 243 |
| }, |
| { |
| "epoch": 0.26026666666666665, |
| "grad_norm": 0.6396812200546265, |
| "learning_rate": 4.958759947299767e-06, |
| "loss": 0.6563, |
| "step": 244 |
| }, |
| { |
| "epoch": 0.2613333333333333, |
| "grad_norm": 0.7267150282859802, |
| "learning_rate": 4.958237732197665e-06, |
| "loss": 0.6375, |
| "step": 245 |
| }, |
| { |
| "epoch": 0.2624, |
| "grad_norm": 0.6136030554771423, |
| "learning_rate": 4.957712259354914e-06, |
| "loss": 0.6196, |
| "step": 246 |
| }, |
| { |
| "epoch": 0.2634666666666667, |
| "grad_norm": 0.6759042739868164, |
| "learning_rate": 4.957183529467893e-06, |
| "loss": 0.6537, |
| "step": 247 |
| }, |
| { |
| "epoch": 0.26453333333333334, |
| "grad_norm": 0.5983374714851379, |
| "learning_rate": 4.956651543237289e-06, |
| "loss": 0.604, |
| "step": 248 |
| }, |
| { |
| "epoch": 0.2656, |
| "grad_norm": 0.5732500553131104, |
| "learning_rate": 4.95611630136811e-06, |
| "loss": 0.5786, |
| "step": 249 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 0.6396532654762268, |
| "learning_rate": 4.955577804569677e-06, |
| "loss": 0.642, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.2677333333333333, |
| "grad_norm": 0.6125209927558899, |
| "learning_rate": 4.955036053555625e-06, |
| "loss": 0.6826, |
| "step": 251 |
| }, |
| { |
| "epoch": 0.2688, |
| "grad_norm": 0.6456829905509949, |
| "learning_rate": 4.954491049043899e-06, |
| "loss": 0.6399, |
| "step": 252 |
| }, |
| { |
| "epoch": 0.26986666666666664, |
| "grad_norm": 0.6272636651992798, |
| "learning_rate": 4.953942791756759e-06, |
| "loss": 0.6752, |
| "step": 253 |
| }, |
| { |
| "epoch": 0.27093333333333336, |
| "grad_norm": 0.5766415596008301, |
| "learning_rate": 4.953391282420773e-06, |
| "loss": 0.6179, |
| "step": 254 |
| }, |
| { |
| "epoch": 0.272, |
| "grad_norm": 0.6692551374435425, |
| "learning_rate": 4.9528365217668215e-06, |
| "loss": 0.6691, |
| "step": 255 |
| }, |
| { |
| "epoch": 0.2730666666666667, |
| "grad_norm": 0.6190515160560608, |
| "learning_rate": 4.952278510530092e-06, |
| "loss": 0.6083, |
| "step": 256 |
| }, |
| { |
| "epoch": 0.27413333333333334, |
| "grad_norm": 0.6144403219223022, |
| "learning_rate": 4.95171724945008e-06, |
| "loss": 0.64, |
| "step": 257 |
| }, |
| { |
| "epoch": 0.2752, |
| "grad_norm": 0.6729688048362732, |
| "learning_rate": 4.951152739270587e-06, |
| "loss": 0.6519, |
| "step": 258 |
| }, |
| { |
| "epoch": 0.27626666666666666, |
| "grad_norm": 0.6649523377418518, |
| "learning_rate": 4.950584980739722e-06, |
| "loss": 0.6497, |
| "step": 259 |
| }, |
| { |
| "epoch": 0.2773333333333333, |
| "grad_norm": 0.6052703261375427, |
| "learning_rate": 4.950013974609898e-06, |
| "loss": 0.6137, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.2784, |
| "grad_norm": 0.6784672141075134, |
| "learning_rate": 4.949439721637832e-06, |
| "loss": 0.5924, |
| "step": 261 |
| }, |
| { |
| "epoch": 0.27946666666666664, |
| "grad_norm": 0.6013864874839783, |
| "learning_rate": 4.948862222584543e-06, |
| "loss": 0.6012, |
| "step": 262 |
| }, |
| { |
| "epoch": 0.28053333333333336, |
| "grad_norm": 0.6014862060546875, |
| "learning_rate": 4.948281478215352e-06, |
| "loss": 0.6024, |
| "step": 263 |
| }, |
| { |
| "epoch": 0.2816, |
| "grad_norm": 0.622893750667572, |
| "learning_rate": 4.947697489299883e-06, |
| "loss": 0.5982, |
| "step": 264 |
| }, |
| { |
| "epoch": 0.2826666666666667, |
| "grad_norm": 0.6729969382286072, |
| "learning_rate": 4.947110256612056e-06, |
| "loss": 0.6389, |
| "step": 265 |
| }, |
| { |
| "epoch": 0.28373333333333334, |
| "grad_norm": 0.6277989745140076, |
| "learning_rate": 4.946519780930095e-06, |
| "loss": 0.6541, |
| "step": 266 |
| }, |
| { |
| "epoch": 0.2848, |
| "grad_norm": 0.6472575664520264, |
| "learning_rate": 4.945926063036515e-06, |
| "loss": 0.6055, |
| "step": 267 |
| }, |
| { |
| "epoch": 0.28586666666666666, |
| "grad_norm": 0.651124119758606, |
| "learning_rate": 4.945329103718134e-06, |
| "loss": 0.6627, |
| "step": 268 |
| }, |
| { |
| "epoch": 0.2869333333333333, |
| "grad_norm": 0.6825057864189148, |
| "learning_rate": 4.944728903766061e-06, |
| "loss": 0.703, |
| "step": 269 |
| }, |
| { |
| "epoch": 0.288, |
| "grad_norm": 0.6111598610877991, |
| "learning_rate": 4.944125463975701e-06, |
| "loss": 0.6051, |
| "step": 270 |
| }, |
| { |
| "epoch": 0.2890666666666667, |
| "grad_norm": 0.6787324547767639, |
| "learning_rate": 4.943518785146756e-06, |
| "loss": 0.6831, |
| "step": 271 |
| }, |
| { |
| "epoch": 0.29013333333333335, |
| "grad_norm": 0.630763828754425, |
| "learning_rate": 4.942908868083215e-06, |
| "loss": 0.6767, |
| "step": 272 |
| }, |
| { |
| "epoch": 0.2912, |
| "grad_norm": 0.5915973782539368, |
| "learning_rate": 4.942295713593361e-06, |
| "loss": 0.5901, |
| "step": 273 |
| }, |
| { |
| "epoch": 0.2922666666666667, |
| "grad_norm": 0.6316576600074768, |
| "learning_rate": 4.941679322489769e-06, |
| "loss": 0.6668, |
| "step": 274 |
| }, |
| { |
| "epoch": 0.29333333333333333, |
| "grad_norm": 0.6122906804084778, |
| "learning_rate": 4.9410596955892995e-06, |
| "loss": 0.6393, |
| "step": 275 |
| }, |
| { |
| "epoch": 0.2944, |
| "grad_norm": 0.662102222442627, |
| "learning_rate": 4.940436833713105e-06, |
| "loss": 0.6727, |
| "step": 276 |
| }, |
| { |
| "epoch": 0.29546666666666666, |
| "grad_norm": 0.622401237487793, |
| "learning_rate": 4.939810737686622e-06, |
| "loss": 0.5968, |
| "step": 277 |
| }, |
| { |
| "epoch": 0.2965333333333333, |
| "grad_norm": 0.6198617815971375, |
| "learning_rate": 4.939181408339575e-06, |
| "loss": 0.6957, |
| "step": 278 |
| }, |
| { |
| "epoch": 0.2976, |
| "grad_norm": 0.5765002369880676, |
| "learning_rate": 4.938548846505972e-06, |
| "loss": 0.6271, |
| "step": 279 |
| }, |
| { |
| "epoch": 0.2986666666666667, |
| "grad_norm": 0.5937513113021851, |
| "learning_rate": 4.937913053024108e-06, |
| "loss": 0.633, |
| "step": 280 |
| }, |
| { |
| "epoch": 0.29973333333333335, |
| "grad_norm": 0.6199644804000854, |
| "learning_rate": 4.937274028736555e-06, |
| "loss": 0.5799, |
| "step": 281 |
| }, |
| { |
| "epoch": 0.3008, |
| "grad_norm": 0.5865389704704285, |
| "learning_rate": 4.936631774490172e-06, |
| "loss": 0.6295, |
| "step": 282 |
| }, |
| { |
| "epoch": 0.30186666666666667, |
| "grad_norm": 0.6426358819007874, |
| "learning_rate": 4.935986291136095e-06, |
| "loss": 0.6933, |
| "step": 283 |
| }, |
| { |
| "epoch": 0.30293333333333333, |
| "grad_norm": 0.5625179409980774, |
| "learning_rate": 4.935337579529741e-06, |
| "loss": 0.5538, |
| "step": 284 |
| }, |
| { |
| "epoch": 0.304, |
| "grad_norm": 0.6401445865631104, |
| "learning_rate": 4.934685640530807e-06, |
| "loss": 0.6864, |
| "step": 285 |
| }, |
| { |
| "epoch": 0.30506666666666665, |
| "grad_norm": 0.5709410309791565, |
| "learning_rate": 4.9340304750032605e-06, |
| "loss": 0.5709, |
| "step": 286 |
| }, |
| { |
| "epoch": 0.3061333333333333, |
| "grad_norm": 0.6234865188598633, |
| "learning_rate": 4.933372083815352e-06, |
| "loss": 0.6804, |
| "step": 287 |
| }, |
| { |
| "epoch": 0.3072, |
| "grad_norm": 0.615082859992981, |
| "learning_rate": 4.932710467839604e-06, |
| "loss": 0.6488, |
| "step": 288 |
| }, |
| { |
| "epoch": 0.3082666666666667, |
| "grad_norm": 0.6121888160705566, |
| "learning_rate": 4.932045627952812e-06, |
| "loss": 0.5949, |
| "step": 289 |
| }, |
| { |
| "epoch": 0.30933333333333335, |
| "grad_norm": 0.6704373359680176, |
| "learning_rate": 4.931377565036044e-06, |
| "loss": 0.6339, |
| "step": 290 |
| }, |
| { |
| "epoch": 0.3104, |
| "grad_norm": 0.6356788277626038, |
| "learning_rate": 4.9307062799746415e-06, |
| "loss": 0.6425, |
| "step": 291 |
| }, |
| { |
| "epoch": 0.31146666666666667, |
| "grad_norm": 0.6167903542518616, |
| "learning_rate": 4.9300317736582125e-06, |
| "loss": 0.638, |
| "step": 292 |
| }, |
| { |
| "epoch": 0.31253333333333333, |
| "grad_norm": 0.5941944122314453, |
| "learning_rate": 4.929354046980638e-06, |
| "loss": 0.5737, |
| "step": 293 |
| }, |
| { |
| "epoch": 0.3136, |
| "grad_norm": 0.6967790722846985, |
| "learning_rate": 4.928673100840062e-06, |
| "loss": 0.6896, |
| "step": 294 |
| }, |
| { |
| "epoch": 0.31466666666666665, |
| "grad_norm": 0.6249736547470093, |
| "learning_rate": 4.927988936138899e-06, |
| "loss": 0.6934, |
| "step": 295 |
| }, |
| { |
| "epoch": 0.3157333333333333, |
| "grad_norm": 0.6239500045776367, |
| "learning_rate": 4.927301553783828e-06, |
| "loss": 0.6172, |
| "step": 296 |
| }, |
| { |
| "epoch": 0.3168, |
| "grad_norm": 0.625528872013092, |
| "learning_rate": 4.92661095468579e-06, |
| "loss": 0.6273, |
| "step": 297 |
| }, |
| { |
| "epoch": 0.3178666666666667, |
| "grad_norm": 0.6596346497535706, |
| "learning_rate": 4.925917139759992e-06, |
| "loss": 0.7188, |
| "step": 298 |
| }, |
| { |
| "epoch": 0.31893333333333335, |
| "grad_norm": 0.6969476342201233, |
| "learning_rate": 4.925220109925901e-06, |
| "loss": 0.6739, |
| "step": 299 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 0.6098787188529968, |
| "learning_rate": 4.9245198661072436e-06, |
| "loss": 0.6271, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.32106666666666667, |
| "grad_norm": 0.5932720303535461, |
| "learning_rate": 4.923816409232008e-06, |
| "loss": 0.5845, |
| "step": 301 |
| }, |
| { |
| "epoch": 0.3221333333333333, |
| "grad_norm": 0.6145159602165222, |
| "learning_rate": 4.923109740232439e-06, |
| "loss": 0.6273, |
| "step": 302 |
| }, |
| { |
| "epoch": 0.3232, |
| "grad_norm": 0.6037285923957825, |
| "learning_rate": 4.922399860045039e-06, |
| "loss": 0.6297, |
| "step": 303 |
| }, |
| { |
| "epoch": 0.32426666666666665, |
| "grad_norm": 0.6172651648521423, |
| "learning_rate": 4.921686769610563e-06, |
| "loss": 0.6157, |
| "step": 304 |
| }, |
| { |
| "epoch": 0.3253333333333333, |
| "grad_norm": 0.6572133898735046, |
| "learning_rate": 4.9209704698740265e-06, |
| "loss": 0.6281, |
| "step": 305 |
| }, |
| { |
| "epoch": 0.3264, |
| "grad_norm": 0.5956056714057922, |
| "learning_rate": 4.920250961784692e-06, |
| "loss": 0.6524, |
| "step": 306 |
| }, |
| { |
| "epoch": 0.3274666666666667, |
| "grad_norm": 0.5965023636817932, |
| "learning_rate": 4.919528246296077e-06, |
| "loss": 0.591, |
| "step": 307 |
| }, |
| { |
| "epoch": 0.32853333333333334, |
| "grad_norm": 0.5844211578369141, |
| "learning_rate": 4.9188023243659485e-06, |
| "loss": 0.6099, |
| "step": 308 |
| }, |
| { |
| "epoch": 0.3296, |
| "grad_norm": 0.6559067964553833, |
| "learning_rate": 4.918073196956323e-06, |
| "loss": 0.6788, |
| "step": 309 |
| }, |
| { |
| "epoch": 0.33066666666666666, |
| "grad_norm": 0.6280657649040222, |
| "learning_rate": 4.917340865033466e-06, |
| "loss": 0.6428, |
| "step": 310 |
| }, |
| { |
| "epoch": 0.3317333333333333, |
| "grad_norm": 0.5380066633224487, |
| "learning_rate": 4.916605329567887e-06, |
| "loss": 0.5903, |
| "step": 311 |
| }, |
| { |
| "epoch": 0.3328, |
| "grad_norm": 0.5981898307800293, |
| "learning_rate": 4.915866591534344e-06, |
| "loss": 0.5789, |
| "step": 312 |
| }, |
| { |
| "epoch": 0.33386666666666664, |
| "grad_norm": 0.5888707041740417, |
| "learning_rate": 4.915124651911838e-06, |
| "loss": 0.6021, |
| "step": 313 |
| }, |
| { |
| "epoch": 0.33493333333333336, |
| "grad_norm": 0.5799882411956787, |
| "learning_rate": 4.914379511683612e-06, |
| "loss": 0.6154, |
| "step": 314 |
| }, |
| { |
| "epoch": 0.336, |
| "grad_norm": 0.6873787045478821, |
| "learning_rate": 4.913631171837152e-06, |
| "loss": 0.6593, |
| "step": 315 |
| }, |
| { |
| "epoch": 0.3370666666666667, |
| "grad_norm": 0.5818606615066528, |
| "learning_rate": 4.912879633364183e-06, |
| "loss": 0.6066, |
| "step": 316 |
| }, |
| { |
| "epoch": 0.33813333333333334, |
| "grad_norm": 0.5887603163719177, |
| "learning_rate": 4.912124897260669e-06, |
| "loss": 0.6161, |
| "step": 317 |
| }, |
| { |
| "epoch": 0.3392, |
| "grad_norm": 0.6320002675056458, |
| "learning_rate": 4.911366964526814e-06, |
| "loss": 0.6412, |
| "step": 318 |
| }, |
| { |
| "epoch": 0.34026666666666666, |
| "grad_norm": 0.5656236410140991, |
| "learning_rate": 4.910605836167055e-06, |
| "loss": 0.5601, |
| "step": 319 |
| }, |
| { |
| "epoch": 0.3413333333333333, |
| "grad_norm": 0.6086665391921997, |
| "learning_rate": 4.909841513190064e-06, |
| "loss": 0.6005, |
| "step": 320 |
| }, |
| { |
| "epoch": 0.3424, |
| "grad_norm": 0.5900653600692749, |
| "learning_rate": 4.909073996608751e-06, |
| "loss": 0.5851, |
| "step": 321 |
| }, |
| { |
| "epoch": 0.34346666666666664, |
| "grad_norm": 0.5914739370346069, |
| "learning_rate": 4.908303287440253e-06, |
| "loss": 0.6247, |
| "step": 322 |
| }, |
| { |
| "epoch": 0.34453333333333336, |
| "grad_norm": 0.5889635682106018, |
| "learning_rate": 4.90752938670594e-06, |
| "loss": 0.569, |
| "step": 323 |
| }, |
| { |
| "epoch": 0.3456, |
| "grad_norm": 0.6186237931251526, |
| "learning_rate": 4.906752295431412e-06, |
| "loss": 0.6256, |
| "step": 324 |
| }, |
| { |
| "epoch": 0.3466666666666667, |
| "grad_norm": 0.6266998648643494, |
| "learning_rate": 4.905972014646498e-06, |
| "loss": 0.6433, |
| "step": 325 |
| }, |
| { |
| "epoch": 0.34773333333333334, |
| "grad_norm": 0.5682054758071899, |
| "learning_rate": 4.905188545385252e-06, |
| "loss": 0.5959, |
| "step": 326 |
| }, |
| { |
| "epoch": 0.3488, |
| "grad_norm": 0.7074918150901794, |
| "learning_rate": 4.9044018886859545e-06, |
| "loss": 0.6817, |
| "step": 327 |
| }, |
| { |
| "epoch": 0.34986666666666666, |
| "grad_norm": 0.6173619627952576, |
| "learning_rate": 4.90361204559111e-06, |
| "loss": 0.6286, |
| "step": 328 |
| }, |
| { |
| "epoch": 0.3509333333333333, |
| "grad_norm": 0.6429257392883301, |
| "learning_rate": 4.9028190171474444e-06, |
| "loss": 0.5924, |
| "step": 329 |
| }, |
| { |
| "epoch": 0.352, |
| "grad_norm": 0.6551210284233093, |
| "learning_rate": 4.9020228044059075e-06, |
| "loss": 0.6219, |
| "step": 330 |
| }, |
| { |
| "epoch": 0.35306666666666664, |
| "grad_norm": 0.5596452951431274, |
| "learning_rate": 4.901223408421666e-06, |
| "loss": 0.5849, |
| "step": 331 |
| }, |
| { |
| "epoch": 0.35413333333333336, |
| "grad_norm": 0.6264711022377014, |
| "learning_rate": 4.900420830254108e-06, |
| "loss": 0.6044, |
| "step": 332 |
| }, |
| { |
| "epoch": 0.3552, |
| "grad_norm": 0.6364989280700684, |
| "learning_rate": 4.899615070966838e-06, |
| "loss": 0.6115, |
| "step": 333 |
| }, |
| { |
| "epoch": 0.3562666666666667, |
| "grad_norm": 0.60328209400177, |
| "learning_rate": 4.898806131627675e-06, |
| "loss": 0.6096, |
| "step": 334 |
| }, |
| { |
| "epoch": 0.35733333333333334, |
| "grad_norm": 0.646192193031311, |
| "learning_rate": 4.897994013308653e-06, |
| "loss": 0.649, |
| "step": 335 |
| }, |
| { |
| "epoch": 0.3584, |
| "grad_norm": 0.6669407486915588, |
| "learning_rate": 4.897178717086018e-06, |
| "loss": 0.6829, |
| "step": 336 |
| }, |
| { |
| "epoch": 0.35946666666666666, |
| "grad_norm": 0.6107304096221924, |
| "learning_rate": 4.89636024404023e-06, |
| "loss": 0.6115, |
| "step": 337 |
| }, |
| { |
| "epoch": 0.3605333333333333, |
| "grad_norm": 0.5472016930580139, |
| "learning_rate": 4.895538595255958e-06, |
| "loss": 0.6018, |
| "step": 338 |
| }, |
| { |
| "epoch": 0.3616, |
| "grad_norm": 0.5630766749382019, |
| "learning_rate": 4.894713771822076e-06, |
| "loss": 0.6158, |
| "step": 339 |
| }, |
| { |
| "epoch": 0.3626666666666667, |
| "grad_norm": 0.6403055787086487, |
| "learning_rate": 4.893885774831671e-06, |
| "loss": 0.6363, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.36373333333333335, |
| "grad_norm": 0.6184769868850708, |
| "learning_rate": 4.893054605382032e-06, |
| "loss": 0.6274, |
| "step": 341 |
| }, |
| { |
| "epoch": 0.3648, |
| "grad_norm": 0.5826984643936157, |
| "learning_rate": 4.8922202645746544e-06, |
| "loss": 0.645, |
| "step": 342 |
| }, |
| { |
| "epoch": 0.3658666666666667, |
| "grad_norm": 0.6365123391151428, |
| "learning_rate": 4.891382753515232e-06, |
| "loss": 0.6195, |
| "step": 343 |
| }, |
| { |
| "epoch": 0.36693333333333333, |
| "grad_norm": 0.6441884636878967, |
| "learning_rate": 4.890542073313667e-06, |
| "loss": 0.6193, |
| "step": 344 |
| }, |
| { |
| "epoch": 0.368, |
| "grad_norm": 0.6300407648086548, |
| "learning_rate": 4.889698225084054e-06, |
| "loss": 0.6594, |
| "step": 345 |
| }, |
| { |
| "epoch": 0.36906666666666665, |
| "grad_norm": 0.5925156474113464, |
| "learning_rate": 4.888851209944692e-06, |
| "loss": 0.6531, |
| "step": 346 |
| }, |
| { |
| "epoch": 0.3701333333333333, |
| "grad_norm": 0.6377213001251221, |
| "learning_rate": 4.888001029018074e-06, |
| "loss": 0.6532, |
| "step": 347 |
| }, |
| { |
| "epoch": 0.3712, |
| "grad_norm": 0.6720328330993652, |
| "learning_rate": 4.887147683430887e-06, |
| "loss": 0.6805, |
| "step": 348 |
| }, |
| { |
| "epoch": 0.3722666666666667, |
| "grad_norm": 0.5236750841140747, |
| "learning_rate": 4.886291174314015e-06, |
| "loss": 0.5377, |
| "step": 349 |
| }, |
| { |
| "epoch": 0.37333333333333335, |
| "grad_norm": 0.5787746906280518, |
| "learning_rate": 4.885431502802534e-06, |
| "loss": 0.6135, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.3744, |
| "grad_norm": 0.6289299130439758, |
| "learning_rate": 4.884568670035709e-06, |
| "loss": 0.656, |
| "step": 351 |
| }, |
| { |
| "epoch": 0.37546666666666667, |
| "grad_norm": 0.5872620344161987, |
| "learning_rate": 4.883702677156995e-06, |
| "loss": 0.5799, |
| "step": 352 |
| }, |
| { |
| "epoch": 0.37653333333333333, |
| "grad_norm": 0.6312486529350281, |
| "learning_rate": 4.882833525314037e-06, |
| "loss": 0.6294, |
| "step": 353 |
| }, |
| { |
| "epoch": 0.3776, |
| "grad_norm": 0.6254330277442932, |
| "learning_rate": 4.8819612156586634e-06, |
| "loss": 0.6379, |
| "step": 354 |
| }, |
| { |
| "epoch": 0.37866666666666665, |
| "grad_norm": 0.5490694046020508, |
| "learning_rate": 4.881085749346889e-06, |
| "loss": 0.5696, |
| "step": 355 |
| }, |
| { |
| "epoch": 0.3797333333333333, |
| "grad_norm": 0.5892033576965332, |
| "learning_rate": 4.880207127538913e-06, |
| "loss": 0.6356, |
| "step": 356 |
| }, |
| { |
| "epoch": 0.3808, |
| "grad_norm": 0.6258782148361206, |
| "learning_rate": 4.879325351399112e-06, |
| "loss": 0.6292, |
| "step": 357 |
| }, |
| { |
| "epoch": 0.3818666666666667, |
| "grad_norm": 0.5353337526321411, |
| "learning_rate": 4.878440422096049e-06, |
| "loss": 0.5735, |
| "step": 358 |
| }, |
| { |
| "epoch": 0.38293333333333335, |
| "grad_norm": 0.6368969082832336, |
| "learning_rate": 4.877552340802461e-06, |
| "loss": 0.6306, |
| "step": 359 |
| }, |
| { |
| "epoch": 0.384, |
| "grad_norm": 0.5622411966323853, |
| "learning_rate": 4.876661108695264e-06, |
| "loss": 0.5529, |
| "step": 360 |
| }, |
| { |
| "epoch": 0.38506666666666667, |
| "grad_norm": 0.6233123540878296, |
| "learning_rate": 4.8757667269555495e-06, |
| "loss": 0.636, |
| "step": 361 |
| }, |
| { |
| "epoch": 0.38613333333333333, |
| "grad_norm": 0.6207735538482666, |
| "learning_rate": 4.874869196768583e-06, |
| "loss": 0.6111, |
| "step": 362 |
| }, |
| { |
| "epoch": 0.3872, |
| "grad_norm": 0.5748562216758728, |
| "learning_rate": 4.8739685193238005e-06, |
| "loss": 0.6054, |
| "step": 363 |
| }, |
| { |
| "epoch": 0.38826666666666665, |
| "grad_norm": 0.6099179983139038, |
| "learning_rate": 4.873064695814812e-06, |
| "loss": 0.6155, |
| "step": 364 |
| }, |
| { |
| "epoch": 0.3893333333333333, |
| "grad_norm": 0.633601725101471, |
| "learning_rate": 4.872157727439395e-06, |
| "loss": 0.6072, |
| "step": 365 |
| }, |
| { |
| "epoch": 0.3904, |
| "grad_norm": 0.5923605561256409, |
| "learning_rate": 4.871247615399495e-06, |
| "loss": 0.6186, |
| "step": 366 |
| }, |
| { |
| "epoch": 0.3914666666666667, |
| "grad_norm": 0.6110531091690063, |
| "learning_rate": 4.8703343609012235e-06, |
| "loss": 0.5766, |
| "step": 367 |
| }, |
| { |
| "epoch": 0.39253333333333335, |
| "grad_norm": 0.6255255341529846, |
| "learning_rate": 4.8694179651548564e-06, |
| "loss": 0.6588, |
| "step": 368 |
| }, |
| { |
| "epoch": 0.3936, |
| "grad_norm": 0.6012208461761475, |
| "learning_rate": 4.868498429374833e-06, |
| "loss": 0.6179, |
| "step": 369 |
| }, |
| { |
| "epoch": 0.39466666666666667, |
| "grad_norm": 0.6439220905303955, |
| "learning_rate": 4.867575754779753e-06, |
| "loss": 0.6616, |
| "step": 370 |
| }, |
| { |
| "epoch": 0.3957333333333333, |
| "grad_norm": 0.6314601302146912, |
| "learning_rate": 4.866649942592378e-06, |
| "loss": 0.6342, |
| "step": 371 |
| }, |
| { |
| "epoch": 0.3968, |
| "grad_norm": 0.6793239116668701, |
| "learning_rate": 4.865720994039623e-06, |
| "loss": 0.663, |
| "step": 372 |
| }, |
| { |
| "epoch": 0.39786666666666665, |
| "grad_norm": 0.661105751991272, |
| "learning_rate": 4.864788910352565e-06, |
| "loss": 0.65, |
| "step": 373 |
| }, |
| { |
| "epoch": 0.3989333333333333, |
| "grad_norm": 0.5754902958869934, |
| "learning_rate": 4.863853692766432e-06, |
| "loss": 0.6035, |
| "step": 374 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 0.595014750957489, |
| "learning_rate": 4.862915342520606e-06, |
| "loss": 0.6151, |
| "step": 375 |
| }, |
| { |
| "epoch": 0.4010666666666667, |
| "grad_norm": 0.6572543382644653, |
| "learning_rate": 4.861973860858622e-06, |
| "loss": 0.6329, |
| "step": 376 |
| }, |
| { |
| "epoch": 0.40213333333333334, |
| "grad_norm": 0.5982528328895569, |
| "learning_rate": 4.861029249028163e-06, |
| "loss": 0.5962, |
| "step": 377 |
| }, |
| { |
| "epoch": 0.4032, |
| "grad_norm": 0.578765869140625, |
| "learning_rate": 4.8600815082810605e-06, |
| "loss": 0.6042, |
| "step": 378 |
| }, |
| { |
| "epoch": 0.40426666666666666, |
| "grad_norm": 0.665203869342804, |
| "learning_rate": 4.859130639873293e-06, |
| "loss": 0.6842, |
| "step": 379 |
| }, |
| { |
| "epoch": 0.4053333333333333, |
| "grad_norm": 0.5822910070419312, |
| "learning_rate": 4.858176645064985e-06, |
| "loss": 0.5328, |
| "step": 380 |
| }, |
| { |
| "epoch": 0.4064, |
| "grad_norm": 0.6278824210166931, |
| "learning_rate": 4.857219525120401e-06, |
| "loss": 0.6042, |
| "step": 381 |
| }, |
| { |
| "epoch": 0.40746666666666664, |
| "grad_norm": 0.572611927986145, |
| "learning_rate": 4.856259281307951e-06, |
| "loss": 0.596, |
| "step": 382 |
| }, |
| { |
| "epoch": 0.40853333333333336, |
| "grad_norm": 0.6641197800636292, |
| "learning_rate": 4.855295914900182e-06, |
| "loss": 0.6492, |
| "step": 383 |
| }, |
| { |
| "epoch": 0.4096, |
| "grad_norm": 0.6087556481361389, |
| "learning_rate": 4.854329427173779e-06, |
| "loss": 0.659, |
| "step": 384 |
| }, |
| { |
| "epoch": 0.4106666666666667, |
| "grad_norm": 0.6128455400466919, |
| "learning_rate": 4.853359819409567e-06, |
| "loss": 0.6197, |
| "step": 385 |
| }, |
| { |
| "epoch": 0.41173333333333334, |
| "grad_norm": 0.6231691837310791, |
| "learning_rate": 4.852387092892501e-06, |
| "loss": 0.6203, |
| "step": 386 |
| }, |
| { |
| "epoch": 0.4128, |
| "grad_norm": 0.6040841937065125, |
| "learning_rate": 4.851411248911673e-06, |
| "loss": 0.6044, |
| "step": 387 |
| }, |
| { |
| "epoch": 0.41386666666666666, |
| "grad_norm": 0.5762168169021606, |
| "learning_rate": 4.850432288760305e-06, |
| "loss": 0.6365, |
| "step": 388 |
| }, |
| { |
| "epoch": 0.4149333333333333, |
| "grad_norm": 0.5995022058486938, |
| "learning_rate": 4.849450213735747e-06, |
| "loss": 0.6319, |
| "step": 389 |
| }, |
| { |
| "epoch": 0.416, |
| "grad_norm": 0.6166043281555176, |
| "learning_rate": 4.848465025139479e-06, |
| "loss": 0.6432, |
| "step": 390 |
| }, |
| { |
| "epoch": 0.41706666666666664, |
| "grad_norm": 0.5812424421310425, |
| "learning_rate": 4.847476724277107e-06, |
| "loss": 0.6068, |
| "step": 391 |
| }, |
| { |
| "epoch": 0.41813333333333336, |
| "grad_norm": 0.6298794746398926, |
| "learning_rate": 4.84648531245836e-06, |
| "loss": 0.6645, |
| "step": 392 |
| }, |
| { |
| "epoch": 0.4192, |
| "grad_norm": 0.6683804392814636, |
| "learning_rate": 4.845490790997093e-06, |
| "loss": 0.6803, |
| "step": 393 |
| }, |
| { |
| "epoch": 0.4202666666666667, |
| "grad_norm": 0.6388056874275208, |
| "learning_rate": 4.844493161211277e-06, |
| "loss": 0.6395, |
| "step": 394 |
| }, |
| { |
| "epoch": 0.42133333333333334, |
| "grad_norm": 0.638214647769928, |
| "learning_rate": 4.843492424423007e-06, |
| "loss": 0.6852, |
| "step": 395 |
| }, |
| { |
| "epoch": 0.4224, |
| "grad_norm": 0.5727797150611877, |
| "learning_rate": 4.842488581958493e-06, |
| "loss": 0.5915, |
| "step": 396 |
| }, |
| { |
| "epoch": 0.42346666666666666, |
| "grad_norm": 0.5715830326080322, |
| "learning_rate": 4.841481635148062e-06, |
| "loss": 0.5863, |
| "step": 397 |
| }, |
| { |
| "epoch": 0.4245333333333333, |
| "grad_norm": 0.6514164805412292, |
| "learning_rate": 4.840471585326153e-06, |
| "loss": 0.5834, |
| "step": 398 |
| }, |
| { |
| "epoch": 0.4256, |
| "grad_norm": 0.6230443120002747, |
| "learning_rate": 4.83945843383132e-06, |
| "loss": 0.616, |
| "step": 399 |
| }, |
| { |
| "epoch": 0.4266666666666667, |
| "grad_norm": 0.6301071047782898, |
| "learning_rate": 4.838442182006224e-06, |
| "loss": 0.6226, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.42773333333333335, |
| "grad_norm": 0.640888512134552, |
| "learning_rate": 4.837422831197639e-06, |
| "loss": 0.6105, |
| "step": 401 |
| }, |
| { |
| "epoch": 0.4288, |
| "grad_norm": 0.6074056029319763, |
| "learning_rate": 4.836400382756442e-06, |
| "loss": 0.6041, |
| "step": 402 |
| }, |
| { |
| "epoch": 0.4298666666666667, |
| "grad_norm": 0.6404791474342346, |
| "learning_rate": 4.8353748380376175e-06, |
| "loss": 0.5859, |
| "step": 403 |
| }, |
| { |
| "epoch": 0.43093333333333333, |
| "grad_norm": 0.7058281302452087, |
| "learning_rate": 4.8343461984002516e-06, |
| "loss": 0.5997, |
| "step": 404 |
| }, |
| { |
| "epoch": 0.432, |
| "grad_norm": 0.5944395661354065, |
| "learning_rate": 4.8333144652075335e-06, |
| "loss": 0.5805, |
| "step": 405 |
| }, |
| { |
| "epoch": 0.43306666666666666, |
| "grad_norm": 0.6783080697059631, |
| "learning_rate": 4.8322796398267506e-06, |
| "loss": 0.6279, |
| "step": 406 |
| }, |
| { |
| "epoch": 0.4341333333333333, |
| "grad_norm": 0.7226743102073669, |
| "learning_rate": 4.831241723629288e-06, |
| "loss": 0.7177, |
| "step": 407 |
| }, |
| { |
| "epoch": 0.4352, |
| "grad_norm": 0.5515469908714294, |
| "learning_rate": 4.83020071799063e-06, |
| "loss": 0.6056, |
| "step": 408 |
| }, |
| { |
| "epoch": 0.4362666666666667, |
| "grad_norm": 0.6173730492591858, |
| "learning_rate": 4.829156624290352e-06, |
| "loss": 0.6108, |
| "step": 409 |
| }, |
| { |
| "epoch": 0.43733333333333335, |
| "grad_norm": 0.596896231174469, |
| "learning_rate": 4.8281094439121215e-06, |
| "loss": 0.5202, |
| "step": 410 |
| }, |
| { |
| "epoch": 0.4384, |
| "grad_norm": 0.5915566682815552, |
| "learning_rate": 4.8270591782437e-06, |
| "loss": 0.5777, |
| "step": 411 |
| }, |
| { |
| "epoch": 0.43946666666666667, |
| "grad_norm": 0.6043774485588074, |
| "learning_rate": 4.826005828676931e-06, |
| "loss": 0.6096, |
| "step": 412 |
| }, |
| { |
| "epoch": 0.44053333333333333, |
| "grad_norm": 0.7036218047142029, |
| "learning_rate": 4.824949396607756e-06, |
| "loss": 0.7042, |
| "step": 413 |
| }, |
| { |
| "epoch": 0.4416, |
| "grad_norm": 0.5874921083450317, |
| "learning_rate": 4.8238898834361884e-06, |
| "loss": 0.648, |
| "step": 414 |
| }, |
| { |
| "epoch": 0.44266666666666665, |
| "grad_norm": 0.5833300948143005, |
| "learning_rate": 4.822827290566335e-06, |
| "loss": 0.5531, |
| "step": 415 |
| }, |
| { |
| "epoch": 0.4437333333333333, |
| "grad_norm": 0.6393194794654846, |
| "learning_rate": 4.821761619406378e-06, |
| "loss": 0.6867, |
| "step": 416 |
| }, |
| { |
| "epoch": 0.4448, |
| "grad_norm": 0.6127629280090332, |
| "learning_rate": 4.820692871368585e-06, |
| "loss": 0.6173, |
| "step": 417 |
| }, |
| { |
| "epoch": 0.4458666666666667, |
| "grad_norm": 0.6388437151908875, |
| "learning_rate": 4.819621047869293e-06, |
| "loss": 0.6528, |
| "step": 418 |
| }, |
| { |
| "epoch": 0.44693333333333335, |
| "grad_norm": 0.5839512348175049, |
| "learning_rate": 4.818546150328922e-06, |
| "loss": 0.6273, |
| "step": 419 |
| }, |
| { |
| "epoch": 0.448, |
| "grad_norm": 0.5715600848197937, |
| "learning_rate": 4.8174681801719615e-06, |
| "loss": 0.5855, |
| "step": 420 |
| }, |
| { |
| "epoch": 0.44906666666666667, |
| "grad_norm": 0.6014574766159058, |
| "learning_rate": 4.816387138826975e-06, |
| "loss": 0.633, |
| "step": 421 |
| }, |
| { |
| "epoch": 0.45013333333333333, |
| "grad_norm": 0.6036352515220642, |
| "learning_rate": 4.815303027726595e-06, |
| "loss": 0.6442, |
| "step": 422 |
| }, |
| { |
| "epoch": 0.4512, |
| "grad_norm": 0.6178746819496155, |
| "learning_rate": 4.814215848307524e-06, |
| "loss": 0.6441, |
| "step": 423 |
| }, |
| { |
| "epoch": 0.45226666666666665, |
| "grad_norm": 0.6130580306053162, |
| "learning_rate": 4.813125602010527e-06, |
| "loss": 0.626, |
| "step": 424 |
| }, |
| { |
| "epoch": 0.4533333333333333, |
| "grad_norm": 0.6255093216896057, |
| "learning_rate": 4.812032290280437e-06, |
| "loss": 0.6102, |
| "step": 425 |
| }, |
| { |
| "epoch": 0.4544, |
| "grad_norm": 0.6189607977867126, |
| "learning_rate": 4.810935914566148e-06, |
| "loss": 0.6212, |
| "step": 426 |
| }, |
| { |
| "epoch": 0.4554666666666667, |
| "grad_norm": 0.5386304259300232, |
| "learning_rate": 4.809836476320615e-06, |
| "loss": 0.5632, |
| "step": 427 |
| }, |
| { |
| "epoch": 0.45653333333333335, |
| "grad_norm": 0.5640906691551208, |
| "learning_rate": 4.80873397700085e-06, |
| "loss": 0.5386, |
| "step": 428 |
| }, |
| { |
| "epoch": 0.4576, |
| "grad_norm": 0.5749167799949646, |
| "learning_rate": 4.807628418067924e-06, |
| "loss": 0.6233, |
| "step": 429 |
| }, |
| { |
| "epoch": 0.45866666666666667, |
| "grad_norm": 0.645693302154541, |
| "learning_rate": 4.8065198009869606e-06, |
| "loss": 0.6353, |
| "step": 430 |
| }, |
| { |
| "epoch": 0.4597333333333333, |
| "grad_norm": 0.6835891008377075, |
| "learning_rate": 4.805408127227137e-06, |
| "loss": 0.7023, |
| "step": 431 |
| }, |
| { |
| "epoch": 0.4608, |
| "grad_norm": 0.6253502368927002, |
| "learning_rate": 4.804293398261682e-06, |
| "loss": 0.6352, |
| "step": 432 |
| }, |
| { |
| "epoch": 0.46186666666666665, |
| "grad_norm": 0.5692882537841797, |
| "learning_rate": 4.803175615567872e-06, |
| "loss": 0.547, |
| "step": 433 |
| }, |
| { |
| "epoch": 0.4629333333333333, |
| "grad_norm": 0.6294782161712646, |
| "learning_rate": 4.8020547806270306e-06, |
| "loss": 0.6061, |
| "step": 434 |
| }, |
| { |
| "epoch": 0.464, |
| "grad_norm": 0.5851484537124634, |
| "learning_rate": 4.800930894924527e-06, |
| "loss": 0.5706, |
| "step": 435 |
| }, |
| { |
| "epoch": 0.4650666666666667, |
| "grad_norm": 0.6211123466491699, |
| "learning_rate": 4.799803959949773e-06, |
| "loss": 0.6564, |
| "step": 436 |
| }, |
| { |
| "epoch": 0.46613333333333334, |
| "grad_norm": 0.5770750045776367, |
| "learning_rate": 4.798673977196221e-06, |
| "loss": 0.5709, |
| "step": 437 |
| }, |
| { |
| "epoch": 0.4672, |
| "grad_norm": 0.6148988008499146, |
| "learning_rate": 4.797540948161363e-06, |
| "loss": 0.6217, |
| "step": 438 |
| }, |
| { |
| "epoch": 0.46826666666666666, |
| "grad_norm": 0.6477574110031128, |
| "learning_rate": 4.796404874346727e-06, |
| "loss": 0.7014, |
| "step": 439 |
| }, |
| { |
| "epoch": 0.4693333333333333, |
| "grad_norm": 0.6236480474472046, |
| "learning_rate": 4.795265757257879e-06, |
| "loss": 0.6501, |
| "step": 440 |
| }, |
| { |
| "epoch": 0.4704, |
| "grad_norm": 0.6011667847633362, |
| "learning_rate": 4.794123598404413e-06, |
| "loss": 0.6458, |
| "step": 441 |
| }, |
| { |
| "epoch": 0.47146666666666665, |
| "grad_norm": 0.612973153591156, |
| "learning_rate": 4.7929783992999596e-06, |
| "loss": 0.6448, |
| "step": 442 |
| }, |
| { |
| "epoch": 0.47253333333333336, |
| "grad_norm": 0.6520044803619385, |
| "learning_rate": 4.791830161462173e-06, |
| "loss": 0.6803, |
| "step": 443 |
| }, |
| { |
| "epoch": 0.4736, |
| "grad_norm": 0.6207833886146545, |
| "learning_rate": 4.790678886412741e-06, |
| "loss": 0.5927, |
| "step": 444 |
| }, |
| { |
| "epoch": 0.4746666666666667, |
| "grad_norm": 0.6449158191680908, |
| "learning_rate": 4.789524575677369e-06, |
| "loss": 0.5998, |
| "step": 445 |
| }, |
| { |
| "epoch": 0.47573333333333334, |
| "grad_norm": 0.6006563901901245, |
| "learning_rate": 4.78836723078579e-06, |
| "loss": 0.5843, |
| "step": 446 |
| }, |
| { |
| "epoch": 0.4768, |
| "grad_norm": 0.687724769115448, |
| "learning_rate": 4.7872068532717585e-06, |
| "loss": 0.6891, |
| "step": 447 |
| }, |
| { |
| "epoch": 0.47786666666666666, |
| "grad_norm": 0.6384672522544861, |
| "learning_rate": 4.786043444673045e-06, |
| "loss": 0.6132, |
| "step": 448 |
| }, |
| { |
| "epoch": 0.4789333333333333, |
| "grad_norm": 0.5960268974304199, |
| "learning_rate": 4.784877006531439e-06, |
| "loss": 0.6054, |
| "step": 449 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 0.6720285415649414, |
| "learning_rate": 4.783707540392743e-06, |
| "loss": 0.696, |
| "step": 450 |
| }, |
| { |
| "epoch": 0.48106666666666664, |
| "grad_norm": 0.6899218559265137, |
| "learning_rate": 4.782535047806775e-06, |
| "loss": 0.6686, |
| "step": 451 |
| }, |
| { |
| "epoch": 0.48213333333333336, |
| "grad_norm": 0.6242839694023132, |
| "learning_rate": 4.781359530327362e-06, |
| "loss": 0.6203, |
| "step": 452 |
| }, |
| { |
| "epoch": 0.4832, |
| "grad_norm": 0.5929518342018127, |
| "learning_rate": 4.780180989512339e-06, |
| "loss": 0.6627, |
| "step": 453 |
| }, |
| { |
| "epoch": 0.4842666666666667, |
| "grad_norm": 0.6084147691726685, |
| "learning_rate": 4.778999426923549e-06, |
| "loss": 0.6147, |
| "step": 454 |
| }, |
| { |
| "epoch": 0.48533333333333334, |
| "grad_norm": 0.6080532670021057, |
| "learning_rate": 4.77781484412684e-06, |
| "loss": 0.6252, |
| "step": 455 |
| }, |
| { |
| "epoch": 0.4864, |
| "grad_norm": 0.6034124493598938, |
| "learning_rate": 4.77662724269206e-06, |
| "loss": 0.6074, |
| "step": 456 |
| }, |
| { |
| "epoch": 0.48746666666666666, |
| "grad_norm": 0.5750753879547119, |
| "learning_rate": 4.775436624193061e-06, |
| "loss": 0.5996, |
| "step": 457 |
| }, |
| { |
| "epoch": 0.4885333333333333, |
| "grad_norm": 0.5886911153793335, |
| "learning_rate": 4.774242990207689e-06, |
| "loss": 0.6087, |
| "step": 458 |
| }, |
| { |
| "epoch": 0.4896, |
| "grad_norm": 0.5647364258766174, |
| "learning_rate": 4.77304634231779e-06, |
| "loss": 0.6123, |
| "step": 459 |
| }, |
| { |
| "epoch": 0.49066666666666664, |
| "grad_norm": 0.6324787139892578, |
| "learning_rate": 4.771846682109203e-06, |
| "loss": 0.66, |
| "step": 460 |
| }, |
| { |
| "epoch": 0.49173333333333336, |
| "grad_norm": 0.575066089630127, |
| "learning_rate": 4.770644011171758e-06, |
| "loss": 0.6167, |
| "step": 461 |
| }, |
| { |
| "epoch": 0.4928, |
| "grad_norm": 0.5502923727035522, |
| "learning_rate": 4.7694383310992755e-06, |
| "loss": 0.5699, |
| "step": 462 |
| }, |
| { |
| "epoch": 0.4938666666666667, |
| "grad_norm": 0.5926790833473206, |
| "learning_rate": 4.7682296434895634e-06, |
| "loss": 0.6145, |
| "step": 463 |
| }, |
| { |
| "epoch": 0.49493333333333334, |
| "grad_norm": 0.6054263710975647, |
| "learning_rate": 4.767017949944418e-06, |
| "loss": 0.5882, |
| "step": 464 |
| }, |
| { |
| "epoch": 0.496, |
| "grad_norm": 0.5817866921424866, |
| "learning_rate": 4.765803252069615e-06, |
| "loss": 0.6305, |
| "step": 465 |
| }, |
| { |
| "epoch": 0.49706666666666666, |
| "grad_norm": 0.5888158679008484, |
| "learning_rate": 4.764585551474914e-06, |
| "loss": 0.5967, |
| "step": 466 |
| }, |
| { |
| "epoch": 0.4981333333333333, |
| "grad_norm": 0.5797093510627747, |
| "learning_rate": 4.763364849774053e-06, |
| "loss": 0.6255, |
| "step": 467 |
| }, |
| { |
| "epoch": 0.4992, |
| "grad_norm": 0.5925189852714539, |
| "learning_rate": 4.7621411485847495e-06, |
| "loss": 0.6378, |
| "step": 468 |
| }, |
| { |
| "epoch": 0.5002666666666666, |
| "grad_norm": 0.6369298100471497, |
| "learning_rate": 4.7609144495286915e-06, |
| "loss": 0.6391, |
| "step": 469 |
| }, |
| { |
| "epoch": 0.5013333333333333, |
| "grad_norm": 0.5904714465141296, |
| "learning_rate": 4.759684754231545e-06, |
| "loss": 0.5885, |
| "step": 470 |
| }, |
| { |
| "epoch": 0.5024, |
| "grad_norm": 0.5584716200828552, |
| "learning_rate": 4.758452064322942e-06, |
| "loss": 0.5834, |
| "step": 471 |
| }, |
| { |
| "epoch": 0.5034666666666666, |
| "grad_norm": 0.6332317590713501, |
| "learning_rate": 4.757216381436487e-06, |
| "loss": 0.6388, |
| "step": 472 |
| }, |
| { |
| "epoch": 0.5045333333333333, |
| "grad_norm": 0.6089542508125305, |
| "learning_rate": 4.755977707209748e-06, |
| "loss": 0.6379, |
| "step": 473 |
| }, |
| { |
| "epoch": 0.5056, |
| "grad_norm": 0.6104575395584106, |
| "learning_rate": 4.754736043284259e-06, |
| "loss": 0.6604, |
| "step": 474 |
| }, |
| { |
| "epoch": 0.5066666666666667, |
| "grad_norm": 0.687782883644104, |
| "learning_rate": 4.7534913913055156e-06, |
| "loss": 0.7409, |
| "step": 475 |
| }, |
| { |
| "epoch": 0.5077333333333334, |
| "grad_norm": 0.540304958820343, |
| "learning_rate": 4.752243752922973e-06, |
| "loss": 0.5667, |
| "step": 476 |
| }, |
| { |
| "epoch": 0.5088, |
| "grad_norm": 0.5895708203315735, |
| "learning_rate": 4.7509931297900444e-06, |
| "loss": 0.6059, |
| "step": 477 |
| }, |
| { |
| "epoch": 0.5098666666666667, |
| "grad_norm": 0.5945648550987244, |
| "learning_rate": 4.749739523564098e-06, |
| "loss": 0.6191, |
| "step": 478 |
| }, |
| { |
| "epoch": 0.5109333333333334, |
| "grad_norm": 0.5570189952850342, |
| "learning_rate": 4.748482935906456e-06, |
| "loss": 0.57, |
| "step": 479 |
| }, |
| { |
| "epoch": 0.512, |
| "grad_norm": 0.5762370824813843, |
| "learning_rate": 4.74722336848239e-06, |
| "loss": 0.6199, |
| "step": 480 |
| }, |
| { |
| "epoch": 0.5130666666666667, |
| "grad_norm": 0.6282486915588379, |
| "learning_rate": 4.7459608229611236e-06, |
| "loss": 0.5937, |
| "step": 481 |
| }, |
| { |
| "epoch": 0.5141333333333333, |
| "grad_norm": 0.5871881246566772, |
| "learning_rate": 4.744695301015823e-06, |
| "loss": 0.5968, |
| "step": 482 |
| }, |
| { |
| "epoch": 0.5152, |
| "grad_norm": 0.5988528728485107, |
| "learning_rate": 4.7434268043236034e-06, |
| "loss": 0.6083, |
| "step": 483 |
| }, |
| { |
| "epoch": 0.5162666666666667, |
| "grad_norm": 0.6470425128936768, |
| "learning_rate": 4.74215533456552e-06, |
| "loss": 0.6267, |
| "step": 484 |
| }, |
| { |
| "epoch": 0.5173333333333333, |
| "grad_norm": 0.5777196884155273, |
| "learning_rate": 4.740880893426566e-06, |
| "loss": 0.5762, |
| "step": 485 |
| }, |
| { |
| "epoch": 0.5184, |
| "grad_norm": 0.6144599318504333, |
| "learning_rate": 4.739603482595676e-06, |
| "loss": 0.5818, |
| "step": 486 |
| }, |
| { |
| "epoch": 0.5194666666666666, |
| "grad_norm": 0.6376152634620667, |
| "learning_rate": 4.738323103765718e-06, |
| "loss": 0.6614, |
| "step": 487 |
| }, |
| { |
| "epoch": 0.5205333333333333, |
| "grad_norm": 0.6899168491363525, |
| "learning_rate": 4.7370397586334935e-06, |
| "loss": 0.6182, |
| "step": 488 |
| }, |
| { |
| "epoch": 0.5216, |
| "grad_norm": 0.6371681690216064, |
| "learning_rate": 4.7357534488997355e-06, |
| "loss": 0.6054, |
| "step": 489 |
| }, |
| { |
| "epoch": 0.5226666666666666, |
| "grad_norm": 0.5293333530426025, |
| "learning_rate": 4.7344641762691056e-06, |
| "loss": 0.5576, |
| "step": 490 |
| }, |
| { |
| "epoch": 0.5237333333333334, |
| "grad_norm": 0.5872089862823486, |
| "learning_rate": 4.733171942450192e-06, |
| "loss": 0.583, |
| "step": 491 |
| }, |
| { |
| "epoch": 0.5248, |
| "grad_norm": 0.6644601225852966, |
| "learning_rate": 4.731876749155507e-06, |
| "loss": 0.6144, |
| "step": 492 |
| }, |
| { |
| "epoch": 0.5258666666666667, |
| "grad_norm": 0.5726211071014404, |
| "learning_rate": 4.730578598101486e-06, |
| "loss": 0.5305, |
| "step": 493 |
| }, |
| { |
| "epoch": 0.5269333333333334, |
| "grad_norm": 0.6074063777923584, |
| "learning_rate": 4.729277491008482e-06, |
| "loss": 0.6255, |
| "step": 494 |
| }, |
| { |
| "epoch": 0.528, |
| "grad_norm": 0.6119967699050903, |
| "learning_rate": 4.727973429600766e-06, |
| "loss": 0.6187, |
| "step": 495 |
| }, |
| { |
| "epoch": 0.5290666666666667, |
| "grad_norm": 0.552763044834137, |
| "learning_rate": 4.726666415606526e-06, |
| "loss": 0.535, |
| "step": 496 |
| }, |
| { |
| "epoch": 0.5301333333333333, |
| "grad_norm": 0.6003803014755249, |
| "learning_rate": 4.725356450757862e-06, |
| "loss": 0.5902, |
| "step": 497 |
| }, |
| { |
| "epoch": 0.5312, |
| "grad_norm": 0.5872358083724976, |
| "learning_rate": 4.724043536790782e-06, |
| "loss": 0.5672, |
| "step": 498 |
| }, |
| { |
| "epoch": 0.5322666666666667, |
| "grad_norm": 0.536277174949646, |
| "learning_rate": 4.722727675445207e-06, |
| "loss": 0.5728, |
| "step": 499 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 0.5266653895378113, |
| "learning_rate": 4.72140886846496e-06, |
| "loss": 0.5535, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.5344, |
| "grad_norm": 0.5693493485450745, |
| "learning_rate": 4.7200871175977695e-06, |
| "loss": 0.564, |
| "step": 501 |
| }, |
| { |
| "epoch": 0.5354666666666666, |
| "grad_norm": 0.5780934691429138, |
| "learning_rate": 4.718762424595263e-06, |
| "loss": 0.5895, |
| "step": 502 |
| }, |
| { |
| "epoch": 0.5365333333333333, |
| "grad_norm": 0.5788530707359314, |
| "learning_rate": 4.7174347912129725e-06, |
| "loss": 0.583, |
| "step": 503 |
| }, |
| { |
| "epoch": 0.5376, |
| "grad_norm": 0.6269481778144836, |
| "learning_rate": 4.7161042192103215e-06, |
| "loss": 0.5905, |
| "step": 504 |
| }, |
| { |
| "epoch": 0.5386666666666666, |
| "grad_norm": 0.6489405632019043, |
| "learning_rate": 4.7147707103506284e-06, |
| "loss": 0.6266, |
| "step": 505 |
| }, |
| { |
| "epoch": 0.5397333333333333, |
| "grad_norm": 0.5784042477607727, |
| "learning_rate": 4.7134342664011066e-06, |
| "loss": 0.6039, |
| "step": 506 |
| }, |
| { |
| "epoch": 0.5408, |
| "grad_norm": 0.5466086864471436, |
| "learning_rate": 4.712094889132855e-06, |
| "loss": 0.5614, |
| "step": 507 |
| }, |
| { |
| "epoch": 0.5418666666666667, |
| "grad_norm": 0.5435602068901062, |
| "learning_rate": 4.710752580320864e-06, |
| "loss": 0.6046, |
| "step": 508 |
| }, |
| { |
| "epoch": 0.5429333333333334, |
| "grad_norm": 0.5960467457771301, |
| "learning_rate": 4.709407341744007e-06, |
| "loss": 0.5851, |
| "step": 509 |
| }, |
| { |
| "epoch": 0.544, |
| "grad_norm": 0.6057007312774658, |
| "learning_rate": 4.708059175185039e-06, |
| "loss": 0.59, |
| "step": 510 |
| }, |
| { |
| "epoch": 0.5450666666666667, |
| "grad_norm": 0.6069756746292114, |
| "learning_rate": 4.706708082430597e-06, |
| "loss": 0.6137, |
| "step": 511 |
| }, |
| { |
| "epoch": 0.5461333333333334, |
| "grad_norm": 0.5730114579200745, |
| "learning_rate": 4.705354065271197e-06, |
| "loss": 0.6275, |
| "step": 512 |
| }, |
| { |
| "epoch": 0.5472, |
| "grad_norm": 0.561038613319397, |
| "learning_rate": 4.703997125501225e-06, |
| "loss": 0.5845, |
| "step": 513 |
| }, |
| { |
| "epoch": 0.5482666666666667, |
| "grad_norm": 0.6208556294441223, |
| "learning_rate": 4.702637264918948e-06, |
| "loss": 0.656, |
| "step": 514 |
| }, |
| { |
| "epoch": 0.5493333333333333, |
| "grad_norm": 0.6386368274688721, |
| "learning_rate": 4.701274485326496e-06, |
| "loss": 0.61, |
| "step": 515 |
| }, |
| { |
| "epoch": 0.5504, |
| "grad_norm": 0.6227326989173889, |
| "learning_rate": 4.699908788529874e-06, |
| "loss": 0.6472, |
| "step": 516 |
| }, |
| { |
| "epoch": 0.5514666666666667, |
| "grad_norm": 0.6626928448677063, |
| "learning_rate": 4.698540176338949e-06, |
| "loss": 0.6766, |
| "step": 517 |
| }, |
| { |
| "epoch": 0.5525333333333333, |
| "grad_norm": 0.6136627197265625, |
| "learning_rate": 4.697168650567452e-06, |
| "loss": 0.6176, |
| "step": 518 |
| }, |
| { |
| "epoch": 0.5536, |
| "grad_norm": 0.6682325005531311, |
| "learning_rate": 4.695794213032977e-06, |
| "loss": 0.6118, |
| "step": 519 |
| }, |
| { |
| "epoch": 0.5546666666666666, |
| "grad_norm": 0.6289040446281433, |
| "learning_rate": 4.694416865556975e-06, |
| "loss": 0.6336, |
| "step": 520 |
| }, |
| { |
| "epoch": 0.5557333333333333, |
| "grad_norm": 0.5783531665802002, |
| "learning_rate": 4.693036609964754e-06, |
| "loss": 0.6496, |
| "step": 521 |
| }, |
| { |
| "epoch": 0.5568, |
| "grad_norm": 0.5765947699546814, |
| "learning_rate": 4.691653448085476e-06, |
| "loss": 0.582, |
| "step": 522 |
| }, |
| { |
| "epoch": 0.5578666666666666, |
| "grad_norm": 0.606831967830658, |
| "learning_rate": 4.690267381752153e-06, |
| "loss": 0.558, |
| "step": 523 |
| }, |
| { |
| "epoch": 0.5589333333333333, |
| "grad_norm": 0.610277533531189, |
| "learning_rate": 4.68887841280165e-06, |
| "loss": 0.5826, |
| "step": 524 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 0.6619186401367188, |
| "learning_rate": 4.687486543074675e-06, |
| "loss": 0.6804, |
| "step": 525 |
| }, |
| { |
| "epoch": 0.5610666666666667, |
| "grad_norm": 0.5690367221832275, |
| "learning_rate": 4.6860917744157804e-06, |
| "loss": 0.6014, |
| "step": 526 |
| }, |
| { |
| "epoch": 0.5621333333333334, |
| "grad_norm": 0.5943863391876221, |
| "learning_rate": 4.684694108673362e-06, |
| "loss": 0.5882, |
| "step": 527 |
| }, |
| { |
| "epoch": 0.5632, |
| "grad_norm": 0.6730422973632812, |
| "learning_rate": 4.683293547699655e-06, |
| "loss": 0.6642, |
| "step": 528 |
| }, |
| { |
| "epoch": 0.5642666666666667, |
| "grad_norm": 0.6663715243339539, |
| "learning_rate": 4.68189009335073e-06, |
| "loss": 0.6475, |
| "step": 529 |
| }, |
| { |
| "epoch": 0.5653333333333334, |
| "grad_norm": 0.5895207524299622, |
| "learning_rate": 4.680483747486492e-06, |
| "loss": 0.5849, |
| "step": 530 |
| }, |
| { |
| "epoch": 0.5664, |
| "grad_norm": 0.6676821708679199, |
| "learning_rate": 4.679074511970679e-06, |
| "loss": 0.645, |
| "step": 531 |
| }, |
| { |
| "epoch": 0.5674666666666667, |
| "grad_norm": 0.5877640247344971, |
| "learning_rate": 4.677662388670858e-06, |
| "loss": 0.5846, |
| "step": 532 |
| }, |
| { |
| "epoch": 0.5685333333333333, |
| "grad_norm": 0.6326382160186768, |
| "learning_rate": 4.676247379458424e-06, |
| "loss": 0.6693, |
| "step": 533 |
| }, |
| { |
| "epoch": 0.5696, |
| "grad_norm": 0.622182309627533, |
| "learning_rate": 4.674829486208595e-06, |
| "loss": 0.6087, |
| "step": 534 |
| }, |
| { |
| "epoch": 0.5706666666666667, |
| "grad_norm": 0.6631737351417542, |
| "learning_rate": 4.67340871080041e-06, |
| "loss": 0.6682, |
| "step": 535 |
| }, |
| { |
| "epoch": 0.5717333333333333, |
| "grad_norm": 0.5950546264648438, |
| "learning_rate": 4.671985055116732e-06, |
| "loss": 0.6063, |
| "step": 536 |
| }, |
| { |
| "epoch": 0.5728, |
| "grad_norm": 0.5871408581733704, |
| "learning_rate": 4.670558521044237e-06, |
| "loss": 0.6729, |
| "step": 537 |
| }, |
| { |
| "epoch": 0.5738666666666666, |
| "grad_norm": 0.5698063969612122, |
| "learning_rate": 4.669129110473416e-06, |
| "loss": 0.576, |
| "step": 538 |
| }, |
| { |
| "epoch": 0.5749333333333333, |
| "grad_norm": 0.6735860705375671, |
| "learning_rate": 4.667696825298572e-06, |
| "loss": 0.6692, |
| "step": 539 |
| }, |
| { |
| "epoch": 0.576, |
| "grad_norm": 0.6418671011924744, |
| "learning_rate": 4.666261667417821e-06, |
| "loss": 0.6008, |
| "step": 540 |
| }, |
| { |
| "epoch": 0.5770666666666666, |
| "grad_norm": 0.6123111248016357, |
| "learning_rate": 4.664823638733081e-06, |
| "loss": 0.5891, |
| "step": 541 |
| }, |
| { |
| "epoch": 0.5781333333333334, |
| "grad_norm": 0.6036990284919739, |
| "learning_rate": 4.663382741150077e-06, |
| "loss": 0.5786, |
| "step": 542 |
| }, |
| { |
| "epoch": 0.5792, |
| "grad_norm": 0.5836086273193359, |
| "learning_rate": 4.661938976578337e-06, |
| "loss": 0.5861, |
| "step": 543 |
| }, |
| { |
| "epoch": 0.5802666666666667, |
| "grad_norm": 0.6482841372489929, |
| "learning_rate": 4.660492346931186e-06, |
| "loss": 0.623, |
| "step": 544 |
| }, |
| { |
| "epoch": 0.5813333333333334, |
| "grad_norm": 0.6036791205406189, |
| "learning_rate": 4.659042854125747e-06, |
| "loss": 0.5827, |
| "step": 545 |
| }, |
| { |
| "epoch": 0.5824, |
| "grad_norm": 0.5864742398262024, |
| "learning_rate": 4.657590500082939e-06, |
| "loss": 0.5912, |
| "step": 546 |
| }, |
| { |
| "epoch": 0.5834666666666667, |
| "grad_norm": 0.5719034075737, |
| "learning_rate": 4.656135286727468e-06, |
| "loss": 0.5554, |
| "step": 547 |
| }, |
| { |
| "epoch": 0.5845333333333333, |
| "grad_norm": 0.642200231552124, |
| "learning_rate": 4.654677215987836e-06, |
| "loss": 0.6433, |
| "step": 548 |
| }, |
| { |
| "epoch": 0.5856, |
| "grad_norm": 0.6627729535102844, |
| "learning_rate": 4.653216289796326e-06, |
| "loss": 0.6048, |
| "step": 549 |
| }, |
| { |
| "epoch": 0.5866666666666667, |
| "grad_norm": 0.615558385848999, |
| "learning_rate": 4.651752510089008e-06, |
| "loss": 0.6335, |
| "step": 550 |
| }, |
| { |
| "epoch": 0.5877333333333333, |
| "grad_norm": 0.5590251684188843, |
| "learning_rate": 4.6502858788057325e-06, |
| "loss": 0.5429, |
| "step": 551 |
| }, |
| { |
| "epoch": 0.5888, |
| "grad_norm": 0.6588932871818542, |
| "learning_rate": 4.64881639789013e-06, |
| "loss": 0.6407, |
| "step": 552 |
| }, |
| { |
| "epoch": 0.5898666666666667, |
| "grad_norm": 0.6065369844436646, |
| "learning_rate": 4.6473440692896065e-06, |
| "loss": 0.643, |
| "step": 553 |
| }, |
| { |
| "epoch": 0.5909333333333333, |
| "grad_norm": 0.6486513614654541, |
| "learning_rate": 4.645868894955342e-06, |
| "loss": 0.6936, |
| "step": 554 |
| }, |
| { |
| "epoch": 0.592, |
| "grad_norm": 0.5697367787361145, |
| "learning_rate": 4.644390876842288e-06, |
| "loss": 0.6027, |
| "step": 555 |
| }, |
| { |
| "epoch": 0.5930666666666666, |
| "grad_norm": 0.6077702641487122, |
| "learning_rate": 4.642910016909165e-06, |
| "loss": 0.6411, |
| "step": 556 |
| }, |
| { |
| "epoch": 0.5941333333333333, |
| "grad_norm": 0.5879567861557007, |
| "learning_rate": 4.641426317118459e-06, |
| "loss": 0.5764, |
| "step": 557 |
| }, |
| { |
| "epoch": 0.5952, |
| "grad_norm": 0.6125138401985168, |
| "learning_rate": 4.63993977943642e-06, |
| "loss": 0.6055, |
| "step": 558 |
| }, |
| { |
| "epoch": 0.5962666666666666, |
| "grad_norm": 0.6460203528404236, |
| "learning_rate": 4.638450405833058e-06, |
| "loss": 0.6567, |
| "step": 559 |
| }, |
| { |
| "epoch": 0.5973333333333334, |
| "grad_norm": 0.596439003944397, |
| "learning_rate": 4.636958198282141e-06, |
| "loss": 0.6294, |
| "step": 560 |
| }, |
| { |
| "epoch": 0.5984, |
| "grad_norm": 0.6404560208320618, |
| "learning_rate": 4.635463158761195e-06, |
| "loss": 0.6677, |
| "step": 561 |
| }, |
| { |
| "epoch": 0.5994666666666667, |
| "grad_norm": 0.6068525910377502, |
| "learning_rate": 4.6339652892514966e-06, |
| "loss": 0.5594, |
| "step": 562 |
| }, |
| { |
| "epoch": 0.6005333333333334, |
| "grad_norm": 0.6066293120384216, |
| "learning_rate": 4.632464591738074e-06, |
| "loss": 0.6178, |
| "step": 563 |
| }, |
| { |
| "epoch": 0.6016, |
| "grad_norm": 0.5822814106941223, |
| "learning_rate": 4.6309610682097025e-06, |
| "loss": 0.6372, |
| "step": 564 |
| }, |
| { |
| "epoch": 0.6026666666666667, |
| "grad_norm": 0.611085057258606, |
| "learning_rate": 4.629454720658904e-06, |
| "loss": 0.6344, |
| "step": 565 |
| }, |
| { |
| "epoch": 0.6037333333333333, |
| "grad_norm": 0.6101945638656616, |
| "learning_rate": 4.62794555108194e-06, |
| "loss": 0.6259, |
| "step": 566 |
| }, |
| { |
| "epoch": 0.6048, |
| "grad_norm": 0.5678918957710266, |
| "learning_rate": 4.6264335614788146e-06, |
| "loss": 0.53, |
| "step": 567 |
| }, |
| { |
| "epoch": 0.6058666666666667, |
| "grad_norm": 0.6594523191452026, |
| "learning_rate": 4.624918753853268e-06, |
| "loss": 0.6829, |
| "step": 568 |
| }, |
| { |
| "epoch": 0.6069333333333333, |
| "grad_norm": 0.6083823442459106, |
| "learning_rate": 4.623401130212775e-06, |
| "loss": 0.5867, |
| "step": 569 |
| }, |
| { |
| "epoch": 0.608, |
| "grad_norm": 0.5760588645935059, |
| "learning_rate": 4.6218806925685425e-06, |
| "loss": 0.5532, |
| "step": 570 |
| }, |
| { |
| "epoch": 0.6090666666666666, |
| "grad_norm": 0.5899492502212524, |
| "learning_rate": 4.620357442935505e-06, |
| "loss": 0.5891, |
| "step": 571 |
| }, |
| { |
| "epoch": 0.6101333333333333, |
| "grad_norm": 0.651433527469635, |
| "learning_rate": 4.618831383332327e-06, |
| "loss": 0.5758, |
| "step": 572 |
| }, |
| { |
| "epoch": 0.6112, |
| "grad_norm": 0.6091398000717163, |
| "learning_rate": 4.6173025157813936e-06, |
| "loss": 0.6067, |
| "step": 573 |
| }, |
| { |
| "epoch": 0.6122666666666666, |
| "grad_norm": 0.5831539630889893, |
| "learning_rate": 4.615770842308814e-06, |
| "loss": 0.6495, |
| "step": 574 |
| }, |
| { |
| "epoch": 0.6133333333333333, |
| "grad_norm": 0.6487995386123657, |
| "learning_rate": 4.614236364944411e-06, |
| "loss": 0.6258, |
| "step": 575 |
| }, |
| { |
| "epoch": 0.6144, |
| "grad_norm": 0.6468432545661926, |
| "learning_rate": 4.612699085721729e-06, |
| "loss": 0.5562, |
| "step": 576 |
| }, |
| { |
| "epoch": 0.6154666666666667, |
| "grad_norm": 0.6319065093994141, |
| "learning_rate": 4.6111590066780225e-06, |
| "loss": 0.5958, |
| "step": 577 |
| }, |
| { |
| "epoch": 0.6165333333333334, |
| "grad_norm": 0.5837726593017578, |
| "learning_rate": 4.609616129854257e-06, |
| "loss": 0.5608, |
| "step": 578 |
| }, |
| { |
| "epoch": 0.6176, |
| "grad_norm": 0.6847442984580994, |
| "learning_rate": 4.608070457295105e-06, |
| "loss": 0.6445, |
| "step": 579 |
| }, |
| { |
| "epoch": 0.6186666666666667, |
| "grad_norm": 0.6101451516151428, |
| "learning_rate": 4.606521991048945e-06, |
| "loss": 0.5896, |
| "step": 580 |
| }, |
| { |
| "epoch": 0.6197333333333334, |
| "grad_norm": 0.6876742839813232, |
| "learning_rate": 4.604970733167857e-06, |
| "loss": 0.6532, |
| "step": 581 |
| }, |
| { |
| "epoch": 0.6208, |
| "grad_norm": 0.5982151627540588, |
| "learning_rate": 4.603416685707622e-06, |
| "loss": 0.5803, |
| "step": 582 |
| }, |
| { |
| "epoch": 0.6218666666666667, |
| "grad_norm": 0.6490232944488525, |
| "learning_rate": 4.6018598507277146e-06, |
| "loss": 0.6507, |
| "step": 583 |
| }, |
| { |
| "epoch": 0.6229333333333333, |
| "grad_norm": 0.651472270488739, |
| "learning_rate": 4.600300230291308e-06, |
| "loss": 0.6599, |
| "step": 584 |
| }, |
| { |
| "epoch": 0.624, |
| "grad_norm": 0.5513569116592407, |
| "learning_rate": 4.598737826465264e-06, |
| "loss": 0.5919, |
| "step": 585 |
| }, |
| { |
| "epoch": 0.6250666666666667, |
| "grad_norm": 0.6778193116188049, |
| "learning_rate": 4.597172641320133e-06, |
| "loss": 0.6916, |
| "step": 586 |
| }, |
| { |
| "epoch": 0.6261333333333333, |
| "grad_norm": 0.6551267504692078, |
| "learning_rate": 4.595604676930151e-06, |
| "loss": 0.6251, |
| "step": 587 |
| }, |
| { |
| "epoch": 0.6272, |
| "grad_norm": 0.6577136516571045, |
| "learning_rate": 4.59403393537324e-06, |
| "loss": 0.6411, |
| "step": 588 |
| }, |
| { |
| "epoch": 0.6282666666666666, |
| "grad_norm": 0.5586519241333008, |
| "learning_rate": 4.5924604187309995e-06, |
| "loss": 0.5238, |
| "step": 589 |
| }, |
| { |
| "epoch": 0.6293333333333333, |
| "grad_norm": 0.620701789855957, |
| "learning_rate": 4.590884129088707e-06, |
| "loss": 0.588, |
| "step": 590 |
| }, |
| { |
| "epoch": 0.6304, |
| "grad_norm": 0.6946352124214172, |
| "learning_rate": 4.589305068535316e-06, |
| "loss": 0.6795, |
| "step": 591 |
| }, |
| { |
| "epoch": 0.6314666666666666, |
| "grad_norm": 0.6922391653060913, |
| "learning_rate": 4.5877232391634505e-06, |
| "loss": 0.6004, |
| "step": 592 |
| }, |
| { |
| "epoch": 0.6325333333333333, |
| "grad_norm": 0.6643169522285461, |
| "learning_rate": 4.586138643069407e-06, |
| "loss": 0.6251, |
| "step": 593 |
| }, |
| { |
| "epoch": 0.6336, |
| "grad_norm": 0.6167647242546082, |
| "learning_rate": 4.584551282353144e-06, |
| "loss": 0.6032, |
| "step": 594 |
| }, |
| { |
| "epoch": 0.6346666666666667, |
| "grad_norm": 0.612909197807312, |
| "learning_rate": 4.582961159118288e-06, |
| "loss": 0.6241, |
| "step": 595 |
| }, |
| { |
| "epoch": 0.6357333333333334, |
| "grad_norm": 0.6283129453659058, |
| "learning_rate": 4.5813682754721236e-06, |
| "loss": 0.613, |
| "step": 596 |
| }, |
| { |
| "epoch": 0.6368, |
| "grad_norm": 0.5795093774795532, |
| "learning_rate": 4.579772633525596e-06, |
| "loss": 0.5564, |
| "step": 597 |
| }, |
| { |
| "epoch": 0.6378666666666667, |
| "grad_norm": 0.6937316060066223, |
| "learning_rate": 4.578174235393301e-06, |
| "loss": 0.631, |
| "step": 598 |
| }, |
| { |
| "epoch": 0.6389333333333334, |
| "grad_norm": 0.6075345277786255, |
| "learning_rate": 4.576573083193495e-06, |
| "loss": 0.6308, |
| "step": 599 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 0.6687782406806946, |
| "learning_rate": 4.574969179048076e-06, |
| "loss": 0.6143, |
| "step": 600 |
| }, |
| { |
| "epoch": 0.6410666666666667, |
| "grad_norm": 0.5971570611000061, |
| "learning_rate": 4.573362525082594e-06, |
| "loss": 0.6097, |
| "step": 601 |
| }, |
| { |
| "epoch": 0.6421333333333333, |
| "grad_norm": 0.6692882776260376, |
| "learning_rate": 4.5717531234262425e-06, |
| "loss": 0.6384, |
| "step": 602 |
| }, |
| { |
| "epoch": 0.6432, |
| "grad_norm": 0.6454700231552124, |
| "learning_rate": 4.570140976211854e-06, |
| "loss": 0.6282, |
| "step": 603 |
| }, |
| { |
| "epoch": 0.6442666666666667, |
| "grad_norm": 0.5656050443649292, |
| "learning_rate": 4.568526085575903e-06, |
| "loss": 0.5289, |
| "step": 604 |
| }, |
| { |
| "epoch": 0.6453333333333333, |
| "grad_norm": 0.6414498686790466, |
| "learning_rate": 4.566908453658496e-06, |
| "loss": 0.6449, |
| "step": 605 |
| }, |
| { |
| "epoch": 0.6464, |
| "grad_norm": 0.6192442178726196, |
| "learning_rate": 4.565288082603374e-06, |
| "loss": 0.5815, |
| "step": 606 |
| }, |
| { |
| "epoch": 0.6474666666666666, |
| "grad_norm": 0.5898687839508057, |
| "learning_rate": 4.5636649745579095e-06, |
| "loss": 0.6057, |
| "step": 607 |
| }, |
| { |
| "epoch": 0.6485333333333333, |
| "grad_norm": 0.6340996623039246, |
| "learning_rate": 4.562039131673101e-06, |
| "loss": 0.629, |
| "step": 608 |
| }, |
| { |
| "epoch": 0.6496, |
| "grad_norm": 0.6370675563812256, |
| "learning_rate": 4.560410556103569e-06, |
| "loss": 0.6833, |
| "step": 609 |
| }, |
| { |
| "epoch": 0.6506666666666666, |
| "grad_norm": 0.650817334651947, |
| "learning_rate": 4.5587792500075574e-06, |
| "loss": 0.5788, |
| "step": 610 |
| }, |
| { |
| "epoch": 0.6517333333333334, |
| "grad_norm": 0.6824094653129578, |
| "learning_rate": 4.557145215546932e-06, |
| "loss": 0.6153, |
| "step": 611 |
| }, |
| { |
| "epoch": 0.6528, |
| "grad_norm": 0.6595913171768188, |
| "learning_rate": 4.555508454887168e-06, |
| "loss": 0.6117, |
| "step": 612 |
| }, |
| { |
| "epoch": 0.6538666666666667, |
| "grad_norm": 0.5787853002548218, |
| "learning_rate": 4.553868970197358e-06, |
| "loss": 0.6182, |
| "step": 613 |
| }, |
| { |
| "epoch": 0.6549333333333334, |
| "grad_norm": 0.5896221995353699, |
| "learning_rate": 4.552226763650203e-06, |
| "loss": 0.6022, |
| "step": 614 |
| }, |
| { |
| "epoch": 0.656, |
| "grad_norm": 0.7050360441207886, |
| "learning_rate": 4.5505818374220115e-06, |
| "loss": 0.6103, |
| "step": 615 |
| }, |
| { |
| "epoch": 0.6570666666666667, |
| "grad_norm": 0.619540274143219, |
| "learning_rate": 4.548934193692694e-06, |
| "loss": 0.5969, |
| "step": 616 |
| }, |
| { |
| "epoch": 0.6581333333333333, |
| "grad_norm": 0.5326828956604004, |
| "learning_rate": 4.547283834645766e-06, |
| "loss": 0.6001, |
| "step": 617 |
| }, |
| { |
| "epoch": 0.6592, |
| "grad_norm": 0.5835014581680298, |
| "learning_rate": 4.54563076246834e-06, |
| "loss": 0.6104, |
| "step": 618 |
| }, |
| { |
| "epoch": 0.6602666666666667, |
| "grad_norm": 0.5600228309631348, |
| "learning_rate": 4.543974979351123e-06, |
| "loss": 0.5669, |
| "step": 619 |
| }, |
| { |
| "epoch": 0.6613333333333333, |
| "grad_norm": 0.6030709743499756, |
| "learning_rate": 4.542316487488416e-06, |
| "loss": 0.6252, |
| "step": 620 |
| }, |
| { |
| "epoch": 0.6624, |
| "grad_norm": 0.5701911449432373, |
| "learning_rate": 4.540655289078109e-06, |
| "loss": 0.6115, |
| "step": 621 |
| }, |
| { |
| "epoch": 0.6634666666666666, |
| "grad_norm": 0.5787457227706909, |
| "learning_rate": 4.538991386321678e-06, |
| "loss": 0.583, |
| "step": 622 |
| }, |
| { |
| "epoch": 0.6645333333333333, |
| "grad_norm": 0.5921309590339661, |
| "learning_rate": 4.537324781424184e-06, |
| "loss": 0.6064, |
| "step": 623 |
| }, |
| { |
| "epoch": 0.6656, |
| "grad_norm": 0.6044897437095642, |
| "learning_rate": 4.535655476594269e-06, |
| "loss": 0.6237, |
| "step": 624 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 0.5990356206893921, |
| "learning_rate": 4.533983474044153e-06, |
| "loss": 0.6386, |
| "step": 625 |
| }, |
| { |
| "epoch": 0.6677333333333333, |
| "grad_norm": 0.6282498240470886, |
| "learning_rate": 4.532308775989633e-06, |
| "loss": 0.6009, |
| "step": 626 |
| }, |
| { |
| "epoch": 0.6688, |
| "grad_norm": 0.5405251383781433, |
| "learning_rate": 4.5306313846500705e-06, |
| "loss": 0.5671, |
| "step": 627 |
| }, |
| { |
| "epoch": 0.6698666666666667, |
| "grad_norm": 0.6092672348022461, |
| "learning_rate": 4.5289513022484076e-06, |
| "loss": 0.599, |
| "step": 628 |
| }, |
| { |
| "epoch": 0.6709333333333334, |
| "grad_norm": 0.632253110408783, |
| "learning_rate": 4.527268531011143e-06, |
| "loss": 0.6025, |
| "step": 629 |
| }, |
| { |
| "epoch": 0.672, |
| "grad_norm": 0.6181769967079163, |
| "learning_rate": 4.525583073168345e-06, |
| "loss": 0.6037, |
| "step": 630 |
| }, |
| { |
| "epoch": 0.6730666666666667, |
| "grad_norm": 0.6004154682159424, |
| "learning_rate": 4.52389493095364e-06, |
| "loss": 0.5759, |
| "step": 631 |
| }, |
| { |
| "epoch": 0.6741333333333334, |
| "grad_norm": 0.575222909450531, |
| "learning_rate": 4.52220410660421e-06, |
| "loss": 0.5981, |
| "step": 632 |
| }, |
| { |
| "epoch": 0.6752, |
| "grad_norm": 0.6711370944976807, |
| "learning_rate": 4.520510602360794e-06, |
| "loss": 0.6218, |
| "step": 633 |
| }, |
| { |
| "epoch": 0.6762666666666667, |
| "grad_norm": 0.6279858350753784, |
| "learning_rate": 4.518814420467681e-06, |
| "loss": 0.5604, |
| "step": 634 |
| }, |
| { |
| "epoch": 0.6773333333333333, |
| "grad_norm": 0.5844382643699646, |
| "learning_rate": 4.517115563172711e-06, |
| "loss": 0.5411, |
| "step": 635 |
| }, |
| { |
| "epoch": 0.6784, |
| "grad_norm": 0.5980414152145386, |
| "learning_rate": 4.515414032727267e-06, |
| "loss": 0.5906, |
| "step": 636 |
| }, |
| { |
| "epoch": 0.6794666666666667, |
| "grad_norm": 0.6012035608291626, |
| "learning_rate": 4.5137098313862736e-06, |
| "loss": 0.5958, |
| "step": 637 |
| }, |
| { |
| "epoch": 0.6805333333333333, |
| "grad_norm": 0.6324159502983093, |
| "learning_rate": 4.5120029614082e-06, |
| "loss": 0.6189, |
| "step": 638 |
| }, |
| { |
| "epoch": 0.6816, |
| "grad_norm": 0.5914866328239441, |
| "learning_rate": 4.510293425055045e-06, |
| "loss": 0.6013, |
| "step": 639 |
| }, |
| { |
| "epoch": 0.6826666666666666, |
| "grad_norm": 0.614493727684021, |
| "learning_rate": 4.508581224592348e-06, |
| "loss": 0.5856, |
| "step": 640 |
| }, |
| { |
| "epoch": 0.6837333333333333, |
| "grad_norm": 0.6028826236724854, |
| "learning_rate": 4.5068663622891725e-06, |
| "loss": 0.6437, |
| "step": 641 |
| }, |
| { |
| "epoch": 0.6848, |
| "grad_norm": 0.5645555257797241, |
| "learning_rate": 4.5051488404181145e-06, |
| "loss": 0.5706, |
| "step": 642 |
| }, |
| { |
| "epoch": 0.6858666666666666, |
| "grad_norm": 0.6342235207557678, |
| "learning_rate": 4.503428661255292e-06, |
| "loss": 0.6562, |
| "step": 643 |
| }, |
| { |
| "epoch": 0.6869333333333333, |
| "grad_norm": 0.576919674873352, |
| "learning_rate": 4.501705827080346e-06, |
| "loss": 0.5274, |
| "step": 644 |
| }, |
| { |
| "epoch": 0.688, |
| "grad_norm": 0.5946143269538879, |
| "learning_rate": 4.499980340176434e-06, |
| "loss": 0.5924, |
| "step": 645 |
| }, |
| { |
| "epoch": 0.6890666666666667, |
| "grad_norm": 0.5935350060462952, |
| "learning_rate": 4.49825220283023e-06, |
| "loss": 0.6284, |
| "step": 646 |
| }, |
| { |
| "epoch": 0.6901333333333334, |
| "grad_norm": 0.5721989274024963, |
| "learning_rate": 4.496521417331923e-06, |
| "loss": 0.6094, |
| "step": 647 |
| }, |
| { |
| "epoch": 0.6912, |
| "grad_norm": 0.5700258016586304, |
| "learning_rate": 4.4947879859752065e-06, |
| "loss": 0.5841, |
| "step": 648 |
| }, |
| { |
| "epoch": 0.6922666666666667, |
| "grad_norm": 0.5945534110069275, |
| "learning_rate": 4.493051911057285e-06, |
| "loss": 0.6016, |
| "step": 649 |
| }, |
| { |
| "epoch": 0.6933333333333334, |
| "grad_norm": 0.5496425628662109, |
| "learning_rate": 4.491313194878863e-06, |
| "loss": 0.5357, |
| "step": 650 |
| }, |
| { |
| "epoch": 0.6944, |
| "grad_norm": 0.5595776438713074, |
| "learning_rate": 4.489571839744146e-06, |
| "loss": 0.5392, |
| "step": 651 |
| }, |
| { |
| "epoch": 0.6954666666666667, |
| "grad_norm": 0.6292697787284851, |
| "learning_rate": 4.487827847960838e-06, |
| "loss": 0.6559, |
| "step": 652 |
| }, |
| { |
| "epoch": 0.6965333333333333, |
| "grad_norm": 0.634451687335968, |
| "learning_rate": 4.486081221840139e-06, |
| "loss": 0.6074, |
| "step": 653 |
| }, |
| { |
| "epoch": 0.6976, |
| "grad_norm": 0.5959906578063965, |
| "learning_rate": 4.484331963696733e-06, |
| "loss": 0.5737, |
| "step": 654 |
| }, |
| { |
| "epoch": 0.6986666666666667, |
| "grad_norm": 0.5970995426177979, |
| "learning_rate": 4.482580075848801e-06, |
| "loss": 0.6107, |
| "step": 655 |
| }, |
| { |
| "epoch": 0.6997333333333333, |
| "grad_norm": 0.609966516494751, |
| "learning_rate": 4.480825560618002e-06, |
| "loss": 0.6064, |
| "step": 656 |
| }, |
| { |
| "epoch": 0.7008, |
| "grad_norm": 0.6113733649253845, |
| "learning_rate": 4.47906842032948e-06, |
| "loss": 0.668, |
| "step": 657 |
| }, |
| { |
| "epoch": 0.7018666666666666, |
| "grad_norm": 0.5909054279327393, |
| "learning_rate": 4.477308657311857e-06, |
| "loss": 0.6135, |
| "step": 658 |
| }, |
| { |
| "epoch": 0.7029333333333333, |
| "grad_norm": 0.6065821647644043, |
| "learning_rate": 4.4755462738972326e-06, |
| "loss": 0.5704, |
| "step": 659 |
| }, |
| { |
| "epoch": 0.704, |
| "grad_norm": 0.5529882311820984, |
| "learning_rate": 4.473781272421176e-06, |
| "loss": 0.5688, |
| "step": 660 |
| }, |
| { |
| "epoch": 0.7050666666666666, |
| "grad_norm": 0.5944676399230957, |
| "learning_rate": 4.472013655222729e-06, |
| "loss": 0.5832, |
| "step": 661 |
| }, |
| { |
| "epoch": 0.7061333333333333, |
| "grad_norm": 0.5572047829627991, |
| "learning_rate": 4.470243424644397e-06, |
| "loss": 0.5773, |
| "step": 662 |
| }, |
| { |
| "epoch": 0.7072, |
| "grad_norm": 0.6089645028114319, |
| "learning_rate": 4.468470583032149e-06, |
| "loss": 0.6744, |
| "step": 663 |
| }, |
| { |
| "epoch": 0.7082666666666667, |
| "grad_norm": 0.6234023571014404, |
| "learning_rate": 4.466695132735419e-06, |
| "loss": 0.6238, |
| "step": 664 |
| }, |
| { |
| "epoch": 0.7093333333333334, |
| "grad_norm": 0.6461954116821289, |
| "learning_rate": 4.464917076107091e-06, |
| "loss": 0.6583, |
| "step": 665 |
| }, |
| { |
| "epoch": 0.7104, |
| "grad_norm": 0.6400443911552429, |
| "learning_rate": 4.463136415503508e-06, |
| "loss": 0.6493, |
| "step": 666 |
| }, |
| { |
| "epoch": 0.7114666666666667, |
| "grad_norm": 0.5852741003036499, |
| "learning_rate": 4.461353153284462e-06, |
| "loss": 0.6217, |
| "step": 667 |
| }, |
| { |
| "epoch": 0.7125333333333334, |
| "grad_norm": 0.5597299933433533, |
| "learning_rate": 4.459567291813192e-06, |
| "loss": 0.6014, |
| "step": 668 |
| }, |
| { |
| "epoch": 0.7136, |
| "grad_norm": 0.5789735913276672, |
| "learning_rate": 4.4577788334563836e-06, |
| "loss": 0.6083, |
| "step": 669 |
| }, |
| { |
| "epoch": 0.7146666666666667, |
| "grad_norm": 0.5667948722839355, |
| "learning_rate": 4.455987780584163e-06, |
| "loss": 0.57, |
| "step": 670 |
| }, |
| { |
| "epoch": 0.7157333333333333, |
| "grad_norm": 0.5485178232192993, |
| "learning_rate": 4.454194135570095e-06, |
| "loss": 0.5946, |
| "step": 671 |
| }, |
| { |
| "epoch": 0.7168, |
| "grad_norm": 0.6660294532775879, |
| "learning_rate": 4.452397900791178e-06, |
| "loss": 0.6154, |
| "step": 672 |
| }, |
| { |
| "epoch": 0.7178666666666667, |
| "grad_norm": 0.5962326526641846, |
| "learning_rate": 4.450599078627845e-06, |
| "loss": 0.6042, |
| "step": 673 |
| }, |
| { |
| "epoch": 0.7189333333333333, |
| "grad_norm": 0.6404402852058411, |
| "learning_rate": 4.4487976714639566e-06, |
| "loss": 0.6133, |
| "step": 674 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 0.5994961261749268, |
| "learning_rate": 4.446993681686797e-06, |
| "loss": 0.5612, |
| "step": 675 |
| }, |
| { |
| "epoch": 0.7210666666666666, |
| "grad_norm": 0.6647468209266663, |
| "learning_rate": 4.445187111687079e-06, |
| "loss": 0.6309, |
| "step": 676 |
| }, |
| { |
| "epoch": 0.7221333333333333, |
| "grad_norm": 0.6309939026832581, |
| "learning_rate": 4.443377963858927e-06, |
| "loss": 0.602, |
| "step": 677 |
| }, |
| { |
| "epoch": 0.7232, |
| "grad_norm": 0.6646437644958496, |
| "learning_rate": 4.441566240599888e-06, |
| "loss": 0.629, |
| "step": 678 |
| }, |
| { |
| "epoch": 0.7242666666666666, |
| "grad_norm": 0.5995011329650879, |
| "learning_rate": 4.439751944310918e-06, |
| "loss": 0.5957, |
| "step": 679 |
| }, |
| { |
| "epoch": 0.7253333333333334, |
| "grad_norm": 0.5883131623268127, |
| "learning_rate": 4.4379350773963856e-06, |
| "loss": 0.5716, |
| "step": 680 |
| }, |
| { |
| "epoch": 0.7264, |
| "grad_norm": 0.5861538648605347, |
| "learning_rate": 4.436115642264064e-06, |
| "loss": 0.5408, |
| "step": 681 |
| }, |
| { |
| "epoch": 0.7274666666666667, |
| "grad_norm": 0.671612024307251, |
| "learning_rate": 4.434293641325131e-06, |
| "loss": 0.6126, |
| "step": 682 |
| }, |
| { |
| "epoch": 0.7285333333333334, |
| "grad_norm": 0.650126039981842, |
| "learning_rate": 4.4324690769941655e-06, |
| "loss": 0.6566, |
| "step": 683 |
| }, |
| { |
| "epoch": 0.7296, |
| "grad_norm": 0.6602903008460999, |
| "learning_rate": 4.4306419516891416e-06, |
| "loss": 0.6309, |
| "step": 684 |
| }, |
| { |
| "epoch": 0.7306666666666667, |
| "grad_norm": 0.6321360468864441, |
| "learning_rate": 4.428812267831429e-06, |
| "loss": 0.6198, |
| "step": 685 |
| }, |
| { |
| "epoch": 0.7317333333333333, |
| "grad_norm": 0.6128281354904175, |
| "learning_rate": 4.426980027845787e-06, |
| "loss": 0.6404, |
| "step": 686 |
| }, |
| { |
| "epoch": 0.7328, |
| "grad_norm": 0.6438015699386597, |
| "learning_rate": 4.425145234160361e-06, |
| "loss": 0.5825, |
| "step": 687 |
| }, |
| { |
| "epoch": 0.7338666666666667, |
| "grad_norm": 0.6683218479156494, |
| "learning_rate": 4.4233078892066834e-06, |
| "loss": 0.6344, |
| "step": 688 |
| }, |
| { |
| "epoch": 0.7349333333333333, |
| "grad_norm": 0.5395619869232178, |
| "learning_rate": 4.421467995419668e-06, |
| "loss": 0.5283, |
| "step": 689 |
| }, |
| { |
| "epoch": 0.736, |
| "grad_norm": 0.5981725454330444, |
| "learning_rate": 4.419625555237603e-06, |
| "loss": 0.5698, |
| "step": 690 |
| }, |
| { |
| "epoch": 0.7370666666666666, |
| "grad_norm": 0.6336219906806946, |
| "learning_rate": 4.417780571102154e-06, |
| "loss": 0.5866, |
| "step": 691 |
| }, |
| { |
| "epoch": 0.7381333333333333, |
| "grad_norm": 0.6563888192176819, |
| "learning_rate": 4.415933045458356e-06, |
| "loss": 0.6249, |
| "step": 692 |
| }, |
| { |
| "epoch": 0.7392, |
| "grad_norm": 0.5688859820365906, |
| "learning_rate": 4.414082980754615e-06, |
| "loss": 0.5597, |
| "step": 693 |
| }, |
| { |
| "epoch": 0.7402666666666666, |
| "grad_norm": 0.5633489489555359, |
| "learning_rate": 4.412230379442698e-06, |
| "loss": 0.5954, |
| "step": 694 |
| }, |
| { |
| "epoch": 0.7413333333333333, |
| "grad_norm": 0.5826729536056519, |
| "learning_rate": 4.410375243977736e-06, |
| "loss": 0.5833, |
| "step": 695 |
| }, |
| { |
| "epoch": 0.7424, |
| "grad_norm": 0.623176634311676, |
| "learning_rate": 4.40851757681822e-06, |
| "loss": 0.6215, |
| "step": 696 |
| }, |
| { |
| "epoch": 0.7434666666666667, |
| "grad_norm": 0.5312844514846802, |
| "learning_rate": 4.40665738042599e-06, |
| "loss": 0.5431, |
| "step": 697 |
| }, |
| { |
| "epoch": 0.7445333333333334, |
| "grad_norm": 0.5887020826339722, |
| "learning_rate": 4.4047946572662455e-06, |
| "loss": 0.6437, |
| "step": 698 |
| }, |
| { |
| "epoch": 0.7456, |
| "grad_norm": 0.5731702446937561, |
| "learning_rate": 4.40292940980753e-06, |
| "loss": 0.5691, |
| "step": 699 |
| }, |
| { |
| "epoch": 0.7466666666666667, |
| "grad_norm": 0.6528239250183105, |
| "learning_rate": 4.401061640521732e-06, |
| "loss": 0.6044, |
| "step": 700 |
| }, |
| { |
| "epoch": 0.7477333333333334, |
| "grad_norm": 0.5828586220741272, |
| "learning_rate": 4.3991913518840845e-06, |
| "loss": 0.5561, |
| "step": 701 |
| }, |
| { |
| "epoch": 0.7488, |
| "grad_norm": 0.6046525239944458, |
| "learning_rate": 4.397318546373157e-06, |
| "loss": 0.6424, |
| "step": 702 |
| }, |
| { |
| "epoch": 0.7498666666666667, |
| "grad_norm": 0.6662541627883911, |
| "learning_rate": 4.395443226470856e-06, |
| "loss": 0.653, |
| "step": 703 |
| }, |
| { |
| "epoch": 0.7509333333333333, |
| "grad_norm": 0.6103813648223877, |
| "learning_rate": 4.393565394662418e-06, |
| "loss": 0.5948, |
| "step": 704 |
| }, |
| { |
| "epoch": 0.752, |
| "grad_norm": 0.6245561242103577, |
| "learning_rate": 4.391685053436412e-06, |
| "loss": 0.6306, |
| "step": 705 |
| }, |
| { |
| "epoch": 0.7530666666666667, |
| "grad_norm": 0.5731967687606812, |
| "learning_rate": 4.389802205284729e-06, |
| "loss": 0.6174, |
| "step": 706 |
| }, |
| { |
| "epoch": 0.7541333333333333, |
| "grad_norm": 0.6278999447822571, |
| "learning_rate": 4.387916852702585e-06, |
| "loss": 0.6931, |
| "step": 707 |
| }, |
| { |
| "epoch": 0.7552, |
| "grad_norm": 0.6700905561447144, |
| "learning_rate": 4.386028998188512e-06, |
| "loss": 0.6381, |
| "step": 708 |
| }, |
| { |
| "epoch": 0.7562666666666666, |
| "grad_norm": 0.6093689799308777, |
| "learning_rate": 4.384138644244361e-06, |
| "loss": 0.6671, |
| "step": 709 |
| }, |
| { |
| "epoch": 0.7573333333333333, |
| "grad_norm": 0.5726748108863831, |
| "learning_rate": 4.382245793375292e-06, |
| "loss": 0.6159, |
| "step": 710 |
| }, |
| { |
| "epoch": 0.7584, |
| "grad_norm": 0.6134355068206787, |
| "learning_rate": 4.380350448089777e-06, |
| "loss": 0.6344, |
| "step": 711 |
| }, |
| { |
| "epoch": 0.7594666666666666, |
| "grad_norm": 0.6912075877189636, |
| "learning_rate": 4.378452610899592e-06, |
| "loss": 0.6001, |
| "step": 712 |
| }, |
| { |
| "epoch": 0.7605333333333333, |
| "grad_norm": 0.6007059216499329, |
| "learning_rate": 4.376552284319815e-06, |
| "loss": 0.5863, |
| "step": 713 |
| }, |
| { |
| "epoch": 0.7616, |
| "grad_norm": 0.603341817855835, |
| "learning_rate": 4.374649470868825e-06, |
| "loss": 0.5988, |
| "step": 714 |
| }, |
| { |
| "epoch": 0.7626666666666667, |
| "grad_norm": 0.6090309023857117, |
| "learning_rate": 4.372744173068294e-06, |
| "loss": 0.6034, |
| "step": 715 |
| }, |
| { |
| "epoch": 0.7637333333333334, |
| "grad_norm": 0.6230724453926086, |
| "learning_rate": 4.370836393443189e-06, |
| "loss": 0.6455, |
| "step": 716 |
| }, |
| { |
| "epoch": 0.7648, |
| "grad_norm": 0.6223626136779785, |
| "learning_rate": 4.368926134521764e-06, |
| "loss": 0.5961, |
| "step": 717 |
| }, |
| { |
| "epoch": 0.7658666666666667, |
| "grad_norm": 0.5391390919685364, |
| "learning_rate": 4.3670133988355594e-06, |
| "loss": 0.5293, |
| "step": 718 |
| }, |
| { |
| "epoch": 0.7669333333333334, |
| "grad_norm": 0.5531719923019409, |
| "learning_rate": 4.365098188919398e-06, |
| "loss": 0.5548, |
| "step": 719 |
| }, |
| { |
| "epoch": 0.768, |
| "grad_norm": 0.5982630252838135, |
| "learning_rate": 4.363180507311382e-06, |
| "loss": 0.6253, |
| "step": 720 |
| }, |
| { |
| "epoch": 0.7690666666666667, |
| "grad_norm": 0.5804744362831116, |
| "learning_rate": 4.361260356552888e-06, |
| "loss": 0.5725, |
| "step": 721 |
| }, |
| { |
| "epoch": 0.7701333333333333, |
| "grad_norm": 0.5492886304855347, |
| "learning_rate": 4.359337739188565e-06, |
| "loss": 0.5701, |
| "step": 722 |
| }, |
| { |
| "epoch": 0.7712, |
| "grad_norm": 0.6174424886703491, |
| "learning_rate": 4.357412657766332e-06, |
| "loss": 0.657, |
| "step": 723 |
| }, |
| { |
| "epoch": 0.7722666666666667, |
| "grad_norm": 0.6585338115692139, |
| "learning_rate": 4.3554851148373734e-06, |
| "loss": 0.6255, |
| "step": 724 |
| }, |
| { |
| "epoch": 0.7733333333333333, |
| "grad_norm": 0.5927243828773499, |
| "learning_rate": 4.353555112956132e-06, |
| "loss": 0.5905, |
| "step": 725 |
| }, |
| { |
| "epoch": 0.7744, |
| "grad_norm": 0.5702055096626282, |
| "learning_rate": 4.351622654680317e-06, |
| "loss": 0.5823, |
| "step": 726 |
| }, |
| { |
| "epoch": 0.7754666666666666, |
| "grad_norm": 0.6298528909683228, |
| "learning_rate": 4.349687742570883e-06, |
| "loss": 0.5844, |
| "step": 727 |
| }, |
| { |
| "epoch": 0.7765333333333333, |
| "grad_norm": 0.5355176329612732, |
| "learning_rate": 4.347750379192045e-06, |
| "loss": 0.531, |
| "step": 728 |
| }, |
| { |
| "epoch": 0.7776, |
| "grad_norm": 0.5822606682777405, |
| "learning_rate": 4.345810567111262e-06, |
| "loss": 0.5929, |
| "step": 729 |
| }, |
| { |
| "epoch": 0.7786666666666666, |
| "grad_norm": 0.6086956262588501, |
| "learning_rate": 4.34386830889924e-06, |
| "loss": 0.6647, |
| "step": 730 |
| }, |
| { |
| "epoch": 0.7797333333333333, |
| "grad_norm": 0.6076291799545288, |
| "learning_rate": 4.341923607129924e-06, |
| "loss": 0.6525, |
| "step": 731 |
| }, |
| { |
| "epoch": 0.7808, |
| "grad_norm": 0.5628846883773804, |
| "learning_rate": 4.339976464380502e-06, |
| "loss": 0.5568, |
| "step": 732 |
| }, |
| { |
| "epoch": 0.7818666666666667, |
| "grad_norm": 0.6300817131996155, |
| "learning_rate": 4.3380268832313925e-06, |
| "loss": 0.6087, |
| "step": 733 |
| }, |
| { |
| "epoch": 0.7829333333333334, |
| "grad_norm": 0.5442864298820496, |
| "learning_rate": 4.336074866266246e-06, |
| "loss": 0.5268, |
| "step": 734 |
| }, |
| { |
| "epoch": 0.784, |
| "grad_norm": 0.518878161907196, |
| "learning_rate": 4.3341204160719445e-06, |
| "loss": 0.5501, |
| "step": 735 |
| }, |
| { |
| "epoch": 0.7850666666666667, |
| "grad_norm": 0.6485167145729065, |
| "learning_rate": 4.332163535238591e-06, |
| "loss": 0.6123, |
| "step": 736 |
| }, |
| { |
| "epoch": 0.7861333333333334, |
| "grad_norm": 0.6591404676437378, |
| "learning_rate": 4.330204226359511e-06, |
| "loss": 0.718, |
| "step": 737 |
| }, |
| { |
| "epoch": 0.7872, |
| "grad_norm": 0.5981202721595764, |
| "learning_rate": 4.328242492031247e-06, |
| "loss": 0.5822, |
| "step": 738 |
| }, |
| { |
| "epoch": 0.7882666666666667, |
| "grad_norm": 0.5216851830482483, |
| "learning_rate": 4.326278334853558e-06, |
| "loss": 0.5618, |
| "step": 739 |
| }, |
| { |
| "epoch": 0.7893333333333333, |
| "grad_norm": 0.5599318742752075, |
| "learning_rate": 4.3243117574294106e-06, |
| "loss": 0.6046, |
| "step": 740 |
| }, |
| { |
| "epoch": 0.7904, |
| "grad_norm": 0.6600239872932434, |
| "learning_rate": 4.3223427623649806e-06, |
| "loss": 0.6664, |
| "step": 741 |
| }, |
| { |
| "epoch": 0.7914666666666667, |
| "grad_norm": 0.569790780544281, |
| "learning_rate": 4.3203713522696474e-06, |
| "loss": 0.6213, |
| "step": 742 |
| }, |
| { |
| "epoch": 0.7925333333333333, |
| "grad_norm": 0.6771045327186584, |
| "learning_rate": 4.318397529755992e-06, |
| "loss": 0.675, |
| "step": 743 |
| }, |
| { |
| "epoch": 0.7936, |
| "grad_norm": 0.593367874622345, |
| "learning_rate": 4.316421297439791e-06, |
| "loss": 0.5703, |
| "step": 744 |
| }, |
| { |
| "epoch": 0.7946666666666666, |
| "grad_norm": 0.6849992275238037, |
| "learning_rate": 4.314442657940015e-06, |
| "loss": 0.6438, |
| "step": 745 |
| }, |
| { |
| "epoch": 0.7957333333333333, |
| "grad_norm": 0.5869582295417786, |
| "learning_rate": 4.312461613878825e-06, |
| "loss": 0.6022, |
| "step": 746 |
| }, |
| { |
| "epoch": 0.7968, |
| "grad_norm": 0.5446725487709045, |
| "learning_rate": 4.310478167881566e-06, |
| "loss": 0.6223, |
| "step": 747 |
| }, |
| { |
| "epoch": 0.7978666666666666, |
| "grad_norm": 0.5858989357948303, |
| "learning_rate": 4.308492322576773e-06, |
| "loss": 0.5397, |
| "step": 748 |
| }, |
| { |
| "epoch": 0.7989333333333334, |
| "grad_norm": 0.5479538440704346, |
| "learning_rate": 4.306504080596151e-06, |
| "loss": 0.5463, |
| "step": 749 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 0.619148313999176, |
| "learning_rate": 4.304513444574589e-06, |
| "loss": 0.6219, |
| "step": 750 |
| }, |
| { |
| "epoch": 0.8010666666666667, |
| "grad_norm": 0.5301182866096497, |
| "learning_rate": 4.3025204171501465e-06, |
| "loss": 0.5426, |
| "step": 751 |
| }, |
| { |
| "epoch": 0.8021333333333334, |
| "grad_norm": 0.6077245473861694, |
| "learning_rate": 4.300525000964051e-06, |
| "loss": 0.5974, |
| "step": 752 |
| }, |
| { |
| "epoch": 0.8032, |
| "grad_norm": 0.5915474891662598, |
| "learning_rate": 4.298527198660694e-06, |
| "loss": 0.623, |
| "step": 753 |
| }, |
| { |
| "epoch": 0.8042666666666667, |
| "grad_norm": 0.6224533915519714, |
| "learning_rate": 4.296527012887633e-06, |
| "loss": 0.6729, |
| "step": 754 |
| }, |
| { |
| "epoch": 0.8053333333333333, |
| "grad_norm": 0.604912519454956, |
| "learning_rate": 4.294524446295584e-06, |
| "loss": 0.586, |
| "step": 755 |
| }, |
| { |
| "epoch": 0.8064, |
| "grad_norm": 0.6141861081123352, |
| "learning_rate": 4.292519501538415e-06, |
| "loss": 0.5806, |
| "step": 756 |
| }, |
| { |
| "epoch": 0.8074666666666667, |
| "grad_norm": 0.6346126198768616, |
| "learning_rate": 4.290512181273148e-06, |
| "loss": 0.6096, |
| "step": 757 |
| }, |
| { |
| "epoch": 0.8085333333333333, |
| "grad_norm": 0.5592239499092102, |
| "learning_rate": 4.288502488159951e-06, |
| "loss": 0.5279, |
| "step": 758 |
| }, |
| { |
| "epoch": 0.8096, |
| "grad_norm": 0.5802796483039856, |
| "learning_rate": 4.28649042486214e-06, |
| "loss": 0.6077, |
| "step": 759 |
| }, |
| { |
| "epoch": 0.8106666666666666, |
| "grad_norm": 0.5942670106887817, |
| "learning_rate": 4.2844759940461686e-06, |
| "loss": 0.5928, |
| "step": 760 |
| }, |
| { |
| "epoch": 0.8117333333333333, |
| "grad_norm": 0.6619848608970642, |
| "learning_rate": 4.2824591983816295e-06, |
| "loss": 0.6257, |
| "step": 761 |
| }, |
| { |
| "epoch": 0.8128, |
| "grad_norm": 0.6630727052688599, |
| "learning_rate": 4.280440040541249e-06, |
| "loss": 0.6452, |
| "step": 762 |
| }, |
| { |
| "epoch": 0.8138666666666666, |
| "grad_norm": 0.5733046531677246, |
| "learning_rate": 4.2784185232008865e-06, |
| "loss": 0.5755, |
| "step": 763 |
| }, |
| { |
| "epoch": 0.8149333333333333, |
| "grad_norm": 0.5723044872283936, |
| "learning_rate": 4.276394649039522e-06, |
| "loss": 0.5555, |
| "step": 764 |
| }, |
| { |
| "epoch": 0.816, |
| "grad_norm": 0.6092213988304138, |
| "learning_rate": 4.274368420739267e-06, |
| "loss": 0.6169, |
| "step": 765 |
| }, |
| { |
| "epoch": 0.8170666666666667, |
| "grad_norm": 0.5935916304588318, |
| "learning_rate": 4.2723398409853435e-06, |
| "loss": 0.5647, |
| "step": 766 |
| }, |
| { |
| "epoch": 0.8181333333333334, |
| "grad_norm": 0.5536573529243469, |
| "learning_rate": 4.270308912466099e-06, |
| "loss": 0.5865, |
| "step": 767 |
| }, |
| { |
| "epoch": 0.8192, |
| "grad_norm": 0.6576724052429199, |
| "learning_rate": 4.268275637872988e-06, |
| "loss": 0.6312, |
| "step": 768 |
| }, |
| { |
| "epoch": 0.8202666666666667, |
| "grad_norm": 0.5728570818901062, |
| "learning_rate": 4.266240019900574e-06, |
| "loss": 0.5842, |
| "step": 769 |
| }, |
| { |
| "epoch": 0.8213333333333334, |
| "grad_norm": 0.695012629032135, |
| "learning_rate": 4.264202061246529e-06, |
| "loss": 0.7122, |
| "step": 770 |
| }, |
| { |
| "epoch": 0.8224, |
| "grad_norm": 0.5636841058731079, |
| "learning_rate": 4.262161764611627e-06, |
| "loss": 0.5663, |
| "step": 771 |
| }, |
| { |
| "epoch": 0.8234666666666667, |
| "grad_norm": 0.5579693913459778, |
| "learning_rate": 4.260119132699735e-06, |
| "loss": 0.5408, |
| "step": 772 |
| }, |
| { |
| "epoch": 0.8245333333333333, |
| "grad_norm": 0.6032036542892456, |
| "learning_rate": 4.2580741682178216e-06, |
| "loss": 0.6324, |
| "step": 773 |
| }, |
| { |
| "epoch": 0.8256, |
| "grad_norm": 0.5871884822845459, |
| "learning_rate": 4.256026873875942e-06, |
| "loss": 0.5866, |
| "step": 774 |
| }, |
| { |
| "epoch": 0.8266666666666667, |
| "grad_norm": 0.5559691786766052, |
| "learning_rate": 4.253977252387242e-06, |
| "loss": 0.587, |
| "step": 775 |
| }, |
| { |
| "epoch": 0.8277333333333333, |
| "grad_norm": 0.605316162109375, |
| "learning_rate": 4.2519253064679484e-06, |
| "loss": 0.5741, |
| "step": 776 |
| }, |
| { |
| "epoch": 0.8288, |
| "grad_norm": 0.5974510908126831, |
| "learning_rate": 4.249871038837371e-06, |
| "loss": 0.6304, |
| "step": 777 |
| }, |
| { |
| "epoch": 0.8298666666666666, |
| "grad_norm": 0.581228494644165, |
| "learning_rate": 4.247814452217896e-06, |
| "loss": 0.6267, |
| "step": 778 |
| }, |
| { |
| "epoch": 0.8309333333333333, |
| "grad_norm": 0.5544297099113464, |
| "learning_rate": 4.245755549334981e-06, |
| "loss": 0.5636, |
| "step": 779 |
| }, |
| { |
| "epoch": 0.832, |
| "grad_norm": 0.6431424021720886, |
| "learning_rate": 4.243694332917155e-06, |
| "loss": 0.5963, |
| "step": 780 |
| }, |
| { |
| "epoch": 0.8330666666666666, |
| "grad_norm": 0.6238623857498169, |
| "learning_rate": 4.241630805696015e-06, |
| "loss": 0.6224, |
| "step": 781 |
| }, |
| { |
| "epoch": 0.8341333333333333, |
| "grad_norm": 0.6023938059806824, |
| "learning_rate": 4.239564970406212e-06, |
| "loss": 0.6244, |
| "step": 782 |
| }, |
| { |
| "epoch": 0.8352, |
| "grad_norm": 0.6179195046424866, |
| "learning_rate": 4.237496829785467e-06, |
| "loss": 0.6712, |
| "step": 783 |
| }, |
| { |
| "epoch": 0.8362666666666667, |
| "grad_norm": 0.6627472043037415, |
| "learning_rate": 4.2354263865745475e-06, |
| "loss": 0.6952, |
| "step": 784 |
| }, |
| { |
| "epoch": 0.8373333333333334, |
| "grad_norm": 0.5910513401031494, |
| "learning_rate": 4.233353643517278e-06, |
| "loss": 0.6317, |
| "step": 785 |
| }, |
| { |
| "epoch": 0.8384, |
| "grad_norm": 0.551588237285614, |
| "learning_rate": 4.231278603360525e-06, |
| "loss": 0.5888, |
| "step": 786 |
| }, |
| { |
| "epoch": 0.8394666666666667, |
| "grad_norm": 0.6270415782928467, |
| "learning_rate": 4.2292012688542065e-06, |
| "loss": 0.6409, |
| "step": 787 |
| }, |
| { |
| "epoch": 0.8405333333333334, |
| "grad_norm": 0.6535519957542419, |
| "learning_rate": 4.2271216427512734e-06, |
| "loss": 0.641, |
| "step": 788 |
| }, |
| { |
| "epoch": 0.8416, |
| "grad_norm": 0.596442461013794, |
| "learning_rate": 4.2250397278077205e-06, |
| "loss": 0.55, |
| "step": 789 |
| }, |
| { |
| "epoch": 0.8426666666666667, |
| "grad_norm": 0.5700710415840149, |
| "learning_rate": 4.222955526782571e-06, |
| "loss": 0.5659, |
| "step": 790 |
| }, |
| { |
| "epoch": 0.8437333333333333, |
| "grad_norm": 0.6013472676277161, |
| "learning_rate": 4.2208690424378794e-06, |
| "loss": 0.6131, |
| "step": 791 |
| }, |
| { |
| "epoch": 0.8448, |
| "grad_norm": 0.571749746799469, |
| "learning_rate": 4.218780277538726e-06, |
| "loss": 0.5715, |
| "step": 792 |
| }, |
| { |
| "epoch": 0.8458666666666667, |
| "grad_norm": 0.5752919912338257, |
| "learning_rate": 4.216689234853215e-06, |
| "loss": 0.5595, |
| "step": 793 |
| }, |
| { |
| "epoch": 0.8469333333333333, |
| "grad_norm": 0.5699914693832397, |
| "learning_rate": 4.214595917152466e-06, |
| "loss": 0.5691, |
| "step": 794 |
| }, |
| { |
| "epoch": 0.848, |
| "grad_norm": 0.5755786299705505, |
| "learning_rate": 4.212500327210615e-06, |
| "loss": 0.6216, |
| "step": 795 |
| }, |
| { |
| "epoch": 0.8490666666666666, |
| "grad_norm": 0.5507399439811707, |
| "learning_rate": 4.21040246780481e-06, |
| "loss": 0.5827, |
| "step": 796 |
| }, |
| { |
| "epoch": 0.8501333333333333, |
| "grad_norm": 0.58803790807724, |
| "learning_rate": 4.208302341715207e-06, |
| "loss": 0.5927, |
| "step": 797 |
| }, |
| { |
| "epoch": 0.8512, |
| "grad_norm": 0.5566146969795227, |
| "learning_rate": 4.206199951724962e-06, |
| "loss": 0.5604, |
| "step": 798 |
| }, |
| { |
| "epoch": 0.8522666666666666, |
| "grad_norm": 0.6356599926948547, |
| "learning_rate": 4.204095300620237e-06, |
| "loss": 0.601, |
| "step": 799 |
| }, |
| { |
| "epoch": 0.8533333333333334, |
| "grad_norm": 0.5856143832206726, |
| "learning_rate": 4.201988391190186e-06, |
| "loss": 0.5869, |
| "step": 800 |
| }, |
| { |
| "epoch": 0.8544, |
| "grad_norm": 0.5834171772003174, |
| "learning_rate": 4.1998792262269574e-06, |
| "loss": 0.5976, |
| "step": 801 |
| }, |
| { |
| "epoch": 0.8554666666666667, |
| "grad_norm": 0.5931845903396606, |
| "learning_rate": 4.197767808525689e-06, |
| "loss": 0.6316, |
| "step": 802 |
| }, |
| { |
| "epoch": 0.8565333333333334, |
| "grad_norm": 0.5423629879951477, |
| "learning_rate": 4.195654140884504e-06, |
| "loss": 0.5938, |
| "step": 803 |
| }, |
| { |
| "epoch": 0.8576, |
| "grad_norm": 0.595956027507782, |
| "learning_rate": 4.193538226104506e-06, |
| "loss": 0.5933, |
| "step": 804 |
| }, |
| { |
| "epoch": 0.8586666666666667, |
| "grad_norm": 0.6532610058784485, |
| "learning_rate": 4.19142006698978e-06, |
| "loss": 0.6724, |
| "step": 805 |
| }, |
| { |
| "epoch": 0.8597333333333333, |
| "grad_norm": 0.5916064977645874, |
| "learning_rate": 4.189299666347379e-06, |
| "loss": 0.6087, |
| "step": 806 |
| }, |
| { |
| "epoch": 0.8608, |
| "grad_norm": 0.5431850552558899, |
| "learning_rate": 4.1871770269873344e-06, |
| "loss": 0.5561, |
| "step": 807 |
| }, |
| { |
| "epoch": 0.8618666666666667, |
| "grad_norm": 0.5944782495498657, |
| "learning_rate": 4.185052151722637e-06, |
| "loss": 0.599, |
| "step": 808 |
| }, |
| { |
| "epoch": 0.8629333333333333, |
| "grad_norm": 0.5644088983535767, |
| "learning_rate": 4.182925043369247e-06, |
| "loss": 0.6159, |
| "step": 809 |
| }, |
| { |
| "epoch": 0.864, |
| "grad_norm": 0.6588236689567566, |
| "learning_rate": 4.180795704746079e-06, |
| "loss": 0.631, |
| "step": 810 |
| }, |
| { |
| "epoch": 0.8650666666666667, |
| "grad_norm": 0.5589002966880798, |
| "learning_rate": 4.178664138675006e-06, |
| "loss": 0.5694, |
| "step": 811 |
| }, |
| { |
| "epoch": 0.8661333333333333, |
| "grad_norm": 0.5892253518104553, |
| "learning_rate": 4.176530347980853e-06, |
| "loss": 0.5968, |
| "step": 812 |
| }, |
| { |
| "epoch": 0.8672, |
| "grad_norm": 0.6091468930244446, |
| "learning_rate": 4.17439433549139e-06, |
| "loss": 0.5645, |
| "step": 813 |
| }, |
| { |
| "epoch": 0.8682666666666666, |
| "grad_norm": 0.637734055519104, |
| "learning_rate": 4.172256104037336e-06, |
| "loss": 0.6099, |
| "step": 814 |
| }, |
| { |
| "epoch": 0.8693333333333333, |
| "grad_norm": 0.6298534870147705, |
| "learning_rate": 4.170115656452348e-06, |
| "loss": 0.6802, |
| "step": 815 |
| }, |
| { |
| "epoch": 0.8704, |
| "grad_norm": 0.6110515594482422, |
| "learning_rate": 4.16797299557302e-06, |
| "loss": 0.6585, |
| "step": 816 |
| }, |
| { |
| "epoch": 0.8714666666666666, |
| "grad_norm": 0.5639678835868835, |
| "learning_rate": 4.165828124238879e-06, |
| "loss": 0.5633, |
| "step": 817 |
| }, |
| { |
| "epoch": 0.8725333333333334, |
| "grad_norm": 0.611602783203125, |
| "learning_rate": 4.1636810452923824e-06, |
| "loss": 0.5874, |
| "step": 818 |
| }, |
| { |
| "epoch": 0.8736, |
| "grad_norm": 0.5484479069709778, |
| "learning_rate": 4.161531761578913e-06, |
| "loss": 0.5705, |
| "step": 819 |
| }, |
| { |
| "epoch": 0.8746666666666667, |
| "grad_norm": 0.5495359897613525, |
| "learning_rate": 4.159380275946774e-06, |
| "loss": 0.5502, |
| "step": 820 |
| }, |
| { |
| "epoch": 0.8757333333333334, |
| "grad_norm": 0.5983431339263916, |
| "learning_rate": 4.157226591247187e-06, |
| "loss": 0.567, |
| "step": 821 |
| }, |
| { |
| "epoch": 0.8768, |
| "grad_norm": 0.6292389035224915, |
| "learning_rate": 4.155070710334291e-06, |
| "loss": 0.5964, |
| "step": 822 |
| }, |
| { |
| "epoch": 0.8778666666666667, |
| "grad_norm": 0.6518849730491638, |
| "learning_rate": 4.152912636065132e-06, |
| "loss": 0.6613, |
| "step": 823 |
| }, |
| { |
| "epoch": 0.8789333333333333, |
| "grad_norm": 0.5625004768371582, |
| "learning_rate": 4.150752371299662e-06, |
| "loss": 0.5669, |
| "step": 824 |
| }, |
| { |
| "epoch": 0.88, |
| "grad_norm": 0.6387596726417542, |
| "learning_rate": 4.14858991890074e-06, |
| "loss": 0.6315, |
| "step": 825 |
| }, |
| { |
| "epoch": 0.8810666666666667, |
| "grad_norm": 0.6020834445953369, |
| "learning_rate": 4.146425281734121e-06, |
| "loss": 0.6165, |
| "step": 826 |
| }, |
| { |
| "epoch": 0.8821333333333333, |
| "grad_norm": 0.581591010093689, |
| "learning_rate": 4.144258462668456e-06, |
| "loss": 0.5748, |
| "step": 827 |
| }, |
| { |
| "epoch": 0.8832, |
| "grad_norm": 0.5733075737953186, |
| "learning_rate": 4.142089464575288e-06, |
| "loss": 0.5538, |
| "step": 828 |
| }, |
| { |
| "epoch": 0.8842666666666666, |
| "grad_norm": 0.6576880812644958, |
| "learning_rate": 4.139918290329047e-06, |
| "loss": 0.606, |
| "step": 829 |
| }, |
| { |
| "epoch": 0.8853333333333333, |
| "grad_norm": 0.5757404565811157, |
| "learning_rate": 4.137744942807047e-06, |
| "loss": 0.5814, |
| "step": 830 |
| }, |
| { |
| "epoch": 0.8864, |
| "grad_norm": 0.5444555282592773, |
| "learning_rate": 4.135569424889484e-06, |
| "loss": 0.5453, |
| "step": 831 |
| }, |
| { |
| "epoch": 0.8874666666666666, |
| "grad_norm": 0.5457245111465454, |
| "learning_rate": 4.133391739459427e-06, |
| "loss": 0.5968, |
| "step": 832 |
| }, |
| { |
| "epoch": 0.8885333333333333, |
| "grad_norm": 0.5762104988098145, |
| "learning_rate": 4.13121188940282e-06, |
| "loss": 0.5541, |
| "step": 833 |
| }, |
| { |
| "epoch": 0.8896, |
| "grad_norm": 0.582664430141449, |
| "learning_rate": 4.129029877608473e-06, |
| "loss": 0.6076, |
| "step": 834 |
| }, |
| { |
| "epoch": 0.8906666666666667, |
| "grad_norm": 0.5698184370994568, |
| "learning_rate": 4.126845706968066e-06, |
| "loss": 0.5655, |
| "step": 835 |
| }, |
| { |
| "epoch": 0.8917333333333334, |
| "grad_norm": 0.5519005656242371, |
| "learning_rate": 4.124659380376134e-06, |
| "loss": 0.6019, |
| "step": 836 |
| }, |
| { |
| "epoch": 0.8928, |
| "grad_norm": 0.6212468147277832, |
| "learning_rate": 4.122470900730072e-06, |
| "loss": 0.6064, |
| "step": 837 |
| }, |
| { |
| "epoch": 0.8938666666666667, |
| "grad_norm": 0.5539268255233765, |
| "learning_rate": 4.120280270930129e-06, |
| "loss": 0.606, |
| "step": 838 |
| }, |
| { |
| "epoch": 0.8949333333333334, |
| "grad_norm": 0.5502208471298218, |
| "learning_rate": 4.118087493879402e-06, |
| "loss": 0.5492, |
| "step": 839 |
| }, |
| { |
| "epoch": 0.896, |
| "grad_norm": 0.5899258255958557, |
| "learning_rate": 4.115892572483834e-06, |
| "loss": 0.5614, |
| "step": 840 |
| }, |
| { |
| "epoch": 0.8970666666666667, |
| "grad_norm": 0.5694776177406311, |
| "learning_rate": 4.113695509652209e-06, |
| "loss": 0.6038, |
| "step": 841 |
| }, |
| { |
| "epoch": 0.8981333333333333, |
| "grad_norm": 0.5535959005355835, |
| "learning_rate": 4.111496308296152e-06, |
| "loss": 0.565, |
| "step": 842 |
| }, |
| { |
| "epoch": 0.8992, |
| "grad_norm": 0.6170676350593567, |
| "learning_rate": 4.109294971330117e-06, |
| "loss": 0.6121, |
| "step": 843 |
| }, |
| { |
| "epoch": 0.9002666666666667, |
| "grad_norm": 0.5881417989730835, |
| "learning_rate": 4.107091501671393e-06, |
| "loss": 0.5772, |
| "step": 844 |
| }, |
| { |
| "epoch": 0.9013333333333333, |
| "grad_norm": 0.5499644875526428, |
| "learning_rate": 4.1048859022400925e-06, |
| "loss": 0.587, |
| "step": 845 |
| }, |
| { |
| "epoch": 0.9024, |
| "grad_norm": 0.5718510150909424, |
| "learning_rate": 4.10267817595915e-06, |
| "loss": 0.6136, |
| "step": 846 |
| }, |
| { |
| "epoch": 0.9034666666666666, |
| "grad_norm": 0.6420497298240662, |
| "learning_rate": 4.100468325754322e-06, |
| "loss": 0.6329, |
| "step": 847 |
| }, |
| { |
| "epoch": 0.9045333333333333, |
| "grad_norm": 0.6238356232643127, |
| "learning_rate": 4.098256354554177e-06, |
| "loss": 0.597, |
| "step": 848 |
| }, |
| { |
| "epoch": 0.9056, |
| "grad_norm": 0.6152764558792114, |
| "learning_rate": 4.096042265290094e-06, |
| "loss": 0.6373, |
| "step": 849 |
| }, |
| { |
| "epoch": 0.9066666666666666, |
| "grad_norm": 0.6001502275466919, |
| "learning_rate": 4.093826060896261e-06, |
| "loss": 0.5858, |
| "step": 850 |
| }, |
| { |
| "epoch": 0.9077333333333333, |
| "grad_norm": 0.5592588782310486, |
| "learning_rate": 4.091607744309667e-06, |
| "loss": 0.57, |
| "step": 851 |
| }, |
| { |
| "epoch": 0.9088, |
| "grad_norm": 0.5799663066864014, |
| "learning_rate": 4.089387318470101e-06, |
| "loss": 0.5925, |
| "step": 852 |
| }, |
| { |
| "epoch": 0.9098666666666667, |
| "grad_norm": 0.6240248084068298, |
| "learning_rate": 4.087164786320147e-06, |
| "loss": 0.5907, |
| "step": 853 |
| }, |
| { |
| "epoch": 0.9109333333333334, |
| "grad_norm": 0.5542529821395874, |
| "learning_rate": 4.08494015080518e-06, |
| "loss": 0.5138, |
| "step": 854 |
| }, |
| { |
| "epoch": 0.912, |
| "grad_norm": 0.5860090851783752, |
| "learning_rate": 4.082713414873364e-06, |
| "loss": 0.5558, |
| "step": 855 |
| }, |
| { |
| "epoch": 0.9130666666666667, |
| "grad_norm": 0.5614107251167297, |
| "learning_rate": 4.0804845814756454e-06, |
| "loss": 0.598, |
| "step": 856 |
| }, |
| { |
| "epoch": 0.9141333333333334, |
| "grad_norm": 0.6157853603363037, |
| "learning_rate": 4.078253653565751e-06, |
| "loss": 0.6279, |
| "step": 857 |
| }, |
| { |
| "epoch": 0.9152, |
| "grad_norm": 0.6493934988975525, |
| "learning_rate": 4.076020634100181e-06, |
| "loss": 0.6444, |
| "step": 858 |
| }, |
| { |
| "epoch": 0.9162666666666667, |
| "grad_norm": 0.6030386686325073, |
| "learning_rate": 4.073785526038211e-06, |
| "loss": 0.6323, |
| "step": 859 |
| }, |
| { |
| "epoch": 0.9173333333333333, |
| "grad_norm": 0.5975478291511536, |
| "learning_rate": 4.071548332341881e-06, |
| "loss": 0.6116, |
| "step": 860 |
| }, |
| { |
| "epoch": 0.9184, |
| "grad_norm": 0.6111212372779846, |
| "learning_rate": 4.069309055975997e-06, |
| "loss": 0.6231, |
| "step": 861 |
| }, |
| { |
| "epoch": 0.9194666666666667, |
| "grad_norm": 0.6610676050186157, |
| "learning_rate": 4.067067699908125e-06, |
| "loss": 0.6181, |
| "step": 862 |
| }, |
| { |
| "epoch": 0.9205333333333333, |
| "grad_norm": 0.6267375349998474, |
| "learning_rate": 4.064824267108586e-06, |
| "loss": 0.6283, |
| "step": 863 |
| }, |
| { |
| "epoch": 0.9216, |
| "grad_norm": 0.6119623780250549, |
| "learning_rate": 4.062578760550455e-06, |
| "loss": 0.6224, |
| "step": 864 |
| }, |
| { |
| "epoch": 0.9226666666666666, |
| "grad_norm": 0.6098064184188843, |
| "learning_rate": 4.060331183209553e-06, |
| "loss": 0.604, |
| "step": 865 |
| }, |
| { |
| "epoch": 0.9237333333333333, |
| "grad_norm": 0.5912611484527588, |
| "learning_rate": 4.058081538064446e-06, |
| "loss": 0.6747, |
| "step": 866 |
| }, |
| { |
| "epoch": 0.9248, |
| "grad_norm": 0.6654200553894043, |
| "learning_rate": 4.055829828096442e-06, |
| "loss": 0.6024, |
| "step": 867 |
| }, |
| { |
| "epoch": 0.9258666666666666, |
| "grad_norm": 0.6581156253814697, |
| "learning_rate": 4.053576056289583e-06, |
| "loss": 0.6662, |
| "step": 868 |
| }, |
| { |
| "epoch": 0.9269333333333334, |
| "grad_norm": 0.5383312702178955, |
| "learning_rate": 4.051320225630644e-06, |
| "loss": 0.5324, |
| "step": 869 |
| }, |
| { |
| "epoch": 0.928, |
| "grad_norm": 0.5871057510375977, |
| "learning_rate": 4.04906233910913e-06, |
| "loss": 0.6123, |
| "step": 870 |
| }, |
| { |
| "epoch": 0.9290666666666667, |
| "grad_norm": 0.5423468947410583, |
| "learning_rate": 4.046802399717268e-06, |
| "loss": 0.5432, |
| "step": 871 |
| }, |
| { |
| "epoch": 0.9301333333333334, |
| "grad_norm": 0.7259275317192078, |
| "learning_rate": 4.044540410450009e-06, |
| "loss": 0.6703, |
| "step": 872 |
| }, |
| { |
| "epoch": 0.9312, |
| "grad_norm": 0.6046900153160095, |
| "learning_rate": 4.042276374305016e-06, |
| "loss": 0.5748, |
| "step": 873 |
| }, |
| { |
| "epoch": 0.9322666666666667, |
| "grad_norm": 0.6363403797149658, |
| "learning_rate": 4.040010294282669e-06, |
| "loss": 0.6066, |
| "step": 874 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 0.6075894236564636, |
| "learning_rate": 4.037742173386054e-06, |
| "loss": 0.5973, |
| "step": 875 |
| }, |
| { |
| "epoch": 0.9344, |
| "grad_norm": 0.5808365345001221, |
| "learning_rate": 4.035472014620962e-06, |
| "loss": 0.5922, |
| "step": 876 |
| }, |
| { |
| "epoch": 0.9354666666666667, |
| "grad_norm": 0.5733830332756042, |
| "learning_rate": 4.033199820995886e-06, |
| "loss": 0.606, |
| "step": 877 |
| }, |
| { |
| "epoch": 0.9365333333333333, |
| "grad_norm": 0.601738691329956, |
| "learning_rate": 4.0309255955220124e-06, |
| "loss": 0.5978, |
| "step": 878 |
| }, |
| { |
| "epoch": 0.9376, |
| "grad_norm": 0.596818745136261, |
| "learning_rate": 4.028649341213225e-06, |
| "loss": 0.5724, |
| "step": 879 |
| }, |
| { |
| "epoch": 0.9386666666666666, |
| "grad_norm": 0.5161429047584534, |
| "learning_rate": 4.0263710610860925e-06, |
| "loss": 0.554, |
| "step": 880 |
| }, |
| { |
| "epoch": 0.9397333333333333, |
| "grad_norm": 0.6047207117080688, |
| "learning_rate": 4.0240907581598706e-06, |
| "loss": 0.5372, |
| "step": 881 |
| }, |
| { |
| "epoch": 0.9408, |
| "grad_norm": 0.5482892394065857, |
| "learning_rate": 4.0218084354564936e-06, |
| "loss": 0.5807, |
| "step": 882 |
| }, |
| { |
| "epoch": 0.9418666666666666, |
| "grad_norm": 0.6282208561897278, |
| "learning_rate": 4.019524096000573e-06, |
| "loss": 0.5412, |
| "step": 883 |
| }, |
| { |
| "epoch": 0.9429333333333333, |
| "grad_norm": 0.5509742498397827, |
| "learning_rate": 4.017237742819395e-06, |
| "loss": 0.6028, |
| "step": 884 |
| }, |
| { |
| "epoch": 0.944, |
| "grad_norm": 0.5843110680580139, |
| "learning_rate": 4.0149493789429125e-06, |
| "loss": 0.6613, |
| "step": 885 |
| }, |
| { |
| "epoch": 0.9450666666666667, |
| "grad_norm": 0.5556974411010742, |
| "learning_rate": 4.012659007403743e-06, |
| "loss": 0.6268, |
| "step": 886 |
| }, |
| { |
| "epoch": 0.9461333333333334, |
| "grad_norm": 0.598298966884613, |
| "learning_rate": 4.010366631237166e-06, |
| "loss": 0.5928, |
| "step": 887 |
| }, |
| { |
| "epoch": 0.9472, |
| "grad_norm": 0.5736271739006042, |
| "learning_rate": 4.008072253481116e-06, |
| "loss": 0.6351, |
| "step": 888 |
| }, |
| { |
| "epoch": 0.9482666666666667, |
| "grad_norm": 0.563037097454071, |
| "learning_rate": 4.0057758771761815e-06, |
| "loss": 0.625, |
| "step": 889 |
| }, |
| { |
| "epoch": 0.9493333333333334, |
| "grad_norm": 0.5613559484481812, |
| "learning_rate": 4.003477505365597e-06, |
| "loss": 0.5932, |
| "step": 890 |
| }, |
| { |
| "epoch": 0.9504, |
| "grad_norm": 0.5705847144126892, |
| "learning_rate": 4.001177141095246e-06, |
| "loss": 0.582, |
| "step": 891 |
| }, |
| { |
| "epoch": 0.9514666666666667, |
| "grad_norm": 0.539749801158905, |
| "learning_rate": 3.998874787413649e-06, |
| "loss": 0.6164, |
| "step": 892 |
| }, |
| { |
| "epoch": 0.9525333333333333, |
| "grad_norm": 0.5652883052825928, |
| "learning_rate": 3.996570447371963e-06, |
| "loss": 0.6134, |
| "step": 893 |
| }, |
| { |
| "epoch": 0.9536, |
| "grad_norm": 0.736020028591156, |
| "learning_rate": 3.994264124023978e-06, |
| "loss": 0.6058, |
| "step": 894 |
| }, |
| { |
| "epoch": 0.9546666666666667, |
| "grad_norm": 0.600042998790741, |
| "learning_rate": 3.991955820426113e-06, |
| "loss": 0.6137, |
| "step": 895 |
| }, |
| { |
| "epoch": 0.9557333333333333, |
| "grad_norm": 0.6180554628372192, |
| "learning_rate": 3.989645539637411e-06, |
| "loss": 0.6752, |
| "step": 896 |
| }, |
| { |
| "epoch": 0.9568, |
| "grad_norm": 0.5427966713905334, |
| "learning_rate": 3.987333284719534e-06, |
| "loss": 0.5618, |
| "step": 897 |
| }, |
| { |
| "epoch": 0.9578666666666666, |
| "grad_norm": 0.611888587474823, |
| "learning_rate": 3.985019058736764e-06, |
| "loss": 0.6111, |
| "step": 898 |
| }, |
| { |
| "epoch": 0.9589333333333333, |
| "grad_norm": 0.5804568529129028, |
| "learning_rate": 3.98270286475599e-06, |
| "loss": 0.6464, |
| "step": 899 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 0.5864506959915161, |
| "learning_rate": 3.980384705846711e-06, |
| "loss": 0.5848, |
| "step": 900 |
| }, |
| { |
| "epoch": 0.9610666666666666, |
| "grad_norm": 0.5798951983451843, |
| "learning_rate": 3.978064585081032e-06, |
| "loss": 0.5954, |
| "step": 901 |
| }, |
| { |
| "epoch": 0.9621333333333333, |
| "grad_norm": 0.6306714415550232, |
| "learning_rate": 3.9757425055336556e-06, |
| "loss": 0.6311, |
| "step": 902 |
| }, |
| { |
| "epoch": 0.9632, |
| "grad_norm": 0.5956549048423767, |
| "learning_rate": 3.973418470281881e-06, |
| "loss": 0.6349, |
| "step": 903 |
| }, |
| { |
| "epoch": 0.9642666666666667, |
| "grad_norm": 0.5544397830963135, |
| "learning_rate": 3.971092482405599e-06, |
| "loss": 0.5309, |
| "step": 904 |
| }, |
| { |
| "epoch": 0.9653333333333334, |
| "grad_norm": 0.5570192933082581, |
| "learning_rate": 3.968764544987288e-06, |
| "loss": 0.5694, |
| "step": 905 |
| }, |
| { |
| "epoch": 0.9664, |
| "grad_norm": 0.5762341022491455, |
| "learning_rate": 3.966434661112012e-06, |
| "loss": 0.562, |
| "step": 906 |
| }, |
| { |
| "epoch": 0.9674666666666667, |
| "grad_norm": 0.6258487701416016, |
| "learning_rate": 3.9641028338674095e-06, |
| "loss": 0.6253, |
| "step": 907 |
| }, |
| { |
| "epoch": 0.9685333333333334, |
| "grad_norm": 0.5830110311508179, |
| "learning_rate": 3.961769066343701e-06, |
| "loss": 0.568, |
| "step": 908 |
| }, |
| { |
| "epoch": 0.9696, |
| "grad_norm": 0.6831852793693542, |
| "learning_rate": 3.959433361633672e-06, |
| "loss": 0.6393, |
| "step": 909 |
| }, |
| { |
| "epoch": 0.9706666666666667, |
| "grad_norm": 0.5552694201469421, |
| "learning_rate": 3.95709572283268e-06, |
| "loss": 0.6088, |
| "step": 910 |
| }, |
| { |
| "epoch": 0.9717333333333333, |
| "grad_norm": 0.5924383401870728, |
| "learning_rate": 3.9547561530386445e-06, |
| "loss": 0.6343, |
| "step": 911 |
| }, |
| { |
| "epoch": 0.9728, |
| "grad_norm": 0.5930561423301697, |
| "learning_rate": 3.952414655352041e-06, |
| "loss": 0.584, |
| "step": 912 |
| }, |
| { |
| "epoch": 0.9738666666666667, |
| "grad_norm": 0.6042167544364929, |
| "learning_rate": 3.950071232875904e-06, |
| "loss": 0.6214, |
| "step": 913 |
| }, |
| { |
| "epoch": 0.9749333333333333, |
| "grad_norm": 0.5707955956459045, |
| "learning_rate": 3.947725888715817e-06, |
| "loss": 0.6243, |
| "step": 914 |
| }, |
| { |
| "epoch": 0.976, |
| "grad_norm": 0.6637380123138428, |
| "learning_rate": 3.94537862597991e-06, |
| "loss": 0.6831, |
| "step": 915 |
| }, |
| { |
| "epoch": 0.9770666666666666, |
| "grad_norm": 0.5662384033203125, |
| "learning_rate": 3.943029447778854e-06, |
| "loss": 0.531, |
| "step": 916 |
| }, |
| { |
| "epoch": 0.9781333333333333, |
| "grad_norm": 0.6221411824226379, |
| "learning_rate": 3.940678357225863e-06, |
| "loss": 0.6174, |
| "step": 917 |
| }, |
| { |
| "epoch": 0.9792, |
| "grad_norm": 0.5357489585876465, |
| "learning_rate": 3.938325357436682e-06, |
| "loss": 0.5278, |
| "step": 918 |
| }, |
| { |
| "epoch": 0.9802666666666666, |
| "grad_norm": 0.6189228296279907, |
| "learning_rate": 3.935970451529585e-06, |
| "loss": 0.6471, |
| "step": 919 |
| }, |
| { |
| "epoch": 0.9813333333333333, |
| "grad_norm": 0.6070924997329712, |
| "learning_rate": 3.9336136426253755e-06, |
| "loss": 0.5622, |
| "step": 920 |
| }, |
| { |
| "epoch": 0.9824, |
| "grad_norm": 0.6406233310699463, |
| "learning_rate": 3.931254933847376e-06, |
| "loss": 0.6285, |
| "step": 921 |
| }, |
| { |
| "epoch": 0.9834666666666667, |
| "grad_norm": 0.5626932382583618, |
| "learning_rate": 3.928894328321429e-06, |
| "loss": 0.5764, |
| "step": 922 |
| }, |
| { |
| "epoch": 0.9845333333333334, |
| "grad_norm": 0.5974101424217224, |
| "learning_rate": 3.9265318291758895e-06, |
| "loss": 0.576, |
| "step": 923 |
| }, |
| { |
| "epoch": 0.9856, |
| "grad_norm": 0.5678866505622864, |
| "learning_rate": 3.9241674395416214e-06, |
| "loss": 0.6011, |
| "step": 924 |
| }, |
| { |
| "epoch": 0.9866666666666667, |
| "grad_norm": 0.5224618911743164, |
| "learning_rate": 3.9218011625519945e-06, |
| "loss": 0.5167, |
| "step": 925 |
| }, |
| { |
| "epoch": 0.9877333333333334, |
| "grad_norm": 0.6168708205223083, |
| "learning_rate": 3.919433001342881e-06, |
| "loss": 0.6256, |
| "step": 926 |
| }, |
| { |
| "epoch": 0.9888, |
| "grad_norm": 0.5544697642326355, |
| "learning_rate": 3.917062959052649e-06, |
| "loss": 0.5688, |
| "step": 927 |
| }, |
| { |
| "epoch": 0.9898666666666667, |
| "grad_norm": 0.5654980540275574, |
| "learning_rate": 3.914691038822158e-06, |
| "loss": 0.5228, |
| "step": 928 |
| }, |
| { |
| "epoch": 0.9909333333333333, |
| "grad_norm": 0.5385432243347168, |
| "learning_rate": 3.91231724379476e-06, |
| "loss": 0.4881, |
| "step": 929 |
| }, |
| { |
| "epoch": 0.992, |
| "grad_norm": 0.593205988407135, |
| "learning_rate": 3.909941577116287e-06, |
| "loss": 0.6159, |
| "step": 930 |
| }, |
| { |
| "epoch": 0.9930666666666667, |
| "grad_norm": 0.5599035620689392, |
| "learning_rate": 3.907564041935055e-06, |
| "loss": 0.5824, |
| "step": 931 |
| }, |
| { |
| "epoch": 0.9941333333333333, |
| "grad_norm": 0.6163393259048462, |
| "learning_rate": 3.9051846414018544e-06, |
| "loss": 0.5783, |
| "step": 932 |
| }, |
| { |
| "epoch": 0.9952, |
| "grad_norm": 0.6336512565612793, |
| "learning_rate": 3.902803378669948e-06, |
| "loss": 0.612, |
| "step": 933 |
| }, |
| { |
| "epoch": 0.9962666666666666, |
| "grad_norm": 0.5998383164405823, |
| "learning_rate": 3.900420256895068e-06, |
| "loss": 0.6372, |
| "step": 934 |
| }, |
| { |
| "epoch": 0.9973333333333333, |
| "grad_norm": 0.5630584955215454, |
| "learning_rate": 3.898035279235407e-06, |
| "loss": 0.5971, |
| "step": 935 |
| }, |
| { |
| "epoch": 0.9984, |
| "grad_norm": 0.5631433725357056, |
| "learning_rate": 3.895648448851619e-06, |
| "loss": 0.5828, |
| "step": 936 |
| }, |
| { |
| "epoch": 0.9994666666666666, |
| "grad_norm": 0.5787785649299622, |
| "learning_rate": 3.893259768906814e-06, |
| "loss": 0.513, |
| "step": 937 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 0.8083898425102234, |
| "learning_rate": 3.890869242566553e-06, |
| "loss": 0.4709, |
| "step": 938 |
| }, |
| { |
| "epoch": 1.0010666666666668, |
| "grad_norm": 0.6938320994377136, |
| "learning_rate": 3.888476872998842e-06, |
| "loss": 0.5868, |
| "step": 939 |
| }, |
| { |
| "epoch": 1.0021333333333333, |
| "grad_norm": 0.5984360575675964, |
| "learning_rate": 3.88608266337413e-06, |
| "loss": 0.5797, |
| "step": 940 |
| }, |
| { |
| "epoch": 1.0032, |
| "grad_norm": 0.6141080856323242, |
| "learning_rate": 3.883686616865307e-06, |
| "loss": 0.5368, |
| "step": 941 |
| }, |
| { |
| "epoch": 1.0042666666666666, |
| "grad_norm": 0.547386884689331, |
| "learning_rate": 3.881288736647696e-06, |
| "loss": 0.5588, |
| "step": 942 |
| }, |
| { |
| "epoch": 1.0053333333333334, |
| "grad_norm": 0.6089945435523987, |
| "learning_rate": 3.878889025899049e-06, |
| "loss": 0.5979, |
| "step": 943 |
| }, |
| { |
| "epoch": 1.0064, |
| "grad_norm": 0.5689895153045654, |
| "learning_rate": 3.876487487799544e-06, |
| "loss": 0.552, |
| "step": 944 |
| }, |
| { |
| "epoch": 1.0074666666666667, |
| "grad_norm": 0.7019808292388916, |
| "learning_rate": 3.8740841255317815e-06, |
| "loss": 0.6714, |
| "step": 945 |
| }, |
| { |
| "epoch": 1.0085333333333333, |
| "grad_norm": 0.5730398893356323, |
| "learning_rate": 3.871678942280781e-06, |
| "loss": 0.5653, |
| "step": 946 |
| }, |
| { |
| "epoch": 1.0096, |
| "grad_norm": 0.6939638257026672, |
| "learning_rate": 3.869271941233973e-06, |
| "loss": 0.5829, |
| "step": 947 |
| }, |
| { |
| "epoch": 1.0106666666666666, |
| "grad_norm": 0.6052855849266052, |
| "learning_rate": 3.866863125581195e-06, |
| "loss": 0.5828, |
| "step": 948 |
| }, |
| { |
| "epoch": 1.0117333333333334, |
| "grad_norm": 0.6679799556732178, |
| "learning_rate": 3.864452498514696e-06, |
| "loss": 0.6733, |
| "step": 949 |
| }, |
| { |
| "epoch": 1.0128, |
| "grad_norm": 0.61423659324646, |
| "learning_rate": 3.862040063229118e-06, |
| "loss": 0.5596, |
| "step": 950 |
| }, |
| { |
| "epoch": 1.0138666666666667, |
| "grad_norm": 0.6028274893760681, |
| "learning_rate": 3.859625822921504e-06, |
| "loss": 0.5957, |
| "step": 951 |
| }, |
| { |
| "epoch": 1.0149333333333332, |
| "grad_norm": 0.6048401594161987, |
| "learning_rate": 3.857209780791288e-06, |
| "loss": 0.5459, |
| "step": 952 |
| }, |
| { |
| "epoch": 1.016, |
| "grad_norm": 0.5483227372169495, |
| "learning_rate": 3.854791940040291e-06, |
| "loss": 0.5414, |
| "step": 953 |
| }, |
| { |
| "epoch": 1.0170666666666666, |
| "grad_norm": 0.6255030035972595, |
| "learning_rate": 3.852372303872718e-06, |
| "loss": 0.6176, |
| "step": 954 |
| }, |
| { |
| "epoch": 1.0181333333333333, |
| "grad_norm": 0.6436975598335266, |
| "learning_rate": 3.8499508754951545e-06, |
| "loss": 0.6139, |
| "step": 955 |
| }, |
| { |
| "epoch": 1.0192, |
| "grad_norm": 0.5594171285629272, |
| "learning_rate": 3.847527658116559e-06, |
| "loss": 0.5414, |
| "step": 956 |
| }, |
| { |
| "epoch": 1.0202666666666667, |
| "grad_norm": 0.6422448754310608, |
| "learning_rate": 3.845102654948262e-06, |
| "loss": 0.5202, |
| "step": 957 |
| }, |
| { |
| "epoch": 1.0213333333333334, |
| "grad_norm": 0.5989338159561157, |
| "learning_rate": 3.842675869203962e-06, |
| "loss": 0.5453, |
| "step": 958 |
| }, |
| { |
| "epoch": 1.0224, |
| "grad_norm": 0.5826500058174133, |
| "learning_rate": 3.8402473040997175e-06, |
| "loss": 0.5974, |
| "step": 959 |
| }, |
| { |
| "epoch": 1.0234666666666667, |
| "grad_norm": 0.6105327606201172, |
| "learning_rate": 3.837816962853945e-06, |
| "loss": 0.6082, |
| "step": 960 |
| }, |
| { |
| "epoch": 1.0245333333333333, |
| "grad_norm": 0.5792525410652161, |
| "learning_rate": 3.835384848687419e-06, |
| "loss": 0.5076, |
| "step": 961 |
| }, |
| { |
| "epoch": 1.0256, |
| "grad_norm": 0.6044538021087646, |
| "learning_rate": 3.832950964823257e-06, |
| "loss": 0.5787, |
| "step": 962 |
| }, |
| { |
| "epoch": 1.0266666666666666, |
| "grad_norm": 0.5737023949623108, |
| "learning_rate": 3.830515314486925e-06, |
| "loss": 0.5809, |
| "step": 963 |
| }, |
| { |
| "epoch": 1.0277333333333334, |
| "grad_norm": 0.6024502515792847, |
| "learning_rate": 3.828077900906232e-06, |
| "loss": 0.6251, |
| "step": 964 |
| }, |
| { |
| "epoch": 1.0288, |
| "grad_norm": 0.6452201008796692, |
| "learning_rate": 3.825638727311321e-06, |
| "loss": 0.6082, |
| "step": 965 |
| }, |
| { |
| "epoch": 1.0298666666666667, |
| "grad_norm": 0.5491701364517212, |
| "learning_rate": 3.823197796934667e-06, |
| "loss": 0.56, |
| "step": 966 |
| }, |
| { |
| "epoch": 1.0309333333333333, |
| "grad_norm": 0.6038528680801392, |
| "learning_rate": 3.820755113011077e-06, |
| "loss": 0.5752, |
| "step": 967 |
| }, |
| { |
| "epoch": 1.032, |
| "grad_norm": 0.5309896469116211, |
| "learning_rate": 3.8183106787776765e-06, |
| "loss": 0.5088, |
| "step": 968 |
| }, |
| { |
| "epoch": 1.0330666666666666, |
| "grad_norm": 0.5325185656547546, |
| "learning_rate": 3.8158644974739145e-06, |
| "loss": 0.5097, |
| "step": 969 |
| }, |
| { |
| "epoch": 1.0341333333333333, |
| "grad_norm": 0.6305834650993347, |
| "learning_rate": 3.813416572341555e-06, |
| "loss": 0.6185, |
| "step": 970 |
| }, |
| { |
| "epoch": 1.0352, |
| "grad_norm": 0.6541138291358948, |
| "learning_rate": 3.8109669066246707e-06, |
| "loss": 0.6133, |
| "step": 971 |
| }, |
| { |
| "epoch": 1.0362666666666667, |
| "grad_norm": 0.6071637272834778, |
| "learning_rate": 3.8085155035696424e-06, |
| "loss": 0.5655, |
| "step": 972 |
| }, |
| { |
| "epoch": 1.0373333333333334, |
| "grad_norm": 0.5968308448791504, |
| "learning_rate": 3.8060623664251537e-06, |
| "loss": 0.5818, |
| "step": 973 |
| }, |
| { |
| "epoch": 1.0384, |
| "grad_norm": 0.641974151134491, |
| "learning_rate": 3.8036074984421857e-06, |
| "loss": 0.6054, |
| "step": 974 |
| }, |
| { |
| "epoch": 1.0394666666666668, |
| "grad_norm": 0.6215962171554565, |
| "learning_rate": 3.8011509028740128e-06, |
| "loss": 0.5946, |
| "step": 975 |
| }, |
| { |
| "epoch": 1.0405333333333333, |
| "grad_norm": 0.6438944935798645, |
| "learning_rate": 3.7986925829762e-06, |
| "loss": 0.572, |
| "step": 976 |
| }, |
| { |
| "epoch": 1.0416, |
| "grad_norm": 0.5599973201751709, |
| "learning_rate": 3.7962325420065965e-06, |
| "loss": 0.5476, |
| "step": 977 |
| }, |
| { |
| "epoch": 1.0426666666666666, |
| "grad_norm": 0.5799870491027832, |
| "learning_rate": 3.7937707832253336e-06, |
| "loss": 0.5606, |
| "step": 978 |
| }, |
| { |
| "epoch": 1.0437333333333334, |
| "grad_norm": 0.5892784595489502, |
| "learning_rate": 3.791307309894816e-06, |
| "loss": 0.5954, |
| "step": 979 |
| }, |
| { |
| "epoch": 1.0448, |
| "grad_norm": 0.5950177907943726, |
| "learning_rate": 3.788842125279725e-06, |
| "loss": 0.5311, |
| "step": 980 |
| }, |
| { |
| "epoch": 1.0458666666666667, |
| "grad_norm": 0.5876550078392029, |
| "learning_rate": 3.786375232647006e-06, |
| "loss": 0.5793, |
| "step": 981 |
| }, |
| { |
| "epoch": 1.0469333333333333, |
| "grad_norm": 0.6084430813789368, |
| "learning_rate": 3.7839066352658704e-06, |
| "loss": 0.5869, |
| "step": 982 |
| }, |
| { |
| "epoch": 1.048, |
| "grad_norm": 0.52766352891922, |
| "learning_rate": 3.781436336407787e-06, |
| "loss": 0.5493, |
| "step": 983 |
| }, |
| { |
| "epoch": 1.0490666666666666, |
| "grad_norm": 0.5687288045883179, |
| "learning_rate": 3.7789643393464814e-06, |
| "loss": 0.5476, |
| "step": 984 |
| }, |
| { |
| "epoch": 1.0501333333333334, |
| "grad_norm": 0.600828230381012, |
| "learning_rate": 3.776490647357927e-06, |
| "loss": 0.5459, |
| "step": 985 |
| }, |
| { |
| "epoch": 1.0512, |
| "grad_norm": 0.6564854383468628, |
| "learning_rate": 3.7740152637203462e-06, |
| "loss": 0.5946, |
| "step": 986 |
| }, |
| { |
| "epoch": 1.0522666666666667, |
| "grad_norm": 0.6397482752799988, |
| "learning_rate": 3.7715381917142025e-06, |
| "loss": 0.6088, |
| "step": 987 |
| }, |
| { |
| "epoch": 1.0533333333333332, |
| "grad_norm": 0.6165938973426819, |
| "learning_rate": 3.769059434622194e-06, |
| "loss": 0.5925, |
| "step": 988 |
| }, |
| { |
| "epoch": 1.0544, |
| "grad_norm": 0.5620561838150024, |
| "learning_rate": 3.7665789957292566e-06, |
| "loss": 0.5986, |
| "step": 989 |
| }, |
| { |
| "epoch": 1.0554666666666668, |
| "grad_norm": 0.6017423868179321, |
| "learning_rate": 3.764096878322552e-06, |
| "loss": 0.6198, |
| "step": 990 |
| }, |
| { |
| "epoch": 1.0565333333333333, |
| "grad_norm": 0.6110119223594666, |
| "learning_rate": 3.7616130856914657e-06, |
| "loss": 0.5888, |
| "step": 991 |
| }, |
| { |
| "epoch": 1.0576, |
| "grad_norm": 0.5718916654586792, |
| "learning_rate": 3.7591276211276062e-06, |
| "loss": 0.5288, |
| "step": 992 |
| }, |
| { |
| "epoch": 1.0586666666666666, |
| "grad_norm": 0.5520381927490234, |
| "learning_rate": 3.7566404879247963e-06, |
| "loss": 0.5643, |
| "step": 993 |
| }, |
| { |
| "epoch": 1.0597333333333334, |
| "grad_norm": 0.5869061350822449, |
| "learning_rate": 3.7541516893790684e-06, |
| "loss": 0.5102, |
| "step": 994 |
| }, |
| { |
| "epoch": 1.0608, |
| "grad_norm": 0.5792644023895264, |
| "learning_rate": 3.751661228788665e-06, |
| "loss": 0.5419, |
| "step": 995 |
| }, |
| { |
| "epoch": 1.0618666666666667, |
| "grad_norm": 0.5559021830558777, |
| "learning_rate": 3.7491691094540284e-06, |
| "loss": 0.5399, |
| "step": 996 |
| }, |
| { |
| "epoch": 1.0629333333333333, |
| "grad_norm": 0.6452680826187134, |
| "learning_rate": 3.7466753346778006e-06, |
| "loss": 0.5352, |
| "step": 997 |
| }, |
| { |
| "epoch": 1.064, |
| "grad_norm": 0.5756367444992065, |
| "learning_rate": 3.744179907764818e-06, |
| "loss": 0.5529, |
| "step": 998 |
| }, |
| { |
| "epoch": 1.0650666666666666, |
| "grad_norm": 0.6299931406974792, |
| "learning_rate": 3.7416828320221034e-06, |
| "loss": 0.5671, |
| "step": 999 |
| }, |
| { |
| "epoch": 1.0661333333333334, |
| "grad_norm": 0.6399582624435425, |
| "learning_rate": 3.739184110758869e-06, |
| "loss": 0.6109, |
| "step": 1000 |
| }, |
| { |
| "epoch": 1.0672, |
| "grad_norm": 0.6434157490730286, |
| "learning_rate": 3.736683747286505e-06, |
| "loss": 0.5851, |
| "step": 1001 |
| }, |
| { |
| "epoch": 1.0682666666666667, |
| "grad_norm": 0.5716328024864197, |
| "learning_rate": 3.7341817449185785e-06, |
| "loss": 0.5558, |
| "step": 1002 |
| }, |
| { |
| "epoch": 1.0693333333333332, |
| "grad_norm": 0.5992347002029419, |
| "learning_rate": 3.7316781069708287e-06, |
| "loss": 0.57, |
| "step": 1003 |
| }, |
| { |
| "epoch": 1.0704, |
| "grad_norm": 0.6952702403068542, |
| "learning_rate": 3.729172836761162e-06, |
| "loss": 0.4976, |
| "step": 1004 |
| }, |
| { |
| "epoch": 1.0714666666666666, |
| "grad_norm": 0.6574565768241882, |
| "learning_rate": 3.7266659376096476e-06, |
| "loss": 0.5802, |
| "step": 1005 |
| }, |
| { |
| "epoch": 1.0725333333333333, |
| "grad_norm": 0.6703108549118042, |
| "learning_rate": 3.7241574128385143e-06, |
| "loss": 0.6248, |
| "step": 1006 |
| }, |
| { |
| "epoch": 1.0735999999999999, |
| "grad_norm": 0.5984768867492676, |
| "learning_rate": 3.7216472657721454e-06, |
| "loss": 0.552, |
| "step": 1007 |
| }, |
| { |
| "epoch": 1.0746666666666667, |
| "grad_norm": 0.59859699010849, |
| "learning_rate": 3.719135499737073e-06, |
| "loss": 0.5787, |
| "step": 1008 |
| }, |
| { |
| "epoch": 1.0757333333333334, |
| "grad_norm": 0.660254955291748, |
| "learning_rate": 3.7166221180619754e-06, |
| "loss": 0.6041, |
| "step": 1009 |
| }, |
| { |
| "epoch": 1.0768, |
| "grad_norm": 0.6064770817756653, |
| "learning_rate": 3.7141071240776722e-06, |
| "loss": 0.5198, |
| "step": 1010 |
| }, |
| { |
| "epoch": 1.0778666666666668, |
| "grad_norm": 0.5956878662109375, |
| "learning_rate": 3.711590521117119e-06, |
| "loss": 0.5968, |
| "step": 1011 |
| }, |
| { |
| "epoch": 1.0789333333333333, |
| "grad_norm": 0.6192936897277832, |
| "learning_rate": 3.7090723125154036e-06, |
| "loss": 0.5766, |
| "step": 1012 |
| }, |
| { |
| "epoch": 1.08, |
| "grad_norm": 0.5869913697242737, |
| "learning_rate": 3.706552501609743e-06, |
| "loss": 0.6316, |
| "step": 1013 |
| }, |
| { |
| "epoch": 1.0810666666666666, |
| "grad_norm": 0.530838668346405, |
| "learning_rate": 3.704031091739476e-06, |
| "loss": 0.5419, |
| "step": 1014 |
| }, |
| { |
| "epoch": 1.0821333333333334, |
| "grad_norm": 0.5924392938613892, |
| "learning_rate": 3.7015080862460617e-06, |
| "loss": 0.5435, |
| "step": 1015 |
| }, |
| { |
| "epoch": 1.0832, |
| "grad_norm": 0.6169924139976501, |
| "learning_rate": 3.6989834884730725e-06, |
| "loss": 0.6114, |
| "step": 1016 |
| }, |
| { |
| "epoch": 1.0842666666666667, |
| "grad_norm": 0.5850513577461243, |
| "learning_rate": 3.6964573017661927e-06, |
| "loss": 0.5942, |
| "step": 1017 |
| }, |
| { |
| "epoch": 1.0853333333333333, |
| "grad_norm": 0.6097222566604614, |
| "learning_rate": 3.6939295294732104e-06, |
| "loss": 0.6137, |
| "step": 1018 |
| }, |
| { |
| "epoch": 1.0864, |
| "grad_norm": 0.5484235286712646, |
| "learning_rate": 3.691400174944016e-06, |
| "loss": 0.5325, |
| "step": 1019 |
| }, |
| { |
| "epoch": 1.0874666666666666, |
| "grad_norm": 0.5697526931762695, |
| "learning_rate": 3.6888692415305968e-06, |
| "loss": 0.5728, |
| "step": 1020 |
| }, |
| { |
| "epoch": 1.0885333333333334, |
| "grad_norm": 0.5859434604644775, |
| "learning_rate": 3.6863367325870315e-06, |
| "loss": 0.5469, |
| "step": 1021 |
| }, |
| { |
| "epoch": 1.0896, |
| "grad_norm": 0.579197108745575, |
| "learning_rate": 3.6838026514694885e-06, |
| "loss": 0.6079, |
| "step": 1022 |
| }, |
| { |
| "epoch": 1.0906666666666667, |
| "grad_norm": 0.5440885424613953, |
| "learning_rate": 3.6812670015362183e-06, |
| "loss": 0.5382, |
| "step": 1023 |
| }, |
| { |
| "epoch": 1.0917333333333334, |
| "grad_norm": 0.6072251200675964, |
| "learning_rate": 3.67872978614755e-06, |
| "loss": 0.5779, |
| "step": 1024 |
| }, |
| { |
| "epoch": 1.0928, |
| "grad_norm": 0.5659698843955994, |
| "learning_rate": 3.67619100866589e-06, |
| "loss": 0.5552, |
| "step": 1025 |
| }, |
| { |
| "epoch": 1.0938666666666668, |
| "grad_norm": 0.5740523338317871, |
| "learning_rate": 3.673650672455711e-06, |
| "loss": 0.5844, |
| "step": 1026 |
| }, |
| { |
| "epoch": 1.0949333333333333, |
| "grad_norm": 0.57796710729599, |
| "learning_rate": 3.6711087808835544e-06, |
| "loss": 0.589, |
| "step": 1027 |
| }, |
| { |
| "epoch": 1.096, |
| "grad_norm": 0.5485849976539612, |
| "learning_rate": 3.6685653373180226e-06, |
| "loss": 0.5448, |
| "step": 1028 |
| }, |
| { |
| "epoch": 1.0970666666666666, |
| "grad_norm": 0.6198381781578064, |
| "learning_rate": 3.6660203451297715e-06, |
| "loss": 0.604, |
| "step": 1029 |
| }, |
| { |
| "epoch": 1.0981333333333334, |
| "grad_norm": 0.63736492395401, |
| "learning_rate": 3.6634738076915144e-06, |
| "loss": 0.5969, |
| "step": 1030 |
| }, |
| { |
| "epoch": 1.0992, |
| "grad_norm": 0.5028262138366699, |
| "learning_rate": 3.6609257283780076e-06, |
| "loss": 0.509, |
| "step": 1031 |
| }, |
| { |
| "epoch": 1.1002666666666667, |
| "grad_norm": 0.5751879811286926, |
| "learning_rate": 3.6583761105660543e-06, |
| "loss": 0.5677, |
| "step": 1032 |
| }, |
| { |
| "epoch": 1.1013333333333333, |
| "grad_norm": 0.5568650364875793, |
| "learning_rate": 3.6558249576344938e-06, |
| "loss": 0.5583, |
| "step": 1033 |
| }, |
| { |
| "epoch": 1.1024, |
| "grad_norm": 0.6463531851768494, |
| "learning_rate": 3.6532722729642035e-06, |
| "loss": 0.6299, |
| "step": 1034 |
| }, |
| { |
| "epoch": 1.1034666666666666, |
| "grad_norm": 0.6075899004936218, |
| "learning_rate": 3.650718059938086e-06, |
| "loss": 0.6151, |
| "step": 1035 |
| }, |
| { |
| "epoch": 1.1045333333333334, |
| "grad_norm": 0.6461043953895569, |
| "learning_rate": 3.6481623219410723e-06, |
| "loss": 0.6309, |
| "step": 1036 |
| }, |
| { |
| "epoch": 1.1056, |
| "grad_norm": 0.6655203700065613, |
| "learning_rate": 3.6456050623601146e-06, |
| "loss": 0.6739, |
| "step": 1037 |
| }, |
| { |
| "epoch": 1.1066666666666667, |
| "grad_norm": 0.6061891317367554, |
| "learning_rate": 3.643046284584179e-06, |
| "loss": 0.544, |
| "step": 1038 |
| }, |
| { |
| "epoch": 1.1077333333333332, |
| "grad_norm": 0.5927504301071167, |
| "learning_rate": 3.6404859920042467e-06, |
| "loss": 0.5577, |
| "step": 1039 |
| }, |
| { |
| "epoch": 1.1088, |
| "grad_norm": 0.5958196520805359, |
| "learning_rate": 3.6379241880133048e-06, |
| "loss": 0.5556, |
| "step": 1040 |
| }, |
| { |
| "epoch": 1.1098666666666666, |
| "grad_norm": 0.6962246298789978, |
| "learning_rate": 3.635360876006343e-06, |
| "loss": 0.5678, |
| "step": 1041 |
| }, |
| { |
| "epoch": 1.1109333333333333, |
| "grad_norm": 0.5937632322311401, |
| "learning_rate": 3.6327960593803504e-06, |
| "loss": 0.577, |
| "step": 1042 |
| }, |
| { |
| "epoch": 1.112, |
| "grad_norm": 0.5488424897193909, |
| "learning_rate": 3.630229741534309e-06, |
| "loss": 0.5204, |
| "step": 1043 |
| }, |
| { |
| "epoch": 1.1130666666666666, |
| "grad_norm": 0.6131934523582458, |
| "learning_rate": 3.627661925869192e-06, |
| "loss": 0.5976, |
| "step": 1044 |
| }, |
| { |
| "epoch": 1.1141333333333334, |
| "grad_norm": 0.6064742803573608, |
| "learning_rate": 3.625092615787955e-06, |
| "loss": 0.5851, |
| "step": 1045 |
| }, |
| { |
| "epoch": 1.1152, |
| "grad_norm": 0.6370125412940979, |
| "learning_rate": 3.622521814695537e-06, |
| "loss": 0.5528, |
| "step": 1046 |
| }, |
| { |
| "epoch": 1.1162666666666667, |
| "grad_norm": 0.6009589433670044, |
| "learning_rate": 3.6199495259988503e-06, |
| "loss": 0.589, |
| "step": 1047 |
| }, |
| { |
| "epoch": 1.1173333333333333, |
| "grad_norm": 0.573767364025116, |
| "learning_rate": 3.61737575310678e-06, |
| "loss": 0.529, |
| "step": 1048 |
| }, |
| { |
| "epoch": 1.1184, |
| "grad_norm": 0.5882362723350525, |
| "learning_rate": 3.6148004994301783e-06, |
| "loss": 0.5956, |
| "step": 1049 |
| }, |
| { |
| "epoch": 1.1194666666666666, |
| "grad_norm": 0.5791586637496948, |
| "learning_rate": 3.6122237683818595e-06, |
| "loss": 0.5792, |
| "step": 1050 |
| }, |
| { |
| "epoch": 1.1205333333333334, |
| "grad_norm": 0.5596249103546143, |
| "learning_rate": 3.6096455633765946e-06, |
| "loss": 0.538, |
| "step": 1051 |
| }, |
| { |
| "epoch": 1.1216, |
| "grad_norm": 0.6111263632774353, |
| "learning_rate": 3.6070658878311106e-06, |
| "loss": 0.5593, |
| "step": 1052 |
| }, |
| { |
| "epoch": 1.1226666666666667, |
| "grad_norm": 0.6641891002655029, |
| "learning_rate": 3.604484745164081e-06, |
| "loss": 0.6148, |
| "step": 1053 |
| }, |
| { |
| "epoch": 1.1237333333333333, |
| "grad_norm": 0.6806473731994629, |
| "learning_rate": 3.601902138796123e-06, |
| "loss": 0.5962, |
| "step": 1054 |
| }, |
| { |
| "epoch": 1.1248, |
| "grad_norm": 0.5546264052391052, |
| "learning_rate": 3.599318072149796e-06, |
| "loss": 0.5053, |
| "step": 1055 |
| }, |
| { |
| "epoch": 1.1258666666666666, |
| "grad_norm": 0.6385917663574219, |
| "learning_rate": 3.596732548649594e-06, |
| "loss": 0.5419, |
| "step": 1056 |
| }, |
| { |
| "epoch": 1.1269333333333333, |
| "grad_norm": 0.5998086333274841, |
| "learning_rate": 3.5941455717219396e-06, |
| "loss": 0.5351, |
| "step": 1057 |
| }, |
| { |
| "epoch": 1.1280000000000001, |
| "grad_norm": 0.6184577345848083, |
| "learning_rate": 3.591557144795185e-06, |
| "loss": 0.5954, |
| "step": 1058 |
| }, |
| { |
| "epoch": 1.1290666666666667, |
| "grad_norm": 0.6389825344085693, |
| "learning_rate": 3.5889672712996e-06, |
| "loss": 0.6001, |
| "step": 1059 |
| }, |
| { |
| "epoch": 1.1301333333333332, |
| "grad_norm": 0.5561845302581787, |
| "learning_rate": 3.586375954667374e-06, |
| "loss": 0.5764, |
| "step": 1060 |
| }, |
| { |
| "epoch": 1.1312, |
| "grad_norm": 0.532995879650116, |
| "learning_rate": 3.58378319833261e-06, |
| "loss": 0.531, |
| "step": 1061 |
| }, |
| { |
| "epoch": 1.1322666666666668, |
| "grad_norm": 0.6292034387588501, |
| "learning_rate": 3.5811890057313146e-06, |
| "loss": 0.571, |
| "step": 1062 |
| }, |
| { |
| "epoch": 1.1333333333333333, |
| "grad_norm": 0.6344674825668335, |
| "learning_rate": 3.5785933803014023e-06, |
| "loss": 0.5445, |
| "step": 1063 |
| }, |
| { |
| "epoch": 1.1344, |
| "grad_norm": 0.5501471757888794, |
| "learning_rate": 3.575996325482684e-06, |
| "loss": 0.534, |
| "step": 1064 |
| }, |
| { |
| "epoch": 1.1354666666666666, |
| "grad_norm": 0.6051688194274902, |
| "learning_rate": 3.573397844716866e-06, |
| "loss": 0.5608, |
| "step": 1065 |
| }, |
| { |
| "epoch": 1.1365333333333334, |
| "grad_norm": 0.583592414855957, |
| "learning_rate": 3.570797941447543e-06, |
| "loss": 0.5515, |
| "step": 1066 |
| }, |
| { |
| "epoch": 1.1376, |
| "grad_norm": 0.6181302666664124, |
| "learning_rate": 3.568196619120196e-06, |
| "loss": 0.5591, |
| "step": 1067 |
| }, |
| { |
| "epoch": 1.1386666666666667, |
| "grad_norm": 0.6221619248390198, |
| "learning_rate": 3.5655938811821866e-06, |
| "loss": 0.5909, |
| "step": 1068 |
| }, |
| { |
| "epoch": 1.1397333333333333, |
| "grad_norm": 0.5964818000793457, |
| "learning_rate": 3.5629897310827527e-06, |
| "loss": 0.5174, |
| "step": 1069 |
| }, |
| { |
| "epoch": 1.1408, |
| "grad_norm": 0.5837390422821045, |
| "learning_rate": 3.5603841722730017e-06, |
| "loss": 0.5407, |
| "step": 1070 |
| }, |
| { |
| "epoch": 1.1418666666666666, |
| "grad_norm": 0.6146875619888306, |
| "learning_rate": 3.557777208205909e-06, |
| "loss": 0.5116, |
| "step": 1071 |
| }, |
| { |
| "epoch": 1.1429333333333334, |
| "grad_norm": 0.5841287970542908, |
| "learning_rate": 3.5551688423363133e-06, |
| "loss": 0.56, |
| "step": 1072 |
| }, |
| { |
| "epoch": 1.144, |
| "grad_norm": 0.6571990251541138, |
| "learning_rate": 3.5525590781209102e-06, |
| "loss": 0.5873, |
| "step": 1073 |
| }, |
| { |
| "epoch": 1.1450666666666667, |
| "grad_norm": 0.5797997117042542, |
| "learning_rate": 3.549947919018247e-06, |
| "loss": 0.5536, |
| "step": 1074 |
| }, |
| { |
| "epoch": 1.1461333333333332, |
| "grad_norm": 0.6288291811943054, |
| "learning_rate": 3.5473353684887235e-06, |
| "loss": 0.5713, |
| "step": 1075 |
| }, |
| { |
| "epoch": 1.1472, |
| "grad_norm": 0.611189067363739, |
| "learning_rate": 3.544721429994579e-06, |
| "loss": 0.6116, |
| "step": 1076 |
| }, |
| { |
| "epoch": 1.1482666666666668, |
| "grad_norm": 0.613508403301239, |
| "learning_rate": 3.542106106999895e-06, |
| "loss": 0.5584, |
| "step": 1077 |
| }, |
| { |
| "epoch": 1.1493333333333333, |
| "grad_norm": 0.5744166374206543, |
| "learning_rate": 3.5394894029705867e-06, |
| "loss": 0.5249, |
| "step": 1078 |
| }, |
| { |
| "epoch": 1.1504, |
| "grad_norm": 0.5526232123374939, |
| "learning_rate": 3.536871321374399e-06, |
| "loss": 0.536, |
| "step": 1079 |
| }, |
| { |
| "epoch": 1.1514666666666666, |
| "grad_norm": 0.649944007396698, |
| "learning_rate": 3.5342518656809043e-06, |
| "loss": 0.6304, |
| "step": 1080 |
| }, |
| { |
| "epoch": 1.1525333333333334, |
| "grad_norm": 0.6395799517631531, |
| "learning_rate": 3.531631039361494e-06, |
| "loss": 0.544, |
| "step": 1081 |
| }, |
| { |
| "epoch": 1.1536, |
| "grad_norm": 0.5826876759529114, |
| "learning_rate": 3.5290088458893768e-06, |
| "loss": 0.6013, |
| "step": 1082 |
| }, |
| { |
| "epoch": 1.1546666666666667, |
| "grad_norm": 0.6632768511772156, |
| "learning_rate": 3.5263852887395735e-06, |
| "loss": 0.6447, |
| "step": 1083 |
| }, |
| { |
| "epoch": 1.1557333333333333, |
| "grad_norm": 0.6110882759094238, |
| "learning_rate": 3.5237603713889105e-06, |
| "loss": 0.5672, |
| "step": 1084 |
| }, |
| { |
| "epoch": 1.1568, |
| "grad_norm": 0.6169748902320862, |
| "learning_rate": 3.521134097316019e-06, |
| "loss": 0.5939, |
| "step": 1085 |
| }, |
| { |
| "epoch": 1.1578666666666666, |
| "grad_norm": 0.6294716596603394, |
| "learning_rate": 3.5185064700013284e-06, |
| "loss": 0.5784, |
| "step": 1086 |
| }, |
| { |
| "epoch": 1.1589333333333334, |
| "grad_norm": 0.6815844178199768, |
| "learning_rate": 3.515877492927058e-06, |
| "loss": 0.5712, |
| "step": 1087 |
| }, |
| { |
| "epoch": 1.16, |
| "grad_norm": 0.6125465631484985, |
| "learning_rate": 3.5132471695772182e-06, |
| "loss": 0.5626, |
| "step": 1088 |
| }, |
| { |
| "epoch": 1.1610666666666667, |
| "grad_norm": 0.5582150220870972, |
| "learning_rate": 3.5106155034376042e-06, |
| "loss": 0.5125, |
| "step": 1089 |
| }, |
| { |
| "epoch": 1.1621333333333332, |
| "grad_norm": 0.6332792639732361, |
| "learning_rate": 3.5079824979957898e-06, |
| "loss": 0.6031, |
| "step": 1090 |
| }, |
| { |
| "epoch": 1.1632, |
| "grad_norm": 0.5606494545936584, |
| "learning_rate": 3.505348156741124e-06, |
| "loss": 0.5352, |
| "step": 1091 |
| }, |
| { |
| "epoch": 1.1642666666666668, |
| "grad_norm": 0.6061694622039795, |
| "learning_rate": 3.502712483164726e-06, |
| "loss": 0.5663, |
| "step": 1092 |
| }, |
| { |
| "epoch": 1.1653333333333333, |
| "grad_norm": 0.609596848487854, |
| "learning_rate": 3.50007548075948e-06, |
| "loss": 0.578, |
| "step": 1093 |
| }, |
| { |
| "epoch": 1.1663999999999999, |
| "grad_norm": 0.6260790824890137, |
| "learning_rate": 3.4974371530200312e-06, |
| "loss": 0.518, |
| "step": 1094 |
| }, |
| { |
| "epoch": 1.1674666666666667, |
| "grad_norm": 0.563435435295105, |
| "learning_rate": 3.4947975034427826e-06, |
| "loss": 0.567, |
| "step": 1095 |
| }, |
| { |
| "epoch": 1.1685333333333334, |
| "grad_norm": 0.5746175646781921, |
| "learning_rate": 3.492156535525888e-06, |
| "loss": 0.5758, |
| "step": 1096 |
| }, |
| { |
| "epoch": 1.1696, |
| "grad_norm": 0.5700274705886841, |
| "learning_rate": 3.4895142527692476e-06, |
| "loss": 0.5518, |
| "step": 1097 |
| }, |
| { |
| "epoch": 1.1706666666666667, |
| "grad_norm": 0.6294188499450684, |
| "learning_rate": 3.4868706586745047e-06, |
| "loss": 0.5335, |
| "step": 1098 |
| }, |
| { |
| "epoch": 1.1717333333333333, |
| "grad_norm": 0.5872018337249756, |
| "learning_rate": 3.484225756745042e-06, |
| "loss": 0.5412, |
| "step": 1099 |
| }, |
| { |
| "epoch": 1.1728, |
| "grad_norm": 0.6316784024238586, |
| "learning_rate": 3.481579550485973e-06, |
| "loss": 0.6288, |
| "step": 1100 |
| }, |
| { |
| "epoch": 1.1738666666666666, |
| "grad_norm": 0.553163468837738, |
| "learning_rate": 3.4789320434041395e-06, |
| "loss": 0.5515, |
| "step": 1101 |
| }, |
| { |
| "epoch": 1.1749333333333334, |
| "grad_norm": 0.6305729746818542, |
| "learning_rate": 3.5231245893177495e-06, |
| "loss": 0.5847, |
| "step": 1102 |
| }, |
| { |
| "epoch": 1.176, |
| "grad_norm": 0.6295369267463684, |
| "learning_rate": 3.5204707514216343e-06, |
| "loss": 0.5898, |
| "step": 1103 |
| }, |
| { |
| "epoch": 1.1770666666666667, |
| "grad_norm": 0.5711569786071777, |
| "learning_rate": 3.517815532978859e-06, |
| "loss": 0.5856, |
| "step": 1104 |
| }, |
| { |
| "epoch": 1.1781333333333333, |
| "grad_norm": 0.6025047302246094, |
| "learning_rate": 3.515158937581543e-06, |
| "loss": 0.6091, |
| "step": 1105 |
| }, |
| { |
| "epoch": 1.1792, |
| "grad_norm": 0.6308361291885376, |
| "learning_rate": 3.5125009688236688e-06, |
| "loss": 0.6147, |
| "step": 1106 |
| }, |
| { |
| "epoch": 1.1802666666666666, |
| "grad_norm": 0.6012118458747864, |
| "learning_rate": 3.5098416303010773e-06, |
| "loss": 0.5767, |
| "step": 1107 |
| }, |
| { |
| "epoch": 1.1813333333333333, |
| "grad_norm": 0.5999771356582642, |
| "learning_rate": 3.5071809256114614e-06, |
| "loss": 0.5755, |
| "step": 1108 |
| }, |
| { |
| "epoch": 1.1824, |
| "grad_norm": 0.6509708762168884, |
| "learning_rate": 3.5045188583543627e-06, |
| "loss": 0.5707, |
| "step": 1109 |
| }, |
| { |
| "epoch": 1.1834666666666667, |
| "grad_norm": 0.6038892865180969, |
| "learning_rate": 3.5018554321311664e-06, |
| "loss": 0.5623, |
| "step": 1110 |
| }, |
| { |
| "epoch": 1.1845333333333334, |
| "grad_norm": 0.5779822468757629, |
| "learning_rate": 3.4991906505450963e-06, |
| "loss": 0.5521, |
| "step": 1111 |
| }, |
| { |
| "epoch": 1.1856, |
| "grad_norm": 0.5952118635177612, |
| "learning_rate": 3.4965245172012087e-06, |
| "loss": 0.5343, |
| "step": 1112 |
| }, |
| { |
| "epoch": 1.1866666666666668, |
| "grad_norm": 0.5359090566635132, |
| "learning_rate": 3.4938570357063906e-06, |
| "loss": 0.5042, |
| "step": 1113 |
| }, |
| { |
| "epoch": 1.1877333333333333, |
| "grad_norm": 0.6266350150108337, |
| "learning_rate": 3.49118820966935e-06, |
| "loss": 0.5884, |
| "step": 1114 |
| }, |
| { |
| "epoch": 1.1888, |
| "grad_norm": 0.5860795974731445, |
| "learning_rate": 3.488518042700617e-06, |
| "loss": 0.5429, |
| "step": 1115 |
| }, |
| { |
| "epoch": 1.1898666666666666, |
| "grad_norm": 0.5853914022445679, |
| "learning_rate": 3.4858465384125328e-06, |
| "loss": 0.523, |
| "step": 1116 |
| }, |
| { |
| "epoch": 1.1909333333333334, |
| "grad_norm": 0.5783575177192688, |
| "learning_rate": 3.483173700419251e-06, |
| "loss": 0.5098, |
| "step": 1117 |
| }, |
| { |
| "epoch": 1.192, |
| "grad_norm": 0.5925812721252441, |
| "learning_rate": 3.4804995323367273e-06, |
| "loss": 0.5545, |
| "step": 1118 |
| }, |
| { |
| "epoch": 1.1930666666666667, |
| "grad_norm": 0.5792834758758545, |
| "learning_rate": 3.4778240377827176e-06, |
| "loss": 0.5633, |
| "step": 1119 |
| }, |
| { |
| "epoch": 1.1941333333333333, |
| "grad_norm": 0.5979787111282349, |
| "learning_rate": 3.475147220376771e-06, |
| "loss": 0.5644, |
| "step": 1120 |
| }, |
| { |
| "epoch": 1.1952, |
| "grad_norm": 0.5954440236091614, |
| "learning_rate": 3.472469083740228e-06, |
| "loss": 0.561, |
| "step": 1121 |
| }, |
| { |
| "epoch": 1.1962666666666666, |
| "grad_norm": 0.5805739760398865, |
| "learning_rate": 3.469789631496213e-06, |
| "loss": 0.5264, |
| "step": 1122 |
| }, |
| { |
| "epoch": 1.1973333333333334, |
| "grad_norm": 0.5833154916763306, |
| "learning_rate": 3.46710886726963e-06, |
| "loss": 0.5746, |
| "step": 1123 |
| }, |
| { |
| "epoch": 1.1984, |
| "grad_norm": 0.6004980802536011, |
| "learning_rate": 3.464426794687159e-06, |
| "loss": 0.561, |
| "step": 1124 |
| }, |
| { |
| "epoch": 1.1994666666666667, |
| "grad_norm": 0.6670483946800232, |
| "learning_rate": 3.461743417377249e-06, |
| "loss": 0.6466, |
| "step": 1125 |
| }, |
| { |
| "epoch": 1.2005333333333335, |
| "grad_norm": 0.5908915400505066, |
| "learning_rate": 3.4590587389701137e-06, |
| "loss": 0.5551, |
| "step": 1126 |
| }, |
| { |
| "epoch": 1.2016, |
| "grad_norm": 0.6483814716339111, |
| "learning_rate": 3.4563727630977286e-06, |
| "loss": 0.6305, |
| "step": 1127 |
| }, |
| { |
| "epoch": 1.2026666666666666, |
| "grad_norm": 0.6038757562637329, |
| "learning_rate": 3.4536854933938236e-06, |
| "loss": 0.5986, |
| "step": 1128 |
| }, |
| { |
| "epoch": 1.2037333333333333, |
| "grad_norm": 0.6044571995735168, |
| "learning_rate": 3.4509969334938777e-06, |
| "loss": 0.5966, |
| "step": 1129 |
| }, |
| { |
| "epoch": 1.2048, |
| "grad_norm": 0.6069327592849731, |
| "learning_rate": 3.448307087035117e-06, |
| "loss": 0.5391, |
| "step": 1130 |
| }, |
| { |
| "epoch": 1.2058666666666666, |
| "grad_norm": 0.5592043995857239, |
| "learning_rate": 3.4456159576565084e-06, |
| "loss": 0.5906, |
| "step": 1131 |
| }, |
| { |
| "epoch": 1.2069333333333334, |
| "grad_norm": 0.5954341888427734, |
| "learning_rate": 3.4429235489987535e-06, |
| "loss": 0.548, |
| "step": 1132 |
| }, |
| { |
| "epoch": 1.208, |
| "grad_norm": 0.6257811784744263, |
| "learning_rate": 3.4402298647042838e-06, |
| "loss": 0.6242, |
| "step": 1133 |
| }, |
| { |
| "epoch": 1.2090666666666667, |
| "grad_norm": 0.6486472487449646, |
| "learning_rate": 3.4375349084172583e-06, |
| "loss": 0.5767, |
| "step": 1134 |
| }, |
| { |
| "epoch": 1.2101333333333333, |
| "grad_norm": 0.6021019220352173, |
| "learning_rate": 3.4348386837835563e-06, |
| "loss": 0.5561, |
| "step": 1135 |
| }, |
| { |
| "epoch": 1.2112, |
| "grad_norm": 0.6502773761749268, |
| "learning_rate": 3.432141194450772e-06, |
| "loss": 0.6171, |
| "step": 1136 |
| }, |
| { |
| "epoch": 1.2122666666666666, |
| "grad_norm": 0.5636438131332397, |
| "learning_rate": 3.4294424440682115e-06, |
| "loss": 0.5407, |
| "step": 1137 |
| }, |
| { |
| "epoch": 1.2133333333333334, |
| "grad_norm": 0.6253723502159119, |
| "learning_rate": 3.4267424362868866e-06, |
| "loss": 0.5759, |
| "step": 1138 |
| }, |
| { |
| "epoch": 1.2144, |
| "grad_norm": 0.550049901008606, |
| "learning_rate": 3.4240411747595105e-06, |
| "loss": 0.5325, |
| "step": 1139 |
| }, |
| { |
| "epoch": 1.2154666666666667, |
| "grad_norm": 0.5767499208450317, |
| "learning_rate": 3.421338663140492e-06, |
| "loss": 0.5605, |
| "step": 1140 |
| }, |
| { |
| "epoch": 1.2165333333333332, |
| "grad_norm": 0.6397063732147217, |
| "learning_rate": 3.418634905085932e-06, |
| "loss": 0.6103, |
| "step": 1141 |
| }, |
| { |
| "epoch": 1.2176, |
| "grad_norm": 0.6001563668251038, |
| "learning_rate": 3.4159299042536163e-06, |
| "loss": 0.5811, |
| "step": 1142 |
| }, |
| { |
| "epoch": 1.2186666666666666, |
| "grad_norm": 0.5760254859924316, |
| "learning_rate": 3.413223664303013e-06, |
| "loss": 0.5879, |
| "step": 1143 |
| }, |
| { |
| "epoch": 1.2197333333333333, |
| "grad_norm": 0.6054921746253967, |
| "learning_rate": 3.4105161888952665e-06, |
| "loss": 0.5816, |
| "step": 1144 |
| }, |
| { |
| "epoch": 1.2208, |
| "grad_norm": 0.6112329959869385, |
| "learning_rate": 3.4078074816931916e-06, |
| "loss": 0.5309, |
| "step": 1145 |
| }, |
| { |
| "epoch": 1.2218666666666667, |
| "grad_norm": 0.5607280731201172, |
| "learning_rate": 3.40509754636127e-06, |
| "loss": 0.5498, |
| "step": 1146 |
| }, |
| { |
| "epoch": 1.2229333333333334, |
| "grad_norm": 0.6140485405921936, |
| "learning_rate": 3.402386386565647e-06, |
| "loss": 0.5414, |
| "step": 1147 |
| }, |
| { |
| "epoch": 1.224, |
| "grad_norm": 0.6261629462242126, |
| "learning_rate": 3.399674005974121e-06, |
| "loss": 0.6023, |
| "step": 1148 |
| }, |
| { |
| "epoch": 1.2250666666666667, |
| "grad_norm": 0.5713756084442139, |
| "learning_rate": 3.3969604082561434e-06, |
| "loss": 0.5292, |
| "step": 1149 |
| }, |
| { |
| "epoch": 1.2261333333333333, |
| "grad_norm": 0.548392117023468, |
| "learning_rate": 3.3942455970828146e-06, |
| "loss": 0.5054, |
| "step": 1150 |
| }, |
| { |
| "epoch": 1.2272, |
| "grad_norm": 0.6158407926559448, |
| "learning_rate": 3.3915295761268713e-06, |
| "loss": 0.569, |
| "step": 1151 |
| }, |
| { |
| "epoch": 1.2282666666666666, |
| "grad_norm": 0.5453423261642456, |
| "learning_rate": 3.3888123490626917e-06, |
| "loss": 0.5004, |
| "step": 1152 |
| }, |
| { |
| "epoch": 1.2293333333333334, |
| "grad_norm": 0.5757051706314087, |
| "learning_rate": 3.3860939195662827e-06, |
| "loss": 0.533, |
| "step": 1153 |
| }, |
| { |
| "epoch": 1.2304, |
| "grad_norm": 0.5892519950866699, |
| "learning_rate": 3.3833742913152806e-06, |
| "loss": 0.5873, |
| "step": 1154 |
| }, |
| { |
| "epoch": 1.2314666666666667, |
| "grad_norm": 0.59669029712677, |
| "learning_rate": 3.3806534679889414e-06, |
| "loss": 0.4932, |
| "step": 1155 |
| }, |
| { |
| "epoch": 1.2325333333333333, |
| "grad_norm": 0.6010440587997437, |
| "learning_rate": 3.377931453268138e-06, |
| "loss": 0.5771, |
| "step": 1156 |
| }, |
| { |
| "epoch": 1.2336, |
| "grad_norm": 0.5718351006507874, |
| "learning_rate": 3.375208250835356e-06, |
| "loss": 0.517, |
| "step": 1157 |
| }, |
| { |
| "epoch": 1.2346666666666666, |
| "grad_norm": 0.5291377305984497, |
| "learning_rate": 3.372483864374687e-06, |
| "loss": 0.5327, |
| "step": 1158 |
| }, |
| { |
| "epoch": 1.2357333333333334, |
| "grad_norm": 0.5772890448570251, |
| "learning_rate": 3.3697582975718245e-06, |
| "loss": 0.5356, |
| "step": 1159 |
| }, |
| { |
| "epoch": 1.2368000000000001, |
| "grad_norm": 0.6065099835395813, |
| "learning_rate": 3.367031554114059e-06, |
| "loss": 0.5799, |
| "step": 1160 |
| }, |
| { |
| "epoch": 1.2378666666666667, |
| "grad_norm": 0.5792447328567505, |
| "learning_rate": 3.364303637690274e-06, |
| "loss": 0.5475, |
| "step": 1161 |
| }, |
| { |
| "epoch": 1.2389333333333332, |
| "grad_norm": 0.5343523025512695, |
| "learning_rate": 3.361574551990937e-06, |
| "loss": 0.4988, |
| "step": 1162 |
| }, |
| { |
| "epoch": 1.24, |
| "grad_norm": 0.6508857607841492, |
| "learning_rate": 3.3588443007081006e-06, |
| "loss": 0.5898, |
| "step": 1163 |
| }, |
| { |
| "epoch": 1.2410666666666668, |
| "grad_norm": 0.5562260150909424, |
| "learning_rate": 3.356112887535392e-06, |
| "loss": 0.5617, |
| "step": 1164 |
| }, |
| { |
| "epoch": 1.2421333333333333, |
| "grad_norm": 0.6177778840065002, |
| "learning_rate": 3.3533803161680116e-06, |
| "loss": 0.5673, |
| "step": 1165 |
| }, |
| { |
| "epoch": 1.2432, |
| "grad_norm": 0.610817551612854, |
| "learning_rate": 3.3506465903027253e-06, |
| "loss": 0.5699, |
| "step": 1166 |
| }, |
| { |
| "epoch": 1.2442666666666666, |
| "grad_norm": 0.5545720458030701, |
| "learning_rate": 3.3479117136378617e-06, |
| "loss": 0.5444, |
| "step": 1167 |
| }, |
| { |
| "epoch": 1.2453333333333334, |
| "grad_norm": 0.5244311094284058, |
| "learning_rate": 3.3451756898733066e-06, |
| "loss": 0.5191, |
| "step": 1168 |
| }, |
| { |
| "epoch": 1.2464, |
| "grad_norm": 0.6220963001251221, |
| "learning_rate": 3.3424385227104977e-06, |
| "loss": 0.5965, |
| "step": 1169 |
| }, |
| { |
| "epoch": 1.2474666666666667, |
| "grad_norm": 0.5474932789802551, |
| "learning_rate": 3.3397002158524184e-06, |
| "loss": 0.5317, |
| "step": 1170 |
| }, |
| { |
| "epoch": 1.2485333333333333, |
| "grad_norm": 0.6420882344245911, |
| "learning_rate": 3.3369607730035943e-06, |
| "loss": 0.5363, |
| "step": 1171 |
| }, |
| { |
| "epoch": 1.2496, |
| "grad_norm": 0.6030506491661072, |
| "learning_rate": 3.334220197870089e-06, |
| "loss": 0.5432, |
| "step": 1172 |
| }, |
| { |
| "epoch": 1.2506666666666666, |
| "grad_norm": 0.5881881713867188, |
| "learning_rate": 3.331478494159497e-06, |
| "loss": 0.5965, |
| "step": 1173 |
| }, |
| { |
| "epoch": 1.2517333333333334, |
| "grad_norm": 0.6803209185600281, |
| "learning_rate": 3.328735665580939e-06, |
| "loss": 0.6573, |
| "step": 1174 |
| }, |
| { |
| "epoch": 1.2528000000000001, |
| "grad_norm": 0.617428719997406, |
| "learning_rate": 3.3259917158450595e-06, |
| "loss": 0.6006, |
| "step": 1175 |
| }, |
| { |
| "epoch": 1.2538666666666667, |
| "grad_norm": 0.5585335493087769, |
| "learning_rate": 3.323246648664017e-06, |
| "loss": 0.5383, |
| "step": 1176 |
| }, |
| { |
| "epoch": 1.2549333333333332, |
| "grad_norm": 0.621188223361969, |
| "learning_rate": 3.320500467751484e-06, |
| "loss": 0.6075, |
| "step": 1177 |
| }, |
| { |
| "epoch": 1.256, |
| "grad_norm": 0.6106104254722595, |
| "learning_rate": 3.3177531768226386e-06, |
| "loss": 0.5715, |
| "step": 1178 |
| }, |
| { |
| "epoch": 1.2570666666666668, |
| "grad_norm": 0.6492130756378174, |
| "learning_rate": 3.3150047795941615e-06, |
| "loss": 0.5863, |
| "step": 1179 |
| }, |
| { |
| "epoch": 1.2581333333333333, |
| "grad_norm": 0.6408774852752686, |
| "learning_rate": 3.312255279784229e-06, |
| "loss": 0.5389, |
| "step": 1180 |
| }, |
| { |
| "epoch": 1.2591999999999999, |
| "grad_norm": 0.6181980967521667, |
| "learning_rate": 3.3095046811125086e-06, |
| "loss": 0.5498, |
| "step": 1181 |
| }, |
| { |
| "epoch": 1.2602666666666666, |
| "grad_norm": 0.6170240044593811, |
| "learning_rate": 3.3067529873001564e-06, |
| "loss": 0.5802, |
| "step": 1182 |
| }, |
| { |
| "epoch": 1.2613333333333334, |
| "grad_norm": 0.6443089246749878, |
| "learning_rate": 3.3040002020698088e-06, |
| "loss": 0.561, |
| "step": 1183 |
| }, |
| { |
| "epoch": 1.2624, |
| "grad_norm": 0.6143125891685486, |
| "learning_rate": 3.3012463291455788e-06, |
| "loss": 0.543, |
| "step": 1184 |
| }, |
| { |
| "epoch": 1.2634666666666667, |
| "grad_norm": 0.6347858309745789, |
| "learning_rate": 3.2984913722530506e-06, |
| "loss": 0.5704, |
| "step": 1185 |
| }, |
| { |
| "epoch": 1.2645333333333333, |
| "grad_norm": 0.5513836741447449, |
| "learning_rate": 3.295735335119275e-06, |
| "loss": 0.5338, |
| "step": 1186 |
| }, |
| { |
| "epoch": 1.2656, |
| "grad_norm": 0.5678606629371643, |
| "learning_rate": 3.2929782214727657e-06, |
| "loss": 0.5114, |
| "step": 1187 |
| }, |
| { |
| "epoch": 1.2666666666666666, |
| "grad_norm": 0.6556112766265869, |
| "learning_rate": 3.2902200350434903e-06, |
| "loss": 0.5609, |
| "step": 1188 |
| }, |
| { |
| "epoch": 1.2677333333333334, |
| "grad_norm": 0.6102450489997864, |
| "learning_rate": 3.2874607795628686e-06, |
| "loss": 0.6103, |
| "step": 1189 |
| }, |
| { |
| "epoch": 1.2688, |
| "grad_norm": 0.6598638296127319, |
| "learning_rate": 3.284700458763768e-06, |
| "loss": 0.56, |
| "step": 1190 |
| }, |
| { |
| "epoch": 1.2698666666666667, |
| "grad_norm": 0.5996280312538147, |
| "learning_rate": 3.281939076380496e-06, |
| "loss": 0.5966, |
| "step": 1191 |
| }, |
| { |
| "epoch": 1.2709333333333332, |
| "grad_norm": 0.5846070051193237, |
| "learning_rate": 3.279176636148795e-06, |
| "loss": 0.5464, |
| "step": 1192 |
| }, |
| { |
| "epoch": 1.272, |
| "grad_norm": 0.6693992614746094, |
| "learning_rate": 3.276413141805842e-06, |
| "loss": 0.5893, |
| "step": 1193 |
| }, |
| { |
| "epoch": 1.2730666666666668, |
| "grad_norm": 0.6017161011695862, |
| "learning_rate": 3.2736485970902364e-06, |
| "loss": 0.5338, |
| "step": 1194 |
| }, |
| { |
| "epoch": 1.2741333333333333, |
| "grad_norm": 0.5704279541969299, |
| "learning_rate": 3.2708830057420004e-06, |
| "loss": 0.5663, |
| "step": 1195 |
| }, |
| { |
| "epoch": 1.2752, |
| "grad_norm": 0.6382817029953003, |
| "learning_rate": 3.268116371502572e-06, |
| "loss": 0.5725, |
| "step": 1196 |
| }, |
| { |
| "epoch": 1.2762666666666667, |
| "grad_norm": 0.6413946151733398, |
| "learning_rate": 3.2653486981148e-06, |
| "loss": 0.5732, |
| "step": 1197 |
| }, |
| { |
| "epoch": 1.2773333333333334, |
| "grad_norm": 0.5781510472297668, |
| "learning_rate": 3.262579989322938e-06, |
| "loss": 0.5392, |
| "step": 1198 |
| }, |
| { |
| "epoch": 1.2784, |
| "grad_norm": 0.634791374206543, |
| "learning_rate": 3.259810248872643e-06, |
| "loss": 0.5182, |
| "step": 1199 |
| }, |
| { |
| "epoch": 1.2794666666666665, |
| "grad_norm": 0.6060518026351929, |
| "learning_rate": 3.257039480510965e-06, |
| "loss": 0.5342, |
| "step": 1200 |
| }, |
| { |
| "epoch": 1.2805333333333333, |
| "grad_norm": 0.57082599401474, |
| "learning_rate": 3.2542676879863454e-06, |
| "loss": 0.5288, |
| "step": 1201 |
| }, |
| { |
| "epoch": 1.2816, |
| "grad_norm": 0.6113089919090271, |
| "learning_rate": 3.251494875048612e-06, |
| "loss": 0.5292, |
| "step": 1202 |
| }, |
| { |
| "epoch": 1.2826666666666666, |
| "grad_norm": 0.627722978591919, |
| "learning_rate": 3.2487210454489714e-06, |
| "loss": 0.5659, |
| "step": 1203 |
| }, |
| { |
| "epoch": 1.2837333333333334, |
| "grad_norm": 0.609973669052124, |
| "learning_rate": 3.2459462029400073e-06, |
| "loss": 0.5847, |
| "step": 1204 |
| }, |
| { |
| "epoch": 1.2848, |
| "grad_norm": 0.6237058043479919, |
| "learning_rate": 3.2431703512756735e-06, |
| "loss": 0.5362, |
| "step": 1205 |
| }, |
| { |
| "epoch": 1.2858666666666667, |
| "grad_norm": 0.6224337816238403, |
| "learning_rate": 3.2403934942112875e-06, |
| "loss": 0.5765, |
| "step": 1206 |
| }, |
| { |
| "epoch": 1.2869333333333333, |
| "grad_norm": 0.6581616401672363, |
| "learning_rate": 3.2376156355035283e-06, |
| "loss": 0.6254, |
| "step": 1207 |
| }, |
| { |
| "epoch": 1.288, |
| "grad_norm": 0.5871275067329407, |
| "learning_rate": 3.23483677891043e-06, |
| "loss": 0.54, |
| "step": 1208 |
| }, |
| { |
| "epoch": 1.2890666666666668, |
| "grad_norm": 0.6016267538070679, |
| "learning_rate": 3.232056928191376e-06, |
| "loss": 0.6119, |
| "step": 1209 |
| }, |
| { |
| "epoch": 1.2901333333333334, |
| "grad_norm": 0.6010908484458923, |
| "learning_rate": 3.2292760871070962e-06, |
| "loss": 0.6045, |
| "step": 1210 |
| }, |
| { |
| "epoch": 1.2912, |
| "grad_norm": 0.5557634830474854, |
| "learning_rate": 3.226494259419657e-06, |
| "loss": 0.5212, |
| "step": 1211 |
| }, |
| { |
| "epoch": 1.2922666666666667, |
| "grad_norm": 0.6151732206344604, |
| "learning_rate": 3.2237114488924633e-06, |
| "loss": 0.5861, |
| "step": 1212 |
| }, |
| { |
| "epoch": 1.2933333333333334, |
| "grad_norm": 0.620948076248169, |
| "learning_rate": 3.2209276592902473e-06, |
| "loss": 0.5649, |
| "step": 1213 |
| }, |
| { |
| "epoch": 1.2944, |
| "grad_norm": 0.6259783506393433, |
| "learning_rate": 3.2181428943790664e-06, |
| "loss": 0.6002, |
| "step": 1214 |
| }, |
| { |
| "epoch": 1.2954666666666665, |
| "grad_norm": 0.6026394367218018, |
| "learning_rate": 3.2153571579262975e-06, |
| "loss": 0.5277, |
| "step": 1215 |
| }, |
| { |
| "epoch": 1.2965333333333333, |
| "grad_norm": 0.6032781600952148, |
| "learning_rate": 3.212570453700633e-06, |
| "loss": 0.623, |
| "step": 1216 |
| }, |
| { |
| "epoch": 1.2976, |
| "grad_norm": 0.5602598786354065, |
| "learning_rate": 3.2097827854720712e-06, |
| "loss": 0.5631, |
| "step": 1217 |
| }, |
| { |
| "epoch": 1.2986666666666666, |
| "grad_norm": 0.5729973316192627, |
| "learning_rate": 3.2069941570119184e-06, |
| "loss": 0.5657, |
| "step": 1218 |
| }, |
| { |
| "epoch": 1.2997333333333334, |
| "grad_norm": 0.5725788474082947, |
| "learning_rate": 3.2042045720927775e-06, |
| "loss": 0.5152, |
| "step": 1219 |
| }, |
| { |
| "epoch": 1.3008, |
| "grad_norm": 0.5468958020210266, |
| "learning_rate": 3.201414034488546e-06, |
| "loss": 0.5585, |
| "step": 1220 |
| }, |
| { |
| "epoch": 1.3018666666666667, |
| "grad_norm": 0.6389617919921875, |
| "learning_rate": 3.198622547974411e-06, |
| "loss": 0.6183, |
| "step": 1221 |
| }, |
| { |
| "epoch": 1.3029333333333333, |
| "grad_norm": 0.5335264801979065, |
| "learning_rate": 3.1958301163268424e-06, |
| "loss": 0.4926, |
| "step": 1222 |
| }, |
| { |
| "epoch": 1.304, |
| "grad_norm": 0.6117722988128662, |
| "learning_rate": 3.1930367433235888e-06, |
| "loss": 0.6151, |
| "step": 1223 |
| }, |
| { |
| "epoch": 1.3050666666666666, |
| "grad_norm": 0.5419655442237854, |
| "learning_rate": 3.190242432743673e-06, |
| "loss": 0.5082, |
| "step": 1224 |
| }, |
| { |
| "epoch": 1.3061333333333334, |
| "grad_norm": 0.6067537069320679, |
| "learning_rate": 3.187447188367385e-06, |
| "loss": 0.607, |
| "step": 1225 |
| }, |
| { |
| "epoch": 1.3072, |
| "grad_norm": 0.6129657626152039, |
| "learning_rate": 3.1846510139762794e-06, |
| "loss": 0.5784, |
| "step": 1226 |
| }, |
| { |
| "epoch": 1.3082666666666667, |
| "grad_norm": 0.5924935340881348, |
| "learning_rate": 3.181853913353168e-06, |
| "loss": 0.5285, |
| "step": 1227 |
| }, |
| { |
| "epoch": 1.3093333333333335, |
| "grad_norm": 0.6033439040184021, |
| "learning_rate": 3.1790558902821167e-06, |
| "loss": 0.5607, |
| "step": 1228 |
| }, |
| { |
| "epoch": 1.3104, |
| "grad_norm": 0.5916463136672974, |
| "learning_rate": 3.176256948548439e-06, |
| "loss": 0.5711, |
| "step": 1229 |
| }, |
| { |
| "epoch": 1.3114666666666666, |
| "grad_norm": 0.6031509637832642, |
| "learning_rate": 3.1734570919386896e-06, |
| "loss": 0.5695, |
| "step": 1230 |
| }, |
| { |
| "epoch": 1.3125333333333333, |
| "grad_norm": 0.5542117953300476, |
| "learning_rate": 3.170656324240664e-06, |
| "loss": 0.5035, |
| "step": 1231 |
| }, |
| { |
| "epoch": 1.3136, |
| "grad_norm": 0.6933876276016235, |
| "learning_rate": 3.1678546492433864e-06, |
| "loss": 0.6144, |
| "step": 1232 |
| }, |
| { |
| "epoch": 1.3146666666666667, |
| "grad_norm": 0.6271664500236511, |
| "learning_rate": 3.1650520707371113e-06, |
| "loss": 0.6271, |
| "step": 1233 |
| }, |
| { |
| "epoch": 1.3157333333333332, |
| "grad_norm": 0.5649417638778687, |
| "learning_rate": 3.1622485925133156e-06, |
| "loss": 0.55, |
| "step": 1234 |
| }, |
| { |
| "epoch": 1.3168, |
| "grad_norm": 0.5905370712280273, |
| "learning_rate": 3.159444218364691e-06, |
| "loss": 0.5554, |
| "step": 1235 |
| }, |
| { |
| "epoch": 1.3178666666666667, |
| "grad_norm": 0.6053836941719055, |
| "learning_rate": 3.156638952085145e-06, |
| "loss": 0.645, |
| "step": 1236 |
| }, |
| { |
| "epoch": 1.3189333333333333, |
| "grad_norm": 0.6420016288757324, |
| "learning_rate": 3.1538327974697874e-06, |
| "loss": 0.6, |
| "step": 1237 |
| }, |
| { |
| "epoch": 1.32, |
| "grad_norm": 0.5797627568244934, |
| "learning_rate": 3.1510257583149332e-06, |
| "loss": 0.5514, |
| "step": 1238 |
| }, |
| { |
| "epoch": 1.3210666666666666, |
| "grad_norm": 0.5872842669487, |
| "learning_rate": 3.148217838418094e-06, |
| "loss": 0.5142, |
| "step": 1239 |
| }, |
| { |
| "epoch": 1.3221333333333334, |
| "grad_norm": 0.6135072112083435, |
| "learning_rate": 3.1454090415779705e-06, |
| "loss": 0.5592, |
| "step": 1240 |
| }, |
| { |
| "epoch": 1.3232, |
| "grad_norm": 0.5641511082649231, |
| "learning_rate": 3.1425993715944513e-06, |
| "loss": 0.5532, |
| "step": 1241 |
| }, |
| { |
| "epoch": 1.3242666666666667, |
| "grad_norm": 0.5949620604515076, |
| "learning_rate": 3.1397888322686066e-06, |
| "loss": 0.5483, |
| "step": 1242 |
| }, |
| { |
| "epoch": 1.3253333333333333, |
| "grad_norm": 0.6253963708877563, |
| "learning_rate": 3.136977427402682e-06, |
| "loss": 0.5634, |
| "step": 1243 |
| }, |
| { |
| "epoch": 1.3264, |
| "grad_norm": 0.5980871915817261, |
| "learning_rate": 3.134165160800095e-06, |
| "loss": 0.5796, |
| "step": 1244 |
| }, |
| { |
| "epoch": 1.3274666666666666, |
| "grad_norm": 0.6051768064498901, |
| "learning_rate": 3.131352036265428e-06, |
| "loss": 0.524, |
| "step": 1245 |
| }, |
| { |
| "epoch": 1.3285333333333333, |
| "grad_norm": 0.5623943209648132, |
| "learning_rate": 3.1285380576044233e-06, |
| "loss": 0.5475, |
| "step": 1246 |
| }, |
| { |
| "epoch": 1.3296000000000001, |
| "grad_norm": 0.6178256273269653, |
| "learning_rate": 3.1257232286239803e-06, |
| "loss": 0.5997, |
| "step": 1247 |
| }, |
| { |
| "epoch": 1.3306666666666667, |
| "grad_norm": 0.5775625109672546, |
| "learning_rate": 3.1229075531321485e-06, |
| "loss": 0.5755, |
| "step": 1248 |
| }, |
| { |
| "epoch": 1.3317333333333332, |
| "grad_norm": 0.5028210282325745, |
| "learning_rate": 3.120091034938122e-06, |
| "loss": 0.5279, |
| "step": 1249 |
| }, |
| { |
| "epoch": 1.3328, |
| "grad_norm": 0.5687126517295837, |
| "learning_rate": 3.117273677852235e-06, |
| "loss": 0.5128, |
| "step": 1250 |
| }, |
| { |
| "epoch": 1.3338666666666668, |
| "grad_norm": 0.5651512145996094, |
| "learning_rate": 3.1144554856859567e-06, |
| "loss": 0.5364, |
| "step": 1251 |
| }, |
| { |
| "epoch": 1.3349333333333333, |
| "grad_norm": 0.5815364718437195, |
| "learning_rate": 3.1116364622518863e-06, |
| "loss": 0.5476, |
| "step": 1252 |
| }, |
| { |
| "epoch": 1.336, |
| "grad_norm": 0.6326936483383179, |
| "learning_rate": 3.1088166113637473e-06, |
| "loss": 0.5817, |
| "step": 1253 |
| }, |
| { |
| "epoch": 1.3370666666666666, |
| "grad_norm": 0.5675243139266968, |
| "learning_rate": 3.1059959368363833e-06, |
| "loss": 0.5445, |
| "step": 1254 |
| }, |
| { |
| "epoch": 1.3381333333333334, |
| "grad_norm": 0.5498394966125488, |
| "learning_rate": 3.10317444248575e-06, |
| "loss": 0.5434, |
| "step": 1255 |
| }, |
| { |
| "epoch": 1.3392, |
| "grad_norm": 0.5967531800270081, |
| "learning_rate": 3.100352132128916e-06, |
| "loss": 0.5758, |
| "step": 1256 |
| }, |
| { |
| "epoch": 1.3402666666666667, |
| "grad_norm": 0.5276792049407959, |
| "learning_rate": 3.09752900958405e-06, |
| "loss": 0.4974, |
| "step": 1257 |
| }, |
| { |
| "epoch": 1.3413333333333333, |
| "grad_norm": 0.5854984521865845, |
| "learning_rate": 3.0947050786704213e-06, |
| "loss": 0.5368, |
| "step": 1258 |
| }, |
| { |
| "epoch": 1.3424, |
| "grad_norm": 0.5745218396186829, |
| "learning_rate": 3.0918803432083925e-06, |
| "loss": 0.5225, |
| "step": 1259 |
| }, |
| { |
| "epoch": 1.3434666666666666, |
| "grad_norm": 0.5833876729011536, |
| "learning_rate": 3.089054807019416e-06, |
| "loss": 0.5567, |
| "step": 1260 |
| }, |
| { |
| "epoch": 1.3445333333333334, |
| "grad_norm": 0.5663256049156189, |
| "learning_rate": 3.0862284739260247e-06, |
| "loss": 0.5083, |
| "step": 1261 |
| }, |
| { |
| "epoch": 1.3456000000000001, |
| "grad_norm": 0.5832214951515198, |
| "learning_rate": 3.0834013477518323e-06, |
| "loss": 0.5511, |
| "step": 1262 |
| }, |
| { |
| "epoch": 1.3466666666666667, |
| "grad_norm": 0.628870964050293, |
| "learning_rate": 3.0805734323215227e-06, |
| "loss": 0.5776, |
| "step": 1263 |
| }, |
| { |
| "epoch": 1.3477333333333332, |
| "grad_norm": 0.5693417191505432, |
| "learning_rate": 3.07774473146085e-06, |
| "loss": 0.5336, |
| "step": 1264 |
| }, |
| { |
| "epoch": 1.3488, |
| "grad_norm": 0.615167498588562, |
| "learning_rate": 3.0749152489966306e-06, |
| "loss": 0.6114, |
| "step": 1265 |
| }, |
| { |
| "epoch": 1.3498666666666668, |
| "grad_norm": 0.5708635449409485, |
| "learning_rate": 3.0720849887567362e-06, |
| "loss": 0.565, |
| "step": 1266 |
| }, |
| { |
| "epoch": 1.3509333333333333, |
| "grad_norm": 0.5854796767234802, |
| "learning_rate": 3.0692539545700934e-06, |
| "loss": 0.5246, |
| "step": 1267 |
| }, |
| { |
| "epoch": 1.3519999999999999, |
| "grad_norm": 0.6369312405586243, |
| "learning_rate": 3.066422150266674e-06, |
| "loss": 0.5496, |
| "step": 1268 |
| }, |
| { |
| "epoch": 1.3530666666666666, |
| "grad_norm": 0.5719568133354187, |
| "learning_rate": 3.0635895796774923e-06, |
| "loss": 0.5266, |
| "step": 1269 |
| }, |
| { |
| "epoch": 1.3541333333333334, |
| "grad_norm": 0.6037620902061462, |
| "learning_rate": 3.0607562466345987e-06, |
| "loss": 0.5388, |
| "step": 1270 |
| }, |
| { |
| "epoch": 1.3552, |
| "grad_norm": 0.5496617555618286, |
| "learning_rate": 3.0579221549710763e-06, |
| "loss": 0.5478, |
| "step": 1271 |
| }, |
| { |
| "epoch": 1.3562666666666667, |
| "grad_norm": 0.5807669162750244, |
| "learning_rate": 3.055087308521033e-06, |
| "loss": 0.5456, |
| "step": 1272 |
| }, |
| { |
| "epoch": 1.3573333333333333, |
| "grad_norm": 0.613358199596405, |
| "learning_rate": 3.0522517111196e-06, |
| "loss": 0.5758, |
| "step": 1273 |
| }, |
| { |
| "epoch": 1.3584, |
| "grad_norm": 0.6438480019569397, |
| "learning_rate": 3.049415366602922e-06, |
| "loss": 0.6178, |
| "step": 1274 |
| }, |
| { |
| "epoch": 1.3594666666666666, |
| "grad_norm": 0.5591219067573547, |
| "learning_rate": 3.0465782788081554e-06, |
| "loss": 0.543, |
| "step": 1275 |
| }, |
| { |
| "epoch": 1.3605333333333334, |
| "grad_norm": 0.5304659008979797, |
| "learning_rate": 3.043740451573463e-06, |
| "loss": 0.5395, |
| "step": 1276 |
| }, |
| { |
| "epoch": 1.3616, |
| "grad_norm": 0.5301405191421509, |
| "learning_rate": 3.040901888738006e-06, |
| "loss": 0.5593, |
| "step": 1277 |
| }, |
| { |
| "epoch": 1.3626666666666667, |
| "grad_norm": 0.6252367496490479, |
| "learning_rate": 3.0380625941419426e-06, |
| "loss": 0.5686, |
| "step": 1278 |
| }, |
| { |
| "epoch": 1.3637333333333332, |
| "grad_norm": 0.567630410194397, |
| "learning_rate": 3.035222571626421e-06, |
| "loss": 0.5573, |
| "step": 1279 |
| }, |
| { |
| "epoch": 1.3648, |
| "grad_norm": 0.6194931864738464, |
| "learning_rate": 3.0323818250335726e-06, |
| "loss": 0.5815, |
| "step": 1280 |
| }, |
| { |
| "epoch": 1.3658666666666668, |
| "grad_norm": 0.5967805981636047, |
| "learning_rate": 3.029540358206508e-06, |
| "loss": 0.5475, |
| "step": 1281 |
| }, |
| { |
| "epoch": 1.3669333333333333, |
| "grad_norm": 0.6195791363716125, |
| "learning_rate": 3.026698174989316e-06, |
| "loss": 0.5551, |
| "step": 1282 |
| }, |
| { |
| "epoch": 1.3679999999999999, |
| "grad_norm": 0.6347622275352478, |
| "learning_rate": 3.023855279227051e-06, |
| "loss": 0.5914, |
| "step": 1283 |
| }, |
| { |
| "epoch": 1.3690666666666667, |
| "grad_norm": 0.5529806613922119, |
| "learning_rate": 3.0210116747657315e-06, |
| "loss": 0.5872, |
| "step": 1284 |
| }, |
| { |
| "epoch": 1.3701333333333334, |
| "grad_norm": 0.5764380693435669, |
| "learning_rate": 3.018167365452336e-06, |
| "loss": 0.5859, |
| "step": 1285 |
| }, |
| { |
| "epoch": 1.3712, |
| "grad_norm": 0.6495466232299805, |
| "learning_rate": 3.0153223551347973e-06, |
| "loss": 0.6097, |
| "step": 1286 |
| }, |
| { |
| "epoch": 1.3722666666666667, |
| "grad_norm": 0.5129145979881287, |
| "learning_rate": 3.0124766476619936e-06, |
| "loss": 0.4838, |
| "step": 1287 |
| }, |
| { |
| "epoch": 1.3733333333333333, |
| "grad_norm": 0.5461344718933105, |
| "learning_rate": 3.0096302468837495e-06, |
| "loss": 0.5476, |
| "step": 1288 |
| }, |
| { |
| "epoch": 1.3744, |
| "grad_norm": 0.6183241009712219, |
| "learning_rate": 3.0067831566508254e-06, |
| "loss": 0.5931, |
| "step": 1289 |
| }, |
| { |
| "epoch": 1.3754666666666666, |
| "grad_norm": 0.5431004166603088, |
| "learning_rate": 3.0039353808149153e-06, |
| "loss": 0.5225, |
| "step": 1290 |
| }, |
| { |
| "epoch": 1.3765333333333334, |
| "grad_norm": 0.597988486289978, |
| "learning_rate": 3.001086923228641e-06, |
| "loss": 0.5609, |
| "step": 1291 |
| }, |
| { |
| "epoch": 1.3776, |
| "grad_norm": 0.6128572225570679, |
| "learning_rate": 2.9982377877455456e-06, |
| "loss": 0.5736, |
| "step": 1292 |
| }, |
| { |
| "epoch": 1.3786666666666667, |
| "grad_norm": 0.5359616279602051, |
| "learning_rate": 2.99538797822009e-06, |
| "loss": 0.5085, |
| "step": 1293 |
| }, |
| { |
| "epoch": 1.3797333333333333, |
| "grad_norm": 0.5716959238052368, |
| "learning_rate": 2.9925374985076468e-06, |
| "loss": 0.5706, |
| "step": 1294 |
| }, |
| { |
| "epoch": 1.3808, |
| "grad_norm": 0.589451789855957, |
| "learning_rate": 2.9896863524644955e-06, |
| "loss": 0.5696, |
| "step": 1295 |
| }, |
| { |
| "epoch": 1.3818666666666668, |
| "grad_norm": 0.5128101706504822, |
| "learning_rate": 2.9868345439478163e-06, |
| "loss": 0.5208, |
| "step": 1296 |
| }, |
| { |
| "epoch": 1.3829333333333333, |
| "grad_norm": 0.6228993535041809, |
| "learning_rate": 2.9839820768156867e-06, |
| "loss": 0.5682, |
| "step": 1297 |
| }, |
| { |
| "epoch": 1.384, |
| "grad_norm": 0.5027860999107361, |
| "learning_rate": 2.981128954927075e-06, |
| "loss": 0.498, |
| "step": 1298 |
| }, |
| { |
| "epoch": 1.3850666666666667, |
| "grad_norm": 0.5820503830909729, |
| "learning_rate": 2.9782751821418356e-06, |
| "loss": 0.571, |
| "step": 1299 |
| }, |
| { |
| "epoch": 1.3861333333333334, |
| "grad_norm": 0.6069969534873962, |
| "learning_rate": 2.9754207623207e-06, |
| "loss": 0.5482, |
| "step": 1300 |
| }, |
| { |
| "epoch": 1.3872, |
| "grad_norm": 0.5822513699531555, |
| "learning_rate": 2.9725656993252805e-06, |
| "loss": 0.5447, |
| "step": 1301 |
| }, |
| { |
| "epoch": 1.3882666666666665, |
| "grad_norm": 0.5825053453445435, |
| "learning_rate": 2.9697099970180565e-06, |
| "loss": 0.5511, |
| "step": 1302 |
| }, |
| { |
| "epoch": 1.3893333333333333, |
| "grad_norm": 0.6190667748451233, |
| "learning_rate": 2.966853659262372e-06, |
| "loss": 0.5433, |
| "step": 1303 |
| }, |
| { |
| "epoch": 1.3904, |
| "grad_norm": 0.5729175806045532, |
| "learning_rate": 2.963996689922432e-06, |
| "loss": 0.5552, |
| "step": 1304 |
| }, |
| { |
| "epoch": 1.3914666666666666, |
| "grad_norm": 0.5590782761573792, |
| "learning_rate": 2.9611390928632954e-06, |
| "loss": 0.5209, |
| "step": 1305 |
| }, |
| { |
| "epoch": 1.3925333333333334, |
| "grad_norm": 0.6327686309814453, |
| "learning_rate": 2.9582808719508697e-06, |
| "loss": 0.5895, |
| "step": 1306 |
| }, |
| { |
| "epoch": 1.3936, |
| "grad_norm": 0.5980751514434814, |
| "learning_rate": 2.955422031051907e-06, |
| "loss": 0.5554, |
| "step": 1307 |
| }, |
| { |
| "epoch": 1.3946666666666667, |
| "grad_norm": 0.5704339742660522, |
| "learning_rate": 2.9525625740339985e-06, |
| "loss": 0.5958, |
| "step": 1308 |
| }, |
| { |
| "epoch": 1.3957333333333333, |
| "grad_norm": 0.5839002132415771, |
| "learning_rate": 2.949702504765568e-06, |
| "loss": 0.5703, |
| "step": 1309 |
| }, |
| { |
| "epoch": 1.3968, |
| "grad_norm": 0.660755455493927, |
| "learning_rate": 2.9468418271158687e-06, |
| "loss": 0.5869, |
| "step": 1310 |
| }, |
| { |
| "epoch": 1.3978666666666666, |
| "grad_norm": 0.6481025218963623, |
| "learning_rate": 2.9439805449549753e-06, |
| "loss": 0.5898, |
| "step": 1311 |
| }, |
| { |
| "epoch": 1.3989333333333334, |
| "grad_norm": 0.5733228921890259, |
| "learning_rate": 2.941118662153782e-06, |
| "loss": 0.5441, |
| "step": 1312 |
| }, |
| { |
| "epoch": 1.4, |
| "grad_norm": 0.5833050012588501, |
| "learning_rate": 2.938256182583995e-06, |
| "loss": 0.5575, |
| "step": 1313 |
| }, |
| { |
| "epoch": 1.4010666666666667, |
| "grad_norm": 0.6129735112190247, |
| "learning_rate": 2.9353931101181265e-06, |
| "loss": 0.5687, |
| "step": 1314 |
| }, |
| { |
| "epoch": 1.4021333333333335, |
| "grad_norm": 0.54153972864151, |
| "learning_rate": 2.9325294486294933e-06, |
| "loss": 0.5408, |
| "step": 1315 |
| }, |
| { |
| "epoch": 1.4032, |
| "grad_norm": 0.5766595602035522, |
| "learning_rate": 2.9296652019922063e-06, |
| "loss": 0.5416, |
| "step": 1316 |
| }, |
| { |
| "epoch": 1.4042666666666666, |
| "grad_norm": 0.6089082956314087, |
| "learning_rate": 2.9268003740811703e-06, |
| "loss": 0.6186, |
| "step": 1317 |
| }, |
| { |
| "epoch": 1.4053333333333333, |
| "grad_norm": 0.5455739498138428, |
| "learning_rate": 2.9239349687720755e-06, |
| "loss": 0.4785, |
| "step": 1318 |
| }, |
| { |
| "epoch": 1.4064, |
| "grad_norm": 0.5785406231880188, |
| "learning_rate": 2.921068989941393e-06, |
| "loss": 0.5428, |
| "step": 1319 |
| }, |
| { |
| "epoch": 1.4074666666666666, |
| "grad_norm": 0.5553635954856873, |
| "learning_rate": 2.918202441466372e-06, |
| "loss": 0.5339, |
| "step": 1320 |
| }, |
| { |
| "epoch": 1.4085333333333334, |
| "grad_norm": 0.65394526720047, |
| "learning_rate": 2.9153353272250272e-06, |
| "loss": 0.5813, |
| "step": 1321 |
| }, |
| { |
| "epoch": 1.4096, |
| "grad_norm": 0.5980402827262878, |
| "learning_rate": 2.9124676510961447e-06, |
| "loss": 0.5877, |
| "step": 1322 |
| }, |
| { |
| "epoch": 1.4106666666666667, |
| "grad_norm": 0.5857977867126465, |
| "learning_rate": 2.9095994169592666e-06, |
| "loss": 0.5592, |
| "step": 1323 |
| }, |
| { |
| "epoch": 1.4117333333333333, |
| "grad_norm": 0.5848472118377686, |
| "learning_rate": 2.906730628694692e-06, |
| "loss": 0.558, |
| "step": 1324 |
| }, |
| { |
| "epoch": 1.4128, |
| "grad_norm": 0.5572457313537598, |
| "learning_rate": 2.9038612901834697e-06, |
| "loss": 0.5361, |
| "step": 1325 |
| }, |
| { |
| "epoch": 1.4138666666666666, |
| "grad_norm": 0.5682950615882874, |
| "learning_rate": 2.9009914053073903e-06, |
| "loss": 0.5709, |
| "step": 1326 |
| }, |
| { |
| "epoch": 1.4149333333333334, |
| "grad_norm": 0.6108357906341553, |
| "learning_rate": 2.898120977948986e-06, |
| "loss": 0.5674, |
| "step": 1327 |
| }, |
| { |
| "epoch": 1.416, |
| "grad_norm": 0.6161071062088013, |
| "learning_rate": 2.8952500119915246e-06, |
| "loss": 0.5865, |
| "step": 1328 |
| }, |
| { |
| "epoch": 1.4170666666666667, |
| "grad_norm": 0.5622226595878601, |
| "learning_rate": 2.8923785113189965e-06, |
| "loss": 0.5515, |
| "step": 1329 |
| }, |
| { |
| "epoch": 1.4181333333333335, |
| "grad_norm": 0.6264538764953613, |
| "learning_rate": 2.889506479816122e-06, |
| "loss": 0.6053, |
| "step": 1330 |
| }, |
| { |
| "epoch": 1.4192, |
| "grad_norm": 0.6347070932388306, |
| "learning_rate": 2.8866339213683362e-06, |
| "loss": 0.6111, |
| "step": 1331 |
| }, |
| { |
| "epoch": 1.4202666666666666, |
| "grad_norm": 0.6150041222572327, |
| "learning_rate": 2.883760839861787e-06, |
| "loss": 0.5758, |
| "step": 1332 |
| }, |
| { |
| "epoch": 1.4213333333333333, |
| "grad_norm": 0.6400144100189209, |
| "learning_rate": 2.880887239183332e-06, |
| "loss": 0.6189, |
| "step": 1333 |
| }, |
| { |
| "epoch": 1.4224, |
| "grad_norm": 0.5714231133460999, |
| "learning_rate": 2.878013123220528e-06, |
| "loss": 0.5363, |
| "step": 1334 |
| }, |
| { |
| "epoch": 1.4234666666666667, |
| "grad_norm": 0.5401744842529297, |
| "learning_rate": 2.8751384958616318e-06, |
| "loss": 0.5232, |
| "step": 1335 |
| }, |
| { |
| "epoch": 1.4245333333333332, |
| "grad_norm": 0.6231694221496582, |
| "learning_rate": 2.8722633609955908e-06, |
| "loss": 0.5281, |
| "step": 1336 |
| }, |
| { |
| "epoch": 1.4256, |
| "grad_norm": 0.6024305820465088, |
| "learning_rate": 2.869387722512039e-06, |
| "loss": 0.5578, |
| "step": 1337 |
| }, |
| { |
| "epoch": 1.4266666666666667, |
| "grad_norm": 0.621441125869751, |
| "learning_rate": 2.866511584301292e-06, |
| "loss": 0.5588, |
| "step": 1338 |
| }, |
| { |
| "epoch": 1.4277333333333333, |
| "grad_norm": 0.5579687356948853, |
| "learning_rate": 2.863634950254341e-06, |
| "loss": 0.5541, |
| "step": 1339 |
| }, |
| { |
| "epoch": 1.4288, |
| "grad_norm": 0.5559951663017273, |
| "learning_rate": 2.860757824262849e-06, |
| "loss": 0.5452, |
| "step": 1340 |
| }, |
| { |
| "epoch": 1.4298666666666666, |
| "grad_norm": 0.5890815854072571, |
| "learning_rate": 2.857880210219142e-06, |
| "loss": 0.5163, |
| "step": 1341 |
| }, |
| { |
| "epoch": 1.4309333333333334, |
| "grad_norm": 0.615848958492279, |
| "learning_rate": 2.8550021120162103e-06, |
| "loss": 0.534, |
| "step": 1342 |
| }, |
| { |
| "epoch": 1.432, |
| "grad_norm": 0.5641388893127441, |
| "learning_rate": 2.8521235335476956e-06, |
| "loss": 0.5262, |
| "step": 1343 |
| }, |
| { |
| "epoch": 1.4330666666666667, |
| "grad_norm": 0.6321529150009155, |
| "learning_rate": 2.849244478707891e-06, |
| "loss": 0.5626, |
| "step": 1344 |
| }, |
| { |
| "epoch": 1.4341333333333333, |
| "grad_norm": 0.6373756527900696, |
| "learning_rate": 2.8463649513917337e-06, |
| "loss": 0.6433, |
| "step": 1345 |
| }, |
| { |
| "epoch": 1.4352, |
| "grad_norm": 0.548363983631134, |
| "learning_rate": 2.8434849554947995e-06, |
| "loss": 0.5451, |
| "step": 1346 |
| }, |
| { |
| "epoch": 1.4362666666666666, |
| "grad_norm": 0.5981884002685547, |
| "learning_rate": 2.8406044949133005e-06, |
| "loss": 0.5529, |
| "step": 1347 |
| }, |
| { |
| "epoch": 1.4373333333333334, |
| "grad_norm": 0.5139580368995667, |
| "learning_rate": 2.837723573544074e-06, |
| "loss": 0.4711, |
| "step": 1348 |
| }, |
| { |
| "epoch": 1.4384000000000001, |
| "grad_norm": 0.5963191390037537, |
| "learning_rate": 2.8348421952845834e-06, |
| "loss": 0.5158, |
| "step": 1349 |
| }, |
| { |
| "epoch": 1.4394666666666667, |
| "grad_norm": 0.5751117467880249, |
| "learning_rate": 2.8319603640329097e-06, |
| "loss": 0.5556, |
| "step": 1350 |
| }, |
| { |
| "epoch": 1.4405333333333332, |
| "grad_norm": 0.6744896173477173, |
| "learning_rate": 2.829078083687744e-06, |
| "loss": 0.6334, |
| "step": 1351 |
| }, |
| { |
| "epoch": 1.4416, |
| "grad_norm": 0.5630660653114319, |
| "learning_rate": 2.826195358148389e-06, |
| "loss": 0.5926, |
| "step": 1352 |
| }, |
| { |
| "epoch": 1.4426666666666668, |
| "grad_norm": 0.5466919541358948, |
| "learning_rate": 2.8233121913147477e-06, |
| "loss": 0.5023, |
| "step": 1353 |
| }, |
| { |
| "epoch": 1.4437333333333333, |
| "grad_norm": 0.6368496417999268, |
| "learning_rate": 2.82042858708732e-06, |
| "loss": 0.6195, |
| "step": 1354 |
| }, |
| { |
| "epoch": 1.4447999999999999, |
| "grad_norm": 0.6054936647415161, |
| "learning_rate": 2.817544549367197e-06, |
| "loss": 0.5583, |
| "step": 1355 |
| }, |
| { |
| "epoch": 1.4458666666666666, |
| "grad_norm": 0.5941324830055237, |
| "learning_rate": 2.814660082056058e-06, |
| "loss": 0.5887, |
| "step": 1356 |
| }, |
| { |
| "epoch": 1.4469333333333334, |
| "grad_norm": 0.5582903623580933, |
| "learning_rate": 2.811775189056164e-06, |
| "loss": 0.5706, |
| "step": 1357 |
| }, |
| { |
| "epoch": 1.448, |
| "grad_norm": 0.5088196992874146, |
| "learning_rate": 2.8088898742703473e-06, |
| "loss": 0.5344, |
| "step": 1358 |
| }, |
| { |
| "epoch": 1.4490666666666667, |
| "grad_norm": 0.5669221878051758, |
| "learning_rate": 2.8060041416020164e-06, |
| "loss": 0.5809, |
| "step": 1359 |
| }, |
| { |
| "epoch": 1.4501333333333333, |
| "grad_norm": 0.6101093888282776, |
| "learning_rate": 2.8031179949551408e-06, |
| "loss": 0.5787, |
| "step": 1360 |
| }, |
| { |
| "epoch": 1.4512, |
| "grad_norm": 0.6305686235427856, |
| "learning_rate": 2.800231438234253e-06, |
| "loss": 0.5854, |
| "step": 1361 |
| }, |
| { |
| "epoch": 1.4522666666666666, |
| "grad_norm": 0.5828922390937805, |
| "learning_rate": 2.7973444753444396e-06, |
| "loss": 0.5666, |
| "step": 1362 |
| }, |
| { |
| "epoch": 1.4533333333333334, |
| "grad_norm": 0.5642648935317993, |
| "learning_rate": 2.794457110191335e-06, |
| "loss": 0.5465, |
| "step": 1363 |
| }, |
| { |
| "epoch": 1.4544000000000001, |
| "grad_norm": 0.5725633502006531, |
| "learning_rate": 2.7915693466811204e-06, |
| "loss": 0.56, |
| "step": 1364 |
| }, |
| { |
| "epoch": 1.4554666666666667, |
| "grad_norm": 0.5330065488815308, |
| "learning_rate": 2.7886811887205146e-06, |
| "loss": 0.5079, |
| "step": 1365 |
| }, |
| { |
| "epoch": 1.4565333333333332, |
| "grad_norm": 0.5477259755134583, |
| "learning_rate": 2.7857926402167685e-06, |
| "loss": 0.4838, |
| "step": 1366 |
| }, |
| { |
| "epoch": 1.4576, |
| "grad_norm": 0.5837104320526123, |
| "learning_rate": 2.7829037050776643e-06, |
| "loss": 0.5621, |
| "step": 1367 |
| }, |
| { |
| "epoch": 1.4586666666666668, |
| "grad_norm": 0.5974380373954773, |
| "learning_rate": 2.780014387211505e-06, |
| "loss": 0.5783, |
| "step": 1368 |
| }, |
| { |
| "epoch": 1.4597333333333333, |
| "grad_norm": 0.6537115573883057, |
| "learning_rate": 2.777124690527112e-06, |
| "loss": 0.6369, |
| "step": 1369 |
| }, |
| { |
| "epoch": 1.4607999999999999, |
| "grad_norm": 0.6045864224433899, |
| "learning_rate": 2.774234618933821e-06, |
| "loss": 0.5734, |
| "step": 1370 |
| }, |
| { |
| "epoch": 1.4618666666666666, |
| "grad_norm": 0.5617974996566772, |
| "learning_rate": 2.771344176341472e-06, |
| "loss": 0.4951, |
| "step": 1371 |
| }, |
| { |
| "epoch": 1.4629333333333334, |
| "grad_norm": 0.5908352136611938, |
| "learning_rate": 2.768453366660408e-06, |
| "loss": 0.5441, |
| "step": 1372 |
| }, |
| { |
| "epoch": 1.464, |
| "grad_norm": 0.5348447561264038, |
| "learning_rate": 2.765562193801469e-06, |
| "loss": 0.5175, |
| "step": 1373 |
| }, |
| { |
| "epoch": 1.4650666666666667, |
| "grad_norm": 0.5878811478614807, |
| "learning_rate": 2.7626706616759874e-06, |
| "loss": 0.5889, |
| "step": 1374 |
| }, |
| { |
| "epoch": 1.4661333333333333, |
| "grad_norm": 0.5517585277557373, |
| "learning_rate": 2.7597787741957786e-06, |
| "loss": 0.5116, |
| "step": 1375 |
| }, |
| { |
| "epoch": 1.4672, |
| "grad_norm": 0.5685011744499207, |
| "learning_rate": 2.756886535273142e-06, |
| "loss": 0.5656, |
| "step": 1376 |
| }, |
| { |
| "epoch": 1.4682666666666666, |
| "grad_norm": 0.6189650893211365, |
| "learning_rate": 2.75399394882085e-06, |
| "loss": 0.6365, |
| "step": 1377 |
| }, |
| { |
| "epoch": 1.4693333333333334, |
| "grad_norm": 0.597507119178772, |
| "learning_rate": 2.7511010187521465e-06, |
| "loss": 0.5914, |
| "step": 1378 |
| }, |
| { |
| "epoch": 1.4704, |
| "grad_norm": 0.5608368515968323, |
| "learning_rate": 2.748207748980741e-06, |
| "loss": 0.585, |
| "step": 1379 |
| }, |
| { |
| "epoch": 1.4714666666666667, |
| "grad_norm": 0.6263598799705505, |
| "learning_rate": 2.7453141434207987e-06, |
| "loss": 0.5832, |
| "step": 1380 |
| }, |
| { |
| "epoch": 1.4725333333333332, |
| "grad_norm": 0.6032932996749878, |
| "learning_rate": 2.742420205986944e-06, |
| "loss": 0.6122, |
| "step": 1381 |
| }, |
| { |
| "epoch": 1.4736, |
| "grad_norm": 0.6083922386169434, |
| "learning_rate": 2.739525940594247e-06, |
| "loss": 0.5379, |
| "step": 1382 |
| }, |
| { |
| "epoch": 1.4746666666666668, |
| "grad_norm": 0.6012508869171143, |
| "learning_rate": 2.7366313511582233e-06, |
| "loss": 0.5463, |
| "step": 1383 |
| }, |
| { |
| "epoch": 1.4757333333333333, |
| "grad_norm": 0.622545063495636, |
| "learning_rate": 2.7337364415948265e-06, |
| "loss": 0.5225, |
| "step": 1384 |
| }, |
| { |
| "epoch": 1.4768, |
| "grad_norm": 0.6588039994239807, |
| "learning_rate": 2.7308412158204423e-06, |
| "loss": 0.6246, |
| "step": 1385 |
| }, |
| { |
| "epoch": 1.4778666666666667, |
| "grad_norm": 0.6048028469085693, |
| "learning_rate": 2.727945677751884e-06, |
| "loss": 0.5552, |
| "step": 1386 |
| }, |
| { |
| "epoch": 1.4789333333333334, |
| "grad_norm": 0.583180844783783, |
| "learning_rate": 2.7250498313063906e-06, |
| "loss": 0.5482, |
| "step": 1387 |
| }, |
| { |
| "epoch": 1.48, |
| "grad_norm": 0.6495665907859802, |
| "learning_rate": 2.722153680401615e-06, |
| "loss": 0.6283, |
| "step": 1388 |
| }, |
| { |
| "epoch": 1.4810666666666665, |
| "grad_norm": 0.6740365028381348, |
| "learning_rate": 2.7192572289556207e-06, |
| "loss": 0.6066, |
| "step": 1389 |
| }, |
| { |
| "epoch": 1.4821333333333333, |
| "grad_norm": 0.6036199331283569, |
| "learning_rate": 2.7163604808868826e-06, |
| "loss": 0.5584, |
| "step": 1390 |
| }, |
| { |
| "epoch": 1.4832, |
| "grad_norm": 0.5816176533699036, |
| "learning_rate": 2.7134634401142735e-06, |
| "loss": 0.6032, |
| "step": 1391 |
| }, |
| { |
| "epoch": 1.4842666666666666, |
| "grad_norm": 0.6142483353614807, |
| "learning_rate": 2.710566110557062e-06, |
| "loss": 0.555, |
| "step": 1392 |
| }, |
| { |
| "epoch": 1.4853333333333334, |
| "grad_norm": 0.5987225770950317, |
| "learning_rate": 2.7076684961349103e-06, |
| "loss": 0.5658, |
| "step": 1393 |
| }, |
| { |
| "epoch": 1.4864, |
| "grad_norm": 0.5604981780052185, |
| "learning_rate": 2.7047706007678633e-06, |
| "loss": 0.5524, |
| "step": 1394 |
| }, |
| { |
| "epoch": 1.4874666666666667, |
| "grad_norm": 0.5303362607955933, |
| "learning_rate": 2.7018724283763455e-06, |
| "loss": 0.5465, |
| "step": 1395 |
| }, |
| { |
| "epoch": 1.4885333333333333, |
| "grad_norm": 0.5550576448440552, |
| "learning_rate": 2.6989739828811584e-06, |
| "loss": 0.5554, |
| "step": 1396 |
| }, |
| { |
| "epoch": 1.4896, |
| "grad_norm": 0.5684102773666382, |
| "learning_rate": 2.6960752682034725e-06, |
| "loss": 0.5551, |
| "step": 1397 |
| }, |
| { |
| "epoch": 1.4906666666666666, |
| "grad_norm": 0.636640191078186, |
| "learning_rate": 2.6931762882648205e-06, |
| "loss": 0.5986, |
| "step": 1398 |
| }, |
| { |
| "epoch": 1.4917333333333334, |
| "grad_norm": 0.5733447074890137, |
| "learning_rate": 2.6902770469870965e-06, |
| "loss": 0.5677, |
| "step": 1399 |
| }, |
| { |
| "epoch": 1.4928, |
| "grad_norm": 0.5313457250595093, |
| "learning_rate": 2.6873775482925463e-06, |
| "loss": 0.5198, |
| "step": 1400 |
| }, |
| { |
| "epoch": 1.4938666666666667, |
| "grad_norm": 0.5723292827606201, |
| "learning_rate": 2.6844777961037656e-06, |
| "loss": 0.5526, |
| "step": 1401 |
| }, |
| { |
| "epoch": 1.4949333333333334, |
| "grad_norm": 0.561348557472229, |
| "learning_rate": 2.6815777943436917e-06, |
| "loss": 0.5332, |
| "step": 1402 |
| }, |
| { |
| "epoch": 1.496, |
| "grad_norm": 0.5647664070129395, |
| "learning_rate": 2.6786775469355995e-06, |
| "loss": 0.5747, |
| "step": 1403 |
| }, |
| { |
| "epoch": 1.4970666666666665, |
| "grad_norm": 0.5964372754096985, |
| "learning_rate": 2.675777057803097e-06, |
| "loss": 0.5414, |
| "step": 1404 |
| }, |
| { |
| "epoch": 1.4981333333333333, |
| "grad_norm": 0.5979411602020264, |
| "learning_rate": 2.672876330870118e-06, |
| "loss": 0.5653, |
| "step": 1405 |
| }, |
| { |
| "epoch": 1.4992, |
| "grad_norm": 0.5671616792678833, |
| "learning_rate": 2.669975370060921e-06, |
| "loss": 0.5783, |
| "step": 1406 |
| }, |
| { |
| "epoch": 1.5002666666666666, |
| "grad_norm": 0.6468378305435181, |
| "learning_rate": 2.667074179300077e-06, |
| "loss": 0.578, |
| "step": 1407 |
| }, |
| { |
| "epoch": 1.5013333333333332, |
| "grad_norm": 0.5652937889099121, |
| "learning_rate": 2.66417276251247e-06, |
| "loss": 0.5299, |
| "step": 1408 |
| }, |
| { |
| "epoch": 1.5024, |
| "grad_norm": 0.5694491863250732, |
| "learning_rate": 2.6612711236232915e-06, |
| "loss": 0.5261, |
| "step": 1409 |
| }, |
| { |
| "epoch": 1.5034666666666667, |
| "grad_norm": 0.6151190996170044, |
| "learning_rate": 2.658369266558029e-06, |
| "loss": 0.5699, |
| "step": 1410 |
| }, |
| { |
| "epoch": 1.5045333333333333, |
| "grad_norm": 0.6188161373138428, |
| "learning_rate": 2.6554671952424695e-06, |
| "loss": 0.5797, |
| "step": 1411 |
| }, |
| { |
| "epoch": 1.5056, |
| "grad_norm": 0.6171818971633911, |
| "learning_rate": 2.6525649136026876e-06, |
| "loss": 0.5979, |
| "step": 1412 |
| }, |
| { |
| "epoch": 1.5066666666666668, |
| "grad_norm": 0.6753449440002441, |
| "learning_rate": 2.649662425565043e-06, |
| "loss": 0.6719, |
| "step": 1413 |
| }, |
| { |
| "epoch": 1.5077333333333334, |
| "grad_norm": 0.5502130389213562, |
| "learning_rate": 2.6467597350561756e-06, |
| "loss": 0.5173, |
| "step": 1414 |
| }, |
| { |
| "epoch": 1.5088, |
| "grad_norm": 0.5752622485160828, |
| "learning_rate": 2.6438568460029965e-06, |
| "loss": 0.5525, |
| "step": 1415 |
| }, |
| { |
| "epoch": 1.5098666666666667, |
| "grad_norm": 0.5953404307365417, |
| "learning_rate": 2.6409537623326887e-06, |
| "loss": 0.5647, |
| "step": 1416 |
| }, |
| { |
| "epoch": 1.5109333333333335, |
| "grad_norm": 0.5768327713012695, |
| "learning_rate": 2.6380504879726965e-06, |
| "loss": 0.5207, |
| "step": 1417 |
| }, |
| { |
| "epoch": 1.512, |
| "grad_norm": 0.6140506267547607, |
| "learning_rate": 2.635147026850721e-06, |
| "loss": 0.5664, |
| "step": 1418 |
| }, |
| { |
| "epoch": 1.5130666666666666, |
| "grad_norm": 0.5980311632156372, |
| "learning_rate": 2.6322433828947196e-06, |
| "loss": 0.5344, |
| "step": 1419 |
| }, |
| { |
| "epoch": 1.5141333333333333, |
| "grad_norm": 0.5670979022979736, |
| "learning_rate": 2.629339560032895e-06, |
| "loss": 0.5424, |
| "step": 1420 |
| }, |
| { |
| "epoch": 1.5152, |
| "grad_norm": 0.5901089906692505, |
| "learning_rate": 2.6264355621936898e-06, |
| "loss": 0.5537, |
| "step": 1421 |
| }, |
| { |
| "epoch": 1.5162666666666667, |
| "grad_norm": 0.62852942943573, |
| "learning_rate": 2.6235313933057876e-06, |
| "loss": 0.5699, |
| "step": 1422 |
| }, |
| { |
| "epoch": 1.5173333333333332, |
| "grad_norm": 0.5507748126983643, |
| "learning_rate": 2.6206270572981007e-06, |
| "loss": 0.5258, |
| "step": 1423 |
| }, |
| { |
| "epoch": 1.5184, |
| "grad_norm": 0.5639006495475769, |
| "learning_rate": 2.617722558099768e-06, |
| "loss": 0.5339, |
| "step": 1424 |
| }, |
| { |
| "epoch": 1.5194666666666667, |
| "grad_norm": 0.6298571228981018, |
| "learning_rate": 2.614817899640149e-06, |
| "loss": 0.6025, |
| "step": 1425 |
| }, |
| { |
| "epoch": 1.5205333333333333, |
| "grad_norm": 0.630781888961792, |
| "learning_rate": 2.6119130858488188e-06, |
| "loss": 0.5554, |
| "step": 1426 |
| }, |
| { |
| "epoch": 1.5215999999999998, |
| "grad_norm": 0.626796543598175, |
| "learning_rate": 2.609008120655563e-06, |
| "loss": 0.5481, |
| "step": 1427 |
| }, |
| { |
| "epoch": 1.5226666666666666, |
| "grad_norm": 0.527982771396637, |
| "learning_rate": 2.606103007990371e-06, |
| "loss": 0.5081, |
| "step": 1428 |
| }, |
| { |
| "epoch": 1.5237333333333334, |
| "grad_norm": 0.5887176394462585, |
| "learning_rate": 2.6031977517834334e-06, |
| "loss": 0.5289, |
| "step": 1429 |
| }, |
| { |
| "epoch": 1.5248, |
| "grad_norm": 0.5766338109970093, |
| "learning_rate": 2.6002923559651337e-06, |
| "loss": 0.5627, |
| "step": 1430 |
| }, |
| { |
| "epoch": 1.5258666666666667, |
| "grad_norm": 0.5629610419273376, |
| "learning_rate": 2.597386824466046e-06, |
| "loss": 0.4782, |
| "step": 1431 |
| }, |
| { |
| "epoch": 1.5269333333333335, |
| "grad_norm": 0.6010608077049255, |
| "learning_rate": 2.594481161216924e-06, |
| "loss": 0.5652, |
| "step": 1432 |
| }, |
| { |
| "epoch": 1.528, |
| "grad_norm": 0.6217585206031799, |
| "learning_rate": 2.5915753701487035e-06, |
| "loss": 0.5635, |
| "step": 1433 |
| }, |
| { |
| "epoch": 1.5290666666666666, |
| "grad_norm": 0.5369071960449219, |
| "learning_rate": 2.5886694551924918e-06, |
| "loss": 0.4899, |
| "step": 1434 |
| }, |
| { |
| "epoch": 1.5301333333333333, |
| "grad_norm": 0.5586481690406799, |
| "learning_rate": 2.5857634202795647e-06, |
| "loss": 0.5422, |
| "step": 1435 |
| }, |
| { |
| "epoch": 1.5312000000000001, |
| "grad_norm": 0.5488178730010986, |
| "learning_rate": 2.582857269341358e-06, |
| "loss": 0.5127, |
| "step": 1436 |
| }, |
| { |
| "epoch": 1.5322666666666667, |
| "grad_norm": 0.542677104473114, |
| "learning_rate": 2.5799510063094667e-06, |
| "loss": 0.5194, |
| "step": 1437 |
| }, |
| { |
| "epoch": 1.5333333333333332, |
| "grad_norm": 0.5384035110473633, |
| "learning_rate": 2.5770446351156377e-06, |
| "loss": 0.5067, |
| "step": 1438 |
| }, |
| { |
| "epoch": 1.5344, |
| "grad_norm": 0.5888073444366455, |
| "learning_rate": 2.5741381596917626e-06, |
| "loss": 0.5154, |
| "step": 1439 |
| }, |
| { |
| "epoch": 1.5354666666666668, |
| "grad_norm": 0.565727949142456, |
| "learning_rate": 2.571231583969874e-06, |
| "loss": 0.5375, |
| "step": 1440 |
| }, |
| { |
| "epoch": 1.5365333333333333, |
| "grad_norm": 0.5694854259490967, |
| "learning_rate": 2.5683249118821406e-06, |
| "loss": 0.5312, |
| "step": 1441 |
| }, |
| { |
| "epoch": 1.5375999999999999, |
| "grad_norm": 0.6007062196731567, |
| "learning_rate": 2.565418147360863e-06, |
| "loss": 0.5393, |
| "step": 1442 |
| }, |
| { |
| "epoch": 1.5386666666666666, |
| "grad_norm": 0.6185889840126038, |
| "learning_rate": 2.562511294338465e-06, |
| "loss": 0.5779, |
| "step": 1443 |
| }, |
| { |
| "epoch": 1.5397333333333334, |
| "grad_norm": 0.5803970098495483, |
| "learning_rate": 2.5596043567474902e-06, |
| "loss": 0.5505, |
| "step": 1444 |
| }, |
| { |
| "epoch": 1.5408, |
| "grad_norm": 0.5489518642425537, |
| "learning_rate": 2.5566973385205986e-06, |
| "loss": 0.5049, |
| "step": 1445 |
| }, |
| { |
| "epoch": 1.5418666666666667, |
| "grad_norm": 0.5375267863273621, |
| "learning_rate": 2.553790243590556e-06, |
| "loss": 0.5543, |
| "step": 1446 |
| }, |
| { |
| "epoch": 1.5429333333333335, |
| "grad_norm": 0.5545782446861267, |
| "learning_rate": 2.5508830758902347e-06, |
| "loss": 0.5322, |
| "step": 1447 |
| }, |
| { |
| "epoch": 1.544, |
| "grad_norm": 0.5754210948944092, |
| "learning_rate": 2.5479758393526043e-06, |
| "loss": 0.5381, |
| "step": 1448 |
| }, |
| { |
| "epoch": 1.5450666666666666, |
| "grad_norm": 0.5682605504989624, |
| "learning_rate": 2.5450685379107282e-06, |
| "loss": 0.5625, |
| "step": 1449 |
| }, |
| { |
| "epoch": 1.5461333333333334, |
| "grad_norm": 0.5629562735557556, |
| "learning_rate": 2.542161175497756e-06, |
| "loss": 0.5745, |
| "step": 1450 |
| }, |
| { |
| "epoch": 1.5472000000000001, |
| "grad_norm": 0.5552952289581299, |
| "learning_rate": 2.539253756046922e-06, |
| "loss": 0.535, |
| "step": 1451 |
| }, |
| { |
| "epoch": 1.5482666666666667, |
| "grad_norm": 0.6384092569351196, |
| "learning_rate": 2.536346283491537e-06, |
| "loss": 0.5963, |
| "step": 1452 |
| }, |
| { |
| "epoch": 1.5493333333333332, |
| "grad_norm": 0.6080561280250549, |
| "learning_rate": 2.5334387617649818e-06, |
| "loss": 0.5594, |
| "step": 1453 |
| }, |
| { |
| "epoch": 1.5504, |
| "grad_norm": 0.6004402041435242, |
| "learning_rate": 2.5305311948007066e-06, |
| "loss": 0.5867, |
| "step": 1454 |
| }, |
| { |
| "epoch": 1.5514666666666668, |
| "grad_norm": 0.6241918802261353, |
| "learning_rate": 2.52762358653222e-06, |
| "loss": 0.6169, |
| "step": 1455 |
| }, |
| { |
| "epoch": 1.5525333333333333, |
| "grad_norm": 0.5842376351356506, |
| "learning_rate": 2.524715940893088e-06, |
| "loss": 0.5636, |
| "step": 1456 |
| }, |
| { |
| "epoch": 1.5535999999999999, |
| "grad_norm": 0.6381618976593018, |
| "learning_rate": 2.521808261816928e-06, |
| "loss": 0.5538, |
| "step": 1457 |
| }, |
| { |
| "epoch": 1.5546666666666666, |
| "grad_norm": 0.625495970249176, |
| "learning_rate": 2.5189005532374012e-06, |
| "loss": 0.5771, |
| "step": 1458 |
| }, |
| { |
| "epoch": 1.5557333333333334, |
| "grad_norm": 0.5967257022857666, |
| "learning_rate": 2.5159928190882088e-06, |
| "loss": 0.5942, |
| "step": 1459 |
| }, |
| { |
| "epoch": 1.5568, |
| "grad_norm": 0.612021803855896, |
| "learning_rate": 2.5130850633030873e-06, |
| "loss": 0.5271, |
| "step": 1460 |
| }, |
| { |
| "epoch": 1.5578666666666665, |
| "grad_norm": 0.5938337445259094, |
| "learning_rate": 2.5101772898158022e-06, |
| "loss": 0.5082, |
| "step": 1461 |
| }, |
| { |
| "epoch": 1.5589333333333333, |
| "grad_norm": 0.5558522939682007, |
| "learning_rate": 2.5072695025601423e-06, |
| "loss": 0.5294, |
| "step": 1462 |
| }, |
| { |
| "epoch": 1.56, |
| "grad_norm": 0.6162985563278198, |
| "learning_rate": 2.504361705469916e-06, |
| "loss": 0.6187, |
| "step": 1463 |
| }, |
| { |
| "epoch": 1.5610666666666666, |
| "grad_norm": 0.5782329440116882, |
| "learning_rate": 2.5014539024789446e-06, |
| "loss": 0.5533, |
| "step": 1464 |
| }, |
| { |
| "epoch": 1.5621333333333334, |
| "grad_norm": 0.5703573226928711, |
| "learning_rate": 2.4985460975210567e-06, |
| "loss": 0.5387, |
| "step": 1465 |
| }, |
| { |
| "epoch": 1.5632000000000001, |
| "grad_norm": 0.6725596785545349, |
| "learning_rate": 2.4956382945300843e-06, |
| "loss": 0.6073, |
| "step": 1466 |
| }, |
| { |
| "epoch": 1.5642666666666667, |
| "grad_norm": 0.6670015454292297, |
| "learning_rate": 2.4927304974398586e-06, |
| "loss": 0.5871, |
| "step": 1467 |
| }, |
| { |
| "epoch": 1.5653333333333332, |
| "grad_norm": 0.5434366464614868, |
| "learning_rate": 2.4898227101841986e-06, |
| "loss": 0.5338, |
| "step": 1468 |
| }, |
| { |
| "epoch": 1.5664, |
| "grad_norm": 0.6429566144943237, |
| "learning_rate": 2.4869149366969135e-06, |
| "loss": 0.5838, |
| "step": 1469 |
| }, |
| { |
| "epoch": 1.5674666666666668, |
| "grad_norm": 0.5906824469566345, |
| "learning_rate": 2.4840071809117916e-06, |
| "loss": 0.5331, |
| "step": 1470 |
| }, |
| { |
| "epoch": 1.5685333333333333, |
| "grad_norm": 0.623287558555603, |
| "learning_rate": 2.4810994467626e-06, |
| "loss": 0.606, |
| "step": 1471 |
| }, |
| { |
| "epoch": 1.5695999999999999, |
| "grad_norm": 0.6085667014122009, |
| "learning_rate": 2.4781917381830723e-06, |
| "loss": 0.5523, |
| "step": 1472 |
| }, |
| { |
| "epoch": 1.5706666666666667, |
| "grad_norm": 0.6562735438346863, |
| "learning_rate": 2.4752840591069126e-06, |
| "loss": 0.6112, |
| "step": 1473 |
| }, |
| { |
| "epoch": 1.5717333333333334, |
| "grad_norm": 0.5980086922645569, |
| "learning_rate": 2.472376413467781e-06, |
| "loss": 0.5555, |
| "step": 1474 |
| }, |
| { |
| "epoch": 1.5728, |
| "grad_norm": 0.5889531373977661, |
| "learning_rate": 2.469468805199294e-06, |
| "loss": 0.617, |
| "step": 1475 |
| }, |
| { |
| "epoch": 1.5738666666666665, |
| "grad_norm": 0.5733875036239624, |
| "learning_rate": 2.466561238235019e-06, |
| "loss": 0.5223, |
| "step": 1476 |
| }, |
| { |
| "epoch": 1.5749333333333333, |
| "grad_norm": 0.6267130970954895, |
| "learning_rate": 2.4636537165084633e-06, |
| "loss": 0.6074, |
| "step": 1477 |
| }, |
| { |
| "epoch": 1.576, |
| "grad_norm": 0.6109331846237183, |
| "learning_rate": 2.4607462439530782e-06, |
| "loss": 0.5412, |
| "step": 1478 |
| }, |
| { |
| "epoch": 1.5770666666666666, |
| "grad_norm": 0.605431854724884, |
| "learning_rate": 2.4578388245022438e-06, |
| "loss": 0.5341, |
| "step": 1479 |
| }, |
| { |
| "epoch": 1.5781333333333334, |
| "grad_norm": 0.6023809313774109, |
| "learning_rate": 2.4549314620892726e-06, |
| "loss": 0.5271, |
| "step": 1480 |
| }, |
| { |
| "epoch": 1.5792000000000002, |
| "grad_norm": 0.5738220810890198, |
| "learning_rate": 2.4520241606473957e-06, |
| "loss": 0.5314, |
| "step": 1481 |
| }, |
| { |
| "epoch": 1.5802666666666667, |
| "grad_norm": 0.5869870185852051, |
| "learning_rate": 2.449116924109766e-06, |
| "loss": 0.5681, |
| "step": 1482 |
| }, |
| { |
| "epoch": 1.5813333333333333, |
| "grad_norm": 0.558468759059906, |
| "learning_rate": 2.446209756409445e-06, |
| "loss": 0.5304, |
| "step": 1483 |
| }, |
| { |
| "epoch": 1.5824, |
| "grad_norm": 0.59517502784729, |
| "learning_rate": 2.443302661479403e-06, |
| "loss": 0.5392, |
| "step": 1484 |
| }, |
| { |
| "epoch": 1.5834666666666668, |
| "grad_norm": 0.5444238185882568, |
| "learning_rate": 2.44039564325251e-06, |
| "loss": 0.5085, |
| "step": 1485 |
| }, |
| { |
| "epoch": 1.5845333333333333, |
| "grad_norm": 0.6041073799133301, |
| "learning_rate": 2.4374887056615365e-06, |
| "loss": 0.5822, |
| "step": 1486 |
| }, |
| { |
| "epoch": 1.5856, |
| "grad_norm": 0.6188609600067139, |
| "learning_rate": 2.434581852639138e-06, |
| "loss": 0.549, |
| "step": 1487 |
| }, |
| { |
| "epoch": 1.5866666666666667, |
| "grad_norm": 0.6117807626724243, |
| "learning_rate": 2.4316750881178606e-06, |
| "loss": 0.5803, |
| "step": 1488 |
| }, |
| { |
| "epoch": 1.5877333333333334, |
| "grad_norm": 0.5755393505096436, |
| "learning_rate": 2.4287684160301274e-06, |
| "loss": 0.4977, |
| "step": 1489 |
| }, |
| { |
| "epoch": 1.5888, |
| "grad_norm": 0.6143332719802856, |
| "learning_rate": 2.4258618403082387e-06, |
| "loss": 0.5848, |
| "step": 1490 |
| }, |
| { |
| "epoch": 1.5898666666666665, |
| "grad_norm": 0.5907071232795715, |
| "learning_rate": 2.422955364884363e-06, |
| "loss": 0.5859, |
| "step": 1491 |
| }, |
| { |
| "epoch": 1.5909333333333333, |
| "grad_norm": 0.6694046258926392, |
| "learning_rate": 2.4200489936905337e-06, |
| "loss": 0.6358, |
| "step": 1492 |
| }, |
| { |
| "epoch": 1.592, |
| "grad_norm": 0.5815695524215698, |
| "learning_rate": 2.417142730658643e-06, |
| "loss": 0.5578, |
| "step": 1493 |
| }, |
| { |
| "epoch": 1.5930666666666666, |
| "grad_norm": 0.5996785163879395, |
| "learning_rate": 2.4142365797204357e-06, |
| "loss": 0.587, |
| "step": 1494 |
| }, |
| { |
| "epoch": 1.5941333333333332, |
| "grad_norm": 0.552546501159668, |
| "learning_rate": 2.4113305448075086e-06, |
| "loss": 0.5244, |
| "step": 1495 |
| }, |
| { |
| "epoch": 1.5952, |
| "grad_norm": 0.5738987922668457, |
| "learning_rate": 2.408424629851297e-06, |
| "loss": 0.5525, |
| "step": 1496 |
| }, |
| { |
| "epoch": 1.5962666666666667, |
| "grad_norm": 0.6112881302833557, |
| "learning_rate": 2.405518838783077e-06, |
| "loss": 0.6014, |
| "step": 1497 |
| }, |
| { |
| "epoch": 1.5973333333333333, |
| "grad_norm": 0.5724321007728577, |
| "learning_rate": 2.402613175533955e-06, |
| "loss": 0.572, |
| "step": 1498 |
| }, |
| { |
| "epoch": 1.5984, |
| "grad_norm": 0.6388633847236633, |
| "learning_rate": 2.3997076440348667e-06, |
| "loss": 0.6075, |
| "step": 1499 |
| }, |
| { |
| "epoch": 1.5994666666666668, |
| "grad_norm": 0.5861961841583252, |
| "learning_rate": 2.3968022482165666e-06, |
| "loss": 0.5114, |
| "step": 1500 |
| }, |
| { |
| "epoch": 1.6005333333333334, |
| "grad_norm": 0.6288614273071289, |
| "learning_rate": 2.39389699200963e-06, |
| "loss": 0.564, |
| "step": 1501 |
| }, |
| { |
| "epoch": 1.6016, |
| "grad_norm": 0.5873380303382874, |
| "learning_rate": 2.390991879344438e-06, |
| "loss": 0.5814, |
| "step": 1502 |
| }, |
| { |
| "epoch": 1.6026666666666667, |
| "grad_norm": 0.5955636501312256, |
| "learning_rate": 2.3880869141511825e-06, |
| "loss": 0.5838, |
| "step": 1503 |
| }, |
| { |
| "epoch": 1.6037333333333335, |
| "grad_norm": 0.5858679413795471, |
| "learning_rate": 2.3851821003598517e-06, |
| "loss": 0.5719, |
| "step": 1504 |
| }, |
| { |
| "epoch": 1.6048, |
| "grad_norm": 0.56053227186203, |
| "learning_rate": 2.3822774419002332e-06, |
| "loss": 0.4845, |
| "step": 1505 |
| }, |
| { |
| "epoch": 1.6058666666666666, |
| "grad_norm": 0.6437355279922485, |
| "learning_rate": 2.3793729427019e-06, |
| "loss": 0.625, |
| "step": 1506 |
| }, |
| { |
| "epoch": 1.6069333333333333, |
| "grad_norm": 0.5867210626602173, |
| "learning_rate": 2.3764686066942132e-06, |
| "loss": 0.5374, |
| "step": 1507 |
| }, |
| { |
| "epoch": 1.608, |
| "grad_norm": 0.573719322681427, |
| "learning_rate": 2.3735644378063107e-06, |
| "loss": 0.504, |
| "step": 1508 |
| }, |
| { |
| "epoch": 1.6090666666666666, |
| "grad_norm": 0.5808039903640747, |
| "learning_rate": 2.3706604399671064e-06, |
| "loss": 0.5358, |
| "step": 1509 |
| }, |
| { |
| "epoch": 1.6101333333333332, |
| "grad_norm": 0.6083292961120605, |
| "learning_rate": 2.3677566171052808e-06, |
| "loss": 0.5265, |
| "step": 1510 |
| }, |
| { |
| "epoch": 1.6112, |
| "grad_norm": 0.5882713794708252, |
| "learning_rate": 2.3648529731492785e-06, |
| "loss": 0.5532, |
| "step": 1511 |
| }, |
| { |
| "epoch": 1.6122666666666667, |
| "grad_norm": 0.6440022587776184, |
| "learning_rate": 2.3619495120273043e-06, |
| "loss": 0.5935, |
| "step": 1512 |
| }, |
| { |
| "epoch": 1.6133333333333333, |
| "grad_norm": 0.5920600295066833, |
| "learning_rate": 2.3590462376673113e-06, |
| "loss": 0.5721, |
| "step": 1513 |
| }, |
| { |
| "epoch": 1.6143999999999998, |
| "grad_norm": 0.6095946431159973, |
| "learning_rate": 2.356143153997004e-06, |
| "loss": 0.5104, |
| "step": 1514 |
| }, |
| { |
| "epoch": 1.6154666666666668, |
| "grad_norm": 0.6113899350166321, |
| "learning_rate": 2.353240264943825e-06, |
| "loss": 0.5479, |
| "step": 1515 |
| }, |
| { |
| "epoch": 1.6165333333333334, |
| "grad_norm": 0.5968347787857056, |
| "learning_rate": 2.3503375744349572e-06, |
| "loss": 0.51, |
| "step": 1516 |
| }, |
| { |
| "epoch": 1.6176, |
| "grad_norm": 0.6478811502456665, |
| "learning_rate": 2.3474350863973124e-06, |
| "loss": 0.5873, |
| "step": 1517 |
| }, |
| { |
| "epoch": 1.6186666666666667, |
| "grad_norm": 0.5636304020881653, |
| "learning_rate": 2.344532804757531e-06, |
| "loss": 0.544, |
| "step": 1518 |
| }, |
| { |
| "epoch": 1.6197333333333335, |
| "grad_norm": 0.6070194244384766, |
| "learning_rate": 2.341630733441971e-06, |
| "loss": 0.5963, |
| "step": 1519 |
| }, |
| { |
| "epoch": 1.6208, |
| "grad_norm": 0.585229754447937, |
| "learning_rate": 2.3387288763767097e-06, |
| "loss": 0.5309, |
| "step": 1520 |
| }, |
| { |
| "epoch": 1.6218666666666666, |
| "grad_norm": 0.6294019222259521, |
| "learning_rate": 2.3358272374875303e-06, |
| "loss": 0.5926, |
| "step": 1521 |
| }, |
| { |
| "epoch": 1.6229333333333333, |
| "grad_norm": 0.6481665372848511, |
| "learning_rate": 2.3329258206999243e-06, |
| "loss": 0.6008, |
| "step": 1522 |
| }, |
| { |
| "epoch": 1.624, |
| "grad_norm": 0.5666581392288208, |
| "learning_rate": 2.33002462993908e-06, |
| "loss": 0.5431, |
| "step": 1523 |
| }, |
| { |
| "epoch": 1.6250666666666667, |
| "grad_norm": 0.6154401898384094, |
| "learning_rate": 2.327123669129883e-06, |
| "loss": 0.6362, |
| "step": 1524 |
| }, |
| { |
| "epoch": 1.6261333333333332, |
| "grad_norm": 0.6251190304756165, |
| "learning_rate": 2.324222942196904e-06, |
| "loss": 0.5731, |
| "step": 1525 |
| }, |
| { |
| "epoch": 1.6272, |
| "grad_norm": 0.6081116795539856, |
| "learning_rate": 2.3213224530644018e-06, |
| "loss": 0.5826, |
| "step": 1526 |
| }, |
| { |
| "epoch": 1.6282666666666668, |
| "grad_norm": 0.5585058331489563, |
| "learning_rate": 2.318422205656309e-06, |
| "loss": 0.4776, |
| "step": 1527 |
| }, |
| { |
| "epoch": 1.6293333333333333, |
| "grad_norm": 0.5804232954978943, |
| "learning_rate": 2.3155222038962353e-06, |
| "loss": 0.5381, |
| "step": 1528 |
| }, |
| { |
| "epoch": 1.6303999999999998, |
| "grad_norm": 0.6176146268844604, |
| "learning_rate": 2.312622451707454e-06, |
| "loss": 0.6286, |
| "step": 1529 |
| }, |
| { |
| "epoch": 1.6314666666666666, |
| "grad_norm": 0.5866295099258423, |
| "learning_rate": 2.3097229530129035e-06, |
| "loss": 0.5495, |
| "step": 1530 |
| }, |
| { |
| "epoch": 1.6325333333333334, |
| "grad_norm": 0.6173415184020996, |
| "learning_rate": 2.3068237117351804e-06, |
| "loss": 0.5729, |
| "step": 1531 |
| }, |
| { |
| "epoch": 1.6336, |
| "grad_norm": 0.6096200942993164, |
| "learning_rate": 2.303924731796528e-06, |
| "loss": 0.554, |
| "step": 1532 |
| }, |
| { |
| "epoch": 1.6346666666666667, |
| "grad_norm": 0.5972051620483398, |
| "learning_rate": 2.301026017118842e-06, |
| "loss": 0.5715, |
| "step": 1533 |
| }, |
| { |
| "epoch": 1.6357333333333335, |
| "grad_norm": 0.5724682807922363, |
| "learning_rate": 2.298127571623655e-06, |
| "loss": 0.561, |
| "step": 1534 |
| }, |
| { |
| "epoch": 1.6368, |
| "grad_norm": 0.5236764550209045, |
| "learning_rate": 2.2952293992321375e-06, |
| "loss": 0.5126, |
| "step": 1535 |
| }, |
| { |
| "epoch": 1.6378666666666666, |
| "grad_norm": 0.5955392718315125, |
| "learning_rate": 2.29233150386509e-06, |
| "loss": 0.5749, |
| "step": 1536 |
| }, |
| { |
| "epoch": 1.6389333333333334, |
| "grad_norm": 0.5955274701118469, |
| "learning_rate": 2.2894338894429386e-06, |
| "loss": 0.5798, |
| "step": 1537 |
| }, |
| { |
| "epoch": 1.6400000000000001, |
| "grad_norm": 0.630774199962616, |
| "learning_rate": 2.2865365598857273e-06, |
| "loss": 0.5668, |
| "step": 1538 |
| }, |
| { |
| "epoch": 1.6410666666666667, |
| "grad_norm": 0.5916664600372314, |
| "learning_rate": 2.2836395191131186e-06, |
| "loss": 0.5589, |
| "step": 1539 |
| }, |
| { |
| "epoch": 1.6421333333333332, |
| "grad_norm": 0.6529306173324585, |
| "learning_rate": 2.2807427710443797e-06, |
| "loss": 0.5827, |
| "step": 1540 |
| }, |
| { |
| "epoch": 1.6432, |
| "grad_norm": 0.5903279185295105, |
| "learning_rate": 2.277846319598387e-06, |
| "loss": 0.5822, |
| "step": 1541 |
| }, |
| { |
| "epoch": 1.6442666666666668, |
| "grad_norm": 0.5168103575706482, |
| "learning_rate": 2.27495016869361e-06, |
| "loss": 0.487, |
| "step": 1542 |
| }, |
| { |
| "epoch": 1.6453333333333333, |
| "grad_norm": 0.6075484752655029, |
| "learning_rate": 2.272054322248116e-06, |
| "loss": 0.5914, |
| "step": 1543 |
| }, |
| { |
| "epoch": 1.6463999999999999, |
| "grad_norm": 0.5778329968452454, |
| "learning_rate": 2.2691587841795585e-06, |
| "loss": 0.5359, |
| "step": 1544 |
| }, |
| { |
| "epoch": 1.6474666666666666, |
| "grad_norm": 0.5688116550445557, |
| "learning_rate": 2.2662635584051748e-06, |
| "loss": 0.5628, |
| "step": 1545 |
| }, |
| { |
| "epoch": 1.6485333333333334, |
| "grad_norm": 0.5901572108268738, |
| "learning_rate": 2.263368648841777e-06, |
| "loss": 0.5779, |
| "step": 1546 |
| }, |
| { |
| "epoch": 1.6496, |
| "grad_norm": 0.5749793648719788, |
| "learning_rate": 2.260474059405754e-06, |
| "loss": 0.6267, |
| "step": 1547 |
| }, |
| { |
| "epoch": 1.6506666666666665, |
| "grad_norm": 0.6205683350563049, |
| "learning_rate": 2.257579794013057e-06, |
| "loss": 0.5193, |
| "step": 1548 |
| }, |
| { |
| "epoch": 1.6517333333333335, |
| "grad_norm": 0.6277090311050415, |
| "learning_rate": 2.254685856579202e-06, |
| "loss": 0.5645, |
| "step": 1549 |
| }, |
| { |
| "epoch": 1.6528, |
| "grad_norm": 0.5938338041305542, |
| "learning_rate": 2.2517922510192604e-06, |
| "loss": 0.5645, |
| "step": 1550 |
| }, |
| { |
| "epoch": 1.6538666666666666, |
| "grad_norm": 0.5444108843803406, |
| "learning_rate": 2.2488989812478535e-06, |
| "loss": 0.568, |
| "step": 1551 |
| }, |
| { |
| "epoch": 1.6549333333333334, |
| "grad_norm": 0.5699042677879333, |
| "learning_rate": 2.2460060511791506e-06, |
| "loss": 0.5546, |
| "step": 1552 |
| }, |
| { |
| "epoch": 1.6560000000000001, |
| "grad_norm": 0.6253505945205688, |
| "learning_rate": 2.243113464726858e-06, |
| "loss": 0.5508, |
| "step": 1553 |
| }, |
| { |
| "epoch": 1.6570666666666667, |
| "grad_norm": 0.5595110654830933, |
| "learning_rate": 2.2402212258042218e-06, |
| "loss": 0.5491, |
| "step": 1554 |
| }, |
| { |
| "epoch": 1.6581333333333332, |
| "grad_norm": 0.5147233009338379, |
| "learning_rate": 2.2373293383240126e-06, |
| "loss": 0.5529, |
| "step": 1555 |
| }, |
| { |
| "epoch": 1.6592, |
| "grad_norm": 0.5705822110176086, |
| "learning_rate": 2.2344378061985313e-06, |
| "loss": 0.5601, |
| "step": 1556 |
| }, |
| { |
| "epoch": 1.6602666666666668, |
| "grad_norm": 0.5533824563026428, |
| "learning_rate": 2.2315466333395927e-06, |
| "loss": 0.5223, |
| "step": 1557 |
| }, |
| { |
| "epoch": 1.6613333333333333, |
| "grad_norm": 0.5866848230361938, |
| "learning_rate": 2.228655823658529e-06, |
| "loss": 0.5752, |
| "step": 1558 |
| }, |
| { |
| "epoch": 1.6623999999999999, |
| "grad_norm": 0.5550838708877563, |
| "learning_rate": 2.2257653810661796e-06, |
| "loss": 0.5599, |
| "step": 1559 |
| }, |
| { |
| "epoch": 1.6634666666666666, |
| "grad_norm": 0.5565953254699707, |
| "learning_rate": 2.222875309472889e-06, |
| "loss": 0.535, |
| "step": 1560 |
| }, |
| { |
| "epoch": 1.6645333333333334, |
| "grad_norm": 0.5838174819946289, |
| "learning_rate": 2.219985612788496e-06, |
| "loss": 0.5599, |
| "step": 1561 |
| }, |
| { |
| "epoch": 1.6656, |
| "grad_norm": 0.5580055713653564, |
| "learning_rate": 2.217096294922337e-06, |
| "loss": 0.5753, |
| "step": 1562 |
| }, |
| { |
| "epoch": 1.6666666666666665, |
| "grad_norm": 0.5744698643684387, |
| "learning_rate": 2.214207359783232e-06, |
| "loss": 0.5895, |
| "step": 1563 |
| }, |
| { |
| "epoch": 1.6677333333333333, |
| "grad_norm": 0.596702516078949, |
| "learning_rate": 2.2113188112794866e-06, |
| "loss": 0.5496, |
| "step": 1564 |
| }, |
| { |
| "epoch": 1.6688, |
| "grad_norm": 0.5423305630683899, |
| "learning_rate": 2.20843065331888e-06, |
| "loss": 0.5191, |
| "step": 1565 |
| }, |
| { |
| "epoch": 1.6698666666666666, |
| "grad_norm": 0.588824450969696, |
| "learning_rate": 2.205542889808665e-06, |
| "loss": 0.5475, |
| "step": 1566 |
| }, |
| { |
| "epoch": 1.6709333333333334, |
| "grad_norm": 0.6162691712379456, |
| "learning_rate": 2.2026555246555613e-06, |
| "loss": 0.5537, |
| "step": 1567 |
| }, |
| { |
| "epoch": 1.6720000000000002, |
| "grad_norm": 0.6036542057991028, |
| "learning_rate": 2.199768561765747e-06, |
| "loss": 0.5487, |
| "step": 1568 |
| }, |
| { |
| "epoch": 1.6730666666666667, |
| "grad_norm": 0.5802077054977417, |
| "learning_rate": 2.1968820050448596e-06, |
| "loss": 0.5237, |
| "step": 1569 |
| }, |
| { |
| "epoch": 1.6741333333333333, |
| "grad_norm": 0.5785837173461914, |
| "learning_rate": 2.193995858397984e-06, |
| "loss": 0.5497, |
| "step": 1570 |
| }, |
| { |
| "epoch": 1.6752, |
| "grad_norm": 0.5940715074539185, |
| "learning_rate": 2.191110125729653e-06, |
| "loss": 0.5667, |
| "step": 1571 |
| }, |
| { |
| "epoch": 1.6762666666666668, |
| "grad_norm": 0.6194994449615479, |
| "learning_rate": 2.188224810943837e-06, |
| "loss": 0.513, |
| "step": 1572 |
| }, |
| { |
| "epoch": 1.6773333333333333, |
| "grad_norm": 0.5260475873947144, |
| "learning_rate": 2.1853399179439423e-06, |
| "loss": 0.4972, |
| "step": 1573 |
| }, |
| { |
| "epoch": 1.6784, |
| "grad_norm": 0.5759393572807312, |
| "learning_rate": 2.1824554506328033e-06, |
| "loss": 0.5446, |
| "step": 1574 |
| }, |
| { |
| "epoch": 1.6794666666666667, |
| "grad_norm": 0.5640266537666321, |
| "learning_rate": 2.1795714129126817e-06, |
| "loss": 0.5462, |
| "step": 1575 |
| }, |
| { |
| "epoch": 1.6805333333333334, |
| "grad_norm": 0.6233800649642944, |
| "learning_rate": 2.176687808685253e-06, |
| "loss": 0.5639, |
| "step": 1576 |
| }, |
| { |
| "epoch": 1.6816, |
| "grad_norm": 0.5555598735809326, |
| "learning_rate": 2.173804641851612e-06, |
| "loss": 0.5529, |
| "step": 1577 |
| }, |
| { |
| "epoch": 1.6826666666666665, |
| "grad_norm": 0.587116003036499, |
| "learning_rate": 2.1709219163122567e-06, |
| "loss": 0.5352, |
| "step": 1578 |
| }, |
| { |
| "epoch": 1.6837333333333333, |
| "grad_norm": 0.6128495931625366, |
| "learning_rate": 2.168039635967092e-06, |
| "loss": 0.5953, |
| "step": 1579 |
| }, |
| { |
| "epoch": 1.6848, |
| "grad_norm": 0.5667166709899902, |
| "learning_rate": 2.1651578047154174e-06, |
| "loss": 0.521, |
| "step": 1580 |
| }, |
| { |
| "epoch": 1.6858666666666666, |
| "grad_norm": 0.6210879683494568, |
| "learning_rate": 2.162276426455927e-06, |
| "loss": 0.6026, |
| "step": 1581 |
| }, |
| { |
| "epoch": 1.6869333333333332, |
| "grad_norm": 0.5297496914863586, |
| "learning_rate": 2.1593955050867003e-06, |
| "loss": 0.4871, |
| "step": 1582 |
| }, |
| { |
| "epoch": 1.688, |
| "grad_norm": 0.5662011504173279, |
| "learning_rate": 2.1565150445052017e-06, |
| "loss": 0.5339, |
| "step": 1583 |
| }, |
| { |
| "epoch": 1.6890666666666667, |
| "grad_norm": 0.5975602865219116, |
| "learning_rate": 2.1536350486082676e-06, |
| "loss": 0.5782, |
| "step": 1584 |
| }, |
| { |
| "epoch": 1.6901333333333333, |
| "grad_norm": 0.56111741065979, |
| "learning_rate": 2.1507555212921096e-06, |
| "loss": 0.5576, |
| "step": 1585 |
| }, |
| { |
| "epoch": 1.6912, |
| "grad_norm": 0.5528186559677124, |
| "learning_rate": 2.147876466452305e-06, |
| "loss": 0.5327, |
| "step": 1586 |
| }, |
| { |
| "epoch": 1.6922666666666668, |
| "grad_norm": 0.6013805866241455, |
| "learning_rate": 2.1449978879837905e-06, |
| "loss": 0.5531, |
| "step": 1587 |
| }, |
| { |
| "epoch": 1.6933333333333334, |
| "grad_norm": 0.5632591843605042, |
| "learning_rate": 2.142119789780859e-06, |
| "loss": 0.49, |
| "step": 1588 |
| }, |
| { |
| "epoch": 1.6944, |
| "grad_norm": 0.54252028465271, |
| "learning_rate": 2.1392421757371516e-06, |
| "loss": 0.4976, |
| "step": 1589 |
| }, |
| { |
| "epoch": 1.6954666666666667, |
| "grad_norm": 0.6163222789764404, |
| "learning_rate": 2.1363650497456594e-06, |
| "loss": 0.6014, |
| "step": 1590 |
| }, |
| { |
| "epoch": 1.6965333333333334, |
| "grad_norm": 0.6067668795585632, |
| "learning_rate": 2.1334884156987077e-06, |
| "loss": 0.5583, |
| "step": 1591 |
| }, |
| { |
| "epoch": 1.6976, |
| "grad_norm": 0.5589525103569031, |
| "learning_rate": 2.1306122774879616e-06, |
| "loss": 0.5328, |
| "step": 1592 |
| }, |
| { |
| "epoch": 1.6986666666666665, |
| "grad_norm": 0.5535843968391418, |
| "learning_rate": 2.1277366390044092e-06, |
| "loss": 0.5653, |
| "step": 1593 |
| }, |
| { |
| "epoch": 1.6997333333333333, |
| "grad_norm": 0.58413165807724, |
| "learning_rate": 2.1248615041383686e-06, |
| "loss": 0.5558, |
| "step": 1594 |
| }, |
| { |
| "epoch": 1.7008, |
| "grad_norm": 0.610386073589325, |
| "learning_rate": 2.1219868767794728e-06, |
| "loss": 0.6098, |
| "step": 1595 |
| }, |
| { |
| "epoch": 1.7018666666666666, |
| "grad_norm": 0.5764549374580383, |
| "learning_rate": 2.1191127608166697e-06, |
| "loss": 0.5681, |
| "step": 1596 |
| }, |
| { |
| "epoch": 1.7029333333333332, |
| "grad_norm": 0.5602437257766724, |
| "learning_rate": 2.1162391601382133e-06, |
| "loss": 0.5222, |
| "step": 1597 |
| }, |
| { |
| "epoch": 1.704, |
| "grad_norm": 0.5438634157180786, |
| "learning_rate": 2.113366078631665e-06, |
| "loss": 0.5212, |
| "step": 1598 |
| }, |
| { |
| "epoch": 1.7050666666666667, |
| "grad_norm": 0.6134042739868164, |
| "learning_rate": 2.1104935201838783e-06, |
| "loss": 0.5327, |
| "step": 1599 |
| }, |
| { |
| "epoch": 1.7061333333333333, |
| "grad_norm": 0.5315368175506592, |
| "learning_rate": 2.1076214886810043e-06, |
| "loss": 0.5293, |
| "step": 1600 |
| }, |
| { |
| "epoch": 1.7072, |
| "grad_norm": 0.6189311742782593, |
| "learning_rate": 2.1047499880084767e-06, |
| "loss": 0.6269, |
| "step": 1601 |
| }, |
| { |
| "epoch": 1.7082666666666668, |
| "grad_norm": 0.6537549495697021, |
| "learning_rate": 2.1018790220510143e-06, |
| "loss": 0.5708, |
| "step": 1602 |
| }, |
| { |
| "epoch": 1.7093333333333334, |
| "grad_norm": 0.6436859369277954, |
| "learning_rate": 2.0990085946926106e-06, |
| "loss": 0.6062, |
| "step": 1603 |
| }, |
| { |
| "epoch": 1.7104, |
| "grad_norm": 0.6070958375930786, |
| "learning_rate": 2.0961387098165307e-06, |
| "loss": 0.5983, |
| "step": 1604 |
| }, |
| { |
| "epoch": 1.7114666666666667, |
| "grad_norm": 0.5917964577674866, |
| "learning_rate": 2.0932693713053083e-06, |
| "loss": 0.5728, |
| "step": 1605 |
| }, |
| { |
| "epoch": 1.7125333333333335, |
| "grad_norm": 0.5708195567131042, |
| "learning_rate": 2.090400583040733e-06, |
| "loss": 0.5575, |
| "step": 1606 |
| }, |
| { |
| "epoch": 1.7136, |
| "grad_norm": 0.5541338324546814, |
| "learning_rate": 2.087532348903856e-06, |
| "loss": 0.5596, |
| "step": 1607 |
| }, |
| { |
| "epoch": 1.7146666666666666, |
| "grad_norm": 0.5562179684638977, |
| "learning_rate": 2.0846646727749723e-06, |
| "loss": 0.5212, |
| "step": 1608 |
| }, |
| { |
| "epoch": 1.7157333333333333, |
| "grad_norm": 0.5486186742782593, |
| "learning_rate": 2.081797558533629e-06, |
| "loss": 0.5481, |
| "step": 1609 |
| }, |
| { |
| "epoch": 1.7168, |
| "grad_norm": 0.6275199055671692, |
| "learning_rate": 2.0789310100586072e-06, |
| "loss": 0.5627, |
| "step": 1610 |
| }, |
| { |
| "epoch": 1.7178666666666667, |
| "grad_norm": 0.598376989364624, |
| "learning_rate": 2.0760650312279258e-06, |
| "loss": 0.5565, |
| "step": 1611 |
| }, |
| { |
| "epoch": 1.7189333333333332, |
| "grad_norm": 0.6304999589920044, |
| "learning_rate": 2.07319962591883e-06, |
| "loss": 0.5653, |
| "step": 1612 |
| }, |
| { |
| "epoch": 1.72, |
| "grad_norm": 0.6116060614585876, |
| "learning_rate": 2.070334798007795e-06, |
| "loss": 0.5139, |
| "step": 1613 |
| }, |
| { |
| "epoch": 1.7210666666666667, |
| "grad_norm": 0.6468369364738464, |
| "learning_rate": 2.067470551370508e-06, |
| "loss": 0.5809, |
| "step": 1614 |
| }, |
| { |
| "epoch": 1.7221333333333333, |
| "grad_norm": 0.5918450355529785, |
| "learning_rate": 2.064606889881875e-06, |
| "loss": 0.5498, |
| "step": 1615 |
| }, |
| { |
| "epoch": 1.7231999999999998, |
| "grad_norm": 0.6250776648521423, |
| "learning_rate": 2.0617438174160055e-06, |
| "loss": 0.5768, |
| "step": 1616 |
| }, |
| { |
| "epoch": 1.7242666666666666, |
| "grad_norm": 0.6208653450012207, |
| "learning_rate": 2.0588813378462184e-06, |
| "loss": 0.5406, |
| "step": 1617 |
| }, |
| { |
| "epoch": 1.7253333333333334, |
| "grad_norm": 0.698184609413147, |
| "learning_rate": 2.056019455045025e-06, |
| "loss": 0.5264, |
| "step": 1618 |
| }, |
| { |
| "epoch": 1.7264, |
| "grad_norm": 0.568439245223999, |
| "learning_rate": 2.0531581728841325e-06, |
| "loss": 0.498, |
| "step": 1619 |
| }, |
| { |
| "epoch": 1.7274666666666667, |
| "grad_norm": 0.605999767780304, |
| "learning_rate": 2.0502974952344325e-06, |
| "loss": 0.5633, |
| "step": 1620 |
| }, |
| { |
| "epoch": 1.7285333333333335, |
| "grad_norm": 0.6371756196022034, |
| "learning_rate": 2.047437425966001e-06, |
| "loss": 0.6079, |
| "step": 1621 |
| }, |
| { |
| "epoch": 1.7296, |
| "grad_norm": 0.6485066413879395, |
| "learning_rate": 2.0445779689480933e-06, |
| "loss": 0.5817, |
| "step": 1622 |
| }, |
| { |
| "epoch": 1.7306666666666666, |
| "grad_norm": 0.6326406598091125, |
| "learning_rate": 2.0417191280491307e-06, |
| "loss": 0.5696, |
| "step": 1623 |
| }, |
| { |
| "epoch": 1.7317333333333333, |
| "grad_norm": 0.6030905842781067, |
| "learning_rate": 2.038860907136705e-06, |
| "loss": 0.5922, |
| "step": 1624 |
| }, |
| { |
| "epoch": 1.7328000000000001, |
| "grad_norm": 0.6086179614067078, |
| "learning_rate": 2.036003310077568e-06, |
| "loss": 0.5335, |
| "step": 1625 |
| }, |
| { |
| "epoch": 1.7338666666666667, |
| "grad_norm": 0.6221082806587219, |
| "learning_rate": 2.0331463407376285e-06, |
| "loss": 0.5841, |
| "step": 1626 |
| }, |
| { |
| "epoch": 1.7349333333333332, |
| "grad_norm": 0.5252853631973267, |
| "learning_rate": 2.030290002981944e-06, |
| "loss": 0.4904, |
| "step": 1627 |
| }, |
| { |
| "epoch": 1.736, |
| "grad_norm": 0.5745863914489746, |
| "learning_rate": 2.0274343006747204e-06, |
| "loss": 0.5198, |
| "step": 1628 |
| }, |
| { |
| "epoch": 1.7370666666666668, |
| "grad_norm": 0.6417500376701355, |
| "learning_rate": 2.0245792376793e-06, |
| "loss": 0.5329, |
| "step": 1629 |
| }, |
| { |
| "epoch": 1.7381333333333333, |
| "grad_norm": 0.6605126857757568, |
| "learning_rate": 2.021724817858166e-06, |
| "loss": 0.5759, |
| "step": 1630 |
| }, |
| { |
| "epoch": 1.7391999999999999, |
| "grad_norm": 0.5531045198440552, |
| "learning_rate": 2.0188710450729255e-06, |
| "loss": 0.5173, |
| "step": 1631 |
| }, |
| { |
| "epoch": 1.7402666666666666, |
| "grad_norm": 0.5425867438316345, |
| "learning_rate": 2.0160179231843137e-06, |
| "loss": 0.549, |
| "step": 1632 |
| }, |
| { |
| "epoch": 1.7413333333333334, |
| "grad_norm": 0.5674037337303162, |
| "learning_rate": 2.0131654560521845e-06, |
| "loss": 0.5354, |
| "step": 1633 |
| }, |
| { |
| "epoch": 1.7424, |
| "grad_norm": 0.6070069074630737, |
| "learning_rate": 2.010313647535506e-06, |
| "loss": 0.5754, |
| "step": 1634 |
| }, |
| { |
| "epoch": 1.7434666666666667, |
| "grad_norm": 0.5280061364173889, |
| "learning_rate": 2.007462501492354e-06, |
| "loss": 0.5004, |
| "step": 1635 |
| }, |
| { |
| "epoch": 1.7445333333333335, |
| "grad_norm": 0.5902109742164612, |
| "learning_rate": 2.0046120217799112e-06, |
| "loss": 0.5976, |
| "step": 1636 |
| }, |
| { |
| "epoch": 1.7456, |
| "grad_norm": 0.5465067625045776, |
| "learning_rate": 2.001762212254455e-06, |
| "loss": 0.526, |
| "step": 1637 |
| }, |
| { |
| "epoch": 1.7466666666666666, |
| "grad_norm": 0.5972843170166016, |
| "learning_rate": 1.99891307677136e-06, |
| "loss": 0.5517, |
| "step": 1638 |
| }, |
| { |
| "epoch": 1.7477333333333334, |
| "grad_norm": 0.5676629543304443, |
| "learning_rate": 1.9960646191850855e-06, |
| "loss": 0.5114, |
| "step": 1639 |
| }, |
| { |
| "epoch": 1.7488000000000001, |
| "grad_norm": 0.5720435976982117, |
| "learning_rate": 1.993216843349175e-06, |
| "loss": 0.5975, |
| "step": 1640 |
| }, |
| { |
| "epoch": 1.7498666666666667, |
| "grad_norm": 0.5782079100608826, |
| "learning_rate": 1.9903697531162514e-06, |
| "loss": 0.6049, |
| "step": 1641 |
| }, |
| { |
| "epoch": 1.7509333333333332, |
| "grad_norm": 0.599057674407959, |
| "learning_rate": 1.987523352338007e-06, |
| "loss": 0.5477, |
| "step": 1642 |
| }, |
| { |
| "epoch": 1.752, |
| "grad_norm": 0.6098547577857971, |
| "learning_rate": 1.9846776448652035e-06, |
| "loss": 0.585, |
| "step": 1643 |
| }, |
| { |
| "epoch": 1.7530666666666668, |
| "grad_norm": 0.5915402173995972, |
| "learning_rate": 1.981832634547664e-06, |
| "loss": 0.5712, |
| "step": 1644 |
| }, |
| { |
| "epoch": 1.7541333333333333, |
| "grad_norm": 0.6109204292297363, |
| "learning_rate": 1.9789883252342693e-06, |
| "loss": 0.6344, |
| "step": 1645 |
| }, |
| { |
| "epoch": 1.7551999999999999, |
| "grad_norm": 0.5946940779685974, |
| "learning_rate": 1.97614472077295e-06, |
| "loss": 0.5864, |
| "step": 1646 |
| }, |
| { |
| "epoch": 1.7562666666666666, |
| "grad_norm": 0.5739620923995972, |
| "learning_rate": 1.973301825010685e-06, |
| "loss": 0.619, |
| "step": 1647 |
| }, |
| { |
| "epoch": 1.7573333333333334, |
| "grad_norm": 0.5794653296470642, |
| "learning_rate": 1.9704596417934925e-06, |
| "loss": 0.5708, |
| "step": 1648 |
| }, |
| { |
| "epoch": 1.7584, |
| "grad_norm": 0.5760328769683838, |
| "learning_rate": 1.967618174966429e-06, |
| "loss": 0.5834, |
| "step": 1649 |
| }, |
| { |
| "epoch": 1.7594666666666665, |
| "grad_norm": 0.6612114310264587, |
| "learning_rate": 1.9647774283735797e-06, |
| "loss": 0.5478, |
| "step": 1650 |
| }, |
| { |
| "epoch": 1.7605333333333333, |
| "grad_norm": 0.5697236061096191, |
| "learning_rate": 1.961937405858058e-06, |
| "loss": 0.5463, |
| "step": 1651 |
| }, |
| { |
| "epoch": 1.7616, |
| "grad_norm": 0.6125072836875916, |
| "learning_rate": 1.9590981112619945e-06, |
| "loss": 0.554, |
| "step": 1652 |
| }, |
| { |
| "epoch": 1.7626666666666666, |
| "grad_norm": 0.6136943101882935, |
| "learning_rate": 1.9562595484265383e-06, |
| "loss": 0.5581, |
| "step": 1653 |
| }, |
| { |
| "epoch": 1.7637333333333334, |
| "grad_norm": 0.6308527588844299, |
| "learning_rate": 1.9534217211918455e-06, |
| "loss": 0.5899, |
| "step": 1654 |
| }, |
| { |
| "epoch": 1.7648000000000001, |
| "grad_norm": 0.578942596912384, |
| "learning_rate": 1.950584633397079e-06, |
| "loss": 0.5444, |
| "step": 1655 |
| }, |
| { |
| "epoch": 1.7658666666666667, |
| "grad_norm": 0.5360605716705322, |
| "learning_rate": 1.947748288880401e-06, |
| "loss": 0.4873, |
| "step": 1656 |
| }, |
| { |
| "epoch": 1.7669333333333332, |
| "grad_norm": 0.5238365530967712, |
| "learning_rate": 1.9449126914789677e-06, |
| "loss": 0.5152, |
| "step": 1657 |
| }, |
| { |
| "epoch": 1.768, |
| "grad_norm": 0.5766008496284485, |
| "learning_rate": 1.9420778450289245e-06, |
| "loss": 0.5743, |
| "step": 1658 |
| }, |
| { |
| "epoch": 1.7690666666666668, |
| "grad_norm": 0.5634192824363708, |
| "learning_rate": 1.9392437533654018e-06, |
| "loss": 0.5278, |
| "step": 1659 |
| }, |
| { |
| "epoch": 1.7701333333333333, |
| "grad_norm": 0.5427104234695435, |
| "learning_rate": 1.9364104203225085e-06, |
| "loss": 0.5223, |
| "step": 1660 |
| }, |
| { |
| "epoch": 1.7711999999999999, |
| "grad_norm": 0.6028302907943726, |
| "learning_rate": 1.9335778497333264e-06, |
| "loss": 0.6028, |
| "step": 1661 |
| }, |
| { |
| "epoch": 1.7722666666666667, |
| "grad_norm": 0.6239231824874878, |
| "learning_rate": 1.930746045429908e-06, |
| "loss": 0.5756, |
| "step": 1662 |
| }, |
| { |
| "epoch": 1.7733333333333334, |
| "grad_norm": 0.5647031664848328, |
| "learning_rate": 1.927915011243264e-06, |
| "loss": 0.5395, |
| "step": 1663 |
| }, |
| { |
| "epoch": 1.7744, |
| "grad_norm": 0.5507516860961914, |
| "learning_rate": 1.9250847510033706e-06, |
| "loss": 0.5349, |
| "step": 1664 |
| }, |
| { |
| "epoch": 1.7754666666666665, |
| "grad_norm": 0.5937464833259583, |
| "learning_rate": 1.9222552685391498e-06, |
| "loss": 0.5386, |
| "step": 1665 |
| }, |
| { |
| "epoch": 1.7765333333333333, |
| "grad_norm": 0.5240331888198853, |
| "learning_rate": 1.919426567678478e-06, |
| "loss": 0.4903, |
| "step": 1666 |
| }, |
| { |
| "epoch": 1.7776, |
| "grad_norm": 0.5823207497596741, |
| "learning_rate": 1.916598652248168e-06, |
| "loss": 0.5433, |
| "step": 1667 |
| }, |
| { |
| "epoch": 1.7786666666666666, |
| "grad_norm": 0.6004706025123596, |
| "learning_rate": 1.913771526073976e-06, |
| "loss": 0.6122, |
| "step": 1668 |
| }, |
| { |
| "epoch": 1.7797333333333332, |
| "grad_norm": 0.6217394471168518, |
| "learning_rate": 1.910945192980585e-06, |
| "loss": 0.605, |
| "step": 1669 |
| }, |
| { |
| "epoch": 1.7808000000000002, |
| "grad_norm": 0.5175200700759888, |
| "learning_rate": 1.9081196567916083e-06, |
| "loss": 0.5168, |
| "step": 1670 |
| }, |
| { |
| "epoch": 1.7818666666666667, |
| "grad_norm": 0.5864924788475037, |
| "learning_rate": 1.9052949213295796e-06, |
| "loss": 0.559, |
| "step": 1671 |
| }, |
| { |
| "epoch": 1.7829333333333333, |
| "grad_norm": 0.5183194279670715, |
| "learning_rate": 1.9024709904159516e-06, |
| "loss": 0.4892, |
| "step": 1672 |
| }, |
| { |
| "epoch": 1.784, |
| "grad_norm": 0.5278530120849609, |
| "learning_rate": 1.899647867871085e-06, |
| "loss": 0.5124, |
| "step": 1673 |
| }, |
| { |
| "epoch": 1.7850666666666668, |
| "grad_norm": 0.6240493655204773, |
| "learning_rate": 1.8968255575142507e-06, |
| "loss": 0.5624, |
| "step": 1674 |
| }, |
| { |
| "epoch": 1.7861333333333334, |
| "grad_norm": 0.6313085556030273, |
| "learning_rate": 1.8940040631636176e-06, |
| "loss": 0.6624, |
| "step": 1675 |
| }, |
| { |
| "epoch": 1.7872, |
| "grad_norm": 0.5554013848304749, |
| "learning_rate": 1.891183388636253e-06, |
| "loss": 0.5386, |
| "step": 1676 |
| }, |
| { |
| "epoch": 1.7882666666666667, |
| "grad_norm": 0.5133564472198486, |
| "learning_rate": 1.8883635377481147e-06, |
| "loss": 0.5237, |
| "step": 1677 |
| }, |
| { |
| "epoch": 1.7893333333333334, |
| "grad_norm": 0.543805718421936, |
| "learning_rate": 1.8855445143140435e-06, |
| "loss": 0.563, |
| "step": 1678 |
| }, |
| { |
| "epoch": 1.7904, |
| "grad_norm": 0.6283137798309326, |
| "learning_rate": 1.882726322147766e-06, |
| "loss": 0.6157, |
| "step": 1679 |
| }, |
| { |
| "epoch": 1.7914666666666665, |
| "grad_norm": 0.5701860785484314, |
| "learning_rate": 1.879908965061878e-06, |
| "loss": 0.5743, |
| "step": 1680 |
| }, |
| { |
| "epoch": 1.7925333333333333, |
| "grad_norm": 0.6190077066421509, |
| "learning_rate": 1.8770924468678519e-06, |
| "loss": 0.6224, |
| "step": 1681 |
| }, |
| { |
| "epoch": 1.7936, |
| "grad_norm": 0.5609646439552307, |
| "learning_rate": 1.8742767713760196e-06, |
| "loss": 0.5285, |
| "step": 1682 |
| }, |
| { |
| "epoch": 1.7946666666666666, |
| "grad_norm": 0.6458594799041748, |
| "learning_rate": 1.8714619423955777e-06, |
| "loss": 0.5939, |
| "step": 1683 |
| }, |
| { |
| "epoch": 1.7957333333333332, |
| "grad_norm": 0.5634021162986755, |
| "learning_rate": 1.868647963734573e-06, |
| "loss": 0.5553, |
| "step": 1684 |
| }, |
| { |
| "epoch": 1.7968, |
| "grad_norm": 0.5371116399765015, |
| "learning_rate": 1.8658348391999062e-06, |
| "loss": 0.5777, |
| "step": 1685 |
| }, |
| { |
| "epoch": 1.7978666666666667, |
| "grad_norm": 0.5373111367225647, |
| "learning_rate": 1.8630225725973182e-06, |
| "loss": 0.5, |
| "step": 1686 |
| }, |
| { |
| "epoch": 1.7989333333333333, |
| "grad_norm": 0.5287656188011169, |
| "learning_rate": 1.8602111677313947e-06, |
| "loss": 0.5062, |
| "step": 1687 |
| }, |
| { |
| "epoch": 1.8, |
| "grad_norm": 0.5996980667114258, |
| "learning_rate": 1.8574006284055496e-06, |
| "loss": 0.577, |
| "step": 1688 |
| }, |
| { |
| "epoch": 1.8010666666666668, |
| "grad_norm": 0.4899791181087494, |
| "learning_rate": 1.8545909584220312e-06, |
| "loss": 0.5028, |
| "step": 1689 |
| }, |
| { |
| "epoch": 1.8021333333333334, |
| "grad_norm": 0.5770726203918457, |
| "learning_rate": 1.8517821615819067e-06, |
| "loss": 0.5543, |
| "step": 1690 |
| }, |
| { |
| "epoch": 1.8032, |
| "grad_norm": 0.5755534172058105, |
| "learning_rate": 1.8489742416850676e-06, |
| "loss": 0.5778, |
| "step": 1691 |
| }, |
| { |
| "epoch": 1.8042666666666667, |
| "grad_norm": 0.6012746095657349, |
| "learning_rate": 1.8461672025302134e-06, |
| "loss": 0.6244, |
| "step": 1692 |
| }, |
| { |
| "epoch": 1.8053333333333335, |
| "grad_norm": 0.5997793078422546, |
| "learning_rate": 1.8433610479148566e-06, |
| "loss": 0.5376, |
| "step": 1693 |
| }, |
| { |
| "epoch": 1.8064, |
| "grad_norm": 0.5796613097190857, |
| "learning_rate": 1.8405557816353092e-06, |
| "loss": 0.5341, |
| "step": 1694 |
| }, |
| { |
| "epoch": 1.8074666666666666, |
| "grad_norm": 0.6183069944381714, |
| "learning_rate": 1.8377514074866848e-06, |
| "loss": 0.5611, |
| "step": 1695 |
| }, |
| { |
| "epoch": 1.8085333333333333, |
| "grad_norm": 0.5579950213432312, |
| "learning_rate": 1.834947929262889e-06, |
| "loss": 0.4865, |
| "step": 1696 |
| }, |
| { |
| "epoch": 1.8096, |
| "grad_norm": 0.5725162625312805, |
| "learning_rate": 1.8321453507566145e-06, |
| "loss": 0.562, |
| "step": 1697 |
| }, |
| { |
| "epoch": 1.8106666666666666, |
| "grad_norm": 0.5687267780303955, |
| "learning_rate": 1.829343675759337e-06, |
| "loss": 0.5491, |
| "step": 1698 |
| }, |
| { |
| "epoch": 1.8117333333333332, |
| "grad_norm": 0.6462470889091492, |
| "learning_rate": 1.8265429080613106e-06, |
| "loss": 0.5713, |
| "step": 1699 |
| }, |
| { |
| "epoch": 1.8128, |
| "grad_norm": 0.6535474061965942, |
| "learning_rate": 1.823743051451562e-06, |
| "loss": 0.5939, |
| "step": 1700 |
| }, |
| { |
| "epoch": 1.8138666666666667, |
| "grad_norm": 0.5572129487991333, |
| "learning_rate": 1.8209441097178831e-06, |
| "loss": 0.5283, |
| "step": 1701 |
| }, |
| { |
| "epoch": 1.8149333333333333, |
| "grad_norm": 0.5714105367660522, |
| "learning_rate": 1.8181460866468326e-06, |
| "loss": 0.5132, |
| "step": 1702 |
| }, |
| { |
| "epoch": 1.8159999999999998, |
| "grad_norm": 0.6136705279350281, |
| "learning_rate": 1.8153489860237212e-06, |
| "loss": 0.566, |
| "step": 1703 |
| }, |
| { |
| "epoch": 1.8170666666666668, |
| "grad_norm": 0.5756381750106812, |
| "learning_rate": 1.8125528116326163e-06, |
| "loss": 0.52, |
| "step": 1704 |
| }, |
| { |
| "epoch": 1.8181333333333334, |
| "grad_norm": 0.566407322883606, |
| "learning_rate": 1.8097575672563278e-06, |
| "loss": 0.5443, |
| "step": 1705 |
| }, |
| { |
| "epoch": 1.8192, |
| "grad_norm": 0.6058952808380127, |
| "learning_rate": 1.8069632566764123e-06, |
| "loss": 0.5821, |
| "step": 1706 |
| }, |
| { |
| "epoch": 1.8202666666666667, |
| "grad_norm": 0.5795944929122925, |
| "learning_rate": 1.8041698836731586e-06, |
| "loss": 0.5441, |
| "step": 1707 |
| }, |
| { |
| "epoch": 1.8213333333333335, |
| "grad_norm": 0.6884957551956177, |
| "learning_rate": 1.8013774520255903e-06, |
| "loss": 0.6549, |
| "step": 1708 |
| }, |
| { |
| "epoch": 1.8224, |
| "grad_norm": 0.5669118165969849, |
| "learning_rate": 1.7985859655114546e-06, |
| "loss": 0.5246, |
| "step": 1709 |
| }, |
| { |
| "epoch": 1.8234666666666666, |
| "grad_norm": 0.534381091594696, |
| "learning_rate": 1.7957954279072238e-06, |
| "loss": 0.497, |
| "step": 1710 |
| }, |
| { |
| "epoch": 1.8245333333333333, |
| "grad_norm": 0.6085880994796753, |
| "learning_rate": 1.793005842988082e-06, |
| "loss": 0.5809, |
| "step": 1711 |
| }, |
| { |
| "epoch": 1.8256000000000001, |
| "grad_norm": 0.5540530681610107, |
| "learning_rate": 1.7902172145279296e-06, |
| "loss": 0.5483, |
| "step": 1712 |
| }, |
| { |
| "epoch": 1.8266666666666667, |
| "grad_norm": 0.5336449146270752, |
| "learning_rate": 1.7874295462993673e-06, |
| "loss": 0.5448, |
| "step": 1713 |
| }, |
| { |
| "epoch": 1.8277333333333332, |
| "grad_norm": 0.6006146669387817, |
| "learning_rate": 1.7846428420737023e-06, |
| "loss": 0.5289, |
| "step": 1714 |
| }, |
| { |
| "epoch": 1.8288, |
| "grad_norm": 0.6028801202774048, |
| "learning_rate": 1.7818571056209342e-06, |
| "loss": 0.5872, |
| "step": 1715 |
| }, |
| { |
| "epoch": 1.8298666666666668, |
| "grad_norm": 0.6096197962760925, |
| "learning_rate": 1.7790723407097527e-06, |
| "loss": 0.5822, |
| "step": 1716 |
| }, |
| { |
| "epoch": 1.8309333333333333, |
| "grad_norm": 0.5700444579124451, |
| "learning_rate": 1.7762885511075373e-06, |
| "loss": 0.5202, |
| "step": 1717 |
| }, |
| { |
| "epoch": 1.8319999999999999, |
| "grad_norm": 0.5754455924034119, |
| "learning_rate": 1.773505740580343e-06, |
| "loss": 0.5495, |
| "step": 1718 |
| }, |
| { |
| "epoch": 1.8330666666666666, |
| "grad_norm": 0.6039101481437683, |
| "learning_rate": 1.7707239128929048e-06, |
| "loss": 0.5756, |
| "step": 1719 |
| }, |
| { |
| "epoch": 1.8341333333333334, |
| "grad_norm": 0.5833544731140137, |
| "learning_rate": 1.7679430718086244e-06, |
| "loss": 0.5777, |
| "step": 1720 |
| }, |
| { |
| "epoch": 1.8352, |
| "grad_norm": 0.5887574553489685, |
| "learning_rate": 1.765163221089571e-06, |
| "loss": 0.6274, |
| "step": 1721 |
| }, |
| { |
| "epoch": 1.8362666666666667, |
| "grad_norm": 0.6357359886169434, |
| "learning_rate": 1.7623843644964721e-06, |
| "loss": 0.6465, |
| "step": 1722 |
| }, |
| { |
| "epoch": 1.8373333333333335, |
| "grad_norm": 0.5766712427139282, |
| "learning_rate": 1.7596065057887141e-06, |
| "loss": 0.5882, |
| "step": 1723 |
| }, |
| { |
| "epoch": 1.8384, |
| "grad_norm": 0.5557194352149963, |
| "learning_rate": 1.7568296487243276e-06, |
| "loss": 0.5472, |
| "step": 1724 |
| }, |
| { |
| "epoch": 1.8394666666666666, |
| "grad_norm": 0.6292763352394104, |
| "learning_rate": 1.7540537970599935e-06, |
| "loss": 0.5948, |
| "step": 1725 |
| }, |
| { |
| "epoch": 1.8405333333333334, |
| "grad_norm": 0.6249510049819946, |
| "learning_rate": 1.7512789545510292e-06, |
| "loss": 0.5889, |
| "step": 1726 |
| }, |
| { |
| "epoch": 1.8416000000000001, |
| "grad_norm": 0.5925092697143555, |
| "learning_rate": 1.7485051249513893e-06, |
| "loss": 0.5045, |
| "step": 1727 |
| }, |
| { |
| "epoch": 1.8426666666666667, |
| "grad_norm": 0.5549812316894531, |
| "learning_rate": 1.7457323120136554e-06, |
| "loss": 0.521, |
| "step": 1728 |
| }, |
| { |
| "epoch": 1.8437333333333332, |
| "grad_norm": 0.5917726755142212, |
| "learning_rate": 1.7429605194890359e-06, |
| "loss": 0.5615, |
| "step": 1729 |
| }, |
| { |
| "epoch": 1.8448, |
| "grad_norm": 0.5616986155509949, |
| "learning_rate": 1.7401897511273576e-06, |
| "loss": 0.5307, |
| "step": 1730 |
| }, |
| { |
| "epoch": 1.8458666666666668, |
| "grad_norm": 0.5563868284225464, |
| "learning_rate": 1.7374200106770616e-06, |
| "loss": 0.517, |
| "step": 1731 |
| }, |
| { |
| "epoch": 1.8469333333333333, |
| "grad_norm": 0.5652538537979126, |
| "learning_rate": 1.7346513018852006e-06, |
| "loss": 0.5323, |
| "step": 1732 |
| }, |
| { |
| "epoch": 1.8479999999999999, |
| "grad_norm": 0.579039454460144, |
| "learning_rate": 1.731883628497428e-06, |
| "loss": 0.5805, |
| "step": 1733 |
| }, |
| { |
| "epoch": 1.8490666666666666, |
| "grad_norm": 0.5491101741790771, |
| "learning_rate": 1.729116994258e-06, |
| "loss": 0.5397, |
| "step": 1734 |
| }, |
| { |
| "epoch": 1.8501333333333334, |
| "grad_norm": 0.5880038738250732, |
| "learning_rate": 1.7263514029097638e-06, |
| "loss": 0.5494, |
| "step": 1735 |
| }, |
| { |
| "epoch": 1.8512, |
| "grad_norm": 0.5583192110061646, |
| "learning_rate": 1.7235868581941589e-06, |
| "loss": 0.5194, |
| "step": 1736 |
| }, |
| { |
| "epoch": 1.8522666666666665, |
| "grad_norm": 0.5917359590530396, |
| "learning_rate": 1.7208233638512048e-06, |
| "loss": 0.5512, |
| "step": 1737 |
| }, |
| { |
| "epoch": 1.8533333333333335, |
| "grad_norm": 0.5671622157096863, |
| "learning_rate": 1.718060923619505e-06, |
| "loss": 0.5404, |
| "step": 1738 |
| }, |
| { |
| "epoch": 1.8544, |
| "grad_norm": 0.5809801816940308, |
| "learning_rate": 1.7152995412362322e-06, |
| "loss": 0.5555, |
| "step": 1739 |
| }, |
| { |
| "epoch": 1.8554666666666666, |
| "grad_norm": 0.6043382287025452, |
| "learning_rate": 1.7125392204371322e-06, |
| "loss": 0.5833, |
| "step": 1740 |
| }, |
| { |
| "epoch": 1.8565333333333334, |
| "grad_norm": 0.544808566570282, |
| "learning_rate": 1.7097799649565106e-06, |
| "loss": 0.5534, |
| "step": 1741 |
| }, |
| { |
| "epoch": 1.8576000000000001, |
| "grad_norm": 0.5620670318603516, |
| "learning_rate": 1.7070217785272354e-06, |
| "loss": 0.5496, |
| "step": 1742 |
| }, |
| { |
| "epoch": 1.8586666666666667, |
| "grad_norm": 0.6243292689323425, |
| "learning_rate": 1.7042646648807257e-06, |
| "loss": 0.6259, |
| "step": 1743 |
| }, |
| { |
| "epoch": 1.8597333333333332, |
| "grad_norm": 0.5439655184745789, |
| "learning_rate": 1.7015086277469511e-06, |
| "loss": 0.5671, |
| "step": 1744 |
| }, |
| { |
| "epoch": 1.8608, |
| "grad_norm": 0.5227819681167603, |
| "learning_rate": 1.6987536708544223e-06, |
| "loss": 0.5182, |
| "step": 1745 |
| }, |
| { |
| "epoch": 1.8618666666666668, |
| "grad_norm": 0.5490351319313049, |
| "learning_rate": 1.6959997979301923e-06, |
| "loss": 0.5575, |
| "step": 1746 |
| }, |
| { |
| "epoch": 1.8629333333333333, |
| "grad_norm": 0.5634819865226746, |
| "learning_rate": 1.6932470126998443e-06, |
| "loss": 0.5664, |
| "step": 1747 |
| }, |
| { |
| "epoch": 1.8639999999999999, |
| "grad_norm": 0.5933120250701904, |
| "learning_rate": 1.6904953188874927e-06, |
| "loss": 0.5834, |
| "step": 1748 |
| }, |
| { |
| "epoch": 1.8650666666666667, |
| "grad_norm": 0.5526019334793091, |
| "learning_rate": 1.687744720215772e-06, |
| "loss": 0.53, |
| "step": 1749 |
| }, |
| { |
| "epoch": 1.8661333333333334, |
| "grad_norm": 0.5459107756614685, |
| "learning_rate": 1.6849952204058389e-06, |
| "loss": 0.5513, |
| "step": 1750 |
| }, |
| { |
| "epoch": 1.8672, |
| "grad_norm": 0.5976851582527161, |
| "learning_rate": 1.682246823177362e-06, |
| "loss": 0.5203, |
| "step": 1751 |
| }, |
| { |
| "epoch": 1.8682666666666665, |
| "grad_norm": 0.6465879082679749, |
| "learning_rate": 1.6794995322485163e-06, |
| "loss": 0.5653, |
| "step": 1752 |
| }, |
| { |
| "epoch": 1.8693333333333333, |
| "grad_norm": 0.6286371946334839, |
| "learning_rate": 1.6767533513359842e-06, |
| "loss": 0.6268, |
| "step": 1753 |
| }, |
| { |
| "epoch": 1.8704, |
| "grad_norm": 0.6098568439483643, |
| "learning_rate": 1.674008284154941e-06, |
| "loss": 0.6115, |
| "step": 1754 |
| }, |
| { |
| "epoch": 1.8714666666666666, |
| "grad_norm": 0.5432325005531311, |
| "learning_rate": 1.6712643344190615e-06, |
| "loss": 0.5223, |
| "step": 1755 |
| }, |
| { |
| "epoch": 1.8725333333333334, |
| "grad_norm": 0.5734124183654785, |
| "learning_rate": 1.6685215058405036e-06, |
| "loss": 0.5477, |
| "step": 1756 |
| }, |
| { |
| "epoch": 1.8736000000000002, |
| "grad_norm": 0.5498462319374084, |
| "learning_rate": 1.6657798021299118e-06, |
| "loss": 0.5331, |
| "step": 1757 |
| }, |
| { |
| "epoch": 1.8746666666666667, |
| "grad_norm": 0.5413914918899536, |
| "learning_rate": 1.6630392269964066e-06, |
| "loss": 0.5113, |
| "step": 1758 |
| }, |
| { |
| "epoch": 1.8757333333333333, |
| "grad_norm": 0.6220923066139221, |
| "learning_rate": 1.6602997841475833e-06, |
| "loss": 0.518, |
| "step": 1759 |
| }, |
| { |
| "epoch": 1.8768, |
| "grad_norm": 0.5869837403297424, |
| "learning_rate": 1.6575614772895033e-06, |
| "loss": 0.5474, |
| "step": 1760 |
| }, |
| { |
| "epoch": 1.8778666666666668, |
| "grad_norm": 0.6242550611495972, |
| "learning_rate": 1.6548243101266942e-06, |
| "loss": 0.6091, |
| "step": 1761 |
| }, |
| { |
| "epoch": 1.8789333333333333, |
| "grad_norm": 0.575932502746582, |
| "learning_rate": 1.6520882863621387e-06, |
| "loss": 0.5256, |
| "step": 1762 |
| }, |
| { |
| "epoch": 1.88, |
| "grad_norm": 0.6235504150390625, |
| "learning_rate": 1.6493534096972757e-06, |
| "loss": 0.5805, |
| "step": 1763 |
| }, |
| { |
| "epoch": 1.8810666666666667, |
| "grad_norm": 0.5928342938423157, |
| "learning_rate": 1.646619683831989e-06, |
| "loss": 0.5706, |
| "step": 1764 |
| }, |
| { |
| "epoch": 1.8821333333333334, |
| "grad_norm": 0.5627301335334778, |
| "learning_rate": 1.6438871124646087e-06, |
| "loss": 0.5374, |
| "step": 1765 |
| }, |
| { |
| "epoch": 1.8832, |
| "grad_norm": 0.535269558429718, |
| "learning_rate": 1.6411556992918998e-06, |
| "loss": 0.5177, |
| "step": 1766 |
| }, |
| { |
| "epoch": 1.8842666666666665, |
| "grad_norm": 0.6219112277030945, |
| "learning_rate": 1.638425448009064e-06, |
| "loss": 0.5576, |
| "step": 1767 |
| }, |
| { |
| "epoch": 1.8853333333333333, |
| "grad_norm": 0.5773259401321411, |
| "learning_rate": 1.635696362309727e-06, |
| "loss": 0.5388, |
| "step": 1768 |
| }, |
| { |
| "epoch": 1.8864, |
| "grad_norm": 0.5490816831588745, |
| "learning_rate": 1.6329684458859406e-06, |
| "loss": 0.5056, |
| "step": 1769 |
| }, |
| { |
| "epoch": 1.8874666666666666, |
| "grad_norm": 0.5687902569770813, |
| "learning_rate": 1.6302417024281764e-06, |
| "loss": 0.5526, |
| "step": 1770 |
| }, |
| { |
| "epoch": 1.8885333333333332, |
| "grad_norm": 0.5446656346321106, |
| "learning_rate": 1.6275161356253132e-06, |
| "loss": 0.5185, |
| "step": 1771 |
| }, |
| { |
| "epoch": 1.8896, |
| "grad_norm": 0.5413210988044739, |
| "learning_rate": 1.6247917491646447e-06, |
| "loss": 0.571, |
| "step": 1772 |
| }, |
| { |
| "epoch": 1.8906666666666667, |
| "grad_norm": 0.5543221235275269, |
| "learning_rate": 1.6220685467318624e-06, |
| "loss": 0.5275, |
| "step": 1773 |
| }, |
| { |
| "epoch": 1.8917333333333333, |
| "grad_norm": 0.5512712001800537, |
| "learning_rate": 1.6193465320110596e-06, |
| "loss": 0.5655, |
| "step": 1774 |
| }, |
| { |
| "epoch": 1.8928, |
| "grad_norm": 0.6050304174423218, |
| "learning_rate": 1.6166257086847198e-06, |
| "loss": 0.5601, |
| "step": 1775 |
| }, |
| { |
| "epoch": 1.8938666666666668, |
| "grad_norm": 0.5760836005210876, |
| "learning_rate": 1.613906080433718e-06, |
| "loss": 0.5661, |
| "step": 1776 |
| }, |
| { |
| "epoch": 1.8949333333333334, |
| "grad_norm": 0.5429130792617798, |
| "learning_rate": 1.6111876509373093e-06, |
| "loss": 0.5092, |
| "step": 1777 |
| }, |
| { |
| "epoch": 1.896, |
| "grad_norm": 0.6469739079475403, |
| "learning_rate": 1.6084704238731297e-06, |
| "loss": 0.5204, |
| "step": 1778 |
| }, |
| { |
| "epoch": 1.8970666666666667, |
| "grad_norm": 0.5290738344192505, |
| "learning_rate": 1.6057544029171863e-06, |
| "loss": 0.5624, |
| "step": 1779 |
| }, |
| { |
| "epoch": 1.8981333333333335, |
| "grad_norm": 0.5309202671051025, |
| "learning_rate": 1.6030395917438568e-06, |
| "loss": 0.5248, |
| "step": 1780 |
| }, |
| { |
| "epoch": 1.8992, |
| "grad_norm": 0.6061741709709167, |
| "learning_rate": 1.6003259940258798e-06, |
| "loss": 0.5669, |
| "step": 1781 |
| }, |
| { |
| "epoch": 1.9002666666666665, |
| "grad_norm": 0.5801570415496826, |
| "learning_rate": 1.5976136134343542e-06, |
| "loss": 0.533, |
| "step": 1782 |
| }, |
| { |
| "epoch": 1.9013333333333333, |
| "grad_norm": 0.5620945692062378, |
| "learning_rate": 1.5949024536387303e-06, |
| "loss": 0.5494, |
| "step": 1783 |
| }, |
| { |
| "epoch": 1.9024, |
| "grad_norm": 0.5412174463272095, |
| "learning_rate": 1.5921925183068099e-06, |
| "loss": 0.5739, |
| "step": 1784 |
| }, |
| { |
| "epoch": 1.9034666666666666, |
| "grad_norm": 0.616183340549469, |
| "learning_rate": 1.5894838111047346e-06, |
| "loss": 0.5882, |
| "step": 1785 |
| }, |
| { |
| "epoch": 1.9045333333333332, |
| "grad_norm": 0.5915341377258301, |
| "learning_rate": 1.5867763356969879e-06, |
| "loss": 0.5554, |
| "step": 1786 |
| }, |
| { |
| "epoch": 1.9056, |
| "grad_norm": 0.5898361802101135, |
| "learning_rate": 1.5840700957463839e-06, |
| "loss": 0.5966, |
| "step": 1787 |
| }, |
| { |
| "epoch": 1.9066666666666667, |
| "grad_norm": 0.5827757120132446, |
| "learning_rate": 1.5813650949140682e-06, |
| "loss": 0.5411, |
| "step": 1788 |
| }, |
| { |
| "epoch": 1.9077333333333333, |
| "grad_norm": 0.5625357627868652, |
| "learning_rate": 1.5786613368595082e-06, |
| "loss": 0.5324, |
| "step": 1789 |
| }, |
| { |
| "epoch": 1.9088, |
| "grad_norm": 0.5563949346542358, |
| "learning_rate": 1.5759588252404894e-06, |
| "loss": 0.5542, |
| "step": 1790 |
| }, |
| { |
| "epoch": 1.9098666666666668, |
| "grad_norm": 0.5846853852272034, |
| "learning_rate": 1.573257563713114e-06, |
| "loss": 0.5498, |
| "step": 1791 |
| }, |
| { |
| "epoch": 1.9109333333333334, |
| "grad_norm": 0.5266727209091187, |
| "learning_rate": 1.5705575559317887e-06, |
| "loss": 0.4692, |
| "step": 1792 |
| }, |
| { |
| "epoch": 1.912, |
| "grad_norm": 0.5822840332984924, |
| "learning_rate": 1.5678588055492289e-06, |
| "loss": 0.5136, |
| "step": 1793 |
| }, |
| { |
| "epoch": 1.9130666666666667, |
| "grad_norm": 0.5439043641090393, |
| "learning_rate": 1.5651613162164448e-06, |
| "loss": 0.5571, |
| "step": 1794 |
| }, |
| { |
| "epoch": 1.9141333333333335, |
| "grad_norm": 0.5851044654846191, |
| "learning_rate": 1.5624650915827421e-06, |
| "loss": 0.5866, |
| "step": 1795 |
| }, |
| { |
| "epoch": 1.9152, |
| "grad_norm": 0.6061752438545227, |
| "learning_rate": 1.5597701352957168e-06, |
| "loss": 0.6001, |
| "step": 1796 |
| }, |
| { |
| "epoch": 1.9162666666666666, |
| "grad_norm": 0.5734285116195679, |
| "learning_rate": 1.5570764510012482e-06, |
| "loss": 0.5891, |
| "step": 1797 |
| }, |
| { |
| "epoch": 1.9173333333333333, |
| "grad_norm": 0.5760787129402161, |
| "learning_rate": 1.5543840423434922e-06, |
| "loss": 0.5703, |
| "step": 1798 |
| }, |
| { |
| "epoch": 1.9184, |
| "grad_norm": 0.5850062966346741, |
| "learning_rate": 1.5516929129648838e-06, |
| "loss": 0.5789, |
| "step": 1799 |
| }, |
| { |
| "epoch": 1.9194666666666667, |
| "grad_norm": 0.618988573551178, |
| "learning_rate": 1.5490030665061232e-06, |
| "loss": 0.5778, |
| "step": 1800 |
| }, |
| { |
| "epoch": 1.9205333333333332, |
| "grad_norm": 0.6139165759086609, |
| "learning_rate": 1.546314506606178e-06, |
| "loss": 0.5898, |
| "step": 1801 |
| }, |
| { |
| "epoch": 1.9216, |
| "grad_norm": 0.5872771739959717, |
| "learning_rate": 1.543627236902272e-06, |
| "loss": 0.5769, |
| "step": 1802 |
| }, |
| { |
| "epoch": 1.9226666666666667, |
| "grad_norm": 0.5837470889091492, |
| "learning_rate": 1.540941261029887e-06, |
| "loss": 0.5607, |
| "step": 1803 |
| }, |
| { |
| "epoch": 1.9237333333333333, |
| "grad_norm": 0.5986273884773254, |
| "learning_rate": 1.538256582622752e-06, |
| "loss": 0.628, |
| "step": 1804 |
| }, |
| { |
| "epoch": 1.9247999999999998, |
| "grad_norm": 0.6136653423309326, |
| "learning_rate": 1.535573205312841e-06, |
| "loss": 0.5576, |
| "step": 1805 |
| }, |
| { |
| "epoch": 1.9258666666666666, |
| "grad_norm": 0.6648598313331604, |
| "learning_rate": 1.5328911327303705e-06, |
| "loss": 0.6175, |
| "step": 1806 |
| }, |
| { |
| "epoch": 1.9269333333333334, |
| "grad_norm": 0.5282381772994995, |
| "learning_rate": 1.5302103685037871e-06, |
| "loss": 0.4939, |
| "step": 1807 |
| }, |
| { |
| "epoch": 1.928, |
| "grad_norm": 0.5781686305999756, |
| "learning_rate": 1.5275309162597728e-06, |
| "loss": 0.572, |
| "step": 1808 |
| }, |
| { |
| "epoch": 1.9290666666666667, |
| "grad_norm": 0.5199376940727234, |
| "learning_rate": 1.5248527796232298e-06, |
| "loss": 0.5062, |
| "step": 1809 |
| }, |
| { |
| "epoch": 1.9301333333333335, |
| "grad_norm": 0.6853319406509399, |
| "learning_rate": 1.5221759622172833e-06, |
| "loss": 0.6205, |
| "step": 1810 |
| }, |
| { |
| "epoch": 1.9312, |
| "grad_norm": 0.5890238881111145, |
| "learning_rate": 1.5195004676632729e-06, |
| "loss": 0.5342, |
| "step": 1811 |
| }, |
| { |
| "epoch": 1.9322666666666666, |
| "grad_norm": 0.628747820854187, |
| "learning_rate": 1.5168262995807495e-06, |
| "loss": 0.5682, |
| "step": 1812 |
| }, |
| { |
| "epoch": 1.9333333333333333, |
| "grad_norm": 0.5897372961044312, |
| "learning_rate": 1.5141534615874672e-06, |
| "loss": 0.5538, |
| "step": 1813 |
| }, |
| { |
| "epoch": 1.9344000000000001, |
| "grad_norm": 0.567550539970398, |
| "learning_rate": 1.5114819572993844e-06, |
| "loss": 0.5498, |
| "step": 1814 |
| }, |
| { |
| "epoch": 1.9354666666666667, |
| "grad_norm": 0.5476131439208984, |
| "learning_rate": 1.5088117903306504e-06, |
| "loss": 0.5669, |
| "step": 1815 |
| }, |
| { |
| "epoch": 1.9365333333333332, |
| "grad_norm": 0.5784737467765808, |
| "learning_rate": 1.5061429642936107e-06, |
| "loss": 0.5574, |
| "step": 1816 |
| }, |
| { |
| "epoch": 1.9376, |
| "grad_norm": 0.5713197588920593, |
| "learning_rate": 1.5034754827987918e-06, |
| "loss": 0.5303, |
| "step": 1817 |
| }, |
| { |
| "epoch": 1.9386666666666668, |
| "grad_norm": 0.521609902381897, |
| "learning_rate": 1.5008093494549046e-06, |
| "loss": 0.5147, |
| "step": 1818 |
| }, |
| { |
| "epoch": 1.9397333333333333, |
| "grad_norm": 0.6044138669967651, |
| "learning_rate": 1.498144567868834e-06, |
| "loss": 0.4947, |
| "step": 1819 |
| }, |
| { |
| "epoch": 1.9407999999999999, |
| "grad_norm": 0.5520240664482117, |
| "learning_rate": 1.4954811416456384e-06, |
| "loss": 0.5445, |
| "step": 1820 |
| }, |
| { |
| "epoch": 1.9418666666666666, |
| "grad_norm": 0.5774211287498474, |
| "learning_rate": 1.492819074388539e-06, |
| "loss": 0.4957, |
| "step": 1821 |
| }, |
| { |
| "epoch": 1.9429333333333334, |
| "grad_norm": 0.538632869720459, |
| "learning_rate": 1.4901583696989235e-06, |
| "loss": 0.5625, |
| "step": 1822 |
| }, |
| { |
| "epoch": 1.944, |
| "grad_norm": 0.591201663017273, |
| "learning_rate": 1.4874990311763316e-06, |
| "loss": 0.619, |
| "step": 1823 |
| }, |
| { |
| "epoch": 1.9450666666666667, |
| "grad_norm": 0.5466227531433105, |
| "learning_rate": 1.4848410624184576e-06, |
| "loss": 0.5858, |
| "step": 1824 |
| }, |
| { |
| "epoch": 1.9461333333333335, |
| "grad_norm": 0.5727980136871338, |
| "learning_rate": 1.4821844670211422e-06, |
| "loss": 0.5506, |
| "step": 1825 |
| }, |
| { |
| "epoch": 1.9472, |
| "grad_norm": 0.5867694020271301, |
| "learning_rate": 1.4795292485783664e-06, |
| "loss": 0.5896, |
| "step": 1826 |
| }, |
| { |
| "epoch": 1.9482666666666666, |
| "grad_norm": 0.5465431809425354, |
| "learning_rate": 1.4768754106822513e-06, |
| "loss": 0.5887, |
| "step": 1827 |
| }, |
| { |
| "epoch": 1.9493333333333334, |
| "grad_norm": 0.5540134310722351, |
| "learning_rate": 1.474222956923047e-06, |
| "loss": 0.5527, |
| "step": 1828 |
| }, |
| { |
| "epoch": 1.9504000000000001, |
| "grad_norm": 0.566859245300293, |
| "learning_rate": 1.4715718908891353e-06, |
| "loss": 0.5424, |
| "step": 1829 |
| }, |
| { |
| "epoch": 1.9514666666666667, |
| "grad_norm": 0.550857663154602, |
| "learning_rate": 1.4689222161670158e-06, |
| "loss": 0.5766, |
| "step": 1830 |
| }, |
| { |
| "epoch": 1.9525333333333332, |
| "grad_norm": 0.570770800113678, |
| "learning_rate": 1.46627393634131e-06, |
| "loss": 0.5758, |
| "step": 1831 |
| }, |
| { |
| "epoch": 1.9536, |
| "grad_norm": 0.558303713798523, |
| "learning_rate": 1.4636270549947495e-06, |
| "loss": 0.5577, |
| "step": 1832 |
| }, |
| { |
| "epoch": 1.9546666666666668, |
| "grad_norm": 0.5618413686752319, |
| "learning_rate": 1.4609815757081757e-06, |
| "loss": 0.571, |
| "step": 1833 |
| }, |
| { |
| "epoch": 1.9557333333333333, |
| "grad_norm": 0.5922463536262512, |
| "learning_rate": 1.458337502060531e-06, |
| "loss": 0.6254, |
| "step": 1834 |
| }, |
| { |
| "epoch": 1.9567999999999999, |
| "grad_norm": 0.555290937423706, |
| "learning_rate": 1.4556948376288602e-06, |
| "loss": 0.5212, |
| "step": 1835 |
| }, |
| { |
| "epoch": 1.9578666666666666, |
| "grad_norm": 0.587537407875061, |
| "learning_rate": 1.4530535859882966e-06, |
| "loss": 0.5692, |
| "step": 1836 |
| }, |
| { |
| "epoch": 1.9589333333333334, |
| "grad_norm": 0.5902701616287231, |
| "learning_rate": 1.4504137507120665e-06, |
| "loss": 0.6057, |
| "step": 1837 |
| }, |
| { |
| "epoch": 1.96, |
| "grad_norm": 0.5883980989456177, |
| "learning_rate": 1.4477753353714772e-06, |
| "loss": 0.5444, |
| "step": 1838 |
| }, |
| { |
| "epoch": 1.9610666666666665, |
| "grad_norm": 0.5503685474395752, |
| "learning_rate": 1.4451383435359173e-06, |
| "loss": 0.554, |
| "step": 1839 |
| }, |
| { |
| "epoch": 1.9621333333333333, |
| "grad_norm": 0.6230605840682983, |
| "learning_rate": 1.442502778772847e-06, |
| "loss": 0.5923, |
| "step": 1840 |
| }, |
| { |
| "epoch": 1.9632, |
| "grad_norm": 0.5827583074569702, |
| "learning_rate": 1.4398686446477989e-06, |
| "loss": 0.5907, |
| "step": 1841 |
| }, |
| { |
| "epoch": 1.9642666666666666, |
| "grad_norm": 0.5248436331748962, |
| "learning_rate": 1.4372359447243673e-06, |
| "loss": 0.488, |
| "step": 1842 |
| }, |
| { |
| "epoch": 1.9653333333333334, |
| "grad_norm": 0.5628165006637573, |
| "learning_rate": 1.4346046825642085e-06, |
| "loss": 0.5353, |
| "step": 1843 |
| }, |
| { |
| "epoch": 1.9664000000000001, |
| "grad_norm": 0.5576211810112, |
| "learning_rate": 1.4319748617270323e-06, |
| "loss": 0.5239, |
| "step": 1844 |
| }, |
| { |
| "epoch": 1.9674666666666667, |
| "grad_norm": 0.5965511202812195, |
| "learning_rate": 1.4293464857705982e-06, |
| "loss": 0.5862, |
| "step": 1845 |
| }, |
| { |
| "epoch": 1.9685333333333332, |
| "grad_norm": 0.6039086580276489, |
| "learning_rate": 1.4267195582507137e-06, |
| "loss": 0.5302, |
| "step": 1846 |
| }, |
| { |
| "epoch": 1.9696, |
| "grad_norm": 0.6205388307571411, |
| "learning_rate": 1.424094082721223e-06, |
| "loss": 0.5939, |
| "step": 1847 |
| }, |
| { |
| "epoch": 1.9706666666666668, |
| "grad_norm": 0.5464006066322327, |
| "learning_rate": 1.4214700627340094e-06, |
| "loss": 0.5717, |
| "step": 1848 |
| }, |
| { |
| "epoch": 1.9717333333333333, |
| "grad_norm": 0.5798570513725281, |
| "learning_rate": 1.4188475018389841e-06, |
| "loss": 0.591, |
| "step": 1849 |
| }, |
| { |
| "epoch": 1.9727999999999999, |
| "grad_norm": 0.577594518661499, |
| "learning_rate": 1.4162264035840875e-06, |
| "loss": 0.5471, |
| "step": 1850 |
| }, |
| { |
| "epoch": 1.9738666666666667, |
| "grad_norm": 0.550423264503479, |
| "learning_rate": 1.4136067715152779e-06, |
| "loss": 0.5816, |
| "step": 1851 |
| }, |
| { |
| "epoch": 1.9749333333333334, |
| "grad_norm": 0.5649510025978088, |
| "learning_rate": 1.4109886091765335e-06, |
| "loss": 0.589, |
| "step": 1852 |
| }, |
| { |
| "epoch": 1.976, |
| "grad_norm": 0.6209117770195007, |
| "learning_rate": 1.4083719201098404e-06, |
| "loss": 0.6327, |
| "step": 1853 |
| }, |
| { |
| "epoch": 1.9770666666666665, |
| "grad_norm": 0.5309554934501648, |
| "learning_rate": 1.4057567078551953e-06, |
| "loss": 0.4931, |
| "step": 1854 |
| }, |
| { |
| "epoch": 1.9781333333333333, |
| "grad_norm": 0.5866615176200867, |
| "learning_rate": 1.4031429759505943e-06, |
| "loss": 0.5774, |
| "step": 1855 |
| }, |
| { |
| "epoch": 1.9792, |
| "grad_norm": 0.5370825529098511, |
| "learning_rate": 1.4005307279320326e-06, |
| "loss": 0.4969, |
| "step": 1856 |
| }, |
| { |
| "epoch": 1.9802666666666666, |
| "grad_norm": 0.6252390146255493, |
| "learning_rate": 1.3979199673334958e-06, |
| "loss": 0.6068, |
| "step": 1857 |
| }, |
| { |
| "epoch": 1.9813333333333332, |
| "grad_norm": 0.5765666365623474, |
| "learning_rate": 1.3953106976869604e-06, |
| "loss": 0.5206, |
| "step": 1858 |
| }, |
| { |
| "epoch": 1.9824000000000002, |
| "grad_norm": 0.6497637033462524, |
| "learning_rate": 1.3927029225223828e-06, |
| "loss": 0.5767, |
| "step": 1859 |
| }, |
| { |
| "epoch": 1.9834666666666667, |
| "grad_norm": 0.5402831435203552, |
| "learning_rate": 1.3900966453676983e-06, |
| "loss": 0.5415, |
| "step": 1860 |
| }, |
| { |
| "epoch": 1.9845333333333333, |
| "grad_norm": 0.5628657937049866, |
| "learning_rate": 1.3874918697488177e-06, |
| "loss": 0.5405, |
| "step": 1861 |
| }, |
| { |
| "epoch": 1.9856, |
| "grad_norm": 0.5750677585601807, |
| "learning_rate": 1.3848885991896167e-06, |
| "loss": 0.5633, |
| "step": 1862 |
| }, |
| { |
| "epoch": 1.9866666666666668, |
| "grad_norm": 0.5000765323638916, |
| "learning_rate": 1.3822868372119396e-06, |
| "loss": 0.4871, |
| "step": 1863 |
| }, |
| { |
| "epoch": 1.9877333333333334, |
| "grad_norm": 0.5814458727836609, |
| "learning_rate": 1.3796865873355848e-06, |
| "loss": 0.583, |
| "step": 1864 |
| }, |
| { |
| "epoch": 1.9888, |
| "grad_norm": 0.5213147401809692, |
| "learning_rate": 1.3770878530783095e-06, |
| "loss": 0.5367, |
| "step": 1865 |
| }, |
| { |
| "epoch": 1.9898666666666667, |
| "grad_norm": 0.5349053144454956, |
| "learning_rate": 1.3744906379558165e-06, |
| "loss": 0.4849, |
| "step": 1866 |
| }, |
| { |
| "epoch": 1.9909333333333334, |
| "grad_norm": 0.5113944411277771, |
| "learning_rate": 1.371894945481758e-06, |
| "loss": 0.4503, |
| "step": 1867 |
| }, |
| { |
| "epoch": 1.992, |
| "grad_norm": 0.5839912295341492, |
| "learning_rate": 1.3693007791677207e-06, |
| "loss": 0.5812, |
| "step": 1868 |
| }, |
| { |
| "epoch": 1.9930666666666665, |
| "grad_norm": 0.5590923428535461, |
| "learning_rate": 1.3667081425232322e-06, |
| "loss": 0.5441, |
| "step": 1869 |
| }, |
| { |
| "epoch": 1.9941333333333333, |
| "grad_norm": 0.5750559568405151, |
| "learning_rate": 1.3641170390557463e-06, |
| "loss": 0.539, |
| "step": 1870 |
| }, |
| { |
| "epoch": 1.9952, |
| "grad_norm": 0.58957839012146, |
| "learning_rate": 1.361527472270646e-06, |
| "loss": 0.5758, |
| "step": 1871 |
| }, |
| { |
| "epoch": 1.9962666666666666, |
| "grad_norm": 0.5947452783584595, |
| "learning_rate": 1.3589394456712318e-06, |
| "loss": 0.5917, |
| "step": 1872 |
| }, |
| { |
| "epoch": 1.9973333333333332, |
| "grad_norm": 0.5548158884048462, |
| "learning_rate": 1.3563529627587252e-06, |
| "loss": 0.5583, |
| "step": 1873 |
| }, |
| { |
| "epoch": 1.9984, |
| "grad_norm": 0.521709144115448, |
| "learning_rate": 1.353768027032255e-06, |
| "loss": 0.5468, |
| "step": 1874 |
| }, |
| { |
| "epoch": 1.9994666666666667, |
| "grad_norm": 0.5349715948104858, |
| "learning_rate": 1.351184641988859e-06, |
| "loss": 0.4789, |
| "step": 1875 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 0.7958458065986633, |
| "learning_rate": 1.348602811123476e-06, |
| "loss": 0.4055, |
| "step": 1876 |
| }, |
| { |
| "epoch": 2.0010666666666665, |
| "grad_norm": 0.5380450487136841, |
| "learning_rate": 1.3460225379289442e-06, |
| "loss": 0.5041, |
| "step": 1877 |
| }, |
| { |
| "epoch": 2.0021333333333335, |
| "grad_norm": 0.6346489787101746, |
| "learning_rate": 1.3434438258959923e-06, |
| "loss": 0.6495, |
| "step": 1878 |
| }, |
| { |
| "epoch": 2.0032, |
| "grad_norm": 0.598236620426178, |
| "learning_rate": 1.340866678513238e-06, |
| "loss": 0.5833, |
| "step": 1879 |
| }, |
| { |
| "epoch": 2.0042666666666666, |
| "grad_norm": 0.5186083912849426, |
| "learning_rate": 1.3382910992671838e-06, |
| "loss": 0.4797, |
| "step": 1880 |
| }, |
| { |
| "epoch": 2.005333333333333, |
| "grad_norm": 0.5631312131881714, |
| "learning_rate": 1.3357170916422069e-06, |
| "loss": 0.5267, |
| "step": 1881 |
| }, |
| { |
| "epoch": 2.0064, |
| "grad_norm": 0.6059322953224182, |
| "learning_rate": 1.3331446591205628e-06, |
| "loss": 0.5626, |
| "step": 1882 |
| }, |
| { |
| "epoch": 2.0074666666666667, |
| "grad_norm": 0.5569186806678772, |
| "learning_rate": 1.3305738051823712e-06, |
| "loss": 0.527, |
| "step": 1883 |
| }, |
| { |
| "epoch": 2.0085333333333333, |
| "grad_norm": 0.561802327632904, |
| "learning_rate": 1.328004533305622e-06, |
| "loss": 0.5543, |
| "step": 1884 |
| }, |
| { |
| "epoch": 2.0096, |
| "grad_norm": 0.6388578414916992, |
| "learning_rate": 1.3254368469661593e-06, |
| "loss": 0.6503, |
| "step": 1885 |
| }, |
| { |
| "epoch": 2.010666666666667, |
| "grad_norm": 0.598400354385376, |
| "learning_rate": 1.3228707496376864e-06, |
| "loss": 0.5602, |
| "step": 1886 |
| }, |
| { |
| "epoch": 2.0117333333333334, |
| "grad_norm": 0.5630940794944763, |
| "learning_rate": 1.3203062447917542e-06, |
| "loss": 0.5493, |
| "step": 1887 |
| }, |
| { |
| "epoch": 2.0128, |
| "grad_norm": 0.5907948613166809, |
| "learning_rate": 1.3177433358977593e-06, |
| "loss": 0.573, |
| "step": 1888 |
| }, |
| { |
| "epoch": 2.0138666666666665, |
| "grad_norm": 0.6058995127677917, |
| "learning_rate": 1.3151820264229417e-06, |
| "loss": 0.5523, |
| "step": 1889 |
| }, |
| { |
| "epoch": 2.0149333333333335, |
| "grad_norm": 0.6081379055976868, |
| "learning_rate": 1.3126223198323752e-06, |
| "loss": 0.5516, |
| "step": 1890 |
| }, |
| { |
| "epoch": 2.016, |
| "grad_norm": 0.5794486999511719, |
| "learning_rate": 1.3100642195889652e-06, |
| "loss": 0.5325, |
| "step": 1891 |
| }, |
| { |
| "epoch": 2.0170666666666666, |
| "grad_norm": 0.6074906587600708, |
| "learning_rate": 1.3075077291534461e-06, |
| "loss": 0.5072, |
| "step": 1892 |
| }, |
| { |
| "epoch": 2.018133333333333, |
| "grad_norm": 0.6252747178077698, |
| "learning_rate": 1.304952851984371e-06, |
| "loss": 0.5771, |
| "step": 1893 |
| }, |
| { |
| "epoch": 2.0192, |
| "grad_norm": 0.6485872864723206, |
| "learning_rate": 1.3023995915381149e-06, |
| "loss": 0.6154, |
| "step": 1894 |
| }, |
| { |
| "epoch": 2.0202666666666667, |
| "grad_norm": 0.5912834405899048, |
| "learning_rate": 1.2998479512688612e-06, |
| "loss": 0.5844, |
| "step": 1895 |
| }, |
| { |
| "epoch": 2.021333333333333, |
| "grad_norm": 0.5877307653427124, |
| "learning_rate": 1.297297934628605e-06, |
| "loss": 0.5397, |
| "step": 1896 |
| }, |
| { |
| "epoch": 2.0224, |
| "grad_norm": 0.5971736311912537, |
| "learning_rate": 1.2947495450671417e-06, |
| "loss": 0.5377, |
| "step": 1897 |
| }, |
| { |
| "epoch": 2.0234666666666667, |
| "grad_norm": 0.6043569445610046, |
| "learning_rate": 1.2922027860320679e-06, |
| "loss": 0.5824, |
| "step": 1898 |
| }, |
| { |
| "epoch": 2.0245333333333333, |
| "grad_norm": 0.6186167597770691, |
| "learning_rate": 1.289657660968775e-06, |
| "loss": 0.5521, |
| "step": 1899 |
| }, |
| { |
| "epoch": 2.0256, |
| "grad_norm": 0.6284368634223938, |
| "learning_rate": 1.2871141733204402e-06, |
| "loss": 0.572, |
| "step": 1900 |
| }, |
| { |
| "epoch": 2.026666666666667, |
| "grad_norm": 0.5548790693283081, |
| "learning_rate": 1.284572326528029e-06, |
| "loss": 0.5155, |
| "step": 1901 |
| }, |
| { |
| "epoch": 2.0277333333333334, |
| "grad_norm": 0.5335134863853455, |
| "learning_rate": 1.2820321240302861e-06, |
| "loss": 0.5436, |
| "step": 1902 |
| }, |
| { |
| "epoch": 2.0288, |
| "grad_norm": 0.5594540238380432, |
| "learning_rate": 1.2794935692637305e-06, |
| "loss": 0.461, |
| "step": 1903 |
| }, |
| { |
| "epoch": 2.0298666666666665, |
| "grad_norm": 0.5302798748016357, |
| "learning_rate": 1.2769566656626526e-06, |
| "loss": 0.5146, |
| "step": 1904 |
| }, |
| { |
| "epoch": 2.0309333333333335, |
| "grad_norm": 0.6151626110076904, |
| "learning_rate": 1.2744214166591106e-06, |
| "loss": 0.6002, |
| "step": 1905 |
| }, |
| { |
| "epoch": 2.032, |
| "grad_norm": 0.6000319719314575, |
| "learning_rate": 1.271887825682922e-06, |
| "loss": 0.5635, |
| "step": 1906 |
| }, |
| { |
| "epoch": 2.0330666666666666, |
| "grad_norm": 0.5436738729476929, |
| "learning_rate": 1.269355896161664e-06, |
| "loss": 0.4866, |
| "step": 1907 |
| }, |
| { |
| "epoch": 2.034133333333333, |
| "grad_norm": 0.6566639542579651, |
| "learning_rate": 1.266825631520662e-06, |
| "loss": 0.5572, |
| "step": 1908 |
| }, |
| { |
| "epoch": 2.0352, |
| "grad_norm": 0.583052396774292, |
| "learning_rate": 1.264297035182994e-06, |
| "loss": 0.5165, |
| "step": 1909 |
| }, |
| { |
| "epoch": 2.0362666666666667, |
| "grad_norm": 0.5783602595329285, |
| "learning_rate": 1.2617701105694763e-06, |
| "loss": 0.5433, |
| "step": 1910 |
| }, |
| { |
| "epoch": 2.037333333333333, |
| "grad_norm": 0.6847120523452759, |
| "learning_rate": 1.2592448610986674e-06, |
| "loss": 0.5824, |
| "step": 1911 |
| }, |
| { |
| "epoch": 2.0384, |
| "grad_norm": 0.6015878915786743, |
| "learning_rate": 1.2567212901868569e-06, |
| "loss": 0.5628, |
| "step": 1912 |
| }, |
| { |
| "epoch": 2.0394666666666668, |
| "grad_norm": 0.5725298523902893, |
| "learning_rate": 1.254199401248066e-06, |
| "loss": 0.5399, |
| "step": 1913 |
| }, |
| { |
| "epoch": 2.0405333333333333, |
| "grad_norm": 0.6029639840126038, |
| "learning_rate": 1.251679197694037e-06, |
| "loss": 0.5669, |
| "step": 1914 |
| }, |
| { |
| "epoch": 2.0416, |
| "grad_norm": 0.5572661757469177, |
| "learning_rate": 1.2491606829342356e-06, |
| "loss": 0.5211, |
| "step": 1915 |
| }, |
| { |
| "epoch": 2.042666666666667, |
| "grad_norm": 0.5546789765357971, |
| "learning_rate": 1.2466438603758422e-06, |
| "loss": 0.5401, |
| "step": 1916 |
| }, |
| { |
| "epoch": 2.0437333333333334, |
| "grad_norm": 0.5578565001487732, |
| "learning_rate": 1.2441287334237463e-06, |
| "loss": 0.4962, |
| "step": 1917 |
| }, |
| { |
| "epoch": 2.0448, |
| "grad_norm": 0.5654686689376831, |
| "learning_rate": 1.2416153054805439e-06, |
| "loss": 0.5353, |
| "step": 1918 |
| }, |
| { |
| "epoch": 2.0458666666666665, |
| "grad_norm": 0.5965808629989624, |
| "learning_rate": 1.239103579946532e-06, |
| "loss": 0.5504, |
| "step": 1919 |
| }, |
| { |
| "epoch": 2.0469333333333335, |
| "grad_norm": 0.5819885730743408, |
| "learning_rate": 1.2365935602197077e-06, |
| "loss": 0.5062, |
| "step": 1920 |
| }, |
| { |
| "epoch": 2.048, |
| "grad_norm": 0.5571475028991699, |
| "learning_rate": 1.234085249695756e-06, |
| "loss": 0.5008, |
| "step": 1921 |
| }, |
| { |
| "epoch": 2.0490666666666666, |
| "grad_norm": 0.5734038352966309, |
| "learning_rate": 1.2315786517680536e-06, |
| "loss": 0.5192, |
| "step": 1922 |
| }, |
| { |
| "epoch": 2.050133333333333, |
| "grad_norm": 0.6100568771362305, |
| "learning_rate": 1.2290737698276565e-06, |
| "loss": 0.6144, |
| "step": 1923 |
| }, |
| { |
| "epoch": 2.0512, |
| "grad_norm": 0.5595180988311768, |
| "learning_rate": 1.2265706072633028e-06, |
| "loss": 0.5264, |
| "step": 1924 |
| }, |
| { |
| "epoch": 2.0522666666666667, |
| "grad_norm": 0.5759934186935425, |
| "learning_rate": 1.2240691674614008e-06, |
| "loss": 0.5168, |
| "step": 1925 |
| }, |
| { |
| "epoch": 2.0533333333333332, |
| "grad_norm": 0.5875388383865356, |
| "learning_rate": 1.2215694538060329e-06, |
| "loss": 0.5121, |
| "step": 1926 |
| }, |
| { |
| "epoch": 2.0544, |
| "grad_norm": 0.6254099011421204, |
| "learning_rate": 1.219071469678941e-06, |
| "loss": 0.5762, |
| "step": 1927 |
| }, |
| { |
| "epoch": 2.0554666666666668, |
| "grad_norm": 0.5313997268676758, |
| "learning_rate": 1.216575218459532e-06, |
| "loss": 0.4896, |
| "step": 1928 |
| }, |
| { |
| "epoch": 2.0565333333333333, |
| "grad_norm": 0.6309417486190796, |
| "learning_rate": 1.2140807035248641e-06, |
| "loss": 0.5898, |
| "step": 1929 |
| }, |
| { |
| "epoch": 2.0576, |
| "grad_norm": 0.5938588380813599, |
| "learning_rate": 1.211587928249651e-06, |
| "loss": 0.5944, |
| "step": 1930 |
| }, |
| { |
| "epoch": 2.058666666666667, |
| "grad_norm": 0.5849666595458984, |
| "learning_rate": 1.2090968960062483e-06, |
| "loss": 0.5515, |
| "step": 1931 |
| }, |
| { |
| "epoch": 2.0597333333333334, |
| "grad_norm": 0.6419081091880798, |
| "learning_rate": 1.2066076101646576e-06, |
| "loss": 0.5565, |
| "step": 1932 |
| }, |
| { |
| "epoch": 2.0608, |
| "grad_norm": 0.5296061635017395, |
| "learning_rate": 1.2041200740925153e-06, |
| "loss": 0.5059, |
| "step": 1933 |
| }, |
| { |
| "epoch": 2.0618666666666665, |
| "grad_norm": 0.5917050838470459, |
| "learning_rate": 1.2016342911550907e-06, |
| "loss": 0.562, |
| "step": 1934 |
| }, |
| { |
| "epoch": 2.0629333333333335, |
| "grad_norm": 0.6520066857337952, |
| "learning_rate": 1.1991502647152836e-06, |
| "loss": 0.5676, |
| "step": 1935 |
| }, |
| { |
| "epoch": 2.064, |
| "grad_norm": 0.5788351893424988, |
| "learning_rate": 1.1966679981336144e-06, |
| "loss": 0.5588, |
| "step": 1936 |
| }, |
| { |
| "epoch": 2.0650666666666666, |
| "grad_norm": 0.6698751449584961, |
| "learning_rate": 1.1941874947682262e-06, |
| "loss": 0.61, |
| "step": 1937 |
| }, |
| { |
| "epoch": 2.066133333333333, |
| "grad_norm": 0.6372243165969849, |
| "learning_rate": 1.1917087579748723e-06, |
| "loss": 0.5565, |
| "step": 1938 |
| }, |
| { |
| "epoch": 2.0672, |
| "grad_norm": 0.5944187641143799, |
| "learning_rate": 1.1892317911069212e-06, |
| "loss": 0.5367, |
| "step": 1939 |
| }, |
| { |
| "epoch": 2.0682666666666667, |
| "grad_norm": 0.5895387530326843, |
| "learning_rate": 1.1867565975153423e-06, |
| "loss": 0.5265, |
| "step": 1940 |
| }, |
| { |
| "epoch": 2.0693333333333332, |
| "grad_norm": 0.5684133768081665, |
| "learning_rate": 1.1842831805487096e-06, |
| "loss": 0.5338, |
| "step": 1941 |
| }, |
| { |
| "epoch": 2.0704, |
| "grad_norm": 0.6244049072265625, |
| "learning_rate": 1.1818115435531901e-06, |
| "loss": 0.5414, |
| "step": 1942 |
| }, |
| { |
| "epoch": 2.071466666666667, |
| "grad_norm": 0.6335210204124451, |
| "learning_rate": 1.179341689872547e-06, |
| "loss": 0.5941, |
| "step": 1943 |
| }, |
| { |
| "epoch": 2.0725333333333333, |
| "grad_norm": 0.6212891936302185, |
| "learning_rate": 1.1768736228481268e-06, |
| "loss": 0.5692, |
| "step": 1944 |
| }, |
| { |
| "epoch": 2.0736, |
| "grad_norm": 0.595076858997345, |
| "learning_rate": 1.1744073458188623e-06, |
| "loss": 0.5404, |
| "step": 1945 |
| }, |
| { |
| "epoch": 2.074666666666667, |
| "grad_norm": 0.5500801205635071, |
| "learning_rate": 1.1719428621212615e-06, |
| "loss": 0.5358, |
| "step": 1946 |
| }, |
| { |
| "epoch": 2.0757333333333334, |
| "grad_norm": 0.6618889570236206, |
| "learning_rate": 1.1694801750894094e-06, |
| "loss": 0.623, |
| "step": 1947 |
| }, |
| { |
| "epoch": 2.0768, |
| "grad_norm": 0.5690721869468689, |
| "learning_rate": 1.1670192880549586e-06, |
| "loss": 0.5416, |
| "step": 1948 |
| }, |
| { |
| "epoch": 2.0778666666666665, |
| "grad_norm": 0.5415211319923401, |
| "learning_rate": 1.1645602043471265e-06, |
| "loss": 0.4916, |
| "step": 1949 |
| }, |
| { |
| "epoch": 2.0789333333333335, |
| "grad_norm": 0.5435727834701538, |
| "learning_rate": 1.1621029272926903e-06, |
| "loss": 0.4911, |
| "step": 1950 |
| }, |
| { |
| "epoch": 2.08, |
| "grad_norm": 0.5090012550354004, |
| "learning_rate": 1.159647460215986e-06, |
| "loss": 0.4997, |
| "step": 1951 |
| }, |
| { |
| "epoch": 2.0810666666666666, |
| "grad_norm": 0.5989108681678772, |
| "learning_rate": 1.1571938064388974e-06, |
| "loss": 0.5426, |
| "step": 1952 |
| }, |
| { |
| "epoch": 2.082133333333333, |
| "grad_norm": 0.5798938870429993, |
| "learning_rate": 1.154741969280857e-06, |
| "loss": 0.5252, |
| "step": 1953 |
| }, |
| { |
| "epoch": 2.0832, |
| "grad_norm": 0.594546914100647, |
| "learning_rate": 1.152291952058841e-06, |
| "loss": 0.5777, |
| "step": 1954 |
| }, |
| { |
| "epoch": 2.0842666666666667, |
| "grad_norm": 0.5412114858627319, |
| "learning_rate": 1.1498437580873597e-06, |
| "loss": 0.5345, |
| "step": 1955 |
| }, |
| { |
| "epoch": 2.0853333333333333, |
| "grad_norm": 0.6135668158531189, |
| "learning_rate": 1.147397390678461e-06, |
| "loss": 0.5719, |
| "step": 1956 |
| }, |
| { |
| "epoch": 2.0864, |
| "grad_norm": 0.5569204092025757, |
| "learning_rate": 1.1449528531417182e-06, |
| "loss": 0.4826, |
| "step": 1957 |
| }, |
| { |
| "epoch": 2.087466666666667, |
| "grad_norm": 0.5708873271942139, |
| "learning_rate": 1.1425101487842318e-06, |
| "loss": 0.5797, |
| "step": 1958 |
| }, |
| { |
| "epoch": 2.0885333333333334, |
| "grad_norm": 0.584963321685791, |
| "learning_rate": 1.1400692809106198e-06, |
| "loss": 0.5202, |
| "step": 1959 |
| }, |
| { |
| "epoch": 2.0896, |
| "grad_norm": 0.5479303002357483, |
| "learning_rate": 1.1376302528230187e-06, |
| "loss": 0.5123, |
| "step": 1960 |
| }, |
| { |
| "epoch": 2.0906666666666665, |
| "grad_norm": 0.5171927809715271, |
| "learning_rate": 1.1351930678210738e-06, |
| "loss": 0.5081, |
| "step": 1961 |
| }, |
| { |
| "epoch": 2.0917333333333334, |
| "grad_norm": 0.5712481737136841, |
| "learning_rate": 1.1327577292019359e-06, |
| "loss": 0.5772, |
| "step": 1962 |
| }, |
| { |
| "epoch": 2.0928, |
| "grad_norm": 0.5113205909729004, |
| "learning_rate": 1.1303242402602617e-06, |
| "loss": 0.4857, |
| "step": 1963 |
| }, |
| { |
| "epoch": 2.0938666666666665, |
| "grad_norm": 0.6491210460662842, |
| "learning_rate": 1.1278926042882026e-06, |
| "loss": 0.5678, |
| "step": 1964 |
| }, |
| { |
| "epoch": 2.0949333333333335, |
| "grad_norm": 0.5297279953956604, |
| "learning_rate": 1.1254628245754031e-06, |
| "loss": 0.5207, |
| "step": 1965 |
| }, |
| { |
| "epoch": 2.096, |
| "grad_norm": 0.5820677280426025, |
| "learning_rate": 1.1230349044089992e-06, |
| "loss": 0.5275, |
| "step": 1966 |
| }, |
| { |
| "epoch": 2.0970666666666666, |
| "grad_norm": 0.5983148217201233, |
| "learning_rate": 1.1206088470736073e-06, |
| "loss": 0.5512, |
| "step": 1967 |
| }, |
| { |
| "epoch": 2.098133333333333, |
| "grad_norm": 0.5799309611320496, |
| "learning_rate": 1.1181846558513277e-06, |
| "loss": 0.556, |
| "step": 1968 |
| }, |
| { |
| "epoch": 2.0992, |
| "grad_norm": 0.539401650428772, |
| "learning_rate": 1.1157623340217325e-06, |
| "loss": 0.5265, |
| "step": 1969 |
| }, |
| { |
| "epoch": 2.1002666666666667, |
| "grad_norm": 0.563730001449585, |
| "learning_rate": 1.113341884861867e-06, |
| "loss": 0.5334, |
| "step": 1970 |
| }, |
| { |
| "epoch": 2.1013333333333333, |
| "grad_norm": 0.5880308151245117, |
| "learning_rate": 1.1109233116462434e-06, |
| "loss": 0.5275, |
| "step": 1971 |
| }, |
| { |
| "epoch": 2.1024, |
| "grad_norm": 0.6275655627250671, |
| "learning_rate": 1.1085066176468338e-06, |
| "loss": 0.566, |
| "step": 1972 |
| }, |
| { |
| "epoch": 2.103466666666667, |
| "grad_norm": 0.5944007635116577, |
| "learning_rate": 1.1060918061330708e-06, |
| "loss": 0.5675, |
| "step": 1973 |
| }, |
| { |
| "epoch": 2.1045333333333334, |
| "grad_norm": 0.5988786220550537, |
| "learning_rate": 1.1036788803718368e-06, |
| "loss": 0.5112, |
| "step": 1974 |
| }, |
| { |
| "epoch": 2.1056, |
| "grad_norm": 0.6023604273796082, |
| "learning_rate": 1.1012678436274673e-06, |
| "loss": 0.5499, |
| "step": 1975 |
| }, |
| { |
| "epoch": 2.1066666666666665, |
| "grad_norm": 0.5482395887374878, |
| "learning_rate": 1.0988586991617386e-06, |
| "loss": 0.5349, |
| "step": 1976 |
| }, |
| { |
| "epoch": 2.1077333333333335, |
| "grad_norm": 0.5086895227432251, |
| "learning_rate": 1.096451450233868e-06, |
| "loss": 0.4655, |
| "step": 1977 |
| }, |
| { |
| "epoch": 2.1088, |
| "grad_norm": 0.5548471808433533, |
| "learning_rate": 1.0940461001005104e-06, |
| "loss": 0.5096, |
| "step": 1978 |
| }, |
| { |
| "epoch": 2.1098666666666666, |
| "grad_norm": 0.5107628107070923, |
| "learning_rate": 1.091642652015749e-06, |
| "loss": 0.5533, |
| "step": 1979 |
| }, |
| { |
| "epoch": 2.1109333333333336, |
| "grad_norm": 0.5831104516983032, |
| "learning_rate": 1.0892411092310954e-06, |
| "loss": 0.5426, |
| "step": 1980 |
| }, |
| { |
| "epoch": 2.112, |
| "grad_norm": 0.5468901991844177, |
| "learning_rate": 1.086841474995484e-06, |
| "loss": 0.5612, |
| "step": 1981 |
| }, |
| { |
| "epoch": 2.1130666666666666, |
| "grad_norm": 0.656074047088623, |
| "learning_rate": 1.084443752555265e-06, |
| "loss": 0.5081, |
| "step": 1982 |
| }, |
| { |
| "epoch": 2.114133333333333, |
| "grad_norm": 0.5445921421051025, |
| "learning_rate": 1.0820479451542059e-06, |
| "loss": 0.5001, |
| "step": 1983 |
| }, |
| { |
| "epoch": 2.1152, |
| "grad_norm": 0.6055880188941956, |
| "learning_rate": 1.0796540560334794e-06, |
| "loss": 0.5932, |
| "step": 1984 |
| }, |
| { |
| "epoch": 2.1162666666666667, |
| "grad_norm": 0.6210678815841675, |
| "learning_rate": 1.077262088431667e-06, |
| "loss": 0.5597, |
| "step": 1985 |
| }, |
| { |
| "epoch": 2.1173333333333333, |
| "grad_norm": 0.5986397862434387, |
| "learning_rate": 1.0748720455847464e-06, |
| "loss": 0.5799, |
| "step": 1986 |
| }, |
| { |
| "epoch": 2.1184, |
| "grad_norm": 0.5931581854820251, |
| "learning_rate": 1.0724839307260955e-06, |
| "loss": 0.5693, |
| "step": 1987 |
| }, |
| { |
| "epoch": 2.119466666666667, |
| "grad_norm": 0.6203857064247131, |
| "learning_rate": 1.0700977470864807e-06, |
| "loss": 0.5699, |
| "step": 1988 |
| }, |
| { |
| "epoch": 2.1205333333333334, |
| "grad_norm": 0.5313528776168823, |
| "learning_rate": 1.0677134978940576e-06, |
| "loss": 0.5173, |
| "step": 1989 |
| }, |
| { |
| "epoch": 2.1216, |
| "grad_norm": 0.5395098924636841, |
| "learning_rate": 1.0653311863743653e-06, |
| "loss": 0.5294, |
| "step": 1990 |
| }, |
| { |
| "epoch": 2.1226666666666665, |
| "grad_norm": 0.5761310458183289, |
| "learning_rate": 1.0629508157503194e-06, |
| "loss": 0.5266, |
| "step": 1991 |
| }, |
| { |
| "epoch": 2.1237333333333335, |
| "grad_norm": 0.5517644882202148, |
| "learning_rate": 1.0605723892422111e-06, |
| "loss": 0.5222, |
| "step": 1992 |
| }, |
| { |
| "epoch": 2.1248, |
| "grad_norm": 0.5455965995788574, |
| "learning_rate": 1.0581959100677002e-06, |
| "loss": 0.5214, |
| "step": 1993 |
| }, |
| { |
| "epoch": 2.1258666666666666, |
| "grad_norm": 0.5511570572853088, |
| "learning_rate": 1.055821381441815e-06, |
| "loss": 0.5312, |
| "step": 1994 |
| }, |
| { |
| "epoch": 2.1269333333333336, |
| "grad_norm": 0.577914297580719, |
| "learning_rate": 1.053448806576941e-06, |
| "loss": 0.5928, |
| "step": 1995 |
| }, |
| { |
| "epoch": 2.128, |
| "grad_norm": 0.5714656114578247, |
| "learning_rate": 1.0510781886828247e-06, |
| "loss": 0.5314, |
| "step": 1996 |
| }, |
| { |
| "epoch": 2.1290666666666667, |
| "grad_norm": 0.5726284384727478, |
| "learning_rate": 1.0487095309665612e-06, |
| "loss": 0.5336, |
| "step": 1997 |
| }, |
| { |
| "epoch": 2.130133333333333, |
| "grad_norm": 0.5546801686286926, |
| "learning_rate": 1.0463428366325975e-06, |
| "loss": 0.5132, |
| "step": 1998 |
| }, |
| { |
| "epoch": 2.1312, |
| "grad_norm": 0.5761683583259583, |
| "learning_rate": 1.0439781088827202e-06, |
| "loss": 0.5218, |
| "step": 1999 |
| }, |
| { |
| "epoch": 2.1322666666666668, |
| "grad_norm": 0.5767887234687805, |
| "learning_rate": 1.04161535091606e-06, |
| "loss": 0.5599, |
| "step": 2000 |
| }, |
| { |
| "epoch": 2.1333333333333333, |
| "grad_norm": 0.5805522799491882, |
| "learning_rate": 1.0392545659290789e-06, |
| "loss": 0.5464, |
| "step": 2001 |
| }, |
| { |
| "epoch": 2.1344, |
| "grad_norm": 0.5446550846099854, |
| "learning_rate": 1.0368957571155727e-06, |
| "loss": 0.5512, |
| "step": 2002 |
| }, |
| { |
| "epoch": 2.135466666666667, |
| "grad_norm": 0.5859853029251099, |
| "learning_rate": 1.0345389276666607e-06, |
| "loss": 0.5458, |
| "step": 2003 |
| }, |
| { |
| "epoch": 2.1365333333333334, |
| "grad_norm": 0.6816343665122986, |
| "learning_rate": 1.032184080770788e-06, |
| "loss": 0.5985, |
| "step": 2004 |
| }, |
| { |
| "epoch": 2.1376, |
| "grad_norm": 0.6137908101081848, |
| "learning_rate": 1.0298312196137138e-06, |
| "loss": 0.5986, |
| "step": 2005 |
| }, |
| { |
| "epoch": 2.1386666666666665, |
| "grad_norm": 0.5871024131774902, |
| "learning_rate": 1.0274803473785148e-06, |
| "loss": 0.5677, |
| "step": 2006 |
| }, |
| { |
| "epoch": 2.1397333333333335, |
| "grad_norm": 0.6219473481178284, |
| "learning_rate": 1.0251314672455737e-06, |
| "loss": 0.6108, |
| "step": 2007 |
| }, |
| { |
| "epoch": 2.1408, |
| "grad_norm": 0.5645517110824585, |
| "learning_rate": 1.0227845823925785e-06, |
| "loss": 0.5677, |
| "step": 2008 |
| }, |
| { |
| "epoch": 2.1418666666666666, |
| "grad_norm": 0.6285390257835388, |
| "learning_rate": 1.0204396959945212e-06, |
| "loss": 0.561, |
| "step": 2009 |
| }, |
| { |
| "epoch": 2.142933333333333, |
| "grad_norm": 0.5604811310768127, |
| "learning_rate": 1.0180968112236855e-06, |
| "loss": 0.5702, |
| "step": 2010 |
| }, |
| { |
| "epoch": 2.144, |
| "grad_norm": 0.5761069655418396, |
| "learning_rate": 1.0157559312496517e-06, |
| "loss": 0.5269, |
| "step": 2011 |
| }, |
| { |
| "epoch": 2.1450666666666667, |
| "grad_norm": 0.6039048433303833, |
| "learning_rate": 1.0134170592392837e-06, |
| "loss": 0.577, |
| "step": 2012 |
| }, |
| { |
| "epoch": 2.1461333333333332, |
| "grad_norm": 0.5595918297767639, |
| "learning_rate": 1.0110801983567323e-06, |
| "loss": 0.5242, |
| "step": 2013 |
| }, |
| { |
| "epoch": 2.1471999999999998, |
| "grad_norm": 0.5823515057563782, |
| "learning_rate": 1.008745351763425e-06, |
| "loss": 0.5296, |
| "step": 2014 |
| }, |
| { |
| "epoch": 2.1482666666666668, |
| "grad_norm": 0.6052217483520508, |
| "learning_rate": 1.0064125226180667e-06, |
| "loss": 0.5679, |
| "step": 2015 |
| }, |
| { |
| "epoch": 2.1493333333333333, |
| "grad_norm": 0.5503516793251038, |
| "learning_rate": 1.0040817140766306e-06, |
| "loss": 0.4951, |
| "step": 2016 |
| }, |
| { |
| "epoch": 2.1504, |
| "grad_norm": 0.5656489133834839, |
| "learning_rate": 1.0017529292923586e-06, |
| "loss": 0.5602, |
| "step": 2017 |
| }, |
| { |
| "epoch": 2.151466666666667, |
| "grad_norm": 0.5811589956283569, |
| "learning_rate": 9.994261714157522e-07, |
| "loss": 0.5522, |
| "step": 2018 |
| }, |
| { |
| "epoch": 2.1525333333333334, |
| "grad_norm": 0.5971390604972839, |
| "learning_rate": 9.97101443594574e-07, |
| "loss": 0.5426, |
| "step": 2019 |
| }, |
| { |
| "epoch": 2.1536, |
| "grad_norm": 0.5795657634735107, |
| "learning_rate": 9.947787489738359e-07, |
| "loss": 0.5783, |
| "step": 2020 |
| }, |
| { |
| "epoch": 2.1546666666666665, |
| "grad_norm": 0.600114107131958, |
| "learning_rate": 9.924580906958046e-07, |
| "loss": 0.5433, |
| "step": 2021 |
| }, |
| { |
| "epoch": 2.1557333333333335, |
| "grad_norm": 0.5910055041313171, |
| "learning_rate": 9.90139471899987e-07, |
| "loss": 0.5353, |
| "step": 2022 |
| }, |
| { |
| "epoch": 2.1568, |
| "grad_norm": 0.5579214096069336, |
| "learning_rate": 9.878228957231339e-07, |
| "loss": 0.5456, |
| "step": 2023 |
| }, |
| { |
| "epoch": 2.1578666666666666, |
| "grad_norm": 0.5730103850364685, |
| "learning_rate": 9.855083652992304e-07, |
| "loss": 0.5066, |
| "step": 2024 |
| }, |
| { |
| "epoch": 2.158933333333333, |
| "grad_norm": 0.6051849722862244, |
| "learning_rate": 9.83195883759496e-07, |
| "loss": 0.495, |
| "step": 2025 |
| }, |
| { |
| "epoch": 2.16, |
| "grad_norm": 0.529668927192688, |
| "learning_rate": 9.808854542323792e-07, |
| "loss": 0.506, |
| "step": 2026 |
| }, |
| { |
| "epoch": 2.1610666666666667, |
| "grad_norm": 0.5591755509376526, |
| "learning_rate": 9.785770798435487e-07, |
| "loss": 0.5849, |
| "step": 2027 |
| }, |
| { |
| "epoch": 2.1621333333333332, |
| "grad_norm": 0.5689535737037659, |
| "learning_rate": 9.76270763715897e-07, |
| "loss": 0.5506, |
| "step": 2028 |
| }, |
| { |
| "epoch": 2.1632, |
| "grad_norm": 0.5651264786720276, |
| "learning_rate": 9.739665089695285e-07, |
| "loss": 0.5537, |
| "step": 2029 |
| }, |
| { |
| "epoch": 2.164266666666667, |
| "grad_norm": 0.5339370965957642, |
| "learning_rate": 9.716643187217622e-07, |
| "loss": 0.4935, |
| "step": 2030 |
| }, |
| { |
| "epoch": 2.1653333333333333, |
| "grad_norm": 0.5934387445449829, |
| "learning_rate": 9.693641960871209e-07, |
| "loss": 0.5116, |
| "step": 2031 |
| }, |
| { |
| "epoch": 2.1664, |
| "grad_norm": 0.579507052898407, |
| "learning_rate": 9.670661441773336e-07, |
| "loss": 0.5747, |
| "step": 2032 |
| }, |
| { |
| "epoch": 2.167466666666667, |
| "grad_norm": 0.5288676023483276, |
| "learning_rate": 9.647701661013242e-07, |
| "loss": 0.493, |
| "step": 2033 |
| }, |
| { |
| "epoch": 2.1685333333333334, |
| "grad_norm": 0.55874103307724, |
| "learning_rate": 9.62476264965215e-07, |
| "loss": 0.5019, |
| "step": 2034 |
| }, |
| { |
| "epoch": 2.1696, |
| "grad_norm": 0.5492939949035645, |
| "learning_rate": 9.601844438723143e-07, |
| "loss": 0.5429, |
| "step": 2035 |
| }, |
| { |
| "epoch": 2.1706666666666665, |
| "grad_norm": 0.5544688701629639, |
| "learning_rate": 9.578947059231208e-07, |
| "loss": 0.5091, |
| "step": 2036 |
| }, |
| { |
| "epoch": 2.1717333333333335, |
| "grad_norm": 0.6270142793655396, |
| "learning_rate": 9.556070542153115e-07, |
| "loss": 0.5959, |
| "step": 2037 |
| }, |
| { |
| "epoch": 2.1728, |
| "grad_norm": 0.5455418229103088, |
| "learning_rate": 9.533214918437422e-07, |
| "loss": 0.526, |
| "step": 2038 |
| }, |
| { |
| "epoch": 2.1738666666666666, |
| "grad_norm": 0.6009964942932129, |
| "learning_rate": 9.51038021900442e-07, |
| "loss": 0.5567, |
| "step": 2039 |
| }, |
| { |
| "epoch": 2.174933333333333, |
| "grad_norm": 0.5218198299407959, |
| "learning_rate": 9.487566474746104e-07, |
| "loss": 0.4971, |
| "step": 2040 |
| }, |
| { |
| "epoch": 2.176, |
| "grad_norm": 0.5542805790901184, |
| "learning_rate": 9.464773716526101e-07, |
| "loss": 0.4931, |
| "step": 2041 |
| }, |
| { |
| "epoch": 2.1770666666666667, |
| "grad_norm": 0.5713418126106262, |
| "learning_rate": 9.442001975179669e-07, |
| "loss": 0.5712, |
| "step": 2042 |
| }, |
| { |
| "epoch": 2.1781333333333333, |
| "grad_norm": 0.5816754102706909, |
| "learning_rate": 9.419251281513606e-07, |
| "loss": 0.5455, |
| "step": 2043 |
| }, |
| { |
| "epoch": 2.1792, |
| "grad_norm": 0.6008051037788391, |
| "learning_rate": 9.396521666306254e-07, |
| "loss": 0.5763, |
| "step": 2044 |
| }, |
| { |
| "epoch": 2.180266666666667, |
| "grad_norm": 0.6195715069770813, |
| "learning_rate": 9.373813160307452e-07, |
| "loss": 0.5388, |
| "step": 2045 |
| }, |
| { |
| "epoch": 2.1813333333333333, |
| "grad_norm": 0.5859052538871765, |
| "learning_rate": 9.351125794238444e-07, |
| "loss": 0.555, |
| "step": 2046 |
| }, |
| { |
| "epoch": 2.1824, |
| "grad_norm": 0.5943363308906555, |
| "learning_rate": 9.328459598791908e-07, |
| "loss": 0.5178, |
| "step": 2047 |
| }, |
| { |
| "epoch": 2.183466666666667, |
| "grad_norm": 0.5554051399230957, |
| "learning_rate": 9.30581460463186e-07, |
| "loss": 0.5216, |
| "step": 2048 |
| }, |
| { |
| "epoch": 2.1845333333333334, |
| "grad_norm": 0.5342950224876404, |
| "learning_rate": 9.283190842393655e-07, |
| "loss": 0.4783, |
| "step": 2049 |
| }, |
| { |
| "epoch": 2.1856, |
| "grad_norm": 0.5493296384811401, |
| "learning_rate": 9.260588342683902e-07, |
| "loss": 0.4864, |
| "step": 2050 |
| }, |
| { |
| "epoch": 2.1866666666666665, |
| "grad_norm": 0.5886991024017334, |
| "learning_rate": 9.238007136080448e-07, |
| "loss": 0.5575, |
| "step": 2051 |
| }, |
| { |
| "epoch": 2.1877333333333335, |
| "grad_norm": 0.5620487332344055, |
| "learning_rate": 9.215447253132362e-07, |
| "loss": 0.5812, |
| "step": 2052 |
| }, |
| { |
| "epoch": 2.1888, |
| "grad_norm": 0.5663284063339233, |
| "learning_rate": 9.192908724359825e-07, |
| "loss": 0.5068, |
| "step": 2053 |
| }, |
| { |
| "epoch": 2.1898666666666666, |
| "grad_norm": 0.5591151714324951, |
| "learning_rate": 9.170391580254148e-07, |
| "loss": 0.5213, |
| "step": 2054 |
| }, |
| { |
| "epoch": 2.190933333333333, |
| "grad_norm": 0.592227578163147, |
| "learning_rate": 9.147895851277727e-07, |
| "loss": 0.5575, |
| "step": 2055 |
| }, |
| { |
| "epoch": 2.192, |
| "grad_norm": 0.5500637292861938, |
| "learning_rate": 9.125421567863949e-07, |
| "loss": 0.5214, |
| "step": 2056 |
| }, |
| { |
| "epoch": 2.1930666666666667, |
| "grad_norm": 0.5776407122612, |
| "learning_rate": 9.10296876041723e-07, |
| "loss": 0.5489, |
| "step": 2057 |
| }, |
| { |
| "epoch": 2.1941333333333333, |
| "grad_norm": 0.6105439066886902, |
| "learning_rate": 9.080537459312896e-07, |
| "loss": 0.5474, |
| "step": 2058 |
| }, |
| { |
| "epoch": 2.1952, |
| "grad_norm": 0.5926482677459717, |
| "learning_rate": 9.058127694897209e-07, |
| "loss": 0.547, |
| "step": 2059 |
| }, |
| { |
| "epoch": 2.196266666666667, |
| "grad_norm": 0.5561122298240662, |
| "learning_rate": 9.035739497487267e-07, |
| "loss": 0.5022, |
| "step": 2060 |
| }, |
| { |
| "epoch": 2.1973333333333334, |
| "grad_norm": 0.5820502638816833, |
| "learning_rate": 9.01337289737102e-07, |
| "loss": 0.4992, |
| "step": 2061 |
| }, |
| { |
| "epoch": 2.1984, |
| "grad_norm": 0.5556044578552246, |
| "learning_rate": 8.991027924807164e-07, |
| "loss": 0.4953, |
| "step": 2062 |
| }, |
| { |
| "epoch": 2.1994666666666665, |
| "grad_norm": 0.590665340423584, |
| "learning_rate": 8.96870461002517e-07, |
| "loss": 0.5489, |
| "step": 2063 |
| }, |
| { |
| "epoch": 2.2005333333333335, |
| "grad_norm": 0.6162412166595459, |
| "learning_rate": 8.9464029832252e-07, |
| "loss": 0.5735, |
| "step": 2064 |
| }, |
| { |
| "epoch": 2.2016, |
| "grad_norm": 0.6081416010856628, |
| "learning_rate": 8.924123074578067e-07, |
| "loss": 0.5577, |
| "step": 2065 |
| }, |
| { |
| "epoch": 2.2026666666666666, |
| "grad_norm": 0.6302059888839722, |
| "learning_rate": 8.901864914225202e-07, |
| "loss": 0.5374, |
| "step": 2066 |
| }, |
| { |
| "epoch": 2.203733333333333, |
| "grad_norm": 0.6405434608459473, |
| "learning_rate": 8.879628532278614e-07, |
| "loss": 0.5873, |
| "step": 2067 |
| }, |
| { |
| "epoch": 2.2048, |
| "grad_norm": 0.5628075003623962, |
| "learning_rate": 8.857413958820868e-07, |
| "loss": 0.5649, |
| "step": 2068 |
| }, |
| { |
| "epoch": 2.2058666666666666, |
| "grad_norm": 0.5672374367713928, |
| "learning_rate": 8.835221223904994e-07, |
| "loss": 0.4964, |
| "step": 2069 |
| }, |
| { |
| "epoch": 2.206933333333333, |
| "grad_norm": 0.5410338044166565, |
| "learning_rate": 8.813050357554509e-07, |
| "loss": 0.5155, |
| "step": 2070 |
| }, |
| { |
| "epoch": 2.208, |
| "grad_norm": 0.5642537474632263, |
| "learning_rate": 8.790901389763321e-07, |
| "loss": 0.5261, |
| "step": 2071 |
| }, |
| { |
| "epoch": 2.2090666666666667, |
| "grad_norm": 0.5579466223716736, |
| "learning_rate": 8.768774350495731e-07, |
| "loss": 0.5348, |
| "step": 2072 |
| }, |
| { |
| "epoch": 2.2101333333333333, |
| "grad_norm": 0.5569579601287842, |
| "learning_rate": 8.746669269686351e-07, |
| "loss": 0.515, |
| "step": 2073 |
| }, |
| { |
| "epoch": 2.2112, |
| "grad_norm": 0.5726329684257507, |
| "learning_rate": 8.724586177240118e-07, |
| "loss": 0.5002, |
| "step": 2074 |
| }, |
| { |
| "epoch": 2.212266666666667, |
| "grad_norm": 0.5273937582969666, |
| "learning_rate": 8.702525103032186e-07, |
| "loss": 0.498, |
| "step": 2075 |
| }, |
| { |
| "epoch": 2.2133333333333334, |
| "grad_norm": 0.5700516700744629, |
| "learning_rate": 8.680486076907959e-07, |
| "loss": 0.5289, |
| "step": 2076 |
| }, |
| { |
| "epoch": 2.2144, |
| "grad_norm": 0.5850619077682495, |
| "learning_rate": 8.658469128682972e-07, |
| "loss": 0.5216, |
| "step": 2077 |
| }, |
| { |
| "epoch": 2.2154666666666665, |
| "grad_norm": 0.5674796104431152, |
| "learning_rate": 8.636474288142937e-07, |
| "loss": 0.4693, |
| "step": 2078 |
| }, |
| { |
| "epoch": 2.2165333333333335, |
| "grad_norm": 0.5981563925743103, |
| "learning_rate": 8.614501585043616e-07, |
| "loss": 0.5618, |
| "step": 2079 |
| }, |
| { |
| "epoch": 2.2176, |
| "grad_norm": 0.5239196419715881, |
| "learning_rate": 8.592551049110856e-07, |
| "loss": 0.5048, |
| "step": 2080 |
| }, |
| { |
| "epoch": 2.2186666666666666, |
| "grad_norm": 0.593116819858551, |
| "learning_rate": 8.570622710040491e-07, |
| "loss": 0.5692, |
| "step": 2081 |
| }, |
| { |
| "epoch": 2.219733333333333, |
| "grad_norm": 0.5372644662857056, |
| "learning_rate": 8.548716597498327e-07, |
| "loss": 0.5257, |
| "step": 2082 |
| }, |
| { |
| "epoch": 2.2208, |
| "grad_norm": 0.545542299747467, |
| "learning_rate": 8.526832741120125e-07, |
| "loss": 0.4925, |
| "step": 2083 |
| }, |
| { |
| "epoch": 2.2218666666666667, |
| "grad_norm": 0.5951074361801147, |
| "learning_rate": 8.504971170511506e-07, |
| "loss": 0.568, |
| "step": 2084 |
| }, |
| { |
| "epoch": 2.222933333333333, |
| "grad_norm": 0.571184515953064, |
| "learning_rate": 8.483131915247969e-07, |
| "loss": 0.5029, |
| "step": 2085 |
| }, |
| { |
| "epoch": 2.224, |
| "grad_norm": 0.5529885292053223, |
| "learning_rate": 8.461315004874796e-07, |
| "loss": 0.5982, |
| "step": 2086 |
| }, |
| { |
| "epoch": 2.2250666666666667, |
| "grad_norm": 0.576643705368042, |
| "learning_rate": 8.43952046890707e-07, |
| "loss": 0.562, |
| "step": 2087 |
| }, |
| { |
| "epoch": 2.2261333333333333, |
| "grad_norm": 0.6097579598426819, |
| "learning_rate": 8.417748336829573e-07, |
| "loss": 0.5303, |
| "step": 2088 |
| }, |
| { |
| "epoch": 2.2272, |
| "grad_norm": 0.5668955445289612, |
| "learning_rate": 8.395998638096811e-07, |
| "loss": 0.5142, |
| "step": 2089 |
| }, |
| { |
| "epoch": 2.228266666666667, |
| "grad_norm": 0.5348567962646484, |
| "learning_rate": 8.374271402132905e-07, |
| "loss": 0.4686, |
| "step": 2090 |
| }, |
| { |
| "epoch": 2.2293333333333334, |
| "grad_norm": 0.5873087644577026, |
| "learning_rate": 8.352566658331624e-07, |
| "loss": 0.5327, |
| "step": 2091 |
| }, |
| { |
| "epoch": 2.2304, |
| "grad_norm": 0.5951141119003296, |
| "learning_rate": 8.330884436056272e-07, |
| "loss": 0.5561, |
| "step": 2092 |
| }, |
| { |
| "epoch": 2.2314666666666665, |
| "grad_norm": 0.5448186993598938, |
| "learning_rate": 8.30922476463972e-07, |
| "loss": 0.5276, |
| "step": 2093 |
| }, |
| { |
| "epoch": 2.2325333333333335, |
| "grad_norm": 0.535361111164093, |
| "learning_rate": 8.287587673384298e-07, |
| "loss": 0.5215, |
| "step": 2094 |
| }, |
| { |
| "epoch": 2.2336, |
| "grad_norm": 0.5738558173179626, |
| "learning_rate": 8.265973191561824e-07, |
| "loss": 0.5323, |
| "step": 2095 |
| }, |
| { |
| "epoch": 2.2346666666666666, |
| "grad_norm": 0.5859645009040833, |
| "learning_rate": 8.244381348413496e-07, |
| "loss": 0.5287, |
| "step": 2096 |
| }, |
| { |
| "epoch": 2.235733333333333, |
| "grad_norm": 0.5580891370773315, |
| "learning_rate": 8.2228121731499e-07, |
| "loss": 0.5478, |
| "step": 2097 |
| }, |
| { |
| "epoch": 2.2368, |
| "grad_norm": 0.6400141716003418, |
| "learning_rate": 8.201265694950947e-07, |
| "loss": 0.5678, |
| "step": 2098 |
| }, |
| { |
| "epoch": 2.2378666666666667, |
| "grad_norm": 0.590736985206604, |
| "learning_rate": 8.179741942965854e-07, |
| "loss": 0.5282, |
| "step": 2099 |
| }, |
| { |
| "epoch": 2.238933333333333, |
| "grad_norm": 0.580832302570343, |
| "learning_rate": 8.158240946313101e-07, |
| "loss": 0.5399, |
| "step": 2100 |
| }, |
| { |
| "epoch": 2.24, |
| "grad_norm": 0.5894486308097839, |
| "learning_rate": 8.13676273408035e-07, |
| "loss": 0.5518, |
| "step": 2101 |
| }, |
| { |
| "epoch": 2.2410666666666668, |
| "grad_norm": 0.5787906050682068, |
| "learning_rate": 8.11530733532448e-07, |
| "loss": 0.5772, |
| "step": 2102 |
| }, |
| { |
| "epoch": 2.2421333333333333, |
| "grad_norm": 0.5960515737533569, |
| "learning_rate": 8.093874779071465e-07, |
| "loss": 0.5217, |
| "step": 2103 |
| }, |
| { |
| "epoch": 2.2432, |
| "grad_norm": 0.552178144454956, |
| "learning_rate": 8.072465094316418e-07, |
| "loss": 0.5614, |
| "step": 2104 |
| }, |
| { |
| "epoch": 2.244266666666667, |
| "grad_norm": 0.5917844772338867, |
| "learning_rate": 8.051078310023469e-07, |
| "loss": 0.5297, |
| "step": 2105 |
| }, |
| { |
| "epoch": 2.2453333333333334, |
| "grad_norm": 0.6294974684715271, |
| "learning_rate": 8.029714455125809e-07, |
| "loss": 0.57, |
| "step": 2106 |
| }, |
| { |
| "epoch": 2.2464, |
| "grad_norm": 0.6084240078926086, |
| "learning_rate": 8.008373558525568e-07, |
| "loss": 0.5803, |
| "step": 2107 |
| }, |
| { |
| "epoch": 2.2474666666666665, |
| "grad_norm": 0.5830882787704468, |
| "learning_rate": 7.987055649093855e-07, |
| "loss": 0.5226, |
| "step": 2108 |
| }, |
| { |
| "epoch": 2.2485333333333335, |
| "grad_norm": 0.5257877111434937, |
| "learning_rate": 7.965760755670646e-07, |
| "loss": 0.5186, |
| "step": 2109 |
| }, |
| { |
| "epoch": 2.2496, |
| "grad_norm": 0.5937321782112122, |
| "learning_rate": 7.944488907064812e-07, |
| "loss": 0.5983, |
| "step": 2110 |
| }, |
| { |
| "epoch": 2.2506666666666666, |
| "grad_norm": 0.6028729677200317, |
| "learning_rate": 7.923240132054025e-07, |
| "loss": 0.5746, |
| "step": 2111 |
| }, |
| { |
| "epoch": 2.251733333333333, |
| "grad_norm": 0.5760929584503174, |
| "learning_rate": 7.902014459384744e-07, |
| "loss": 0.5414, |
| "step": 2112 |
| }, |
| { |
| "epoch": 2.2528, |
| "grad_norm": 0.6098974943161011, |
| "learning_rate": 7.880811917772174e-07, |
| "loss": 0.5977, |
| "step": 2113 |
| }, |
| { |
| "epoch": 2.2538666666666667, |
| "grad_norm": 0.5387048721313477, |
| "learning_rate": 7.859632535900249e-07, |
| "loss": 0.5234, |
| "step": 2114 |
| }, |
| { |
| "epoch": 2.2549333333333332, |
| "grad_norm": 0.5575622320175171, |
| "learning_rate": 7.838476342421536e-07, |
| "loss": 0.4887, |
| "step": 2115 |
| }, |
| { |
| "epoch": 2.2560000000000002, |
| "grad_norm": 0.5173914432525635, |
| "learning_rate": 7.817343365957266e-07, |
| "loss": 0.4951, |
| "step": 2116 |
| }, |
| { |
| "epoch": 2.2570666666666668, |
| "grad_norm": 0.5869449377059937, |
| "learning_rate": 7.796233635097228e-07, |
| "loss": 0.553, |
| "step": 2117 |
| }, |
| { |
| "epoch": 2.2581333333333333, |
| "grad_norm": 0.5391082167625427, |
| "learning_rate": 7.775147178399786e-07, |
| "loss": 0.4972, |
| "step": 2118 |
| }, |
| { |
| "epoch": 2.2592, |
| "grad_norm": 0.5923578143119812, |
| "learning_rate": 7.754084024391822e-07, |
| "loss": 0.5577, |
| "step": 2119 |
| }, |
| { |
| "epoch": 2.2602666666666664, |
| "grad_norm": 0.6544821858406067, |
| "learning_rate": 7.733044201568663e-07, |
| "loss": 0.55, |
| "step": 2120 |
| }, |
| { |
| "epoch": 2.2613333333333334, |
| "grad_norm": 0.5964756608009338, |
| "learning_rate": 7.712027738394109e-07, |
| "loss": 0.5453, |
| "step": 2121 |
| }, |
| { |
| "epoch": 2.2624, |
| "grad_norm": 0.6140027046203613, |
| "learning_rate": 7.691034663300323e-07, |
| "loss": 0.537, |
| "step": 2122 |
| }, |
| { |
| "epoch": 2.2634666666666665, |
| "grad_norm": 0.56719571352005, |
| "learning_rate": 7.670065004687862e-07, |
| "loss": 0.5365, |
| "step": 2123 |
| }, |
| { |
| "epoch": 2.2645333333333335, |
| "grad_norm": 0.588505208492279, |
| "learning_rate": 7.649118790925575e-07, |
| "loss": 0.5502, |
| "step": 2124 |
| }, |
| { |
| "epoch": 2.2656, |
| "grad_norm": 0.5829797387123108, |
| "learning_rate": 7.628196050350601e-07, |
| "loss": 0.5307, |
| "step": 2125 |
| }, |
| { |
| "epoch": 2.2666666666666666, |
| "grad_norm": 0.5846615433692932, |
| "learning_rate": 7.607296811268338e-07, |
| "loss": 0.5543, |
| "step": 2126 |
| }, |
| { |
| "epoch": 2.267733333333333, |
| "grad_norm": 0.5283834338188171, |
| "learning_rate": 7.586421101952376e-07, |
| "loss": 0.5281, |
| "step": 2127 |
| }, |
| { |
| "epoch": 2.2688, |
| "grad_norm": 0.5763760805130005, |
| "learning_rate": 7.565568950644464e-07, |
| "loss": 0.4942, |
| "step": 2128 |
| }, |
| { |
| "epoch": 2.2698666666666667, |
| "grad_norm": 0.5524572730064392, |
| "learning_rate": 7.544740385554511e-07, |
| "loss": 0.5404, |
| "step": 2129 |
| }, |
| { |
| "epoch": 2.2709333333333332, |
| "grad_norm": 0.5165268778800964, |
| "learning_rate": 7.52393543486048e-07, |
| "loss": 0.5128, |
| "step": 2130 |
| }, |
| { |
| "epoch": 2.2720000000000002, |
| "grad_norm": 0.6210837960243225, |
| "learning_rate": 7.503154126708423e-07, |
| "loss": 0.6044, |
| "step": 2131 |
| }, |
| { |
| "epoch": 2.273066666666667, |
| "grad_norm": 0.5734737515449524, |
| "learning_rate": 7.482396489212373e-07, |
| "loss": 0.5473, |
| "step": 2132 |
| }, |
| { |
| "epoch": 2.2741333333333333, |
| "grad_norm": 0.5944502949714661, |
| "learning_rate": 7.461662550454374e-07, |
| "loss": 0.5699, |
| "step": 2133 |
| }, |
| { |
| "epoch": 2.2752, |
| "grad_norm": 0.6464000344276428, |
| "learning_rate": 7.440952338484378e-07, |
| "loss": 0.5804, |
| "step": 2134 |
| }, |
| { |
| "epoch": 2.2762666666666664, |
| "grad_norm": 0.5660073757171631, |
| "learning_rate": 7.420265881320262e-07, |
| "loss": 0.5268, |
| "step": 2135 |
| }, |
| { |
| "epoch": 2.2773333333333334, |
| "grad_norm": 0.5786594748497009, |
| "learning_rate": 7.399603206947747e-07, |
| "loss": 0.5635, |
| "step": 2136 |
| }, |
| { |
| "epoch": 2.2784, |
| "grad_norm": 0.5887163281440735, |
| "learning_rate": 7.378964343320394e-07, |
| "loss": 0.558, |
| "step": 2137 |
| }, |
| { |
| "epoch": 2.2794666666666665, |
| "grad_norm": 0.5443077683448792, |
| "learning_rate": 7.358349318359553e-07, |
| "loss": 0.5222, |
| "step": 2138 |
| }, |
| { |
| "epoch": 2.2805333333333335, |
| "grad_norm": 0.5990632176399231, |
| "learning_rate": 7.337758159954314e-07, |
| "loss": 0.5674, |
| "step": 2139 |
| }, |
| { |
| "epoch": 2.2816, |
| "grad_norm": 0.5847434997558594, |
| "learning_rate": 7.317190895961468e-07, |
| "loss": 0.5478, |
| "step": 2140 |
| }, |
| { |
| "epoch": 2.2826666666666666, |
| "grad_norm": 0.573564887046814, |
| "learning_rate": 7.296647554205514e-07, |
| "loss": 0.5492, |
| "step": 2141 |
| }, |
| { |
| "epoch": 2.283733333333333, |
| "grad_norm": 0.571886420249939, |
| "learning_rate": 7.27612816247856e-07, |
| "loss": 0.489, |
| "step": 2142 |
| }, |
| { |
| "epoch": 2.2848, |
| "grad_norm": 0.6117568016052246, |
| "learning_rate": 7.255632748540312e-07, |
| "loss": 0.5642, |
| "step": 2143 |
| }, |
| { |
| "epoch": 2.2858666666666667, |
| "grad_norm": 0.5740789771080017, |
| "learning_rate": 7.235161340118066e-07, |
| "loss": 0.5635, |
| "step": 2144 |
| }, |
| { |
| "epoch": 2.2869333333333333, |
| "grad_norm": 0.5822352766990662, |
| "learning_rate": 7.214713964906602e-07, |
| "loss": 0.5134, |
| "step": 2145 |
| }, |
| { |
| "epoch": 2.288, |
| "grad_norm": 0.6193169951438904, |
| "learning_rate": 7.194290650568231e-07, |
| "loss": 0.5399, |
| "step": 2146 |
| }, |
| { |
| "epoch": 2.289066666666667, |
| "grad_norm": 0.637004017829895, |
| "learning_rate": 7.173891424732667e-07, |
| "loss": 0.5789, |
| "step": 2147 |
| }, |
| { |
| "epoch": 2.2901333333333334, |
| "grad_norm": 0.5810766220092773, |
| "learning_rate": 7.153516314997081e-07, |
| "loss": 0.5847, |
| "step": 2148 |
| }, |
| { |
| "epoch": 2.2912, |
| "grad_norm": 0.5804557204246521, |
| "learning_rate": 7.133165348925978e-07, |
| "loss": 0.5459, |
| "step": 2149 |
| }, |
| { |
| "epoch": 2.2922666666666665, |
| "grad_norm": 0.5641734004020691, |
| "learning_rate": 7.11283855405123e-07, |
| "loss": 0.4844, |
| "step": 2150 |
| }, |
| { |
| "epoch": 2.2933333333333334, |
| "grad_norm": 0.517396092414856, |
| "learning_rate": 7.092535957871985e-07, |
| "loss": 0.515, |
| "step": 2151 |
| }, |
| { |
| "epoch": 2.2944, |
| "grad_norm": 0.5628241896629333, |
| "learning_rate": 7.072257587854683e-07, |
| "loss": 0.5202, |
| "step": 2152 |
| }, |
| { |
| "epoch": 2.2954666666666665, |
| "grad_norm": 0.5393465757369995, |
| "learning_rate": 7.052003471432956e-07, |
| "loss": 0.5025, |
| "step": 2153 |
| }, |
| { |
| "epoch": 2.2965333333333335, |
| "grad_norm": 0.5430815815925598, |
| "learning_rate": 7.031773636007653e-07, |
| "loss": 0.5177, |
| "step": 2154 |
| }, |
| { |
| "epoch": 2.2976, |
| "grad_norm": 0.5273514986038208, |
| "learning_rate": 7.011568108946759e-07, |
| "loss": 0.5207, |
| "step": 2155 |
| }, |
| { |
| "epoch": 2.2986666666666666, |
| "grad_norm": 0.6141219735145569, |
| "learning_rate": 6.991386917585369e-07, |
| "loss": 0.5798, |
| "step": 2156 |
| }, |
| { |
| "epoch": 2.299733333333333, |
| "grad_norm": 0.5463828444480896, |
| "learning_rate": 6.971230089225678e-07, |
| "loss": 0.5372, |
| "step": 2157 |
| }, |
| { |
| "epoch": 2.3008, |
| "grad_norm": 0.5647149085998535, |
| "learning_rate": 6.95109765113689e-07, |
| "loss": 0.5461, |
| "step": 2158 |
| }, |
| { |
| "epoch": 2.3018666666666667, |
| "grad_norm": 0.5486133098602295, |
| "learning_rate": 6.930989630555246e-07, |
| "loss": 0.5606, |
| "step": 2159 |
| }, |
| { |
| "epoch": 2.3029333333333333, |
| "grad_norm": 0.5877485275268555, |
| "learning_rate": 6.910906054683919e-07, |
| "loss": 0.562, |
| "step": 2160 |
| }, |
| { |
| "epoch": 2.304, |
| "grad_norm": 0.5545321702957153, |
| "learning_rate": 6.890846950693047e-07, |
| "loss": 0.5419, |
| "step": 2161 |
| }, |
| { |
| "epoch": 2.305066666666667, |
| "grad_norm": 0.5702171325683594, |
| "learning_rate": 6.87081234571963e-07, |
| "loss": 0.5235, |
| "step": 2162 |
| }, |
| { |
| "epoch": 2.3061333333333334, |
| "grad_norm": 0.6140770316123962, |
| "learning_rate": 6.850802266867551e-07, |
| "loss": 0.5549, |
| "step": 2163 |
| }, |
| { |
| "epoch": 2.3072, |
| "grad_norm": 0.5681145191192627, |
| "learning_rate": 6.830816741207489e-07, |
| "loss": 0.5519, |
| "step": 2164 |
| }, |
| { |
| "epoch": 2.3082666666666665, |
| "grad_norm": 0.5549550652503967, |
| "learning_rate": 6.810855795776927e-07, |
| "loss": 0.5229, |
| "step": 2165 |
| }, |
| { |
| "epoch": 2.3093333333333335, |
| "grad_norm": 0.5571963787078857, |
| "learning_rate": 6.790919457580072e-07, |
| "loss": 0.5181, |
| "step": 2166 |
| }, |
| { |
| "epoch": 2.3104, |
| "grad_norm": 0.5379077792167664, |
| "learning_rate": 6.771007753587872e-07, |
| "loss": 0.529, |
| "step": 2167 |
| }, |
| { |
| "epoch": 2.3114666666666666, |
| "grad_norm": 0.5576977133750916, |
| "learning_rate": 6.75112071073791e-07, |
| "loss": 0.5521, |
| "step": 2168 |
| }, |
| { |
| "epoch": 2.3125333333333336, |
| "grad_norm": 0.5549098253250122, |
| "learning_rate": 6.731258355934447e-07, |
| "loss": 0.5415, |
| "step": 2169 |
| }, |
| { |
| "epoch": 2.3136, |
| "grad_norm": 0.5330442786216736, |
| "learning_rate": 6.711420716048311e-07, |
| "loss": 0.5334, |
| "step": 2170 |
| }, |
| { |
| "epoch": 2.3146666666666667, |
| "grad_norm": 0.5996719598770142, |
| "learning_rate": 6.691607817916914e-07, |
| "loss": 0.5962, |
| "step": 2171 |
| }, |
| { |
| "epoch": 2.315733333333333, |
| "grad_norm": 0.6260022521018982, |
| "learning_rate": 6.671819688344177e-07, |
| "loss": 0.5957, |
| "step": 2172 |
| }, |
| { |
| "epoch": 2.3168, |
| "grad_norm": 0.581509530544281, |
| "learning_rate": 6.652056354100536e-07, |
| "loss": 0.5671, |
| "step": 2173 |
| }, |
| { |
| "epoch": 2.3178666666666667, |
| "grad_norm": 0.5659917593002319, |
| "learning_rate": 6.632317841922878e-07, |
| "loss": 0.5125, |
| "step": 2174 |
| }, |
| { |
| "epoch": 2.3189333333333333, |
| "grad_norm": 0.5576387047767639, |
| "learning_rate": 6.61260417851449e-07, |
| "loss": 0.5127, |
| "step": 2175 |
| }, |
| { |
| "epoch": 2.32, |
| "grad_norm": 0.5573277473449707, |
| "learning_rate": 6.592915390545068e-07, |
| "loss": 0.5268, |
| "step": 2176 |
| }, |
| { |
| "epoch": 2.321066666666667, |
| "grad_norm": 0.54007887840271, |
| "learning_rate": 6.573251504650629e-07, |
| "loss": 0.5558, |
| "step": 2177 |
| }, |
| { |
| "epoch": 2.3221333333333334, |
| "grad_norm": 0.543655514717102, |
| "learning_rate": 6.553612547433533e-07, |
| "loss": 0.5681, |
| "step": 2178 |
| }, |
| { |
| "epoch": 2.3232, |
| "grad_norm": 0.5757970809936523, |
| "learning_rate": 6.533998545462377e-07, |
| "loss": 0.5741, |
| "step": 2179 |
| }, |
| { |
| "epoch": 2.3242666666666665, |
| "grad_norm": 0.587647557258606, |
| "learning_rate": 6.514409525272039e-07, |
| "loss": 0.5785, |
| "step": 2180 |
| }, |
| { |
| "epoch": 2.3253333333333335, |
| "grad_norm": 0.6424332857131958, |
| "learning_rate": 6.494845513363557e-07, |
| "loss": 0.5927, |
| "step": 2181 |
| }, |
| { |
| "epoch": 2.3264, |
| "grad_norm": 0.5005308389663696, |
| "learning_rate": 6.475306536204176e-07, |
| "loss": 0.4784, |
| "step": 2182 |
| }, |
| { |
| "epoch": 2.3274666666666666, |
| "grad_norm": 0.5394622683525085, |
| "learning_rate": 6.455792620227242e-07, |
| "loss": 0.5146, |
| "step": 2183 |
| }, |
| { |
| "epoch": 2.3285333333333336, |
| "grad_norm": 0.5890732407569885, |
| "learning_rate": 6.436303791832222e-07, |
| "loss": 0.5608, |
| "step": 2184 |
| }, |
| { |
| "epoch": 2.3296, |
| "grad_norm": 0.6829611659049988, |
| "learning_rate": 6.416840077384625e-07, |
| "loss": 0.6596, |
| "step": 2185 |
| }, |
| { |
| "epoch": 2.3306666666666667, |
| "grad_norm": 0.5375193953514099, |
| "learning_rate": 6.397401503215992e-07, |
| "loss": 0.5321, |
| "step": 2186 |
| }, |
| { |
| "epoch": 2.331733333333333, |
| "grad_norm": 0.562964141368866, |
| "learning_rate": 6.377988095623841e-07, |
| "loss": 0.5499, |
| "step": 2187 |
| }, |
| { |
| "epoch": 2.3327999999999998, |
| "grad_norm": 0.6026499271392822, |
| "learning_rate": 6.358599880871668e-07, |
| "loss": 0.5822, |
| "step": 2188 |
| }, |
| { |
| "epoch": 2.3338666666666668, |
| "grad_norm": 0.5351163148880005, |
| "learning_rate": 6.339236885188863e-07, |
| "loss": 0.5301, |
| "step": 2189 |
| }, |
| { |
| "epoch": 2.3349333333333333, |
| "grad_norm": 0.596741795539856, |
| "learning_rate": 6.319899134770716e-07, |
| "loss": 0.5437, |
| "step": 2190 |
| }, |
| { |
| "epoch": 2.336, |
| "grad_norm": 0.5134318470954895, |
| "learning_rate": 6.300586655778345e-07, |
| "loss": 0.5197, |
| "step": 2191 |
| }, |
| { |
| "epoch": 2.337066666666667, |
| "grad_norm": 0.6396583914756775, |
| "learning_rate": 6.2812994743387e-07, |
| "loss": 0.5655, |
| "step": 2192 |
| }, |
| { |
| "epoch": 2.3381333333333334, |
| "grad_norm": 0.6056528687477112, |
| "learning_rate": 6.2620376165445e-07, |
| "loss": 0.5511, |
| "step": 2193 |
| }, |
| { |
| "epoch": 2.3392, |
| "grad_norm": 0.5409857630729675, |
| "learning_rate": 6.242801108454189e-07, |
| "loss": 0.4959, |
| "step": 2194 |
| }, |
| { |
| "epoch": 2.3402666666666665, |
| "grad_norm": 0.537287712097168, |
| "learning_rate": 6.223589976091945e-07, |
| "loss": 0.5205, |
| "step": 2195 |
| }, |
| { |
| "epoch": 2.3413333333333335, |
| "grad_norm": 0.6054346561431885, |
| "learning_rate": 6.204404245447588e-07, |
| "loss": 0.5723, |
| "step": 2196 |
| }, |
| { |
| "epoch": 2.3424, |
| "grad_norm": 0.5128665566444397, |
| "learning_rate": 6.185243942476599e-07, |
| "loss": 0.4914, |
| "step": 2197 |
| }, |
| { |
| "epoch": 2.3434666666666666, |
| "grad_norm": 0.6032143235206604, |
| "learning_rate": 6.166109093100031e-07, |
| "loss": 0.5767, |
| "step": 2198 |
| }, |
| { |
| "epoch": 2.3445333333333336, |
| "grad_norm": 0.5874686241149902, |
| "learning_rate": 6.146999723204533e-07, |
| "loss": 0.5602, |
| "step": 2199 |
| }, |
| { |
| "epoch": 2.3456, |
| "grad_norm": 0.5823512077331543, |
| "learning_rate": 6.127915858642264e-07, |
| "loss": 0.5412, |
| "step": 2200 |
| }, |
| { |
| "epoch": 2.3466666666666667, |
| "grad_norm": 0.5651906728744507, |
| "learning_rate": 6.10885752523088e-07, |
| "loss": 0.5146, |
| "step": 2201 |
| }, |
| { |
| "epoch": 2.3477333333333332, |
| "grad_norm": 0.6195403337478638, |
| "learning_rate": 6.089824748753492e-07, |
| "loss": 0.5327, |
| "step": 2202 |
| }, |
| { |
| "epoch": 2.3487999999999998, |
| "grad_norm": 0.5302814841270447, |
| "learning_rate": 6.070817554958661e-07, |
| "loss": 0.545, |
| "step": 2203 |
| }, |
| { |
| "epoch": 2.3498666666666668, |
| "grad_norm": 0.5653929710388184, |
| "learning_rate": 6.051835969560301e-07, |
| "loss": 0.5334, |
| "step": 2204 |
| }, |
| { |
| "epoch": 2.3509333333333333, |
| "grad_norm": 0.577916145324707, |
| "learning_rate": 6.032880018237725e-07, |
| "loss": 0.5532, |
| "step": 2205 |
| }, |
| { |
| "epoch": 2.352, |
| "grad_norm": 0.5718585252761841, |
| "learning_rate": 6.013949726635523e-07, |
| "loss": 0.5248, |
| "step": 2206 |
| }, |
| { |
| "epoch": 2.353066666666667, |
| "grad_norm": 0.5898280143737793, |
| "learning_rate": 5.99504512036361e-07, |
| "loss": 0.5039, |
| "step": 2207 |
| }, |
| { |
| "epoch": 2.3541333333333334, |
| "grad_norm": 0.5920451283454895, |
| "learning_rate": 5.976166224997118e-07, |
| "loss": 0.543, |
| "step": 2208 |
| }, |
| { |
| "epoch": 2.3552, |
| "grad_norm": 0.5738232135772705, |
| "learning_rate": 5.95731306607642e-07, |
| "loss": 0.5603, |
| "step": 2209 |
| }, |
| { |
| "epoch": 2.3562666666666665, |
| "grad_norm": 0.5750663876533508, |
| "learning_rate": 5.938485669107072e-07, |
| "loss": 0.5523, |
| "step": 2210 |
| }, |
| { |
| "epoch": 2.3573333333333335, |
| "grad_norm": 0.5588812828063965, |
| "learning_rate": 5.919684059559752e-07, |
| "loss": 0.4847, |
| "step": 2211 |
| }, |
| { |
| "epoch": 2.3584, |
| "grad_norm": 0.5052850842475891, |
| "learning_rate": 5.900908262870289e-07, |
| "loss": 0.4998, |
| "step": 2212 |
| }, |
| { |
| "epoch": 2.3594666666666666, |
| "grad_norm": 0.558524489402771, |
| "learning_rate": 5.882158304439561e-07, |
| "loss": 0.5054, |
| "step": 2213 |
| }, |
| { |
| "epoch": 2.360533333333333, |
| "grad_norm": 0.6151294708251953, |
| "learning_rate": 5.863434209633493e-07, |
| "loss": 0.5434, |
| "step": 2214 |
| }, |
| { |
| "epoch": 2.3616, |
| "grad_norm": 0.5964664816856384, |
| "learning_rate": 5.844736003783041e-07, |
| "loss": 0.5408, |
| "step": 2215 |
| }, |
| { |
| "epoch": 2.3626666666666667, |
| "grad_norm": 0.5545241832733154, |
| "learning_rate": 5.826063712184124e-07, |
| "loss": 0.5523, |
| "step": 2216 |
| }, |
| { |
| "epoch": 2.3637333333333332, |
| "grad_norm": 0.5729799270629883, |
| "learning_rate": 5.807417360097587e-07, |
| "loss": 0.5322, |
| "step": 2217 |
| }, |
| { |
| "epoch": 2.3648, |
| "grad_norm": 0.5336989164352417, |
| "learning_rate": 5.788796972749219e-07, |
| "loss": 0.5008, |
| "step": 2218 |
| }, |
| { |
| "epoch": 2.365866666666667, |
| "grad_norm": 0.5911531448364258, |
| "learning_rate": 5.770202575329645e-07, |
| "loss": 0.5607, |
| "step": 2219 |
| }, |
| { |
| "epoch": 2.3669333333333333, |
| "grad_norm": 0.5486395359039307, |
| "learning_rate": 5.751634192994363e-07, |
| "loss": 0.5154, |
| "step": 2220 |
| }, |
| { |
| "epoch": 2.368, |
| "grad_norm": 0.5693590044975281, |
| "learning_rate": 5.733091850863643e-07, |
| "loss": 0.4938, |
| "step": 2221 |
| }, |
| { |
| "epoch": 2.369066666666667, |
| "grad_norm": 0.5664892792701721, |
| "learning_rate": 5.71457557402256e-07, |
| "loss": 0.5711, |
| "step": 2222 |
| }, |
| { |
| "epoch": 2.3701333333333334, |
| "grad_norm": 0.5724595785140991, |
| "learning_rate": 5.696085387520894e-07, |
| "loss": 0.5796, |
| "step": 2223 |
| }, |
| { |
| "epoch": 2.3712, |
| "grad_norm": 0.5411311984062195, |
| "learning_rate": 5.677621316373161e-07, |
| "loss": 0.5072, |
| "step": 2224 |
| }, |
| { |
| "epoch": 2.3722666666666665, |
| "grad_norm": 0.5558463931083679, |
| "learning_rate": 5.659183385558515e-07, |
| "loss": 0.5236, |
| "step": 2225 |
| }, |
| { |
| "epoch": 2.3733333333333335, |
| "grad_norm": 0.5135002732276917, |
| "learning_rate": 5.640771620020776e-07, |
| "loss": 0.4739, |
| "step": 2226 |
| }, |
| { |
| "epoch": 2.3744, |
| "grad_norm": 0.537838876247406, |
| "learning_rate": 5.622386044668338e-07, |
| "loss": 0.5247, |
| "step": 2227 |
| }, |
| { |
| "epoch": 2.3754666666666666, |
| "grad_norm": 0.6402057409286499, |
| "learning_rate": 5.604026684374189e-07, |
| "loss": 0.5053, |
| "step": 2228 |
| }, |
| { |
| "epoch": 2.376533333333333, |
| "grad_norm": 0.5663795471191406, |
| "learning_rate": 5.585693563975833e-07, |
| "loss": 0.5543, |
| "step": 2229 |
| }, |
| { |
| "epoch": 2.3776, |
| "grad_norm": 0.5612260103225708, |
| "learning_rate": 5.56738670827528e-07, |
| "loss": 0.5179, |
| "step": 2230 |
| }, |
| { |
| "epoch": 2.3786666666666667, |
| "grad_norm": 0.5202215909957886, |
| "learning_rate": 5.549106142039018e-07, |
| "loss": 0.5218, |
| "step": 2231 |
| }, |
| { |
| "epoch": 2.3797333333333333, |
| "grad_norm": 0.6023814082145691, |
| "learning_rate": 5.530851889997951e-07, |
| "loss": 0.5737, |
| "step": 2232 |
| }, |
| { |
| "epoch": 2.3808, |
| "grad_norm": 0.5627083778381348, |
| "learning_rate": 5.512623976847406e-07, |
| "loss": 0.5163, |
| "step": 2233 |
| }, |
| { |
| "epoch": 2.381866666666667, |
| "grad_norm": 0.5802216529846191, |
| "learning_rate": 5.494422427247054e-07, |
| "loss": 0.5426, |
| "step": 2234 |
| }, |
| { |
| "epoch": 2.3829333333333333, |
| "grad_norm": 0.5782692432403564, |
| "learning_rate": 5.476247265820922e-07, |
| "loss": 0.5737, |
| "step": 2235 |
| }, |
| { |
| "epoch": 2.384, |
| "grad_norm": 0.5901110768318176, |
| "learning_rate": 5.458098517157315e-07, |
| "loss": 0.5572, |
| "step": 2236 |
| }, |
| { |
| "epoch": 2.385066666666667, |
| "grad_norm": 0.5664865970611572, |
| "learning_rate": 5.439976205808834e-07, |
| "loss": 0.5501, |
| "step": 2237 |
| }, |
| { |
| "epoch": 2.3861333333333334, |
| "grad_norm": 0.5871819853782654, |
| "learning_rate": 5.421880356292278e-07, |
| "loss": 0.556, |
| "step": 2238 |
| }, |
| { |
| "epoch": 2.3872, |
| "grad_norm": 0.6240547299385071, |
| "learning_rate": 5.403810993088684e-07, |
| "loss": 0.6062, |
| "step": 2239 |
| }, |
| { |
| "epoch": 2.3882666666666665, |
| "grad_norm": 0.5784744024276733, |
| "learning_rate": 5.385768140643227e-07, |
| "loss": 0.518, |
| "step": 2240 |
| }, |
| { |
| "epoch": 2.389333333333333, |
| "grad_norm": 0.5427837371826172, |
| "learning_rate": 5.367751823365241e-07, |
| "loss": 0.5359, |
| "step": 2241 |
| }, |
| { |
| "epoch": 2.3904, |
| "grad_norm": 0.5362616777420044, |
| "learning_rate": 5.349762065628136e-07, |
| "loss": 0.5063, |
| "step": 2242 |
| }, |
| { |
| "epoch": 2.3914666666666666, |
| "grad_norm": 0.5446994304656982, |
| "learning_rate": 5.331798891769421e-07, |
| "loss": 0.5556, |
| "step": 2243 |
| }, |
| { |
| "epoch": 2.392533333333333, |
| "grad_norm": 0.5700189471244812, |
| "learning_rate": 5.313862326090618e-07, |
| "loss": 0.5434, |
| "step": 2244 |
| }, |
| { |
| "epoch": 2.3936, |
| "grad_norm": 0.5307015180587769, |
| "learning_rate": 5.295952392857254e-07, |
| "loss": 0.5548, |
| "step": 2245 |
| }, |
| { |
| "epoch": 2.3946666666666667, |
| "grad_norm": 0.5710926055908203, |
| "learning_rate": 5.278069116298842e-07, |
| "loss": 0.5448, |
| "step": 2246 |
| }, |
| { |
| "epoch": 2.3957333333333333, |
| "grad_norm": 0.5681818723678589, |
| "learning_rate": 5.260212520608806e-07, |
| "loss": 0.5255, |
| "step": 2247 |
| }, |
| { |
| "epoch": 2.3968, |
| "grad_norm": 0.5293386578559875, |
| "learning_rate": 5.242382629944512e-07, |
| "loss": 0.5084, |
| "step": 2248 |
| }, |
| { |
| "epoch": 2.397866666666667, |
| "grad_norm": 0.580551028251648, |
| "learning_rate": 5.224579468427154e-07, |
| "loss": 0.5196, |
| "step": 2249 |
| }, |
| { |
| "epoch": 2.3989333333333334, |
| "grad_norm": 0.5389193892478943, |
| "learning_rate": 5.206803060141808e-07, |
| "loss": 0.5217, |
| "step": 2250 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 0.563150942325592, |
| "learning_rate": 5.189053429137319e-07, |
| "loss": 0.54, |
| "step": 2251 |
| }, |
| { |
| "epoch": 2.401066666666667, |
| "grad_norm": 0.5276778936386108, |
| "learning_rate": 5.171330599426344e-07, |
| "loss": 0.4823, |
| "step": 2252 |
| }, |
| { |
| "epoch": 2.4021333333333335, |
| "grad_norm": 0.556806206703186, |
| "learning_rate": 5.153634594985241e-07, |
| "loss": 0.4927, |
| "step": 2253 |
| }, |
| { |
| "epoch": 2.4032, |
| "grad_norm": 0.5906751155853271, |
| "learning_rate": 5.135965439754115e-07, |
| "loss": 0.5204, |
| "step": 2254 |
| }, |
| { |
| "epoch": 2.4042666666666666, |
| "grad_norm": 0.5882688760757446, |
| "learning_rate": 5.118323157636718e-07, |
| "loss": 0.532, |
| "step": 2255 |
| }, |
| { |
| "epoch": 2.405333333333333, |
| "grad_norm": 0.6109330058097839, |
| "learning_rate": 5.100707772500471e-07, |
| "loss": 0.557, |
| "step": 2256 |
| }, |
| { |
| "epoch": 2.4064, |
| "grad_norm": 0.572471559047699, |
| "learning_rate": 5.083119308176385e-07, |
| "loss": 0.5447, |
| "step": 2257 |
| }, |
| { |
| "epoch": 2.4074666666666666, |
| "grad_norm": 0.556056559085846, |
| "learning_rate": 5.065557788459077e-07, |
| "loss": 0.553, |
| "step": 2258 |
| }, |
| { |
| "epoch": 2.408533333333333, |
| "grad_norm": 0.5681343078613281, |
| "learning_rate": 5.048023237106689e-07, |
| "loss": 0.5448, |
| "step": 2259 |
| }, |
| { |
| "epoch": 2.4096, |
| "grad_norm": 0.5574612021446228, |
| "learning_rate": 5.030515677840883e-07, |
| "loss": 0.5088, |
| "step": 2260 |
| }, |
| { |
| "epoch": 2.4106666666666667, |
| "grad_norm": 0.587236762046814, |
| "learning_rate": 5.013035134346808e-07, |
| "loss": 0.5359, |
| "step": 2261 |
| }, |
| { |
| "epoch": 2.4117333333333333, |
| "grad_norm": 0.6098780632019043, |
| "learning_rate": 4.995581630273077e-07, |
| "loss": 0.5676, |
| "step": 2262 |
| }, |
| { |
| "epoch": 2.4128, |
| "grad_norm": 0.5588917136192322, |
| "learning_rate": 4.978155189231699e-07, |
| "loss": 0.5049, |
| "step": 2263 |
| }, |
| { |
| "epoch": 2.413866666666667, |
| "grad_norm": 0.5921647548675537, |
| "learning_rate": 4.960755834798084e-07, |
| "loss": 0.5275, |
| "step": 2264 |
| }, |
| { |
| "epoch": 2.4149333333333334, |
| "grad_norm": 0.5792187452316284, |
| "learning_rate": 4.943383590511005e-07, |
| "loss": 0.5337, |
| "step": 2265 |
| }, |
| { |
| "epoch": 2.416, |
| "grad_norm": 0.512283205986023, |
| "learning_rate": 4.926038479872541e-07, |
| "loss": 0.5092, |
| "step": 2266 |
| }, |
| { |
| "epoch": 2.4170666666666665, |
| "grad_norm": 0.5436060428619385, |
| "learning_rate": 4.908720526348082e-07, |
| "loss": 0.4888, |
| "step": 2267 |
| }, |
| { |
| "epoch": 2.4181333333333335, |
| "grad_norm": 0.5571280717849731, |
| "learning_rate": 4.891429753366259e-07, |
| "loss": 0.5476, |
| "step": 2268 |
| }, |
| { |
| "epoch": 2.4192, |
| "grad_norm": 0.6241567134857178, |
| "learning_rate": 4.874166184318951e-07, |
| "loss": 0.5762, |
| "step": 2269 |
| }, |
| { |
| "epoch": 2.4202666666666666, |
| "grad_norm": 0.568487286567688, |
| "learning_rate": 4.856929842561214e-07, |
| "loss": 0.5594, |
| "step": 2270 |
| }, |
| { |
| "epoch": 2.421333333333333, |
| "grad_norm": 0.5692694783210754, |
| "learning_rate": 4.839720751411295e-07, |
| "loss": 0.567, |
| "step": 2271 |
| }, |
| { |
| "epoch": 2.4224, |
| "grad_norm": 0.6195253729820251, |
| "learning_rate": 4.822538934150545e-07, |
| "loss": 0.5821, |
| "step": 2272 |
| }, |
| { |
| "epoch": 2.4234666666666667, |
| "grad_norm": 0.5361106991767883, |
| "learning_rate": 4.805384414023446e-07, |
| "loss": 0.5739, |
| "step": 2273 |
| }, |
| { |
| "epoch": 2.424533333333333, |
| "grad_norm": 0.605800211429596, |
| "learning_rate": 4.788257214237529e-07, |
| "loss": 0.5207, |
| "step": 2274 |
| }, |
| { |
| "epoch": 2.4256, |
| "grad_norm": 0.5943007469177246, |
| "learning_rate": 4.771157357963377e-07, |
| "loss": 0.4742, |
| "step": 2275 |
| }, |
| { |
| "epoch": 2.4266666666666667, |
| "grad_norm": 0.5917038917541504, |
| "learning_rate": 4.7540848683345687e-07, |
| "loss": 0.5824, |
| "step": 2276 |
| }, |
| { |
| "epoch": 2.4277333333333333, |
| "grad_norm": 0.609126627445221, |
| "learning_rate": 4.7370397684476823e-07, |
| "loss": 0.5544, |
| "step": 2277 |
| }, |
| { |
| "epoch": 2.4288, |
| "grad_norm": 0.5431211590766907, |
| "learning_rate": 4.720022081362216e-07, |
| "loss": 0.5219, |
| "step": 2278 |
| }, |
| { |
| "epoch": 2.429866666666667, |
| "grad_norm": 0.5863184928894043, |
| "learning_rate": 4.703031830100607e-07, |
| "loss": 0.5712, |
| "step": 2279 |
| }, |
| { |
| "epoch": 2.4309333333333334, |
| "grad_norm": 0.5198492407798767, |
| "learning_rate": 4.68606903764815e-07, |
| "loss": 0.5214, |
| "step": 2280 |
| }, |
| { |
| "epoch": 2.432, |
| "grad_norm": 0.5479253530502319, |
| "learning_rate": 4.669133726953018e-07, |
| "loss": 0.5073, |
| "step": 2281 |
| }, |
| { |
| "epoch": 2.4330666666666665, |
| "grad_norm": 0.6536023616790771, |
| "learning_rate": 4.652225920926179e-07, |
| "loss": 0.5908, |
| "step": 2282 |
| }, |
| { |
| "epoch": 2.4341333333333335, |
| "grad_norm": 0.5827467441558838, |
| "learning_rate": 4.635345642441413e-07, |
| "loss": 0.5695, |
| "step": 2283 |
| }, |
| { |
| "epoch": 2.4352, |
| "grad_norm": 0.5664957165718079, |
| "learning_rate": 4.6184929143352596e-07, |
| "loss": 0.5273, |
| "step": 2284 |
| }, |
| { |
| "epoch": 2.4362666666666666, |
| "grad_norm": 0.5974279642105103, |
| "learning_rate": 4.601667759406961e-07, |
| "loss": 0.5316, |
| "step": 2285 |
| }, |
| { |
| "epoch": 2.437333333333333, |
| "grad_norm": 0.5674735903739929, |
| "learning_rate": 4.584870200418487e-07, |
| "loss": 0.5159, |
| "step": 2286 |
| }, |
| { |
| "epoch": 2.4384, |
| "grad_norm": 0.5150651931762695, |
| "learning_rate": 4.56810026009446e-07, |
| "loss": 0.541, |
| "step": 2287 |
| }, |
| { |
| "epoch": 2.4394666666666667, |
| "grad_norm": 0.5962228775024414, |
| "learning_rate": 4.55135796112213e-07, |
| "loss": 0.5654, |
| "step": 2288 |
| }, |
| { |
| "epoch": 2.440533333333333, |
| "grad_norm": 0.620161235332489, |
| "learning_rate": 4.534643326151375e-07, |
| "loss": 0.5195, |
| "step": 2289 |
| }, |
| { |
| "epoch": 2.4416, |
| "grad_norm": 0.5573378801345825, |
| "learning_rate": 4.517956377794627e-07, |
| "loss": 0.5249, |
| "step": 2290 |
| }, |
| { |
| "epoch": 2.4426666666666668, |
| "grad_norm": 0.6032543182373047, |
| "learning_rate": 4.5012971386268674e-07, |
| "loss": 0.5808, |
| "step": 2291 |
| }, |
| { |
| "epoch": 2.4437333333333333, |
| "grad_norm": 0.6000561118125916, |
| "learning_rate": 4.484665631185603e-07, |
| "loss": 0.5562, |
| "step": 2292 |
| }, |
| { |
| "epoch": 2.4448, |
| "grad_norm": 0.603122353553772, |
| "learning_rate": 4.4680618779708056e-07, |
| "loss": 0.5592, |
| "step": 2293 |
| }, |
| { |
| "epoch": 2.445866666666667, |
| "grad_norm": 0.5409132838249207, |
| "learning_rate": 4.451485901444916e-07, |
| "loss": 0.5157, |
| "step": 2294 |
| }, |
| { |
| "epoch": 2.4469333333333334, |
| "grad_norm": 0.6046131253242493, |
| "learning_rate": 4.4349377240327814e-07, |
| "loss": 0.5669, |
| "step": 2295 |
| }, |
| { |
| "epoch": 2.448, |
| "grad_norm": 0.586675763130188, |
| "learning_rate": 4.418417368121658e-07, |
| "loss": 0.5705, |
| "step": 2296 |
| }, |
| { |
| "epoch": 2.4490666666666665, |
| "grad_norm": 0.6326794624328613, |
| "learning_rate": 4.401924856061146e-07, |
| "loss": 0.5363, |
| "step": 2297 |
| }, |
| { |
| "epoch": 2.4501333333333335, |
| "grad_norm": 0.6308794021606445, |
| "learning_rate": 4.385460210163192e-07, |
| "loss": 0.5707, |
| "step": 2298 |
| }, |
| { |
| "epoch": 2.4512, |
| "grad_norm": 0.6299499869346619, |
| "learning_rate": 4.3690234527020344e-07, |
| "loss": 0.6053, |
| "step": 2299 |
| }, |
| { |
| "epoch": 2.4522666666666666, |
| "grad_norm": 0.5709599256515503, |
| "learning_rate": 4.352614605914188e-07, |
| "loss": 0.5789, |
| "step": 2300 |
| }, |
| { |
| "epoch": 2.453333333333333, |
| "grad_norm": 0.5512765049934387, |
| "learning_rate": 4.336233691998401e-07, |
| "loss": 0.5189, |
| "step": 2301 |
| }, |
| { |
| "epoch": 2.4544, |
| "grad_norm": 0.5583138465881348, |
| "learning_rate": 4.319880733115647e-07, |
| "loss": 0.5345, |
| "step": 2302 |
| }, |
| { |
| "epoch": 2.4554666666666667, |
| "grad_norm": 0.5125033259391785, |
| "learning_rate": 4.3035557513890603e-07, |
| "loss": 0.4828, |
| "step": 2303 |
| }, |
| { |
| "epoch": 2.4565333333333332, |
| "grad_norm": 0.5173566937446594, |
| "learning_rate": 4.2872587689039486e-07, |
| "loss": 0.459, |
| "step": 2304 |
| }, |
| { |
| "epoch": 2.4576000000000002, |
| "grad_norm": 0.5581088662147522, |
| "learning_rate": 4.270989807707723e-07, |
| "loss": 0.5333, |
| "step": 2305 |
| }, |
| { |
| "epoch": 2.458666666666667, |
| "grad_norm": 0.5802802443504333, |
| "learning_rate": 4.25474888980989e-07, |
| "loss": 0.5494, |
| "step": 2306 |
| }, |
| { |
| "epoch": 2.4597333333333333, |
| "grad_norm": 0.6074570417404175, |
| "learning_rate": 4.2385360371820254e-07, |
| "loss": 0.6038, |
| "step": 2307 |
| }, |
| { |
| "epoch": 2.4608, |
| "grad_norm": 0.5959473848342896, |
| "learning_rate": 4.222351271757727e-07, |
| "loss": 0.5416, |
| "step": 2308 |
| }, |
| { |
| "epoch": 2.4618666666666664, |
| "grad_norm": 0.5327832102775574, |
| "learning_rate": 4.2061946154326043e-07, |
| "loss": 0.469, |
| "step": 2309 |
| }, |
| { |
| "epoch": 2.4629333333333334, |
| "grad_norm": 0.5699118375778198, |
| "learning_rate": 4.1900660900642265e-07, |
| "loss": 0.5155, |
| "step": 2310 |
| }, |
| { |
| "epoch": 2.464, |
| "grad_norm": 0.5209793448448181, |
| "learning_rate": 4.1739657174721225e-07, |
| "loss": 0.4927, |
| "step": 2311 |
| }, |
| { |
| "epoch": 2.4650666666666665, |
| "grad_norm": 0.5630666017532349, |
| "learning_rate": 4.157893519437717e-07, |
| "loss": 0.5577, |
| "step": 2312 |
| }, |
| { |
| "epoch": 2.4661333333333335, |
| "grad_norm": 0.5399818420410156, |
| "learning_rate": 4.1418495177043383e-07, |
| "loss": 0.4864, |
| "step": 2313 |
| }, |
| { |
| "epoch": 2.4672, |
| "grad_norm": 0.542241632938385, |
| "learning_rate": 4.1258337339771443e-07, |
| "loss": 0.5379, |
| "step": 2314 |
| }, |
| { |
| "epoch": 2.4682666666666666, |
| "grad_norm": 0.5924122929573059, |
| "learning_rate": 4.1098461899231446e-07, |
| "loss": 0.6081, |
| "step": 2315 |
| }, |
| { |
| "epoch": 2.469333333333333, |
| "grad_norm": 0.5701544284820557, |
| "learning_rate": 4.093886907171121e-07, |
| "loss": 0.564, |
| "step": 2316 |
| }, |
| { |
| "epoch": 2.4704, |
| "grad_norm": 0.5366319417953491, |
| "learning_rate": 4.0779559073116453e-07, |
| "loss": 0.5566, |
| "step": 2317 |
| }, |
| { |
| "epoch": 2.4714666666666667, |
| "grad_norm": 0.5981549620628357, |
| "learning_rate": 4.0620532118970076e-07, |
| "loss": 0.5545, |
| "step": 2318 |
| }, |
| { |
| "epoch": 2.4725333333333332, |
| "grad_norm": 0.6032107472419739, |
| "learning_rate": 4.0461788424412065e-07, |
| "loss": 0.58, |
| "step": 2319 |
| }, |
| { |
| "epoch": 2.4736000000000002, |
| "grad_norm": 0.5841613411903381, |
| "learning_rate": 4.030332820419941e-07, |
| "loss": 0.5084, |
| "step": 2320 |
| }, |
| { |
| "epoch": 2.474666666666667, |
| "grad_norm": 0.5670744180679321, |
| "learning_rate": 4.0145151672705304e-07, |
| "loss": 0.5185, |
| "step": 2321 |
| }, |
| { |
| "epoch": 2.4757333333333333, |
| "grad_norm": 0.6013261675834656, |
| "learning_rate": 3.998725904391942e-07, |
| "loss": 0.4911, |
| "step": 2322 |
| }, |
| { |
| "epoch": 2.4768, |
| "grad_norm": 0.6240042448043823, |
| "learning_rate": 3.982965053144716e-07, |
| "loss": 0.5905, |
| "step": 2323 |
| }, |
| { |
| "epoch": 2.4778666666666664, |
| "grad_norm": 0.5641903281211853, |
| "learning_rate": 3.9672326348509704e-07, |
| "loss": 0.5296, |
| "step": 2324 |
| }, |
| { |
| "epoch": 2.4789333333333334, |
| "grad_norm": 0.5335812568664551, |
| "learning_rate": 3.9515286707943413e-07, |
| "loss": 0.5228, |
| "step": 2325 |
| }, |
| { |
| "epoch": 2.48, |
| "grad_norm": 0.6114559769630432, |
| "learning_rate": 3.9358531822199926e-07, |
| "loss": 0.5941, |
| "step": 2326 |
| }, |
| { |
| "epoch": 2.4810666666666665, |
| "grad_norm": 0.6382512450218201, |
| "learning_rate": 3.920206190334536e-07, |
| "loss": 0.5733, |
| "step": 2327 |
| }, |
| { |
| "epoch": 2.4821333333333335, |
| "grad_norm": 0.5974535346031189, |
| "learning_rate": 3.904587716306063e-07, |
| "loss": 0.5297, |
| "step": 2328 |
| }, |
| { |
| "epoch": 2.4832, |
| "grad_norm": 0.5607669949531555, |
| "learning_rate": 3.8889977812640536e-07, |
| "loss": 0.5742, |
| "step": 2329 |
| }, |
| { |
| "epoch": 2.4842666666666666, |
| "grad_norm": 0.5830842852592468, |
| "learning_rate": 3.8734364062994105e-07, |
| "loss": 0.5269, |
| "step": 2330 |
| }, |
| { |
| "epoch": 2.485333333333333, |
| "grad_norm": 0.5639181137084961, |
| "learning_rate": 3.857903612464367e-07, |
| "loss": 0.5369, |
| "step": 2331 |
| }, |
| { |
| "epoch": 2.4864, |
| "grad_norm": 0.5713692903518677, |
| "learning_rate": 3.8423994207725216e-07, |
| "loss": 0.5277, |
| "step": 2332 |
| }, |
| { |
| "epoch": 2.4874666666666667, |
| "grad_norm": 0.5324771404266357, |
| "learning_rate": 3.826923852198752e-07, |
| "loss": 0.524, |
| "step": 2333 |
| }, |
| { |
| "epoch": 2.4885333333333333, |
| "grad_norm": 0.570686399936676, |
| "learning_rate": 3.811476927679228e-07, |
| "loss": 0.5307, |
| "step": 2334 |
| }, |
| { |
| "epoch": 2.4896, |
| "grad_norm": 0.5416530966758728, |
| "learning_rate": 3.7960586681113546e-07, |
| "loss": 0.5276, |
| "step": 2335 |
| }, |
| { |
| "epoch": 2.490666666666667, |
| "grad_norm": 0.5992644429206848, |
| "learning_rate": 3.780669094353781e-07, |
| "loss": 0.568, |
| "step": 2336 |
| }, |
| { |
| "epoch": 2.4917333333333334, |
| "grad_norm": 0.5600096583366394, |
| "learning_rate": 3.765308227226322e-07, |
| "loss": 0.5438, |
| "step": 2337 |
| }, |
| { |
| "epoch": 2.4928, |
| "grad_norm": 0.5148209929466248, |
| "learning_rate": 3.7499760875099737e-07, |
| "loss": 0.4962, |
| "step": 2338 |
| }, |
| { |
| "epoch": 2.4938666666666665, |
| "grad_norm": 0.5869463086128235, |
| "learning_rate": 3.7346726959468697e-07, |
| "loss": 0.5215, |
| "step": 2339 |
| }, |
| { |
| "epoch": 2.4949333333333334, |
| "grad_norm": 0.5516563653945923, |
| "learning_rate": 3.7193980732402353e-07, |
| "loss": 0.5069, |
| "step": 2340 |
| }, |
| { |
| "epoch": 2.496, |
| "grad_norm": 0.557686984539032, |
| "learning_rate": 3.7041522400543953e-07, |
| "loss": 0.5482, |
| "step": 2341 |
| }, |
| { |
| "epoch": 2.4970666666666665, |
| "grad_norm": 0.5793091058731079, |
| "learning_rate": 3.688935217014705e-07, |
| "loss": 0.5152, |
| "step": 2342 |
| }, |
| { |
| "epoch": 2.4981333333333335, |
| "grad_norm": 0.5641347169876099, |
| "learning_rate": 3.6737470247075693e-07, |
| "loss": 0.5404, |
| "step": 2343 |
| }, |
| { |
| "epoch": 2.4992, |
| "grad_norm": 0.569489598274231, |
| "learning_rate": 3.6585876836803645e-07, |
| "loss": 0.551, |
| "step": 2344 |
| }, |
| { |
| "epoch": 2.5002666666666666, |
| "grad_norm": 0.60856032371521, |
| "learning_rate": 3.6434572144414564e-07, |
| "loss": 0.544, |
| "step": 2345 |
| }, |
| { |
| "epoch": 2.501333333333333, |
| "grad_norm": 0.5496404767036438, |
| "learning_rate": 3.628355637460132e-07, |
| "loss": 0.5062, |
| "step": 2346 |
| }, |
| { |
| "epoch": 2.5023999999999997, |
| "grad_norm": 0.5617270469665527, |
| "learning_rate": 3.61328297316661e-07, |
| "loss": 0.4998, |
| "step": 2347 |
| }, |
| { |
| "epoch": 2.5034666666666667, |
| "grad_norm": 0.6132131814956665, |
| "learning_rate": 3.598239241951984e-07, |
| "loss": 0.5378, |
| "step": 2348 |
| }, |
| { |
| "epoch": 2.5045333333333333, |
| "grad_norm": 0.603583037853241, |
| "learning_rate": 3.5832244641682055e-07, |
| "loss": 0.5492, |
| "step": 2349 |
| }, |
| { |
| "epoch": 2.5056000000000003, |
| "grad_norm": 0.5874846577644348, |
| "learning_rate": 3.568238660128051e-07, |
| "loss": 0.5689, |
| "step": 2350 |
| }, |
| { |
| "epoch": 2.506666666666667, |
| "grad_norm": 0.6678633093833923, |
| "learning_rate": 3.553281850105117e-07, |
| "loss": 0.6394, |
| "step": 2351 |
| }, |
| { |
| "epoch": 2.5077333333333334, |
| "grad_norm": 0.5198361873626709, |
| "learning_rate": 3.538354054333756e-07, |
| "loss": 0.4936, |
| "step": 2352 |
| }, |
| { |
| "epoch": 2.5088, |
| "grad_norm": 0.5683629512786865, |
| "learning_rate": 3.523455293009093e-07, |
| "loss": 0.5255, |
| "step": 2353 |
| }, |
| { |
| "epoch": 2.5098666666666665, |
| "grad_norm": 0.5538510084152222, |
| "learning_rate": 3.508585586286936e-07, |
| "loss": 0.5377, |
| "step": 2354 |
| }, |
| { |
| "epoch": 2.5109333333333335, |
| "grad_norm": 0.5507937669754028, |
| "learning_rate": 3.4937449542838317e-07, |
| "loss": 0.4954, |
| "step": 2355 |
| }, |
| { |
| "epoch": 2.512, |
| "grad_norm": 0.5647968649864197, |
| "learning_rate": 3.478933417076949e-07, |
| "loss": 0.5384, |
| "step": 2356 |
| }, |
| { |
| "epoch": 2.5130666666666666, |
| "grad_norm": 0.558871328830719, |
| "learning_rate": 3.464150994704127e-07, |
| "loss": 0.506, |
| "step": 2357 |
| }, |
| { |
| "epoch": 2.5141333333333336, |
| "grad_norm": 0.5513589978218079, |
| "learning_rate": 3.449397707163812e-07, |
| "loss": 0.5172, |
| "step": 2358 |
| }, |
| { |
| "epoch": 2.5152, |
| "grad_norm": 0.5529550313949585, |
| "learning_rate": 3.434673574415018e-07, |
| "loss": 0.5283, |
| "step": 2359 |
| }, |
| { |
| "epoch": 2.5162666666666667, |
| "grad_norm": 0.5992206931114197, |
| "learning_rate": 3.4199786163773395e-07, |
| "loss": 0.5418, |
| "step": 2360 |
| }, |
| { |
| "epoch": 2.517333333333333, |
| "grad_norm": 0.5094637870788574, |
| "learning_rate": 3.405312852930881e-07, |
| "loss": 0.5024, |
| "step": 2361 |
| }, |
| { |
| "epoch": 2.5183999999999997, |
| "grad_norm": 0.5480905175209045, |
| "learning_rate": 3.390676303916268e-07, |
| "loss": 0.5106, |
| "step": 2362 |
| }, |
| { |
| "epoch": 2.5194666666666667, |
| "grad_norm": 0.5990375280380249, |
| "learning_rate": 3.3760689891345953e-07, |
| "loss": 0.5732, |
| "step": 2363 |
| }, |
| { |
| "epoch": 2.5205333333333333, |
| "grad_norm": 0.5936521291732788, |
| "learning_rate": 3.3614909283474053e-07, |
| "loss": 0.5248, |
| "step": 2364 |
| }, |
| { |
| "epoch": 2.5216, |
| "grad_norm": 0.579448401927948, |
| "learning_rate": 3.346942141276666e-07, |
| "loss": 0.5212, |
| "step": 2365 |
| }, |
| { |
| "epoch": 2.522666666666667, |
| "grad_norm": 0.5115594863891602, |
| "learning_rate": 3.3324226476047496e-07, |
| "loss": 0.4839, |
| "step": 2366 |
| }, |
| { |
| "epoch": 2.5237333333333334, |
| "grad_norm": 0.5534176826477051, |
| "learning_rate": 3.3179324669743857e-07, |
| "loss": 0.503, |
| "step": 2367 |
| }, |
| { |
| "epoch": 2.5248, |
| "grad_norm": 0.5782673954963684, |
| "learning_rate": 3.3034716189886656e-07, |
| "loss": 0.5367, |
| "step": 2368 |
| }, |
| { |
| "epoch": 2.5258666666666665, |
| "grad_norm": 0.5430724024772644, |
| "learning_rate": 3.2890401232109736e-07, |
| "loss": 0.4543, |
| "step": 2369 |
| }, |
| { |
| "epoch": 2.5269333333333335, |
| "grad_norm": 0.5703079700469971, |
| "learning_rate": 3.2746379991650147e-07, |
| "loss": 0.539, |
| "step": 2370 |
| }, |
| { |
| "epoch": 2.528, |
| "grad_norm": 0.5925745964050293, |
| "learning_rate": 3.260265266334725e-07, |
| "loss": 0.5363, |
| "step": 2371 |
| }, |
| { |
| "epoch": 2.5290666666666666, |
| "grad_norm": 0.4857441484928131, |
| "learning_rate": 3.2459219441643124e-07, |
| "loss": 0.4691, |
| "step": 2372 |
| }, |
| { |
| "epoch": 2.5301333333333336, |
| "grad_norm": 0.5436407923698425, |
| "learning_rate": 3.2316080520581635e-07, |
| "loss": 0.5188, |
| "step": 2373 |
| }, |
| { |
| "epoch": 2.5312, |
| "grad_norm": 0.5505132675170898, |
| "learning_rate": 3.217323609380882e-07, |
| "loss": 0.4875, |
| "step": 2374 |
| }, |
| { |
| "epoch": 2.5322666666666667, |
| "grad_norm": 0.5131097435951233, |
| "learning_rate": 3.203068635457202e-07, |
| "loss": 0.4964, |
| "step": 2375 |
| }, |
| { |
| "epoch": 2.533333333333333, |
| "grad_norm": 0.5210650563240051, |
| "learning_rate": 3.1888431495720127e-07, |
| "loss": 0.4844, |
| "step": 2376 |
| }, |
| { |
| "epoch": 2.5343999999999998, |
| "grad_norm": 0.5502787232398987, |
| "learning_rate": 3.1746471709702963e-07, |
| "loss": 0.4902, |
| "step": 2377 |
| }, |
| { |
| "epoch": 2.5354666666666668, |
| "grad_norm": 0.5507121086120605, |
| "learning_rate": 3.1604807188571283e-07, |
| "loss": 0.5137, |
| "step": 2378 |
| }, |
| { |
| "epoch": 2.5365333333333333, |
| "grad_norm": 0.538411021232605, |
| "learning_rate": 3.1463438123976286e-07, |
| "loss": 0.5056, |
| "step": 2379 |
| }, |
| { |
| "epoch": 2.5376, |
| "grad_norm": 0.5636138916015625, |
| "learning_rate": 3.132236470716943e-07, |
| "loss": 0.5126, |
| "step": 2380 |
| }, |
| { |
| "epoch": 2.538666666666667, |
| "grad_norm": 0.5770083665847778, |
| "learning_rate": 3.1181587129002403e-07, |
| "loss": 0.5519, |
| "step": 2381 |
| }, |
| { |
| "epoch": 2.5397333333333334, |
| "grad_norm": 0.5415277481079102, |
| "learning_rate": 3.1041105579926426e-07, |
| "loss": 0.5238, |
| "step": 2382 |
| }, |
| { |
| "epoch": 2.5408, |
| "grad_norm": 0.5439598560333252, |
| "learning_rate": 3.0900920249992446e-07, |
| "loss": 0.4824, |
| "step": 2383 |
| }, |
| { |
| "epoch": 2.5418666666666665, |
| "grad_norm": 0.5350870490074158, |
| "learning_rate": 3.076103132885047e-07, |
| "loss": 0.5285, |
| "step": 2384 |
| }, |
| { |
| "epoch": 2.5429333333333335, |
| "grad_norm": 0.538722038269043, |
| "learning_rate": 3.062143900574971e-07, |
| "loss": 0.5084, |
| "step": 2385 |
| }, |
| { |
| "epoch": 2.544, |
| "grad_norm": 0.5643247961997986, |
| "learning_rate": 3.0482143469537955e-07, |
| "loss": 0.5121, |
| "step": 2386 |
| }, |
| { |
| "epoch": 2.5450666666666666, |
| "grad_norm": 0.565648078918457, |
| "learning_rate": 3.034314490866161e-07, |
| "loss": 0.5389, |
| "step": 2387 |
| }, |
| { |
| "epoch": 2.5461333333333336, |
| "grad_norm": 0.5534795522689819, |
| "learning_rate": 3.0204443511165167e-07, |
| "loss": 0.5485, |
| "step": 2388 |
| }, |
| { |
| "epoch": 2.5472, |
| "grad_norm": 0.5274404883384705, |
| "learning_rate": 3.0066039464691304e-07, |
| "loss": 0.5117, |
| "step": 2389 |
| }, |
| { |
| "epoch": 2.5482666666666667, |
| "grad_norm": 0.5778272747993469, |
| "learning_rate": 2.992793295648022e-07, |
| "loss": 0.5698, |
| "step": 2390 |
| }, |
| { |
| "epoch": 2.5493333333333332, |
| "grad_norm": 0.5618088841438293, |
| "learning_rate": 2.9790124173369765e-07, |
| "loss": 0.5314, |
| "step": 2391 |
| }, |
| { |
| "epoch": 2.5504, |
| "grad_norm": 0.5858922600746155, |
| "learning_rate": 2.9652613301794865e-07, |
| "loss": 0.5574, |
| "step": 2392 |
| }, |
| { |
| "epoch": 2.5514666666666668, |
| "grad_norm": 0.6184186339378357, |
| "learning_rate": 2.9515400527787537e-07, |
| "loss": 0.5888, |
| "step": 2393 |
| }, |
| { |
| "epoch": 2.5525333333333333, |
| "grad_norm": 0.5701260566711426, |
| "learning_rate": 2.937848603697643e-07, |
| "loss": 0.5367, |
| "step": 2394 |
| }, |
| { |
| "epoch": 2.5536, |
| "grad_norm": 0.6209617257118225, |
| "learning_rate": 2.9241870014586645e-07, |
| "loss": 0.5259, |
| "step": 2395 |
| }, |
| { |
| "epoch": 2.554666666666667, |
| "grad_norm": 0.5648928284645081, |
| "learning_rate": 2.910555264543966e-07, |
| "loss": 0.5501, |
| "step": 2396 |
| }, |
| { |
| "epoch": 2.5557333333333334, |
| "grad_norm": 0.5321146845817566, |
| "learning_rate": 2.896953411395265e-07, |
| "loss": 0.5682, |
| "step": 2397 |
| }, |
| { |
| "epoch": 2.5568, |
| "grad_norm": 0.6044555306434631, |
| "learning_rate": 2.883381460413881e-07, |
| "loss": 0.5012, |
| "step": 2398 |
| }, |
| { |
| "epoch": 2.5578666666666665, |
| "grad_norm": 0.571291446685791, |
| "learning_rate": 2.8698394299606495e-07, |
| "loss": 0.4842, |
| "step": 2399 |
| }, |
| { |
| "epoch": 2.558933333333333, |
| "grad_norm": 0.5503345727920532, |
| "learning_rate": 2.8563273383559606e-07, |
| "loss": 0.5043, |
| "step": 2400 |
| }, |
| { |
| "epoch": 2.56, |
| "grad_norm": 0.5989288091659546, |
| "learning_rate": 2.842845203879671e-07, |
| "loss": 0.5928, |
| "step": 2401 |
| }, |
| { |
| "epoch": 2.5610666666666666, |
| "grad_norm": 0.5572039484977722, |
| "learning_rate": 2.829393044771131e-07, |
| "loss": 0.5272, |
| "step": 2402 |
| }, |
| { |
| "epoch": 2.5621333333333336, |
| "grad_norm": 0.5745526552200317, |
| "learning_rate": 2.815970879229127e-07, |
| "loss": 0.515, |
| "step": 2403 |
| }, |
| { |
| "epoch": 2.5632, |
| "grad_norm": 0.6288716793060303, |
| "learning_rate": 2.802578725411875e-07, |
| "loss": 0.5759, |
| "step": 2404 |
| }, |
| { |
| "epoch": 2.5642666666666667, |
| "grad_norm": 0.6512477993965149, |
| "learning_rate": 2.7892166014369834e-07, |
| "loss": 0.557, |
| "step": 2405 |
| }, |
| { |
| "epoch": 2.5653333333333332, |
| "grad_norm": 0.5245921015739441, |
| "learning_rate": 2.7758845253814474e-07, |
| "loss": 0.5105, |
| "step": 2406 |
| }, |
| { |
| "epoch": 2.5664, |
| "grad_norm": 0.6181188821792603, |
| "learning_rate": 2.762582515281595e-07, |
| "loss": 0.5525, |
| "step": 2407 |
| }, |
| { |
| "epoch": 2.567466666666667, |
| "grad_norm": 0.5605493187904358, |
| "learning_rate": 2.7493105891330837e-07, |
| "loss": 0.5078, |
| "step": 2408 |
| }, |
| { |
| "epoch": 2.5685333333333333, |
| "grad_norm": 0.630293071269989, |
| "learning_rate": 2.736068764890884e-07, |
| "loss": 0.5769, |
| "step": 2409 |
| }, |
| { |
| "epoch": 2.5696, |
| "grad_norm": 0.5946937203407288, |
| "learning_rate": 2.7228570604692335e-07, |
| "loss": 0.5275, |
| "step": 2410 |
| }, |
| { |
| "epoch": 2.570666666666667, |
| "grad_norm": 0.6069318652153015, |
| "learning_rate": 2.709675493741612e-07, |
| "loss": 0.5808, |
| "step": 2411 |
| }, |
| { |
| "epoch": 2.5717333333333334, |
| "grad_norm": 0.5872083902359009, |
| "learning_rate": 2.6965240825407466e-07, |
| "loss": 0.5316, |
| "step": 2412 |
| }, |
| { |
| "epoch": 2.5728, |
| "grad_norm": 0.5626084208488464, |
| "learning_rate": 2.683402844658564e-07, |
| "loss": 0.5908, |
| "step": 2413 |
| }, |
| { |
| "epoch": 2.5738666666666665, |
| "grad_norm": 0.5506133437156677, |
| "learning_rate": 2.6703117978461564e-07, |
| "loss": 0.4956, |
| "step": 2414 |
| }, |
| { |
| "epoch": 2.574933333333333, |
| "grad_norm": 0.5995098352432251, |
| "learning_rate": 2.657250959813795e-07, |
| "loss": 0.5812, |
| "step": 2415 |
| }, |
| { |
| "epoch": 2.576, |
| "grad_norm": 0.5709054470062256, |
| "learning_rate": 2.644220348230858e-07, |
| "loss": 0.5151, |
| "step": 2416 |
| }, |
| { |
| "epoch": 2.5770666666666666, |
| "grad_norm": 0.5541917085647583, |
| "learning_rate": 2.6312199807258547e-07, |
| "loss": 0.51, |
| "step": 2417 |
| }, |
| { |
| "epoch": 2.5781333333333336, |
| "grad_norm": 0.5535787343978882, |
| "learning_rate": 2.618249874886358e-07, |
| "loss": 0.5049, |
| "step": 2418 |
| }, |
| { |
| "epoch": 2.5792, |
| "grad_norm": 0.5444157719612122, |
| "learning_rate": 2.605310048259022e-07, |
| "loss": 0.5073, |
| "step": 2419 |
| }, |
| { |
| "epoch": 2.5802666666666667, |
| "grad_norm": 0.5895073413848877, |
| "learning_rate": 2.592400518349517e-07, |
| "loss": 0.5403, |
| "step": 2420 |
| }, |
| { |
| "epoch": 2.5813333333333333, |
| "grad_norm": 0.5408369898796082, |
| "learning_rate": 2.5795213026225427e-07, |
| "loss": 0.5084, |
| "step": 2421 |
| }, |
| { |
| "epoch": 2.5824, |
| "grad_norm": 0.5565311908721924, |
| "learning_rate": 2.5666724185017785e-07, |
| "loss": 0.516, |
| "step": 2422 |
| }, |
| { |
| "epoch": 2.583466666666667, |
| "grad_norm": 0.5165038108825684, |
| "learning_rate": 2.553853883369875e-07, |
| "loss": 0.4863, |
| "step": 2423 |
| }, |
| { |
| "epoch": 2.5845333333333333, |
| "grad_norm": 0.5777057409286499, |
| "learning_rate": 2.5410657145684165e-07, |
| "loss": 0.5543, |
| "step": 2424 |
| }, |
| { |
| "epoch": 2.5856, |
| "grad_norm": 0.6161931157112122, |
| "learning_rate": 2.528307929397919e-07, |
| "loss": 0.519, |
| "step": 2425 |
| }, |
| { |
| "epoch": 2.586666666666667, |
| "grad_norm": 0.5989852547645569, |
| "learning_rate": 2.5155805451177793e-07, |
| "loss": 0.5528, |
| "step": 2426 |
| }, |
| { |
| "epoch": 2.5877333333333334, |
| "grad_norm": 0.5571348071098328, |
| "learning_rate": 2.502883578946286e-07, |
| "loss": 0.4754, |
| "step": 2427 |
| }, |
| { |
| "epoch": 2.5888, |
| "grad_norm": 0.5986202955245972, |
| "learning_rate": 2.490217048060553e-07, |
| "loss": 0.5577, |
| "step": 2428 |
| }, |
| { |
| "epoch": 2.5898666666666665, |
| "grad_norm": 0.5512256622314453, |
| "learning_rate": 2.4775809695965436e-07, |
| "loss": 0.5588, |
| "step": 2429 |
| }, |
| { |
| "epoch": 2.590933333333333, |
| "grad_norm": 0.6004214286804199, |
| "learning_rate": 2.4649753606489966e-07, |
| "loss": 0.6043, |
| "step": 2430 |
| }, |
| { |
| "epoch": 2.592, |
| "grad_norm": 0.544854462146759, |
| "learning_rate": 2.452400238271455e-07, |
| "loss": 0.5324, |
| "step": 2431 |
| }, |
| { |
| "epoch": 2.5930666666666666, |
| "grad_norm": 0.567756175994873, |
| "learning_rate": 2.439855619476206e-07, |
| "loss": 0.5622, |
| "step": 2432 |
| }, |
| { |
| "epoch": 2.594133333333333, |
| "grad_norm": 0.5360385179519653, |
| "learning_rate": 2.427341521234269e-07, |
| "loss": 0.5026, |
| "step": 2433 |
| }, |
| { |
| "epoch": 2.5952, |
| "grad_norm": 0.5594282746315002, |
| "learning_rate": 2.4148579604753805e-07, |
| "loss": 0.5259, |
| "step": 2434 |
| }, |
| { |
| "epoch": 2.5962666666666667, |
| "grad_norm": 0.5913674235343933, |
| "learning_rate": 2.4024049540879555e-07, |
| "loss": 0.5747, |
| "step": 2435 |
| }, |
| { |
| "epoch": 2.5973333333333333, |
| "grad_norm": 0.5560617446899414, |
| "learning_rate": 2.389982518919082e-07, |
| "loss": 0.5452, |
| "step": 2436 |
| }, |
| { |
| "epoch": 2.5984, |
| "grad_norm": 0.6127963662147522, |
| "learning_rate": 2.3775906717744852e-07, |
| "loss": 0.5779, |
| "step": 2437 |
| }, |
| { |
| "epoch": 2.599466666666667, |
| "grad_norm": 0.5600277781486511, |
| "learning_rate": 2.3652294294185056e-07, |
| "loss": 0.4873, |
| "step": 2438 |
| }, |
| { |
| "epoch": 2.6005333333333334, |
| "grad_norm": 0.5962520837783813, |
| "learning_rate": 2.3528988085740807e-07, |
| "loss": 0.5392, |
| "step": 2439 |
| }, |
| { |
| "epoch": 2.6016, |
| "grad_norm": 0.5710563063621521, |
| "learning_rate": 2.340598825922738e-07, |
| "loss": 0.5535, |
| "step": 2440 |
| }, |
| { |
| "epoch": 2.602666666666667, |
| "grad_norm": 0.5756018757820129, |
| "learning_rate": 2.3283294981045285e-07, |
| "loss": 0.5573, |
| "step": 2441 |
| }, |
| { |
| "epoch": 2.6037333333333335, |
| "grad_norm": 0.5777895450592041, |
| "learning_rate": 2.316090841718055e-07, |
| "loss": 0.5478, |
| "step": 2442 |
| }, |
| { |
| "epoch": 2.6048, |
| "grad_norm": 0.550434410572052, |
| "learning_rate": 2.3038828733204122e-07, |
| "loss": 0.4621, |
| "step": 2443 |
| }, |
| { |
| "epoch": 2.6058666666666666, |
| "grad_norm": 0.6128739714622498, |
| "learning_rate": 2.2917056094271916e-07, |
| "loss": 0.5964, |
| "step": 2444 |
| }, |
| { |
| "epoch": 2.606933333333333, |
| "grad_norm": 0.5771676898002625, |
| "learning_rate": 2.2795590665124267e-07, |
| "loss": 0.5108, |
| "step": 2445 |
| }, |
| { |
| "epoch": 2.608, |
| "grad_norm": 0.5464791655540466, |
| "learning_rate": 2.2674432610086145e-07, |
| "loss": 0.4799, |
| "step": 2446 |
| }, |
| { |
| "epoch": 2.6090666666666666, |
| "grad_norm": 0.5791307687759399, |
| "learning_rate": 2.2553582093066405e-07, |
| "loss": 0.513, |
| "step": 2447 |
| }, |
| { |
| "epoch": 2.610133333333333, |
| "grad_norm": 0.5920294523239136, |
| "learning_rate": 2.2433039277558134e-07, |
| "loss": 0.5035, |
| "step": 2448 |
| }, |
| { |
| "epoch": 2.6112, |
| "grad_norm": 0.5546295046806335, |
| "learning_rate": 2.231280432663796e-07, |
| "loss": 0.5297, |
| "step": 2449 |
| }, |
| { |
| "epoch": 2.6122666666666667, |
| "grad_norm": 0.6298972964286804, |
| "learning_rate": 2.219287740296605e-07, |
| "loss": 0.5666, |
| "step": 2450 |
| }, |
| { |
| "epoch": 2.6133333333333333, |
| "grad_norm": 0.5771021246910095, |
| "learning_rate": 2.2073258668785929e-07, |
| "loss": 0.5473, |
| "step": 2451 |
| }, |
| { |
| "epoch": 2.6144, |
| "grad_norm": 0.5502965450286865, |
| "learning_rate": 2.1953948285924093e-07, |
| "loss": 0.4875, |
| "step": 2452 |
| }, |
| { |
| "epoch": 2.615466666666667, |
| "grad_norm": 0.554499089717865, |
| "learning_rate": 2.1834946415789926e-07, |
| "loss": 0.5229, |
| "step": 2453 |
| }, |
| { |
| "epoch": 2.6165333333333334, |
| "grad_norm": 0.55083167552948, |
| "learning_rate": 2.1716253219375372e-07, |
| "loss": 0.4858, |
| "step": 2454 |
| }, |
| { |
| "epoch": 2.6176, |
| "grad_norm": 0.6105460524559021, |
| "learning_rate": 2.1597868857254955e-07, |
| "loss": 0.5591, |
| "step": 2455 |
| }, |
| { |
| "epoch": 2.618666666666667, |
| "grad_norm": 0.55473393201828, |
| "learning_rate": 2.1479793489585176e-07, |
| "loss": 0.5202, |
| "step": 2456 |
| }, |
| { |
| "epoch": 2.6197333333333335, |
| "grad_norm": 0.5816541314125061, |
| "learning_rate": 2.1362027276104757e-07, |
| "loss": 0.5678, |
| "step": 2457 |
| }, |
| { |
| "epoch": 2.6208, |
| "grad_norm": 0.5551761984825134, |
| "learning_rate": 2.1244570376133894e-07, |
| "loss": 0.5089, |
| "step": 2458 |
| }, |
| { |
| "epoch": 2.6218666666666666, |
| "grad_norm": 0.5861223936080933, |
| "learning_rate": 2.112742294857459e-07, |
| "loss": 0.5652, |
| "step": 2459 |
| }, |
| { |
| "epoch": 2.622933333333333, |
| "grad_norm": 0.5981099009513855, |
| "learning_rate": 2.1010585151910012e-07, |
| "loss": 0.5714, |
| "step": 2460 |
| }, |
| { |
| "epoch": 2.624, |
| "grad_norm": 0.5367360711097717, |
| "learning_rate": 2.0894057144204505e-07, |
| "loss": 0.522, |
| "step": 2461 |
| }, |
| { |
| "epoch": 2.6250666666666667, |
| "grad_norm": 0.5915141105651855, |
| "learning_rate": 2.0777839083103295e-07, |
| "loss": 0.6123, |
| "step": 2462 |
| }, |
| { |
| "epoch": 2.626133333333333, |
| "grad_norm": 0.5923894643783569, |
| "learning_rate": 2.0661931125832342e-07, |
| "loss": 0.5462, |
| "step": 2463 |
| }, |
| { |
| "epoch": 2.6272, |
| "grad_norm": 0.5999698042869568, |
| "learning_rate": 2.0546333429197984e-07, |
| "loss": 0.5554, |
| "step": 2464 |
| }, |
| { |
| "epoch": 2.6282666666666668, |
| "grad_norm": 0.5291692614555359, |
| "learning_rate": 2.0431046149586935e-07, |
| "loss": 0.4546, |
| "step": 2465 |
| }, |
| { |
| "epoch": 2.6293333333333333, |
| "grad_norm": 0.5492172241210938, |
| "learning_rate": 2.031606944296588e-07, |
| "loss": 0.5163, |
| "step": 2466 |
| }, |
| { |
| "epoch": 2.6304, |
| "grad_norm": 0.6245316863059998, |
| "learning_rate": 2.020140346488139e-07, |
| "loss": 0.6033, |
| "step": 2467 |
| }, |
| { |
| "epoch": 2.6314666666666664, |
| "grad_norm": 0.5555020570755005, |
| "learning_rate": 2.008704837045966e-07, |
| "loss": 0.5275, |
| "step": 2468 |
| }, |
| { |
| "epoch": 2.6325333333333334, |
| "grad_norm": 0.5783883929252625, |
| "learning_rate": 1.997300431440624e-07, |
| "loss": 0.5473, |
| "step": 2469 |
| }, |
| { |
| "epoch": 2.6336, |
| "grad_norm": 0.5754239559173584, |
| "learning_rate": 1.9859271451006024e-07, |
| "loss": 0.5295, |
| "step": 2470 |
| }, |
| { |
| "epoch": 2.634666666666667, |
| "grad_norm": 0.5771903395652771, |
| "learning_rate": 1.9745849934122707e-07, |
| "loss": 0.546, |
| "step": 2471 |
| }, |
| { |
| "epoch": 2.6357333333333335, |
| "grad_norm": 0.5634128451347351, |
| "learning_rate": 1.9632739917199052e-07, |
| "loss": 0.5379, |
| "step": 2472 |
| }, |
| { |
| "epoch": 2.6368, |
| "grad_norm": 0.5011523962020874, |
| "learning_rate": 1.9519941553256122e-07, |
| "loss": 0.4922, |
| "step": 2473 |
| }, |
| { |
| "epoch": 2.6378666666666666, |
| "grad_norm": 0.5753183364868164, |
| "learning_rate": 1.9407454994893578e-07, |
| "loss": 0.5518, |
| "step": 2474 |
| }, |
| { |
| "epoch": 2.638933333333333, |
| "grad_norm": 0.5580869913101196, |
| "learning_rate": 1.929528039428913e-07, |
| "loss": 0.5561, |
| "step": 2475 |
| }, |
| { |
| "epoch": 2.64, |
| "grad_norm": 0.5615633130073547, |
| "learning_rate": 1.9183417903198524e-07, |
| "loss": 0.5441, |
| "step": 2476 |
| }, |
| { |
| "epoch": 2.6410666666666667, |
| "grad_norm": 0.5642194747924805, |
| "learning_rate": 1.9071867672955185e-07, |
| "loss": 0.5306, |
| "step": 2477 |
| }, |
| { |
| "epoch": 2.6421333333333332, |
| "grad_norm": 0.6066592335700989, |
| "learning_rate": 1.8960629854470252e-07, |
| "loss": 0.5559, |
| "step": 2478 |
| }, |
| { |
| "epoch": 2.6432, |
| "grad_norm": 0.5634541511535645, |
| "learning_rate": 1.8849704598231989e-07, |
| "loss": 0.5592, |
| "step": 2479 |
| }, |
| { |
| "epoch": 2.6442666666666668, |
| "grad_norm": 0.509685218334198, |
| "learning_rate": 1.8739092054306018e-07, |
| "loss": 0.4687, |
| "step": 2480 |
| }, |
| { |
| "epoch": 2.6453333333333333, |
| "grad_norm": 0.5861576199531555, |
| "learning_rate": 1.8628792372334808e-07, |
| "loss": 0.5645, |
| "step": 2481 |
| }, |
| { |
| "epoch": 2.6464, |
| "grad_norm": 0.5679677724838257, |
| "learning_rate": 1.851880570153755e-07, |
| "loss": 0.5119, |
| "step": 2482 |
| }, |
| { |
| "epoch": 2.6474666666666664, |
| "grad_norm": 0.5511580109596252, |
| "learning_rate": 1.8409132190710056e-07, |
| "loss": 0.5385, |
| "step": 2483 |
| }, |
| { |
| "epoch": 2.6485333333333334, |
| "grad_norm": 0.5765694975852966, |
| "learning_rate": 1.8299771988224442e-07, |
| "loss": 0.5526, |
| "step": 2484 |
| }, |
| { |
| "epoch": 2.6496, |
| "grad_norm": 0.5682989358901978, |
| "learning_rate": 1.8190725242028888e-07, |
| "loss": 0.6014, |
| "step": 2485 |
| }, |
| { |
| "epoch": 2.6506666666666665, |
| "grad_norm": 0.5844370722770691, |
| "learning_rate": 1.8081992099647616e-07, |
| "loss": 0.4951, |
| "step": 2486 |
| }, |
| { |
| "epoch": 2.6517333333333335, |
| "grad_norm": 0.6125804781913757, |
| "learning_rate": 1.797357270818062e-07, |
| "loss": 0.5393, |
| "step": 2487 |
| }, |
| { |
| "epoch": 2.6528, |
| "grad_norm": 0.5793260335922241, |
| "learning_rate": 1.7865467214303296e-07, |
| "loss": 0.5412, |
| "step": 2488 |
| }, |
| { |
| "epoch": 2.6538666666666666, |
| "grad_norm": 0.5265635848045349, |
| "learning_rate": 1.7757675764266512e-07, |
| "loss": 0.5453, |
| "step": 2489 |
| }, |
| { |
| "epoch": 2.654933333333333, |
| "grad_norm": 0.544439971446991, |
| "learning_rate": 1.7650198503896182e-07, |
| "loss": 0.5323, |
| "step": 2490 |
| }, |
| { |
| "epoch": 2.656, |
| "grad_norm": 0.6266802549362183, |
| "learning_rate": 1.754303557859327e-07, |
| "loss": 0.5236, |
| "step": 2491 |
| }, |
| { |
| "epoch": 2.6570666666666667, |
| "grad_norm": 0.5558192133903503, |
| "learning_rate": 1.7436187133333337e-07, |
| "loss": 0.5268, |
| "step": 2492 |
| }, |
| { |
| "epoch": 2.6581333333333332, |
| "grad_norm": 0.5023372173309326, |
| "learning_rate": 1.73296533126667e-07, |
| "loss": 0.5311, |
| "step": 2493 |
| }, |
| { |
| "epoch": 2.6592000000000002, |
| "grad_norm": 0.5580044388771057, |
| "learning_rate": 1.7223434260717876e-07, |
| "loss": 0.5376, |
| "step": 2494 |
| }, |
| { |
| "epoch": 2.660266666666667, |
| "grad_norm": 0.5213510990142822, |
| "learning_rate": 1.711753012118561e-07, |
| "loss": 0.5022, |
| "step": 2495 |
| }, |
| { |
| "epoch": 2.6613333333333333, |
| "grad_norm": 0.5575329661369324, |
| "learning_rate": 1.7011941037342633e-07, |
| "loss": 0.5504, |
| "step": 2496 |
| }, |
| { |
| "epoch": 2.6624, |
| "grad_norm": 0.5464884638786316, |
| "learning_rate": 1.690666715203537e-07, |
| "loss": 0.5396, |
| "step": 2497 |
| }, |
| { |
| "epoch": 2.6634666666666664, |
| "grad_norm": 0.5426650047302246, |
| "learning_rate": 1.6801708607683958e-07, |
| "loss": 0.5104, |
| "step": 2498 |
| }, |
| { |
| "epoch": 2.6645333333333334, |
| "grad_norm": 0.5701771974563599, |
| "learning_rate": 1.669706554628181e-07, |
| "loss": 0.5358, |
| "step": 2499 |
| }, |
| { |
| "epoch": 2.6656, |
| "grad_norm": 0.5490157008171082, |
| "learning_rate": 1.6592738109395544e-07, |
| "loss": 0.5529, |
| "step": 2500 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "grad_norm": 0.5537054538726807, |
| "learning_rate": 1.6488726438164903e-07, |
| "loss": 0.5662, |
| "step": 2501 |
| }, |
| { |
| "epoch": 2.6677333333333335, |
| "grad_norm": 0.5848407745361328, |
| "learning_rate": 1.638503067330227e-07, |
| "loss": 0.5222, |
| "step": 2502 |
| }, |
| { |
| "epoch": 2.6688, |
| "grad_norm": 0.5319936275482178, |
| "learning_rate": 1.6281650955092792e-07, |
| "loss": 0.4981, |
| "step": 2503 |
| }, |
| { |
| "epoch": 2.6698666666666666, |
| "grad_norm": 0.5724566578865051, |
| "learning_rate": 1.6178587423394066e-07, |
| "loss": 0.5224, |
| "step": 2504 |
| }, |
| { |
| "epoch": 2.670933333333333, |
| "grad_norm": 0.5987517833709717, |
| "learning_rate": 1.6075840217635752e-07, |
| "loss": 0.5272, |
| "step": 2505 |
| }, |
| { |
| "epoch": 2.672, |
| "grad_norm": 0.594692587852478, |
| "learning_rate": 1.5973409476819802e-07, |
| "loss": 0.5246, |
| "step": 2506 |
| }, |
| { |
| "epoch": 2.6730666666666667, |
| "grad_norm": 0.5640548467636108, |
| "learning_rate": 1.5871295339519838e-07, |
| "loss": 0.4995, |
| "step": 2507 |
| }, |
| { |
| "epoch": 2.6741333333333333, |
| "grad_norm": 0.5746001601219177, |
| "learning_rate": 1.576949794388133e-07, |
| "loss": 0.5277, |
| "step": 2508 |
| }, |
| { |
| "epoch": 2.6752000000000002, |
| "grad_norm": 0.5715292692184448, |
| "learning_rate": 1.5668017427621085e-07, |
| "loss": 0.5422, |
| "step": 2509 |
| }, |
| { |
| "epoch": 2.676266666666667, |
| "grad_norm": 0.5748471617698669, |
| "learning_rate": 1.556685392802737e-07, |
| "loss": 0.4891, |
| "step": 2510 |
| }, |
| { |
| "epoch": 2.6773333333333333, |
| "grad_norm": 0.5294566750526428, |
| "learning_rate": 1.5466007581959487e-07, |
| "loss": 0.4773, |
| "step": 2511 |
| }, |
| { |
| "epoch": 2.6784, |
| "grad_norm": 0.5718724727630615, |
| "learning_rate": 1.536547852584766e-07, |
| "loss": 0.5231, |
| "step": 2512 |
| }, |
| { |
| "epoch": 2.6794666666666664, |
| "grad_norm": 0.5323492288589478, |
| "learning_rate": 1.5265266895692883e-07, |
| "loss": 0.5257, |
| "step": 2513 |
| }, |
| { |
| "epoch": 2.6805333333333334, |
| "grad_norm": 0.6099315881729126, |
| "learning_rate": 1.5165372827066788e-07, |
| "loss": 0.538, |
| "step": 2514 |
| }, |
| { |
| "epoch": 2.6816, |
| "grad_norm": 0.5484195947647095, |
| "learning_rate": 1.5065796455111304e-07, |
| "loss": 0.5292, |
| "step": 2515 |
| }, |
| { |
| "epoch": 2.6826666666666665, |
| "grad_norm": 0.5738089084625244, |
| "learning_rate": 1.496653791453864e-07, |
| "loss": 0.5112, |
| "step": 2516 |
| }, |
| { |
| "epoch": 2.6837333333333335, |
| "grad_norm": 0.5827524662017822, |
| "learning_rate": 1.4867597339630918e-07, |
| "loss": 0.5687, |
| "step": 2517 |
| }, |
| { |
| "epoch": 2.6848, |
| "grad_norm": 0.5323463678359985, |
| "learning_rate": 1.4768974864240255e-07, |
| "loss": 0.4996, |
| "step": 2518 |
| }, |
| { |
| "epoch": 2.6858666666666666, |
| "grad_norm": 0.5984359383583069, |
| "learning_rate": 1.467067062178823e-07, |
| "loss": 0.5781, |
| "step": 2519 |
| }, |
| { |
| "epoch": 2.686933333333333, |
| "grad_norm": 0.5222101807594299, |
| "learning_rate": 1.457268474526613e-07, |
| "loss": 0.4681, |
| "step": 2520 |
| }, |
| { |
| "epoch": 2.6879999999999997, |
| "grad_norm": 0.559768557548523, |
| "learning_rate": 1.4475017367234306e-07, |
| "loss": 0.5112, |
| "step": 2521 |
| }, |
| { |
| "epoch": 2.6890666666666667, |
| "grad_norm": 0.585125744342804, |
| "learning_rate": 1.43776686198224e-07, |
| "loss": 0.5548, |
| "step": 2522 |
| }, |
| { |
| "epoch": 2.6901333333333333, |
| "grad_norm": 0.5639452934265137, |
| "learning_rate": 1.428063863472895e-07, |
| "loss": 0.5334, |
| "step": 2523 |
| }, |
| { |
| "epoch": 2.6912000000000003, |
| "grad_norm": 0.5504449009895325, |
| "learning_rate": 1.4183927543221177e-07, |
| "loss": 0.5103, |
| "step": 2524 |
| }, |
| { |
| "epoch": 2.692266666666667, |
| "grad_norm": 0.594199001789093, |
| "learning_rate": 1.4087535476135007e-07, |
| "loss": 0.5302, |
| "step": 2525 |
| }, |
| { |
| "epoch": 2.6933333333333334, |
| "grad_norm": 0.532041072845459, |
| "learning_rate": 1.3991462563874708e-07, |
| "loss": 0.4707, |
| "step": 2526 |
| }, |
| { |
| "epoch": 2.6944, |
| "grad_norm": 0.5282225012779236, |
| "learning_rate": 1.3895708936412734e-07, |
| "loss": 0.4776, |
| "step": 2527 |
| }, |
| { |
| "epoch": 2.6954666666666665, |
| "grad_norm": 0.6046940684318542, |
| "learning_rate": 1.3800274723289653e-07, |
| "loss": 0.5747, |
| "step": 2528 |
| }, |
| { |
| "epoch": 2.6965333333333334, |
| "grad_norm": 0.5881485939025879, |
| "learning_rate": 1.370516005361394e-07, |
| "loss": 0.5338, |
| "step": 2529 |
| }, |
| { |
| "epoch": 2.6976, |
| "grad_norm": 0.559546709060669, |
| "learning_rate": 1.3610365056061668e-07, |
| "loss": 0.5117, |
| "step": 2530 |
| }, |
| { |
| "epoch": 2.6986666666666665, |
| "grad_norm": 0.5418488383293152, |
| "learning_rate": 1.3515889858876612e-07, |
| "loss": 0.5443, |
| "step": 2531 |
| }, |
| { |
| "epoch": 2.6997333333333335, |
| "grad_norm": 0.5862845182418823, |
| "learning_rate": 1.34217345898697e-07, |
| "loss": 0.5338, |
| "step": 2532 |
| }, |
| { |
| "epoch": 2.7008, |
| "grad_norm": 0.5824123620986938, |
| "learning_rate": 1.3327899376419234e-07, |
| "loss": 0.5848, |
| "step": 2533 |
| }, |
| { |
| "epoch": 2.7018666666666666, |
| "grad_norm": 0.5740205645561218, |
| "learning_rate": 1.3234384345470364e-07, |
| "loss": 0.5453, |
| "step": 2534 |
| }, |
| { |
| "epoch": 2.702933333333333, |
| "grad_norm": 0.5607318878173828, |
| "learning_rate": 1.314118962353522e-07, |
| "loss": 0.5008, |
| "step": 2535 |
| }, |
| { |
| "epoch": 2.7039999999999997, |
| "grad_norm": 0.5282258987426758, |
| "learning_rate": 1.3048315336692484e-07, |
| "loss": 0.5, |
| "step": 2536 |
| }, |
| { |
| "epoch": 2.7050666666666667, |
| "grad_norm": 0.5995808243751526, |
| "learning_rate": 1.2955761610587481e-07, |
| "loss": 0.5095, |
| "step": 2537 |
| }, |
| { |
| "epoch": 2.7061333333333333, |
| "grad_norm": 0.5247874855995178, |
| "learning_rate": 1.2863528570431633e-07, |
| "loss": 0.5118, |
| "step": 2538 |
| }, |
| { |
| "epoch": 2.7072000000000003, |
| "grad_norm": 0.5795832872390747, |
| "learning_rate": 1.2771616341002796e-07, |
| "loss": 0.604, |
| "step": 2539 |
| }, |
| { |
| "epoch": 2.708266666666667, |
| "grad_norm": 0.6103571057319641, |
| "learning_rate": 1.2680025046644562e-07, |
| "loss": 0.5456, |
| "step": 2540 |
| }, |
| { |
| "epoch": 2.7093333333333334, |
| "grad_norm": 0.6031224131584167, |
| "learning_rate": 1.2588754811266591e-07, |
| "loss": 0.5803, |
| "step": 2541 |
| }, |
| { |
| "epoch": 2.7104, |
| "grad_norm": 0.5988409519195557, |
| "learning_rate": 1.2497805758344002e-07, |
| "loss": 0.576, |
| "step": 2542 |
| }, |
| { |
| "epoch": 2.7114666666666665, |
| "grad_norm": 0.5727169513702393, |
| "learning_rate": 1.2407178010917426e-07, |
| "loss": 0.5501, |
| "step": 2543 |
| }, |
| { |
| "epoch": 2.7125333333333335, |
| "grad_norm": 0.5508211255073547, |
| "learning_rate": 1.2316871691592959e-07, |
| "loss": 0.5378, |
| "step": 2544 |
| }, |
| { |
| "epoch": 2.7136, |
| "grad_norm": 0.5284850597381592, |
| "learning_rate": 1.2226886922541674e-07, |
| "loss": 0.5382, |
| "step": 2545 |
| }, |
| { |
| "epoch": 2.7146666666666666, |
| "grad_norm": 0.5470293164253235, |
| "learning_rate": 1.2137223825499755e-07, |
| "loss": 0.4992, |
| "step": 2546 |
| }, |
| { |
| "epoch": 2.7157333333333336, |
| "grad_norm": 0.5336693525314331, |
| "learning_rate": 1.2047882521768167e-07, |
| "loss": 0.5266, |
| "step": 2547 |
| }, |
| { |
| "epoch": 2.7168, |
| "grad_norm": 0.6173526644706726, |
| "learning_rate": 1.1958863132212534e-07, |
| "loss": 0.5374, |
| "step": 2548 |
| }, |
| { |
| "epoch": 2.7178666666666667, |
| "grad_norm": 0.5522445440292358, |
| "learning_rate": 1.1870165777262937e-07, |
| "loss": 0.5343, |
| "step": 2549 |
| }, |
| { |
| "epoch": 2.718933333333333, |
| "grad_norm": 0.5795469284057617, |
| "learning_rate": 1.1781790576913948e-07, |
| "loss": 0.5431, |
| "step": 2550 |
| }, |
| { |
| "epoch": 2.7199999999999998, |
| "grad_norm": 0.5724670886993408, |
| "learning_rate": 1.1693737650724069e-07, |
| "loss": 0.4893, |
| "step": 2551 |
| }, |
| { |
| "epoch": 2.7210666666666667, |
| "grad_norm": 0.5953028798103333, |
| "learning_rate": 1.1606007117816037e-07, |
| "loss": 0.5551, |
| "step": 2552 |
| }, |
| { |
| "epoch": 2.7221333333333333, |
| "grad_norm": 0.590925931930542, |
| "learning_rate": 1.1518599096876277e-07, |
| "loss": 0.5272, |
| "step": 2553 |
| }, |
| { |
| "epoch": 2.7232, |
| "grad_norm": 0.5711330771446228, |
| "learning_rate": 1.1431513706155028e-07, |
| "loss": 0.5514, |
| "step": 2554 |
| }, |
| { |
| "epoch": 2.724266666666667, |
| "grad_norm": 0.5950753688812256, |
| "learning_rate": 1.1344751063465969e-07, |
| "loss": 0.5145, |
| "step": 2555 |
| }, |
| { |
| "epoch": 2.7253333333333334, |
| "grad_norm": 0.5410615801811218, |
| "learning_rate": 1.1258311286186208e-07, |
| "loss": 0.5075, |
| "step": 2556 |
| }, |
| { |
| "epoch": 2.7264, |
| "grad_norm": 0.5445073246955872, |
| "learning_rate": 1.1172194491256006e-07, |
| "loss": 0.4767, |
| "step": 2557 |
| }, |
| { |
| "epoch": 2.7274666666666665, |
| "grad_norm": 0.6074643135070801, |
| "learning_rate": 1.1086400795178697e-07, |
| "loss": 0.5385, |
| "step": 2558 |
| }, |
| { |
| "epoch": 2.7285333333333335, |
| "grad_norm": 0.6062946319580078, |
| "learning_rate": 1.1000930314020553e-07, |
| "loss": 0.5823, |
| "step": 2559 |
| }, |
| { |
| "epoch": 2.7296, |
| "grad_norm": 0.5871686339378357, |
| "learning_rate": 1.0915783163410493e-07, |
| "loss": 0.5575, |
| "step": 2560 |
| }, |
| { |
| "epoch": 2.7306666666666666, |
| "grad_norm": 0.5970661044120789, |
| "learning_rate": 1.0830959458540152e-07, |
| "loss": 0.5471, |
| "step": 2561 |
| }, |
| { |
| "epoch": 2.7317333333333336, |
| "grad_norm": 0.5668028593063354, |
| "learning_rate": 1.0746459314163432e-07, |
| "loss": 0.5701, |
| "step": 2562 |
| }, |
| { |
| "epoch": 2.7328, |
| "grad_norm": 0.5968182682991028, |
| "learning_rate": 1.0662282844596666e-07, |
| "loss": 0.5104, |
| "step": 2563 |
| }, |
| { |
| "epoch": 2.7338666666666667, |
| "grad_norm": 0.6025888919830322, |
| "learning_rate": 1.0578430163718151e-07, |
| "loss": 0.5618, |
| "step": 2564 |
| }, |
| { |
| "epoch": 2.734933333333333, |
| "grad_norm": 0.49972036480903625, |
| "learning_rate": 1.0494901384968281e-07, |
| "loss": 0.4723, |
| "step": 2565 |
| }, |
| { |
| "epoch": 2.7359999999999998, |
| "grad_norm": 0.5474928617477417, |
| "learning_rate": 1.0411696621349137e-07, |
| "loss": 0.4977, |
| "step": 2566 |
| }, |
| { |
| "epoch": 2.7370666666666668, |
| "grad_norm": 0.6077110767364502, |
| "learning_rate": 1.0328815985424539e-07, |
| "loss": 0.5096, |
| "step": 2567 |
| }, |
| { |
| "epoch": 2.7381333333333333, |
| "grad_norm": 0.6369513869285583, |
| "learning_rate": 1.0246259589319768e-07, |
| "loss": 0.5514, |
| "step": 2568 |
| }, |
| { |
| "epoch": 2.7392, |
| "grad_norm": 0.5435371398925781, |
| "learning_rate": 1.0164027544721511e-07, |
| "loss": 0.4977, |
| "step": 2569 |
| }, |
| { |
| "epoch": 2.740266666666667, |
| "grad_norm": 0.534968912601471, |
| "learning_rate": 1.0082119962877584e-07, |
| "loss": 0.53, |
| "step": 2570 |
| }, |
| { |
| "epoch": 2.7413333333333334, |
| "grad_norm": 0.5606449842453003, |
| "learning_rate": 1.0000536954596851e-07, |
| "loss": 0.5141, |
| "step": 2571 |
| }, |
| { |
| "epoch": 2.7424, |
| "grad_norm": 0.5620842576026917, |
| "learning_rate": 9.91927863024919e-08, |
| "loss": 0.5541, |
| "step": 2572 |
| }, |
| { |
| "epoch": 2.7434666666666665, |
| "grad_norm": 0.5142610669136047, |
| "learning_rate": 9.838345099765084e-08, |
| "loss": 0.4827, |
| "step": 2573 |
| }, |
| { |
| "epoch": 2.7445333333333335, |
| "grad_norm": 0.5689069032669067, |
| "learning_rate": 9.757736472635698e-08, |
| "loss": 0.5758, |
| "step": 2574 |
| }, |
| { |
| "epoch": 2.7456, |
| "grad_norm": 0.5502250790596008, |
| "learning_rate": 9.677452857912662e-08, |
| "loss": 0.5064, |
| "step": 2575 |
| }, |
| { |
| "epoch": 2.7466666666666666, |
| "grad_norm": 0.5969790816307068, |
| "learning_rate": 9.597494364207816e-08, |
| "loss": 0.5292, |
| "step": 2576 |
| }, |
| { |
| "epoch": 2.7477333333333336, |
| "grad_norm": 0.56192547082901, |
| "learning_rate": 9.517861099693271e-08, |
| "loss": 0.4914, |
| "step": 2577 |
| }, |
| { |
| "epoch": 2.7488, |
| "grad_norm": 0.5753182768821716, |
| "learning_rate": 9.438553172101156e-08, |
| "loss": 0.5748, |
| "step": 2578 |
| }, |
| { |
| "epoch": 2.7498666666666667, |
| "grad_norm": 0.5742263197898865, |
| "learning_rate": 9.35957068872334e-08, |
| "loss": 0.5841, |
| "step": 2579 |
| }, |
| { |
| "epoch": 2.7509333333333332, |
| "grad_norm": 0.5770480036735535, |
| "learning_rate": 9.280913756411547e-08, |
| "loss": 0.5271, |
| "step": 2580 |
| }, |
| { |
| "epoch": 2.752, |
| "grad_norm": 0.5970488786697388, |
| "learning_rate": 9.20258248157696e-08, |
| "loss": 0.5621, |
| "step": 2581 |
| }, |
| { |
| "epoch": 2.7530666666666668, |
| "grad_norm": 0.5599910020828247, |
| "learning_rate": 9.124576970190369e-08, |
| "loss": 0.5501, |
| "step": 2582 |
| }, |
| { |
| "epoch": 2.7541333333333333, |
| "grad_norm": 0.5896212458610535, |
| "learning_rate": 9.046897327781607e-08, |
| "loss": 0.6103, |
| "step": 2583 |
| }, |
| { |
| "epoch": 2.7552, |
| "grad_norm": 0.5887967944145203, |
| "learning_rate": 8.969543659439917e-08, |
| "loss": 0.5617, |
| "step": 2584 |
| }, |
| { |
| "epoch": 2.756266666666667, |
| "grad_norm": 0.5807200074195862, |
| "learning_rate": 8.892516069813367e-08, |
| "loss": 0.5972, |
| "step": 2585 |
| }, |
| { |
| "epoch": 2.7573333333333334, |
| "grad_norm": 0.5503824949264526, |
| "learning_rate": 8.815814663108935e-08, |
| "loss": 0.5502, |
| "step": 2586 |
| }, |
| { |
| "epoch": 2.7584, |
| "grad_norm": 0.5406961441040039, |
| "learning_rate": 8.739439543092282e-08, |
| "loss": 0.5608, |
| "step": 2587 |
| }, |
| { |
| "epoch": 2.7594666666666665, |
| "grad_norm": 0.6655884385108948, |
| "learning_rate": 8.663390813087813e-08, |
| "loss": 0.5232, |
| "step": 2588 |
| }, |
| { |
| "epoch": 2.760533333333333, |
| "grad_norm": 0.5909585356712341, |
| "learning_rate": 8.587668575978176e-08, |
| "loss": 0.5245, |
| "step": 2589 |
| }, |
| { |
| "epoch": 2.7616, |
| "grad_norm": 0.5588054656982422, |
| "learning_rate": 8.512272934204451e-08, |
| "loss": 0.5338, |
| "step": 2590 |
| }, |
| { |
| "epoch": 2.7626666666666666, |
| "grad_norm": 0.5838527083396912, |
| "learning_rate": 8.437203989765802e-08, |
| "loss": 0.5377, |
| "step": 2591 |
| }, |
| { |
| "epoch": 2.7637333333333336, |
| "grad_norm": 0.6012356281280518, |
| "learning_rate": 8.362461844219516e-08, |
| "loss": 0.565, |
| "step": 2592 |
| }, |
| { |
| "epoch": 2.7648, |
| "grad_norm": 0.5522394776344299, |
| "learning_rate": 8.288046598680627e-08, |
| "loss": 0.5222, |
| "step": 2593 |
| }, |
| { |
| "epoch": 2.7658666666666667, |
| "grad_norm": 0.5138412117958069, |
| "learning_rate": 8.213958353822076e-08, |
| "loss": 0.4689, |
| "step": 2594 |
| }, |
| { |
| "epoch": 2.7669333333333332, |
| "grad_norm": 0.5326974391937256, |
| "learning_rate": 8.1401972098743e-08, |
| "loss": 0.4959, |
| "step": 2595 |
| }, |
| { |
| "epoch": 2.768, |
| "grad_norm": 0.5575687289237976, |
| "learning_rate": 8.066763266625283e-08, |
| "loss": 0.5525, |
| "step": 2596 |
| }, |
| { |
| "epoch": 2.769066666666667, |
| "grad_norm": 0.5546820163726807, |
| "learning_rate": 7.993656623420359e-08, |
| "loss": 0.5081, |
| "step": 2597 |
| }, |
| { |
| "epoch": 2.7701333333333333, |
| "grad_norm": 0.5488652586936951, |
| "learning_rate": 7.920877379162029e-08, |
| "loss": 0.5046, |
| "step": 2598 |
| }, |
| { |
| "epoch": 2.7712, |
| "grad_norm": 0.5885601043701172, |
| "learning_rate": 7.848425632309892e-08, |
| "loss": 0.5802, |
| "step": 2599 |
| }, |
| { |
| "epoch": 2.772266666666667, |
| "grad_norm": 0.608909547328949, |
| "learning_rate": 7.776301480880516e-08, |
| "loss": 0.5517, |
| "step": 2600 |
| }, |
| { |
| "epoch": 2.7733333333333334, |
| "grad_norm": 0.5569639205932617, |
| "learning_rate": 7.70450502244724e-08, |
| "loss": 0.5182, |
| "step": 2601 |
| }, |
| { |
| "epoch": 2.7744, |
| "grad_norm": 0.5457772612571716, |
| "learning_rate": 7.633036354140088e-08, |
| "loss": 0.5157, |
| "step": 2602 |
| }, |
| { |
| "epoch": 2.7754666666666665, |
| "grad_norm": 0.5674906373023987, |
| "learning_rate": 7.561895572645666e-08, |
| "loss": 0.5128, |
| "step": 2603 |
| }, |
| { |
| "epoch": 2.776533333333333, |
| "grad_norm": 0.5120345950126648, |
| "learning_rate": 7.491082774206931e-08, |
| "loss": 0.472, |
| "step": 2604 |
| }, |
| { |
| "epoch": 2.7776, |
| "grad_norm": 0.5695876479148865, |
| "learning_rate": 7.420598054623224e-08, |
| "loss": 0.5226, |
| "step": 2605 |
| }, |
| { |
| "epoch": 2.7786666666666666, |
| "grad_norm": 0.5844399333000183, |
| "learning_rate": 7.350441509249989e-08, |
| "loss": 0.5879, |
| "step": 2606 |
| }, |
| { |
| "epoch": 2.779733333333333, |
| "grad_norm": 0.5856999754905701, |
| "learning_rate": 7.280613232998668e-08, |
| "loss": 0.5826, |
| "step": 2607 |
| }, |
| { |
| "epoch": 2.7808, |
| "grad_norm": 0.5122194886207581, |
| "learning_rate": 7.211113320336665e-08, |
| "loss": 0.4977, |
| "step": 2608 |
| }, |
| { |
| "epoch": 2.7818666666666667, |
| "grad_norm": 0.5735731720924377, |
| "learning_rate": 7.141941865287106e-08, |
| "loss": 0.5358, |
| "step": 2609 |
| }, |
| { |
| "epoch": 2.7829333333333333, |
| "grad_norm": 0.5109619498252869, |
| "learning_rate": 7.073098961428799e-08, |
| "loss": 0.4717, |
| "step": 2610 |
| }, |
| { |
| "epoch": 2.784, |
| "grad_norm": 0.5542183518409729, |
| "learning_rate": 7.004584701896077e-08, |
| "loss": 0.4954, |
| "step": 2611 |
| }, |
| { |
| "epoch": 2.785066666666667, |
| "grad_norm": 0.5920616984367371, |
| "learning_rate": 6.936399179378577e-08, |
| "loss": 0.5408, |
| "step": 2612 |
| }, |
| { |
| "epoch": 2.7861333333333334, |
| "grad_norm": 0.6276311278343201, |
| "learning_rate": 6.868542486121315e-08, |
| "loss": 0.6383, |
| "step": 2613 |
| }, |
| { |
| "epoch": 2.7872, |
| "grad_norm": 0.5453687906265259, |
| "learning_rate": 6.801014713924442e-08, |
| "loss": 0.5163, |
| "step": 2614 |
| }, |
| { |
| "epoch": 2.788266666666667, |
| "grad_norm": 0.5111283659934998, |
| "learning_rate": 6.73381595414302e-08, |
| "loss": 0.5047, |
| "step": 2615 |
| }, |
| { |
| "epoch": 2.7893333333333334, |
| "grad_norm": 0.5528305172920227, |
| "learning_rate": 6.666946297687133e-08, |
| "loss": 0.5421, |
| "step": 2616 |
| }, |
| { |
| "epoch": 2.7904, |
| "grad_norm": 0.6200871467590332, |
| "learning_rate": 6.600405835021529e-08, |
| "loss": 0.5908, |
| "step": 2617 |
| }, |
| { |
| "epoch": 2.7914666666666665, |
| "grad_norm": 0.5820772051811218, |
| "learning_rate": 6.534194656165699e-08, |
| "loss": 0.5551, |
| "step": 2618 |
| }, |
| { |
| "epoch": 2.792533333333333, |
| "grad_norm": 0.6337178349494934, |
| "learning_rate": 6.468312850693576e-08, |
| "loss": 0.5983, |
| "step": 2619 |
| }, |
| { |
| "epoch": 2.7936, |
| "grad_norm": 0.5576120615005493, |
| "learning_rate": 6.402760507733585e-08, |
| "loss": 0.5078, |
| "step": 2620 |
| }, |
| { |
| "epoch": 2.7946666666666666, |
| "grad_norm": 0.6338408589363098, |
| "learning_rate": 6.337537715968345e-08, |
| "loss": 0.5701, |
| "step": 2621 |
| }, |
| { |
| "epoch": 2.795733333333333, |
| "grad_norm": 0.5602776408195496, |
| "learning_rate": 6.272644563634744e-08, |
| "loss": 0.5352, |
| "step": 2622 |
| }, |
| { |
| "epoch": 2.7968, |
| "grad_norm": 0.5368744730949402, |
| "learning_rate": 6.208081138523614e-08, |
| "loss": 0.5594, |
| "step": 2623 |
| }, |
| { |
| "epoch": 2.7978666666666667, |
| "grad_norm": 0.5174717307090759, |
| "learning_rate": 6.143847527979808e-08, |
| "loss": 0.4807, |
| "step": 2624 |
| }, |
| { |
| "epoch": 2.7989333333333333, |
| "grad_norm": 0.5250020027160645, |
| "learning_rate": 6.079943818901895e-08, |
| "loss": 0.4885, |
| "step": 2625 |
| }, |
| { |
| "epoch": 2.8, |
| "grad_norm": 0.5890145897865295, |
| "learning_rate": 6.016370097742224e-08, |
| "loss": 0.5547, |
| "step": 2626 |
| }, |
| { |
| "epoch": 2.801066666666667, |
| "grad_norm": 0.476974219083786, |
| "learning_rate": 5.9531264505066354e-08, |
| "loss": 0.4851, |
| "step": 2627 |
| }, |
| { |
| "epoch": 2.8021333333333334, |
| "grad_norm": 0.5741441249847412, |
| "learning_rate": 5.8902129627545216e-08, |
| "loss": 0.5355, |
| "step": 2628 |
| }, |
| { |
| "epoch": 2.8032, |
| "grad_norm": 0.567035973072052, |
| "learning_rate": 5.827629719598521e-08, |
| "loss": 0.5568, |
| "step": 2629 |
| }, |
| { |
| "epoch": 2.804266666666667, |
| "grad_norm": 0.6023795008659363, |
| "learning_rate": 5.7653768057045757e-08, |
| "loss": 0.6018, |
| "step": 2630 |
| }, |
| { |
| "epoch": 2.8053333333333335, |
| "grad_norm": 0.5850528478622437, |
| "learning_rate": 5.7034543052917335e-08, |
| "loss": 0.5157, |
| "step": 2631 |
| }, |
| { |
| "epoch": 2.8064, |
| "grad_norm": 0.5716785788536072, |
| "learning_rate": 5.641862302131928e-08, |
| "loss": 0.5141, |
| "step": 2632 |
| }, |
| { |
| "epoch": 2.8074666666666666, |
| "grad_norm": 0.6090503334999084, |
| "learning_rate": 5.5806008795501745e-08, |
| "loss": 0.5397, |
| "step": 2633 |
| }, |
| { |
| "epoch": 2.808533333333333, |
| "grad_norm": 0.550299346446991, |
| "learning_rate": 5.519670120424064e-08, |
| "loss": 0.4664, |
| "step": 2634 |
| }, |
| { |
| "epoch": 2.8096, |
| "grad_norm": 0.5627291798591614, |
| "learning_rate": 5.45907010718405e-08, |
| "loss": 0.5425, |
| "step": 2635 |
| }, |
| { |
| "epoch": 2.8106666666666666, |
| "grad_norm": 0.557490885257721, |
| "learning_rate": 5.3988009218129135e-08, |
| "loss": 0.5275, |
| "step": 2636 |
| }, |
| { |
| "epoch": 2.811733333333333, |
| "grad_norm": 0.6254628896713257, |
| "learning_rate": 5.3388626458460714e-08, |
| "loss": 0.5458, |
| "step": 2637 |
| }, |
| { |
| "epoch": 2.8128, |
| "grad_norm": 0.6449782252311707, |
| "learning_rate": 5.2792553603711326e-08, |
| "loss": 0.5699, |
| "step": 2638 |
| }, |
| { |
| "epoch": 2.8138666666666667, |
| "grad_norm": 0.5508193969726562, |
| "learning_rate": 5.219979146028037e-08, |
| "loss": 0.5077, |
| "step": 2639 |
| }, |
| { |
| "epoch": 2.8149333333333333, |
| "grad_norm": 0.5563542246818542, |
| "learning_rate": 5.161034083008693e-08, |
| "loss": 0.4941, |
| "step": 2640 |
| }, |
| { |
| "epoch": 2.816, |
| "grad_norm": 0.597621738910675, |
| "learning_rate": 5.102420251057144e-08, |
| "loss": 0.5459, |
| "step": 2641 |
| }, |
| { |
| "epoch": 2.817066666666667, |
| "grad_norm": 0.5498049259185791, |
| "learning_rate": 5.0441377294692675e-08, |
| "loss": 0.5001, |
| "step": 2642 |
| }, |
| { |
| "epoch": 2.8181333333333334, |
| "grad_norm": 0.5433846712112427, |
| "learning_rate": 4.9861865970927404e-08, |
| "loss": 0.525, |
| "step": 2643 |
| }, |
| { |
| "epoch": 2.8192, |
| "grad_norm": 0.5855333805084229, |
| "learning_rate": 4.928566932326906e-08, |
| "loss": 0.5591, |
| "step": 2644 |
| }, |
| { |
| "epoch": 2.820266666666667, |
| "grad_norm": 0.5447830557823181, |
| "learning_rate": 4.871278813122632e-08, |
| "loss": 0.5258, |
| "step": 2645 |
| }, |
| { |
| "epoch": 2.8213333333333335, |
| "grad_norm": 0.6776189208030701, |
| "learning_rate": 4.814322316982395e-08, |
| "loss": 0.6251, |
| "step": 2646 |
| }, |
| { |
| "epoch": 2.8224, |
| "grad_norm": 0.5470100045204163, |
| "learning_rate": 4.7576975209599195e-08, |
| "loss": 0.5052, |
| "step": 2647 |
| }, |
| { |
| "epoch": 2.8234666666666666, |
| "grad_norm": 0.52247554063797, |
| "learning_rate": 4.7014045016601784e-08, |
| "loss": 0.4799, |
| "step": 2648 |
| }, |
| { |
| "epoch": 2.824533333333333, |
| "grad_norm": 0.5897868275642395, |
| "learning_rate": 4.6454433352393634e-08, |
| "loss": 0.5598, |
| "step": 2649 |
| }, |
| { |
| "epoch": 2.8256, |
| "grad_norm": 0.5361445546150208, |
| "learning_rate": 4.589814097404694e-08, |
| "loss": 0.5301, |
| "step": 2650 |
| }, |
| { |
| "epoch": 2.8266666666666667, |
| "grad_norm": 0.5335550308227539, |
| "learning_rate": 4.534516863414329e-08, |
| "loss": 0.5262, |
| "step": 2651 |
| }, |
| { |
| "epoch": 2.827733333333333, |
| "grad_norm": 0.5572186708450317, |
| "learning_rate": 4.4795517080773175e-08, |
| "loss": 0.5068, |
| "step": 2652 |
| }, |
| { |
| "epoch": 2.8288, |
| "grad_norm": 0.5761824250221252, |
| "learning_rate": 4.4249187057533725e-08, |
| "loss": 0.5667, |
| "step": 2653 |
| }, |
| { |
| "epoch": 2.8298666666666668, |
| "grad_norm": 0.5707184672355652, |
| "learning_rate": 4.3706179303529276e-08, |
| "loss": 0.5633, |
| "step": 2654 |
| }, |
| { |
| "epoch": 2.8309333333333333, |
| "grad_norm": 0.5556488037109375, |
| "learning_rate": 4.316649455336913e-08, |
| "loss": 0.5019, |
| "step": 2655 |
| }, |
| { |
| "epoch": 2.832, |
| "grad_norm": 0.5763635635375977, |
| "learning_rate": 4.2630133537167885e-08, |
| "loss": 0.53, |
| "step": 2656 |
| }, |
| { |
| "epoch": 2.8330666666666664, |
| "grad_norm": 0.6106783747673035, |
| "learning_rate": 4.209709698054232e-08, |
| "loss": 0.5524, |
| "step": 2657 |
| }, |
| { |
| "epoch": 2.8341333333333334, |
| "grad_norm": 0.5716109275817871, |
| "learning_rate": 4.156738560461282e-08, |
| "loss": 0.5574, |
| "step": 2658 |
| }, |
| { |
| "epoch": 2.8352, |
| "grad_norm": 0.5815556645393372, |
| "learning_rate": 4.1041000126000595e-08, |
| "loss": 0.6054, |
| "step": 2659 |
| }, |
| { |
| "epoch": 2.836266666666667, |
| "grad_norm": 0.640309751033783, |
| "learning_rate": 4.051794125682767e-08, |
| "loss": 0.6251, |
| "step": 2660 |
| }, |
| { |
| "epoch": 2.8373333333333335, |
| "grad_norm": 0.5669311285018921, |
| "learning_rate": 3.999820970471635e-08, |
| "loss": 0.568, |
| "step": 2661 |
| }, |
| { |
| "epoch": 2.8384, |
| "grad_norm": 0.5455305576324463, |
| "learning_rate": 3.948180617278613e-08, |
| "loss": 0.5269, |
| "step": 2662 |
| }, |
| { |
| "epoch": 2.8394666666666666, |
| "grad_norm": 0.6008930802345276, |
| "learning_rate": 3.896873135965484e-08, |
| "loss": 0.574, |
| "step": 2663 |
| }, |
| { |
| "epoch": 2.840533333333333, |
| "grad_norm": 0.6322816014289856, |
| "learning_rate": 3.845898595943809e-08, |
| "loss": 0.564, |
| "step": 2664 |
| }, |
| { |
| "epoch": 2.8416, |
| "grad_norm": 0.63923579454422, |
| "learning_rate": 3.795257066174535e-08, |
| "loss": 0.4854, |
| "step": 2665 |
| }, |
| { |
| "epoch": 2.8426666666666667, |
| "grad_norm": 0.551508367061615, |
| "learning_rate": 3.744948615168248e-08, |
| "loss": 0.5019, |
| "step": 2666 |
| }, |
| { |
| "epoch": 2.8437333333333332, |
| "grad_norm": 0.6072929501533508, |
| "learning_rate": 3.6949733109848395e-08, |
| "loss": 0.5404, |
| "step": 2667 |
| }, |
| { |
| "epoch": 2.8448, |
| "grad_norm": 0.5438897013664246, |
| "learning_rate": 3.645331221233589e-08, |
| "loss": 0.512, |
| "step": 2668 |
| }, |
| { |
| "epoch": 2.8458666666666668, |
| "grad_norm": 0.5544848442077637, |
| "learning_rate": 3.596022413072886e-08, |
| "loss": 0.4987, |
| "step": 2669 |
| }, |
| { |
| "epoch": 2.8469333333333333, |
| "grad_norm": 0.5465447306632996, |
| "learning_rate": 3.5470469532103146e-08, |
| "loss": 0.5153, |
| "step": 2670 |
| }, |
| { |
| "epoch": 2.848, |
| "grad_norm": 0.5588910579681396, |
| "learning_rate": 3.4984049079024584e-08, |
| "loss": 0.56, |
| "step": 2671 |
| }, |
| { |
| "epoch": 2.8490666666666664, |
| "grad_norm": 0.5397117733955383, |
| "learning_rate": 3.450096342954817e-08, |
| "loss": 0.521, |
| "step": 2672 |
| }, |
| { |
| "epoch": 2.8501333333333334, |
| "grad_norm": 0.5790277123451233, |
| "learning_rate": 3.40212132372178e-08, |
| "loss": 0.531, |
| "step": 2673 |
| }, |
| { |
| "epoch": 2.8512, |
| "grad_norm": 0.5491939783096313, |
| "learning_rate": 3.354479915106512e-08, |
| "loss": 0.4978, |
| "step": 2674 |
| }, |
| { |
| "epoch": 2.8522666666666665, |
| "grad_norm": 0.577021062374115, |
| "learning_rate": 3.307172181560791e-08, |
| "loss": 0.5316, |
| "step": 2675 |
| }, |
| { |
| "epoch": 2.8533333333333335, |
| "grad_norm": 0.5781399011611938, |
| "learning_rate": 3.2601981870850065e-08, |
| "loss": 0.5223, |
| "step": 2676 |
| }, |
| { |
| "epoch": 2.8544, |
| "grad_norm": 0.5581707954406738, |
| "learning_rate": 3.2135579952281005e-08, |
| "loss": 0.5383, |
| "step": 2677 |
| }, |
| { |
| "epoch": 2.8554666666666666, |
| "grad_norm": 0.5679935812950134, |
| "learning_rate": 3.167251669087323e-08, |
| "loss": 0.563, |
| "step": 2678 |
| }, |
| { |
| "epoch": 2.856533333333333, |
| "grad_norm": 0.5353943705558777, |
| "learning_rate": 3.1212792713083696e-08, |
| "loss": 0.5344, |
| "step": 2679 |
| }, |
| { |
| "epoch": 2.8576, |
| "grad_norm": 0.5612926483154297, |
| "learning_rate": 3.075640864085072e-08, |
| "loss": 0.5301, |
| "step": 2680 |
| }, |
| { |
| "epoch": 2.8586666666666667, |
| "grad_norm": 0.6111009120941162, |
| "learning_rate": 3.030336509159543e-08, |
| "loss": 0.6039, |
| "step": 2681 |
| }, |
| { |
| "epoch": 2.8597333333333332, |
| "grad_norm": 0.5487512350082397, |
| "learning_rate": 2.9853662678218376e-08, |
| "loss": 0.5478, |
| "step": 2682 |
| }, |
| { |
| "epoch": 2.8608000000000002, |
| "grad_norm": 0.5282209515571594, |
| "learning_rate": 2.9407302009101247e-08, |
| "loss": 0.5019, |
| "step": 2683 |
| }, |
| { |
| "epoch": 2.861866666666667, |
| "grad_norm": 0.5531167984008789, |
| "learning_rate": 2.896428368810378e-08, |
| "loss": 0.5394, |
| "step": 2684 |
| }, |
| { |
| "epoch": 2.8629333333333333, |
| "grad_norm": 0.5424631237983704, |
| "learning_rate": 2.8524608314564882e-08, |
| "loss": 0.549, |
| "step": 2685 |
| }, |
| { |
| "epoch": 2.864, |
| "grad_norm": 0.5677931308746338, |
| "learning_rate": 2.8088276483300425e-08, |
| "loss": 0.5627, |
| "step": 2686 |
| }, |
| { |
| "epoch": 2.8650666666666664, |
| "grad_norm": 0.5294113159179688, |
| "learning_rate": 2.765528878460322e-08, |
| "loss": 0.5129, |
| "step": 2687 |
| }, |
| { |
| "epoch": 2.8661333333333334, |
| "grad_norm": 0.5425478219985962, |
| "learning_rate": 2.722564580424192e-08, |
| "loss": 0.5313, |
| "step": 2688 |
| }, |
| { |
| "epoch": 2.8672, |
| "grad_norm": 0.5886773467063904, |
| "learning_rate": 2.679934812346019e-08, |
| "loss": 0.5017, |
| "step": 2689 |
| }, |
| { |
| "epoch": 2.8682666666666665, |
| "grad_norm": 0.6226116418838501, |
| "learning_rate": 2.6376396318975874e-08, |
| "loss": 0.5435, |
| "step": 2690 |
| }, |
| { |
| "epoch": 2.8693333333333335, |
| "grad_norm": 0.6127182841300964, |
| "learning_rate": 2.5956790962980427e-08, |
| "loss": 0.606, |
| "step": 2691 |
| }, |
| { |
| "epoch": 2.8704, |
| "grad_norm": 0.592984676361084, |
| "learning_rate": 2.5540532623138657e-08, |
| "loss": 0.5902, |
| "step": 2692 |
| }, |
| { |
| "epoch": 2.8714666666666666, |
| "grad_norm": 0.5479094982147217, |
| "learning_rate": 2.5127621862585938e-08, |
| "loss": 0.5051, |
| "step": 2693 |
| }, |
| { |
| "epoch": 2.872533333333333, |
| "grad_norm": 0.5575157999992371, |
| "learning_rate": 2.4718059239930426e-08, |
| "loss": 0.5315, |
| "step": 2694 |
| }, |
| { |
| "epoch": 2.8736, |
| "grad_norm": 0.542863130569458, |
| "learning_rate": 2.4311845309249737e-08, |
| "loss": 0.5151, |
| "step": 2695 |
| }, |
| { |
| "epoch": 2.8746666666666667, |
| "grad_norm": 0.5516861081123352, |
| "learning_rate": 2.3908980620091783e-08, |
| "loss": 0.4949, |
| "step": 2696 |
| }, |
| { |
| "epoch": 2.8757333333333333, |
| "grad_norm": 0.6040905117988586, |
| "learning_rate": 2.3509465717472536e-08, |
| "loss": 0.4955, |
| "step": 2697 |
| }, |
| { |
| "epoch": 2.8768000000000002, |
| "grad_norm": 0.6001858115196228, |
| "learning_rate": 2.311330114187743e-08, |
| "loss": 0.5264, |
| "step": 2698 |
| }, |
| { |
| "epoch": 2.877866666666667, |
| "grad_norm": 0.6188099384307861, |
| "learning_rate": 2.2720487429258587e-08, |
| "loss": 0.5884, |
| "step": 2699 |
| }, |
| { |
| "epoch": 2.8789333333333333, |
| "grad_norm": 0.5582754015922546, |
| "learning_rate": 2.2331025111035353e-08, |
| "loss": 0.5089, |
| "step": 2700 |
| }, |
| { |
| "epoch": 2.88, |
| "grad_norm": 0.6072304248809814, |
| "learning_rate": 2.194491471409238e-08, |
| "loss": 0.5599, |
| "step": 2701 |
| }, |
| { |
| "epoch": 2.8810666666666664, |
| "grad_norm": 0.5973630547523499, |
| "learning_rate": 2.1562156760780715e-08, |
| "loss": 0.5511, |
| "step": 2702 |
| }, |
| { |
| "epoch": 2.8821333333333334, |
| "grad_norm": 0.5531256794929504, |
| "learning_rate": 2.1182751768915044e-08, |
| "loss": 0.5205, |
| "step": 2703 |
| }, |
| { |
| "epoch": 2.8832, |
| "grad_norm": 0.5069364309310913, |
| "learning_rate": 2.0806700251775057e-08, |
| "loss": 0.5015, |
| "step": 2704 |
| }, |
| { |
| "epoch": 2.8842666666666665, |
| "grad_norm": 0.5934831500053406, |
| "learning_rate": 2.043400271810242e-08, |
| "loss": 0.5374, |
| "step": 2705 |
| }, |
| { |
| "epoch": 2.8853333333333335, |
| "grad_norm": 0.5287733674049377, |
| "learning_rate": 2.0064659672102414e-08, |
| "loss": 0.5208, |
| "step": 2706 |
| }, |
| { |
| "epoch": 2.8864, |
| "grad_norm": 0.525516927242279, |
| "learning_rate": 1.9698671613441746e-08, |
| "loss": 0.4896, |
| "step": 2707 |
| }, |
| { |
| "epoch": 2.8874666666666666, |
| "grad_norm": 0.5495995879173279, |
| "learning_rate": 1.9336039037247954e-08, |
| "loss": 0.5339, |
| "step": 2708 |
| }, |
| { |
| "epoch": 2.888533333333333, |
| "grad_norm": 0.5455077290534973, |
| "learning_rate": 1.8976762434110284e-08, |
| "loss": 0.504, |
| "step": 2709 |
| }, |
| { |
| "epoch": 2.8895999999999997, |
| "grad_norm": 0.5438787937164307, |
| "learning_rate": 1.8620842290076324e-08, |
| "loss": 0.5555, |
| "step": 2710 |
| }, |
| { |
| "epoch": 2.8906666666666667, |
| "grad_norm": 0.5508490204811096, |
| "learning_rate": 1.8268279086654238e-08, |
| "loss": 0.5105, |
| "step": 2711 |
| }, |
| { |
| "epoch": 2.8917333333333333, |
| "grad_norm": 0.5326748490333557, |
| "learning_rate": 1.791907330080972e-08, |
| "loss": 0.548, |
| "step": 2712 |
| }, |
| { |
| "epoch": 2.8928000000000003, |
| "grad_norm": 0.5808681845664978, |
| "learning_rate": 1.757322540496681e-08, |
| "loss": 0.5406, |
| "step": 2713 |
| }, |
| { |
| "epoch": 2.893866666666667, |
| "grad_norm": 0.5584660172462463, |
| "learning_rate": 1.7230735867007075e-08, |
| "loss": 0.5479, |
| "step": 2714 |
| }, |
| { |
| "epoch": 2.8949333333333334, |
| "grad_norm": 0.5412822961807251, |
| "learning_rate": 1.689160515026822e-08, |
| "loss": 0.4937, |
| "step": 2715 |
| }, |
| { |
| "epoch": 2.896, |
| "grad_norm": 0.5503650903701782, |
| "learning_rate": 1.65558337135438e-08, |
| "loss": 0.5049, |
| "step": 2716 |
| }, |
| { |
| "epoch": 2.8970666666666665, |
| "grad_norm": 0.5330009460449219, |
| "learning_rate": 1.6223422011083788e-08, |
| "loss": 0.5448, |
| "step": 2717 |
| }, |
| { |
| "epoch": 2.8981333333333335, |
| "grad_norm": 0.5436614751815796, |
| "learning_rate": 1.5894370492592072e-08, |
| "loss": 0.5096, |
| "step": 2718 |
| }, |
| { |
| "epoch": 2.8992, |
| "grad_norm": 0.5625155568122864, |
| "learning_rate": 1.556867960322672e-08, |
| "loss": 0.5497, |
| "step": 2719 |
| }, |
| { |
| "epoch": 2.9002666666666665, |
| "grad_norm": 0.5704814195632935, |
| "learning_rate": 1.5246349783599456e-08, |
| "loss": 0.5143, |
| "step": 2720 |
| }, |
| { |
| "epoch": 2.9013333333333335, |
| "grad_norm": 0.5566697120666504, |
| "learning_rate": 1.4927381469775627e-08, |
| "loss": 0.5311, |
| "step": 2721 |
| }, |
| { |
| "epoch": 2.9024, |
| "grad_norm": 0.5258682370185852, |
| "learning_rate": 1.4611775093271718e-08, |
| "loss": 0.5589, |
| "step": 2722 |
| }, |
| { |
| "epoch": 2.9034666666666666, |
| "grad_norm": 0.5933458209037781, |
| "learning_rate": 1.4299531081057028e-08, |
| "loss": 0.5693, |
| "step": 2723 |
| }, |
| { |
| "epoch": 2.904533333333333, |
| "grad_norm": 0.5834786295890808, |
| "learning_rate": 1.399064985555143e-08, |
| "loss": 0.5373, |
| "step": 2724 |
| }, |
| { |
| "epoch": 2.9055999999999997, |
| "grad_norm": 0.5947481393814087, |
| "learning_rate": 1.368513183462622e-08, |
| "loss": 0.5801, |
| "step": 2725 |
| }, |
| { |
| "epoch": 2.9066666666666667, |
| "grad_norm": 0.5709309577941895, |
| "learning_rate": 1.3382977431602162e-08, |
| "loss": 0.5244, |
| "step": 2726 |
| }, |
| { |
| "epoch": 2.9077333333333333, |
| "grad_norm": 0.5500085353851318, |
| "learning_rate": 1.3084187055249497e-08, |
| "loss": 0.5161, |
| "step": 2727 |
| }, |
| { |
| "epoch": 2.9088000000000003, |
| "grad_norm": 0.5291803479194641, |
| "learning_rate": 1.2788761109787662e-08, |
| "loss": 0.5364, |
| "step": 2728 |
| }, |
| { |
| "epoch": 2.909866666666667, |
| "grad_norm": 0.57053142786026, |
| "learning_rate": 1.2496699994884175e-08, |
| "loss": 0.532, |
| "step": 2729 |
| }, |
| { |
| "epoch": 2.9109333333333334, |
| "grad_norm": 0.516263484954834, |
| "learning_rate": 1.220800410565548e-08, |
| "loss": 0.4543, |
| "step": 2730 |
| }, |
| { |
| "epoch": 2.912, |
| "grad_norm": 0.5759371519088745, |
| "learning_rate": 1.1922673832663601e-08, |
| "loss": 0.4963, |
| "step": 2731 |
| }, |
| { |
| "epoch": 2.9130666666666665, |
| "grad_norm": 0.5456444621086121, |
| "learning_rate": 1.1640709561919483e-08, |
| "loss": 0.541, |
| "step": 2732 |
| }, |
| { |
| "epoch": 2.9141333333333335, |
| "grad_norm": 0.5618428587913513, |
| "learning_rate": 1.1362111674878274e-08, |
| "loss": 0.5668, |
| "step": 2733 |
| }, |
| { |
| "epoch": 2.9152, |
| "grad_norm": 0.615202784538269, |
| "learning_rate": 1.1086880548442369e-08, |
| "loss": 0.5824, |
| "step": 2734 |
| }, |
| { |
| "epoch": 2.9162666666666666, |
| "grad_norm": 0.58868408203125, |
| "learning_rate": 1.0815016554959202e-08, |
| "loss": 0.571, |
| "step": 2735 |
| }, |
| { |
| "epoch": 2.9173333333333336, |
| "grad_norm": 0.5875019431114197, |
| "learning_rate": 1.0546520062220123e-08, |
| "loss": 0.5495, |
| "step": 2736 |
| }, |
| { |
| "epoch": 2.9184, |
| "grad_norm": 0.5869956016540527, |
| "learning_rate": 1.0281391433461795e-08, |
| "loss": 0.5611, |
| "step": 2737 |
| }, |
| { |
| "epoch": 2.9194666666666667, |
| "grad_norm": 0.5980009436607361, |
| "learning_rate": 1.0019631027363975e-08, |
| "loss": 0.5602, |
| "step": 2738 |
| }, |
| { |
| "epoch": 2.920533333333333, |
| "grad_norm": 0.5840904116630554, |
| "learning_rate": 9.761239198050055e-09, |
| "loss": 0.5725, |
| "step": 2739 |
| }, |
| { |
| "epoch": 2.9215999999999998, |
| "grad_norm": 0.596625030040741, |
| "learning_rate": 9.506216295086246e-09, |
| "loss": 0.5576, |
| "step": 2740 |
| }, |
| { |
| "epoch": 2.9226666666666667, |
| "grad_norm": 0.5779701471328735, |
| "learning_rate": 9.25456266348046e-09, |
| "loss": 0.5416, |
| "step": 2741 |
| }, |
| { |
| "epoch": 2.9237333333333333, |
| "grad_norm": 0.5945303440093994, |
| "learning_rate": 9.006278643683697e-09, |
| "loss": 0.6077, |
| "step": 2742 |
| }, |
| { |
| "epoch": 2.9248, |
| "grad_norm": 0.610310435295105, |
| "learning_rate": 8.761364571587273e-09, |
| "loss": 0.5381, |
| "step": 2743 |
| }, |
| { |
| "epoch": 2.925866666666667, |
| "grad_norm": 0.6415067911148071, |
| "learning_rate": 8.519820778524201e-09, |
| "loss": 0.596, |
| "step": 2744 |
| }, |
| { |
| "epoch": 2.9269333333333334, |
| "grad_norm": 0.5158318877220154, |
| "learning_rate": 8.281647591267262e-09, |
| "loss": 0.4777, |
| "step": 2745 |
| }, |
| { |
| "epoch": 2.928, |
| "grad_norm": 0.5789709091186523, |
| "learning_rate": 8.046845332029818e-09, |
| "loss": 0.5553, |
| "step": 2746 |
| }, |
| { |
| "epoch": 2.9290666666666665, |
| "grad_norm": 0.5262317657470703, |
| "learning_rate": 7.81541431846472e-09, |
| "loss": 0.4906, |
| "step": 2747 |
| }, |
| { |
| "epoch": 2.9301333333333335, |
| "grad_norm": 0.6687551736831665, |
| "learning_rate": 7.587354863664298e-09, |
| "loss": 0.6016, |
| "step": 2748 |
| }, |
| { |
| "epoch": 2.9312, |
| "grad_norm": 0.5554529428482056, |
| "learning_rate": 7.362667276159252e-09, |
| "loss": 0.5151, |
| "step": 2749 |
| }, |
| { |
| "epoch": 2.9322666666666666, |
| "grad_norm": 0.5800417065620422, |
| "learning_rate": 7.141351859918655e-09, |
| "loss": 0.5526, |
| "step": 2750 |
| }, |
| { |
| "epoch": 2.9333333333333336, |
| "grad_norm": 0.5736481547355652, |
| "learning_rate": 6.92340891434995e-09, |
| "loss": 0.537, |
| "step": 2751 |
| }, |
| { |
| "epoch": 2.9344, |
| "grad_norm": 0.5542134642601013, |
| "learning_rate": 6.708838734297562e-09, |
| "loss": 0.5321, |
| "step": 2752 |
| }, |
| { |
| "epoch": 2.9354666666666667, |
| "grad_norm": 0.5511532425880432, |
| "learning_rate": 6.497641610043737e-09, |
| "loss": 0.5507, |
| "step": 2753 |
| }, |
| { |
| "epoch": 2.936533333333333, |
| "grad_norm": 0.5876654982566833, |
| "learning_rate": 6.289817827306588e-09, |
| "loss": 0.541, |
| "step": 2754 |
| }, |
| { |
| "epoch": 2.9375999999999998, |
| "grad_norm": 0.5688034296035767, |
| "learning_rate": 6.085367667241493e-09, |
| "loss": 0.5135, |
| "step": 2755 |
| }, |
| { |
| "epoch": 2.9386666666666668, |
| "grad_norm": 0.5167495608329773, |
| "learning_rate": 5.884291406439424e-09, |
| "loss": 0.5004, |
| "step": 2756 |
| }, |
| { |
| "epoch": 2.9397333333333333, |
| "grad_norm": 0.5855696201324463, |
| "learning_rate": 5.686589316926672e-09, |
| "loss": 0.4754, |
| "step": 2757 |
| }, |
| { |
| "epoch": 2.9408, |
| "grad_norm": 0.5450001955032349, |
| "learning_rate": 5.492261666165122e-09, |
| "loss": 0.5283, |
| "step": 2758 |
| }, |
| { |
| "epoch": 2.941866666666667, |
| "grad_norm": 0.585999608039856, |
| "learning_rate": 5.301308717051423e-09, |
| "loss": 0.4786, |
| "step": 2759 |
| }, |
| { |
| "epoch": 2.9429333333333334, |
| "grad_norm": 0.5446635484695435, |
| "learning_rate": 5.113730727917265e-09, |
| "loss": 0.5467, |
| "step": 2760 |
| }, |
| { |
| "epoch": 2.944, |
| "grad_norm": 0.5706652998924255, |
| "learning_rate": 4.929527952527436e-09, |
| "loss": 0.6021, |
| "step": 2761 |
| }, |
| { |
| "epoch": 2.9450666666666665, |
| "grad_norm": 0.5716686248779297, |
| "learning_rate": 4.748700640081483e-09, |
| "loss": 0.5712, |
| "step": 2762 |
| }, |
| { |
| "epoch": 2.9461333333333335, |
| "grad_norm": 0.5880100131034851, |
| "learning_rate": 4.5712490352120555e-09, |
| "loss": 0.5335, |
| "step": 2763 |
| }, |
| { |
| "epoch": 2.9472, |
| "grad_norm": 0.5808339715003967, |
| "learning_rate": 4.397173377984898e-09, |
| "loss": 0.5708, |
| "step": 2764 |
| }, |
| { |
| "epoch": 2.9482666666666666, |
| "grad_norm": 0.5454754829406738, |
| "learning_rate": 4.226473903899131e-09, |
| "loss": 0.5736, |
| "step": 2765 |
| }, |
| { |
| "epoch": 2.9493333333333336, |
| "grad_norm": 0.5399262309074402, |
| "learning_rate": 4.0591508438855846e-09, |
| "loss": 0.537, |
| "step": 2766 |
| }, |
| { |
| "epoch": 2.9504, |
| "grad_norm": 0.5704312920570374, |
| "learning_rate": 3.8952044243081855e-09, |
| "loss": 0.5276, |
| "step": 2767 |
| }, |
| { |
| "epoch": 2.9514666666666667, |
| "grad_norm": 0.5484793782234192, |
| "learning_rate": 3.734634866961739e-09, |
| "loss": 0.5593, |
| "step": 2768 |
| }, |
| { |
| "epoch": 2.9525333333333332, |
| "grad_norm": 0.5756340026855469, |
| "learning_rate": 3.5774423890735934e-09, |
| "loss": 0.5615, |
| "step": 2769 |
| }, |
| { |
| "epoch": 2.9536, |
| "grad_norm": 0.5652394890785217, |
| "learning_rate": 3.4236272033019714e-09, |
| "loss": 0.5407, |
| "step": 2770 |
| }, |
| { |
| "epoch": 2.9546666666666668, |
| "grad_norm": 0.5671141147613525, |
| "learning_rate": 3.2731895177362526e-09, |
| "loss": 0.5556, |
| "step": 2771 |
| }, |
| { |
| "epoch": 2.9557333333333333, |
| "grad_norm": 0.5954770445823669, |
| "learning_rate": 3.1261295358961385e-09, |
| "loss": 0.6057, |
| "step": 2772 |
| }, |
| { |
| "epoch": 2.9568, |
| "grad_norm": 0.5492429733276367, |
| "learning_rate": 2.9824474567324844e-09, |
| "loss": 0.5044, |
| "step": 2773 |
| }, |
| { |
| "epoch": 2.957866666666667, |
| "grad_norm": 0.583488404750824, |
| "learning_rate": 2.842143474625636e-09, |
| "loss": 0.5521, |
| "step": 2774 |
| }, |
| { |
| "epoch": 2.9589333333333334, |
| "grad_norm": 0.5825504064559937, |
| "learning_rate": 2.7052177793865376e-09, |
| "loss": 0.5863, |
| "step": 2775 |
| }, |
| { |
| "epoch": 2.96, |
| "grad_norm": 0.5671625137329102, |
| "learning_rate": 2.5716705562553456e-09, |
| "loss": 0.5267, |
| "step": 2776 |
| }, |
| { |
| "epoch": 2.9610666666666665, |
| "grad_norm": 0.5394807457923889, |
| "learning_rate": 2.441501985901984e-09, |
| "loss": 0.5388, |
| "step": 2777 |
| }, |
| { |
| "epoch": 2.962133333333333, |
| "grad_norm": 0.5825269818305969, |
| "learning_rate": 2.3147122444250327e-09, |
| "loss": 0.5749, |
| "step": 2778 |
| }, |
| { |
| "epoch": 2.9632, |
| "grad_norm": 0.5829220414161682, |
| "learning_rate": 2.1913015033525607e-09, |
| "loss": 0.5724, |
| "step": 2779 |
| }, |
| { |
| "epoch": 2.9642666666666666, |
| "grad_norm": 0.5266127586364746, |
| "learning_rate": 2.0712699296410176e-09, |
| "loss": 0.4732, |
| "step": 2780 |
| }, |
| { |
| "epoch": 2.9653333333333336, |
| "grad_norm": 0.5657854676246643, |
| "learning_rate": 1.9546176856755083e-09, |
| "loss": 0.5204, |
| "step": 2781 |
| }, |
| { |
| "epoch": 2.9664, |
| "grad_norm": 0.5607903599739075, |
| "learning_rate": 1.8413449292695174e-09, |
| "loss": 0.5091, |
| "step": 2782 |
| }, |
| { |
| "epoch": 2.9674666666666667, |
| "grad_norm": 0.5998398661613464, |
| "learning_rate": 1.7314518136640756e-09, |
| "loss": 0.569, |
| "step": 2783 |
| }, |
| { |
| "epoch": 2.9685333333333332, |
| "grad_norm": 0.5958418250083923, |
| "learning_rate": 1.6249384875285935e-09, |
| "loss": 0.5149, |
| "step": 2784 |
| }, |
| { |
| "epoch": 2.9696, |
| "grad_norm": 0.5959089398384094, |
| "learning_rate": 1.5218050949597495e-09, |
| "loss": 0.5734, |
| "step": 2785 |
| }, |
| { |
| "epoch": 2.970666666666667, |
| "grad_norm": 0.5484638214111328, |
| "learning_rate": 1.4220517754820474e-09, |
| "loss": 0.5548, |
| "step": 2786 |
| }, |
| { |
| "epoch": 2.9717333333333333, |
| "grad_norm": 0.5785630941390991, |
| "learning_rate": 1.3256786640469809e-09, |
| "loss": 0.5718, |
| "step": 2787 |
| }, |
| { |
| "epoch": 2.9728, |
| "grad_norm": 0.5672924518585205, |
| "learning_rate": 1.2326858910330364e-09, |
| "loss": 0.5332, |
| "step": 2788 |
| }, |
| { |
| "epoch": 2.973866666666667, |
| "grad_norm": 0.5598438382148743, |
| "learning_rate": 1.1430735822459681e-09, |
| "loss": 0.5641, |
| "step": 2789 |
| }, |
| { |
| "epoch": 2.9749333333333334, |
| "grad_norm": 0.5887501835823059, |
| "learning_rate": 1.0568418589176899e-09, |
| "loss": 0.5739, |
| "step": 2790 |
| }, |
| { |
| "epoch": 2.976, |
| "grad_norm": 0.6167333126068115, |
| "learning_rate": 9.739908377073836e-10, |
| "loss": 0.6144, |
| "step": 2791 |
| }, |
| { |
| "epoch": 2.9770666666666665, |
| "grad_norm": 0.5357959270477295, |
| "learning_rate": 8.945206307001131e-10, |
| "loss": 0.4787, |
| "step": 2792 |
| }, |
| { |
| "epoch": 2.978133333333333, |
| "grad_norm": 0.599374532699585, |
| "learning_rate": 8.184313454073778e-10, |
| "loss": 0.5586, |
| "step": 2793 |
| }, |
| { |
| "epoch": 2.9792, |
| "grad_norm": 0.5376509428024292, |
| "learning_rate": 7.457230847668362e-10, |
| "loss": 0.4842, |
| "step": 2794 |
| }, |
| { |
| "epoch": 2.9802666666666666, |
| "grad_norm": 0.6136676669120789, |
| "learning_rate": 6.763959471420278e-10, |
| "loss": 0.5895, |
| "step": 2795 |
| }, |
| { |
| "epoch": 2.981333333333333, |
| "grad_norm": 0.5848807692527771, |
| "learning_rate": 6.104500263223734e-10, |
| "loss": 0.5064, |
| "step": 2796 |
| }, |
| { |
| "epoch": 2.9824, |
| "grad_norm": 0.6210826635360718, |
| "learning_rate": 5.478854115228971e-10, |
| "loss": 0.5569, |
| "step": 2797 |
| }, |
| { |
| "epoch": 2.9834666666666667, |
| "grad_norm": 0.5470573902130127, |
| "learning_rate": 4.887021873845043e-10, |
| "loss": 0.5277, |
| "step": 2798 |
| }, |
| { |
| "epoch": 2.9845333333333333, |
| "grad_norm": 0.5712572932243347, |
| "learning_rate": 4.3290043397314905e-10, |
| "loss": 0.5268, |
| "step": 2799 |
| }, |
| { |
| "epoch": 2.9856, |
| "grad_norm": 0.5734822750091553, |
| "learning_rate": 3.804802267806662e-10, |
| "loss": 0.5459, |
| "step": 2800 |
| }, |
| { |
| "epoch": 2.986666666666667, |
| "grad_norm": 0.51096111536026, |
| "learning_rate": 3.3144163672338416e-10, |
| "loss": 0.4757, |
| "step": 2801 |
| }, |
| { |
| "epoch": 2.9877333333333334, |
| "grad_norm": 0.5946183800697327, |
| "learning_rate": 2.8578473014378994e-10, |
| "loss": 0.5669, |
| "step": 2802 |
| }, |
| { |
| "epoch": 2.9888, |
| "grad_norm": 0.5268621444702148, |
| "learning_rate": 2.43509568808864e-10, |
| "loss": 0.5241, |
| "step": 2803 |
| }, |
| { |
| "epoch": 2.989866666666667, |
| "grad_norm": 0.544581949710846, |
| "learning_rate": 2.0461620991063524e-10, |
| "loss": 0.4706, |
| "step": 2804 |
| }, |
| { |
| "epoch": 2.9909333333333334, |
| "grad_norm": 0.5091453790664673, |
| "learning_rate": 1.6910470606590345e-10, |
| "loss": 0.4373, |
| "step": 2805 |
| }, |
| { |
| "epoch": 2.992, |
| "grad_norm": 0.5821213126182556, |
| "learning_rate": 1.3697510531651693e-10, |
| "loss": 0.5659, |
| "step": 2806 |
| }, |
| { |
| "epoch": 2.9930666666666665, |
| "grad_norm": 0.5594663023948669, |
| "learning_rate": 1.0822745112964994e-10, |
| "loss": 0.5292, |
| "step": 2807 |
| }, |
| { |
| "epoch": 2.994133333333333, |
| "grad_norm": 0.5854476690292358, |
| "learning_rate": 8.286178239585995e-11, |
| "loss": 0.523, |
| "step": 2808 |
| }, |
| { |
| "epoch": 2.9952, |
| "grad_norm": 0.5891215205192566, |
| "learning_rate": 6.087813343158555e-11, |
| "loss": 0.56, |
| "step": 2809 |
| }, |
| { |
| "epoch": 2.9962666666666666, |
| "grad_norm": 0.5810789465904236, |
| "learning_rate": 4.2276533977481104e-11, |
| "loss": 0.576, |
| "step": 2810 |
| }, |
| { |
| "epoch": 2.997333333333333, |
| "grad_norm": 0.5482070446014404, |
| "learning_rate": 2.705700919869436e-11, |
| "loss": 0.5447, |
| "step": 2811 |
| }, |
| { |
| "epoch": 2.9984, |
| "grad_norm": 0.5240169763565063, |
| "learning_rate": 1.521957968514398e-11, |
| "loss": 0.5315, |
| "step": 2812 |
| }, |
| { |
| "epoch": 2.9994666666666667, |
| "grad_norm": 0.5372490882873535, |
| "learning_rate": 6.764261450686871e-12, |
| "loss": 0.4681, |
| "step": 2813 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 0.8005771040916443, |
| "learning_rate": 1.6910659345059643e-12, |
| "loss": 0.3797, |
| "step": 2814 |
| }, |
| { |
| "epoch": 3.0, |
| "step": 2814, |
| "total_flos": 6.849963317700592e+18, |
| "train_loss": 0.09753237076913879, |
| "train_runtime": 6368.1203, |
| "train_samples_per_second": 7.066, |
| "train_steps_per_second": 0.442 |
| } |
| ], |
| "logging_steps": 1, |
| "max_steps": 2814, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 3, |
| "save_steps": 100, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 6.849963317700592e+18, |
| "train_batch_size": 2, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
