| { |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 5.0, |
| "eval_steps": 500, |
| "global_step": 960, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.005208333333333333, |
| "grad_norm": 5.525024825392629, |
| "learning_rate": 8.333333333333333e-07, |
| "loss": 0.9534, |
| "step": 1 |
| }, |
| { |
| "epoch": 0.010416666666666666, |
| "grad_norm": 5.551648274390938, |
| "learning_rate": 1.6666666666666667e-06, |
| "loss": 0.9629, |
| "step": 2 |
| }, |
| { |
| "epoch": 0.015625, |
| "grad_norm": 5.509542445845226, |
| "learning_rate": 2.5e-06, |
| "loss": 0.9508, |
| "step": 3 |
| }, |
| { |
| "epoch": 0.020833333333333332, |
| "grad_norm": 5.1927233541832445, |
| "learning_rate": 3.3333333333333333e-06, |
| "loss": 0.9385, |
| "step": 4 |
| }, |
| { |
| "epoch": 0.026041666666666668, |
| "grad_norm": 4.119699702130654, |
| "learning_rate": 4.166666666666667e-06, |
| "loss": 0.9103, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.03125, |
| "grad_norm": 2.3672930783065, |
| "learning_rate": 5e-06, |
| "loss": 0.8662, |
| "step": 6 |
| }, |
| { |
| "epoch": 0.036458333333333336, |
| "grad_norm": 2.03868625019881, |
| "learning_rate": 5.833333333333334e-06, |
| "loss": 0.8597, |
| "step": 7 |
| }, |
| { |
| "epoch": 0.041666666666666664, |
| "grad_norm": 3.5015619573526857, |
| "learning_rate": 6.666666666666667e-06, |
| "loss": 0.8405, |
| "step": 8 |
| }, |
| { |
| "epoch": 0.046875, |
| "grad_norm": 3.688077401315301, |
| "learning_rate": 7.500000000000001e-06, |
| "loss": 0.8365, |
| "step": 9 |
| }, |
| { |
| "epoch": 0.052083333333333336, |
| "grad_norm": 3.7377496159509866, |
| "learning_rate": 8.333333333333334e-06, |
| "loss": 0.8405, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.057291666666666664, |
| "grad_norm": 3.3767514472240854, |
| "learning_rate": 9.166666666666666e-06, |
| "loss": 0.7926, |
| "step": 11 |
| }, |
| { |
| "epoch": 0.0625, |
| "grad_norm": 2.9413894106372225, |
| "learning_rate": 1e-05, |
| "loss": 0.7778, |
| "step": 12 |
| }, |
| { |
| "epoch": 0.06770833333333333, |
| "grad_norm": 2.0483525134110954, |
| "learning_rate": 1.0833333333333334e-05, |
| "loss": 0.7608, |
| "step": 13 |
| }, |
| { |
| "epoch": 0.07291666666666667, |
| "grad_norm": 1.7902123857830758, |
| "learning_rate": 1.1666666666666668e-05, |
| "loss": 0.7433, |
| "step": 14 |
| }, |
| { |
| "epoch": 0.078125, |
| "grad_norm": 2.154040734713134, |
| "learning_rate": 1.25e-05, |
| "loss": 0.7313, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.08333333333333333, |
| "grad_norm": 1.7415156228578583, |
| "learning_rate": 1.3333333333333333e-05, |
| "loss": 0.7256, |
| "step": 16 |
| }, |
| { |
| "epoch": 0.08854166666666667, |
| "grad_norm": 1.3929654688846236, |
| "learning_rate": 1.416666666666667e-05, |
| "loss": 0.7283, |
| "step": 17 |
| }, |
| { |
| "epoch": 0.09375, |
| "grad_norm": 1.3951473311188842, |
| "learning_rate": 1.5000000000000002e-05, |
| "loss": 0.7067, |
| "step": 18 |
| }, |
| { |
| "epoch": 0.09895833333333333, |
| "grad_norm": 1.169086981212658, |
| "learning_rate": 1.5833333333333333e-05, |
| "loss": 0.6999, |
| "step": 19 |
| }, |
| { |
| "epoch": 0.10416666666666667, |
| "grad_norm": 1.0762339298811598, |
| "learning_rate": 1.6666666666666667e-05, |
| "loss": 0.6896, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.109375, |
| "grad_norm": 0.9738815466587011, |
| "learning_rate": 1.7500000000000002e-05, |
| "loss": 0.6706, |
| "step": 21 |
| }, |
| { |
| "epoch": 0.11458333333333333, |
| "grad_norm": 0.9996629105194931, |
| "learning_rate": 1.8333333333333333e-05, |
| "loss": 0.6684, |
| "step": 22 |
| }, |
| { |
| "epoch": 0.11979166666666667, |
| "grad_norm": 0.8186627736447165, |
| "learning_rate": 1.916666666666667e-05, |
| "loss": 0.6609, |
| "step": 23 |
| }, |
| { |
| "epoch": 0.125, |
| "grad_norm": 0.7974481317118651, |
| "learning_rate": 2e-05, |
| "loss": 0.6558, |
| "step": 24 |
| }, |
| { |
| "epoch": 0.13020833333333334, |
| "grad_norm": 0.8381166333015055, |
| "learning_rate": 2.0833333333333336e-05, |
| "loss": 0.6505, |
| "step": 25 |
| }, |
| { |
| "epoch": 0.13541666666666666, |
| "grad_norm": 0.6867670094262708, |
| "learning_rate": 2.1666666666666667e-05, |
| "loss": 0.6317, |
| "step": 26 |
| }, |
| { |
| "epoch": 0.140625, |
| "grad_norm": 0.7822189502494895, |
| "learning_rate": 2.25e-05, |
| "loss": 0.6449, |
| "step": 27 |
| }, |
| { |
| "epoch": 0.14583333333333334, |
| "grad_norm": 0.6558238755632805, |
| "learning_rate": 2.3333333333333336e-05, |
| "loss": 0.6447, |
| "step": 28 |
| }, |
| { |
| "epoch": 0.15104166666666666, |
| "grad_norm": 0.6474856126820125, |
| "learning_rate": 2.4166666666666667e-05, |
| "loss": 0.6319, |
| "step": 29 |
| }, |
| { |
| "epoch": 0.15625, |
| "grad_norm": 0.7177744461106961, |
| "learning_rate": 2.5e-05, |
| "loss": 0.6244, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.16145833333333334, |
| "grad_norm": 0.7009492854462016, |
| "learning_rate": 2.5833333333333336e-05, |
| "loss": 0.6209, |
| "step": 31 |
| }, |
| { |
| "epoch": 0.16666666666666666, |
| "grad_norm": 0.8366662666049973, |
| "learning_rate": 2.6666666666666667e-05, |
| "loss": 0.6259, |
| "step": 32 |
| }, |
| { |
| "epoch": 0.171875, |
| "grad_norm": 0.7120999856190574, |
| "learning_rate": 2.75e-05, |
| "loss": 0.6197, |
| "step": 33 |
| }, |
| { |
| "epoch": 0.17708333333333334, |
| "grad_norm": 0.7439607533194146, |
| "learning_rate": 2.833333333333334e-05, |
| "loss": 0.6273, |
| "step": 34 |
| }, |
| { |
| "epoch": 0.18229166666666666, |
| "grad_norm": 0.8256135694180483, |
| "learning_rate": 2.9166666666666666e-05, |
| "loss": 0.616, |
| "step": 35 |
| }, |
| { |
| "epoch": 0.1875, |
| "grad_norm": 1.0419123996679769, |
| "learning_rate": 3.0000000000000004e-05, |
| "loss": 0.6136, |
| "step": 36 |
| }, |
| { |
| "epoch": 0.19270833333333334, |
| "grad_norm": 1.0161402351295794, |
| "learning_rate": 3.0833333333333335e-05, |
| "loss": 0.6041, |
| "step": 37 |
| }, |
| { |
| "epoch": 0.19791666666666666, |
| "grad_norm": 0.8110880660712807, |
| "learning_rate": 3.1666666666666666e-05, |
| "loss": 0.6065, |
| "step": 38 |
| }, |
| { |
| "epoch": 0.203125, |
| "grad_norm": 0.9092931735544441, |
| "learning_rate": 3.2500000000000004e-05, |
| "loss": 0.5983, |
| "step": 39 |
| }, |
| { |
| "epoch": 0.20833333333333334, |
| "grad_norm": 1.297161226964139, |
| "learning_rate": 3.3333333333333335e-05, |
| "loss": 0.5957, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.21354166666666666, |
| "grad_norm": 0.9065908896110595, |
| "learning_rate": 3.4166666666666666e-05, |
| "loss": 0.5999, |
| "step": 41 |
| }, |
| { |
| "epoch": 0.21875, |
| "grad_norm": 1.199832224228208, |
| "learning_rate": 3.5000000000000004e-05, |
| "loss": 0.6022, |
| "step": 42 |
| }, |
| { |
| "epoch": 0.22395833333333334, |
| "grad_norm": 0.8528354350000252, |
| "learning_rate": 3.5833333333333335e-05, |
| "loss": 0.5939, |
| "step": 43 |
| }, |
| { |
| "epoch": 0.22916666666666666, |
| "grad_norm": 0.9835040548718635, |
| "learning_rate": 3.6666666666666666e-05, |
| "loss": 0.597, |
| "step": 44 |
| }, |
| { |
| "epoch": 0.234375, |
| "grad_norm": 1.7523484775548723, |
| "learning_rate": 3.7500000000000003e-05, |
| "loss": 0.6063, |
| "step": 45 |
| }, |
| { |
| "epoch": 0.23958333333333334, |
| "grad_norm": 1.0628059715241025, |
| "learning_rate": 3.833333333333334e-05, |
| "loss": 0.5876, |
| "step": 46 |
| }, |
| { |
| "epoch": 0.24479166666666666, |
| "grad_norm": 2.0206748045583858, |
| "learning_rate": 3.9166666666666665e-05, |
| "loss": 0.5997, |
| "step": 47 |
| }, |
| { |
| "epoch": 0.25, |
| "grad_norm": 1.6972410921372278, |
| "learning_rate": 4e-05, |
| "loss": 0.5894, |
| "step": 48 |
| }, |
| { |
| "epoch": 0.2552083333333333, |
| "grad_norm": 1.494304955329122, |
| "learning_rate": 4.0833333333333334e-05, |
| "loss": 0.5908, |
| "step": 49 |
| }, |
| { |
| "epoch": 0.2604166666666667, |
| "grad_norm": 2.1147912320359907, |
| "learning_rate": 4.166666666666667e-05, |
| "loss": 0.5951, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.265625, |
| "grad_norm": 1.5515981356339004, |
| "learning_rate": 4.25e-05, |
| "loss": 0.5917, |
| "step": 51 |
| }, |
| { |
| "epoch": 0.2708333333333333, |
| "grad_norm": 2.311620905925207, |
| "learning_rate": 4.3333333333333334e-05, |
| "loss": 0.5877, |
| "step": 52 |
| }, |
| { |
| "epoch": 0.2760416666666667, |
| "grad_norm": 2.3683022786063, |
| "learning_rate": 4.416666666666667e-05, |
| "loss": 0.5885, |
| "step": 53 |
| }, |
| { |
| "epoch": 0.28125, |
| "grad_norm": 1.191792930609075, |
| "learning_rate": 4.5e-05, |
| "loss": 0.584, |
| "step": 54 |
| }, |
| { |
| "epoch": 0.2864583333333333, |
| "grad_norm": 1.4564679143392056, |
| "learning_rate": 4.5833333333333334e-05, |
| "loss": 0.574, |
| "step": 55 |
| }, |
| { |
| "epoch": 0.2916666666666667, |
| "grad_norm": 1.3035860621313111, |
| "learning_rate": 4.666666666666667e-05, |
| "loss": 0.5827, |
| "step": 56 |
| }, |
| { |
| "epoch": 0.296875, |
| "grad_norm": 1.2096245035368207, |
| "learning_rate": 4.75e-05, |
| "loss": 0.5839, |
| "step": 57 |
| }, |
| { |
| "epoch": 0.3020833333333333, |
| "grad_norm": 1.7755049175095443, |
| "learning_rate": 4.8333333333333334e-05, |
| "loss": 0.5822, |
| "step": 58 |
| }, |
| { |
| "epoch": 0.3072916666666667, |
| "grad_norm": 0.8797467728629509, |
| "learning_rate": 4.916666666666667e-05, |
| "loss": 0.5869, |
| "step": 59 |
| }, |
| { |
| "epoch": 0.3125, |
| "grad_norm": 1.6056153382680485, |
| "learning_rate": 5e-05, |
| "loss": 0.5812, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.3177083333333333, |
| "grad_norm": 1.2698116058810207, |
| "learning_rate": 5.0833333333333333e-05, |
| "loss": 0.5868, |
| "step": 61 |
| }, |
| { |
| "epoch": 0.3229166666666667, |
| "grad_norm": 1.5463150685099472, |
| "learning_rate": 5.166666666666667e-05, |
| "loss": 0.5749, |
| "step": 62 |
| }, |
| { |
| "epoch": 0.328125, |
| "grad_norm": 0.9828995510734341, |
| "learning_rate": 5.25e-05, |
| "loss": 0.5776, |
| "step": 63 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 1.3805667189972306, |
| "learning_rate": 5.333333333333333e-05, |
| "loss": 0.5739, |
| "step": 64 |
| }, |
| { |
| "epoch": 0.3385416666666667, |
| "grad_norm": 1.5926110127047943, |
| "learning_rate": 5.416666666666667e-05, |
| "loss": 0.5846, |
| "step": 65 |
| }, |
| { |
| "epoch": 0.34375, |
| "grad_norm": 1.4636941655068967, |
| "learning_rate": 5.5e-05, |
| "loss": 0.5732, |
| "step": 66 |
| }, |
| { |
| "epoch": 0.3489583333333333, |
| "grad_norm": 1.4458707197431357, |
| "learning_rate": 5.583333333333333e-05, |
| "loss": 0.5788, |
| "step": 67 |
| }, |
| { |
| "epoch": 0.3541666666666667, |
| "grad_norm": 1.3273554370688572, |
| "learning_rate": 5.666666666666668e-05, |
| "loss": 0.5722, |
| "step": 68 |
| }, |
| { |
| "epoch": 0.359375, |
| "grad_norm": 1.487033700716078, |
| "learning_rate": 5.75e-05, |
| "loss": 0.5727, |
| "step": 69 |
| }, |
| { |
| "epoch": 0.3645833333333333, |
| "grad_norm": 1.3944914938186193, |
| "learning_rate": 5.833333333333333e-05, |
| "loss": 0.5717, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.3697916666666667, |
| "grad_norm": 1.7758627634459798, |
| "learning_rate": 5.916666666666668e-05, |
| "loss": 0.5744, |
| "step": 71 |
| }, |
| { |
| "epoch": 0.375, |
| "grad_norm": 1.1865248938773965, |
| "learning_rate": 6.000000000000001e-05, |
| "loss": 0.5663, |
| "step": 72 |
| }, |
| { |
| "epoch": 0.3802083333333333, |
| "grad_norm": 0.8614048693332552, |
| "learning_rate": 6.083333333333333e-05, |
| "loss": 0.5612, |
| "step": 73 |
| }, |
| { |
| "epoch": 0.3854166666666667, |
| "grad_norm": 2.177973125390105, |
| "learning_rate": 6.166666666666667e-05, |
| "loss": 0.5789, |
| "step": 74 |
| }, |
| { |
| "epoch": 0.390625, |
| "grad_norm": 1.0200522950521007, |
| "learning_rate": 6.25e-05, |
| "loss": 0.5807, |
| "step": 75 |
| }, |
| { |
| "epoch": 0.3958333333333333, |
| "grad_norm": 1.7944802536511104, |
| "learning_rate": 6.333333333333333e-05, |
| "loss": 0.5926, |
| "step": 76 |
| }, |
| { |
| "epoch": 0.4010416666666667, |
| "grad_norm": 1.5688920620861333, |
| "learning_rate": 6.416666666666668e-05, |
| "loss": 0.5737, |
| "step": 77 |
| }, |
| { |
| "epoch": 0.40625, |
| "grad_norm": 1.4156745308032102, |
| "learning_rate": 6.500000000000001e-05, |
| "loss": 0.5569, |
| "step": 78 |
| }, |
| { |
| "epoch": 0.4114583333333333, |
| "grad_norm": 1.2197256375353176, |
| "learning_rate": 6.583333333333334e-05, |
| "loss": 0.5619, |
| "step": 79 |
| }, |
| { |
| "epoch": 0.4166666666666667, |
| "grad_norm": 1.3259423152821694, |
| "learning_rate": 6.666666666666667e-05, |
| "loss": 0.5654, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.421875, |
| "grad_norm": 1.2961313816217923, |
| "learning_rate": 6.75e-05, |
| "loss": 0.5792, |
| "step": 81 |
| }, |
| { |
| "epoch": 0.4270833333333333, |
| "grad_norm": 1.6536659750641138, |
| "learning_rate": 6.833333333333333e-05, |
| "loss": 0.5739, |
| "step": 82 |
| }, |
| { |
| "epoch": 0.4322916666666667, |
| "grad_norm": 1.3270096351194463, |
| "learning_rate": 6.916666666666668e-05, |
| "loss": 0.5766, |
| "step": 83 |
| }, |
| { |
| "epoch": 0.4375, |
| "grad_norm": 1.5480425878783268, |
| "learning_rate": 7.000000000000001e-05, |
| "loss": 0.5693, |
| "step": 84 |
| }, |
| { |
| "epoch": 0.4427083333333333, |
| "grad_norm": 1.1209116395231447, |
| "learning_rate": 7.083333333333334e-05, |
| "loss": 0.5543, |
| "step": 85 |
| }, |
| { |
| "epoch": 0.4479166666666667, |
| "grad_norm": 1.7489730530818102, |
| "learning_rate": 7.166666666666667e-05, |
| "loss": 0.5724, |
| "step": 86 |
| }, |
| { |
| "epoch": 0.453125, |
| "grad_norm": 1.3203910481711116, |
| "learning_rate": 7.25e-05, |
| "loss": 0.5591, |
| "step": 87 |
| }, |
| { |
| "epoch": 0.4583333333333333, |
| "grad_norm": 1.7223000826655632, |
| "learning_rate": 7.333333333333333e-05, |
| "loss": 0.5689, |
| "step": 88 |
| }, |
| { |
| "epoch": 0.4635416666666667, |
| "grad_norm": 1.7312015813762924, |
| "learning_rate": 7.416666666666668e-05, |
| "loss": 0.5735, |
| "step": 89 |
| }, |
| { |
| "epoch": 0.46875, |
| "grad_norm": 1.0429184512036973, |
| "learning_rate": 7.500000000000001e-05, |
| "loss": 0.5555, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.4739583333333333, |
| "grad_norm": 1.5347114485549012, |
| "learning_rate": 7.583333333333334e-05, |
| "loss": 0.5659, |
| "step": 91 |
| }, |
| { |
| "epoch": 0.4791666666666667, |
| "grad_norm": 1.7029481756945268, |
| "learning_rate": 7.666666666666668e-05, |
| "loss": 0.5671, |
| "step": 92 |
| }, |
| { |
| "epoch": 0.484375, |
| "grad_norm": 1.6966174300946235, |
| "learning_rate": 7.75e-05, |
| "loss": 0.5622, |
| "step": 93 |
| }, |
| { |
| "epoch": 0.4895833333333333, |
| "grad_norm": 1.1739360580265428, |
| "learning_rate": 7.833333333333333e-05, |
| "loss": 0.5611, |
| "step": 94 |
| }, |
| { |
| "epoch": 0.4947916666666667, |
| "grad_norm": 2.8761656042205557, |
| "learning_rate": 7.916666666666668e-05, |
| "loss": 0.5684, |
| "step": 95 |
| }, |
| { |
| "epoch": 0.5, |
| "grad_norm": 1.7784007475686137, |
| "learning_rate": 8e-05, |
| "loss": 0.5727, |
| "step": 96 |
| }, |
| { |
| "epoch": 0.5052083333333334, |
| "grad_norm": 2.851992835602455, |
| "learning_rate": 7.999973557544778e-05, |
| "loss": 0.574, |
| "step": 97 |
| }, |
| { |
| "epoch": 0.5104166666666666, |
| "grad_norm": 2.684522879113019, |
| "learning_rate": 7.99989423052871e-05, |
| "loss": 0.5825, |
| "step": 98 |
| }, |
| { |
| "epoch": 0.515625, |
| "grad_norm": 1.5779371179265465, |
| "learning_rate": 7.9997620200006e-05, |
| "loss": 0.5609, |
| "step": 99 |
| }, |
| { |
| "epoch": 0.5208333333333334, |
| "grad_norm": 1.42585860826464, |
| "learning_rate": 7.99957692770843e-05, |
| "loss": 0.5742, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.5260416666666666, |
| "grad_norm": 1.2438115559079366, |
| "learning_rate": 7.999338956099351e-05, |
| "loss": 0.5594, |
| "step": 101 |
| }, |
| { |
| "epoch": 0.53125, |
| "grad_norm": 1.6661142967150164, |
| "learning_rate": 7.999048108319636e-05, |
| "loss": 0.5654, |
| "step": 102 |
| }, |
| { |
| "epoch": 0.5364583333333334, |
| "grad_norm": 1.4956870080415396, |
| "learning_rate": 7.998704388214654e-05, |
| "loss": 0.5716, |
| "step": 103 |
| }, |
| { |
| "epoch": 0.5416666666666666, |
| "grad_norm": 1.3392587197393766, |
| "learning_rate": 7.998307800328803e-05, |
| "loss": 0.5597, |
| "step": 104 |
| }, |
| { |
| "epoch": 0.546875, |
| "grad_norm": 1.0185916312986056, |
| "learning_rate": 7.997858349905463e-05, |
| "loss": 0.5612, |
| "step": 105 |
| }, |
| { |
| "epoch": 0.5520833333333334, |
| "grad_norm": 1.54246152837971, |
| "learning_rate": 7.997356042886921e-05, |
| "loss": 0.5651, |
| "step": 106 |
| }, |
| { |
| "epoch": 0.5572916666666666, |
| "grad_norm": 1.82349674990167, |
| "learning_rate": 7.996800885914292e-05, |
| "loss": 0.5539, |
| "step": 107 |
| }, |
| { |
| "epoch": 0.5625, |
| "grad_norm": 1.085880728986976, |
| "learning_rate": 7.996192886327432e-05, |
| "loss": 0.5587, |
| "step": 108 |
| }, |
| { |
| "epoch": 0.5677083333333334, |
| "grad_norm": 1.341531509903906, |
| "learning_rate": 7.995532052164842e-05, |
| "loss": 0.5583, |
| "step": 109 |
| }, |
| { |
| "epoch": 0.5729166666666666, |
| "grad_norm": 1.3783447184527489, |
| "learning_rate": 7.994818392163563e-05, |
| "loss": 0.5599, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.578125, |
| "grad_norm": 1.2101323812201854, |
| "learning_rate": 7.994051915759053e-05, |
| "loss": 0.5645, |
| "step": 111 |
| }, |
| { |
| "epoch": 0.5833333333333334, |
| "grad_norm": 1.3507075505089365, |
| "learning_rate": 7.993232633085074e-05, |
| "loss": 0.5596, |
| "step": 112 |
| }, |
| { |
| "epoch": 0.5885416666666666, |
| "grad_norm": 1.2509285607975507, |
| "learning_rate": 7.992360554973546e-05, |
| "loss": 0.5587, |
| "step": 113 |
| }, |
| { |
| "epoch": 0.59375, |
| "grad_norm": 1.6685276924931145, |
| "learning_rate": 7.991435692954414e-05, |
| "loss": 0.5575, |
| "step": 114 |
| }, |
| { |
| "epoch": 0.5989583333333334, |
| "grad_norm": 0.9511648935776236, |
| "learning_rate": 7.990458059255491e-05, |
| "loss": 0.5421, |
| "step": 115 |
| }, |
| { |
| "epoch": 0.6041666666666666, |
| "grad_norm": 1.0235558907246938, |
| "learning_rate": 7.98942766680229e-05, |
| "loss": 0.549, |
| "step": 116 |
| }, |
| { |
| "epoch": 0.609375, |
| "grad_norm": 2.2660610341575884, |
| "learning_rate": 7.988344529217867e-05, |
| "loss": 0.5647, |
| "step": 117 |
| }, |
| { |
| "epoch": 0.6145833333333334, |
| "grad_norm": 1.0224722980301695, |
| "learning_rate": 7.987208660822631e-05, |
| "loss": 0.5506, |
| "step": 118 |
| }, |
| { |
| "epoch": 0.6197916666666666, |
| "grad_norm": 2.942812911161336, |
| "learning_rate": 7.986020076634155e-05, |
| "loss": 0.5849, |
| "step": 119 |
| }, |
| { |
| "epoch": 0.625, |
| "grad_norm": 2.1472520060397007, |
| "learning_rate": 7.984778792366983e-05, |
| "loss": 0.5884, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.6302083333333334, |
| "grad_norm": 1.916584017031497, |
| "learning_rate": 7.983484824432415e-05, |
| "loss": 0.5667, |
| "step": 121 |
| }, |
| { |
| "epoch": 0.6354166666666666, |
| "grad_norm": 1.4887721389600779, |
| "learning_rate": 7.982138189938296e-05, |
| "loss": 0.5694, |
| "step": 122 |
| }, |
| { |
| "epoch": 0.640625, |
| "grad_norm": 1.7701572064104816, |
| "learning_rate": 7.980738906688788e-05, |
| "loss": 0.5687, |
| "step": 123 |
| }, |
| { |
| "epoch": 0.6458333333333334, |
| "grad_norm": 1.1211210972228678, |
| "learning_rate": 7.979286993184134e-05, |
| "loss": 0.5609, |
| "step": 124 |
| }, |
| { |
| "epoch": 0.6510416666666666, |
| "grad_norm": 1.4633439891638926, |
| "learning_rate": 7.97778246862041e-05, |
| "loss": 0.5596, |
| "step": 125 |
| }, |
| { |
| "epoch": 0.65625, |
| "grad_norm": 1.000492532758377, |
| "learning_rate": 7.976225352889278e-05, |
| "loss": 0.5676, |
| "step": 126 |
| }, |
| { |
| "epoch": 0.6614583333333334, |
| "grad_norm": 1.8173558242937013, |
| "learning_rate": 7.974615666577724e-05, |
| "loss": 0.5726, |
| "step": 127 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 1.5734204868847563, |
| "learning_rate": 7.972953430967773e-05, |
| "loss": 0.5749, |
| "step": 128 |
| }, |
| { |
| "epoch": 0.671875, |
| "grad_norm": 1.164572077957698, |
| "learning_rate": 7.971238668036221e-05, |
| "loss": 0.5605, |
| "step": 129 |
| }, |
| { |
| "epoch": 0.6770833333333334, |
| "grad_norm": 1.2103690284978952, |
| "learning_rate": 7.96947140045434e-05, |
| "loss": 0.5568, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.6822916666666666, |
| "grad_norm": 0.9419398387192408, |
| "learning_rate": 7.967651651587575e-05, |
| "loss": 0.5561, |
| "step": 131 |
| }, |
| { |
| "epoch": 0.6875, |
| "grad_norm": 0.9138815639719821, |
| "learning_rate": 7.965779445495243e-05, |
| "loss": 0.5544, |
| "step": 132 |
| }, |
| { |
| "epoch": 0.6927083333333334, |
| "grad_norm": 1.0267196995331782, |
| "learning_rate": 7.963854806930203e-05, |
| "loss": 0.5523, |
| "step": 133 |
| }, |
| { |
| "epoch": 0.6979166666666666, |
| "grad_norm": 1.3862421746170037, |
| "learning_rate": 7.961877761338545e-05, |
| "loss": 0.5551, |
| "step": 134 |
| }, |
| { |
| "epoch": 0.703125, |
| "grad_norm": 0.7622133802068947, |
| "learning_rate": 7.959848334859232e-05, |
| "loss": 0.5595, |
| "step": 135 |
| }, |
| { |
| "epoch": 0.7083333333333334, |
| "grad_norm": 0.8483888956218579, |
| "learning_rate": 7.957766554323778e-05, |
| "loss": 0.5474, |
| "step": 136 |
| }, |
| { |
| "epoch": 0.7135416666666666, |
| "grad_norm": 0.8754586735922941, |
| "learning_rate": 7.955632447255877e-05, |
| "loss": 0.5503, |
| "step": 137 |
| }, |
| { |
| "epoch": 0.71875, |
| "grad_norm": 0.9960234485791135, |
| "learning_rate": 7.953446041871044e-05, |
| "loss": 0.544, |
| "step": 138 |
| }, |
| { |
| "epoch": 0.7239583333333334, |
| "grad_norm": 0.9500957832886411, |
| "learning_rate": 7.951207367076241e-05, |
| "loss": 0.5464, |
| "step": 139 |
| }, |
| { |
| "epoch": 0.7291666666666666, |
| "grad_norm": 1.1274854019551035, |
| "learning_rate": 7.948916452469497e-05, |
| "loss": 0.5473, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.734375, |
| "grad_norm": 1.238492354593374, |
| "learning_rate": 7.946573328339517e-05, |
| "loss": 0.5358, |
| "step": 141 |
| }, |
| { |
| "epoch": 0.7395833333333334, |
| "grad_norm": 1.1704741368892715, |
| "learning_rate": 7.944178025665277e-05, |
| "loss": 0.5548, |
| "step": 142 |
| }, |
| { |
| "epoch": 0.7447916666666666, |
| "grad_norm": 1.2032369756254688, |
| "learning_rate": 7.94173057611562e-05, |
| "loss": 0.5443, |
| "step": 143 |
| }, |
| { |
| "epoch": 0.75, |
| "grad_norm": 1.0385908588589732, |
| "learning_rate": 7.939231012048833e-05, |
| "loss": 0.5408, |
| "step": 144 |
| }, |
| { |
| "epoch": 0.7552083333333334, |
| "grad_norm": 1.3193490291920786, |
| "learning_rate": 7.936679366512221e-05, |
| "loss": 0.5526, |
| "step": 145 |
| }, |
| { |
| "epoch": 0.7604166666666666, |
| "grad_norm": 0.6589476306202492, |
| "learning_rate": 7.934075673241672e-05, |
| "loss": 0.5483, |
| "step": 146 |
| }, |
| { |
| "epoch": 0.765625, |
| "grad_norm": 0.7818808310674856, |
| "learning_rate": 7.931419966661205e-05, |
| "loss": 0.5407, |
| "step": 147 |
| }, |
| { |
| "epoch": 0.7708333333333334, |
| "grad_norm": 1.0563527305874982, |
| "learning_rate": 7.928712281882523e-05, |
| "loss": 0.5404, |
| "step": 148 |
| }, |
| { |
| "epoch": 0.7760416666666666, |
| "grad_norm": 1.0317176937745496, |
| "learning_rate": 7.925952654704542e-05, |
| "loss": 0.5365, |
| "step": 149 |
| }, |
| { |
| "epoch": 0.78125, |
| "grad_norm": 1.1053548207046533, |
| "learning_rate": 7.923141121612922e-05, |
| "loss": 0.5277, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.7864583333333334, |
| "grad_norm": 1.1304341667223765, |
| "learning_rate": 7.92027771977958e-05, |
| "loss": 0.5418, |
| "step": 151 |
| }, |
| { |
| "epoch": 0.7916666666666666, |
| "grad_norm": 0.7388022078056695, |
| "learning_rate": 7.917362487062207e-05, |
| "loss": 0.5392, |
| "step": 152 |
| }, |
| { |
| "epoch": 0.796875, |
| "grad_norm": 0.65405254743629, |
| "learning_rate": 7.914395462003754e-05, |
| "loss": 0.537, |
| "step": 153 |
| }, |
| { |
| "epoch": 0.8020833333333334, |
| "grad_norm": 0.9338030265819395, |
| "learning_rate": 7.911376683831937e-05, |
| "loss": 0.5384, |
| "step": 154 |
| }, |
| { |
| "epoch": 0.8072916666666666, |
| "grad_norm": 1.3953156184501903, |
| "learning_rate": 7.908306192458708e-05, |
| "loss": 0.5431, |
| "step": 155 |
| }, |
| { |
| "epoch": 0.8125, |
| "grad_norm": 0.9152911855686328, |
| "learning_rate": 7.905184028479734e-05, |
| "loss": 0.54, |
| "step": 156 |
| }, |
| { |
| "epoch": 0.8177083333333334, |
| "grad_norm": 1.751841622593592, |
| "learning_rate": 7.902010233173855e-05, |
| "loss": 0.5396, |
| "step": 157 |
| }, |
| { |
| "epoch": 0.8229166666666666, |
| "grad_norm": 0.7370589263704954, |
| "learning_rate": 7.89878484850254e-05, |
| "loss": 0.5369, |
| "step": 158 |
| }, |
| { |
| "epoch": 0.828125, |
| "grad_norm": 1.437864009789909, |
| "learning_rate": 7.895507917109335e-05, |
| "loss": 0.5408, |
| "step": 159 |
| }, |
| { |
| "epoch": 0.8333333333333334, |
| "grad_norm": 1.2676603663278814, |
| "learning_rate": 7.892179482319297e-05, |
| "loss": 0.5331, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.8385416666666666, |
| "grad_norm": 1.3704701636357663, |
| "learning_rate": 7.888799588138416e-05, |
| "loss": 0.5417, |
| "step": 161 |
| }, |
| { |
| "epoch": 0.84375, |
| "grad_norm": 0.9372727767118003, |
| "learning_rate": 7.885368279253045e-05, |
| "loss": 0.5372, |
| "step": 162 |
| }, |
| { |
| "epoch": 0.8489583333333334, |
| "grad_norm": 1.3702828927558108, |
| "learning_rate": 7.881885601029302e-05, |
| "loss": 0.5441, |
| "step": 163 |
| }, |
| { |
| "epoch": 0.8541666666666666, |
| "grad_norm": 0.8224658017119121, |
| "learning_rate": 7.878351599512465e-05, |
| "loss": 0.5382, |
| "step": 164 |
| }, |
| { |
| "epoch": 0.859375, |
| "grad_norm": 0.926375232728879, |
| "learning_rate": 7.874766321426374e-05, |
| "loss": 0.5433, |
| "step": 165 |
| }, |
| { |
| "epoch": 0.8645833333333334, |
| "grad_norm": 1.2420555449126782, |
| "learning_rate": 7.871129814172805e-05, |
| "loss": 0.5403, |
| "step": 166 |
| }, |
| { |
| "epoch": 0.8697916666666666, |
| "grad_norm": 1.1635925786171029, |
| "learning_rate": 7.86744212583085e-05, |
| "loss": 0.5308, |
| "step": 167 |
| }, |
| { |
| "epoch": 0.875, |
| "grad_norm": 1.3222480838707142, |
| "learning_rate": 7.863703305156273e-05, |
| "loss": 0.537, |
| "step": 168 |
| }, |
| { |
| "epoch": 0.8802083333333334, |
| "grad_norm": 0.9168359977420527, |
| "learning_rate": 7.859913401580878e-05, |
| "loss": 0.5313, |
| "step": 169 |
| }, |
| { |
| "epoch": 0.8854166666666666, |
| "grad_norm": 0.7590102414362895, |
| "learning_rate": 7.856072465211839e-05, |
| "loss": 0.5373, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.890625, |
| "grad_norm": 0.8125878972860396, |
| "learning_rate": 7.852180546831051e-05, |
| "loss": 0.5385, |
| "step": 171 |
| }, |
| { |
| "epoch": 0.8958333333333334, |
| "grad_norm": 1.1028428644582091, |
| "learning_rate": 7.848237697894453e-05, |
| "loss": 0.543, |
| "step": 172 |
| }, |
| { |
| "epoch": 0.9010416666666666, |
| "grad_norm": 1.100220928299769, |
| "learning_rate": 7.844243970531349e-05, |
| "loss": 0.5288, |
| "step": 173 |
| }, |
| { |
| "epoch": 0.90625, |
| "grad_norm": 0.8786910668247114, |
| "learning_rate": 7.840199417543716e-05, |
| "loss": 0.5301, |
| "step": 174 |
| }, |
| { |
| "epoch": 0.9114583333333334, |
| "grad_norm": 1.048627261779482, |
| "learning_rate": 7.83610409240551e-05, |
| "loss": 0.5297, |
| "step": 175 |
| }, |
| { |
| "epoch": 0.9166666666666666, |
| "grad_norm": 1.479836814429015, |
| "learning_rate": 7.831958049261956e-05, |
| "loss": 0.5399, |
| "step": 176 |
| }, |
| { |
| "epoch": 0.921875, |
| "grad_norm": 0.6308219513232427, |
| "learning_rate": 7.827761342928836e-05, |
| "loss": 0.5238, |
| "step": 177 |
| }, |
| { |
| "epoch": 0.9270833333333334, |
| "grad_norm": 1.1887756366495739, |
| "learning_rate": 7.823514028891758e-05, |
| "loss": 0.5312, |
| "step": 178 |
| }, |
| { |
| "epoch": 0.9322916666666666, |
| "grad_norm": 0.8679989677184273, |
| "learning_rate": 7.81921616330543e-05, |
| "loss": 0.5289, |
| "step": 179 |
| }, |
| { |
| "epoch": 0.9375, |
| "grad_norm": 0.9202081319104132, |
| "learning_rate": 7.814867802992907e-05, |
| "loss": 0.5358, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.9427083333333334, |
| "grad_norm": 1.3044913544422119, |
| "learning_rate": 7.810469005444856e-05, |
| "loss": 0.5375, |
| "step": 181 |
| }, |
| { |
| "epoch": 0.9479166666666666, |
| "grad_norm": 0.8994044866505717, |
| "learning_rate": 7.806019828818776e-05, |
| "loss": 0.5228, |
| "step": 182 |
| }, |
| { |
| "epoch": 0.953125, |
| "grad_norm": 1.0464037506429866, |
| "learning_rate": 7.801520331938245e-05, |
| "loss": 0.5299, |
| "step": 183 |
| }, |
| { |
| "epoch": 0.9583333333333334, |
| "grad_norm": 1.3809738119070947, |
| "learning_rate": 7.796970574292136e-05, |
| "loss": 0.5378, |
| "step": 184 |
| }, |
| { |
| "epoch": 0.9635416666666666, |
| "grad_norm": 0.8780270910933871, |
| "learning_rate": 7.792370616033831e-05, |
| "loss": 0.5267, |
| "step": 185 |
| }, |
| { |
| "epoch": 0.96875, |
| "grad_norm": 0.8818443823332579, |
| "learning_rate": 7.787720517980424e-05, |
| "loss": 0.5277, |
| "step": 186 |
| }, |
| { |
| "epoch": 0.9739583333333334, |
| "grad_norm": 0.8145966548232281, |
| "learning_rate": 7.783020341611919e-05, |
| "loss": 0.5235, |
| "step": 187 |
| }, |
| { |
| "epoch": 0.9791666666666666, |
| "grad_norm": 0.9294227001595794, |
| "learning_rate": 7.77827014907042e-05, |
| "loss": 0.536, |
| "step": 188 |
| }, |
| { |
| "epoch": 0.984375, |
| "grad_norm": 1.207282074581327, |
| "learning_rate": 7.773470003159302e-05, |
| "loss": 0.5276, |
| "step": 189 |
| }, |
| { |
| "epoch": 0.9895833333333334, |
| "grad_norm": 0.906259128314231, |
| "learning_rate": 7.768619967342386e-05, |
| "loss": 0.5296, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.9947916666666666, |
| "grad_norm": 1.0499963710628741, |
| "learning_rate": 7.763720105743103e-05, |
| "loss": 0.5402, |
| "step": 191 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 1.0182978748978522, |
| "learning_rate": 7.758770483143634e-05, |
| "loss": 0.5257, |
| "step": 192 |
| }, |
| { |
| "epoch": 1.0052083333333333, |
| "grad_norm": 1.2192308043140652, |
| "learning_rate": 7.753771164984069e-05, |
| "loss": 0.5123, |
| "step": 193 |
| }, |
| { |
| "epoch": 1.0104166666666667, |
| "grad_norm": 0.8484238785749331, |
| "learning_rate": 7.74872221736153e-05, |
| "loss": 0.5072, |
| "step": 194 |
| }, |
| { |
| "epoch": 1.015625, |
| "grad_norm": 1.0220503713422204, |
| "learning_rate": 7.743623707029304e-05, |
| "loss": 0.5017, |
| "step": 195 |
| }, |
| { |
| "epoch": 1.0208333333333333, |
| "grad_norm": 1.1121166208745248, |
| "learning_rate": 7.738475701395955e-05, |
| "loss": 0.5084, |
| "step": 196 |
| }, |
| { |
| "epoch": 1.0260416666666667, |
| "grad_norm": 0.8629950990470284, |
| "learning_rate": 7.733278268524437e-05, |
| "loss": 0.5014, |
| "step": 197 |
| }, |
| { |
| "epoch": 1.03125, |
| "grad_norm": 1.0485069105945037, |
| "learning_rate": 7.728031477131195e-05, |
| "loss": 0.5091, |
| "step": 198 |
| }, |
| { |
| "epoch": 1.0364583333333333, |
| "grad_norm": 1.0180024492068125, |
| "learning_rate": 7.72273539658525e-05, |
| "loss": 0.5065, |
| "step": 199 |
| }, |
| { |
| "epoch": 1.0416666666666667, |
| "grad_norm": 0.9846569766098462, |
| "learning_rate": 7.71739009690729e-05, |
| "loss": 0.5054, |
| "step": 200 |
| }, |
| { |
| "epoch": 1.046875, |
| "grad_norm": 1.1887116344257411, |
| "learning_rate": 7.711995648768738e-05, |
| "loss": 0.5206, |
| "step": 201 |
| }, |
| { |
| "epoch": 1.0520833333333333, |
| "grad_norm": 0.9147970668408477, |
| "learning_rate": 7.706552123490822e-05, |
| "loss": 0.5172, |
| "step": 202 |
| }, |
| { |
| "epoch": 1.0572916666666667, |
| "grad_norm": 1.115568701422811, |
| "learning_rate": 7.701059593043626e-05, |
| "loss": 0.4976, |
| "step": 203 |
| }, |
| { |
| "epoch": 1.0625, |
| "grad_norm": 1.0966907492982425, |
| "learning_rate": 7.695518130045147e-05, |
| "loss": 0.5011, |
| "step": 204 |
| }, |
| { |
| "epoch": 1.0677083333333333, |
| "grad_norm": 0.9322320833480543, |
| "learning_rate": 7.68992780776033e-05, |
| "loss": 0.5174, |
| "step": 205 |
| }, |
| { |
| "epoch": 1.0729166666666667, |
| "grad_norm": 0.7238798882393226, |
| "learning_rate": 7.684288700100095e-05, |
| "loss": 0.5022, |
| "step": 206 |
| }, |
| { |
| "epoch": 1.078125, |
| "grad_norm": 0.635076033802958, |
| "learning_rate": 7.67860088162037e-05, |
| "loss": 0.5025, |
| "step": 207 |
| }, |
| { |
| "epoch": 1.0833333333333333, |
| "grad_norm": 0.7966229919474522, |
| "learning_rate": 7.672864427521097e-05, |
| "loss": 0.509, |
| "step": 208 |
| }, |
| { |
| "epoch": 1.0885416666666667, |
| "grad_norm": 0.48107408344053304, |
| "learning_rate": 7.667079413645242e-05, |
| "loss": 0.5089, |
| "step": 209 |
| }, |
| { |
| "epoch": 1.09375, |
| "grad_norm": 0.649231872061981, |
| "learning_rate": 7.66124591647779e-05, |
| "loss": 0.5109, |
| "step": 210 |
| }, |
| { |
| "epoch": 1.0989583333333333, |
| "grad_norm": 0.7596929443413531, |
| "learning_rate": 7.655364013144733e-05, |
| "loss": 0.5081, |
| "step": 211 |
| }, |
| { |
| "epoch": 1.1041666666666667, |
| "grad_norm": 0.6898331957999168, |
| "learning_rate": 7.649433781412058e-05, |
| "loss": 0.5078, |
| "step": 212 |
| }, |
| { |
| "epoch": 1.109375, |
| "grad_norm": 0.858174978616354, |
| "learning_rate": 7.643455299684704e-05, |
| "loss": 0.501, |
| "step": 213 |
| }, |
| { |
| "epoch": 1.1145833333333333, |
| "grad_norm": 1.1236021883438616, |
| "learning_rate": 7.637428647005541e-05, |
| "loss": 0.5052, |
| "step": 214 |
| }, |
| { |
| "epoch": 1.1197916666666667, |
| "grad_norm": 1.0846989308125154, |
| "learning_rate": 7.631353903054315e-05, |
| "loss": 0.5058, |
| "step": 215 |
| }, |
| { |
| "epoch": 1.125, |
| "grad_norm": 0.8385175958732827, |
| "learning_rate": 7.625231148146601e-05, |
| "loss": 0.4976, |
| "step": 216 |
| }, |
| { |
| "epoch": 1.1302083333333333, |
| "grad_norm": 0.7250905713469294, |
| "learning_rate": 7.61906046323273e-05, |
| "loss": 0.5057, |
| "step": 217 |
| }, |
| { |
| "epoch": 1.1354166666666667, |
| "grad_norm": 0.7422050331833504, |
| "learning_rate": 7.612841929896737e-05, |
| "loss": 0.5034, |
| "step": 218 |
| }, |
| { |
| "epoch": 1.140625, |
| "grad_norm": 0.880257118268936, |
| "learning_rate": 7.606575630355265e-05, |
| "loss": 0.5032, |
| "step": 219 |
| }, |
| { |
| "epoch": 1.1458333333333333, |
| "grad_norm": 1.1619194381133358, |
| "learning_rate": 7.600261647456485e-05, |
| "loss": 0.496, |
| "step": 220 |
| }, |
| { |
| "epoch": 1.1510416666666667, |
| "grad_norm": 0.9024821863314176, |
| "learning_rate": 7.593900064679004e-05, |
| "loss": 0.5021, |
| "step": 221 |
| }, |
| { |
| "epoch": 1.15625, |
| "grad_norm": 0.7000641633218678, |
| "learning_rate": 7.587490966130754e-05, |
| "loss": 0.5031, |
| "step": 222 |
| }, |
| { |
| "epoch": 1.1614583333333333, |
| "grad_norm": 0.5406754725793794, |
| "learning_rate": 7.581034436547888e-05, |
| "loss": 0.5063, |
| "step": 223 |
| }, |
| { |
| "epoch": 1.1666666666666667, |
| "grad_norm": 0.6133748391684409, |
| "learning_rate": 7.57453056129365e-05, |
| "loss": 0.4975, |
| "step": 224 |
| }, |
| { |
| "epoch": 1.171875, |
| "grad_norm": 0.626214785297223, |
| "learning_rate": 7.567979426357257e-05, |
| "loss": 0.5023, |
| "step": 225 |
| }, |
| { |
| "epoch": 1.1770833333333333, |
| "grad_norm": 0.842255952382036, |
| "learning_rate": 7.561381118352757e-05, |
| "loss": 0.5108, |
| "step": 226 |
| }, |
| { |
| "epoch": 1.1822916666666667, |
| "grad_norm": 0.8360877060497087, |
| "learning_rate": 7.554735724517878e-05, |
| "loss": 0.4995, |
| "step": 227 |
| }, |
| { |
| "epoch": 1.1875, |
| "grad_norm": 0.9210302988967454, |
| "learning_rate": 7.548043332712887e-05, |
| "loss": 0.5015, |
| "step": 228 |
| }, |
| { |
| "epoch": 1.1927083333333333, |
| "grad_norm": 1.1389815829518366, |
| "learning_rate": 7.54130403141942e-05, |
| "loss": 0.5074, |
| "step": 229 |
| }, |
| { |
| "epoch": 1.1979166666666667, |
| "grad_norm": 0.9442138536684355, |
| "learning_rate": 7.534517909739312e-05, |
| "loss": 0.5012, |
| "step": 230 |
| }, |
| { |
| "epoch": 1.203125, |
| "grad_norm": 1.0192341307964887, |
| "learning_rate": 7.52768505739342e-05, |
| "loss": 0.502, |
| "step": 231 |
| }, |
| { |
| "epoch": 1.2083333333333333, |
| "grad_norm": 1.250986036357133, |
| "learning_rate": 7.520805564720444e-05, |
| "loss": 0.4979, |
| "step": 232 |
| }, |
| { |
| "epoch": 1.2135416666666667, |
| "grad_norm": 0.6613418845623689, |
| "learning_rate": 7.513879522675723e-05, |
| "loss": 0.4913, |
| "step": 233 |
| }, |
| { |
| "epoch": 1.21875, |
| "grad_norm": 0.5763562501279441, |
| "learning_rate": 7.506907022830032e-05, |
| "loss": 0.4987, |
| "step": 234 |
| }, |
| { |
| "epoch": 1.2239583333333333, |
| "grad_norm": 0.8086247596655097, |
| "learning_rate": 7.499888157368379e-05, |
| "loss": 0.5131, |
| "step": 235 |
| }, |
| { |
| "epoch": 1.2291666666666667, |
| "grad_norm": 1.0550585890533988, |
| "learning_rate": 7.492823019088785e-05, |
| "loss": 0.5027, |
| "step": 236 |
| }, |
| { |
| "epoch": 1.234375, |
| "grad_norm": 1.209924955393805, |
| "learning_rate": 7.485711701401047e-05, |
| "loss": 0.5052, |
| "step": 237 |
| }, |
| { |
| "epoch": 1.2395833333333333, |
| "grad_norm": 0.6262391634002076, |
| "learning_rate": 7.478554298325517e-05, |
| "loss": 0.4939, |
| "step": 238 |
| }, |
| { |
| "epoch": 1.2447916666666667, |
| "grad_norm": 0.671427704354005, |
| "learning_rate": 7.47135090449185e-05, |
| "loss": 0.5016, |
| "step": 239 |
| }, |
| { |
| "epoch": 1.25, |
| "grad_norm": 1.1300412783206868, |
| "learning_rate": 7.464101615137756e-05, |
| "loss": 0.5041, |
| "step": 240 |
| }, |
| { |
| "epoch": 1.2552083333333333, |
| "grad_norm": 0.9508928317819645, |
| "learning_rate": 7.456806526107738e-05, |
| "loss": 0.4986, |
| "step": 241 |
| }, |
| { |
| "epoch": 1.2604166666666667, |
| "grad_norm": 0.7527546180721427, |
| "learning_rate": 7.44946573385183e-05, |
| "loss": 0.5041, |
| "step": 242 |
| }, |
| { |
| "epoch": 1.265625, |
| "grad_norm": 0.5851059913618161, |
| "learning_rate": 7.442079335424316e-05, |
| "loss": 0.5029, |
| "step": 243 |
| }, |
| { |
| "epoch": 1.2708333333333333, |
| "grad_norm": 0.5751873614762941, |
| "learning_rate": 7.434647428482453e-05, |
| "loss": 0.4966, |
| "step": 244 |
| }, |
| { |
| "epoch": 1.2760416666666667, |
| "grad_norm": 0.7002214141747195, |
| "learning_rate": 7.427170111285172e-05, |
| "loss": 0.4996, |
| "step": 245 |
| }, |
| { |
| "epoch": 1.28125, |
| "grad_norm": 0.7668546988083055, |
| "learning_rate": 7.419647482691788e-05, |
| "loss": 0.4932, |
| "step": 246 |
| }, |
| { |
| "epoch": 1.2864583333333333, |
| "grad_norm": 0.7971881421685344, |
| "learning_rate": 7.412079642160682e-05, |
| "loss": 0.4968, |
| "step": 247 |
| }, |
| { |
| "epoch": 1.2916666666666667, |
| "grad_norm": 0.7583542865180388, |
| "learning_rate": 7.404466689747999e-05, |
| "loss": 0.4978, |
| "step": 248 |
| }, |
| { |
| "epoch": 1.296875, |
| "grad_norm": 0.732115720681143, |
| "learning_rate": 7.396808726106316e-05, |
| "loss": 0.4936, |
| "step": 249 |
| }, |
| { |
| "epoch": 1.3020833333333333, |
| "grad_norm": 0.7000415469644298, |
| "learning_rate": 7.389105852483312e-05, |
| "loss": 0.5013, |
| "step": 250 |
| }, |
| { |
| "epoch": 1.3072916666666667, |
| "grad_norm": 0.6828708181583161, |
| "learning_rate": 7.381358170720433e-05, |
| "loss": 0.5041, |
| "step": 251 |
| }, |
| { |
| "epoch": 1.3125, |
| "grad_norm": 0.8415121654234353, |
| "learning_rate": 7.373565783251544e-05, |
| "loss": 0.49, |
| "step": 252 |
| }, |
| { |
| "epoch": 1.3177083333333333, |
| "grad_norm": 1.168216571492733, |
| "learning_rate": 7.365728793101572e-05, |
| "loss": 0.5016, |
| "step": 253 |
| }, |
| { |
| "epoch": 1.3229166666666667, |
| "grad_norm": 1.0425416219846109, |
| "learning_rate": 7.357847303885146e-05, |
| "loss": 0.5043, |
| "step": 254 |
| }, |
| { |
| "epoch": 1.328125, |
| "grad_norm": 0.8931892400200739, |
| "learning_rate": 7.349921419805232e-05, |
| "loss": 0.5037, |
| "step": 255 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "grad_norm": 0.8647395928766429, |
| "learning_rate": 7.341951245651747e-05, |
| "loss": 0.4942, |
| "step": 256 |
| }, |
| { |
| "epoch": 1.3385416666666667, |
| "grad_norm": 0.9042633302239824, |
| "learning_rate": 7.333936886800176e-05, |
| "loss": 0.5011, |
| "step": 257 |
| }, |
| { |
| "epoch": 1.34375, |
| "grad_norm": 0.9221254236572886, |
| "learning_rate": 7.325878449210182e-05, |
| "loss": 0.4974, |
| "step": 258 |
| }, |
| { |
| "epoch": 1.3489583333333333, |
| "grad_norm": 0.8390474833404314, |
| "learning_rate": 7.317776039424203e-05, |
| "loss": 0.4981, |
| "step": 259 |
| }, |
| { |
| "epoch": 1.3541666666666667, |
| "grad_norm": 0.7981399703401414, |
| "learning_rate": 7.309629764566042e-05, |
| "loss": 0.5004, |
| "step": 260 |
| }, |
| { |
| "epoch": 1.359375, |
| "grad_norm": 0.8392581698694256, |
| "learning_rate": 7.301439732339455e-05, |
| "loss": 0.4949, |
| "step": 261 |
| }, |
| { |
| "epoch": 1.3645833333333333, |
| "grad_norm": 0.7823224222818352, |
| "learning_rate": 7.293206051026722e-05, |
| "loss": 0.4968, |
| "step": 262 |
| }, |
| { |
| "epoch": 1.3697916666666667, |
| "grad_norm": 0.8017692135629535, |
| "learning_rate": 7.284928829487217e-05, |
| "loss": 0.5053, |
| "step": 263 |
| }, |
| { |
| "epoch": 1.375, |
| "grad_norm": 0.7324200319980715, |
| "learning_rate": 7.276608177155968e-05, |
| "loss": 0.495, |
| "step": 264 |
| }, |
| { |
| "epoch": 1.3802083333333333, |
| "grad_norm": 0.4996732572283791, |
| "learning_rate": 7.268244204042216e-05, |
| "loss": 0.4962, |
| "step": 265 |
| }, |
| { |
| "epoch": 1.3854166666666667, |
| "grad_norm": 0.43532541929296104, |
| "learning_rate": 7.259837020727953e-05, |
| "loss": 0.494, |
| "step": 266 |
| }, |
| { |
| "epoch": 1.390625, |
| "grad_norm": 0.570782728408672, |
| "learning_rate": 7.251386738366462e-05, |
| "loss": 0.4927, |
| "step": 267 |
| }, |
| { |
| "epoch": 1.3958333333333333, |
| "grad_norm": 0.5295296398336008, |
| "learning_rate": 7.242893468680849e-05, |
| "loss": 0.4939, |
| "step": 268 |
| }, |
| { |
| "epoch": 1.4010416666666667, |
| "grad_norm": 0.43446791190394013, |
| "learning_rate": 7.234357323962568e-05, |
| "loss": 0.4939, |
| "step": 269 |
| }, |
| { |
| "epoch": 1.40625, |
| "grad_norm": 0.6106355547877224, |
| "learning_rate": 7.225778417069932e-05, |
| "loss": 0.4944, |
| "step": 270 |
| }, |
| { |
| "epoch": 1.4114583333333333, |
| "grad_norm": 0.8009507925932422, |
| "learning_rate": 7.217156861426617e-05, |
| "loss": 0.4931, |
| "step": 271 |
| }, |
| { |
| "epoch": 1.4166666666666667, |
| "grad_norm": 0.7814985473095897, |
| "learning_rate": 7.208492771020176e-05, |
| "loss": 0.5018, |
| "step": 272 |
| }, |
| { |
| "epoch": 1.421875, |
| "grad_norm": 0.7748936341228726, |
| "learning_rate": 7.199786260400519e-05, |
| "loss": 0.4985, |
| "step": 273 |
| }, |
| { |
| "epoch": 1.4270833333333333, |
| "grad_norm": 1.009702649349085, |
| "learning_rate": 7.191037444678407e-05, |
| "loss": 0.4979, |
| "step": 274 |
| }, |
| { |
| "epoch": 1.4322916666666667, |
| "grad_norm": 1.3237999818959025, |
| "learning_rate": 7.18224643952392e-05, |
| "loss": 0.5027, |
| "step": 275 |
| }, |
| { |
| "epoch": 1.4375, |
| "grad_norm": 0.582222831831399, |
| "learning_rate": 7.173413361164941e-05, |
| "loss": 0.5071, |
| "step": 276 |
| }, |
| { |
| "epoch": 1.4427083333333333, |
| "grad_norm": 0.67541474323196, |
| "learning_rate": 7.164538326385609e-05, |
| "loss": 0.4937, |
| "step": 277 |
| }, |
| { |
| "epoch": 1.4479166666666667, |
| "grad_norm": 0.9930795195011805, |
| "learning_rate": 7.155621452524779e-05, |
| "loss": 0.4989, |
| "step": 278 |
| }, |
| { |
| "epoch": 1.453125, |
| "grad_norm": 1.11541724201922, |
| "learning_rate": 7.146662857474469e-05, |
| "loss": 0.4926, |
| "step": 279 |
| }, |
| { |
| "epoch": 1.4583333333333333, |
| "grad_norm": 0.8868673841435026, |
| "learning_rate": 7.137662659678303e-05, |
| "loss": 0.5085, |
| "step": 280 |
| }, |
| { |
| "epoch": 1.4635416666666667, |
| "grad_norm": 0.8351130573692784, |
| "learning_rate": 7.128620978129948e-05, |
| "loss": 0.4921, |
| "step": 281 |
| }, |
| { |
| "epoch": 1.46875, |
| "grad_norm": 0.7046288773910411, |
| "learning_rate": 7.119537932371527e-05, |
| "loss": 0.4886, |
| "step": 282 |
| }, |
| { |
| "epoch": 1.4739583333333333, |
| "grad_norm": 0.527796288357637, |
| "learning_rate": 7.110413642492062e-05, |
| "loss": 0.4964, |
| "step": 283 |
| }, |
| { |
| "epoch": 1.4791666666666667, |
| "grad_norm": 0.7436441022455063, |
| "learning_rate": 7.101248229125864e-05, |
| "loss": 0.4898, |
| "step": 284 |
| }, |
| { |
| "epoch": 1.484375, |
| "grad_norm": 1.0655442246724, |
| "learning_rate": 7.092041813450948e-05, |
| "loss": 0.4935, |
| "step": 285 |
| }, |
| { |
| "epoch": 1.4895833333333333, |
| "grad_norm": 0.8541407040770957, |
| "learning_rate": 7.082794517187432e-05, |
| "loss": 0.5022, |
| "step": 286 |
| }, |
| { |
| "epoch": 1.4947916666666667, |
| "grad_norm": 0.6903779774951218, |
| "learning_rate": 7.073506462595927e-05, |
| "loss": 0.4949, |
| "step": 287 |
| }, |
| { |
| "epoch": 1.5, |
| "grad_norm": 0.5761899216056504, |
| "learning_rate": 7.064177772475912e-05, |
| "loss": 0.491, |
| "step": 288 |
| }, |
| { |
| "epoch": 1.5052083333333335, |
| "grad_norm": 0.5679106352375722, |
| "learning_rate": 7.054808570164128e-05, |
| "loss": 0.4988, |
| "step": 289 |
| }, |
| { |
| "epoch": 1.5104166666666665, |
| "grad_norm": 0.5410675059314889, |
| "learning_rate": 7.045398979532925e-05, |
| "loss": 0.4898, |
| "step": 290 |
| }, |
| { |
| "epoch": 1.515625, |
| "grad_norm": 0.5221442561978819, |
| "learning_rate": 7.035949124988648e-05, |
| "loss": 0.4894, |
| "step": 291 |
| }, |
| { |
| "epoch": 1.5208333333333335, |
| "grad_norm": 0.5774246559228747, |
| "learning_rate": 7.026459131469972e-05, |
| "loss": 0.4878, |
| "step": 292 |
| }, |
| { |
| "epoch": 1.5260416666666665, |
| "grad_norm": 0.689151245468192, |
| "learning_rate": 7.016929124446263e-05, |
| "loss": 0.4971, |
| "step": 293 |
| }, |
| { |
| "epoch": 1.53125, |
| "grad_norm": 0.751672835524228, |
| "learning_rate": 7.00735922991591e-05, |
| "loss": 0.4921, |
| "step": 294 |
| }, |
| { |
| "epoch": 1.5364583333333335, |
| "grad_norm": 0.7415977594134251, |
| "learning_rate": 6.99774957440467e-05, |
| "loss": 0.4939, |
| "step": 295 |
| }, |
| { |
| "epoch": 1.5416666666666665, |
| "grad_norm": 0.7001037531626477, |
| "learning_rate": 6.988100284963985e-05, |
| "loss": 0.4895, |
| "step": 296 |
| }, |
| { |
| "epoch": 1.546875, |
| "grad_norm": 0.7076815263087778, |
| "learning_rate": 6.978411489169306e-05, |
| "loss": 0.4858, |
| "step": 297 |
| }, |
| { |
| "epoch": 1.5520833333333335, |
| "grad_norm": 0.7342025124487715, |
| "learning_rate": 6.968683315118407e-05, |
| "loss": 0.4956, |
| "step": 298 |
| }, |
| { |
| "epoch": 1.5572916666666665, |
| "grad_norm": 0.7937640374400549, |
| "learning_rate": 6.958915891429694e-05, |
| "loss": 0.4993, |
| "step": 299 |
| }, |
| { |
| "epoch": 1.5625, |
| "grad_norm": 0.7686756024948311, |
| "learning_rate": 6.949109347240496e-05, |
| "loss": 0.4908, |
| "step": 300 |
| }, |
| { |
| "epoch": 1.5677083333333335, |
| "grad_norm": 0.6287273621023766, |
| "learning_rate": 6.93926381220537e-05, |
| "loss": 0.4969, |
| "step": 301 |
| }, |
| { |
| "epoch": 1.5729166666666665, |
| "grad_norm": 0.6279767560823692, |
| "learning_rate": 6.929379416494369e-05, |
| "loss": 0.4972, |
| "step": 302 |
| }, |
| { |
| "epoch": 1.578125, |
| "grad_norm": 0.7508468264219003, |
| "learning_rate": 6.919456290791343e-05, |
| "loss": 0.4941, |
| "step": 303 |
| }, |
| { |
| "epoch": 1.5833333333333335, |
| "grad_norm": 0.6525984883460901, |
| "learning_rate": 6.909494566292195e-05, |
| "loss": 0.4917, |
| "step": 304 |
| }, |
| { |
| "epoch": 1.5885416666666665, |
| "grad_norm": 0.42206050850074744, |
| "learning_rate": 6.899494374703153e-05, |
| "loss": 0.4934, |
| "step": 305 |
| }, |
| { |
| "epoch": 1.59375, |
| "grad_norm": 0.42095211553748485, |
| "learning_rate": 6.889455848239022e-05, |
| "loss": 0.492, |
| "step": 306 |
| }, |
| { |
| "epoch": 1.5989583333333335, |
| "grad_norm": 0.5957207929916638, |
| "learning_rate": 6.879379119621452e-05, |
| "loss": 0.4977, |
| "step": 307 |
| }, |
| { |
| "epoch": 1.6041666666666665, |
| "grad_norm": 0.6814511640179036, |
| "learning_rate": 6.869264322077158e-05, |
| "loss": 0.4875, |
| "step": 308 |
| }, |
| { |
| "epoch": 1.609375, |
| "grad_norm": 0.6105672383116435, |
| "learning_rate": 6.859111589336186e-05, |
| "loss": 0.4831, |
| "step": 309 |
| }, |
| { |
| "epoch": 1.6145833333333335, |
| "grad_norm": 0.48788458770162163, |
| "learning_rate": 6.848921055630125e-05, |
| "loss": 0.4932, |
| "step": 310 |
| }, |
| { |
| "epoch": 1.6197916666666665, |
| "grad_norm": 0.5232704123346952, |
| "learning_rate": 6.838692855690341e-05, |
| "loss": 0.4989, |
| "step": 311 |
| }, |
| { |
| "epoch": 1.625, |
| "grad_norm": 0.5770535346135687, |
| "learning_rate": 6.828427124746191e-05, |
| "loss": 0.496, |
| "step": 312 |
| }, |
| { |
| "epoch": 1.6302083333333335, |
| "grad_norm": 0.5922358211541012, |
| "learning_rate": 6.818123998523243e-05, |
| "loss": 0.4935, |
| "step": 313 |
| }, |
| { |
| "epoch": 1.6354166666666665, |
| "grad_norm": 0.7527203682320709, |
| "learning_rate": 6.807783613241474e-05, |
| "loss": 0.4862, |
| "step": 314 |
| }, |
| { |
| "epoch": 1.640625, |
| "grad_norm": 1.0508674310560489, |
| "learning_rate": 6.797406105613469e-05, |
| "loss": 0.4969, |
| "step": 315 |
| }, |
| { |
| "epoch": 1.6458333333333335, |
| "grad_norm": 1.1155867636277426, |
| "learning_rate": 6.786991612842621e-05, |
| "loss": 0.4971, |
| "step": 316 |
| }, |
| { |
| "epoch": 1.6510416666666665, |
| "grad_norm": 0.8570853677346789, |
| "learning_rate": 6.776540272621308e-05, |
| "loss": 0.4969, |
| "step": 317 |
| }, |
| { |
| "epoch": 1.65625, |
| "grad_norm": 0.701061190105873, |
| "learning_rate": 6.766052223129079e-05, |
| "loss": 0.4894, |
| "step": 318 |
| }, |
| { |
| "epoch": 1.6614583333333335, |
| "grad_norm": 0.5380513890325732, |
| "learning_rate": 6.755527603030822e-05, |
| "loss": 0.4897, |
| "step": 319 |
| }, |
| { |
| "epoch": 1.6666666666666665, |
| "grad_norm": 0.46140990412232036, |
| "learning_rate": 6.744966551474936e-05, |
| "loss": 0.4931, |
| "step": 320 |
| }, |
| { |
| "epoch": 1.671875, |
| "grad_norm": 0.47436754802159886, |
| "learning_rate": 6.734369208091486e-05, |
| "loss": 0.494, |
| "step": 321 |
| }, |
| { |
| "epoch": 1.6770833333333335, |
| "grad_norm": 0.4544494153450699, |
| "learning_rate": 6.723735712990362e-05, |
| "loss": 0.493, |
| "step": 322 |
| }, |
| { |
| "epoch": 1.6822916666666665, |
| "grad_norm": 0.44973293636573164, |
| "learning_rate": 6.713066206759425e-05, |
| "loss": 0.4811, |
| "step": 323 |
| }, |
| { |
| "epoch": 1.6875, |
| "grad_norm": 0.5138372344943894, |
| "learning_rate": 6.702360830462642e-05, |
| "loss": 0.4921, |
| "step": 324 |
| }, |
| { |
| "epoch": 1.6927083333333335, |
| "grad_norm": 0.5611132380184927, |
| "learning_rate": 6.691619725638231e-05, |
| "loss": 0.4899, |
| "step": 325 |
| }, |
| { |
| "epoch": 1.6979166666666665, |
| "grad_norm": 0.5998080460474164, |
| "learning_rate": 6.680843034296785e-05, |
| "loss": 0.487, |
| "step": 326 |
| }, |
| { |
| "epoch": 1.703125, |
| "grad_norm": 0.7445238427952141, |
| "learning_rate": 6.67003089891939e-05, |
| "loss": 0.4893, |
| "step": 327 |
| }, |
| { |
| "epoch": 1.7083333333333335, |
| "grad_norm": 0.9386082297991147, |
| "learning_rate": 6.659183462455751e-05, |
| "loss": 0.4869, |
| "step": 328 |
| }, |
| { |
| "epoch": 1.7135416666666665, |
| "grad_norm": 1.079292457037503, |
| "learning_rate": 6.648300868322296e-05, |
| "loss": 0.4871, |
| "step": 329 |
| }, |
| { |
| "epoch": 1.71875, |
| "grad_norm": 0.966808740418958, |
| "learning_rate": 6.637383260400276e-05, |
| "loss": 0.4944, |
| "step": 330 |
| }, |
| { |
| "epoch": 1.7239583333333335, |
| "grad_norm": 0.9394924494690927, |
| "learning_rate": 6.626430783033872e-05, |
| "loss": 0.4937, |
| "step": 331 |
| }, |
| { |
| "epoch": 1.7291666666666665, |
| "grad_norm": 0.8567073287805946, |
| "learning_rate": 6.615443581028279e-05, |
| "loss": 0.4945, |
| "step": 332 |
| }, |
| { |
| "epoch": 1.734375, |
| "grad_norm": 0.7486498636782333, |
| "learning_rate": 6.604421799647797e-05, |
| "loss": 0.4898, |
| "step": 333 |
| }, |
| { |
| "epoch": 1.7395833333333335, |
| "grad_norm": 0.5915996999278864, |
| "learning_rate": 6.593365584613906e-05, |
| "loss": 0.4893, |
| "step": 334 |
| }, |
| { |
| "epoch": 1.7447916666666665, |
| "grad_norm": 0.5050165210382705, |
| "learning_rate": 6.582275082103339e-05, |
| "loss": 0.492, |
| "step": 335 |
| }, |
| { |
| "epoch": 1.75, |
| "grad_norm": 0.4743298452210226, |
| "learning_rate": 6.571150438746157e-05, |
| "loss": 0.4851, |
| "step": 336 |
| }, |
| { |
| "epoch": 1.7552083333333335, |
| "grad_norm": 0.5713246223447354, |
| "learning_rate": 6.559991801623803e-05, |
| "loss": 0.496, |
| "step": 337 |
| }, |
| { |
| "epoch": 1.7604166666666665, |
| "grad_norm": 0.6942214120353599, |
| "learning_rate": 6.548799318267154e-05, |
| "loss": 0.4894, |
| "step": 338 |
| }, |
| { |
| "epoch": 1.765625, |
| "grad_norm": 0.7541913237736387, |
| "learning_rate": 6.537573136654582e-05, |
| "loss": 0.4887, |
| "step": 339 |
| }, |
| { |
| "epoch": 1.7708333333333335, |
| "grad_norm": 0.7577884797752904, |
| "learning_rate": 6.526313405209991e-05, |
| "loss": 0.4915, |
| "step": 340 |
| }, |
| { |
| "epoch": 1.7760416666666665, |
| "grad_norm": 0.6648809363160618, |
| "learning_rate": 6.51502027280085e-05, |
| "loss": 0.5015, |
| "step": 341 |
| }, |
| { |
| "epoch": 1.78125, |
| "grad_norm": 0.5477935873249855, |
| "learning_rate": 6.503693888736238e-05, |
| "loss": 0.49, |
| "step": 342 |
| }, |
| { |
| "epoch": 1.7864583333333335, |
| "grad_norm": 0.4729446559134279, |
| "learning_rate": 6.49233440276485e-05, |
| "loss": 0.4904, |
| "step": 343 |
| }, |
| { |
| "epoch": 1.7916666666666665, |
| "grad_norm": 0.4204155742670787, |
| "learning_rate": 6.480941965073041e-05, |
| "loss": 0.4878, |
| "step": 344 |
| }, |
| { |
| "epoch": 1.796875, |
| "grad_norm": 0.5758988833590598, |
| "learning_rate": 6.469516726282821e-05, |
| "loss": 0.489, |
| "step": 345 |
| }, |
| { |
| "epoch": 1.8020833333333335, |
| "grad_norm": 0.7710269745853453, |
| "learning_rate": 6.458058837449871e-05, |
| "loss": 0.4864, |
| "step": 346 |
| }, |
| { |
| "epoch": 1.8072916666666665, |
| "grad_norm": 0.8228393905973377, |
| "learning_rate": 6.44656845006155e-05, |
| "loss": 0.4833, |
| "step": 347 |
| }, |
| { |
| "epoch": 1.8125, |
| "grad_norm": 0.6071045219645795, |
| "learning_rate": 6.435045716034883e-05, |
| "loss": 0.4839, |
| "step": 348 |
| }, |
| { |
| "epoch": 1.8177083333333335, |
| "grad_norm": 0.4482261852786489, |
| "learning_rate": 6.42349078771456e-05, |
| "loss": 0.4976, |
| "step": 349 |
| }, |
| { |
| "epoch": 1.8229166666666665, |
| "grad_norm": 0.5532302099540851, |
| "learning_rate": 6.411903817870919e-05, |
| "loss": 0.4909, |
| "step": 350 |
| }, |
| { |
| "epoch": 1.828125, |
| "grad_norm": 0.7002456440177397, |
| "learning_rate": 6.400284959697925e-05, |
| "loss": 0.4798, |
| "step": 351 |
| }, |
| { |
| "epoch": 1.8333333333333335, |
| "grad_norm": 0.7177978055788352, |
| "learning_rate": 6.388634366811146e-05, |
| "loss": 0.4901, |
| "step": 352 |
| }, |
| { |
| "epoch": 1.8385416666666665, |
| "grad_norm": 0.630989716321248, |
| "learning_rate": 6.376952193245722e-05, |
| "loss": 0.4915, |
| "step": 353 |
| }, |
| { |
| "epoch": 1.84375, |
| "grad_norm": 0.6322251239307694, |
| "learning_rate": 6.365238593454331e-05, |
| "loss": 0.4865, |
| "step": 354 |
| }, |
| { |
| "epoch": 1.8489583333333335, |
| "grad_norm": 0.718629171500273, |
| "learning_rate": 6.353493722305138e-05, |
| "loss": 0.4854, |
| "step": 355 |
| }, |
| { |
| "epoch": 1.8541666666666665, |
| "grad_norm": 0.736229915399764, |
| "learning_rate": 6.341717735079763e-05, |
| "loss": 0.4888, |
| "step": 356 |
| }, |
| { |
| "epoch": 1.859375, |
| "grad_norm": 0.7251258878030348, |
| "learning_rate": 6.32991078747121e-05, |
| "loss": 0.4901, |
| "step": 357 |
| }, |
| { |
| "epoch": 1.8645833333333335, |
| "grad_norm": 0.6456406411901869, |
| "learning_rate": 6.318073035581821e-05, |
| "loss": 0.4895, |
| "step": 358 |
| }, |
| { |
| "epoch": 1.8697916666666665, |
| "grad_norm": 0.5713921884660152, |
| "learning_rate": 6.306204635921208e-05, |
| "loss": 0.4951, |
| "step": 359 |
| }, |
| { |
| "epoch": 1.875, |
| "grad_norm": 0.5262475366662891, |
| "learning_rate": 6.294305745404185e-05, |
| "loss": 0.4848, |
| "step": 360 |
| }, |
| { |
| "epoch": 1.8802083333333335, |
| "grad_norm": 0.45642292916406163, |
| "learning_rate": 6.282376521348693e-05, |
| "loss": 0.4873, |
| "step": 361 |
| }, |
| { |
| "epoch": 1.8854166666666665, |
| "grad_norm": 0.37513328733628226, |
| "learning_rate": 6.270417121473716e-05, |
| "loss": 0.4874, |
| "step": 362 |
| }, |
| { |
| "epoch": 1.890625, |
| "grad_norm": 0.5634668639613679, |
| "learning_rate": 6.258427703897203e-05, |
| "loss": 0.4917, |
| "step": 363 |
| }, |
| { |
| "epoch": 1.8958333333333335, |
| "grad_norm": 0.8113109774766251, |
| "learning_rate": 6.246408427133972e-05, |
| "loss": 0.4962, |
| "step": 364 |
| }, |
| { |
| "epoch": 1.9010416666666665, |
| "grad_norm": 0.9115799633279007, |
| "learning_rate": 6.234359450093619e-05, |
| "loss": 0.4851, |
| "step": 365 |
| }, |
| { |
| "epoch": 1.90625, |
| "grad_norm": 0.8939447255815374, |
| "learning_rate": 6.22228093207841e-05, |
| "loss": 0.485, |
| "step": 366 |
| }, |
| { |
| "epoch": 1.9114583333333335, |
| "grad_norm": 0.7667139300284228, |
| "learning_rate": 6.21017303278118e-05, |
| "loss": 0.4917, |
| "step": 367 |
| }, |
| { |
| "epoch": 1.9166666666666665, |
| "grad_norm": 0.564594690272177, |
| "learning_rate": 6.198035912283225e-05, |
| "loss": 0.4941, |
| "step": 368 |
| }, |
| { |
| "epoch": 1.921875, |
| "grad_norm": 0.5008282103297402, |
| "learning_rate": 6.185869731052175e-05, |
| "loss": 0.492, |
| "step": 369 |
| }, |
| { |
| "epoch": 1.9270833333333335, |
| "grad_norm": 0.5968776855652044, |
| "learning_rate": 6.17367464993988e-05, |
| "loss": 0.4964, |
| "step": 370 |
| }, |
| { |
| "epoch": 1.9322916666666665, |
| "grad_norm": 0.6868984801833461, |
| "learning_rate": 6.161450830180287e-05, |
| "loss": 0.4894, |
| "step": 371 |
| }, |
| { |
| "epoch": 1.9375, |
| "grad_norm": 0.6447723382259419, |
| "learning_rate": 6.149198433387297e-05, |
| "loss": 0.4909, |
| "step": 372 |
| }, |
| { |
| "epoch": 1.9427083333333335, |
| "grad_norm": 0.525191494307917, |
| "learning_rate": 6.136917621552636e-05, |
| "loss": 0.4821, |
| "step": 373 |
| }, |
| { |
| "epoch": 1.9479166666666665, |
| "grad_norm": 0.5085601952387305, |
| "learning_rate": 6.124608557043713e-05, |
| "loss": 0.4859, |
| "step": 374 |
| }, |
| { |
| "epoch": 1.953125, |
| "grad_norm": 0.490044653991171, |
| "learning_rate": 6.112271402601472e-05, |
| "loss": 0.4896, |
| "step": 375 |
| }, |
| { |
| "epoch": 1.9583333333333335, |
| "grad_norm": 0.40373357254941666, |
| "learning_rate": 6.099906321338241e-05, |
| "loss": 0.4849, |
| "step": 376 |
| }, |
| { |
| "epoch": 1.9635416666666665, |
| "grad_norm": 0.4724394083897529, |
| "learning_rate": 6.087513476735574e-05, |
| "loss": 0.489, |
| "step": 377 |
| }, |
| { |
| "epoch": 1.96875, |
| "grad_norm": 0.5475281172673292, |
| "learning_rate": 6.075093032642087e-05, |
| "loss": 0.4828, |
| "step": 378 |
| }, |
| { |
| "epoch": 1.9739583333333335, |
| "grad_norm": 0.5493072439856015, |
| "learning_rate": 6.0626451532713e-05, |
| "loss": 0.4894, |
| "step": 379 |
| }, |
| { |
| "epoch": 1.9791666666666665, |
| "grad_norm": 0.4756730250147157, |
| "learning_rate": 6.0501700031994613e-05, |
| "loss": 0.4854, |
| "step": 380 |
| }, |
| { |
| "epoch": 1.984375, |
| "grad_norm": 0.38968632722772395, |
| "learning_rate": 6.037667747363368e-05, |
| "loss": 0.4879, |
| "step": 381 |
| }, |
| { |
| "epoch": 1.9895833333333335, |
| "grad_norm": 0.39432119616071315, |
| "learning_rate": 6.02513855105819e-05, |
| "loss": 0.4905, |
| "step": 382 |
| }, |
| { |
| "epoch": 1.9947916666666665, |
| "grad_norm": 0.43584861202203307, |
| "learning_rate": 6.012582579935283e-05, |
| "loss": 0.4886, |
| "step": 383 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 0.4744901981846813, |
| "learning_rate": 6.000000000000001e-05, |
| "loss": 0.4733, |
| "step": 384 |
| }, |
| { |
| "epoch": 2.0052083333333335, |
| "grad_norm": 0.55873565661809, |
| "learning_rate": 5.9873909776094955e-05, |
| "loss": 0.4611, |
| "step": 385 |
| }, |
| { |
| "epoch": 2.0104166666666665, |
| "grad_norm": 0.6162030969133125, |
| "learning_rate": 5.9747556794705213e-05, |
| "loss": 0.4529, |
| "step": 386 |
| }, |
| { |
| "epoch": 2.015625, |
| "grad_norm": 0.7712578446367252, |
| "learning_rate": 5.9620942726372316e-05, |
| "loss": 0.456, |
| "step": 387 |
| }, |
| { |
| "epoch": 2.0208333333333335, |
| "grad_norm": 0.8438611350448391, |
| "learning_rate": 5.94940692450897e-05, |
| "loss": 0.4567, |
| "step": 388 |
| }, |
| { |
| "epoch": 2.0260416666666665, |
| "grad_norm": 0.7857980638017752, |
| "learning_rate": 5.936693802828052e-05, |
| "loss": 0.4597, |
| "step": 389 |
| }, |
| { |
| "epoch": 2.03125, |
| "grad_norm": 0.7769207363895306, |
| "learning_rate": 5.923955075677551e-05, |
| "loss": 0.4598, |
| "step": 390 |
| }, |
| { |
| "epoch": 2.0364583333333335, |
| "grad_norm": 0.7669020634734772, |
| "learning_rate": 5.911190911479082e-05, |
| "loss": 0.4473, |
| "step": 391 |
| }, |
| { |
| "epoch": 2.0416666666666665, |
| "grad_norm": 0.8426994152383089, |
| "learning_rate": 5.8984014789905625e-05, |
| "loss": 0.4569, |
| "step": 392 |
| }, |
| { |
| "epoch": 2.046875, |
| "grad_norm": 0.642842582016102, |
| "learning_rate": 5.8855869473039924e-05, |
| "loss": 0.4525, |
| "step": 393 |
| }, |
| { |
| "epoch": 2.0520833333333335, |
| "grad_norm": 0.437690318068986, |
| "learning_rate": 5.8727474858432085e-05, |
| "loss": 0.4587, |
| "step": 394 |
| }, |
| { |
| "epoch": 2.0572916666666665, |
| "grad_norm": 0.6625122425931774, |
| "learning_rate": 5.859883264361657e-05, |
| "loss": 0.4474, |
| "step": 395 |
| }, |
| { |
| "epoch": 2.0625, |
| "grad_norm": 0.6406304867836919, |
| "learning_rate": 5.846994452940137e-05, |
| "loss": 0.4553, |
| "step": 396 |
| }, |
| { |
| "epoch": 2.0677083333333335, |
| "grad_norm": 0.43223393427412893, |
| "learning_rate": 5.834081221984556e-05, |
| "loss": 0.4439, |
| "step": 397 |
| }, |
| { |
| "epoch": 2.0729166666666665, |
| "grad_norm": 0.5661187420231043, |
| "learning_rate": 5.821143742223682e-05, |
| "loss": 0.4615, |
| "step": 398 |
| }, |
| { |
| "epoch": 2.078125, |
| "grad_norm": 0.5812168669774969, |
| "learning_rate": 5.80818218470688e-05, |
| "loss": 0.4555, |
| "step": 399 |
| }, |
| { |
| "epoch": 2.0833333333333335, |
| "grad_norm": 0.4777623051228382, |
| "learning_rate": 5.79519672080185e-05, |
| "loss": 0.4576, |
| "step": 400 |
| }, |
| { |
| "epoch": 2.0885416666666665, |
| "grad_norm": 0.37181435535917606, |
| "learning_rate": 5.782187522192367e-05, |
| "loss": 0.4569, |
| "step": 401 |
| }, |
| { |
| "epoch": 2.09375, |
| "grad_norm": 0.5247654938798674, |
| "learning_rate": 5.7691547608760055e-05, |
| "loss": 0.4541, |
| "step": 402 |
| }, |
| { |
| "epoch": 2.0989583333333335, |
| "grad_norm": 0.599505094836557, |
| "learning_rate": 5.7560986091618724e-05, |
| "loss": 0.447, |
| "step": 403 |
| }, |
| { |
| "epoch": 2.1041666666666665, |
| "grad_norm": 0.4491728914292899, |
| "learning_rate": 5.743019239668318e-05, |
| "loss": 0.4546, |
| "step": 404 |
| }, |
| { |
| "epoch": 2.109375, |
| "grad_norm": 0.44445425984336195, |
| "learning_rate": 5.729916825320665e-05, |
| "loss": 0.4536, |
| "step": 405 |
| }, |
| { |
| "epoch": 2.1145833333333335, |
| "grad_norm": 0.610991999430527, |
| "learning_rate": 5.716791539348917e-05, |
| "loss": 0.4482, |
| "step": 406 |
| }, |
| { |
| "epoch": 2.1197916666666665, |
| "grad_norm": 0.477357214515522, |
| "learning_rate": 5.703643555285464e-05, |
| "loss": 0.4438, |
| "step": 407 |
| }, |
| { |
| "epoch": 2.125, |
| "grad_norm": 0.34160904717916657, |
| "learning_rate": 5.6904730469627985e-05, |
| "loss": 0.4455, |
| "step": 408 |
| }, |
| { |
| "epoch": 2.1302083333333335, |
| "grad_norm": 0.48150289482326897, |
| "learning_rate": 5.6772801885112075e-05, |
| "loss": 0.4604, |
| "step": 409 |
| }, |
| { |
| "epoch": 2.1354166666666665, |
| "grad_norm": 0.41103325697566667, |
| "learning_rate": 5.664065154356477e-05, |
| "loss": 0.4403, |
| "step": 410 |
| }, |
| { |
| "epoch": 2.140625, |
| "grad_norm": 0.3354853282126088, |
| "learning_rate": 5.6508281192175794e-05, |
| "loss": 0.453, |
| "step": 411 |
| }, |
| { |
| "epoch": 2.1458333333333335, |
| "grad_norm": 0.3343687038982333, |
| "learning_rate": 5.6375692581043705e-05, |
| "loss": 0.453, |
| "step": 412 |
| }, |
| { |
| "epoch": 2.1510416666666665, |
| "grad_norm": 0.2970674436842917, |
| "learning_rate": 5.624288746315271e-05, |
| "loss": 0.4552, |
| "step": 413 |
| }, |
| { |
| "epoch": 2.15625, |
| "grad_norm": 0.28397875254344884, |
| "learning_rate": 5.61098675943495e-05, |
| "loss": 0.4506, |
| "step": 414 |
| }, |
| { |
| "epoch": 2.1614583333333335, |
| "grad_norm": 0.2917983717076994, |
| "learning_rate": 5.597663473332002e-05, |
| "loss": 0.4502, |
| "step": 415 |
| }, |
| { |
| "epoch": 2.1666666666666665, |
| "grad_norm": 0.3116190269322562, |
| "learning_rate": 5.584319064156628e-05, |
| "loss": 0.4518, |
| "step": 416 |
| }, |
| { |
| "epoch": 2.171875, |
| "grad_norm": 0.32036543535140277, |
| "learning_rate": 5.5709537083382974e-05, |
| "loss": 0.4501, |
| "step": 417 |
| }, |
| { |
| "epoch": 2.1770833333333335, |
| "grad_norm": 0.3802249286209255, |
| "learning_rate": 5.5575675825834215e-05, |
| "loss": 0.4485, |
| "step": 418 |
| }, |
| { |
| "epoch": 2.1822916666666665, |
| "grad_norm": 0.38278121485259464, |
| "learning_rate": 5.544160863873014e-05, |
| "loss": 0.4474, |
| "step": 419 |
| }, |
| { |
| "epoch": 2.1875, |
| "grad_norm": 0.3689358694601874, |
| "learning_rate": 5.5307337294603595e-05, |
| "loss": 0.4522, |
| "step": 420 |
| }, |
| { |
| "epoch": 2.1927083333333335, |
| "grad_norm": 0.3905688139846195, |
| "learning_rate": 5.5172863568686544e-05, |
| "loss": 0.4545, |
| "step": 421 |
| }, |
| { |
| "epoch": 2.1979166666666665, |
| "grad_norm": 0.3063684538992762, |
| "learning_rate": 5.5038189238886724e-05, |
| "loss": 0.4542, |
| "step": 422 |
| }, |
| { |
| "epoch": 2.203125, |
| "grad_norm": 0.2541031363762125, |
| "learning_rate": 5.490331608576412e-05, |
| "loss": 0.4564, |
| "step": 423 |
| }, |
| { |
| "epoch": 2.2083333333333335, |
| "grad_norm": 0.3786919244356207, |
| "learning_rate": 5.476824589250738e-05, |
| "loss": 0.4509, |
| "step": 424 |
| }, |
| { |
| "epoch": 2.2135416666666665, |
| "grad_norm": 0.3873426199476435, |
| "learning_rate": 5.4632980444910285e-05, |
| "loss": 0.4498, |
| "step": 425 |
| }, |
| { |
| "epoch": 2.21875, |
| "grad_norm": 0.4376262663783527, |
| "learning_rate": 5.4497521531348066e-05, |
| "loss": 0.4602, |
| "step": 426 |
| }, |
| { |
| "epoch": 2.2239583333333335, |
| "grad_norm": 0.4452377636866926, |
| "learning_rate": 5.43618709427539e-05, |
| "loss": 0.4435, |
| "step": 427 |
| }, |
| { |
| "epoch": 2.2291666666666665, |
| "grad_norm": 0.42491148711197285, |
| "learning_rate": 5.4226030472595075e-05, |
| "loss": 0.4522, |
| "step": 428 |
| }, |
| { |
| "epoch": 2.234375, |
| "grad_norm": 0.3597609609622282, |
| "learning_rate": 5.409000191684935e-05, |
| "loss": 0.4574, |
| "step": 429 |
| }, |
| { |
| "epoch": 2.2395833333333335, |
| "grad_norm": 0.263127390246849, |
| "learning_rate": 5.3953787073981236e-05, |
| "loss": 0.452, |
| "step": 430 |
| }, |
| { |
| "epoch": 2.2447916666666665, |
| "grad_norm": 0.24375578116399835, |
| "learning_rate": 5.381738774491819e-05, |
| "loss": 0.4492, |
| "step": 431 |
| }, |
| { |
| "epoch": 2.25, |
| "grad_norm": 0.3332667128514618, |
| "learning_rate": 5.368080573302676e-05, |
| "loss": 0.4454, |
| "step": 432 |
| }, |
| { |
| "epoch": 2.2552083333333335, |
| "grad_norm": 0.4099153930059742, |
| "learning_rate": 5.3544042844088826e-05, |
| "loss": 0.4513, |
| "step": 433 |
| }, |
| { |
| "epoch": 2.2604166666666665, |
| "grad_norm": 0.3875534834472668, |
| "learning_rate": 5.340710088627766e-05, |
| "loss": 0.4496, |
| "step": 434 |
| }, |
| { |
| "epoch": 2.265625, |
| "grad_norm": 0.30927751997827757, |
| "learning_rate": 5.326998167013409e-05, |
| "loss": 0.451, |
| "step": 435 |
| }, |
| { |
| "epoch": 2.2708333333333335, |
| "grad_norm": 0.27412098731782414, |
| "learning_rate": 5.3132687008542454e-05, |
| "loss": 0.4551, |
| "step": 436 |
| }, |
| { |
| "epoch": 2.2760416666666665, |
| "grad_norm": 0.275598538116117, |
| "learning_rate": 5.2995218716706716e-05, |
| "loss": 0.4582, |
| "step": 437 |
| }, |
| { |
| "epoch": 2.28125, |
| "grad_norm": 0.35179334144231694, |
| "learning_rate": 5.2857578612126466e-05, |
| "loss": 0.4527, |
| "step": 438 |
| }, |
| { |
| "epoch": 2.2864583333333335, |
| "grad_norm": 0.3864906350735343, |
| "learning_rate": 5.271976851457286e-05, |
| "loss": 0.4527, |
| "step": 439 |
| }, |
| { |
| "epoch": 2.2916666666666665, |
| "grad_norm": 0.35576426936338756, |
| "learning_rate": 5.258179024606455e-05, |
| "loss": 0.4598, |
| "step": 440 |
| }, |
| { |
| "epoch": 2.296875, |
| "grad_norm": 0.3036457402114626, |
| "learning_rate": 5.2443645630843634e-05, |
| "loss": 0.4531, |
| "step": 441 |
| }, |
| { |
| "epoch": 2.3020833333333335, |
| "grad_norm": 0.34159429010479525, |
| "learning_rate": 5.2305336495351536e-05, |
| "loss": 0.4477, |
| "step": 442 |
| }, |
| { |
| "epoch": 2.3072916666666665, |
| "grad_norm": 0.3165231741585495, |
| "learning_rate": 5.216686466820479e-05, |
| "loss": 0.4594, |
| "step": 443 |
| }, |
| { |
| "epoch": 2.3125, |
| "grad_norm": 0.28504368635187927, |
| "learning_rate": 5.202823198017092e-05, |
| "loss": 0.4469, |
| "step": 444 |
| }, |
| { |
| "epoch": 2.3177083333333335, |
| "grad_norm": 0.31641273800988096, |
| "learning_rate": 5.188944026414431e-05, |
| "loss": 0.4564, |
| "step": 445 |
| }, |
| { |
| "epoch": 2.3229166666666665, |
| "grad_norm": 0.2919022410307984, |
| "learning_rate": 5.1750491355121776e-05, |
| "loss": 0.4524, |
| "step": 446 |
| }, |
| { |
| "epoch": 2.328125, |
| "grad_norm": 0.2713740438607471, |
| "learning_rate": 5.16113870901785e-05, |
| "loss": 0.4552, |
| "step": 447 |
| }, |
| { |
| "epoch": 2.3333333333333335, |
| "grad_norm": 0.2887166504008213, |
| "learning_rate": 5.1472129308443616e-05, |
| "loss": 0.4508, |
| "step": 448 |
| }, |
| { |
| "epoch": 2.3385416666666665, |
| "grad_norm": 0.33912135543319033, |
| "learning_rate": 5.133271985107595e-05, |
| "loss": 0.4542, |
| "step": 449 |
| }, |
| { |
| "epoch": 2.34375, |
| "grad_norm": 0.30453519312192345, |
| "learning_rate": 5.1193160561239694e-05, |
| "loss": 0.4504, |
| "step": 450 |
| }, |
| { |
| "epoch": 2.3489583333333335, |
| "grad_norm": 0.2972585462068068, |
| "learning_rate": 5.105345328407994e-05, |
| "loss": 0.4529, |
| "step": 451 |
| }, |
| { |
| "epoch": 2.3541666666666665, |
| "grad_norm": 0.36531796615856266, |
| "learning_rate": 5.091359986669845e-05, |
| "loss": 0.4446, |
| "step": 452 |
| }, |
| { |
| "epoch": 2.359375, |
| "grad_norm": 0.34166256791569516, |
| "learning_rate": 5.0773602158129054e-05, |
| "loss": 0.4542, |
| "step": 453 |
| }, |
| { |
| "epoch": 2.3645833333333335, |
| "grad_norm": 0.31694246847885665, |
| "learning_rate": 5.0633462009313315e-05, |
| "loss": 0.4457, |
| "step": 454 |
| }, |
| { |
| "epoch": 2.3697916666666665, |
| "grad_norm": 0.3304985084306687, |
| "learning_rate": 5.049318127307607e-05, |
| "loss": 0.4547, |
| "step": 455 |
| }, |
| { |
| "epoch": 2.375, |
| "grad_norm": 0.3400981834435102, |
| "learning_rate": 5.0352761804100835e-05, |
| "loss": 0.4416, |
| "step": 456 |
| }, |
| { |
| "epoch": 2.3802083333333335, |
| "grad_norm": 0.3201239346128975, |
| "learning_rate": 5.021220545890539e-05, |
| "loss": 0.4471, |
| "step": 457 |
| }, |
| { |
| "epoch": 2.3854166666666665, |
| "grad_norm": 0.2850855107772755, |
| "learning_rate": 5.007151409581715e-05, |
| "loss": 0.4602, |
| "step": 458 |
| }, |
| { |
| "epoch": 2.390625, |
| "grad_norm": 0.2819310990288385, |
| "learning_rate": 4.9930689574948654e-05, |
| "loss": 0.4552, |
| "step": 459 |
| }, |
| { |
| "epoch": 2.3958333333333335, |
| "grad_norm": 0.3290407541736708, |
| "learning_rate": 4.9789733758172956e-05, |
| "loss": 0.4468, |
| "step": 460 |
| }, |
| { |
| "epoch": 2.4010416666666665, |
| "grad_norm": 0.3131895176610291, |
| "learning_rate": 4.964864850909899e-05, |
| "loss": 0.4574, |
| "step": 461 |
| }, |
| { |
| "epoch": 2.40625, |
| "grad_norm": 0.3141916384709298, |
| "learning_rate": 4.950743569304693e-05, |
| "loss": 0.4528, |
| "step": 462 |
| }, |
| { |
| "epoch": 2.4114583333333335, |
| "grad_norm": 0.27751224080774894, |
| "learning_rate": 4.936609717702357e-05, |
| "loss": 0.4455, |
| "step": 463 |
| }, |
| { |
| "epoch": 2.4166666666666665, |
| "grad_norm": 0.3209700191538329, |
| "learning_rate": 4.922463482969761e-05, |
| "loss": 0.451, |
| "step": 464 |
| }, |
| { |
| "epoch": 2.421875, |
| "grad_norm": 0.2682896645937339, |
| "learning_rate": 4.9083050521374936e-05, |
| "loss": 0.4567, |
| "step": 465 |
| }, |
| { |
| "epoch": 2.4270833333333335, |
| "grad_norm": 0.23481907909219152, |
| "learning_rate": 4.89413461239739e-05, |
| "loss": 0.4558, |
| "step": 466 |
| }, |
| { |
| "epoch": 2.4322916666666665, |
| "grad_norm": 0.2433020319381078, |
| "learning_rate": 4.879952351100063e-05, |
| "loss": 0.4586, |
| "step": 467 |
| }, |
| { |
| "epoch": 2.4375, |
| "grad_norm": 0.25610146627935704, |
| "learning_rate": 4.8657584557524116e-05, |
| "loss": 0.4541, |
| "step": 468 |
| }, |
| { |
| "epoch": 2.4427083333333335, |
| "grad_norm": 0.27332507368021985, |
| "learning_rate": 4.851553114015162e-05, |
| "loss": 0.4479, |
| "step": 469 |
| }, |
| { |
| "epoch": 2.4479166666666665, |
| "grad_norm": 0.2502105066468416, |
| "learning_rate": 4.837336513700369e-05, |
| "loss": 0.4488, |
| "step": 470 |
| }, |
| { |
| "epoch": 2.453125, |
| "grad_norm": 0.28310497721879135, |
| "learning_rate": 4.82310884276894e-05, |
| "loss": 0.4505, |
| "step": 471 |
| }, |
| { |
| "epoch": 2.4583333333333335, |
| "grad_norm": 0.3053377357606682, |
| "learning_rate": 4.808870289328153e-05, |
| "loss": 0.456, |
| "step": 472 |
| }, |
| { |
| "epoch": 2.4635416666666665, |
| "grad_norm": 0.2140634699417683, |
| "learning_rate": 4.79462104162916e-05, |
| "loss": 0.4453, |
| "step": 473 |
| }, |
| { |
| "epoch": 2.46875, |
| "grad_norm": 0.27564533447240397, |
| "learning_rate": 4.780361288064514e-05, |
| "loss": 0.4508, |
| "step": 474 |
| }, |
| { |
| "epoch": 2.4739583333333335, |
| "grad_norm": 0.2743908230031084, |
| "learning_rate": 4.7660912171656576e-05, |
| "loss": 0.4531, |
| "step": 475 |
| }, |
| { |
| "epoch": 2.4791666666666665, |
| "grad_norm": 0.2071839729047595, |
| "learning_rate": 4.751811017600448e-05, |
| "loss": 0.4479, |
| "step": 476 |
| }, |
| { |
| "epoch": 2.484375, |
| "grad_norm": 0.21741574455697213, |
| "learning_rate": 4.7375208781706536e-05, |
| "loss": 0.4558, |
| "step": 477 |
| }, |
| { |
| "epoch": 2.4895833333333335, |
| "grad_norm": 0.2728580506450589, |
| "learning_rate": 4.723220987809462e-05, |
| "loss": 0.4625, |
| "step": 478 |
| }, |
| { |
| "epoch": 2.4947916666666665, |
| "grad_norm": 0.28962503992213984, |
| "learning_rate": 4.708911535578977e-05, |
| "loss": 0.4547, |
| "step": 479 |
| }, |
| { |
| "epoch": 2.5, |
| "grad_norm": 0.27337038181719875, |
| "learning_rate": 4.694592710667723e-05, |
| "loss": 0.4524, |
| "step": 480 |
| }, |
| { |
| "epoch": 2.5052083333333335, |
| "grad_norm": 0.226712963037994, |
| "learning_rate": 4.680264702388143e-05, |
| "loss": 0.4553, |
| "step": 481 |
| }, |
| { |
| "epoch": 2.5104166666666665, |
| "grad_norm": 0.2752700275579855, |
| "learning_rate": 4.6659277001740984e-05, |
| "loss": 0.4544, |
| "step": 482 |
| }, |
| { |
| "epoch": 2.515625, |
| "grad_norm": 0.27662974468138407, |
| "learning_rate": 4.651581893578356e-05, |
| "loss": 0.459, |
| "step": 483 |
| }, |
| { |
| "epoch": 2.5208333333333335, |
| "grad_norm": 0.2647572690044019, |
| "learning_rate": 4.637227472270091e-05, |
| "loss": 0.4444, |
| "step": 484 |
| }, |
| { |
| "epoch": 2.5260416666666665, |
| "grad_norm": 0.2855773582007276, |
| "learning_rate": 4.622864626032376e-05, |
| "loss": 0.4473, |
| "step": 485 |
| }, |
| { |
| "epoch": 2.53125, |
| "grad_norm": 0.22278688069700286, |
| "learning_rate": 4.608493544759667e-05, |
| "loss": 0.4474, |
| "step": 486 |
| }, |
| { |
| "epoch": 2.5364583333333335, |
| "grad_norm": 0.26466883513110556, |
| "learning_rate": 4.5941144184553036e-05, |
| "loss": 0.4581, |
| "step": 487 |
| }, |
| { |
| "epoch": 2.5416666666666665, |
| "grad_norm": 0.26958465224891065, |
| "learning_rate": 4.579727437228987e-05, |
| "loss": 0.4612, |
| "step": 488 |
| }, |
| { |
| "epoch": 2.546875, |
| "grad_norm": 0.267382762532617, |
| "learning_rate": 4.565332791294271e-05, |
| "loss": 0.4491, |
| "step": 489 |
| }, |
| { |
| "epoch": 2.5520833333333335, |
| "grad_norm": 0.32363518482193276, |
| "learning_rate": 4.550930670966043e-05, |
| "loss": 0.4573, |
| "step": 490 |
| }, |
| { |
| "epoch": 2.5572916666666665, |
| "grad_norm": 0.2698814914138189, |
| "learning_rate": 4.536521266658017e-05, |
| "loss": 0.4566, |
| "step": 491 |
| }, |
| { |
| "epoch": 2.5625, |
| "grad_norm": 0.2568406992029986, |
| "learning_rate": 4.522104768880208e-05, |
| "loss": 0.4479, |
| "step": 492 |
| }, |
| { |
| "epoch": 2.5677083333333335, |
| "grad_norm": 0.32183252196678996, |
| "learning_rate": 4.5076813682364095e-05, |
| "loss": 0.4509, |
| "step": 493 |
| }, |
| { |
| "epoch": 2.5729166666666665, |
| "grad_norm": 0.33550046375525555, |
| "learning_rate": 4.4932512554216886e-05, |
| "loss": 0.4478, |
| "step": 494 |
| }, |
| { |
| "epoch": 2.578125, |
| "grad_norm": 0.2600002952224419, |
| "learning_rate": 4.47881462121985e-05, |
| "loss": 0.453, |
| "step": 495 |
| }, |
| { |
| "epoch": 2.5833333333333335, |
| "grad_norm": 0.40899305705263794, |
| "learning_rate": 4.464371656500921e-05, |
| "loss": 0.4537, |
| "step": 496 |
| }, |
| { |
| "epoch": 2.5885416666666665, |
| "grad_norm": 0.36170340148622154, |
| "learning_rate": 4.4499225522186255e-05, |
| "loss": 0.4487, |
| "step": 497 |
| }, |
| { |
| "epoch": 2.59375, |
| "grad_norm": 0.32434219543771786, |
| "learning_rate": 4.4354674994078585e-05, |
| "loss": 0.4633, |
| "step": 498 |
| }, |
| { |
| "epoch": 2.5989583333333335, |
| "grad_norm": 0.38172293630508747, |
| "learning_rate": 4.421006689182165e-05, |
| "loss": 0.457, |
| "step": 499 |
| }, |
| { |
| "epoch": 2.6041666666666665, |
| "grad_norm": 0.2731081299554588, |
| "learning_rate": 4.406540312731208e-05, |
| "loss": 0.4502, |
| "step": 500 |
| }, |
| { |
| "epoch": 2.609375, |
| "grad_norm": 0.3245280454542441, |
| "learning_rate": 4.392068561318244e-05, |
| "loss": 0.4517, |
| "step": 501 |
| }, |
| { |
| "epoch": 2.6145833333333335, |
| "grad_norm": 0.43572425273132376, |
| "learning_rate": 4.37759162627759e-05, |
| "loss": 0.4504, |
| "step": 502 |
| }, |
| { |
| "epoch": 2.6197916666666665, |
| "grad_norm": 0.37748769378579555, |
| "learning_rate": 4.363109699012101e-05, |
| "loss": 0.4526, |
| "step": 503 |
| }, |
| { |
| "epoch": 2.625, |
| "grad_norm": 0.2821693851094929, |
| "learning_rate": 4.348622970990634e-05, |
| "loss": 0.449, |
| "step": 504 |
| }, |
| { |
| "epoch": 2.6302083333333335, |
| "grad_norm": 0.317152312736462, |
| "learning_rate": 4.334131633745515e-05, |
| "loss": 0.4449, |
| "step": 505 |
| }, |
| { |
| "epoch": 2.6354166666666665, |
| "grad_norm": 0.2801439643714161, |
| "learning_rate": 4.3196358788700164e-05, |
| "loss": 0.4556, |
| "step": 506 |
| }, |
| { |
| "epoch": 2.640625, |
| "grad_norm": 0.26381290472552793, |
| "learning_rate": 4.3051358980158104e-05, |
| "loss": 0.4503, |
| "step": 507 |
| }, |
| { |
| "epoch": 2.6458333333333335, |
| "grad_norm": 0.2733745106731695, |
| "learning_rate": 4.290631882890443e-05, |
| "loss": 0.4494, |
| "step": 508 |
| }, |
| { |
| "epoch": 2.6510416666666665, |
| "grad_norm": 0.24419563504394842, |
| "learning_rate": 4.276124025254801e-05, |
| "loss": 0.4546, |
| "step": 509 |
| }, |
| { |
| "epoch": 2.65625, |
| "grad_norm": 0.25353038177282894, |
| "learning_rate": 4.261612516920573e-05, |
| "loss": 0.4506, |
| "step": 510 |
| }, |
| { |
| "epoch": 2.6614583333333335, |
| "grad_norm": 0.2863836488437528, |
| "learning_rate": 4.2470975497477126e-05, |
| "loss": 0.4491, |
| "step": 511 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "grad_norm": 0.2507610979090334, |
| "learning_rate": 4.2325793156419035e-05, |
| "loss": 0.4569, |
| "step": 512 |
| }, |
| { |
| "epoch": 2.671875, |
| "grad_norm": 0.29365836719635163, |
| "learning_rate": 4.218058006552026e-05, |
| "loss": 0.4537, |
| "step": 513 |
| }, |
| { |
| "epoch": 2.6770833333333335, |
| "grad_norm": 0.23535680735665146, |
| "learning_rate": 4.203533814467611e-05, |
| "loss": 0.4466, |
| "step": 514 |
| }, |
| { |
| "epoch": 2.6822916666666665, |
| "grad_norm": 0.17516773951841155, |
| "learning_rate": 4.189006931416308e-05, |
| "loss": 0.4581, |
| "step": 515 |
| }, |
| { |
| "epoch": 2.6875, |
| "grad_norm": 0.27284914053423037, |
| "learning_rate": 4.174477549461345e-05, |
| "loss": 0.4503, |
| "step": 516 |
| }, |
| { |
| "epoch": 2.6927083333333335, |
| "grad_norm": 0.24075198772143525, |
| "learning_rate": 4.159945860698987e-05, |
| "loss": 0.4552, |
| "step": 517 |
| }, |
| { |
| "epoch": 2.6979166666666665, |
| "grad_norm": 0.23115332473549804, |
| "learning_rate": 4.145412057256e-05, |
| "loss": 0.4609, |
| "step": 518 |
| }, |
| { |
| "epoch": 2.703125, |
| "grad_norm": 0.2430520238017738, |
| "learning_rate": 4.130876331287105e-05, |
| "loss": 0.4531, |
| "step": 519 |
| }, |
| { |
| "epoch": 2.7083333333333335, |
| "grad_norm": 0.2060892809968311, |
| "learning_rate": 4.116338874972446e-05, |
| "loss": 0.4451, |
| "step": 520 |
| }, |
| { |
| "epoch": 2.7135416666666665, |
| "grad_norm": 0.23875995283433762, |
| "learning_rate": 4.1017998805150414e-05, |
| "loss": 0.4563, |
| "step": 521 |
| }, |
| { |
| "epoch": 2.71875, |
| "grad_norm": 0.217940541645082, |
| "learning_rate": 4.087259540138245e-05, |
| "loss": 0.4511, |
| "step": 522 |
| }, |
| { |
| "epoch": 2.7239583333333335, |
| "grad_norm": 0.22467507594690095, |
| "learning_rate": 4.072718046083207e-05, |
| "loss": 0.4566, |
| "step": 523 |
| }, |
| { |
| "epoch": 2.7291666666666665, |
| "grad_norm": 0.25314613453543144, |
| "learning_rate": 4.058175590606332e-05, |
| "loss": 0.452, |
| "step": 524 |
| }, |
| { |
| "epoch": 2.734375, |
| "grad_norm": 0.2786131525463468, |
| "learning_rate": 4.04363236597673e-05, |
| "loss": 0.4465, |
| "step": 525 |
| }, |
| { |
| "epoch": 2.7395833333333335, |
| "grad_norm": 0.24145545234317506, |
| "learning_rate": 4.029088564473688e-05, |
| "loss": 0.4459, |
| "step": 526 |
| }, |
| { |
| "epoch": 2.7447916666666665, |
| "grad_norm": 0.2510425603418942, |
| "learning_rate": 4.014544378384112e-05, |
| "loss": 0.4512, |
| "step": 527 |
| }, |
| { |
| "epoch": 2.75, |
| "grad_norm": 0.24945291013391493, |
| "learning_rate": 4e-05, |
| "loss": 0.4504, |
| "step": 528 |
| }, |
| { |
| "epoch": 2.7552083333333335, |
| "grad_norm": 0.27191483742740813, |
| "learning_rate": 3.985455621615889e-05, |
| "loss": 0.4576, |
| "step": 529 |
| }, |
| { |
| "epoch": 2.7604166666666665, |
| "grad_norm": 0.24084342052781593, |
| "learning_rate": 3.970911435526314e-05, |
| "loss": 0.45, |
| "step": 530 |
| }, |
| { |
| "epoch": 2.765625, |
| "grad_norm": 0.17747716819587414, |
| "learning_rate": 3.9563676340232714e-05, |
| "loss": 0.4418, |
| "step": 531 |
| }, |
| { |
| "epoch": 2.7708333333333335, |
| "grad_norm": 0.24636626831275266, |
| "learning_rate": 3.9418244093936694e-05, |
| "loss": 0.4503, |
| "step": 532 |
| }, |
| { |
| "epoch": 2.7760416666666665, |
| "grad_norm": 0.28401311914053784, |
| "learning_rate": 3.927281953916793e-05, |
| "loss": 0.4517, |
| "step": 533 |
| }, |
| { |
| "epoch": 2.78125, |
| "grad_norm": 0.26408441780969916, |
| "learning_rate": 3.912740459861756e-05, |
| "loss": 0.4493, |
| "step": 534 |
| }, |
| { |
| "epoch": 2.7864583333333335, |
| "grad_norm": 0.21907593909403092, |
| "learning_rate": 3.89820011948496e-05, |
| "loss": 0.4438, |
| "step": 535 |
| }, |
| { |
| "epoch": 2.7916666666666665, |
| "grad_norm": 0.26149664644739284, |
| "learning_rate": 3.8836611250275546e-05, |
| "loss": 0.4549, |
| "step": 536 |
| }, |
| { |
| "epoch": 2.796875, |
| "grad_norm": 0.3166477479854297, |
| "learning_rate": 3.869123668712896e-05, |
| "loss": 0.4568, |
| "step": 537 |
| }, |
| { |
| "epoch": 2.8020833333333335, |
| "grad_norm": 0.2279722998028603, |
| "learning_rate": 3.854587942744002e-05, |
| "loss": 0.4546, |
| "step": 538 |
| }, |
| { |
| "epoch": 2.8072916666666665, |
| "grad_norm": 0.19658184807651027, |
| "learning_rate": 3.840054139301014e-05, |
| "loss": 0.4463, |
| "step": 539 |
| }, |
| { |
| "epoch": 2.8125, |
| "grad_norm": 0.25299931004053, |
| "learning_rate": 3.825522450538657e-05, |
| "loss": 0.4446, |
| "step": 540 |
| }, |
| { |
| "epoch": 2.8177083333333335, |
| "grad_norm": 0.23810842033161025, |
| "learning_rate": 3.8109930685836934e-05, |
| "loss": 0.454, |
| "step": 541 |
| }, |
| { |
| "epoch": 2.8229166666666665, |
| "grad_norm": 0.18831871470462158, |
| "learning_rate": 3.79646618553239e-05, |
| "loss": 0.4518, |
| "step": 542 |
| }, |
| { |
| "epoch": 2.828125, |
| "grad_norm": 0.24686450588347258, |
| "learning_rate": 3.7819419934479746e-05, |
| "loss": 0.4568, |
| "step": 543 |
| }, |
| { |
| "epoch": 2.8333333333333335, |
| "grad_norm": 0.22375136264771378, |
| "learning_rate": 3.767420684358097e-05, |
| "loss": 0.4548, |
| "step": 544 |
| }, |
| { |
| "epoch": 2.8385416666666665, |
| "grad_norm": 0.20101170630574017, |
| "learning_rate": 3.752902450252289e-05, |
| "loss": 0.4512, |
| "step": 545 |
| }, |
| { |
| "epoch": 2.84375, |
| "grad_norm": 0.21834233196081493, |
| "learning_rate": 3.738387483079428e-05, |
| "loss": 0.4429, |
| "step": 546 |
| }, |
| { |
| "epoch": 2.8489583333333335, |
| "grad_norm": 0.20323009030948236, |
| "learning_rate": 3.723875974745201e-05, |
| "loss": 0.446, |
| "step": 547 |
| }, |
| { |
| "epoch": 2.8541666666666665, |
| "grad_norm": 0.23606919760598086, |
| "learning_rate": 3.709368117109558e-05, |
| "loss": 0.4418, |
| "step": 548 |
| }, |
| { |
| "epoch": 2.859375, |
| "grad_norm": 0.21575884168093368, |
| "learning_rate": 3.694864101984191e-05, |
| "loss": 0.4576, |
| "step": 549 |
| }, |
| { |
| "epoch": 2.8645833333333335, |
| "grad_norm": 0.23206237907321625, |
| "learning_rate": 3.6803641211299856e-05, |
| "loss": 0.4521, |
| "step": 550 |
| }, |
| { |
| "epoch": 2.8697916666666665, |
| "grad_norm": 0.2436759174474409, |
| "learning_rate": 3.665868366254486e-05, |
| "loss": 0.4437, |
| "step": 551 |
| }, |
| { |
| "epoch": 2.875, |
| "grad_norm": 0.2521373480075379, |
| "learning_rate": 3.6513770290093674e-05, |
| "loss": 0.4536, |
| "step": 552 |
| }, |
| { |
| "epoch": 2.8802083333333335, |
| "grad_norm": 0.2274096369569366, |
| "learning_rate": 3.6368903009879e-05, |
| "loss": 0.4497, |
| "step": 553 |
| }, |
| { |
| "epoch": 2.8854166666666665, |
| "grad_norm": 0.285466072073871, |
| "learning_rate": 3.622408373722412e-05, |
| "loss": 0.4446, |
| "step": 554 |
| }, |
| { |
| "epoch": 2.890625, |
| "grad_norm": 0.2948300698492334, |
| "learning_rate": 3.6079314386817575e-05, |
| "loss": 0.4543, |
| "step": 555 |
| }, |
| { |
| "epoch": 2.8958333333333335, |
| "grad_norm": 0.24613901254999906, |
| "learning_rate": 3.5934596872687924e-05, |
| "loss": 0.4508, |
| "step": 556 |
| }, |
| { |
| "epoch": 2.9010416666666665, |
| "grad_norm": 0.21798706739518828, |
| "learning_rate": 3.578993310817837e-05, |
| "loss": 0.4518, |
| "step": 557 |
| }, |
| { |
| "epoch": 2.90625, |
| "grad_norm": 0.22117764380777205, |
| "learning_rate": 3.564532500592143e-05, |
| "loss": 0.4549, |
| "step": 558 |
| }, |
| { |
| "epoch": 2.9114583333333335, |
| "grad_norm": 0.16252180732812832, |
| "learning_rate": 3.550077447781375e-05, |
| "loss": 0.4469, |
| "step": 559 |
| }, |
| { |
| "epoch": 2.9166666666666665, |
| "grad_norm": 0.2427191452211775, |
| "learning_rate": 3.535628343499079e-05, |
| "loss": 0.4597, |
| "step": 560 |
| }, |
| { |
| "epoch": 2.921875, |
| "grad_norm": 0.22411954087193323, |
| "learning_rate": 3.521185378780151e-05, |
| "loss": 0.4509, |
| "step": 561 |
| }, |
| { |
| "epoch": 2.9270833333333335, |
| "grad_norm": 0.17509367306378307, |
| "learning_rate": 3.506748744578312e-05, |
| "loss": 0.4531, |
| "step": 562 |
| }, |
| { |
| "epoch": 2.9322916666666665, |
| "grad_norm": 0.192579397975609, |
| "learning_rate": 3.4923186317635905e-05, |
| "loss": 0.4516, |
| "step": 563 |
| }, |
| { |
| "epoch": 2.9375, |
| "grad_norm": 0.22591029230358622, |
| "learning_rate": 3.477895231119795e-05, |
| "loss": 0.4524, |
| "step": 564 |
| }, |
| { |
| "epoch": 2.9427083333333335, |
| "grad_norm": 0.21478601034284883, |
| "learning_rate": 3.4634787333419836e-05, |
| "loss": 0.4573, |
| "step": 565 |
| }, |
| { |
| "epoch": 2.9479166666666665, |
| "grad_norm": 0.21582561271254455, |
| "learning_rate": 3.4490693290339576e-05, |
| "loss": 0.4525, |
| "step": 566 |
| }, |
| { |
| "epoch": 2.953125, |
| "grad_norm": 0.24656875101387005, |
| "learning_rate": 3.434667208705731e-05, |
| "loss": 0.4591, |
| "step": 567 |
| }, |
| { |
| "epoch": 2.9583333333333335, |
| "grad_norm": 0.23489677568963058, |
| "learning_rate": 3.4202725627710136e-05, |
| "loss": 0.4482, |
| "step": 568 |
| }, |
| { |
| "epoch": 2.9635416666666665, |
| "grad_norm": 0.24050992002615987, |
| "learning_rate": 3.405885581544697e-05, |
| "loss": 0.4485, |
| "step": 569 |
| }, |
| { |
| "epoch": 2.96875, |
| "grad_norm": 0.25902746255303943, |
| "learning_rate": 3.3915064552403336e-05, |
| "loss": 0.4537, |
| "step": 570 |
| }, |
| { |
| "epoch": 2.9739583333333335, |
| "grad_norm": 0.229343388911019, |
| "learning_rate": 3.377135373967626e-05, |
| "loss": 0.4457, |
| "step": 571 |
| }, |
| { |
| "epoch": 2.9791666666666665, |
| "grad_norm": 0.24649056308299716, |
| "learning_rate": 3.3627725277299103e-05, |
| "loss": 0.4566, |
| "step": 572 |
| }, |
| { |
| "epoch": 2.984375, |
| "grad_norm": 0.26355043835959246, |
| "learning_rate": 3.3484181064216456e-05, |
| "loss": 0.4494, |
| "step": 573 |
| }, |
| { |
| "epoch": 2.9895833333333335, |
| "grad_norm": 0.22852954346477478, |
| "learning_rate": 3.3340722998259036e-05, |
| "loss": 0.4501, |
| "step": 574 |
| }, |
| { |
| "epoch": 2.9947916666666665, |
| "grad_norm": 0.2632160947514986, |
| "learning_rate": 3.3197352976118583e-05, |
| "loss": 0.4534, |
| "step": 575 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 0.2738429393057102, |
| "learning_rate": 3.305407289332279e-05, |
| "loss": 0.4475, |
| "step": 576 |
| }, |
| { |
| "epoch": 3.0052083333333335, |
| "grad_norm": 0.28491859503588146, |
| "learning_rate": 3.291088464421026e-05, |
| "loss": 0.4182, |
| "step": 577 |
| }, |
| { |
| "epoch": 3.0104166666666665, |
| "grad_norm": 0.2807795518479234, |
| "learning_rate": 3.2767790121905396e-05, |
| "loss": 0.4173, |
| "step": 578 |
| }, |
| { |
| "epoch": 3.015625, |
| "grad_norm": 0.26172408606370545, |
| "learning_rate": 3.262479121829347e-05, |
| "loss": 0.4161, |
| "step": 579 |
| }, |
| { |
| "epoch": 3.0208333333333335, |
| "grad_norm": 0.32179646850977445, |
| "learning_rate": 3.248188982399553e-05, |
| "loss": 0.4209, |
| "step": 580 |
| }, |
| { |
| "epoch": 3.0260416666666665, |
| "grad_norm": 0.3080496409126784, |
| "learning_rate": 3.233908782834344e-05, |
| "loss": 0.4188, |
| "step": 581 |
| }, |
| { |
| "epoch": 3.03125, |
| "grad_norm": 0.27349308614695306, |
| "learning_rate": 3.219638711935488e-05, |
| "loss": 0.4207, |
| "step": 582 |
| }, |
| { |
| "epoch": 3.0364583333333335, |
| "grad_norm": 0.3046633768967616, |
| "learning_rate": 3.20537895837084e-05, |
| "loss": 0.4232, |
| "step": 583 |
| }, |
| { |
| "epoch": 3.0416666666666665, |
| "grad_norm": 0.25471654312431574, |
| "learning_rate": 3.191129710671849e-05, |
| "loss": 0.4145, |
| "step": 584 |
| }, |
| { |
| "epoch": 3.046875, |
| "grad_norm": 0.2964811270172107, |
| "learning_rate": 3.176891157231061e-05, |
| "loss": 0.4166, |
| "step": 585 |
| }, |
| { |
| "epoch": 3.0520833333333335, |
| "grad_norm": 0.24829569644080027, |
| "learning_rate": 3.162663486299632e-05, |
| "loss": 0.4155, |
| "step": 586 |
| }, |
| { |
| "epoch": 3.0572916666666665, |
| "grad_norm": 0.26623858818993734, |
| "learning_rate": 3.1484468859848385e-05, |
| "loss": 0.4138, |
| "step": 587 |
| }, |
| { |
| "epoch": 3.0625, |
| "grad_norm": 0.2584468094577521, |
| "learning_rate": 3.134241544247589e-05, |
| "loss": 0.4203, |
| "step": 588 |
| }, |
| { |
| "epoch": 3.0677083333333335, |
| "grad_norm": 0.3024872409928606, |
| "learning_rate": 3.1200476488999386e-05, |
| "loss": 0.4175, |
| "step": 589 |
| }, |
| { |
| "epoch": 3.0729166666666665, |
| "grad_norm": 0.25710727182009974, |
| "learning_rate": 3.1058653876026105e-05, |
| "loss": 0.4168, |
| "step": 590 |
| }, |
| { |
| "epoch": 3.078125, |
| "grad_norm": 0.2591118921336895, |
| "learning_rate": 3.091694947862508e-05, |
| "loss": 0.4171, |
| "step": 591 |
| }, |
| { |
| "epoch": 3.0833333333333335, |
| "grad_norm": 0.26161070790400337, |
| "learning_rate": 3.07753651703024e-05, |
| "loss": 0.4126, |
| "step": 592 |
| }, |
| { |
| "epoch": 3.0885416666666665, |
| "grad_norm": 0.25166103519691146, |
| "learning_rate": 3.0633902822976436e-05, |
| "loss": 0.4137, |
| "step": 593 |
| }, |
| { |
| "epoch": 3.09375, |
| "grad_norm": 0.25286155571906127, |
| "learning_rate": 3.0492564306953083e-05, |
| "loss": 0.4187, |
| "step": 594 |
| }, |
| { |
| "epoch": 3.0989583333333335, |
| "grad_norm": 0.22782460876585586, |
| "learning_rate": 3.0351351490901026e-05, |
| "loss": 0.4143, |
| "step": 595 |
| }, |
| { |
| "epoch": 3.1041666666666665, |
| "grad_norm": 0.22111823960972826, |
| "learning_rate": 3.0210266241827047e-05, |
| "loss": 0.4158, |
| "step": 596 |
| }, |
| { |
| "epoch": 3.109375, |
| "grad_norm": 0.2280181334525875, |
| "learning_rate": 3.0069310425051346e-05, |
| "loss": 0.4158, |
| "step": 597 |
| }, |
| { |
| "epoch": 3.1145833333333335, |
| "grad_norm": 0.20706760936102733, |
| "learning_rate": 2.9928485904182865e-05, |
| "loss": 0.4108, |
| "step": 598 |
| }, |
| { |
| "epoch": 3.1197916666666665, |
| "grad_norm": 0.22480257374782053, |
| "learning_rate": 2.978779454109462e-05, |
| "loss": 0.4256, |
| "step": 599 |
| }, |
| { |
| "epoch": 3.125, |
| "grad_norm": 0.23939515077401757, |
| "learning_rate": 2.9647238195899168e-05, |
| "loss": 0.4149, |
| "step": 600 |
| }, |
| { |
| "epoch": 3.1302083333333335, |
| "grad_norm": 0.17456992872348015, |
| "learning_rate": 2.9506818726923953e-05, |
| "loss": 0.4149, |
| "step": 601 |
| }, |
| { |
| "epoch": 3.1354166666666665, |
| "grad_norm": 0.21304744930259548, |
| "learning_rate": 2.936653799068669e-05, |
| "loss": 0.4125, |
| "step": 602 |
| }, |
| { |
| "epoch": 3.140625, |
| "grad_norm": 0.18301595333358603, |
| "learning_rate": 2.9226397841870963e-05, |
| "loss": 0.4184, |
| "step": 603 |
| }, |
| { |
| "epoch": 3.1458333333333335, |
| "grad_norm": 0.23450873925351787, |
| "learning_rate": 2.9086400133301573e-05, |
| "loss": 0.4129, |
| "step": 604 |
| }, |
| { |
| "epoch": 3.1510416666666665, |
| "grad_norm": 0.21539007313064668, |
| "learning_rate": 2.894654671592007e-05, |
| "loss": 0.4201, |
| "step": 605 |
| }, |
| { |
| "epoch": 3.15625, |
| "grad_norm": 0.1675366533632639, |
| "learning_rate": 2.8806839438760322e-05, |
| "loss": 0.4146, |
| "step": 606 |
| }, |
| { |
| "epoch": 3.1614583333333335, |
| "grad_norm": 0.1927044347100303, |
| "learning_rate": 2.866728014892405e-05, |
| "loss": 0.4066, |
| "step": 607 |
| }, |
| { |
| "epoch": 3.1666666666666665, |
| "grad_norm": 0.14306975018159754, |
| "learning_rate": 2.8527870691556404e-05, |
| "loss": 0.4174, |
| "step": 608 |
| }, |
| { |
| "epoch": 3.171875, |
| "grad_norm": 0.15991300490884588, |
| "learning_rate": 2.8388612909821515e-05, |
| "loss": 0.4171, |
| "step": 609 |
| }, |
| { |
| "epoch": 3.1770833333333335, |
| "grad_norm": 0.16271210686815982, |
| "learning_rate": 2.8249508644878224e-05, |
| "loss": 0.4112, |
| "step": 610 |
| }, |
| { |
| "epoch": 3.1822916666666665, |
| "grad_norm": 0.15416111482216824, |
| "learning_rate": 2.811055973585571e-05, |
| "loss": 0.4186, |
| "step": 611 |
| }, |
| { |
| "epoch": 3.1875, |
| "grad_norm": 0.1633889204995666, |
| "learning_rate": 2.7971768019829083e-05, |
| "loss": 0.4123, |
| "step": 612 |
| }, |
| { |
| "epoch": 3.1927083333333335, |
| "grad_norm": 0.1508686030997112, |
| "learning_rate": 2.783313533179523e-05, |
| "loss": 0.4143, |
| "step": 613 |
| }, |
| { |
| "epoch": 3.1979166666666665, |
| "grad_norm": 0.1653827367345216, |
| "learning_rate": 2.769466350464847e-05, |
| "loss": 0.4148, |
| "step": 614 |
| }, |
| { |
| "epoch": 3.203125, |
| "grad_norm": 0.14575140162564396, |
| "learning_rate": 2.755635436915637e-05, |
| "loss": 0.4152, |
| "step": 615 |
| }, |
| { |
| "epoch": 3.2083333333333335, |
| "grad_norm": 0.18141176512396068, |
| "learning_rate": 2.7418209753935464e-05, |
| "loss": 0.4232, |
| "step": 616 |
| }, |
| { |
| "epoch": 3.2135416666666665, |
| "grad_norm": 0.1710773962842752, |
| "learning_rate": 2.7280231485427143e-05, |
| "loss": 0.4213, |
| "step": 617 |
| }, |
| { |
| "epoch": 3.21875, |
| "grad_norm": 0.19523392780266202, |
| "learning_rate": 2.7142421387873548e-05, |
| "loss": 0.4182, |
| "step": 618 |
| }, |
| { |
| "epoch": 3.2239583333333335, |
| "grad_norm": 0.19312809183976587, |
| "learning_rate": 2.70047812832933e-05, |
| "loss": 0.4257, |
| "step": 619 |
| }, |
| { |
| "epoch": 3.2291666666666665, |
| "grad_norm": 0.1756156762884247, |
| "learning_rate": 2.6867312991457563e-05, |
| "loss": 0.4157, |
| "step": 620 |
| }, |
| { |
| "epoch": 3.234375, |
| "grad_norm": 0.16748679081748216, |
| "learning_rate": 2.673001832986593e-05, |
| "loss": 0.4267, |
| "step": 621 |
| }, |
| { |
| "epoch": 3.2395833333333335, |
| "grad_norm": 0.17792663773623071, |
| "learning_rate": 2.659289911372234e-05, |
| "loss": 0.4223, |
| "step": 622 |
| }, |
| { |
| "epoch": 3.2447916666666665, |
| "grad_norm": 0.14441761729327057, |
| "learning_rate": 2.645595715591119e-05, |
| "loss": 0.4149, |
| "step": 623 |
| }, |
| { |
| "epoch": 3.25, |
| "grad_norm": 0.1648776442231838, |
| "learning_rate": 2.6319194266973256e-05, |
| "loss": 0.4166, |
| "step": 624 |
| }, |
| { |
| "epoch": 3.2552083333333335, |
| "grad_norm": 0.14526955777282594, |
| "learning_rate": 2.6182612255081833e-05, |
| "loss": 0.4084, |
| "step": 625 |
| }, |
| { |
| "epoch": 3.2604166666666665, |
| "grad_norm": 0.15466272466107275, |
| "learning_rate": 2.6046212926018774e-05, |
| "loss": 0.4165, |
| "step": 626 |
| }, |
| { |
| "epoch": 3.265625, |
| "grad_norm": 0.14227614845697972, |
| "learning_rate": 2.5909998083150662e-05, |
| "loss": 0.4132, |
| "step": 627 |
| }, |
| { |
| "epoch": 3.2708333333333335, |
| "grad_norm": 0.1606246737077625, |
| "learning_rate": 2.577396952740495e-05, |
| "loss": 0.4183, |
| "step": 628 |
| }, |
| { |
| "epoch": 3.2760416666666665, |
| "grad_norm": 0.15860706147682338, |
| "learning_rate": 2.5638129057246116e-05, |
| "loss": 0.4152, |
| "step": 629 |
| }, |
| { |
| "epoch": 3.28125, |
| "grad_norm": 0.16859215182896237, |
| "learning_rate": 2.550247846865194e-05, |
| "loss": 0.4181, |
| "step": 630 |
| }, |
| { |
| "epoch": 3.2864583333333335, |
| "grad_norm": 0.163403721843303, |
| "learning_rate": 2.5367019555089742e-05, |
| "loss": 0.4144, |
| "step": 631 |
| }, |
| { |
| "epoch": 3.2916666666666665, |
| "grad_norm": 0.18558361962323933, |
| "learning_rate": 2.523175410749263e-05, |
| "loss": 0.4165, |
| "step": 632 |
| }, |
| { |
| "epoch": 3.296875, |
| "grad_norm": 0.17457848823155608, |
| "learning_rate": 2.5096683914235884e-05, |
| "loss": 0.4097, |
| "step": 633 |
| }, |
| { |
| "epoch": 3.3020833333333335, |
| "grad_norm": 0.14919244436892753, |
| "learning_rate": 2.4961810761113282e-05, |
| "loss": 0.4147, |
| "step": 634 |
| }, |
| { |
| "epoch": 3.3072916666666665, |
| "grad_norm": 0.17843851639929606, |
| "learning_rate": 2.482713643131347e-05, |
| "loss": 0.4208, |
| "step": 635 |
| }, |
| { |
| "epoch": 3.3125, |
| "grad_norm": 0.16405105758957236, |
| "learning_rate": 2.4692662705396412e-05, |
| "loss": 0.4138, |
| "step": 636 |
| }, |
| { |
| "epoch": 3.3177083333333335, |
| "grad_norm": 0.15202752791075796, |
| "learning_rate": 2.4558391361269856e-05, |
| "loss": 0.421, |
| "step": 637 |
| }, |
| { |
| "epoch": 3.3229166666666665, |
| "grad_norm": 0.17580673124142135, |
| "learning_rate": 2.4424324174165808e-05, |
| "loss": 0.4136, |
| "step": 638 |
| }, |
| { |
| "epoch": 3.328125, |
| "grad_norm": 0.13302029062596274, |
| "learning_rate": 2.4290462916617043e-05, |
| "loss": 0.4147, |
| "step": 639 |
| }, |
| { |
| "epoch": 3.3333333333333335, |
| "grad_norm": 0.16065794095128882, |
| "learning_rate": 2.4156809358433728e-05, |
| "loss": 0.4118, |
| "step": 640 |
| }, |
| { |
| "epoch": 3.3385416666666665, |
| "grad_norm": 0.14830706139218164, |
| "learning_rate": 2.4023365266679984e-05, |
| "loss": 0.4083, |
| "step": 641 |
| }, |
| { |
| "epoch": 3.34375, |
| "grad_norm": 0.15947393393327283, |
| "learning_rate": 2.389013240565052e-05, |
| "loss": 0.426, |
| "step": 642 |
| }, |
| { |
| "epoch": 3.3489583333333335, |
| "grad_norm": 0.15670786913551477, |
| "learning_rate": 2.3757112536847296e-05, |
| "loss": 0.4122, |
| "step": 643 |
| }, |
| { |
| "epoch": 3.3541666666666665, |
| "grad_norm": 0.15123493358826287, |
| "learning_rate": 2.3624307418956298e-05, |
| "loss": 0.4143, |
| "step": 644 |
| }, |
| { |
| "epoch": 3.359375, |
| "grad_norm": 0.15787518914777796, |
| "learning_rate": 2.3491718807824216e-05, |
| "loss": 0.4226, |
| "step": 645 |
| }, |
| { |
| "epoch": 3.3645833333333335, |
| "grad_norm": 0.1407544559499338, |
| "learning_rate": 2.3359348456435243e-05, |
| "loss": 0.4149, |
| "step": 646 |
| }, |
| { |
| "epoch": 3.3697916666666665, |
| "grad_norm": 0.1581648481886214, |
| "learning_rate": 2.322719811488794e-05, |
| "loss": 0.4151, |
| "step": 647 |
| }, |
| { |
| "epoch": 3.375, |
| "grad_norm": 0.1469905696417171, |
| "learning_rate": 2.3095269530372032e-05, |
| "loss": 0.4177, |
| "step": 648 |
| }, |
| { |
| "epoch": 3.3802083333333335, |
| "grad_norm": 0.1506486393618422, |
| "learning_rate": 2.296356444714537e-05, |
| "loss": 0.4154, |
| "step": 649 |
| }, |
| { |
| "epoch": 3.3854166666666665, |
| "grad_norm": 0.13971040152271555, |
| "learning_rate": 2.2832084606510848e-05, |
| "loss": 0.4237, |
| "step": 650 |
| }, |
| { |
| "epoch": 3.390625, |
| "grad_norm": 0.14977415226709087, |
| "learning_rate": 2.2700831746793346e-05, |
| "loss": 0.4204, |
| "step": 651 |
| }, |
| { |
| "epoch": 3.3958333333333335, |
| "grad_norm": 0.1279863638984086, |
| "learning_rate": 2.2569807603316836e-05, |
| "loss": 0.4112, |
| "step": 652 |
| }, |
| { |
| "epoch": 3.4010416666666665, |
| "grad_norm": 0.16670824040888058, |
| "learning_rate": 2.2439013908381296e-05, |
| "loss": 0.4214, |
| "step": 653 |
| }, |
| { |
| "epoch": 3.40625, |
| "grad_norm": 0.13048061345907816, |
| "learning_rate": 2.2308452391239958e-05, |
| "loss": 0.4214, |
| "step": 654 |
| }, |
| { |
| "epoch": 3.4114583333333335, |
| "grad_norm": 0.18128286931431092, |
| "learning_rate": 2.217812477807635e-05, |
| "loss": 0.4126, |
| "step": 655 |
| }, |
| { |
| "epoch": 3.4166666666666665, |
| "grad_norm": 0.1284871982068144, |
| "learning_rate": 2.2048032791981515e-05, |
| "loss": 0.4195, |
| "step": 656 |
| }, |
| { |
| "epoch": 3.421875, |
| "grad_norm": 0.15799131894651652, |
| "learning_rate": 2.1918178152931215e-05, |
| "loss": 0.4201, |
| "step": 657 |
| }, |
| { |
| "epoch": 3.4270833333333335, |
| "grad_norm": 0.1307117557914865, |
| "learning_rate": 2.1788562577763192e-05, |
| "loss": 0.413, |
| "step": 658 |
| }, |
| { |
| "epoch": 3.4322916666666665, |
| "grad_norm": 0.14571259717412616, |
| "learning_rate": 2.1659187780154457e-05, |
| "loss": 0.4171, |
| "step": 659 |
| }, |
| { |
| "epoch": 3.4375, |
| "grad_norm": 0.12941763651802551, |
| "learning_rate": 2.1530055470598654e-05, |
| "loss": 0.4164, |
| "step": 660 |
| }, |
| { |
| "epoch": 3.4427083333333335, |
| "grad_norm": 0.14299962380710976, |
| "learning_rate": 2.140116735638344e-05, |
| "loss": 0.4165, |
| "step": 661 |
| }, |
| { |
| "epoch": 3.4479166666666665, |
| "grad_norm": 0.13811757013699152, |
| "learning_rate": 2.1272525141567925e-05, |
| "loss": 0.4276, |
| "step": 662 |
| }, |
| { |
| "epoch": 3.453125, |
| "grad_norm": 0.128677354634519, |
| "learning_rate": 2.1144130526960093e-05, |
| "loss": 0.4142, |
| "step": 663 |
| }, |
| { |
| "epoch": 3.4583333333333335, |
| "grad_norm": 0.13602156866234685, |
| "learning_rate": 2.1015985210094385e-05, |
| "loss": 0.4155, |
| "step": 664 |
| }, |
| { |
| "epoch": 3.4635416666666665, |
| "grad_norm": 0.13933027498675804, |
| "learning_rate": 2.08880908852092e-05, |
| "loss": 0.4223, |
| "step": 665 |
| }, |
| { |
| "epoch": 3.46875, |
| "grad_norm": 0.1492265109407722, |
| "learning_rate": 2.0760449243224504e-05, |
| "loss": 0.4187, |
| "step": 666 |
| }, |
| { |
| "epoch": 3.4739583333333335, |
| "grad_norm": 0.13712857642563353, |
| "learning_rate": 2.0633061971719498e-05, |
| "loss": 0.4178, |
| "step": 667 |
| }, |
| { |
| "epoch": 3.4791666666666665, |
| "grad_norm": 0.149105600826208, |
| "learning_rate": 2.050593075491031e-05, |
| "loss": 0.4172, |
| "step": 668 |
| }, |
| { |
| "epoch": 3.484375, |
| "grad_norm": 0.13804280525048446, |
| "learning_rate": 2.0379057273627683e-05, |
| "loss": 0.4139, |
| "step": 669 |
| }, |
| { |
| "epoch": 3.4895833333333335, |
| "grad_norm": 0.13491058802438693, |
| "learning_rate": 2.025244320529479e-05, |
| "loss": 0.4143, |
| "step": 670 |
| }, |
| { |
| "epoch": 3.4947916666666665, |
| "grad_norm": 0.131856779370611, |
| "learning_rate": 2.012609022390505e-05, |
| "loss": 0.4274, |
| "step": 671 |
| }, |
| { |
| "epoch": 3.5, |
| "grad_norm": 0.13880621853954142, |
| "learning_rate": 2.0000000000000012e-05, |
| "loss": 0.4151, |
| "step": 672 |
| }, |
| { |
| "epoch": 3.5052083333333335, |
| "grad_norm": 0.13963605223323874, |
| "learning_rate": 1.987417420064718e-05, |
| "loss": 0.4186, |
| "step": 673 |
| }, |
| { |
| "epoch": 3.5104166666666665, |
| "grad_norm": 0.15160361793772806, |
| "learning_rate": 1.9748614489418118e-05, |
| "loss": 0.4163, |
| "step": 674 |
| }, |
| { |
| "epoch": 3.515625, |
| "grad_norm": 0.14356430574819298, |
| "learning_rate": 1.962332252636633e-05, |
| "loss": 0.4157, |
| "step": 675 |
| }, |
| { |
| "epoch": 3.5208333333333335, |
| "grad_norm": 0.13873666206717486, |
| "learning_rate": 1.9498299968005393e-05, |
| "loss": 0.4163, |
| "step": 676 |
| }, |
| { |
| "epoch": 3.5260416666666665, |
| "grad_norm": 0.15321981890654965, |
| "learning_rate": 1.9373548467286997e-05, |
| "loss": 0.4152, |
| "step": 677 |
| }, |
| { |
| "epoch": 3.53125, |
| "grad_norm": 0.1273821968040657, |
| "learning_rate": 1.9249069673579136e-05, |
| "loss": 0.4225, |
| "step": 678 |
| }, |
| { |
| "epoch": 3.5364583333333335, |
| "grad_norm": 0.13468714881482768, |
| "learning_rate": 1.912486523264429e-05, |
| "loss": 0.413, |
| "step": 679 |
| }, |
| { |
| "epoch": 3.5416666666666665, |
| "grad_norm": 0.151413677862611, |
| "learning_rate": 1.90009367866176e-05, |
| "loss": 0.419, |
| "step": 680 |
| }, |
| { |
| "epoch": 3.546875, |
| "grad_norm": 0.11455008964444822, |
| "learning_rate": 1.8877285973985282e-05, |
| "loss": 0.4204, |
| "step": 681 |
| }, |
| { |
| "epoch": 3.5520833333333335, |
| "grad_norm": 0.14408077633134836, |
| "learning_rate": 1.875391442956289e-05, |
| "loss": 0.4187, |
| "step": 682 |
| }, |
| { |
| "epoch": 3.5572916666666665, |
| "grad_norm": 0.11874919499452374, |
| "learning_rate": 1.8630823784473656e-05, |
| "loss": 0.4099, |
| "step": 683 |
| }, |
| { |
| "epoch": 3.5625, |
| "grad_norm": 0.12998689645690176, |
| "learning_rate": 1.8508015666127043e-05, |
| "loss": 0.4127, |
| "step": 684 |
| }, |
| { |
| "epoch": 3.5677083333333335, |
| "grad_norm": 0.12324559926942688, |
| "learning_rate": 1.838549169819715e-05, |
| "loss": 0.4138, |
| "step": 685 |
| }, |
| { |
| "epoch": 3.5729166666666665, |
| "grad_norm": 0.1383950918284176, |
| "learning_rate": 1.826325350060121e-05, |
| "loss": 0.4172, |
| "step": 686 |
| }, |
| { |
| "epoch": 3.578125, |
| "grad_norm": 0.1194208629556308, |
| "learning_rate": 1.8141302689478267e-05, |
| "loss": 0.4265, |
| "step": 687 |
| }, |
| { |
| "epoch": 3.5833333333333335, |
| "grad_norm": 0.1353093687393417, |
| "learning_rate": 1.8019640877167763e-05, |
| "loss": 0.4269, |
| "step": 688 |
| }, |
| { |
| "epoch": 3.5885416666666665, |
| "grad_norm": 0.13119352020333014, |
| "learning_rate": 1.7898269672188213e-05, |
| "loss": 0.415, |
| "step": 689 |
| }, |
| { |
| "epoch": 3.59375, |
| "grad_norm": 0.13757710403935858, |
| "learning_rate": 1.7777190679215923e-05, |
| "loss": 0.412, |
| "step": 690 |
| }, |
| { |
| "epoch": 3.5989583333333335, |
| "grad_norm": 0.12768746422959298, |
| "learning_rate": 1.7656405499063813e-05, |
| "loss": 0.4203, |
| "step": 691 |
| }, |
| { |
| "epoch": 3.6041666666666665, |
| "grad_norm": 0.12138584490288708, |
| "learning_rate": 1.753591572866029e-05, |
| "loss": 0.4203, |
| "step": 692 |
| }, |
| { |
| "epoch": 3.609375, |
| "grad_norm": 0.13275602272738993, |
| "learning_rate": 1.7415722961027987e-05, |
| "loss": 0.4207, |
| "step": 693 |
| }, |
| { |
| "epoch": 3.6145833333333335, |
| "grad_norm": 0.13791183627231737, |
| "learning_rate": 1.7295828785262857e-05, |
| "loss": 0.4151, |
| "step": 694 |
| }, |
| { |
| "epoch": 3.6197916666666665, |
| "grad_norm": 0.13039758184155137, |
| "learning_rate": 1.7176234786513087e-05, |
| "loss": 0.4231, |
| "step": 695 |
| }, |
| { |
| "epoch": 3.625, |
| "grad_norm": 0.13649119504269946, |
| "learning_rate": 1.7056942545958167e-05, |
| "loss": 0.42, |
| "step": 696 |
| }, |
| { |
| "epoch": 3.6302083333333335, |
| "grad_norm": 0.13499903004936686, |
| "learning_rate": 1.693795364078794e-05, |
| "loss": 0.4153, |
| "step": 697 |
| }, |
| { |
| "epoch": 3.6354166666666665, |
| "grad_norm": 0.15232542300702467, |
| "learning_rate": 1.68192696441818e-05, |
| "loss": 0.4116, |
| "step": 698 |
| }, |
| { |
| "epoch": 3.640625, |
| "grad_norm": 0.12604696636711074, |
| "learning_rate": 1.670089212528792e-05, |
| "loss": 0.4232, |
| "step": 699 |
| }, |
| { |
| "epoch": 3.6458333333333335, |
| "grad_norm": 0.13195231763197135, |
| "learning_rate": 1.6582822649202382e-05, |
| "loss": 0.4219, |
| "step": 700 |
| }, |
| { |
| "epoch": 3.6510416666666665, |
| "grad_norm": 0.13035130703277115, |
| "learning_rate": 1.646506277694862e-05, |
| "loss": 0.4103, |
| "step": 701 |
| }, |
| { |
| "epoch": 3.65625, |
| "grad_norm": 0.12295778796186425, |
| "learning_rate": 1.6347614065456715e-05, |
| "loss": 0.4151, |
| "step": 702 |
| }, |
| { |
| "epoch": 3.6614583333333335, |
| "grad_norm": 0.1192965887849657, |
| "learning_rate": 1.6230478067542797e-05, |
| "loss": 0.4176, |
| "step": 703 |
| }, |
| { |
| "epoch": 3.6666666666666665, |
| "grad_norm": 0.12246404456980604, |
| "learning_rate": 1.6113656331888563e-05, |
| "loss": 0.4126, |
| "step": 704 |
| }, |
| { |
| "epoch": 3.671875, |
| "grad_norm": 0.1375859619055621, |
| "learning_rate": 1.5997150403020766e-05, |
| "loss": 0.4132, |
| "step": 705 |
| }, |
| { |
| "epoch": 3.6770833333333335, |
| "grad_norm": 0.10956903548752424, |
| "learning_rate": 1.588096182129082e-05, |
| "loss": 0.4167, |
| "step": 706 |
| }, |
| { |
| "epoch": 3.6822916666666665, |
| "grad_norm": 0.13084801145161873, |
| "learning_rate": 1.57650921228544e-05, |
| "loss": 0.4213, |
| "step": 707 |
| }, |
| { |
| "epoch": 3.6875, |
| "grad_norm": 0.11816234771802438, |
| "learning_rate": 1.5649542839651175e-05, |
| "loss": 0.4166, |
| "step": 708 |
| }, |
| { |
| "epoch": 3.6927083333333335, |
| "grad_norm": 0.11459047298216911, |
| "learning_rate": 1.553431549938452e-05, |
| "loss": 0.4152, |
| "step": 709 |
| }, |
| { |
| "epoch": 3.6979166666666665, |
| "grad_norm": 0.12662117557235886, |
| "learning_rate": 1.5419411625501302e-05, |
| "loss": 0.4127, |
| "step": 710 |
| }, |
| { |
| "epoch": 3.703125, |
| "grad_norm": 0.110833404443231, |
| "learning_rate": 1.530483273717181e-05, |
| "loss": 0.415, |
| "step": 711 |
| }, |
| { |
| "epoch": 3.7083333333333335, |
| "grad_norm": 0.11400585673441407, |
| "learning_rate": 1.5190580349269604e-05, |
| "loss": 0.4079, |
| "step": 712 |
| }, |
| { |
| "epoch": 3.7135416666666665, |
| "grad_norm": 0.11499137871226821, |
| "learning_rate": 1.5076655972351507e-05, |
| "loss": 0.4101, |
| "step": 713 |
| }, |
| { |
| "epoch": 3.71875, |
| "grad_norm": 0.12982626593064933, |
| "learning_rate": 1.4963061112637637e-05, |
| "loss": 0.417, |
| "step": 714 |
| }, |
| { |
| "epoch": 3.7239583333333335, |
| "grad_norm": 0.10837068390606402, |
| "learning_rate": 1.4849797271991495e-05, |
| "loss": 0.4135, |
| "step": 715 |
| }, |
| { |
| "epoch": 3.7291666666666665, |
| "grad_norm": 0.11732800055425159, |
| "learning_rate": 1.4736865947900106e-05, |
| "loss": 0.4231, |
| "step": 716 |
| }, |
| { |
| "epoch": 3.734375, |
| "grad_norm": 0.10764039158457943, |
| "learning_rate": 1.4624268633454187e-05, |
| "loss": 0.4247, |
| "step": 717 |
| }, |
| { |
| "epoch": 3.7395833333333335, |
| "grad_norm": 0.12851195837331011, |
| "learning_rate": 1.4512006817328472e-05, |
| "loss": 0.4212, |
| "step": 718 |
| }, |
| { |
| "epoch": 3.7447916666666665, |
| "grad_norm": 0.1155870694587358, |
| "learning_rate": 1.4400081983761984e-05, |
| "loss": 0.4146, |
| "step": 719 |
| }, |
| { |
| "epoch": 3.75, |
| "grad_norm": 0.12106065935727812, |
| "learning_rate": 1.4288495612538427e-05, |
| "loss": 0.4209, |
| "step": 720 |
| }, |
| { |
| "epoch": 3.7552083333333335, |
| "grad_norm": 0.12270699282467767, |
| "learning_rate": 1.4177249178966608e-05, |
| "loss": 0.4229, |
| "step": 721 |
| }, |
| { |
| "epoch": 3.7604166666666665, |
| "grad_norm": 0.1267683507041968, |
| "learning_rate": 1.406634415386095e-05, |
| "loss": 0.425, |
| "step": 722 |
| }, |
| { |
| "epoch": 3.765625, |
| "grad_norm": 0.11873425020651938, |
| "learning_rate": 1.3955782003522043e-05, |
| "loss": 0.4193, |
| "step": 723 |
| }, |
| { |
| "epoch": 3.7708333333333335, |
| "grad_norm": 0.1250535698942927, |
| "learning_rate": 1.3845564189717218e-05, |
| "loss": 0.4209, |
| "step": 724 |
| }, |
| { |
| "epoch": 3.7760416666666665, |
| "grad_norm": 0.12343112052356159, |
| "learning_rate": 1.373569216966129e-05, |
| "loss": 0.4196, |
| "step": 725 |
| }, |
| { |
| "epoch": 3.78125, |
| "grad_norm": 0.12315740063163286, |
| "learning_rate": 1.3626167395997247e-05, |
| "loss": 0.4211, |
| "step": 726 |
| }, |
| { |
| "epoch": 3.7864583333333335, |
| "grad_norm": 0.12332613537758451, |
| "learning_rate": 1.351699131677705e-05, |
| "loss": 0.4174, |
| "step": 727 |
| }, |
| { |
| "epoch": 3.7916666666666665, |
| "grad_norm": 0.1152876228189935, |
| "learning_rate": 1.3408165375442486e-05, |
| "loss": 0.4165, |
| "step": 728 |
| }, |
| { |
| "epoch": 3.796875, |
| "grad_norm": 0.11602662193035912, |
| "learning_rate": 1.3299691010806112e-05, |
| "loss": 0.4166, |
| "step": 729 |
| }, |
| { |
| "epoch": 3.8020833333333335, |
| "grad_norm": 0.12451140051983674, |
| "learning_rate": 1.319156965703217e-05, |
| "loss": 0.4173, |
| "step": 730 |
| }, |
| { |
| "epoch": 3.8072916666666665, |
| "grad_norm": 0.12541686133402594, |
| "learning_rate": 1.3083802743617699e-05, |
| "loss": 0.4194, |
| "step": 731 |
| }, |
| { |
| "epoch": 3.8125, |
| "grad_norm": 0.12690944731043471, |
| "learning_rate": 1.297639169537359e-05, |
| "loss": 0.4201, |
| "step": 732 |
| }, |
| { |
| "epoch": 3.8177083333333335, |
| "grad_norm": 0.12040322610732845, |
| "learning_rate": 1.2869337932405764e-05, |
| "loss": 0.4155, |
| "step": 733 |
| }, |
| { |
| "epoch": 3.8229166666666665, |
| "grad_norm": 0.12058205613812571, |
| "learning_rate": 1.2762642870096377e-05, |
| "loss": 0.416, |
| "step": 734 |
| }, |
| { |
| "epoch": 3.828125, |
| "grad_norm": 0.11878375864388548, |
| "learning_rate": 1.2656307919085146e-05, |
| "loss": 0.4193, |
| "step": 735 |
| }, |
| { |
| "epoch": 3.8333333333333335, |
| "grad_norm": 0.11121140017945381, |
| "learning_rate": 1.2550334485250661e-05, |
| "loss": 0.4225, |
| "step": 736 |
| }, |
| { |
| "epoch": 3.8385416666666665, |
| "grad_norm": 0.12707918357857953, |
| "learning_rate": 1.24447239696918e-05, |
| "loss": 0.4125, |
| "step": 737 |
| }, |
| { |
| "epoch": 3.84375, |
| "grad_norm": 0.12001036957146603, |
| "learning_rate": 1.233947776870923e-05, |
| "loss": 0.4121, |
| "step": 738 |
| }, |
| { |
| "epoch": 3.8489583333333335, |
| "grad_norm": 0.11535323017417397, |
| "learning_rate": 1.2234597273786944e-05, |
| "loss": 0.4168, |
| "step": 739 |
| }, |
| { |
| "epoch": 3.8541666666666665, |
| "grad_norm": 0.1160191285731607, |
| "learning_rate": 1.2130083871573812e-05, |
| "loss": 0.4239, |
| "step": 740 |
| }, |
| { |
| "epoch": 3.859375, |
| "grad_norm": 0.1100398521853248, |
| "learning_rate": 1.2025938943865313e-05, |
| "loss": 0.4185, |
| "step": 741 |
| }, |
| { |
| "epoch": 3.8645833333333335, |
| "grad_norm": 0.12081765224099172, |
| "learning_rate": 1.1922163867585268e-05, |
| "loss": 0.4156, |
| "step": 742 |
| }, |
| { |
| "epoch": 3.8697916666666665, |
| "grad_norm": 0.11417786400727832, |
| "learning_rate": 1.1818760014767582e-05, |
| "loss": 0.4247, |
| "step": 743 |
| }, |
| { |
| "epoch": 3.875, |
| "grad_norm": 0.11489515833127817, |
| "learning_rate": 1.1715728752538103e-05, |
| "loss": 0.4218, |
| "step": 744 |
| }, |
| { |
| "epoch": 3.8802083333333335, |
| "grad_norm": 0.12006460353944515, |
| "learning_rate": 1.161307144309661e-05, |
| "loss": 0.422, |
| "step": 745 |
| }, |
| { |
| "epoch": 3.8854166666666665, |
| "grad_norm": 0.11271743321059714, |
| "learning_rate": 1.1510789443698772e-05, |
| "loss": 0.4212, |
| "step": 746 |
| }, |
| { |
| "epoch": 3.890625, |
| "grad_norm": 0.11376383835941546, |
| "learning_rate": 1.1408884106638155e-05, |
| "loss": 0.4174, |
| "step": 747 |
| }, |
| { |
| "epoch": 3.8958333333333335, |
| "grad_norm": 0.1154497351332016, |
| "learning_rate": 1.130735677922842e-05, |
| "loss": 0.4133, |
| "step": 748 |
| }, |
| { |
| "epoch": 3.9010416666666665, |
| "grad_norm": 0.10473903189927368, |
| "learning_rate": 1.1206208803785495e-05, |
| "loss": 0.4151, |
| "step": 749 |
| }, |
| { |
| "epoch": 3.90625, |
| "grad_norm": 0.11550329038411378, |
| "learning_rate": 1.110544151760978e-05, |
| "loss": 0.4185, |
| "step": 750 |
| }, |
| { |
| "epoch": 3.9114583333333335, |
| "grad_norm": 0.11029213126940116, |
| "learning_rate": 1.1005056252968487e-05, |
| "loss": 0.4195, |
| "step": 751 |
| }, |
| { |
| "epoch": 3.9166666666666665, |
| "grad_norm": 0.11340821627515668, |
| "learning_rate": 1.0905054337078051e-05, |
| "loss": 0.4254, |
| "step": 752 |
| }, |
| { |
| "epoch": 3.921875, |
| "grad_norm": 0.117482369095359, |
| "learning_rate": 1.0805437092086586e-05, |
| "loss": 0.4139, |
| "step": 753 |
| }, |
| { |
| "epoch": 3.9270833333333335, |
| "grad_norm": 0.11340448972529782, |
| "learning_rate": 1.0706205835056326e-05, |
| "loss": 0.4176, |
| "step": 754 |
| }, |
| { |
| "epoch": 3.9322916666666665, |
| "grad_norm": 0.1311260920900554, |
| "learning_rate": 1.0607361877946327e-05, |
| "loss": 0.423, |
| "step": 755 |
| }, |
| { |
| "epoch": 3.9375, |
| "grad_norm": 0.12808188667287435, |
| "learning_rate": 1.0508906527595042e-05, |
| "loss": 0.4141, |
| "step": 756 |
| }, |
| { |
| "epoch": 3.9427083333333335, |
| "grad_norm": 0.11537958395935753, |
| "learning_rate": 1.0410841085703067e-05, |
| "loss": 0.4175, |
| "step": 757 |
| }, |
| { |
| "epoch": 3.9479166666666665, |
| "grad_norm": 0.11701877748193842, |
| "learning_rate": 1.0313166848815931e-05, |
| "loss": 0.4117, |
| "step": 758 |
| }, |
| { |
| "epoch": 3.953125, |
| "grad_norm": 0.12596071288004695, |
| "learning_rate": 1.021588510830695e-05, |
| "loss": 0.4126, |
| "step": 759 |
| }, |
| { |
| "epoch": 3.9583333333333335, |
| "grad_norm": 0.12682827595144905, |
| "learning_rate": 1.0118997150360169e-05, |
| "loss": 0.4228, |
| "step": 760 |
| }, |
| { |
| "epoch": 3.9635416666666665, |
| "grad_norm": 0.12546067240377218, |
| "learning_rate": 1.0022504255953311e-05, |
| "loss": 0.4247, |
| "step": 761 |
| }, |
| { |
| "epoch": 3.96875, |
| "grad_norm": 0.11906822410046297, |
| "learning_rate": 9.92640770084091e-06, |
| "loss": 0.4219, |
| "step": 762 |
| }, |
| { |
| "epoch": 3.9739583333333335, |
| "grad_norm": 0.11053191018998579, |
| "learning_rate": 9.830708755537391e-06, |
| "loss": 0.4157, |
| "step": 763 |
| }, |
| { |
| "epoch": 3.9791666666666665, |
| "grad_norm": 0.14558302825927794, |
| "learning_rate": 9.735408685300287e-06, |
| "loss": 0.4192, |
| "step": 764 |
| }, |
| { |
| "epoch": 3.984375, |
| "grad_norm": 0.1193348055688612, |
| "learning_rate": 9.640508750113527e-06, |
| "loss": 0.4229, |
| "step": 765 |
| }, |
| { |
| "epoch": 3.9895833333333335, |
| "grad_norm": 0.11063504919656937, |
| "learning_rate": 9.546010204670759e-06, |
| "loss": 0.4207, |
| "step": 766 |
| }, |
| { |
| "epoch": 3.9947916666666665, |
| "grad_norm": 0.10597030272270032, |
| "learning_rate": 9.451914298358745e-06, |
| "loss": 0.422, |
| "step": 767 |
| }, |
| { |
| "epoch": 4.0, |
| "grad_norm": 0.1215806558643114, |
| "learning_rate": 9.358222275240884e-06, |
| "loss": 0.4076, |
| "step": 768 |
| }, |
| { |
| "epoch": 4.005208333333333, |
| "grad_norm": 0.1656942325013044, |
| "learning_rate": 9.264935374040745e-06, |
| "loss": 0.3925, |
| "step": 769 |
| }, |
| { |
| "epoch": 4.010416666666667, |
| "grad_norm": 0.12860022988820713, |
| "learning_rate": 9.172054828125678e-06, |
| "loss": 0.394, |
| "step": 770 |
| }, |
| { |
| "epoch": 4.015625, |
| "grad_norm": 0.13928337732205442, |
| "learning_rate": 9.07958186549052e-06, |
| "loss": 0.3886, |
| "step": 771 |
| }, |
| { |
| "epoch": 4.020833333333333, |
| "grad_norm": 0.1412872298773703, |
| "learning_rate": 8.987517708741364e-06, |
| "loss": 0.4001, |
| "step": 772 |
| }, |
| { |
| "epoch": 4.026041666666667, |
| "grad_norm": 0.14827226984991548, |
| "learning_rate": 8.895863575079389e-06, |
| "loss": 0.4007, |
| "step": 773 |
| }, |
| { |
| "epoch": 4.03125, |
| "grad_norm": 0.1448859228549532, |
| "learning_rate": 8.804620676284736e-06, |
| "loss": 0.3983, |
| "step": 774 |
| }, |
| { |
| "epoch": 4.036458333333333, |
| "grad_norm": 0.1419217440734986, |
| "learning_rate": 8.713790218700545e-06, |
| "loss": 0.3909, |
| "step": 775 |
| }, |
| { |
| "epoch": 4.041666666666667, |
| "grad_norm": 0.1330567169689568, |
| "learning_rate": 8.623373403216972e-06, |
| "loss": 0.3938, |
| "step": 776 |
| }, |
| { |
| "epoch": 4.046875, |
| "grad_norm": 0.13638152150160032, |
| "learning_rate": 8.533371425255321e-06, |
| "loss": 0.3891, |
| "step": 777 |
| }, |
| { |
| "epoch": 4.052083333333333, |
| "grad_norm": 0.14295588845838247, |
| "learning_rate": 8.44378547475222e-06, |
| "loss": 0.4022, |
| "step": 778 |
| }, |
| { |
| "epoch": 4.057291666666667, |
| "grad_norm": 0.128838790883267, |
| "learning_rate": 8.35461673614391e-06, |
| "loss": 0.3882, |
| "step": 779 |
| }, |
| { |
| "epoch": 4.0625, |
| "grad_norm": 0.13281154716497592, |
| "learning_rate": 8.265866388350598e-06, |
| "loss": 0.3956, |
| "step": 780 |
| }, |
| { |
| "epoch": 4.067708333333333, |
| "grad_norm": 0.1380649667325227, |
| "learning_rate": 8.17753560476081e-06, |
| "loss": 0.3967, |
| "step": 781 |
| }, |
| { |
| "epoch": 4.072916666666667, |
| "grad_norm": 0.1331234654273479, |
| "learning_rate": 8.089625553215947e-06, |
| "loss": 0.3979, |
| "step": 782 |
| }, |
| { |
| "epoch": 4.078125, |
| "grad_norm": 0.1382455194661536, |
| "learning_rate": 8.002137395994815e-06, |
| "loss": 0.3967, |
| "step": 783 |
| }, |
| { |
| "epoch": 4.083333333333333, |
| "grad_norm": 0.12791073908185438, |
| "learning_rate": 7.915072289798247e-06, |
| "loss": 0.3913, |
| "step": 784 |
| }, |
| { |
| "epoch": 4.088541666666667, |
| "grad_norm": 0.13365732572439806, |
| "learning_rate": 7.828431385733836e-06, |
| "loss": 0.4014, |
| "step": 785 |
| }, |
| { |
| "epoch": 4.09375, |
| "grad_norm": 0.13011805973279064, |
| "learning_rate": 7.742215829300695e-06, |
| "loss": 0.3944, |
| "step": 786 |
| }, |
| { |
| "epoch": 4.098958333333333, |
| "grad_norm": 0.11317245264912544, |
| "learning_rate": 7.656426760374324e-06, |
| "loss": 0.3911, |
| "step": 787 |
| }, |
| { |
| "epoch": 4.104166666666667, |
| "grad_norm": 0.11706285146739118, |
| "learning_rate": 7.5710653131915125e-06, |
| "loss": 0.3957, |
| "step": 788 |
| }, |
| { |
| "epoch": 4.109375, |
| "grad_norm": 0.12253541643748803, |
| "learning_rate": 7.486132616335395e-06, |
| "loss": 0.4022, |
| "step": 789 |
| }, |
| { |
| "epoch": 4.114583333333333, |
| "grad_norm": 0.12114088607184492, |
| "learning_rate": 7.401629792720495e-06, |
| "loss": 0.392, |
| "step": 790 |
| }, |
| { |
| "epoch": 4.119791666666667, |
| "grad_norm": 0.1087797298993501, |
| "learning_rate": 7.317557959577848e-06, |
| "loss": 0.3919, |
| "step": 791 |
| }, |
| { |
| "epoch": 4.125, |
| "grad_norm": 0.11696943205778443, |
| "learning_rate": 7.233918228440324e-06, |
| "loss": 0.4006, |
| "step": 792 |
| }, |
| { |
| "epoch": 4.130208333333333, |
| "grad_norm": 0.12373716309535572, |
| "learning_rate": 7.150711705127853e-06, |
| "loss": 0.3934, |
| "step": 793 |
| }, |
| { |
| "epoch": 4.135416666666667, |
| "grad_norm": 0.13086125328327972, |
| "learning_rate": 7.067939489732794e-06, |
| "loss": 0.3938, |
| "step": 794 |
| }, |
| { |
| "epoch": 4.140625, |
| "grad_norm": 0.10868818429100814, |
| "learning_rate": 6.9856026766054495e-06, |
| "loss": 0.3924, |
| "step": 795 |
| }, |
| { |
| "epoch": 4.145833333333333, |
| "grad_norm": 0.10584774013768088, |
| "learning_rate": 6.903702354339578e-06, |
| "loss": 0.3954, |
| "step": 796 |
| }, |
| { |
| "epoch": 4.151041666666667, |
| "grad_norm": 0.11681334527802047, |
| "learning_rate": 6.8222396057579895e-06, |
| "loss": 0.3856, |
| "step": 797 |
| }, |
| { |
| "epoch": 4.15625, |
| "grad_norm": 0.10594608306212117, |
| "learning_rate": 6.7412155078981865e-06, |
| "loss": 0.3894, |
| "step": 798 |
| }, |
| { |
| "epoch": 4.161458333333333, |
| "grad_norm": 0.10867505569484845, |
| "learning_rate": 6.66063113199825e-06, |
| "loss": 0.3922, |
| "step": 799 |
| }, |
| { |
| "epoch": 4.166666666666667, |
| "grad_norm": 0.10204127942004476, |
| "learning_rate": 6.58048754348255e-06, |
| "loss": 0.3956, |
| "step": 800 |
| }, |
| { |
| "epoch": 4.171875, |
| "grad_norm": 0.10502116864697705, |
| "learning_rate": 6.5007858019476886e-06, |
| "loss": 0.3885, |
| "step": 801 |
| }, |
| { |
| "epoch": 4.177083333333333, |
| "grad_norm": 0.11054542076846595, |
| "learning_rate": 6.421526961148545e-06, |
| "loss": 0.4008, |
| "step": 802 |
| }, |
| { |
| "epoch": 4.182291666666667, |
| "grad_norm": 0.09241523513212094, |
| "learning_rate": 6.3427120689843e-06, |
| "loss": 0.3983, |
| "step": 803 |
| }, |
| { |
| "epoch": 4.1875, |
| "grad_norm": 0.09668959743755173, |
| "learning_rate": 6.26434216748458e-06, |
| "loss": 0.3982, |
| "step": 804 |
| }, |
| { |
| "epoch": 4.192708333333333, |
| "grad_norm": 0.10785432132837422, |
| "learning_rate": 6.1864182927956795e-06, |
| "loss": 0.3919, |
| "step": 805 |
| }, |
| { |
| "epoch": 4.197916666666667, |
| "grad_norm": 0.10494968370948249, |
| "learning_rate": 6.108941475166879e-06, |
| "loss": 0.3971, |
| "step": 806 |
| }, |
| { |
| "epoch": 4.203125, |
| "grad_norm": 0.0945210792391993, |
| "learning_rate": 6.031912738936849e-06, |
| "loss": 0.3983, |
| "step": 807 |
| }, |
| { |
| "epoch": 4.208333333333333, |
| "grad_norm": 0.0950221535344714, |
| "learning_rate": 5.955333102520011e-06, |
| "loss": 0.3938, |
| "step": 808 |
| }, |
| { |
| "epoch": 4.213541666666667, |
| "grad_norm": 0.10000872686290821, |
| "learning_rate": 5.879203578393186e-06, |
| "loss": 0.3936, |
| "step": 809 |
| }, |
| { |
| "epoch": 4.21875, |
| "grad_norm": 0.11115666333674416, |
| "learning_rate": 5.803525173082145e-06, |
| "loss": 0.3902, |
| "step": 810 |
| }, |
| { |
| "epoch": 4.223958333333333, |
| "grad_norm": 0.09674403027184789, |
| "learning_rate": 5.728298887148289e-06, |
| "loss": 0.3921, |
| "step": 811 |
| }, |
| { |
| "epoch": 4.229166666666667, |
| "grad_norm": 0.09789584227005456, |
| "learning_rate": 5.653525715175483e-06, |
| "loss": 0.3933, |
| "step": 812 |
| }, |
| { |
| "epoch": 4.234375, |
| "grad_norm": 0.10838306123465942, |
| "learning_rate": 5.579206645756845e-06, |
| "loss": 0.3963, |
| "step": 813 |
| }, |
| { |
| "epoch": 4.239583333333333, |
| "grad_norm": 0.09699454184242541, |
| "learning_rate": 5.5053426614817094e-06, |
| "loss": 0.3952, |
| "step": 814 |
| }, |
| { |
| "epoch": 4.244791666666667, |
| "grad_norm": 0.09354253214253051, |
| "learning_rate": 5.431934738922628e-06, |
| "loss": 0.3929, |
| "step": 815 |
| }, |
| { |
| "epoch": 4.25, |
| "grad_norm": 0.09539173737871497, |
| "learning_rate": 5.358983848622452e-06, |
| "loss": 0.3897, |
| "step": 816 |
| }, |
| { |
| "epoch": 4.255208333333333, |
| "grad_norm": 0.10068053915815088, |
| "learning_rate": 5.286490955081518e-06, |
| "loss": 0.4014, |
| "step": 817 |
| }, |
| { |
| "epoch": 4.260416666666667, |
| "grad_norm": 0.09946991926317574, |
| "learning_rate": 5.2144570167448475e-06, |
| "loss": 0.3952, |
| "step": 818 |
| }, |
| { |
| "epoch": 4.265625, |
| "grad_norm": 0.09185433712078238, |
| "learning_rate": 5.14288298598955e-06, |
| "loss": 0.395, |
| "step": 819 |
| }, |
| { |
| "epoch": 4.270833333333333, |
| "grad_norm": 0.09908221224412832, |
| "learning_rate": 5.07176980911217e-06, |
| "loss": 0.3912, |
| "step": 820 |
| }, |
| { |
| "epoch": 4.276041666666667, |
| "grad_norm": 0.10304354034084079, |
| "learning_rate": 5.0011184263162135e-06, |
| "loss": 0.3857, |
| "step": 821 |
| }, |
| { |
| "epoch": 4.28125, |
| "grad_norm": 0.0999895888597769, |
| "learning_rate": 4.930929771699693e-06, |
| "loss": 0.4006, |
| "step": 822 |
| }, |
| { |
| "epoch": 4.286458333333333, |
| "grad_norm": 0.09145588460216589, |
| "learning_rate": 4.86120477324278e-06, |
| "loss": 0.3986, |
| "step": 823 |
| }, |
| { |
| "epoch": 4.291666666666667, |
| "grad_norm": 0.09831166733830275, |
| "learning_rate": 4.791944352795561e-06, |
| "loss": 0.3861, |
| "step": 824 |
| }, |
| { |
| "epoch": 4.296875, |
| "grad_norm": 0.0927179463050325, |
| "learning_rate": 4.723149426065803e-06, |
| "loss": 0.3959, |
| "step": 825 |
| }, |
| { |
| "epoch": 4.302083333333333, |
| "grad_norm": 0.08769893272489984, |
| "learning_rate": 4.654820902606898e-06, |
| "loss": 0.3954, |
| "step": 826 |
| }, |
| { |
| "epoch": 4.307291666666667, |
| "grad_norm": 0.0971674906433509, |
| "learning_rate": 4.586959685805812e-06, |
| "loss": 0.3875, |
| "step": 827 |
| }, |
| { |
| "epoch": 4.3125, |
| "grad_norm": 0.09414542197381501, |
| "learning_rate": 4.519566672871132e-06, |
| "loss": 0.3889, |
| "step": 828 |
| }, |
| { |
| "epoch": 4.317708333333333, |
| "grad_norm": 0.09776469895449759, |
| "learning_rate": 4.452642754821223e-06, |
| "loss": 0.3925, |
| "step": 829 |
| }, |
| { |
| "epoch": 4.322916666666667, |
| "grad_norm": 0.09061883427994111, |
| "learning_rate": 4.386188816472441e-06, |
| "loss": 0.3947, |
| "step": 830 |
| }, |
| { |
| "epoch": 4.328125, |
| "grad_norm": 0.09026902996260563, |
| "learning_rate": 4.320205736427437e-06, |
| "loss": 0.3966, |
| "step": 831 |
| }, |
| { |
| "epoch": 4.333333333333333, |
| "grad_norm": 0.08762611647102633, |
| "learning_rate": 4.254694387063514e-06, |
| "loss": 0.3918, |
| "step": 832 |
| }, |
| { |
| "epoch": 4.338541666666667, |
| "grad_norm": 0.08751750765576291, |
| "learning_rate": 4.189655634521139e-06, |
| "loss": 0.392, |
| "step": 833 |
| }, |
| { |
| "epoch": 4.34375, |
| "grad_norm": 0.09072151365062914, |
| "learning_rate": 4.12509033869247e-06, |
| "loss": 0.4008, |
| "step": 834 |
| }, |
| { |
| "epoch": 4.348958333333333, |
| "grad_norm": 0.09128874110261515, |
| "learning_rate": 4.060999353209969e-06, |
| "loss": 0.395, |
| "step": 835 |
| }, |
| { |
| "epoch": 4.354166666666667, |
| "grad_norm": 0.09135150901607471, |
| "learning_rate": 3.997383525435154e-06, |
| "loss": 0.3946, |
| "step": 836 |
| }, |
| { |
| "epoch": 4.359375, |
| "grad_norm": 0.08601906791065461, |
| "learning_rate": 3.934243696447362e-06, |
| "loss": 0.3933, |
| "step": 837 |
| }, |
| { |
| "epoch": 4.364583333333333, |
| "grad_norm": 0.0919906871373889, |
| "learning_rate": 3.871580701032631e-06, |
| "loss": 0.3976, |
| "step": 838 |
| }, |
| { |
| "epoch": 4.369791666666667, |
| "grad_norm": 0.09386412289382641, |
| "learning_rate": 3.8093953676726946e-06, |
| "loss": 0.3888, |
| "step": 839 |
| }, |
| { |
| "epoch": 4.375, |
| "grad_norm": 0.0902389992707011, |
| "learning_rate": 3.747688518534003e-06, |
| "loss": 0.3913, |
| "step": 840 |
| }, |
| { |
| "epoch": 4.380208333333333, |
| "grad_norm": 0.09756242865548707, |
| "learning_rate": 3.686460969456849e-06, |
| "loss": 0.3919, |
| "step": 841 |
| }, |
| { |
| "epoch": 4.385416666666667, |
| "grad_norm": 0.09623554359260661, |
| "learning_rate": 3.6257135299445943e-06, |
| "loss": 0.3948, |
| "step": 842 |
| }, |
| { |
| "epoch": 4.390625, |
| "grad_norm": 0.09244273714793504, |
| "learning_rate": 3.565447003152964e-06, |
| "loss": 0.3956, |
| "step": 843 |
| }, |
| { |
| "epoch": 4.395833333333333, |
| "grad_norm": 0.10105632412111062, |
| "learning_rate": 3.5056621858794393e-06, |
| "loss": 0.3955, |
| "step": 844 |
| }, |
| { |
| "epoch": 4.401041666666667, |
| "grad_norm": 0.08624554702157261, |
| "learning_rate": 3.4463598685526757e-06, |
| "loss": 0.3904, |
| "step": 845 |
| }, |
| { |
| "epoch": 4.40625, |
| "grad_norm": 0.09611954327094645, |
| "learning_rate": 3.3875408352221164e-06, |
| "loss": 0.4003, |
| "step": 846 |
| }, |
| { |
| "epoch": 4.411458333333333, |
| "grad_norm": 0.09179933731575347, |
| "learning_rate": 3.3292058635476e-06, |
| "loss": 0.3938, |
| "step": 847 |
| }, |
| { |
| "epoch": 4.416666666666667, |
| "grad_norm": 0.10244691533529773, |
| "learning_rate": 3.2713557247890447e-06, |
| "loss": 0.3976, |
| "step": 848 |
| }, |
| { |
| "epoch": 4.421875, |
| "grad_norm": 0.09064451915218345, |
| "learning_rate": 3.21399118379631e-06, |
| "loss": 0.3978, |
| "step": 849 |
| }, |
| { |
| "epoch": 4.427083333333333, |
| "grad_norm": 0.09030579454463528, |
| "learning_rate": 3.157112998999057e-06, |
| "loss": 0.3942, |
| "step": 850 |
| }, |
| { |
| "epoch": 4.432291666666667, |
| "grad_norm": 0.09650315420802383, |
| "learning_rate": 3.1007219223967167e-06, |
| "loss": 0.3884, |
| "step": 851 |
| }, |
| { |
| "epoch": 4.4375, |
| "grad_norm": 0.08945216729028628, |
| "learning_rate": 3.0448186995485307e-06, |
| "loss": 0.3928, |
| "step": 852 |
| }, |
| { |
| "epoch": 4.442708333333333, |
| "grad_norm": 0.09037542028244394, |
| "learning_rate": 2.989404069563744e-06, |
| "loss": 0.392, |
| "step": 853 |
| }, |
| { |
| "epoch": 4.447916666666667, |
| "grad_norm": 0.086012669249868, |
| "learning_rate": 2.934478765091795e-06, |
| "loss": 0.3941, |
| "step": 854 |
| }, |
| { |
| "epoch": 4.453125, |
| "grad_norm": 0.09214978982722202, |
| "learning_rate": 2.8800435123126223e-06, |
| "loss": 0.3965, |
| "step": 855 |
| }, |
| { |
| "epoch": 4.458333333333333, |
| "grad_norm": 0.09214829597512476, |
| "learning_rate": 2.8260990309270987e-06, |
| "loss": 0.3912, |
| "step": 856 |
| }, |
| { |
| "epoch": 4.463541666666667, |
| "grad_norm": 0.09338576243090174, |
| "learning_rate": 2.772646034147499e-06, |
| "loss": 0.4022, |
| "step": 857 |
| }, |
| { |
| "epoch": 4.46875, |
| "grad_norm": 0.0919737031038201, |
| "learning_rate": 2.7196852286880624e-06, |
| "loss": 0.3917, |
| "step": 858 |
| }, |
| { |
| "epoch": 4.473958333333333, |
| "grad_norm": 0.08916649972490646, |
| "learning_rate": 2.667217314755637e-06, |
| "loss": 0.4032, |
| "step": 859 |
| }, |
| { |
| "epoch": 4.479166666666667, |
| "grad_norm": 0.08250509760060573, |
| "learning_rate": 2.6152429860404647e-06, |
| "loss": 0.387, |
| "step": 860 |
| }, |
| { |
| "epoch": 4.484375, |
| "grad_norm": 0.09000508424469188, |
| "learning_rate": 2.563762929706979e-06, |
| "loss": 0.3822, |
| "step": 861 |
| }, |
| { |
| "epoch": 4.489583333333333, |
| "grad_norm": 0.08945016194531298, |
| "learning_rate": 2.512777826384709e-06, |
| "loss": 0.3989, |
| "step": 862 |
| }, |
| { |
| "epoch": 4.494791666666667, |
| "grad_norm": 0.09193827700352884, |
| "learning_rate": 2.462288350159319e-06, |
| "loss": 0.3967, |
| "step": 863 |
| }, |
| { |
| "epoch": 4.5, |
| "grad_norm": 0.08425314704554804, |
| "learning_rate": 2.4122951685636674e-06, |
| "loss": 0.3892, |
| "step": 864 |
| }, |
| { |
| "epoch": 4.505208333333333, |
| "grad_norm": 0.08738199469034504, |
| "learning_rate": 2.3627989425689845e-06, |
| "loss": 0.3932, |
| "step": 865 |
| }, |
| { |
| "epoch": 4.510416666666667, |
| "grad_norm": 0.09399570205486323, |
| "learning_rate": 2.313800326576141e-06, |
| "loss": 0.3861, |
| "step": 866 |
| }, |
| { |
| "epoch": 4.515625, |
| "grad_norm": 0.0865633364995395, |
| "learning_rate": 2.265299968406991e-06, |
| "loss": 0.4009, |
| "step": 867 |
| }, |
| { |
| "epoch": 4.520833333333333, |
| "grad_norm": 0.08977460743900595, |
| "learning_rate": 2.217298509295813e-06, |
| "loss": 0.3949, |
| "step": 868 |
| }, |
| { |
| "epoch": 4.526041666666667, |
| "grad_norm": 0.08582299531490575, |
| "learning_rate": 2.169796583880821e-06, |
| "loss": 0.3942, |
| "step": 869 |
| }, |
| { |
| "epoch": 4.53125, |
| "grad_norm": 0.08434744824385126, |
| "learning_rate": 2.122794820195777e-06, |
| "loss": 0.3994, |
| "step": 870 |
| }, |
| { |
| "epoch": 4.536458333333333, |
| "grad_norm": 0.08721293954021221, |
| "learning_rate": 2.0762938396617027e-06, |
| "loss": 0.3926, |
| "step": 871 |
| }, |
| { |
| "epoch": 4.541666666666667, |
| "grad_norm": 0.08816871978461861, |
| "learning_rate": 2.0302942570786446e-06, |
| "loss": 0.3969, |
| "step": 872 |
| }, |
| { |
| "epoch": 4.546875, |
| "grad_norm": 0.09095578664884517, |
| "learning_rate": 1.9847966806175555e-06, |
| "loss": 0.3885, |
| "step": 873 |
| }, |
| { |
| "epoch": 4.552083333333333, |
| "grad_norm": 0.08752621260642095, |
| "learning_rate": 1.9398017118122546e-06, |
| "loss": 0.3968, |
| "step": 874 |
| }, |
| { |
| "epoch": 4.557291666666667, |
| "grad_norm": 0.08292570425406448, |
| "learning_rate": 1.8953099455514534e-06, |
| "loss": 0.3961, |
| "step": 875 |
| }, |
| { |
| "epoch": 4.5625, |
| "grad_norm": 0.08337349308091234, |
| "learning_rate": 1.8513219700709272e-06, |
| "loss": 0.3914, |
| "step": 876 |
| }, |
| { |
| "epoch": 4.567708333333333, |
| "grad_norm": 0.08084600035778357, |
| "learning_rate": 1.8078383669457088e-06, |
| "loss": 0.3941, |
| "step": 877 |
| }, |
| { |
| "epoch": 4.572916666666667, |
| "grad_norm": 0.08579166690245793, |
| "learning_rate": 1.7648597110824183e-06, |
| "loss": 0.3906, |
| "step": 878 |
| }, |
| { |
| "epoch": 4.578125, |
| "grad_norm": 0.08306187200706193, |
| "learning_rate": 1.7223865707116472e-06, |
| "loss": 0.4033, |
| "step": 879 |
| }, |
| { |
| "epoch": 4.583333333333333, |
| "grad_norm": 0.08441646573031719, |
| "learning_rate": 1.6804195073804442e-06, |
| "loss": 0.386, |
| "step": 880 |
| }, |
| { |
| "epoch": 4.588541666666667, |
| "grad_norm": 0.09149832593946057, |
| "learning_rate": 1.638959075944917e-06, |
| "loss": 0.3912, |
| "step": 881 |
| }, |
| { |
| "epoch": 4.59375, |
| "grad_norm": 0.08710252146092032, |
| "learning_rate": 1.598005824562856e-06, |
| "loss": 0.4007, |
| "step": 882 |
| }, |
| { |
| "epoch": 4.598958333333333, |
| "grad_norm": 0.08847947881905806, |
| "learning_rate": 1.557560294686522e-06, |
| "loss": 0.3939, |
| "step": 883 |
| }, |
| { |
| "epoch": 4.604166666666667, |
| "grad_norm": 0.08625759178131728, |
| "learning_rate": 1.5176230210554744e-06, |
| "loss": 0.4014, |
| "step": 884 |
| }, |
| { |
| "epoch": 4.609375, |
| "grad_norm": 0.08412424788679813, |
| "learning_rate": 1.4781945316894919e-06, |
| "loss": 0.3956, |
| "step": 885 |
| }, |
| { |
| "epoch": 4.614583333333333, |
| "grad_norm": 0.08277541220168269, |
| "learning_rate": 1.4392753478816145e-06, |
| "loss": 0.3998, |
| "step": 886 |
| }, |
| { |
| "epoch": 4.619791666666667, |
| "grad_norm": 0.08550643659169234, |
| "learning_rate": 1.4008659841912286e-06, |
| "loss": 0.392, |
| "step": 887 |
| }, |
| { |
| "epoch": 4.625, |
| "grad_norm": 0.08657138485844833, |
| "learning_rate": 1.3629669484372722e-06, |
| "loss": 0.3907, |
| "step": 888 |
| }, |
| { |
| "epoch": 4.630208333333333, |
| "grad_norm": 0.087698739440694, |
| "learning_rate": 1.32557874169152e-06, |
| "loss": 0.3904, |
| "step": 889 |
| }, |
| { |
| "epoch": 4.635416666666667, |
| "grad_norm": 0.08567244135582919, |
| "learning_rate": 1.2887018582719634e-06, |
| "loss": 0.3906, |
| "step": 890 |
| }, |
| { |
| "epoch": 4.640625, |
| "grad_norm": 0.08255169378612309, |
| "learning_rate": 1.2523367857362766e-06, |
| "loss": 0.4027, |
| "step": 891 |
| }, |
| { |
| "epoch": 4.645833333333333, |
| "grad_norm": 0.0831562473021181, |
| "learning_rate": 1.2164840048753602e-06, |
| "loss": 0.394, |
| "step": 892 |
| }, |
| { |
| "epoch": 4.651041666666667, |
| "grad_norm": 0.08489598819316653, |
| "learning_rate": 1.1811439897069854e-06, |
| "loss": 0.3936, |
| "step": 893 |
| }, |
| { |
| "epoch": 4.65625, |
| "grad_norm": 0.08443684348894669, |
| "learning_rate": 1.1463172074695428e-06, |
| "loss": 0.3933, |
| "step": 894 |
| }, |
| { |
| "epoch": 4.661458333333333, |
| "grad_norm": 0.08452841389601809, |
| "learning_rate": 1.112004118615846e-06, |
| "loss": 0.4003, |
| "step": 895 |
| }, |
| { |
| "epoch": 4.666666666666667, |
| "grad_norm": 0.08477763590248036, |
| "learning_rate": 1.0782051768070477e-06, |
| "loss": 0.3868, |
| "step": 896 |
| }, |
| { |
| "epoch": 4.671875, |
| "grad_norm": 0.0857428858024216, |
| "learning_rate": 1.0449208289066549e-06, |
| "loss": 0.391, |
| "step": 897 |
| }, |
| { |
| "epoch": 4.677083333333333, |
| "grad_norm": 0.08447855952502306, |
| "learning_rate": 1.0121515149746108e-06, |
| "loss": 0.401, |
| "step": 898 |
| }, |
| { |
| "epoch": 4.682291666666667, |
| "grad_norm": 0.08273889538384241, |
| "learning_rate": 9.79897668261458e-07, |
| "loss": 0.3958, |
| "step": 899 |
| }, |
| { |
| "epoch": 4.6875, |
| "grad_norm": 0.08350833958040468, |
| "learning_rate": 9.481597152026656e-07, |
| "loss": 0.3933, |
| "step": 900 |
| }, |
| { |
| "epoch": 4.692708333333333, |
| "grad_norm": 0.08214638960022978, |
| "learning_rate": 9.169380754129232e-07, |
| "loss": 0.3923, |
| "step": 901 |
| }, |
| { |
| "epoch": 4.697916666666667, |
| "grad_norm": 0.08621840214993347, |
| "learning_rate": 8.862331616806385e-07, |
| "loss": 0.392, |
| "step": 902 |
| }, |
| { |
| "epoch": 4.703125, |
| "grad_norm": 0.0843063277880386, |
| "learning_rate": 8.560453799624668e-07, |
| "loss": 0.3922, |
| "step": 903 |
| }, |
| { |
| "epoch": 4.708333333333333, |
| "grad_norm": 0.08666619002069333, |
| "learning_rate": 8.263751293779409e-07, |
| "loss": 0.3948, |
| "step": 904 |
| }, |
| { |
| "epoch": 4.713541666666667, |
| "grad_norm": 0.0832420124116426, |
| "learning_rate": 7.972228022041961e-07, |
| "loss": 0.3891, |
| "step": 905 |
| }, |
| { |
| "epoch": 4.71875, |
| "grad_norm": 0.08150925475284133, |
| "learning_rate": 7.685887838707828e-07, |
| "loss": 0.3925, |
| "step": 906 |
| }, |
| { |
| "epoch": 4.723958333333333, |
| "grad_norm": 0.08151688290317759, |
| "learning_rate": 7.404734529545776e-07, |
| "loss": 0.394, |
| "step": 907 |
| }, |
| { |
| "epoch": 4.729166666666667, |
| "grad_norm": 0.08296906624359568, |
| "learning_rate": 7.128771811747737e-07, |
| "loss": 0.3952, |
| "step": 908 |
| }, |
| { |
| "epoch": 4.734375, |
| "grad_norm": 0.08314073247348208, |
| "learning_rate": 6.858003333879559e-07, |
| "loss": 0.3914, |
| "step": 909 |
| }, |
| { |
| "epoch": 4.739583333333333, |
| "grad_norm": 0.08205991830813991, |
| "learning_rate": 6.592432675832916e-07, |
| "loss": 0.3884, |
| "step": 910 |
| }, |
| { |
| "epoch": 4.744791666666667, |
| "grad_norm": 0.08280034816739829, |
| "learning_rate": 6.332063348777917e-07, |
| "loss": 0.3933, |
| "step": 911 |
| }, |
| { |
| "epoch": 4.75, |
| "grad_norm": 0.08323258988295332, |
| "learning_rate": 6.076898795116792e-07, |
| "loss": 0.3965, |
| "step": 912 |
| }, |
| { |
| "epoch": 4.755208333333333, |
| "grad_norm": 0.08280538195700139, |
| "learning_rate": 5.826942388438106e-07, |
| "loss": 0.3998, |
| "step": 913 |
| }, |
| { |
| "epoch": 4.760416666666667, |
| "grad_norm": 0.0824989607801187, |
| "learning_rate": 5.582197433472348e-07, |
| "loss": 0.392, |
| "step": 914 |
| }, |
| { |
| "epoch": 4.765625, |
| "grad_norm": 0.08159335040502934, |
| "learning_rate": 5.34266716604841e-07, |
| "loss": 0.3976, |
| "step": 915 |
| }, |
| { |
| "epoch": 4.770833333333333, |
| "grad_norm": 0.08522732125984829, |
| "learning_rate": 5.108354753050381e-07, |
| "loss": 0.3954, |
| "step": 916 |
| }, |
| { |
| "epoch": 4.776041666666667, |
| "grad_norm": 0.08356602432030429, |
| "learning_rate": 4.879263292376024e-07, |
| "loss": 0.3892, |
| "step": 917 |
| }, |
| { |
| "epoch": 4.78125, |
| "grad_norm": 0.07948746667269234, |
| "learning_rate": 4.6553958128957355e-07, |
| "loss": 0.3957, |
| "step": 918 |
| }, |
| { |
| "epoch": 4.786458333333333, |
| "grad_norm": 0.08273696236518939, |
| "learning_rate": 4.4367552744123634e-07, |
| "loss": 0.3851, |
| "step": 919 |
| }, |
| { |
| "epoch": 4.791666666666667, |
| "grad_norm": 0.08102000958621774, |
| "learning_rate": 4.223344567622212e-07, |
| "loss": 0.3943, |
| "step": 920 |
| }, |
| { |
| "epoch": 4.796875, |
| "grad_norm": 0.08242075436669088, |
| "learning_rate": 4.0151665140768515e-07, |
| "loss": 0.3954, |
| "step": 921 |
| }, |
| { |
| "epoch": 4.802083333333333, |
| "grad_norm": 0.08441147943339979, |
| "learning_rate": 3.8122238661456814e-07, |
| "loss": 0.3953, |
| "step": 922 |
| }, |
| { |
| "epoch": 4.807291666666667, |
| "grad_norm": 0.0809629423971581, |
| "learning_rate": 3.6145193069796913e-07, |
| "loss": 0.3957, |
| "step": 923 |
| }, |
| { |
| "epoch": 4.8125, |
| "grad_norm": 0.08228145613460655, |
| "learning_rate": 3.4220554504758475e-07, |
| "loss": 0.394, |
| "step": 924 |
| }, |
| { |
| "epoch": 4.817708333333333, |
| "grad_norm": 0.08060702966144417, |
| "learning_rate": 3.2348348412425843e-07, |
| "loss": 0.3912, |
| "step": 925 |
| }, |
| { |
| "epoch": 4.822916666666667, |
| "grad_norm": 0.08099014487187961, |
| "learning_rate": 3.0528599545661453e-07, |
| "loss": 0.3873, |
| "step": 926 |
| }, |
| { |
| "epoch": 4.828125, |
| "grad_norm": 0.08214019761947426, |
| "learning_rate": 2.876133196377984e-07, |
| "loss": 0.4013, |
| "step": 927 |
| }, |
| { |
| "epoch": 4.833333333333333, |
| "grad_norm": 0.07954679954877142, |
| "learning_rate": 2.704656903222791e-07, |
| "loss": 0.3869, |
| "step": 928 |
| }, |
| { |
| "epoch": 4.838541666666667, |
| "grad_norm": 0.07991635344418388, |
| "learning_rate": 2.538433342227675e-07, |
| "loss": 0.3981, |
| "step": 929 |
| }, |
| { |
| "epoch": 4.84375, |
| "grad_norm": 0.07899032180157718, |
| "learning_rate": 2.3774647110721415e-07, |
| "loss": 0.3873, |
| "step": 930 |
| }, |
| { |
| "epoch": 4.848958333333333, |
| "grad_norm": 0.0788938880616526, |
| "learning_rate": 2.2217531379591373e-07, |
| "loss": 0.3947, |
| "step": 931 |
| }, |
| { |
| "epoch": 4.854166666666667, |
| "grad_norm": 0.08174291579931124, |
| "learning_rate": 2.0713006815868075e-07, |
| "loss": 0.3949, |
| "step": 932 |
| }, |
| { |
| "epoch": 4.859375, |
| "grad_norm": 0.07906577908146535, |
| "learning_rate": 1.926109331121273e-07, |
| "loss": 0.394, |
| "step": 933 |
| }, |
| { |
| "epoch": 4.864583333333333, |
| "grad_norm": 0.08366776319880685, |
| "learning_rate": 1.7861810061704287e-07, |
| "loss": 0.3958, |
| "step": 934 |
| }, |
| { |
| "epoch": 4.869791666666667, |
| "grad_norm": 0.08020915237590569, |
| "learning_rate": 1.651517556758586e-07, |
| "loss": 0.4023, |
| "step": 935 |
| }, |
| { |
| "epoch": 4.875, |
| "grad_norm": 0.08579752661065375, |
| "learning_rate": 1.522120763301782e-07, |
| "loss": 0.3925, |
| "step": 936 |
| }, |
| { |
| "epoch": 4.880208333333333, |
| "grad_norm": 0.08487447153391825, |
| "learning_rate": 1.3979923365845082e-07, |
| "loss": 0.3964, |
| "step": 937 |
| }, |
| { |
| "epoch": 4.885416666666667, |
| "grad_norm": 0.08436433098900332, |
| "learning_rate": 1.2791339177369745e-07, |
| "loss": 0.393, |
| "step": 938 |
| }, |
| { |
| "epoch": 4.890625, |
| "grad_norm": 0.08510911460787883, |
| "learning_rate": 1.165547078213347e-07, |
| "loss": 0.3992, |
| "step": 939 |
| }, |
| { |
| "epoch": 4.895833333333333, |
| "grad_norm": 0.07989815672695387, |
| "learning_rate": 1.0572333197711005e-07, |
| "loss": 0.3934, |
| "step": 940 |
| }, |
| { |
| "epoch": 4.901041666666667, |
| "grad_norm": 0.08029652065864201, |
| "learning_rate": 9.541940744510758e-08, |
| "loss": 0.3922, |
| "step": 941 |
| }, |
| { |
| "epoch": 4.90625, |
| "grad_norm": 0.08645374822939045, |
| "learning_rate": 8.564307045586085e-08, |
| "loss": 0.3942, |
| "step": 942 |
| }, |
| { |
| "epoch": 4.911458333333333, |
| "grad_norm": 0.0794117204722207, |
| "learning_rate": 7.639445026454528e-08, |
| "loss": 0.3904, |
| "step": 943 |
| }, |
| { |
| "epoch": 4.916666666666667, |
| "grad_norm": 0.07986109848818665, |
| "learning_rate": 6.767366914927298e-08, |
| "loss": 0.3879, |
| "step": 944 |
| }, |
| { |
| "epoch": 4.921875, |
| "grad_norm": 0.08448594236173622, |
| "learning_rate": 5.948084240947616e-08, |
| "loss": 0.39, |
| "step": 945 |
| }, |
| { |
| "epoch": 4.927083333333333, |
| "grad_norm": 0.0824253423004381, |
| "learning_rate": 5.1816078364383956e-08, |
| "loss": 0.3967, |
| "step": 946 |
| }, |
| { |
| "epoch": 4.932291666666667, |
| "grad_norm": 0.07981707024198006, |
| "learning_rate": 4.4679478351583596e-08, |
| "loss": 0.3958, |
| "step": 947 |
| }, |
| { |
| "epoch": 4.9375, |
| "grad_norm": 0.08233534277383188, |
| "learning_rate": 3.8071136725688074e-08, |
| "loss": 0.3946, |
| "step": 948 |
| }, |
| { |
| "epoch": 4.942708333333333, |
| "grad_norm": 0.08300909744697708, |
| "learning_rate": 3.1991140857092764e-08, |
| "loss": 0.3899, |
| "step": 949 |
| }, |
| { |
| "epoch": 4.947916666666667, |
| "grad_norm": 0.08151653169434366, |
| "learning_rate": 2.6439571130798536e-08, |
| "loss": 0.3978, |
| "step": 950 |
| }, |
| { |
| "epoch": 4.953125, |
| "grad_norm": 0.07934001229909458, |
| "learning_rate": 2.141650094537262e-08, |
| "loss": 0.3949, |
| "step": 951 |
| }, |
| { |
| "epoch": 4.958333333333333, |
| "grad_norm": 0.08172830996883675, |
| "learning_rate": 1.6921996711976028e-08, |
| "loss": 0.3921, |
| "step": 952 |
| }, |
| { |
| "epoch": 4.963541666666667, |
| "grad_norm": 0.08282288788064661, |
| "learning_rate": 1.2956117853470951e-08, |
| "loss": 0.394, |
| "step": 953 |
| }, |
| { |
| "epoch": 4.96875, |
| "grad_norm": 0.08055374897584985, |
| "learning_rate": 9.518916803634703e-09, |
| "loss": 0.3928, |
| "step": 954 |
| }, |
| { |
| "epoch": 4.973958333333333, |
| "grad_norm": 0.08163505573701227, |
| "learning_rate": 6.610439006498048e-09, |
| "loss": 0.3843, |
| "step": 955 |
| }, |
| { |
| "epoch": 4.979166666666667, |
| "grad_norm": 0.08199200318945396, |
| "learning_rate": 4.230722915701257e-09, |
| "loss": 0.3901, |
| "step": 956 |
| }, |
| { |
| "epoch": 4.984375, |
| "grad_norm": 0.08224354702242807, |
| "learning_rate": 2.3797999940100568e-09, |
| "loss": 0.3959, |
| "step": 957 |
| }, |
| { |
| "epoch": 4.989583333333333, |
| "grad_norm": 0.07869119736894395, |
| "learning_rate": 1.057694712902624e-09, |
| "loss": 0.3984, |
| "step": 958 |
| }, |
| { |
| "epoch": 4.994791666666667, |
| "grad_norm": 0.08131812771168559, |
| "learning_rate": 2.644245522276379e-10, |
| "loss": 0.3992, |
| "step": 959 |
| }, |
| { |
| "epoch": 5.0, |
| "grad_norm": 0.07926978398688435, |
| "learning_rate": 0.0, |
| "loss": 0.3871, |
| "step": 960 |
| }, |
| { |
| "epoch": 5.0, |
| "step": 960, |
| "total_flos": 1.610509656784896e+16, |
| "train_loss": 0.47045585184047617, |
| "train_runtime": 13737.7342, |
| "train_samples_per_second": 35.753, |
| "train_steps_per_second": 0.07 |
| } |
| ], |
| "logging_steps": 1, |
| "max_steps": 960, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 5, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 1.610509656784896e+16, |
| "train_batch_size": 1, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
