| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 3.0, |
| "eval_steps": 500, |
| "global_step": 705, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.004266666666666667, |
| "grad_norm": 4.362146377563477, |
| "learning_rate": 0.0, |
| "loss": 0.9789, |
| "step": 1 |
| }, |
| { |
| "epoch": 0.008533333333333334, |
| "grad_norm": 4.282586574554443, |
| "learning_rate": 1.3888888888888888e-07, |
| "loss": 0.9679, |
| "step": 2 |
| }, |
| { |
| "epoch": 0.0128, |
| "grad_norm": 4.4176812171936035, |
| "learning_rate": 2.7777777777777776e-07, |
| "loss": 0.9775, |
| "step": 3 |
| }, |
| { |
| "epoch": 0.017066666666666667, |
| "grad_norm": 4.650586128234863, |
| "learning_rate": 4.1666666666666667e-07, |
| "loss": 0.9649, |
| "step": 4 |
| }, |
| { |
| "epoch": 0.021333333333333333, |
| "grad_norm": 4.638489723205566, |
| "learning_rate": 5.555555555555555e-07, |
| "loss": 1.014, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.0256, |
| "grad_norm": 4.192325592041016, |
| "learning_rate": 6.944444444444446e-07, |
| "loss": 0.956, |
| "step": 6 |
| }, |
| { |
| "epoch": 0.029866666666666666, |
| "grad_norm": 4.542601585388184, |
| "learning_rate": 8.333333333333333e-07, |
| "loss": 0.9553, |
| "step": 7 |
| }, |
| { |
| "epoch": 0.034133333333333335, |
| "grad_norm": 4.178647518157959, |
| "learning_rate": 9.722222222222224e-07, |
| "loss": 0.942, |
| "step": 8 |
| }, |
| { |
| "epoch": 0.0384, |
| "grad_norm": 3.826584815979004, |
| "learning_rate": 1.111111111111111e-06, |
| "loss": 0.9361, |
| "step": 9 |
| }, |
| { |
| "epoch": 0.042666666666666665, |
| "grad_norm": 3.841879367828369, |
| "learning_rate": 1.25e-06, |
| "loss": 0.956, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.046933333333333334, |
| "grad_norm": 3.7646379470825195, |
| "learning_rate": 1.3888888888888892e-06, |
| "loss": 0.9161, |
| "step": 11 |
| }, |
| { |
| "epoch": 0.0512, |
| "grad_norm": 3.145012855529785, |
| "learning_rate": 1.527777777777778e-06, |
| "loss": 0.9237, |
| "step": 12 |
| }, |
| { |
| "epoch": 0.055466666666666664, |
| "grad_norm": 2.0433948040008545, |
| "learning_rate": 1.6666666666666667e-06, |
| "loss": 0.9213, |
| "step": 13 |
| }, |
| { |
| "epoch": 0.05973333333333333, |
| "grad_norm": 1.9841437339782715, |
| "learning_rate": 1.8055555555555557e-06, |
| "loss": 0.8836, |
| "step": 14 |
| }, |
| { |
| "epoch": 0.064, |
| "grad_norm": 1.850753903388977, |
| "learning_rate": 1.944444444444445e-06, |
| "loss": 0.927, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.06826666666666667, |
| "grad_norm": 1.7173751592636108, |
| "learning_rate": 2.0833333333333334e-06, |
| "loss": 0.8718, |
| "step": 16 |
| }, |
| { |
| "epoch": 0.07253333333333334, |
| "grad_norm": 2.0940911769866943, |
| "learning_rate": 2.222222222222222e-06, |
| "loss": 0.9329, |
| "step": 17 |
| }, |
| { |
| "epoch": 0.0768, |
| "grad_norm": 2.0196115970611572, |
| "learning_rate": 2.361111111111111e-06, |
| "loss": 0.8768, |
| "step": 18 |
| }, |
| { |
| "epoch": 0.08106666666666666, |
| "grad_norm": 2.069068431854248, |
| "learning_rate": 2.5e-06, |
| "loss": 0.8899, |
| "step": 19 |
| }, |
| { |
| "epoch": 0.08533333333333333, |
| "grad_norm": 1.9134008884429932, |
| "learning_rate": 2.6388888888888893e-06, |
| "loss": 0.906, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.0896, |
| "grad_norm": 1.7790288925170898, |
| "learning_rate": 2.7777777777777783e-06, |
| "loss": 0.8698, |
| "step": 21 |
| }, |
| { |
| "epoch": 0.09386666666666667, |
| "grad_norm": 1.5685698986053467, |
| "learning_rate": 2.916666666666667e-06, |
| "loss": 0.8693, |
| "step": 22 |
| }, |
| { |
| "epoch": 0.09813333333333334, |
| "grad_norm": 1.2142629623413086, |
| "learning_rate": 3.055555555555556e-06, |
| "loss": 0.85, |
| "step": 23 |
| }, |
| { |
| "epoch": 0.1024, |
| "grad_norm": 1.2168952226638794, |
| "learning_rate": 3.1944444444444443e-06, |
| "loss": 0.8585, |
| "step": 24 |
| }, |
| { |
| "epoch": 0.10666666666666667, |
| "grad_norm": 1.0702353715896606, |
| "learning_rate": 3.3333333333333333e-06, |
| "loss": 0.849, |
| "step": 25 |
| }, |
| { |
| "epoch": 0.11093333333333333, |
| "grad_norm": 1.049211025238037, |
| "learning_rate": 3.4722222222222224e-06, |
| "loss": 0.8689, |
| "step": 26 |
| }, |
| { |
| "epoch": 0.1152, |
| "grad_norm": 0.8866307139396667, |
| "learning_rate": 3.6111111111111115e-06, |
| "loss": 0.818, |
| "step": 27 |
| }, |
| { |
| "epoch": 0.11946666666666667, |
| "grad_norm": 0.7809798717498779, |
| "learning_rate": 3.7500000000000005e-06, |
| "loss": 0.8354, |
| "step": 28 |
| }, |
| { |
| "epoch": 0.12373333333333333, |
| "grad_norm": 0.6708624958992004, |
| "learning_rate": 3.88888888888889e-06, |
| "loss": 0.7881, |
| "step": 29 |
| }, |
| { |
| "epoch": 0.128, |
| "grad_norm": 0.6296146512031555, |
| "learning_rate": 4.027777777777779e-06, |
| "loss": 0.8044, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.13226666666666667, |
| "grad_norm": 0.6943596601486206, |
| "learning_rate": 4.166666666666667e-06, |
| "loss": 0.7343, |
| "step": 31 |
| }, |
| { |
| "epoch": 0.13653333333333334, |
| "grad_norm": 0.7787662744522095, |
| "learning_rate": 4.305555555555556e-06, |
| "loss": 0.8084, |
| "step": 32 |
| }, |
| { |
| "epoch": 0.1408, |
| "grad_norm": 0.7602130174636841, |
| "learning_rate": 4.444444444444444e-06, |
| "loss": 0.8048, |
| "step": 33 |
| }, |
| { |
| "epoch": 0.14506666666666668, |
| "grad_norm": 0.6979145407676697, |
| "learning_rate": 4.583333333333333e-06, |
| "loss": 0.7773, |
| "step": 34 |
| }, |
| { |
| "epoch": 0.14933333333333335, |
| "grad_norm": 0.6033741235733032, |
| "learning_rate": 4.722222222222222e-06, |
| "loss": 0.7654, |
| "step": 35 |
| }, |
| { |
| "epoch": 0.1536, |
| "grad_norm": 0.5684896111488342, |
| "learning_rate": 4.861111111111111e-06, |
| "loss": 0.769, |
| "step": 36 |
| }, |
| { |
| "epoch": 0.15786666666666666, |
| "grad_norm": 0.5608508586883545, |
| "learning_rate": 5e-06, |
| "loss": 0.7525, |
| "step": 37 |
| }, |
| { |
| "epoch": 0.16213333333333332, |
| "grad_norm": 0.567663848400116, |
| "learning_rate": 4.999972435080738e-06, |
| "loss": 0.7425, |
| "step": 38 |
| }, |
| { |
| "epoch": 0.1664, |
| "grad_norm": 0.627487063407898, |
| "learning_rate": 4.99988974093081e-06, |
| "loss": 0.7469, |
| "step": 39 |
| }, |
| { |
| "epoch": 0.17066666666666666, |
| "grad_norm": 0.5669575929641724, |
| "learning_rate": 4.999751919373782e-06, |
| "loss": 0.7667, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.17493333333333333, |
| "grad_norm": 0.5957594513893127, |
| "learning_rate": 4.999558973448887e-06, |
| "loss": 0.7762, |
| "step": 41 |
| }, |
| { |
| "epoch": 0.1792, |
| "grad_norm": 0.4995954632759094, |
| "learning_rate": 4.999310907410957e-06, |
| "loss": 0.7593, |
| "step": 42 |
| }, |
| { |
| "epoch": 0.18346666666666667, |
| "grad_norm": 0.47803279757499695, |
| "learning_rate": 4.9990077267303256e-06, |
| "loss": 0.6961, |
| "step": 43 |
| }, |
| { |
| "epoch": 0.18773333333333334, |
| "grad_norm": 0.43306031823158264, |
| "learning_rate": 4.998649438092715e-06, |
| "loss": 0.703, |
| "step": 44 |
| }, |
| { |
| "epoch": 0.192, |
| "grad_norm": 0.46962299942970276, |
| "learning_rate": 4.998236049399084e-06, |
| "loss": 0.7681, |
| "step": 45 |
| }, |
| { |
| "epoch": 0.19626666666666667, |
| "grad_norm": 0.47601673007011414, |
| "learning_rate": 4.997767569765452e-06, |
| "loss": 0.7059, |
| "step": 46 |
| }, |
| { |
| "epoch": 0.20053333333333334, |
| "grad_norm": 0.508930504322052, |
| "learning_rate": 4.997244009522702e-06, |
| "loss": 0.7048, |
| "step": 47 |
| }, |
| { |
| "epoch": 0.2048, |
| "grad_norm": 0.4726659059524536, |
| "learning_rate": 4.996665380216351e-06, |
| "loss": 0.7263, |
| "step": 48 |
| }, |
| { |
| "epoch": 0.20906666666666668, |
| "grad_norm": 0.4572336971759796, |
| "learning_rate": 4.996031694606294e-06, |
| "loss": 0.7386, |
| "step": 49 |
| }, |
| { |
| "epoch": 0.21333333333333335, |
| "grad_norm": 0.4237333834171295, |
| "learning_rate": 4.995342966666527e-06, |
| "loss": 0.7183, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.2176, |
| "grad_norm": 0.388201504945755, |
| "learning_rate": 4.994599211584833e-06, |
| "loss": 0.7179, |
| "step": 51 |
| }, |
| { |
| "epoch": 0.22186666666666666, |
| "grad_norm": 0.39760446548461914, |
| "learning_rate": 4.993800445762451e-06, |
| "loss": 0.7079, |
| "step": 52 |
| }, |
| { |
| "epoch": 0.22613333333333333, |
| "grad_norm": 0.4210253953933716, |
| "learning_rate": 4.9929466868137135e-06, |
| "loss": 0.7296, |
| "step": 53 |
| }, |
| { |
| "epoch": 0.2304, |
| "grad_norm": 0.40208855271339417, |
| "learning_rate": 4.992037953565657e-06, |
| "loss": 0.7173, |
| "step": 54 |
| }, |
| { |
| "epoch": 0.23466666666666666, |
| "grad_norm": 0.38060909509658813, |
| "learning_rate": 4.991074266057609e-06, |
| "loss": 0.7283, |
| "step": 55 |
| }, |
| { |
| "epoch": 0.23893333333333333, |
| "grad_norm": 0.43215471506118774, |
| "learning_rate": 4.990055645540745e-06, |
| "loss": 0.7748, |
| "step": 56 |
| }, |
| { |
| "epoch": 0.2432, |
| "grad_norm": 0.38835158944129944, |
| "learning_rate": 4.988982114477617e-06, |
| "loss": 0.7106, |
| "step": 57 |
| }, |
| { |
| "epoch": 0.24746666666666667, |
| "grad_norm": 0.3765578866004944, |
| "learning_rate": 4.987853696541664e-06, |
| "loss": 0.7278, |
| "step": 58 |
| }, |
| { |
| "epoch": 0.2517333333333333, |
| "grad_norm": 0.42565688490867615, |
| "learning_rate": 4.986670416616684e-06, |
| "loss": 0.7233, |
| "step": 59 |
| }, |
| { |
| "epoch": 0.256, |
| "grad_norm": 0.4181171655654907, |
| "learning_rate": 4.985432300796292e-06, |
| "loss": 0.7318, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.26026666666666665, |
| "grad_norm": 0.3972390294075012, |
| "learning_rate": 4.984139376383337e-06, |
| "loss": 0.7145, |
| "step": 61 |
| }, |
| { |
| "epoch": 0.26453333333333334, |
| "grad_norm": 0.3961975872516632, |
| "learning_rate": 4.982791671889302e-06, |
| "loss": 0.7363, |
| "step": 62 |
| }, |
| { |
| "epoch": 0.2688, |
| "grad_norm": 0.3924165666103363, |
| "learning_rate": 4.981389217033684e-06, |
| "loss": 0.7304, |
| "step": 63 |
| }, |
| { |
| "epoch": 0.2730666666666667, |
| "grad_norm": 0.38246816396713257, |
| "learning_rate": 4.979932042743324e-06, |
| "loss": 0.6888, |
| "step": 64 |
| }, |
| { |
| "epoch": 0.2773333333333333, |
| "grad_norm": 0.3791496753692627, |
| "learning_rate": 4.9784201811517365e-06, |
| "loss": 0.6999, |
| "step": 65 |
| }, |
| { |
| "epoch": 0.2816, |
| "grad_norm": 0.3851902484893799, |
| "learning_rate": 4.976853665598394e-06, |
| "loss": 0.7891, |
| "step": 66 |
| }, |
| { |
| "epoch": 0.28586666666666666, |
| "grad_norm": 0.35090020298957825, |
| "learning_rate": 4.975232530627998e-06, |
| "loss": 0.6972, |
| "step": 67 |
| }, |
| { |
| "epoch": 0.29013333333333335, |
| "grad_norm": 0.44051802158355713, |
| "learning_rate": 4.973556811989712e-06, |
| "loss": 0.6897, |
| "step": 68 |
| }, |
| { |
| "epoch": 0.2944, |
| "grad_norm": 0.35761162638664246, |
| "learning_rate": 4.971826546636374e-06, |
| "loss": 0.6779, |
| "step": 69 |
| }, |
| { |
| "epoch": 0.2986666666666667, |
| "grad_norm": 0.3964172601699829, |
| "learning_rate": 4.970041772723685e-06, |
| "loss": 0.7144, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.30293333333333333, |
| "grad_norm": 0.38685816526412964, |
| "learning_rate": 4.968202529609364e-06, |
| "loss": 0.7446, |
| "step": 71 |
| }, |
| { |
| "epoch": 0.3072, |
| "grad_norm": 0.41402679681777954, |
| "learning_rate": 4.966308857852281e-06, |
| "loss": 0.6844, |
| "step": 72 |
| }, |
| { |
| "epoch": 0.31146666666666667, |
| "grad_norm": 0.39126983284950256, |
| "learning_rate": 4.964360799211563e-06, |
| "loss": 0.7103, |
| "step": 73 |
| }, |
| { |
| "epoch": 0.3157333333333333, |
| "grad_norm": 0.3830004632472992, |
| "learning_rate": 4.962358396645673e-06, |
| "loss": 0.7091, |
| "step": 74 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 0.37684130668640137, |
| "learning_rate": 4.960301694311464e-06, |
| "loss": 0.6844, |
| "step": 75 |
| }, |
| { |
| "epoch": 0.32426666666666665, |
| "grad_norm": 0.3762841820716858, |
| "learning_rate": 4.958190737563203e-06, |
| "loss": 0.6978, |
| "step": 76 |
| }, |
| { |
| "epoch": 0.32853333333333334, |
| "grad_norm": 0.3554311990737915, |
| "learning_rate": 4.9560255729515726e-06, |
| "loss": 0.6813, |
| "step": 77 |
| }, |
| { |
| "epoch": 0.3328, |
| "grad_norm": 0.3811330497264862, |
| "learning_rate": 4.95380624822264e-06, |
| "loss": 0.6942, |
| "step": 78 |
| }, |
| { |
| "epoch": 0.3370666666666667, |
| "grad_norm": 0.3794249892234802, |
| "learning_rate": 4.951532812316814e-06, |
| "loss": 0.6822, |
| "step": 79 |
| }, |
| { |
| "epoch": 0.3413333333333333, |
| "grad_norm": 0.3942255675792694, |
| "learning_rate": 4.9492053153677545e-06, |
| "loss": 0.6943, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.3456, |
| "grad_norm": 0.36585119366645813, |
| "learning_rate": 4.9468238087012744e-06, |
| "loss": 0.7032, |
| "step": 81 |
| }, |
| { |
| "epoch": 0.34986666666666666, |
| "grad_norm": 0.3868674635887146, |
| "learning_rate": 4.944388344834205e-06, |
| "loss": 0.7056, |
| "step": 82 |
| }, |
| { |
| "epoch": 0.35413333333333336, |
| "grad_norm": 0.3917011618614197, |
| "learning_rate": 4.941898977473238e-06, |
| "loss": 0.6837, |
| "step": 83 |
| }, |
| { |
| "epoch": 0.3584, |
| "grad_norm": 0.38477852940559387, |
| "learning_rate": 4.939355761513742e-06, |
| "loss": 0.6794, |
| "step": 84 |
| }, |
| { |
| "epoch": 0.3626666666666667, |
| "grad_norm": 0.3847743272781372, |
| "learning_rate": 4.936758753038551e-06, |
| "loss": 0.7318, |
| "step": 85 |
| }, |
| { |
| "epoch": 0.36693333333333333, |
| "grad_norm": 0.37328410148620605, |
| "learning_rate": 4.934108009316728e-06, |
| "loss": 0.6933, |
| "step": 86 |
| }, |
| { |
| "epoch": 0.3712, |
| "grad_norm": 0.40673941373825073, |
| "learning_rate": 4.931403588802302e-06, |
| "loss": 0.7338, |
| "step": 87 |
| }, |
| { |
| "epoch": 0.37546666666666667, |
| "grad_norm": 0.3592469394207001, |
| "learning_rate": 4.92864555113298e-06, |
| "loss": 0.6865, |
| "step": 88 |
| }, |
| { |
| "epoch": 0.3797333333333333, |
| "grad_norm": 0.36004796624183655, |
| "learning_rate": 4.925833957128831e-06, |
| "loss": 0.6748, |
| "step": 89 |
| }, |
| { |
| "epoch": 0.384, |
| "grad_norm": 0.37560826539993286, |
| "learning_rate": 4.922968868790943e-06, |
| "loss": 0.6512, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.38826666666666665, |
| "grad_norm": 0.37589576840400696, |
| "learning_rate": 4.92005034930006e-06, |
| "loss": 0.686, |
| "step": 91 |
| }, |
| { |
| "epoch": 0.39253333333333335, |
| "grad_norm": 0.39273473620414734, |
| "learning_rate": 4.917078463015184e-06, |
| "loss": 0.6901, |
| "step": 92 |
| }, |
| { |
| "epoch": 0.3968, |
| "grad_norm": 0.3746315836906433, |
| "learning_rate": 4.914053275472162e-06, |
| "loss": 0.7052, |
| "step": 93 |
| }, |
| { |
| "epoch": 0.4010666666666667, |
| "grad_norm": 0.34910982847213745, |
| "learning_rate": 4.9109748533822315e-06, |
| "loss": 0.6893, |
| "step": 94 |
| }, |
| { |
| "epoch": 0.4053333333333333, |
| "grad_norm": 0.3954693078994751, |
| "learning_rate": 4.907843264630559e-06, |
| "loss": 0.7373, |
| "step": 95 |
| }, |
| { |
| "epoch": 0.4096, |
| "grad_norm": 0.3721007704734802, |
| "learning_rate": 4.904658578274738e-06, |
| "loss": 0.6679, |
| "step": 96 |
| }, |
| { |
| "epoch": 0.41386666666666666, |
| "grad_norm": 0.3675512373447418, |
| "learning_rate": 4.901420864543265e-06, |
| "loss": 0.6379, |
| "step": 97 |
| }, |
| { |
| "epoch": 0.41813333333333336, |
| "grad_norm": 0.3632946014404297, |
| "learning_rate": 4.898130194833995e-06, |
| "loss": 0.6712, |
| "step": 98 |
| }, |
| { |
| "epoch": 0.4224, |
| "grad_norm": 0.3786664307117462, |
| "learning_rate": 4.894786641712563e-06, |
| "loss": 0.6835, |
| "step": 99 |
| }, |
| { |
| "epoch": 0.4266666666666667, |
| "grad_norm": 0.3775879740715027, |
| "learning_rate": 4.891390278910788e-06, |
| "loss": 0.6935, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.43093333333333333, |
| "grad_norm": 0.38075289130210876, |
| "learning_rate": 4.887941181325042e-06, |
| "loss": 0.7171, |
| "step": 101 |
| }, |
| { |
| "epoch": 0.4352, |
| "grad_norm": 0.34902146458625793, |
| "learning_rate": 4.884439425014601e-06, |
| "loss": 0.6797, |
| "step": 102 |
| }, |
| { |
| "epoch": 0.43946666666666667, |
| "grad_norm": 0.3705016076564789, |
| "learning_rate": 4.880885087199972e-06, |
| "loss": 0.6755, |
| "step": 103 |
| }, |
| { |
| "epoch": 0.4437333333333333, |
| "grad_norm": 0.40034019947052, |
| "learning_rate": 4.877278246261179e-06, |
| "loss": 0.665, |
| "step": 104 |
| }, |
| { |
| "epoch": 0.448, |
| "grad_norm": 0.3905963599681854, |
| "learning_rate": 4.873618981736049e-06, |
| "loss": 0.6693, |
| "step": 105 |
| }, |
| { |
| "epoch": 0.45226666666666665, |
| "grad_norm": 0.342978298664093, |
| "learning_rate": 4.869907374318446e-06, |
| "loss": 0.6694, |
| "step": 106 |
| }, |
| { |
| "epoch": 0.45653333333333335, |
| "grad_norm": 0.3976461887359619, |
| "learning_rate": 4.866143505856496e-06, |
| "loss": 0.6652, |
| "step": 107 |
| }, |
| { |
| "epoch": 0.4608, |
| "grad_norm": 0.40244609117507935, |
| "learning_rate": 4.862327459350784e-06, |
| "loss": 0.7008, |
| "step": 108 |
| }, |
| { |
| "epoch": 0.4650666666666667, |
| "grad_norm": 0.36506327986717224, |
| "learning_rate": 4.858459318952521e-06, |
| "loss": 0.7103, |
| "step": 109 |
| }, |
| { |
| "epoch": 0.4693333333333333, |
| "grad_norm": 0.3845788836479187, |
| "learning_rate": 4.854539169961688e-06, |
| "loss": 0.6873, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.4736, |
| "grad_norm": 0.3704811632633209, |
| "learning_rate": 4.85056709882516e-06, |
| "loss": 0.7118, |
| "step": 111 |
| }, |
| { |
| "epoch": 0.47786666666666666, |
| "grad_norm": 0.3637083172798157, |
| "learning_rate": 4.8465431931347904e-06, |
| "loss": 0.6857, |
| "step": 112 |
| }, |
| { |
| "epoch": 0.48213333333333336, |
| "grad_norm": 0.4030190706253052, |
| "learning_rate": 4.8424675416254895e-06, |
| "loss": 0.6575, |
| "step": 113 |
| }, |
| { |
| "epoch": 0.4864, |
| "grad_norm": 0.39205852150917053, |
| "learning_rate": 4.8383402341732605e-06, |
| "loss": 0.6864, |
| "step": 114 |
| }, |
| { |
| "epoch": 0.49066666666666664, |
| "grad_norm": 0.3978751003742218, |
| "learning_rate": 4.83416136179322e-06, |
| "loss": 0.6958, |
| "step": 115 |
| }, |
| { |
| "epoch": 0.49493333333333334, |
| "grad_norm": 0.35517552495002747, |
| "learning_rate": 4.829931016637594e-06, |
| "loss": 0.6565, |
| "step": 116 |
| }, |
| { |
| "epoch": 0.4992, |
| "grad_norm": 0.3978227972984314, |
| "learning_rate": 4.825649291993677e-06, |
| "loss": 0.6888, |
| "step": 117 |
| }, |
| { |
| "epoch": 0.5034666666666666, |
| "grad_norm": 0.3767167329788208, |
| "learning_rate": 4.821316282281788e-06, |
| "loss": 0.6617, |
| "step": 118 |
| }, |
| { |
| "epoch": 0.5077333333333334, |
| "grad_norm": 0.3927992582321167, |
| "learning_rate": 4.816932083053175e-06, |
| "loss": 0.6328, |
| "step": 119 |
| }, |
| { |
| "epoch": 0.512, |
| "grad_norm": 0.38048994541168213, |
| "learning_rate": 4.812496790987917e-06, |
| "loss": 0.6838, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.5162666666666667, |
| "grad_norm": 0.3565223515033722, |
| "learning_rate": 4.808010503892788e-06, |
| "loss": 0.6674, |
| "step": 121 |
| }, |
| { |
| "epoch": 0.5205333333333333, |
| "grad_norm": 0.37428316473960876, |
| "learning_rate": 4.803473320699102e-06, |
| "loss": 0.665, |
| "step": 122 |
| }, |
| { |
| "epoch": 0.5248, |
| "grad_norm": 0.39371275901794434, |
| "learning_rate": 4.7988853414605276e-06, |
| "loss": 0.7722, |
| "step": 123 |
| }, |
| { |
| "epoch": 0.5290666666666667, |
| "grad_norm": 0.37246188521385193, |
| "learning_rate": 4.794246667350889e-06, |
| "loss": 0.666, |
| "step": 124 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 0.36160096526145935, |
| "learning_rate": 4.789557400661927e-06, |
| "loss": 0.6518, |
| "step": 125 |
| }, |
| { |
| "epoch": 0.5376, |
| "grad_norm": 0.3860783576965332, |
| "learning_rate": 4.784817644801049e-06, |
| "loss": 0.6837, |
| "step": 126 |
| }, |
| { |
| "epoch": 0.5418666666666667, |
| "grad_norm": 0.37812525033950806, |
| "learning_rate": 4.780027504289043e-06, |
| "loss": 0.6526, |
| "step": 127 |
| }, |
| { |
| "epoch": 0.5461333333333334, |
| "grad_norm": 0.3702966570854187, |
| "learning_rate": 4.775187084757778e-06, |
| "loss": 0.6913, |
| "step": 128 |
| }, |
| { |
| "epoch": 0.5504, |
| "grad_norm": 0.39008045196533203, |
| "learning_rate": 4.770296492947876e-06, |
| "loss": 0.6669, |
| "step": 129 |
| }, |
| { |
| "epoch": 0.5546666666666666, |
| "grad_norm": 0.3917200565338135, |
| "learning_rate": 4.765355836706349e-06, |
| "loss": 0.6431, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.5589333333333333, |
| "grad_norm": 0.3988916873931885, |
| "learning_rate": 4.7603652249842305e-06, |
| "loss": 0.6682, |
| "step": 131 |
| }, |
| { |
| "epoch": 0.5632, |
| "grad_norm": 0.3633989095687866, |
| "learning_rate": 4.755324767834166e-06, |
| "loss": 0.6717, |
| "step": 132 |
| }, |
| { |
| "epoch": 0.5674666666666667, |
| "grad_norm": 0.3956949710845947, |
| "learning_rate": 4.750234576407994e-06, |
| "loss": 0.6764, |
| "step": 133 |
| }, |
| { |
| "epoch": 0.5717333333333333, |
| "grad_norm": 0.3971360921859741, |
| "learning_rate": 4.745094762954285e-06, |
| "loss": 0.6843, |
| "step": 134 |
| }, |
| { |
| "epoch": 0.576, |
| "grad_norm": 0.3699060082435608, |
| "learning_rate": 4.7399054408158735e-06, |
| "loss": 0.6826, |
| "step": 135 |
| }, |
| { |
| "epoch": 0.5802666666666667, |
| "grad_norm": 0.3734731674194336, |
| "learning_rate": 4.734666724427357e-06, |
| "loss": 0.636, |
| "step": 136 |
| }, |
| { |
| "epoch": 0.5845333333333333, |
| "grad_norm": 0.37412676215171814, |
| "learning_rate": 4.729378729312569e-06, |
| "loss": 0.6573, |
| "step": 137 |
| }, |
| { |
| "epoch": 0.5888, |
| "grad_norm": 0.43301528692245483, |
| "learning_rate": 4.724041572082039e-06, |
| "loss": 0.696, |
| "step": 138 |
| }, |
| { |
| "epoch": 0.5930666666666666, |
| "grad_norm": 0.38765257596969604, |
| "learning_rate": 4.718655370430411e-06, |
| "loss": 0.6704, |
| "step": 139 |
| }, |
| { |
| "epoch": 0.5973333333333334, |
| "grad_norm": 0.3996504843235016, |
| "learning_rate": 4.713220243133858e-06, |
| "loss": 0.6618, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.6016, |
| "grad_norm": 0.37452489137649536, |
| "learning_rate": 4.707736310047455e-06, |
| "loss": 0.689, |
| "step": 141 |
| }, |
| { |
| "epoch": 0.6058666666666667, |
| "grad_norm": 0.34926989674568176, |
| "learning_rate": 4.702203692102539e-06, |
| "loss": 0.6527, |
| "step": 142 |
| }, |
| { |
| "epoch": 0.6101333333333333, |
| "grad_norm": 0.3961327373981476, |
| "learning_rate": 4.696622511304046e-06, |
| "loss": 0.6381, |
| "step": 143 |
| }, |
| { |
| "epoch": 0.6144, |
| "grad_norm": 0.3921031951904297, |
| "learning_rate": 4.690992890727813e-06, |
| "loss": 0.6767, |
| "step": 144 |
| }, |
| { |
| "epoch": 0.6186666666666667, |
| "grad_norm": 0.4456472098827362, |
| "learning_rate": 4.68531495451787e-06, |
| "loss": 0.6715, |
| "step": 145 |
| }, |
| { |
| "epoch": 0.6229333333333333, |
| "grad_norm": 0.38145363330841064, |
| "learning_rate": 4.679588827883699e-06, |
| "loss": 0.6509, |
| "step": 146 |
| }, |
| { |
| "epoch": 0.6272, |
| "grad_norm": 0.3857404887676239, |
| "learning_rate": 4.6738146370974745e-06, |
| "loss": 0.6786, |
| "step": 147 |
| }, |
| { |
| "epoch": 0.6314666666666666, |
| "grad_norm": 0.36696499586105347, |
| "learning_rate": 4.66799250949128e-06, |
| "loss": 0.6503, |
| "step": 148 |
| }, |
| { |
| "epoch": 0.6357333333333334, |
| "grad_norm": 0.36986419558525085, |
| "learning_rate": 4.662122573454296e-06, |
| "loss": 0.6577, |
| "step": 149 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 0.39298486709594727, |
| "learning_rate": 4.656204958429974e-06, |
| "loss": 0.6491, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.6442666666666667, |
| "grad_norm": 0.43070754408836365, |
| "learning_rate": 4.650239794913177e-06, |
| "loss": 0.687, |
| "step": 151 |
| }, |
| { |
| "epoch": 0.6485333333333333, |
| "grad_norm": 0.3805888295173645, |
| "learning_rate": 4.644227214447308e-06, |
| "loss": 0.6269, |
| "step": 152 |
| }, |
| { |
| "epoch": 0.6528, |
| "grad_norm": 0.39261743426322937, |
| "learning_rate": 4.638167349621399e-06, |
| "loss": 0.6504, |
| "step": 153 |
| }, |
| { |
| "epoch": 0.6570666666666667, |
| "grad_norm": 0.378801167011261, |
| "learning_rate": 4.632060334067202e-06, |
| "loss": 0.676, |
| "step": 154 |
| }, |
| { |
| "epoch": 0.6613333333333333, |
| "grad_norm": 0.41917920112609863, |
| "learning_rate": 4.625906302456227e-06, |
| "loss": 0.688, |
| "step": 155 |
| }, |
| { |
| "epoch": 0.6656, |
| "grad_norm": 0.41115954518318176, |
| "learning_rate": 4.6197053904967826e-06, |
| "loss": 0.6729, |
| "step": 156 |
| }, |
| { |
| "epoch": 0.6698666666666667, |
| "grad_norm": 0.3718389570713043, |
| "learning_rate": 4.613457734930978e-06, |
| "loss": 0.6531, |
| "step": 157 |
| }, |
| { |
| "epoch": 0.6741333333333334, |
| "grad_norm": 0.3660692274570465, |
| "learning_rate": 4.607163473531712e-06, |
| "loss": 0.6544, |
| "step": 158 |
| }, |
| { |
| "epoch": 0.6784, |
| "grad_norm": 0.3884277045726776, |
| "learning_rate": 4.600822745099628e-06, |
| "loss": 0.6614, |
| "step": 159 |
| }, |
| { |
| "epoch": 0.6826666666666666, |
| "grad_norm": 0.37769001722335815, |
| "learning_rate": 4.5944356894600615e-06, |
| "loss": 0.6787, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.6869333333333333, |
| "grad_norm": 0.3687920570373535, |
| "learning_rate": 4.58800244745995e-06, |
| "loss": 0.6471, |
| "step": 161 |
| }, |
| { |
| "epoch": 0.6912, |
| "grad_norm": 0.3945862650871277, |
| "learning_rate": 4.581523160964731e-06, |
| "loss": 0.681, |
| "step": 162 |
| }, |
| { |
| "epoch": 0.6954666666666667, |
| "grad_norm": 0.355354905128479, |
| "learning_rate": 4.574997972855212e-06, |
| "loss": 0.6548, |
| "step": 163 |
| }, |
| { |
| "epoch": 0.6997333333333333, |
| "grad_norm": 0.3718619644641876, |
| "learning_rate": 4.568427027024419e-06, |
| "loss": 0.6948, |
| "step": 164 |
| }, |
| { |
| "epoch": 0.704, |
| "grad_norm": 0.37492382526397705, |
| "learning_rate": 4.561810468374427e-06, |
| "loss": 0.6459, |
| "step": 165 |
| }, |
| { |
| "epoch": 0.7082666666666667, |
| "grad_norm": 0.3851492404937744, |
| "learning_rate": 4.5551484428131575e-06, |
| "loss": 0.662, |
| "step": 166 |
| }, |
| { |
| "epoch": 0.7125333333333334, |
| "grad_norm": 0.3845251202583313, |
| "learning_rate": 4.548441097251168e-06, |
| "loss": 0.6353, |
| "step": 167 |
| }, |
| { |
| "epoch": 0.7168, |
| "grad_norm": 0.34392473101615906, |
| "learning_rate": 4.541688579598412e-06, |
| "loss": 0.6474, |
| "step": 168 |
| }, |
| { |
| "epoch": 0.7210666666666666, |
| "grad_norm": 0.3728064000606537, |
| "learning_rate": 4.534891038760971e-06, |
| "loss": 0.6745, |
| "step": 169 |
| }, |
| { |
| "epoch": 0.7253333333333334, |
| "grad_norm": 0.39107459783554077, |
| "learning_rate": 4.528048624637777e-06, |
| "loss": 0.6655, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.7296, |
| "grad_norm": 0.3549425005912781, |
| "learning_rate": 4.521161488117303e-06, |
| "loss": 0.658, |
| "step": 171 |
| }, |
| { |
| "epoch": 0.7338666666666667, |
| "grad_norm": 0.3642064929008484, |
| "learning_rate": 4.514229781074239e-06, |
| "loss": 0.6767, |
| "step": 172 |
| }, |
| { |
| "epoch": 0.7381333333333333, |
| "grad_norm": 0.40543392300605774, |
| "learning_rate": 4.507253656366143e-06, |
| "loss": 0.67, |
| "step": 173 |
| }, |
| { |
| "epoch": 0.7424, |
| "grad_norm": 0.36321622133255005, |
| "learning_rate": 4.5002332678300645e-06, |
| "loss": 0.6385, |
| "step": 174 |
| }, |
| { |
| "epoch": 0.7466666666666667, |
| "grad_norm": 0.34730178117752075, |
| "learning_rate": 4.49316877027916e-06, |
| "loss": 0.6533, |
| "step": 175 |
| }, |
| { |
| "epoch": 0.7509333333333333, |
| "grad_norm": 0.3694966733455658, |
| "learning_rate": 4.48606031949927e-06, |
| "loss": 0.6599, |
| "step": 176 |
| }, |
| { |
| "epoch": 0.7552, |
| "grad_norm": 0.3944104313850403, |
| "learning_rate": 4.478908072245495e-06, |
| "loss": 0.6508, |
| "step": 177 |
| }, |
| { |
| "epoch": 0.7594666666666666, |
| "grad_norm": 0.3709719479084015, |
| "learning_rate": 4.471712186238728e-06, |
| "loss": 0.6851, |
| "step": 178 |
| }, |
| { |
| "epoch": 0.7637333333333334, |
| "grad_norm": 0.3659399151802063, |
| "learning_rate": 4.4644728201621825e-06, |
| "loss": 0.7066, |
| "step": 179 |
| }, |
| { |
| "epoch": 0.768, |
| "grad_norm": 0.3750763535499573, |
| "learning_rate": 4.457190133657891e-06, |
| "loss": 0.6541, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.7722666666666667, |
| "grad_norm": 0.39184752106666565, |
| "learning_rate": 4.449864287323188e-06, |
| "loss": 0.6534, |
| "step": 181 |
| }, |
| { |
| "epoch": 0.7765333333333333, |
| "grad_norm": 0.3683447539806366, |
| "learning_rate": 4.442495442707163e-06, |
| "loss": 0.652, |
| "step": 182 |
| }, |
| { |
| "epoch": 0.7808, |
| "grad_norm": 0.3437025547027588, |
| "learning_rate": 4.4350837623071006e-06, |
| "loss": 0.643, |
| "step": 183 |
| }, |
| { |
| "epoch": 0.7850666666666667, |
| "grad_norm": 0.37833109498023987, |
| "learning_rate": 4.427629409564898e-06, |
| "loss": 0.6409, |
| "step": 184 |
| }, |
| { |
| "epoch": 0.7893333333333333, |
| "grad_norm": 0.36276975274086, |
| "learning_rate": 4.420132548863461e-06, |
| "loss": 0.6427, |
| "step": 185 |
| }, |
| { |
| "epoch": 0.7936, |
| "grad_norm": 0.37990450859069824, |
| "learning_rate": 4.412593345523078e-06, |
| "loss": 0.6786, |
| "step": 186 |
| }, |
| { |
| "epoch": 0.7978666666666666, |
| "grad_norm": 0.3818235695362091, |
| "learning_rate": 4.405011965797775e-06, |
| "loss": 0.712, |
| "step": 187 |
| }, |
| { |
| "epoch": 0.8021333333333334, |
| "grad_norm": 0.3498851954936981, |
| "learning_rate": 4.397388576871645e-06, |
| "loss": 0.6168, |
| "step": 188 |
| }, |
| { |
| "epoch": 0.8064, |
| "grad_norm": 0.3553500473499298, |
| "learning_rate": 4.389723346855171e-06, |
| "loss": 0.6641, |
| "step": 189 |
| }, |
| { |
| "epoch": 0.8106666666666666, |
| "grad_norm": 0.37713390588760376, |
| "learning_rate": 4.382016444781509e-06, |
| "loss": 0.6767, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.8149333333333333, |
| "grad_norm": 0.3694016933441162, |
| "learning_rate": 4.3742680406027655e-06, |
| "loss": 0.6749, |
| "step": 191 |
| }, |
| { |
| "epoch": 0.8192, |
| "grad_norm": 0.3673281967639923, |
| "learning_rate": 4.36647830518625e-06, |
| "loss": 0.6099, |
| "step": 192 |
| }, |
| { |
| "epoch": 0.8234666666666667, |
| "grad_norm": 0.3572637736797333, |
| "learning_rate": 4.3586474103107034e-06, |
| "loss": 0.6097, |
| "step": 193 |
| }, |
| { |
| "epoch": 0.8277333333333333, |
| "grad_norm": 0.3356681168079376, |
| "learning_rate": 4.350775528662515e-06, |
| "loss": 0.6665, |
| "step": 194 |
| }, |
| { |
| "epoch": 0.832, |
| "grad_norm": 0.3750758171081543, |
| "learning_rate": 4.34286283383191e-06, |
| "loss": 0.6755, |
| "step": 195 |
| }, |
| { |
| "epoch": 0.8362666666666667, |
| "grad_norm": 0.38012009859085083, |
| "learning_rate": 4.334909500309124e-06, |
| "loss": 0.618, |
| "step": 196 |
| }, |
| { |
| "epoch": 0.8405333333333334, |
| "grad_norm": 0.3598080277442932, |
| "learning_rate": 4.326915703480552e-06, |
| "loss": 0.6504, |
| "step": 197 |
| }, |
| { |
| "epoch": 0.8448, |
| "grad_norm": 0.36224260926246643, |
| "learning_rate": 4.318881619624889e-06, |
| "loss": 0.6395, |
| "step": 198 |
| }, |
| { |
| "epoch": 0.8490666666666666, |
| "grad_norm": 0.3769308626651764, |
| "learning_rate": 4.310807425909231e-06, |
| "loss": 0.6375, |
| "step": 199 |
| }, |
| { |
| "epoch": 0.8533333333333334, |
| "grad_norm": 0.37255364656448364, |
| "learning_rate": 4.3026933003851765e-06, |
| "loss": 0.6274, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.8576, |
| "grad_norm": 0.3720489740371704, |
| "learning_rate": 4.294539421984898e-06, |
| "loss": 0.6391, |
| "step": 201 |
| }, |
| { |
| "epoch": 0.8618666666666667, |
| "grad_norm": 0.36343514919281006, |
| "learning_rate": 4.286345970517195e-06, |
| "loss": 0.6234, |
| "step": 202 |
| }, |
| { |
| "epoch": 0.8661333333333333, |
| "grad_norm": 0.373117059469223, |
| "learning_rate": 4.278113126663529e-06, |
| "loss": 0.6824, |
| "step": 203 |
| }, |
| { |
| "epoch": 0.8704, |
| "grad_norm": 0.3645020127296448, |
| "learning_rate": 4.269841071974044e-06, |
| "loss": 0.6088, |
| "step": 204 |
| }, |
| { |
| "epoch": 0.8746666666666667, |
| "grad_norm": 0.3923603892326355, |
| "learning_rate": 4.261529988863552e-06, |
| "loss": 0.6868, |
| "step": 205 |
| }, |
| { |
| "epoch": 0.8789333333333333, |
| "grad_norm": 0.36643365025520325, |
| "learning_rate": 4.253180060607523e-06, |
| "loss": 0.6371, |
| "step": 206 |
| }, |
| { |
| "epoch": 0.8832, |
| "grad_norm": 0.388554185628891, |
| "learning_rate": 4.244791471338035e-06, |
| "loss": 0.6544, |
| "step": 207 |
| }, |
| { |
| "epoch": 0.8874666666666666, |
| "grad_norm": 0.39180922508239746, |
| "learning_rate": 4.236364406039718e-06, |
| "loss": 0.7012, |
| "step": 208 |
| }, |
| { |
| "epoch": 0.8917333333333334, |
| "grad_norm": 0.3649655878543854, |
| "learning_rate": 4.22789905054567e-06, |
| "loss": 0.6327, |
| "step": 209 |
| }, |
| { |
| "epoch": 0.896, |
| "grad_norm": 0.3761747479438782, |
| "learning_rate": 4.219395591533364e-06, |
| "loss": 0.6746, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.9002666666666667, |
| "grad_norm": 0.3713630437850952, |
| "learning_rate": 4.210854216520529e-06, |
| "loss": 0.642, |
| "step": 211 |
| }, |
| { |
| "epoch": 0.9045333333333333, |
| "grad_norm": 0.3751310408115387, |
| "learning_rate": 4.202275113861015e-06, |
| "loss": 0.6649, |
| "step": 212 |
| }, |
| { |
| "epoch": 0.9088, |
| "grad_norm": 0.35876309871673584, |
| "learning_rate": 4.193658472740641e-06, |
| "loss": 0.6464, |
| "step": 213 |
| }, |
| { |
| "epoch": 0.9130666666666667, |
| "grad_norm": 0.3813459873199463, |
| "learning_rate": 4.185004483173018e-06, |
| "loss": 0.6887, |
| "step": 214 |
| }, |
| { |
| "epoch": 0.9173333333333333, |
| "grad_norm": 0.40369632840156555, |
| "learning_rate": 4.176313335995368e-06, |
| "loss": 0.6606, |
| "step": 215 |
| }, |
| { |
| "epoch": 0.9216, |
| "grad_norm": 0.41807031631469727, |
| "learning_rate": 4.1675852228643045e-06, |
| "loss": 0.6546, |
| "step": 216 |
| }, |
| { |
| "epoch": 0.9258666666666666, |
| "grad_norm": 0.3831678628921509, |
| "learning_rate": 4.158820336251615e-06, |
| "loss": 0.6822, |
| "step": 217 |
| }, |
| { |
| "epoch": 0.9301333333333334, |
| "grad_norm": 0.38871535658836365, |
| "learning_rate": 4.150018869440015e-06, |
| "loss": 0.6188, |
| "step": 218 |
| }, |
| { |
| "epoch": 0.9344, |
| "grad_norm": 0.39522799849510193, |
| "learning_rate": 4.14118101651888e-06, |
| "loss": 0.6384, |
| "step": 219 |
| }, |
| { |
| "epoch": 0.9386666666666666, |
| "grad_norm": 0.38515716791152954, |
| "learning_rate": 4.132306972379971e-06, |
| "loss": 0.6556, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.9429333333333333, |
| "grad_norm": 0.4171655476093292, |
| "learning_rate": 4.1233969327131396e-06, |
| "loss": 0.6408, |
| "step": 221 |
| }, |
| { |
| "epoch": 0.9472, |
| "grad_norm": 0.3901931941509247, |
| "learning_rate": 4.114451094002002e-06, |
| "loss": 0.667, |
| "step": 222 |
| }, |
| { |
| "epoch": 0.9514666666666667, |
| "grad_norm": 0.39424633979797363, |
| "learning_rate": 4.105469653519617e-06, |
| "loss": 0.6607, |
| "step": 223 |
| }, |
| { |
| "epoch": 0.9557333333333333, |
| "grad_norm": 0.37425708770751953, |
| "learning_rate": 4.09645280932413e-06, |
| "loss": 0.639, |
| "step": 224 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 0.3967532813549042, |
| "learning_rate": 4.087400760254407e-06, |
| "loss": 0.6662, |
| "step": 225 |
| }, |
| { |
| "epoch": 0.9642666666666667, |
| "grad_norm": 0.3847205340862274, |
| "learning_rate": 4.078313705925647e-06, |
| "loss": 0.6457, |
| "step": 226 |
| }, |
| { |
| "epoch": 0.9685333333333334, |
| "grad_norm": 0.3996621370315552, |
| "learning_rate": 4.069191846724989e-06, |
| "loss": 0.6503, |
| "step": 227 |
| }, |
| { |
| "epoch": 0.9728, |
| "grad_norm": 0.36623647809028625, |
| "learning_rate": 4.06003538380708e-06, |
| "loss": 0.6525, |
| "step": 228 |
| }, |
| { |
| "epoch": 0.9770666666666666, |
| "grad_norm": 0.38129106163978577, |
| "learning_rate": 4.0508445190896505e-06, |
| "loss": 0.6671, |
| "step": 229 |
| }, |
| { |
| "epoch": 0.9813333333333333, |
| "grad_norm": 0.4016317129135132, |
| "learning_rate": 4.041619455249054e-06, |
| "loss": 0.676, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.9856, |
| "grad_norm": 0.3796759247779846, |
| "learning_rate": 4.032360395715804e-06, |
| "loss": 0.6497, |
| "step": 231 |
| }, |
| { |
| "epoch": 0.9898666666666667, |
| "grad_norm": 0.37460625171661377, |
| "learning_rate": 4.023067544670082e-06, |
| "loss": 0.6318, |
| "step": 232 |
| }, |
| { |
| "epoch": 0.9941333333333333, |
| "grad_norm": 0.36790499091148376, |
| "learning_rate": 4.013741107037241e-06, |
| "loss": 0.6176, |
| "step": 233 |
| }, |
| { |
| "epoch": 0.9984, |
| "grad_norm": 0.3725135326385498, |
| "learning_rate": 4.004381288483279e-06, |
| "loss": 0.6173, |
| "step": 234 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 0.5435260534286499, |
| "learning_rate": 3.9949882954103115e-06, |
| "loss": 0.6306, |
| "step": 235 |
| }, |
| { |
| "epoch": 1.0042666666666666, |
| "grad_norm": 0.36948561668395996, |
| "learning_rate": 3.985562334952015e-06, |
| "loss": 0.6645, |
| "step": 236 |
| }, |
| { |
| "epoch": 1.0085333333333333, |
| "grad_norm": 0.410770446062088, |
| "learning_rate": 3.97610361496906e-06, |
| "loss": 0.6288, |
| "step": 237 |
| }, |
| { |
| "epoch": 1.0128, |
| "grad_norm": 0.3914359211921692, |
| "learning_rate": 3.9666123440445295e-06, |
| "loss": 0.6418, |
| "step": 238 |
| }, |
| { |
| "epoch": 1.0170666666666666, |
| "grad_norm": 0.3786895275115967, |
| "learning_rate": 3.957088731479316e-06, |
| "loss": 0.6244, |
| "step": 239 |
| }, |
| { |
| "epoch": 1.0213333333333334, |
| "grad_norm": 0.3769228458404541, |
| "learning_rate": 3.947532987287509e-06, |
| "loss": 0.6288, |
| "step": 240 |
| }, |
| { |
| "epoch": 1.0256, |
| "grad_norm": 0.4023935794830322, |
| "learning_rate": 3.937945322191763e-06, |
| "loss": 0.6277, |
| "step": 241 |
| }, |
| { |
| "epoch": 1.0298666666666667, |
| "grad_norm": 0.38678252696990967, |
| "learning_rate": 3.928325947618649e-06, |
| "loss": 0.6202, |
| "step": 242 |
| }, |
| { |
| "epoch": 1.0341333333333333, |
| "grad_norm": 0.38373494148254395, |
| "learning_rate": 3.9186750756939925e-06, |
| "loss": 0.6458, |
| "step": 243 |
| }, |
| { |
| "epoch": 1.0384, |
| "grad_norm": 0.411771684885025, |
| "learning_rate": 3.9089929192382e-06, |
| "loss": 0.6443, |
| "step": 244 |
| }, |
| { |
| "epoch": 1.0426666666666666, |
| "grad_norm": 0.3979637920856476, |
| "learning_rate": 3.899279691761558e-06, |
| "loss": 0.6271, |
| "step": 245 |
| }, |
| { |
| "epoch": 1.0469333333333333, |
| "grad_norm": 0.37983348965644836, |
| "learning_rate": 3.889535607459534e-06, |
| "loss": 0.6626, |
| "step": 246 |
| }, |
| { |
| "epoch": 1.0512, |
| "grad_norm": 0.4087248742580414, |
| "learning_rate": 3.879760881208043e-06, |
| "loss": 0.6602, |
| "step": 247 |
| }, |
| { |
| "epoch": 1.0554666666666668, |
| "grad_norm": 0.3652113378047943, |
| "learning_rate": 3.869955728558719e-06, |
| "loss": 0.6425, |
| "step": 248 |
| }, |
| { |
| "epoch": 1.0597333333333334, |
| "grad_norm": 0.3603936433792114, |
| "learning_rate": 3.860120365734154e-06, |
| "loss": 0.6331, |
| "step": 249 |
| }, |
| { |
| "epoch": 1.064, |
| "grad_norm": 0.4053269624710083, |
| "learning_rate": 3.8502550096231325e-06, |
| "loss": 0.6956, |
| "step": 250 |
| }, |
| { |
| "epoch": 1.0682666666666667, |
| "grad_norm": 0.4000628888607025, |
| "learning_rate": 3.840359877775853e-06, |
| "loss": 0.6321, |
| "step": 251 |
| }, |
| { |
| "epoch": 1.0725333333333333, |
| "grad_norm": 0.3704379200935364, |
| "learning_rate": 3.830435188399123e-06, |
| "loss": 0.6227, |
| "step": 252 |
| }, |
| { |
| "epoch": 1.0768, |
| "grad_norm": 0.3613002300262451, |
| "learning_rate": 3.82048116035155e-06, |
| "loss": 0.6464, |
| "step": 253 |
| }, |
| { |
| "epoch": 1.0810666666666666, |
| "grad_norm": 0.37688636779785156, |
| "learning_rate": 3.810498013138719e-06, |
| "loss": 0.6121, |
| "step": 254 |
| }, |
| { |
| "epoch": 1.0853333333333333, |
| "grad_norm": 0.41339555382728577, |
| "learning_rate": 3.8004859669083475e-06, |
| "loss": 0.6386, |
| "step": 255 |
| }, |
| { |
| "epoch": 1.0896, |
| "grad_norm": 0.3702141344547272, |
| "learning_rate": 3.790445242445432e-06, |
| "loss": 0.6094, |
| "step": 256 |
| }, |
| { |
| "epoch": 1.0938666666666668, |
| "grad_norm": 0.37923765182495117, |
| "learning_rate": 3.780376061167379e-06, |
| "loss": 0.6252, |
| "step": 257 |
| }, |
| { |
| "epoch": 1.0981333333333334, |
| "grad_norm": 0.38305890560150146, |
| "learning_rate": 3.7702786451191255e-06, |
| "loss": 0.6404, |
| "step": 258 |
| }, |
| { |
| "epoch": 1.1024, |
| "grad_norm": 0.3678419589996338, |
| "learning_rate": 3.7601532169682363e-06, |
| "loss": 0.6251, |
| "step": 259 |
| }, |
| { |
| "epoch": 1.1066666666666667, |
| "grad_norm": 0.38134104013442993, |
| "learning_rate": 3.7500000000000005e-06, |
| "loss": 0.6412, |
| "step": 260 |
| }, |
| { |
| "epoch": 1.1109333333333333, |
| "grad_norm": 0.37436601519584656, |
| "learning_rate": 3.7398192181125014e-06, |
| "loss": 0.6244, |
| "step": 261 |
| }, |
| { |
| "epoch": 1.1152, |
| "grad_norm": 0.3732365667819977, |
| "learning_rate": 3.7296110958116845e-06, |
| "loss": 0.5944, |
| "step": 262 |
| }, |
| { |
| "epoch": 1.1194666666666666, |
| "grad_norm": 0.38658225536346436, |
| "learning_rate": 3.719375858206403e-06, |
| "loss": 0.6135, |
| "step": 263 |
| }, |
| { |
| "epoch": 1.1237333333333333, |
| "grad_norm": 0.38506805896759033, |
| "learning_rate": 3.7091137310034565e-06, |
| "loss": 0.6318, |
| "step": 264 |
| }, |
| { |
| "epoch": 1.1280000000000001, |
| "grad_norm": 0.36155635118484497, |
| "learning_rate": 3.69882494050261e-06, |
| "loss": 0.6097, |
| "step": 265 |
| }, |
| { |
| "epoch": 1.1322666666666668, |
| "grad_norm": 0.366577684879303, |
| "learning_rate": 3.6885097135916067e-06, |
| "loss": 0.6103, |
| "step": 266 |
| }, |
| { |
| "epoch": 1.1365333333333334, |
| "grad_norm": 0.37110307812690735, |
| "learning_rate": 3.6781682777411663e-06, |
| "loss": 0.6421, |
| "step": 267 |
| }, |
| { |
| "epoch": 1.1408, |
| "grad_norm": 0.38045334815979004, |
| "learning_rate": 3.6678008609999618e-06, |
| "loss": 0.6392, |
| "step": 268 |
| }, |
| { |
| "epoch": 1.1450666666666667, |
| "grad_norm": 0.38193008303642273, |
| "learning_rate": 3.657407691989599e-06, |
| "loss": 0.636, |
| "step": 269 |
| }, |
| { |
| "epoch": 1.1493333333333333, |
| "grad_norm": 0.3796103000640869, |
| "learning_rate": 3.64698899989957e-06, |
| "loss": 0.6597, |
| "step": 270 |
| }, |
| { |
| "epoch": 1.1536, |
| "grad_norm": 0.38126182556152344, |
| "learning_rate": 3.636545014482198e-06, |
| "loss": 0.6194, |
| "step": 271 |
| }, |
| { |
| "epoch": 1.1578666666666666, |
| "grad_norm": 0.37700942158699036, |
| "learning_rate": 3.6260759660475767e-06, |
| "loss": 0.6472, |
| "step": 272 |
| }, |
| { |
| "epoch": 1.1621333333333332, |
| "grad_norm": 0.3943956196308136, |
| "learning_rate": 3.615582085458485e-06, |
| "loss": 0.6142, |
| "step": 273 |
| }, |
| { |
| "epoch": 1.1663999999999999, |
| "grad_norm": 0.37596529722213745, |
| "learning_rate": 3.6050636041252996e-06, |
| "loss": 0.6617, |
| "step": 274 |
| }, |
| { |
| "epoch": 1.1706666666666667, |
| "grad_norm": 0.38903918862342834, |
| "learning_rate": 3.594520754000893e-06, |
| "loss": 0.6215, |
| "step": 275 |
| }, |
| { |
| "epoch": 1.1749333333333334, |
| "grad_norm": 0.3797720670700073, |
| "learning_rate": 3.5839537675755136e-06, |
| "loss": 0.6393, |
| "step": 276 |
| }, |
| { |
| "epoch": 1.1792, |
| "grad_norm": 0.33679234981536865, |
| "learning_rate": 3.5733628778716645e-06, |
| "loss": 0.6029, |
| "step": 277 |
| }, |
| { |
| "epoch": 1.1834666666666667, |
| "grad_norm": 0.3872799277305603, |
| "learning_rate": 3.562748318438961e-06, |
| "loss": 0.6323, |
| "step": 278 |
| }, |
| { |
| "epoch": 1.1877333333333333, |
| "grad_norm": 0.38341936469078064, |
| "learning_rate": 3.552110323348981e-06, |
| "loss": 0.6964, |
| "step": 279 |
| }, |
| { |
| "epoch": 1.192, |
| "grad_norm": 0.3867659568786621, |
| "learning_rate": 3.5414491271901073e-06, |
| "loss": 0.6376, |
| "step": 280 |
| }, |
| { |
| "epoch": 1.1962666666666666, |
| "grad_norm": 0.3914010226726532, |
| "learning_rate": 3.5307649650623476e-06, |
| "loss": 0.6143, |
| "step": 281 |
| }, |
| { |
| "epoch": 1.2005333333333335, |
| "grad_norm": 0.36839964985847473, |
| "learning_rate": 3.5200580725721554e-06, |
| "loss": 0.6702, |
| "step": 282 |
| }, |
| { |
| "epoch": 1.2048, |
| "grad_norm": 0.37717902660369873, |
| "learning_rate": 3.5093286858272325e-06, |
| "loss": 0.6148, |
| "step": 283 |
| }, |
| { |
| "epoch": 1.2090666666666667, |
| "grad_norm": 0.3799995183944702, |
| "learning_rate": 3.4985770414313218e-06, |
| "loss": 0.6284, |
| "step": 284 |
| }, |
| { |
| "epoch": 1.2133333333333334, |
| "grad_norm": 0.3792381286621094, |
| "learning_rate": 3.487803376478992e-06, |
| "loss": 0.5911, |
| "step": 285 |
| }, |
| { |
| "epoch": 1.2176, |
| "grad_norm": 0.3653464615345001, |
| "learning_rate": 3.4770079285504053e-06, |
| "loss": 0.6178, |
| "step": 286 |
| }, |
| { |
| "epoch": 1.2218666666666667, |
| "grad_norm": 0.3645116090774536, |
| "learning_rate": 3.4661909357060835e-06, |
| "loss": 0.644, |
| "step": 287 |
| }, |
| { |
| "epoch": 1.2261333333333333, |
| "grad_norm": 0.37026965618133545, |
| "learning_rate": 3.4553526364816535e-06, |
| "loss": 0.6191, |
| "step": 288 |
| }, |
| { |
| "epoch": 1.2304, |
| "grad_norm": 0.40830501914024353, |
| "learning_rate": 3.4444932698825904e-06, |
| "loss": 0.6319, |
| "step": 289 |
| }, |
| { |
| "epoch": 1.2346666666666666, |
| "grad_norm": 0.35780298709869385, |
| "learning_rate": 3.4336130753789445e-06, |
| "loss": 0.66, |
| "step": 290 |
| }, |
| { |
| "epoch": 1.2389333333333332, |
| "grad_norm": 0.39104047417640686, |
| "learning_rate": 3.422712292900062e-06, |
| "loss": 0.6276, |
| "step": 291 |
| }, |
| { |
| "epoch": 1.2432, |
| "grad_norm": 0.38032180070877075, |
| "learning_rate": 3.4117911628292944e-06, |
| "loss": 0.6201, |
| "step": 292 |
| }, |
| { |
| "epoch": 1.2474666666666667, |
| "grad_norm": 0.3887733817100525, |
| "learning_rate": 3.400849925998697e-06, |
| "loss": 0.6148, |
| "step": 293 |
| }, |
| { |
| "epoch": 1.2517333333333334, |
| "grad_norm": 0.37434589862823486, |
| "learning_rate": 3.3898888236837167e-06, |
| "loss": 0.649, |
| "step": 294 |
| }, |
| { |
| "epoch": 1.256, |
| "grad_norm": 0.36425620317459106, |
| "learning_rate": 3.378908097597875e-06, |
| "loss": 0.6313, |
| "step": 295 |
| }, |
| { |
| "epoch": 1.2602666666666666, |
| "grad_norm": 0.3721037805080414, |
| "learning_rate": 3.3679079898874327e-06, |
| "loss": 0.6699, |
| "step": 296 |
| }, |
| { |
| "epoch": 1.2645333333333333, |
| "grad_norm": 0.35984450578689575, |
| "learning_rate": 3.3568887431260566e-06, |
| "loss": 0.6005, |
| "step": 297 |
| }, |
| { |
| "epoch": 1.2688, |
| "grad_norm": 0.3606344759464264, |
| "learning_rate": 3.3458506003094626e-06, |
| "loss": 0.6569, |
| "step": 298 |
| }, |
| { |
| "epoch": 1.2730666666666668, |
| "grad_norm": 0.3679051697254181, |
| "learning_rate": 3.3347938048500643e-06, |
| "loss": 0.5853, |
| "step": 299 |
| }, |
| { |
| "epoch": 1.2773333333333334, |
| "grad_norm": 0.35892370343208313, |
| "learning_rate": 3.3237186005716005e-06, |
| "loss": 0.613, |
| "step": 300 |
| }, |
| { |
| "epoch": 1.2816, |
| "grad_norm": 0.3816829323768616, |
| "learning_rate": 3.3126252317037616e-06, |
| "loss": 0.6021, |
| "step": 301 |
| }, |
| { |
| "epoch": 1.2858666666666667, |
| "grad_norm": 0.3961769938468933, |
| "learning_rate": 3.3015139428767994e-06, |
| "loss": 0.667, |
| "step": 302 |
| }, |
| { |
| "epoch": 1.2901333333333334, |
| "grad_norm": 0.34190869331359863, |
| "learning_rate": 3.2903849791161398e-06, |
| "loss": 0.6147, |
| "step": 303 |
| }, |
| { |
| "epoch": 1.2944, |
| "grad_norm": 0.3746764659881592, |
| "learning_rate": 3.2792385858369706e-06, |
| "loss": 0.609, |
| "step": 304 |
| }, |
| { |
| "epoch": 1.2986666666666666, |
| "grad_norm": 0.3749980628490448, |
| "learning_rate": 3.2680750088388376e-06, |
| "loss": 0.6378, |
| "step": 305 |
| }, |
| { |
| "epoch": 1.3029333333333333, |
| "grad_norm": 0.35247915983200073, |
| "learning_rate": 3.2568944943002205e-06, |
| "loss": 0.6476, |
| "step": 306 |
| }, |
| { |
| "epoch": 1.3072, |
| "grad_norm": 0.366487979888916, |
| "learning_rate": 3.245697288773102e-06, |
| "loss": 0.6239, |
| "step": 307 |
| }, |
| { |
| "epoch": 1.3114666666666666, |
| "grad_norm": 0.37208351492881775, |
| "learning_rate": 3.2344836391775357e-06, |
| "loss": 0.6621, |
| "step": 308 |
| }, |
| { |
| "epoch": 1.3157333333333332, |
| "grad_norm": 0.38878902792930603, |
| "learning_rate": 3.2232537927961993e-06, |
| "loss": 0.6533, |
| "step": 309 |
| }, |
| { |
| "epoch": 1.32, |
| "grad_norm": 0.3752239942550659, |
| "learning_rate": 3.2120079972689385e-06, |
| "loss": 0.6528, |
| "step": 310 |
| }, |
| { |
| "epoch": 1.3242666666666667, |
| "grad_norm": 0.33627378940582275, |
| "learning_rate": 3.2007465005873104e-06, |
| "loss": 0.6337, |
| "step": 311 |
| }, |
| { |
| "epoch": 1.3285333333333333, |
| "grad_norm": 0.36405107378959656, |
| "learning_rate": 3.189469551089113e-06, |
| "loss": 0.646, |
| "step": 312 |
| }, |
| { |
| "epoch": 1.3328, |
| "grad_norm": 0.34430474042892456, |
| "learning_rate": 3.1781773974529072e-06, |
| "loss": 0.6324, |
| "step": 313 |
| }, |
| { |
| "epoch": 1.3370666666666666, |
| "grad_norm": 0.370339572429657, |
| "learning_rate": 3.1668702886925366e-06, |
| "loss": 0.6594, |
| "step": 314 |
| }, |
| { |
| "epoch": 1.3413333333333333, |
| "grad_norm": 0.3622921109199524, |
| "learning_rate": 3.1555484741516324e-06, |
| "loss": 0.6463, |
| "step": 315 |
| }, |
| { |
| "epoch": 1.3456000000000001, |
| "grad_norm": 0.37744611501693726, |
| "learning_rate": 3.1442122034981187e-06, |
| "loss": 0.6284, |
| "step": 316 |
| }, |
| { |
| "epoch": 1.3498666666666668, |
| "grad_norm": 0.36469364166259766, |
| "learning_rate": 3.1328617267187023e-06, |
| "loss": 0.6014, |
| "step": 317 |
| }, |
| { |
| "epoch": 1.3541333333333334, |
| "grad_norm": 0.36354753375053406, |
| "learning_rate": 3.1214972941133654e-06, |
| "loss": 0.621, |
| "step": 318 |
| }, |
| { |
| "epoch": 1.3584, |
| "grad_norm": 0.35719966888427734, |
| "learning_rate": 3.110119156289841e-06, |
| "loss": 0.6319, |
| "step": 319 |
| }, |
| { |
| "epoch": 1.3626666666666667, |
| "grad_norm": 0.37629184126853943, |
| "learning_rate": 3.0987275641580887e-06, |
| "loss": 0.6248, |
| "step": 320 |
| }, |
| { |
| "epoch": 1.3669333333333333, |
| "grad_norm": 0.39341020584106445, |
| "learning_rate": 3.087322768924765e-06, |
| "loss": 0.6678, |
| "step": 321 |
| }, |
| { |
| "epoch": 1.3712, |
| "grad_norm": 0.39847707748413086, |
| "learning_rate": 3.075905022087675e-06, |
| "loss": 0.6345, |
| "step": 322 |
| }, |
| { |
| "epoch": 1.3754666666666666, |
| "grad_norm": 0.3695352375507355, |
| "learning_rate": 3.064474575430236e-06, |
| "loss": 0.6254, |
| "step": 323 |
| }, |
| { |
| "epoch": 1.3797333333333333, |
| "grad_norm": 0.3770747482776642, |
| "learning_rate": 3.053031681015919e-06, |
| "loss": 0.6331, |
| "step": 324 |
| }, |
| { |
| "epoch": 1.384, |
| "grad_norm": 0.35522177815437317, |
| "learning_rate": 3.0415765911826916e-06, |
| "loss": 0.6243, |
| "step": 325 |
| }, |
| { |
| "epoch": 1.3882666666666665, |
| "grad_norm": 0.3473767936229706, |
| "learning_rate": 3.030109558537457e-06, |
| "loss": 0.6546, |
| "step": 326 |
| }, |
| { |
| "epoch": 1.3925333333333334, |
| "grad_norm": 0.3723127841949463, |
| "learning_rate": 3.0186308359504768e-06, |
| "loss": 0.6376, |
| "step": 327 |
| }, |
| { |
| "epoch": 1.3968, |
| "grad_norm": 0.34262001514434814, |
| "learning_rate": 3.0071406765498003e-06, |
| "loss": 0.5835, |
| "step": 328 |
| }, |
| { |
| "epoch": 1.4010666666666667, |
| "grad_norm": 0.40056103467941284, |
| "learning_rate": 2.995639333715681e-06, |
| "loss": 0.6558, |
| "step": 329 |
| }, |
| { |
| "epoch": 1.4053333333333333, |
| "grad_norm": 0.3862249255180359, |
| "learning_rate": 2.984127061074987e-06, |
| "loss": 0.6368, |
| "step": 330 |
| }, |
| { |
| "epoch": 1.4096, |
| "grad_norm": 0.3410535156726837, |
| "learning_rate": 2.9726041124956128e-06, |
| "loss": 0.5971, |
| "step": 331 |
| }, |
| { |
| "epoch": 1.4138666666666666, |
| "grad_norm": 0.36755862832069397, |
| "learning_rate": 2.9610707420808754e-06, |
| "loss": 0.6154, |
| "step": 332 |
| }, |
| { |
| "epoch": 1.4181333333333335, |
| "grad_norm": 0.36731356382369995, |
| "learning_rate": 2.9495272041639143e-06, |
| "loss": 0.6269, |
| "step": 333 |
| }, |
| { |
| "epoch": 1.4224, |
| "grad_norm": 0.35700151324272156, |
| "learning_rate": 2.9379737533020812e-06, |
| "loss": 0.6226, |
| "step": 334 |
| }, |
| { |
| "epoch": 1.4266666666666667, |
| "grad_norm": 0.3792375922203064, |
| "learning_rate": 2.9264106442713293e-06, |
| "loss": 0.6546, |
| "step": 335 |
| }, |
| { |
| "epoch": 1.4309333333333334, |
| "grad_norm": 0.37135738134384155, |
| "learning_rate": 2.914838132060592e-06, |
| "loss": 0.6582, |
| "step": 336 |
| }, |
| { |
| "epoch": 1.4352, |
| "grad_norm": 0.3696453869342804, |
| "learning_rate": 2.9032564718661606e-06, |
| "loss": 0.6349, |
| "step": 337 |
| }, |
| { |
| "epoch": 1.4394666666666667, |
| "grad_norm": 0.3558184802532196, |
| "learning_rate": 2.891665919086058e-06, |
| "loss": 0.636, |
| "step": 338 |
| }, |
| { |
| "epoch": 1.4437333333333333, |
| "grad_norm": 0.36788755655288696, |
| "learning_rate": 2.8800667293144047e-06, |
| "loss": 0.6256, |
| "step": 339 |
| }, |
| { |
| "epoch": 1.448, |
| "grad_norm": 0.3636646568775177, |
| "learning_rate": 2.8684591583357863e-06, |
| "loss": 0.6737, |
| "step": 340 |
| }, |
| { |
| "epoch": 1.4522666666666666, |
| "grad_norm": 0.35329827666282654, |
| "learning_rate": 2.8568434621196055e-06, |
| "loss": 0.6449, |
| "step": 341 |
| }, |
| { |
| "epoch": 1.4565333333333332, |
| "grad_norm": 0.3763044476509094, |
| "learning_rate": 2.845219896814448e-06, |
| "loss": 0.6034, |
| "step": 342 |
| }, |
| { |
| "epoch": 1.4607999999999999, |
| "grad_norm": 0.3717707097530365, |
| "learning_rate": 2.8335887187424225e-06, |
| "loss": 0.6195, |
| "step": 343 |
| }, |
| { |
| "epoch": 1.4650666666666667, |
| "grad_norm": 0.3806118965148926, |
| "learning_rate": 2.8219501843935183e-06, |
| "loss": 0.6065, |
| "step": 344 |
| }, |
| { |
| "epoch": 1.4693333333333334, |
| "grad_norm": 0.35683637857437134, |
| "learning_rate": 2.8103045504199435e-06, |
| "loss": 0.6336, |
| "step": 345 |
| }, |
| { |
| "epoch": 1.4736, |
| "grad_norm": 0.3510432243347168, |
| "learning_rate": 2.7986520736304632e-06, |
| "loss": 0.656, |
| "step": 346 |
| }, |
| { |
| "epoch": 1.4778666666666667, |
| "grad_norm": 0.3614979386329651, |
| "learning_rate": 2.786993010984747e-06, |
| "loss": 0.5899, |
| "step": 347 |
| }, |
| { |
| "epoch": 1.4821333333333333, |
| "grad_norm": 0.34515616297721863, |
| "learning_rate": 2.7753276195876887e-06, |
| "loss": 0.6528, |
| "step": 348 |
| }, |
| { |
| "epoch": 1.4864, |
| "grad_norm": 0.35917502641677856, |
| "learning_rate": 2.7636561566837463e-06, |
| "loss": 0.6501, |
| "step": 349 |
| }, |
| { |
| "epoch": 1.4906666666666666, |
| "grad_norm": 0.3679303228855133, |
| "learning_rate": 2.751978879651267e-06, |
| "loss": 0.6186, |
| "step": 350 |
| }, |
| { |
| "epoch": 1.4949333333333334, |
| "grad_norm": 0.341778963804245, |
| "learning_rate": 2.740296045996808e-06, |
| "loss": 0.6206, |
| "step": 351 |
| }, |
| { |
| "epoch": 1.4992, |
| "grad_norm": 0.3657280206680298, |
| "learning_rate": 2.728607913349464e-06, |
| "loss": 0.6201, |
| "step": 352 |
| }, |
| { |
| "epoch": 1.5034666666666667, |
| "grad_norm": 0.37184861302375793, |
| "learning_rate": 2.716914739455181e-06, |
| "loss": 0.6382, |
| "step": 353 |
| }, |
| { |
| "epoch": 1.5077333333333334, |
| "grad_norm": 0.35181599855422974, |
| "learning_rate": 2.7052167821710728e-06, |
| "loss": 0.6181, |
| "step": 354 |
| }, |
| { |
| "epoch": 1.512, |
| "grad_norm": 0.33952847123146057, |
| "learning_rate": 2.6935142994597407e-06, |
| "loss": 0.582, |
| "step": 355 |
| }, |
| { |
| "epoch": 1.5162666666666667, |
| "grad_norm": 0.3619312047958374, |
| "learning_rate": 2.6818075493835747e-06, |
| "loss": 0.6453, |
| "step": 356 |
| }, |
| { |
| "epoch": 1.5205333333333333, |
| "grad_norm": 0.353040486574173, |
| "learning_rate": 2.6700967900990733e-06, |
| "loss": 0.6468, |
| "step": 357 |
| }, |
| { |
| "epoch": 1.5248, |
| "grad_norm": 0.3691389262676239, |
| "learning_rate": 2.6583822798511428e-06, |
| "loss": 0.6226, |
| "step": 358 |
| }, |
| { |
| "epoch": 1.5290666666666666, |
| "grad_norm": 0.3559889793395996, |
| "learning_rate": 2.6466642769674065e-06, |
| "loss": 0.6407, |
| "step": 359 |
| }, |
| { |
| "epoch": 1.5333333333333332, |
| "grad_norm": 0.3588290810585022, |
| "learning_rate": 2.634943039852509e-06, |
| "loss": 0.6327, |
| "step": 360 |
| }, |
| { |
| "epoch": 1.5375999999999999, |
| "grad_norm": 0.35324448347091675, |
| "learning_rate": 2.623218826982411e-06, |
| "loss": 0.6525, |
| "step": 361 |
| }, |
| { |
| "epoch": 1.5418666666666667, |
| "grad_norm": 0.3669818043708801, |
| "learning_rate": 2.6114918968987e-06, |
| "loss": 0.6379, |
| "step": 362 |
| }, |
| { |
| "epoch": 1.5461333333333334, |
| "grad_norm": 0.3631032407283783, |
| "learning_rate": 2.59976250820288e-06, |
| "loss": 0.6324, |
| "step": 363 |
| }, |
| { |
| "epoch": 1.5504, |
| "grad_norm": 0.3435375988483429, |
| "learning_rate": 2.5880309195506714e-06, |
| "loss": 0.638, |
| "step": 364 |
| }, |
| { |
| "epoch": 1.5546666666666666, |
| "grad_norm": 0.3883386552333832, |
| "learning_rate": 2.5762973896463124e-06, |
| "loss": 0.662, |
| "step": 365 |
| }, |
| { |
| "epoch": 1.5589333333333333, |
| "grad_norm": 0.3442463278770447, |
| "learning_rate": 2.564562177236844e-06, |
| "loss": 0.5799, |
| "step": 366 |
| }, |
| { |
| "epoch": 1.5632000000000001, |
| "grad_norm": 0.3552541434764862, |
| "learning_rate": 2.552825541106414e-06, |
| "loss": 0.5965, |
| "step": 367 |
| }, |
| { |
| "epoch": 1.5674666666666668, |
| "grad_norm": 0.364967405796051, |
| "learning_rate": 2.541087740070563e-06, |
| "loss": 0.6378, |
| "step": 368 |
| }, |
| { |
| "epoch": 1.5717333333333334, |
| "grad_norm": 0.37892046570777893, |
| "learning_rate": 2.5293490329705215e-06, |
| "loss": 0.6359, |
| "step": 369 |
| }, |
| { |
| "epoch": 1.576, |
| "grad_norm": 0.36757996678352356, |
| "learning_rate": 2.517609678667501e-06, |
| "loss": 0.643, |
| "step": 370 |
| }, |
| { |
| "epoch": 1.5802666666666667, |
| "grad_norm": 0.349754273891449, |
| "learning_rate": 2.5058699360369842e-06, |
| "loss": 0.6362, |
| "step": 371 |
| }, |
| { |
| "epoch": 1.5845333333333333, |
| "grad_norm": 0.3402039706707001, |
| "learning_rate": 2.494130063963016e-06, |
| "loss": 0.623, |
| "step": 372 |
| }, |
| { |
| "epoch": 1.5888, |
| "grad_norm": 0.3724100887775421, |
| "learning_rate": 2.4823903213324995e-06, |
| "loss": 0.6774, |
| "step": 373 |
| }, |
| { |
| "epoch": 1.5930666666666666, |
| "grad_norm": 0.35909926891326904, |
| "learning_rate": 2.4706509670294793e-06, |
| "loss": 0.6353, |
| "step": 374 |
| }, |
| { |
| "epoch": 1.5973333333333333, |
| "grad_norm": 0.3708135783672333, |
| "learning_rate": 2.458912259929438e-06, |
| "loss": 0.6386, |
| "step": 375 |
| }, |
| { |
| "epoch": 1.6016, |
| "grad_norm": 0.3670898377895355, |
| "learning_rate": 2.447174458893587e-06, |
| "loss": 0.6226, |
| "step": 376 |
| }, |
| { |
| "epoch": 1.6058666666666666, |
| "grad_norm": 0.3384304344654083, |
| "learning_rate": 2.4354378227631566e-06, |
| "loss": 0.6095, |
| "step": 377 |
| }, |
| { |
| "epoch": 1.6101333333333332, |
| "grad_norm": 0.3360144793987274, |
| "learning_rate": 2.423702610353689e-06, |
| "loss": 0.5713, |
| "step": 378 |
| }, |
| { |
| "epoch": 1.6143999999999998, |
| "grad_norm": 0.36030176281929016, |
| "learning_rate": 2.4119690804493285e-06, |
| "loss": 0.6171, |
| "step": 379 |
| }, |
| { |
| "epoch": 1.6186666666666667, |
| "grad_norm": 0.3754883110523224, |
| "learning_rate": 2.400237491797121e-06, |
| "loss": 0.6334, |
| "step": 380 |
| }, |
| { |
| "epoch": 1.6229333333333333, |
| "grad_norm": 0.37145912647247314, |
| "learning_rate": 2.3885081031013013e-06, |
| "loss": 0.6313, |
| "step": 381 |
| }, |
| { |
| "epoch": 1.6272, |
| "grad_norm": 0.3442709743976593, |
| "learning_rate": 2.376781173017589e-06, |
| "loss": 0.616, |
| "step": 382 |
| }, |
| { |
| "epoch": 1.6314666666666666, |
| "grad_norm": 0.36108705401420593, |
| "learning_rate": 2.365056960147492e-06, |
| "loss": 0.6034, |
| "step": 383 |
| }, |
| { |
| "epoch": 1.6357333333333335, |
| "grad_norm": 0.3905346989631653, |
| "learning_rate": 2.353335723032594e-06, |
| "loss": 0.6408, |
| "step": 384 |
| }, |
| { |
| "epoch": 1.6400000000000001, |
| "grad_norm": 0.3625428378582001, |
| "learning_rate": 2.3416177201488585e-06, |
| "loss": 0.6241, |
| "step": 385 |
| }, |
| { |
| "epoch": 1.6442666666666668, |
| "grad_norm": 0.3429667353630066, |
| "learning_rate": 2.3299032099009276e-06, |
| "loss": 0.6253, |
| "step": 386 |
| }, |
| { |
| "epoch": 1.6485333333333334, |
| "grad_norm": 0.3611001968383789, |
| "learning_rate": 2.318192450616426e-06, |
| "loss": 0.596, |
| "step": 387 |
| }, |
| { |
| "epoch": 1.6528, |
| "grad_norm": 0.3439117968082428, |
| "learning_rate": 2.3064857005402606e-06, |
| "loss": 0.615, |
| "step": 388 |
| }, |
| { |
| "epoch": 1.6570666666666667, |
| "grad_norm": 0.3314322829246521, |
| "learning_rate": 2.294783217828927e-06, |
| "loss": 0.5785, |
| "step": 389 |
| }, |
| { |
| "epoch": 1.6613333333333333, |
| "grad_norm": 0.3500496745109558, |
| "learning_rate": 2.2830852605448197e-06, |
| "loss": 0.6063, |
| "step": 390 |
| }, |
| { |
| "epoch": 1.6656, |
| "grad_norm": 0.34801536798477173, |
| "learning_rate": 2.2713920866505364e-06, |
| "loss": 0.6257, |
| "step": 391 |
| }, |
| { |
| "epoch": 1.6698666666666666, |
| "grad_norm": 0.36531272530555725, |
| "learning_rate": 2.259703954003192e-06, |
| "loss": 0.5923, |
| "step": 392 |
| }, |
| { |
| "epoch": 1.6741333333333333, |
| "grad_norm": 0.3721877634525299, |
| "learning_rate": 2.2480211203487335e-06, |
| "loss": 0.6449, |
| "step": 393 |
| }, |
| { |
| "epoch": 1.6784, |
| "grad_norm": 0.3649953305721283, |
| "learning_rate": 2.236343843316254e-06, |
| "loss": 0.6161, |
| "step": 394 |
| }, |
| { |
| "epoch": 1.6826666666666665, |
| "grad_norm": 0.36439573764801025, |
| "learning_rate": 2.2246723804123126e-06, |
| "loss": 0.6068, |
| "step": 395 |
| }, |
| { |
| "epoch": 1.6869333333333332, |
| "grad_norm": 0.3658572733402252, |
| "learning_rate": 2.213006989015254e-06, |
| "loss": 0.5915, |
| "step": 396 |
| }, |
| { |
| "epoch": 1.6912, |
| "grad_norm": 0.3674871027469635, |
| "learning_rate": 2.201347926369537e-06, |
| "loss": 0.6394, |
| "step": 397 |
| }, |
| { |
| "epoch": 1.6954666666666667, |
| "grad_norm": 0.3523310124874115, |
| "learning_rate": 2.189695449580058e-06, |
| "loss": 0.6258, |
| "step": 398 |
| }, |
| { |
| "epoch": 1.6997333333333333, |
| "grad_norm": 0.35189226269721985, |
| "learning_rate": 2.178049815606482e-06, |
| "loss": 0.6281, |
| "step": 399 |
| }, |
| { |
| "epoch": 1.704, |
| "grad_norm": 0.36279675364494324, |
| "learning_rate": 2.166411281257578e-06, |
| "loss": 0.6225, |
| "step": 400 |
| }, |
| { |
| "epoch": 1.7082666666666668, |
| "grad_norm": 0.3660772442817688, |
| "learning_rate": 2.154780103185553e-06, |
| "loss": 0.5899, |
| "step": 401 |
| }, |
| { |
| "epoch": 1.7125333333333335, |
| "grad_norm": 0.3713538944721222, |
| "learning_rate": 2.1431565378803953e-06, |
| "loss": 0.6673, |
| "step": 402 |
| }, |
| { |
| "epoch": 1.7168, |
| "grad_norm": 0.34312623739242554, |
| "learning_rate": 2.1315408416642145e-06, |
| "loss": 0.6076, |
| "step": 403 |
| }, |
| { |
| "epoch": 1.7210666666666667, |
| "grad_norm": 0.361995667219162, |
| "learning_rate": 2.119933270685596e-06, |
| "loss": 0.6847, |
| "step": 404 |
| }, |
| { |
| "epoch": 1.7253333333333334, |
| "grad_norm": 0.3452853262424469, |
| "learning_rate": 2.1083340809139436e-06, |
| "loss": 0.622, |
| "step": 405 |
| }, |
| { |
| "epoch": 1.7296, |
| "grad_norm": 0.3667498826980591, |
| "learning_rate": 2.09674352813384e-06, |
| "loss": 0.626, |
| "step": 406 |
| }, |
| { |
| "epoch": 1.7338666666666667, |
| "grad_norm": 0.3574604392051697, |
| "learning_rate": 2.085161867939409e-06, |
| "loss": 0.643, |
| "step": 407 |
| }, |
| { |
| "epoch": 1.7381333333333333, |
| "grad_norm": 0.34958869218826294, |
| "learning_rate": 2.0735893557286715e-06, |
| "loss": 0.6257, |
| "step": 408 |
| }, |
| { |
| "epoch": 1.7424, |
| "grad_norm": 0.34016844630241394, |
| "learning_rate": 2.062026246697919e-06, |
| "loss": 0.6227, |
| "step": 409 |
| }, |
| { |
| "epoch": 1.7466666666666666, |
| "grad_norm": 0.333670973777771, |
| "learning_rate": 2.0504727958360865e-06, |
| "loss": 0.6102, |
| "step": 410 |
| }, |
| { |
| "epoch": 1.7509333333333332, |
| "grad_norm": 0.33881455659866333, |
| "learning_rate": 2.038929257919125e-06, |
| "loss": 0.6216, |
| "step": 411 |
| }, |
| { |
| "epoch": 1.7551999999999999, |
| "grad_norm": 0.3591978847980499, |
| "learning_rate": 2.0273958875043877e-06, |
| "loss": 0.5926, |
| "step": 412 |
| }, |
| { |
| "epoch": 1.7594666666666665, |
| "grad_norm": 0.3602572977542877, |
| "learning_rate": 2.015872938925013e-06, |
| "loss": 0.65, |
| "step": 413 |
| }, |
| { |
| "epoch": 1.7637333333333334, |
| "grad_norm": 0.35508790612220764, |
| "learning_rate": 2.0043606662843194e-06, |
| "loss": 0.6307, |
| "step": 414 |
| }, |
| { |
| "epoch": 1.768, |
| "grad_norm": 0.3617687225341797, |
| "learning_rate": 1.992859323450201e-06, |
| "loss": 0.5987, |
| "step": 415 |
| }, |
| { |
| "epoch": 1.7722666666666667, |
| "grad_norm": 0.37263643741607666, |
| "learning_rate": 1.9813691640495236e-06, |
| "loss": 0.6138, |
| "step": 416 |
| }, |
| { |
| "epoch": 1.7765333333333333, |
| "grad_norm": 0.373625248670578, |
| "learning_rate": 1.9698904414625443e-06, |
| "loss": 0.6368, |
| "step": 417 |
| }, |
| { |
| "epoch": 1.7808000000000002, |
| "grad_norm": 0.3303409814834595, |
| "learning_rate": 1.958423408817309e-06, |
| "loss": 0.6153, |
| "step": 418 |
| }, |
| { |
| "epoch": 1.7850666666666668, |
| "grad_norm": 0.3457784056663513, |
| "learning_rate": 1.9469683189840823e-06, |
| "loss": 0.6036, |
| "step": 419 |
| }, |
| { |
| "epoch": 1.7893333333333334, |
| "grad_norm": 0.36308011412620544, |
| "learning_rate": 1.935525424569765e-06, |
| "loss": 0.615, |
| "step": 420 |
| }, |
| { |
| "epoch": 1.7936, |
| "grad_norm": 0.34869521856307983, |
| "learning_rate": 1.924094977912326e-06, |
| "loss": 0.6337, |
| "step": 421 |
| }, |
| { |
| "epoch": 1.7978666666666667, |
| "grad_norm": 0.3418169915676117, |
| "learning_rate": 1.912677231075236e-06, |
| "loss": 0.6089, |
| "step": 422 |
| }, |
| { |
| "epoch": 1.8021333333333334, |
| "grad_norm": 0.37303951382637024, |
| "learning_rate": 1.901272435841911e-06, |
| "loss": 0.6467, |
| "step": 423 |
| }, |
| { |
| "epoch": 1.8064, |
| "grad_norm": 0.33986544609069824, |
| "learning_rate": 1.8898808437101598e-06, |
| "loss": 0.6276, |
| "step": 424 |
| }, |
| { |
| "epoch": 1.8106666666666666, |
| "grad_norm": 0.36087459325790405, |
| "learning_rate": 1.8785027058866358e-06, |
| "loss": 0.6157, |
| "step": 425 |
| }, |
| { |
| "epoch": 1.8149333333333333, |
| "grad_norm": 0.3607085943222046, |
| "learning_rate": 1.8671382732812976e-06, |
| "loss": 0.6463, |
| "step": 426 |
| }, |
| { |
| "epoch": 1.8192, |
| "grad_norm": 0.3519996702671051, |
| "learning_rate": 1.8557877965018817e-06, |
| "loss": 0.5965, |
| "step": 427 |
| }, |
| { |
| "epoch": 1.8234666666666666, |
| "grad_norm": 0.3577191233634949, |
| "learning_rate": 1.8444515258483684e-06, |
| "loss": 0.6493, |
| "step": 428 |
| }, |
| { |
| "epoch": 1.8277333333333332, |
| "grad_norm": 0.34583061933517456, |
| "learning_rate": 1.8331297113074647e-06, |
| "loss": 0.6166, |
| "step": 429 |
| }, |
| { |
| "epoch": 1.8319999999999999, |
| "grad_norm": 0.3553761839866638, |
| "learning_rate": 1.8218226025470934e-06, |
| "loss": 0.6197, |
| "step": 430 |
| }, |
| { |
| "epoch": 1.8362666666666667, |
| "grad_norm": 0.36136338114738464, |
| "learning_rate": 1.810530448910888e-06, |
| "loss": 0.6486, |
| "step": 431 |
| }, |
| { |
| "epoch": 1.8405333333333334, |
| "grad_norm": 0.3319532871246338, |
| "learning_rate": 1.7992534994126904e-06, |
| "loss": 0.5983, |
| "step": 432 |
| }, |
| { |
| "epoch": 1.8448, |
| "grad_norm": 0.3669814169406891, |
| "learning_rate": 1.7879920027310621e-06, |
| "loss": 0.6314, |
| "step": 433 |
| }, |
| { |
| "epoch": 1.8490666666666666, |
| "grad_norm": 0.34887489676475525, |
| "learning_rate": 1.7767462072038017e-06, |
| "loss": 0.5914, |
| "step": 434 |
| }, |
| { |
| "epoch": 1.8533333333333335, |
| "grad_norm": 0.3559891879558563, |
| "learning_rate": 1.7655163608224649e-06, |
| "loss": 0.6388, |
| "step": 435 |
| }, |
| { |
| "epoch": 1.8576000000000001, |
| "grad_norm": 0.3565674126148224, |
| "learning_rate": 1.7543027112268994e-06, |
| "loss": 0.654, |
| "step": 436 |
| }, |
| { |
| "epoch": 1.8618666666666668, |
| "grad_norm": 0.34790274500846863, |
| "learning_rate": 1.7431055056997803e-06, |
| "loss": 0.6008, |
| "step": 437 |
| }, |
| { |
| "epoch": 1.8661333333333334, |
| "grad_norm": 0.3522760272026062, |
| "learning_rate": 1.731924991161163e-06, |
| "loss": 0.6389, |
| "step": 438 |
| }, |
| { |
| "epoch": 1.8704, |
| "grad_norm": 0.3217763602733612, |
| "learning_rate": 1.7207614141630304e-06, |
| "loss": 0.6068, |
| "step": 439 |
| }, |
| { |
| "epoch": 1.8746666666666667, |
| "grad_norm": 0.3468863070011139, |
| "learning_rate": 1.7096150208838613e-06, |
| "loss": 0.6374, |
| "step": 440 |
| }, |
| { |
| "epoch": 1.8789333333333333, |
| "grad_norm": 0.343654066324234, |
| "learning_rate": 1.698486057123201e-06, |
| "loss": 0.6164, |
| "step": 441 |
| }, |
| { |
| "epoch": 1.8832, |
| "grad_norm": 0.35105621814727783, |
| "learning_rate": 1.6873747682962393e-06, |
| "loss": 0.6569, |
| "step": 442 |
| }, |
| { |
| "epoch": 1.8874666666666666, |
| "grad_norm": 0.3443906307220459, |
| "learning_rate": 1.6762813994283993e-06, |
| "loss": 0.6269, |
| "step": 443 |
| }, |
| { |
| "epoch": 1.8917333333333333, |
| "grad_norm": 0.33432722091674805, |
| "learning_rate": 1.665206195149936e-06, |
| "loss": 0.6265, |
| "step": 444 |
| }, |
| { |
| "epoch": 1.896, |
| "grad_norm": 0.33422231674194336, |
| "learning_rate": 1.6541493996905378e-06, |
| "loss": 0.6022, |
| "step": 445 |
| }, |
| { |
| "epoch": 1.9002666666666665, |
| "grad_norm": 0.32642269134521484, |
| "learning_rate": 1.6431112568739448e-06, |
| "loss": 0.5939, |
| "step": 446 |
| }, |
| { |
| "epoch": 1.9045333333333332, |
| "grad_norm": 0.3520292639732361, |
| "learning_rate": 1.6320920101125673e-06, |
| "loss": 0.6236, |
| "step": 447 |
| }, |
| { |
| "epoch": 1.9088, |
| "grad_norm": 0.3316883146762848, |
| "learning_rate": 1.6210919024021258e-06, |
| "loss": 0.6398, |
| "step": 448 |
| }, |
| { |
| "epoch": 1.9130666666666667, |
| "grad_norm": 0.34300458431243896, |
| "learning_rate": 1.6101111763162842e-06, |
| "loss": 0.6361, |
| "step": 449 |
| }, |
| { |
| "epoch": 1.9173333333333333, |
| "grad_norm": 0.3536739945411682, |
| "learning_rate": 1.5991500740013032e-06, |
| "loss": 0.6325, |
| "step": 450 |
| }, |
| { |
| "epoch": 1.9216, |
| "grad_norm": 0.3418213427066803, |
| "learning_rate": 1.588208837170706e-06, |
| "loss": 0.6248, |
| "step": 451 |
| }, |
| { |
| "epoch": 1.9258666666666666, |
| "grad_norm": 0.35811057686805725, |
| "learning_rate": 1.5772877070999388e-06, |
| "loss": 0.66, |
| "step": 452 |
| }, |
| { |
| "epoch": 1.9301333333333335, |
| "grad_norm": 0.3446464538574219, |
| "learning_rate": 1.5663869246210568e-06, |
| "loss": 0.6601, |
| "step": 453 |
| }, |
| { |
| "epoch": 1.9344000000000001, |
| "grad_norm": 0.352630078792572, |
| "learning_rate": 1.55550673011741e-06, |
| "loss": 0.6057, |
| "step": 454 |
| }, |
| { |
| "epoch": 1.9386666666666668, |
| "grad_norm": 0.3361312747001648, |
| "learning_rate": 1.5446473635183469e-06, |
| "loss": 0.6151, |
| "step": 455 |
| }, |
| { |
| "epoch": 1.9429333333333334, |
| "grad_norm": 0.34577980637550354, |
| "learning_rate": 1.5338090642939171e-06, |
| "loss": 0.5807, |
| "step": 456 |
| }, |
| { |
| "epoch": 1.9472, |
| "grad_norm": 0.3399719297885895, |
| "learning_rate": 1.522992071449595e-06, |
| "loss": 0.646, |
| "step": 457 |
| }, |
| { |
| "epoch": 1.9514666666666667, |
| "grad_norm": 0.33490023016929626, |
| "learning_rate": 1.512196623521009e-06, |
| "loss": 0.618, |
| "step": 458 |
| }, |
| { |
| "epoch": 1.9557333333333333, |
| "grad_norm": 0.36129286885261536, |
| "learning_rate": 1.501422958568679e-06, |
| "loss": 0.6313, |
| "step": 459 |
| }, |
| { |
| "epoch": 1.96, |
| "grad_norm": 0.3402632176876068, |
| "learning_rate": 1.4906713141727677e-06, |
| "loss": 0.5889, |
| "step": 460 |
| }, |
| { |
| "epoch": 1.9642666666666666, |
| "grad_norm": 0.36346685886383057, |
| "learning_rate": 1.4799419274278454e-06, |
| "loss": 0.6268, |
| "step": 461 |
| }, |
| { |
| "epoch": 1.9685333333333332, |
| "grad_norm": 0.36655858159065247, |
| "learning_rate": 1.469235034937653e-06, |
| "loss": 0.6135, |
| "step": 462 |
| }, |
| { |
| "epoch": 1.9727999999999999, |
| "grad_norm": 0.3634871542453766, |
| "learning_rate": 1.4585508728098935e-06, |
| "loss": 0.6415, |
| "step": 463 |
| }, |
| { |
| "epoch": 1.9770666666666665, |
| "grad_norm": 0.3393765091896057, |
| "learning_rate": 1.4478896766510187e-06, |
| "loss": 0.5915, |
| "step": 464 |
| }, |
| { |
| "epoch": 1.9813333333333332, |
| "grad_norm": 0.35128340125083923, |
| "learning_rate": 1.4372516815610405e-06, |
| "loss": 0.6186, |
| "step": 465 |
| }, |
| { |
| "epoch": 1.9856, |
| "grad_norm": 0.33152270317077637, |
| "learning_rate": 1.4266371221283367e-06, |
| "loss": 0.5733, |
| "step": 466 |
| }, |
| { |
| "epoch": 1.9898666666666667, |
| "grad_norm": 0.36451447010040283, |
| "learning_rate": 1.4160462324244864e-06, |
| "loss": 0.6342, |
| "step": 467 |
| }, |
| { |
| "epoch": 1.9941333333333333, |
| "grad_norm": 0.34968507289886475, |
| "learning_rate": 1.4054792459991073e-06, |
| "loss": 0.6182, |
| "step": 468 |
| }, |
| { |
| "epoch": 1.9984, |
| "grad_norm": 0.33991050720214844, |
| "learning_rate": 1.3949363958747004e-06, |
| "loss": 0.612, |
| "step": 469 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 0.5291548371315002, |
| "learning_rate": 1.3844179145415158e-06, |
| "loss": 0.6129, |
| "step": 470 |
| }, |
| { |
| "epoch": 2.0042666666666666, |
| "grad_norm": 0.3454642593860626, |
| "learning_rate": 1.373924033952424e-06, |
| "loss": 0.6203, |
| "step": 471 |
| }, |
| { |
| "epoch": 2.0085333333333333, |
| "grad_norm": 0.3359213173389435, |
| "learning_rate": 1.363454985517803e-06, |
| "loss": 0.5775, |
| "step": 472 |
| }, |
| { |
| "epoch": 2.0128, |
| "grad_norm": 0.3395461142063141, |
| "learning_rate": 1.3530110001004315e-06, |
| "loss": 0.6245, |
| "step": 473 |
| }, |
| { |
| "epoch": 2.0170666666666666, |
| "grad_norm": 0.33210253715515137, |
| "learning_rate": 1.3425923080104008e-06, |
| "loss": 0.655, |
| "step": 474 |
| }, |
| { |
| "epoch": 2.021333333333333, |
| "grad_norm": 0.3711182773113251, |
| "learning_rate": 1.3321991390000382e-06, |
| "loss": 0.6177, |
| "step": 475 |
| }, |
| { |
| "epoch": 2.0256, |
| "grad_norm": 0.37890559434890747, |
| "learning_rate": 1.3218317222588356e-06, |
| "loss": 0.5875, |
| "step": 476 |
| }, |
| { |
| "epoch": 2.0298666666666665, |
| "grad_norm": 0.34380125999450684, |
| "learning_rate": 1.3114902864083937e-06, |
| "loss": 0.5857, |
| "step": 477 |
| }, |
| { |
| "epoch": 2.034133333333333, |
| "grad_norm": 0.34623777866363525, |
| "learning_rate": 1.301175059497391e-06, |
| "loss": 0.6143, |
| "step": 478 |
| }, |
| { |
| "epoch": 2.0384, |
| "grad_norm": 0.3658795952796936, |
| "learning_rate": 1.2908862689965446e-06, |
| "loss": 0.6113, |
| "step": 479 |
| }, |
| { |
| "epoch": 2.042666666666667, |
| "grad_norm": 0.35803937911987305, |
| "learning_rate": 1.2806241417935975e-06, |
| "loss": 0.6164, |
| "step": 480 |
| }, |
| { |
| "epoch": 2.0469333333333335, |
| "grad_norm": 0.3726085126399994, |
| "learning_rate": 1.270388904188316e-06, |
| "loss": 0.6031, |
| "step": 481 |
| }, |
| { |
| "epoch": 2.0512, |
| "grad_norm": 0.3445771634578705, |
| "learning_rate": 1.2601807818874994e-06, |
| "loss": 0.6445, |
| "step": 482 |
| }, |
| { |
| "epoch": 2.0554666666666668, |
| "grad_norm": 0.3538333475589752, |
| "learning_rate": 1.2500000000000007e-06, |
| "loss": 0.6456, |
| "step": 483 |
| }, |
| { |
| "epoch": 2.0597333333333334, |
| "grad_norm": 0.3596368134021759, |
| "learning_rate": 1.2398467830317635e-06, |
| "loss": 0.628, |
| "step": 484 |
| }, |
| { |
| "epoch": 2.064, |
| "grad_norm": 0.3321940004825592, |
| "learning_rate": 1.229721354880875e-06, |
| "loss": 0.6237, |
| "step": 485 |
| }, |
| { |
| "epoch": 2.0682666666666667, |
| "grad_norm": 0.3428746163845062, |
| "learning_rate": 1.219623938832622e-06, |
| "loss": 0.6196, |
| "step": 486 |
| }, |
| { |
| "epoch": 2.0725333333333333, |
| "grad_norm": 0.34215423464775085, |
| "learning_rate": 1.2095547575545685e-06, |
| "loss": 0.5942, |
| "step": 487 |
| }, |
| { |
| "epoch": 2.0768, |
| "grad_norm": 0.35768529772758484, |
| "learning_rate": 1.199514033091653e-06, |
| "loss": 0.6276, |
| "step": 488 |
| }, |
| { |
| "epoch": 2.0810666666666666, |
| "grad_norm": 0.3465723991394043, |
| "learning_rate": 1.1895019868612815e-06, |
| "loss": 0.6087, |
| "step": 489 |
| }, |
| { |
| "epoch": 2.0853333333333333, |
| "grad_norm": 0.3426065146923065, |
| "learning_rate": 1.1795188396484505e-06, |
| "loss": 0.5751, |
| "step": 490 |
| }, |
| { |
| "epoch": 2.0896, |
| "grad_norm": 0.3264654278755188, |
| "learning_rate": 1.1695648116008781e-06, |
| "loss": 0.5953, |
| "step": 491 |
| }, |
| { |
| "epoch": 2.0938666666666665, |
| "grad_norm": 0.33921313285827637, |
| "learning_rate": 1.1596401222241473e-06, |
| "loss": 0.6169, |
| "step": 492 |
| }, |
| { |
| "epoch": 2.098133333333333, |
| "grad_norm": 0.3380139470100403, |
| "learning_rate": 1.149744990376868e-06, |
| "loss": 0.5793, |
| "step": 493 |
| }, |
| { |
| "epoch": 2.1024, |
| "grad_norm": 0.33891841769218445, |
| "learning_rate": 1.139879634265847e-06, |
| "loss": 0.6119, |
| "step": 494 |
| }, |
| { |
| "epoch": 2.1066666666666665, |
| "grad_norm": 0.33831652998924255, |
| "learning_rate": 1.1300442714412819e-06, |
| "loss": 0.6114, |
| "step": 495 |
| }, |
| { |
| "epoch": 2.1109333333333336, |
| "grad_norm": 0.3383654057979584, |
| "learning_rate": 1.1202391187919575e-06, |
| "loss": 0.61, |
| "step": 496 |
| }, |
| { |
| "epoch": 2.1152, |
| "grad_norm": 0.32236188650131226, |
| "learning_rate": 1.1104643925404678e-06, |
| "loss": 0.5775, |
| "step": 497 |
| }, |
| { |
| "epoch": 2.119466666666667, |
| "grad_norm": 0.359540194272995, |
| "learning_rate": 1.1007203082384424e-06, |
| "loss": 0.5865, |
| "step": 498 |
| }, |
| { |
| "epoch": 2.1237333333333335, |
| "grad_norm": 0.3443056344985962, |
| "learning_rate": 1.0910070807618012e-06, |
| "loss": 0.5759, |
| "step": 499 |
| }, |
| { |
| "epoch": 2.128, |
| "grad_norm": 0.35354653000831604, |
| "learning_rate": 1.0813249243060081e-06, |
| "loss": 0.5905, |
| "step": 500 |
| }, |
| { |
| "epoch": 2.1322666666666668, |
| "grad_norm": 0.3386101722717285, |
| "learning_rate": 1.0716740523813524e-06, |
| "loss": 0.6143, |
| "step": 501 |
| }, |
| { |
| "epoch": 2.1365333333333334, |
| "grad_norm": 0.3504805564880371, |
| "learning_rate": 1.062054677808238e-06, |
| "loss": 0.6194, |
| "step": 502 |
| }, |
| { |
| "epoch": 2.1408, |
| "grad_norm": 0.35748982429504395, |
| "learning_rate": 1.0524670127124918e-06, |
| "loss": 0.6312, |
| "step": 503 |
| }, |
| { |
| "epoch": 2.1450666666666667, |
| "grad_norm": 0.3584182560443878, |
| "learning_rate": 1.0429112685206843e-06, |
| "loss": 0.622, |
| "step": 504 |
| }, |
| { |
| "epoch": 2.1493333333333333, |
| "grad_norm": 0.34925296902656555, |
| "learning_rate": 1.033387655955471e-06, |
| "loss": 0.6289, |
| "step": 505 |
| }, |
| { |
| "epoch": 2.1536, |
| "grad_norm": 0.3288041353225708, |
| "learning_rate": 1.0238963850309406e-06, |
| "loss": 0.5748, |
| "step": 506 |
| }, |
| { |
| "epoch": 2.1578666666666666, |
| "grad_norm": 0.355558305978775, |
| "learning_rate": 1.0144376650479867e-06, |
| "loss": 0.6296, |
| "step": 507 |
| }, |
| { |
| "epoch": 2.1621333333333332, |
| "grad_norm": 0.36249178647994995, |
| "learning_rate": 1.0050117045896889e-06, |
| "loss": 0.6366, |
| "step": 508 |
| }, |
| { |
| "epoch": 2.1664, |
| "grad_norm": 0.3458845615386963, |
| "learning_rate": 9.956187115167215e-07, |
| "loss": 0.6318, |
| "step": 509 |
| }, |
| { |
| "epoch": 2.1706666666666665, |
| "grad_norm": 0.34122511744499207, |
| "learning_rate": 9.8625889296276e-07, |
| "loss": 0.5991, |
| "step": 510 |
| }, |
| { |
| "epoch": 2.174933333333333, |
| "grad_norm": 0.3294980525970459, |
| "learning_rate": 9.769324553299174e-07, |
| "loss": 0.6074, |
| "step": 511 |
| }, |
| { |
| "epoch": 2.1792, |
| "grad_norm": 0.35011374950408936, |
| "learning_rate": 9.67639604284197e-07, |
| "loss": 0.6041, |
| "step": 512 |
| }, |
| { |
| "epoch": 2.183466666666667, |
| "grad_norm": 0.3691865801811218, |
| "learning_rate": 9.58380544750947e-07, |
| "loss": 0.6238, |
| "step": 513 |
| }, |
| { |
| "epoch": 2.1877333333333335, |
| "grad_norm": 0.35375744104385376, |
| "learning_rate": 9.491554809103509e-07, |
| "loss": 0.6299, |
| "step": 514 |
| }, |
| { |
| "epoch": 2.192, |
| "grad_norm": 0.34152060747146606, |
| "learning_rate": 9.399646161929202e-07, |
| "loss": 0.6286, |
| "step": 515 |
| }, |
| { |
| "epoch": 2.196266666666667, |
| "grad_norm": 0.36606308817863464, |
| "learning_rate": 9.308081532750116e-07, |
| "loss": 0.612, |
| "step": 516 |
| }, |
| { |
| "epoch": 2.2005333333333335, |
| "grad_norm": 0.34242525696754456, |
| "learning_rate": 9.216862940743529e-07, |
| "loss": 0.641, |
| "step": 517 |
| }, |
| { |
| "epoch": 2.2048, |
| "grad_norm": 0.33378395438194275, |
| "learning_rate": 9.125992397455943e-07, |
| "loss": 0.5533, |
| "step": 518 |
| }, |
| { |
| "epoch": 2.2090666666666667, |
| "grad_norm": 0.3290783166885376, |
| "learning_rate": 9.035471906758705e-07, |
| "loss": 0.5853, |
| "step": 519 |
| }, |
| { |
| "epoch": 2.2133333333333334, |
| "grad_norm": 0.35453036427497864, |
| "learning_rate": 8.945303464803833e-07, |
| "loss": 0.645, |
| "step": 520 |
| }, |
| { |
| "epoch": 2.2176, |
| "grad_norm": 0.35501500964164734, |
| "learning_rate": 8.855489059979977e-07, |
| "loss": 0.6475, |
| "step": 521 |
| }, |
| { |
| "epoch": 2.2218666666666667, |
| "grad_norm": 0.33805051445961, |
| "learning_rate": 8.766030672868614e-07, |
| "loss": 0.595, |
| "step": 522 |
| }, |
| { |
| "epoch": 2.2261333333333333, |
| "grad_norm": 0.3185022175312042, |
| "learning_rate": 8.676930276200294e-07, |
| "loss": 0.5749, |
| "step": 523 |
| }, |
| { |
| "epoch": 2.2304, |
| "grad_norm": 0.35385066270828247, |
| "learning_rate": 8.588189834811217e-07, |
| "loss": 0.6604, |
| "step": 524 |
| }, |
| { |
| "epoch": 2.2346666666666666, |
| "grad_norm": 0.34080225229263306, |
| "learning_rate": 8.499811305599858e-07, |
| "loss": 0.6281, |
| "step": 525 |
| }, |
| { |
| "epoch": 2.238933333333333, |
| "grad_norm": 0.32432180643081665, |
| "learning_rate": 8.411796637483852e-07, |
| "loss": 0.6241, |
| "step": 526 |
| }, |
| { |
| "epoch": 2.2432, |
| "grad_norm": 0.3203832507133484, |
| "learning_rate": 8.324147771356964e-07, |
| "loss": 0.6222, |
| "step": 527 |
| }, |
| { |
| "epoch": 2.2474666666666665, |
| "grad_norm": 0.32758456468582153, |
| "learning_rate": 8.236866640046329e-07, |
| "loss": 0.6351, |
| "step": 528 |
| }, |
| { |
| "epoch": 2.251733333333333, |
| "grad_norm": 0.3457350730895996, |
| "learning_rate": 8.149955168269822e-07, |
| "loss": 0.6175, |
| "step": 529 |
| }, |
| { |
| "epoch": 2.2560000000000002, |
| "grad_norm": 0.34189313650131226, |
| "learning_rate": 8.0634152725936e-07, |
| "loss": 0.6246, |
| "step": 530 |
| }, |
| { |
| "epoch": 2.2602666666666664, |
| "grad_norm": 0.35133737325668335, |
| "learning_rate": 7.977248861389853e-07, |
| "loss": 0.6176, |
| "step": 531 |
| }, |
| { |
| "epoch": 2.2645333333333335, |
| "grad_norm": 0.3272813856601715, |
| "learning_rate": 7.891457834794711e-07, |
| "loss": 0.5574, |
| "step": 532 |
| }, |
| { |
| "epoch": 2.2688, |
| "grad_norm": 0.3326052725315094, |
| "learning_rate": 7.80604408466637e-07, |
| "loss": 0.5754, |
| "step": 533 |
| }, |
| { |
| "epoch": 2.273066666666667, |
| "grad_norm": 0.3340674340724945, |
| "learning_rate": 7.721009494543314e-07, |
| "loss": 0.603, |
| "step": 534 |
| }, |
| { |
| "epoch": 2.2773333333333334, |
| "grad_norm": 0.3468780517578125, |
| "learning_rate": 7.636355939602824e-07, |
| "loss": 0.6316, |
| "step": 535 |
| }, |
| { |
| "epoch": 2.2816, |
| "grad_norm": 0.3622860312461853, |
| "learning_rate": 7.55208528661965e-07, |
| "loss": 0.5903, |
| "step": 536 |
| }, |
| { |
| "epoch": 2.2858666666666667, |
| "grad_norm": 0.33696678280830383, |
| "learning_rate": 7.468199393924775e-07, |
| "loss": 0.6157, |
| "step": 537 |
| }, |
| { |
| "epoch": 2.2901333333333334, |
| "grad_norm": 0.34255290031433105, |
| "learning_rate": 7.384700111364487e-07, |
| "loss": 0.6159, |
| "step": 538 |
| }, |
| { |
| "epoch": 2.2944, |
| "grad_norm": 0.34535640478134155, |
| "learning_rate": 7.301589280259572e-07, |
| "loss": 0.6059, |
| "step": 539 |
| }, |
| { |
| "epoch": 2.2986666666666666, |
| "grad_norm": 0.3281169533729553, |
| "learning_rate": 7.218868733364712e-07, |
| "loss": 0.5943, |
| "step": 540 |
| }, |
| { |
| "epoch": 2.3029333333333333, |
| "grad_norm": 0.34532874822616577, |
| "learning_rate": 7.136540294828062e-07, |
| "loss": 0.5923, |
| "step": 541 |
| }, |
| { |
| "epoch": 2.3072, |
| "grad_norm": 0.3486146926879883, |
| "learning_rate": 7.054605780151022e-07, |
| "loss": 0.6401, |
| "step": 542 |
| }, |
| { |
| "epoch": 2.3114666666666666, |
| "grad_norm": 0.33802080154418945, |
| "learning_rate": 6.973066996148245e-07, |
| "loss": 0.5979, |
| "step": 543 |
| }, |
| { |
| "epoch": 2.315733333333333, |
| "grad_norm": 0.33193105459213257, |
| "learning_rate": 6.891925740907701e-07, |
| "loss": 0.6044, |
| "step": 544 |
| }, |
| { |
| "epoch": 2.32, |
| "grad_norm": 0.3354455828666687, |
| "learning_rate": 6.811183803751112e-07, |
| "loss": 0.5764, |
| "step": 545 |
| }, |
| { |
| "epoch": 2.3242666666666665, |
| "grad_norm": 0.32878172397613525, |
| "learning_rate": 6.730842965194479e-07, |
| "loss": 0.5584, |
| "step": 546 |
| }, |
| { |
| "epoch": 2.3285333333333336, |
| "grad_norm": 0.33991891145706177, |
| "learning_rate": 6.650904996908772e-07, |
| "loss": 0.6111, |
| "step": 547 |
| }, |
| { |
| "epoch": 2.3327999999999998, |
| "grad_norm": 0.32996976375579834, |
| "learning_rate": 6.571371661680909e-07, |
| "loss": 0.5858, |
| "step": 548 |
| }, |
| { |
| "epoch": 2.337066666666667, |
| "grad_norm": 0.3353066146373749, |
| "learning_rate": 6.492244713374857e-07, |
| "loss": 0.6115, |
| "step": 549 |
| }, |
| { |
| "epoch": 2.3413333333333335, |
| "grad_norm": 0.31983545422554016, |
| "learning_rate": 6.413525896892972e-07, |
| "loss": 0.6009, |
| "step": 550 |
| }, |
| { |
| "epoch": 2.3456, |
| "grad_norm": 0.33389580249786377, |
| "learning_rate": 6.335216948137513e-07, |
| "loss": 0.5975, |
| "step": 551 |
| }, |
| { |
| "epoch": 2.3498666666666668, |
| "grad_norm": 0.34626585245132446, |
| "learning_rate": 6.257319593972347e-07, |
| "loss": 0.5625, |
| "step": 552 |
| }, |
| { |
| "epoch": 2.3541333333333334, |
| "grad_norm": 0.3237454891204834, |
| "learning_rate": 6.179835552184924e-07, |
| "loss": 0.6048, |
| "step": 553 |
| }, |
| { |
| "epoch": 2.3584, |
| "grad_norm": 0.3444509208202362, |
| "learning_rate": 6.1027665314483e-07, |
| "loss": 0.5843, |
| "step": 554 |
| }, |
| { |
| "epoch": 2.3626666666666667, |
| "grad_norm": 0.3375681936740875, |
| "learning_rate": 6.02611423128355e-07, |
| "loss": 0.6234, |
| "step": 555 |
| }, |
| { |
| "epoch": 2.3669333333333333, |
| "grad_norm": 0.35530391335487366, |
| "learning_rate": 5.949880342022258e-07, |
| "loss": 0.6244, |
| "step": 556 |
| }, |
| { |
| "epoch": 2.3712, |
| "grad_norm": 0.35115307569503784, |
| "learning_rate": 5.874066544769217e-07, |
| "loss": 0.616, |
| "step": 557 |
| }, |
| { |
| "epoch": 2.3754666666666666, |
| "grad_norm": 0.31733638048171997, |
| "learning_rate": 5.79867451136539e-07, |
| "loss": 0.6113, |
| "step": 558 |
| }, |
| { |
| "epoch": 2.3797333333333333, |
| "grad_norm": 0.3279070556163788, |
| "learning_rate": 5.723705904351027e-07, |
| "loss": 0.6109, |
| "step": 559 |
| }, |
| { |
| "epoch": 2.384, |
| "grad_norm": 0.3417271673679352, |
| "learning_rate": 5.649162376929004e-07, |
| "loss": 0.5966, |
| "step": 560 |
| }, |
| { |
| "epoch": 2.3882666666666665, |
| "grad_norm": 0.3424253463745117, |
| "learning_rate": 5.575045572928378e-07, |
| "loss": 0.583, |
| "step": 561 |
| }, |
| { |
| "epoch": 2.392533333333333, |
| "grad_norm": 0.3309208154678345, |
| "learning_rate": 5.501357126768117e-07, |
| "loss": 0.6015, |
| "step": 562 |
| }, |
| { |
| "epoch": 2.3968, |
| "grad_norm": 0.34883973002433777, |
| "learning_rate": 5.428098663421086e-07, |
| "loss": 0.6008, |
| "step": 563 |
| }, |
| { |
| "epoch": 2.401066666666667, |
| "grad_norm": 0.34529733657836914, |
| "learning_rate": 5.355271798378189e-07, |
| "loss": 0.6182, |
| "step": 564 |
| }, |
| { |
| "epoch": 2.405333333333333, |
| "grad_norm": 0.34527671337127686, |
| "learning_rate": 5.282878137612738e-07, |
| "loss": 0.6188, |
| "step": 565 |
| }, |
| { |
| "epoch": 2.4096, |
| "grad_norm": 0.3241617977619171, |
| "learning_rate": 5.210919277545059e-07, |
| "loss": 0.6145, |
| "step": 566 |
| }, |
| { |
| "epoch": 2.413866666666667, |
| "grad_norm": 0.3428850769996643, |
| "learning_rate": 5.139396805007307e-07, |
| "loss": 0.6524, |
| "step": 567 |
| }, |
| { |
| "epoch": 2.4181333333333335, |
| "grad_norm": 0.3443160653114319, |
| "learning_rate": 5.068312297208414e-07, |
| "loss": 0.618, |
| "step": 568 |
| }, |
| { |
| "epoch": 2.4224, |
| "grad_norm": 0.34759387373924255, |
| "learning_rate": 4.99766732169936e-07, |
| "loss": 0.6638, |
| "step": 569 |
| }, |
| { |
| "epoch": 2.4266666666666667, |
| "grad_norm": 0.3494528830051422, |
| "learning_rate": 4.927463436338578e-07, |
| "loss": 0.6362, |
| "step": 570 |
| }, |
| { |
| "epoch": 2.4309333333333334, |
| "grad_norm": 0.33158278465270996, |
| "learning_rate": 4.857702189257613e-07, |
| "loss": 0.6511, |
| "step": 571 |
| }, |
| { |
| "epoch": 2.4352, |
| "grad_norm": 0.33719706535339355, |
| "learning_rate": 4.788385118826977e-07, |
| "loss": 0.6401, |
| "step": 572 |
| }, |
| { |
| "epoch": 2.4394666666666667, |
| "grad_norm": 0.34365832805633545, |
| "learning_rate": 4.71951375362224e-07, |
| "loss": 0.5674, |
| "step": 573 |
| }, |
| { |
| "epoch": 2.4437333333333333, |
| "grad_norm": 0.36191850900650024, |
| "learning_rate": 4.6510896123903027e-07, |
| "loss": 0.6556, |
| "step": 574 |
| }, |
| { |
| "epoch": 2.448, |
| "grad_norm": 0.32959699630737305, |
| "learning_rate": 4.58311420401589e-07, |
| "loss": 0.6102, |
| "step": 575 |
| }, |
| { |
| "epoch": 2.4522666666666666, |
| "grad_norm": 0.3538116216659546, |
| "learning_rate": 4.515589027488318e-07, |
| "loss": 0.6435, |
| "step": 576 |
| }, |
| { |
| "epoch": 2.4565333333333332, |
| "grad_norm": 0.32300877571105957, |
| "learning_rate": 4.4485155718684334e-07, |
| "loss": 0.5984, |
| "step": 577 |
| }, |
| { |
| "epoch": 2.4608, |
| "grad_norm": 0.3273656666278839, |
| "learning_rate": 4.381895316255741e-07, |
| "loss": 0.5789, |
| "step": 578 |
| }, |
| { |
| "epoch": 2.4650666666666665, |
| "grad_norm": 0.34395623207092285, |
| "learning_rate": 4.31572972975581e-07, |
| "loss": 0.6221, |
| "step": 579 |
| }, |
| { |
| "epoch": 2.469333333333333, |
| "grad_norm": 0.3349197208881378, |
| "learning_rate": 4.2500202714478853e-07, |
| "loss": 0.6468, |
| "step": 580 |
| }, |
| { |
| "epoch": 2.4736000000000002, |
| "grad_norm": 0.34170135855674744, |
| "learning_rate": 4.1847683903526976e-07, |
| "loss": 0.6236, |
| "step": 581 |
| }, |
| { |
| "epoch": 2.4778666666666664, |
| "grad_norm": 0.34563860297203064, |
| "learning_rate": 4.1199755254005105e-07, |
| "loss": 0.644, |
| "step": 582 |
| }, |
| { |
| "epoch": 2.4821333333333335, |
| "grad_norm": 0.3555491268634796, |
| "learning_rate": 4.05564310539939e-07, |
| "loss": 0.6249, |
| "step": 583 |
| }, |
| { |
| "epoch": 2.4864, |
| "grad_norm": 0.36919161677360535, |
| "learning_rate": 3.991772549003725e-07, |
| "loss": 0.6316, |
| "step": 584 |
| }, |
| { |
| "epoch": 2.490666666666667, |
| "grad_norm": 0.3386523723602295, |
| "learning_rate": 3.9283652646828927e-07, |
| "loss": 0.6206, |
| "step": 585 |
| }, |
| { |
| "epoch": 2.4949333333333334, |
| "grad_norm": 0.3346911370754242, |
| "learning_rate": 3.8654226506902204e-07, |
| "loss": 0.5803, |
| "step": 586 |
| }, |
| { |
| "epoch": 2.4992, |
| "grad_norm": 0.3344287872314453, |
| "learning_rate": 3.8029460950321784e-07, |
| "loss": 0.6229, |
| "step": 587 |
| }, |
| { |
| "epoch": 2.5034666666666667, |
| "grad_norm": 0.3264784812927246, |
| "learning_rate": 3.740936975437734e-07, |
| "loss": 0.6047, |
| "step": 588 |
| }, |
| { |
| "epoch": 2.5077333333333334, |
| "grad_norm": 0.33765143156051636, |
| "learning_rate": 3.679396659327986e-07, |
| "loss": 0.6114, |
| "step": 589 |
| }, |
| { |
| "epoch": 2.512, |
| "grad_norm": 0.3362836539745331, |
| "learning_rate": 3.6183265037860126e-07, |
| "loss": 0.6251, |
| "step": 590 |
| }, |
| { |
| "epoch": 2.5162666666666667, |
| "grad_norm": 0.3675728738307953, |
| "learning_rate": 3.557727855526935e-07, |
| "loss": 0.6128, |
| "step": 591 |
| }, |
| { |
| "epoch": 2.5205333333333333, |
| "grad_norm": 0.3262024223804474, |
| "learning_rate": 3.4976020508682345e-07, |
| "loss": 0.6194, |
| "step": 592 |
| }, |
| { |
| "epoch": 2.5248, |
| "grad_norm": 0.3431658148765564, |
| "learning_rate": 3.437950415700264e-07, |
| "loss": 0.6542, |
| "step": 593 |
| }, |
| { |
| "epoch": 2.5290666666666666, |
| "grad_norm": 0.3347388207912445, |
| "learning_rate": 3.378774265457041e-07, |
| "loss": 0.6032, |
| "step": 594 |
| }, |
| { |
| "epoch": 2.533333333333333, |
| "grad_norm": 0.33215099573135376, |
| "learning_rate": 3.320074905087212e-07, |
| "loss": 0.6248, |
| "step": 595 |
| }, |
| { |
| "epoch": 2.5376, |
| "grad_norm": 0.3271443247795105, |
| "learning_rate": 3.261853629025258e-07, |
| "loss": 0.5753, |
| "step": 596 |
| }, |
| { |
| "epoch": 2.5418666666666665, |
| "grad_norm": 0.3376429080963135, |
| "learning_rate": 3.2041117211630166e-07, |
| "loss": 0.6269, |
| "step": 597 |
| }, |
| { |
| "epoch": 2.5461333333333336, |
| "grad_norm": 0.35204386711120605, |
| "learning_rate": 3.14685045482131e-07, |
| "loss": 0.6039, |
| "step": 598 |
| }, |
| { |
| "epoch": 2.5504, |
| "grad_norm": 0.32474127411842346, |
| "learning_rate": 3.090071092721877e-07, |
| "loss": 0.5955, |
| "step": 599 |
| }, |
| { |
| "epoch": 2.554666666666667, |
| "grad_norm": 0.3389427065849304, |
| "learning_rate": 3.033774886959548e-07, |
| "loss": 0.6076, |
| "step": 600 |
| }, |
| { |
| "epoch": 2.558933333333333, |
| "grad_norm": 0.3408302664756775, |
| "learning_rate": 2.977963078974616e-07, |
| "loss": 0.6078, |
| "step": 601 |
| }, |
| { |
| "epoch": 2.5632, |
| "grad_norm": 0.3243234157562256, |
| "learning_rate": 2.922636899525466e-07, |
| "loss": 0.6008, |
| "step": 602 |
| }, |
| { |
| "epoch": 2.567466666666667, |
| "grad_norm": 0.3424961566925049, |
| "learning_rate": 2.8677975686614264e-07, |
| "loss": 0.6593, |
| "step": 603 |
| }, |
| { |
| "epoch": 2.5717333333333334, |
| "grad_norm": 0.3413273096084595, |
| "learning_rate": 2.813446295695893e-07, |
| "loss": 0.5957, |
| "step": 604 |
| }, |
| { |
| "epoch": 2.576, |
| "grad_norm": 0.34058678150177, |
| "learning_rate": 2.759584279179617e-07, |
| "loss": 0.6134, |
| "step": 605 |
| }, |
| { |
| "epoch": 2.5802666666666667, |
| "grad_norm": 0.3428144156932831, |
| "learning_rate": 2.7062127068743116e-07, |
| "loss": 0.6109, |
| "step": 606 |
| }, |
| { |
| "epoch": 2.5845333333333333, |
| "grad_norm": 0.33080190420150757, |
| "learning_rate": 2.65333275572644e-07, |
| "loss": 0.5882, |
| "step": 607 |
| }, |
| { |
| "epoch": 2.5888, |
| "grad_norm": 0.35210663080215454, |
| "learning_rate": 2.6009455918412724e-07, |
| "loss": 0.6054, |
| "step": 608 |
| }, |
| { |
| "epoch": 2.5930666666666666, |
| "grad_norm": 0.3406427800655365, |
| "learning_rate": 2.5490523704571583e-07, |
| "loss": 0.6164, |
| "step": 609 |
| }, |
| { |
| "epoch": 2.5973333333333333, |
| "grad_norm": 0.3491783142089844, |
| "learning_rate": 2.4976542359200664e-07, |
| "loss": 0.5984, |
| "step": 610 |
| }, |
| { |
| "epoch": 2.6016, |
| "grad_norm": 0.33281442523002625, |
| "learning_rate": 2.4467523216583413e-07, |
| "loss": 0.6001, |
| "step": 611 |
| }, |
| { |
| "epoch": 2.6058666666666666, |
| "grad_norm": 0.35289639234542847, |
| "learning_rate": 2.396347750157707e-07, |
| "loss": 0.6258, |
| "step": 612 |
| }, |
| { |
| "epoch": 2.610133333333333, |
| "grad_norm": 0.3332329988479614, |
| "learning_rate": 2.3464416329365137e-07, |
| "loss": 0.6031, |
| "step": 613 |
| }, |
| { |
| "epoch": 2.6144, |
| "grad_norm": 0.34444907307624817, |
| "learning_rate": 2.297035070521242e-07, |
| "loss": 0.598, |
| "step": 614 |
| }, |
| { |
| "epoch": 2.618666666666667, |
| "grad_norm": 0.35094860196113586, |
| "learning_rate": 2.2481291524222154e-07, |
| "loss": 0.6277, |
| "step": 615 |
| }, |
| { |
| "epoch": 2.622933333333333, |
| "grad_norm": 0.34441515803337097, |
| "learning_rate": 2.1997249571095835e-07, |
| "loss": 0.5922, |
| "step": 616 |
| }, |
| { |
| "epoch": 2.6272, |
| "grad_norm": 0.3234129846096039, |
| "learning_rate": 2.151823551989518e-07, |
| "loss": 0.6095, |
| "step": 617 |
| }, |
| { |
| "epoch": 2.6314666666666664, |
| "grad_norm": 0.3194693326950073, |
| "learning_rate": 2.1044259933807293e-07, |
| "loss": 0.576, |
| "step": 618 |
| }, |
| { |
| "epoch": 2.6357333333333335, |
| "grad_norm": 0.3412642776966095, |
| "learning_rate": 2.0575333264911125e-07, |
| "loss": 0.6096, |
| "step": 619 |
| }, |
| { |
| "epoch": 2.64, |
| "grad_norm": 0.3499319851398468, |
| "learning_rate": 2.0111465853947215e-07, |
| "loss": 0.6403, |
| "step": 620 |
| }, |
| { |
| "epoch": 2.6442666666666668, |
| "grad_norm": 0.33573850989341736, |
| "learning_rate": 1.9652667930089908e-07, |
| "loss": 0.5974, |
| "step": 621 |
| }, |
| { |
| "epoch": 2.6485333333333334, |
| "grad_norm": 0.34437811374664307, |
| "learning_rate": 1.9198949610721273e-07, |
| "loss": 0.6193, |
| "step": 622 |
| }, |
| { |
| "epoch": 2.6528, |
| "grad_norm": 0.3286372125148773, |
| "learning_rate": 1.8750320901208345e-07, |
| "loss": 0.6061, |
| "step": 623 |
| }, |
| { |
| "epoch": 2.6570666666666667, |
| "grad_norm": 0.3341968357563019, |
| "learning_rate": 1.8306791694682552e-07, |
| "loss": 0.6014, |
| "step": 624 |
| }, |
| { |
| "epoch": 2.6613333333333333, |
| "grad_norm": 0.34197428822517395, |
| "learning_rate": 1.786837177182127e-07, |
| "loss": 0.5892, |
| "step": 625 |
| }, |
| { |
| "epoch": 2.6656, |
| "grad_norm": 0.35125383734703064, |
| "learning_rate": 1.7435070800632336e-07, |
| "loss": 0.6188, |
| "step": 626 |
| }, |
| { |
| "epoch": 2.6698666666666666, |
| "grad_norm": 0.3228970766067505, |
| "learning_rate": 1.7006898336240723e-07, |
| "loss": 0.5889, |
| "step": 627 |
| }, |
| { |
| "epoch": 2.6741333333333333, |
| "grad_norm": 0.32253357768058777, |
| "learning_rate": 1.6583863820678032e-07, |
| "loss": 0.6036, |
| "step": 628 |
| }, |
| { |
| "epoch": 2.6784, |
| "grad_norm": 0.3427412211894989, |
| "learning_rate": 1.616597658267402e-07, |
| "loss": 0.6298, |
| "step": 629 |
| }, |
| { |
| "epoch": 2.6826666666666665, |
| "grad_norm": 0.34148457646369934, |
| "learning_rate": 1.5753245837451054e-07, |
| "loss": 0.5882, |
| "step": 630 |
| }, |
| { |
| "epoch": 2.686933333333333, |
| "grad_norm": 0.33803874254226685, |
| "learning_rate": 1.534568068652101e-07, |
| "loss": 0.6303, |
| "step": 631 |
| }, |
| { |
| "epoch": 2.6912000000000003, |
| "grad_norm": 0.3265403211116791, |
| "learning_rate": 1.4943290117484104e-07, |
| "loss": 0.5489, |
| "step": 632 |
| }, |
| { |
| "epoch": 2.6954666666666665, |
| "grad_norm": 0.33894577622413635, |
| "learning_rate": 1.4546083003831201e-07, |
| "loss": 0.6069, |
| "step": 633 |
| }, |
| { |
| "epoch": 2.6997333333333335, |
| "grad_norm": 0.33138516545295715, |
| "learning_rate": 1.4154068104747981e-07, |
| "loss": 0.6033, |
| "step": 634 |
| }, |
| { |
| "epoch": 2.7039999999999997, |
| "grad_norm": 0.32515788078308105, |
| "learning_rate": 1.376725406492166e-07, |
| "loss": 0.5931, |
| "step": 635 |
| }, |
| { |
| "epoch": 2.708266666666667, |
| "grad_norm": 0.340743750333786, |
| "learning_rate": 1.3385649414350442e-07, |
| "loss": 0.6482, |
| "step": 636 |
| }, |
| { |
| "epoch": 2.7125333333333335, |
| "grad_norm": 0.348867267370224, |
| "learning_rate": 1.3009262568155462e-07, |
| "loss": 0.5972, |
| "step": 637 |
| }, |
| { |
| "epoch": 2.7168, |
| "grad_norm": 0.32340556383132935, |
| "learning_rate": 1.2638101826395104e-07, |
| "loss": 0.584, |
| "step": 638 |
| }, |
| { |
| "epoch": 2.7210666666666667, |
| "grad_norm": 0.3204813003540039, |
| "learning_rate": 1.227217537388209e-07, |
| "loss": 0.6476, |
| "step": 639 |
| }, |
| { |
| "epoch": 2.7253333333333334, |
| "grad_norm": 0.3281926214694977, |
| "learning_rate": 1.1911491280002907e-07, |
| "loss": 0.5966, |
| "step": 640 |
| }, |
| { |
| "epoch": 2.7296, |
| "grad_norm": 0.3434792757034302, |
| "learning_rate": 1.1556057498539913e-07, |
| "loss": 0.5946, |
| "step": 641 |
| }, |
| { |
| "epoch": 2.7338666666666667, |
| "grad_norm": 0.3499756455421448, |
| "learning_rate": 1.120588186749591e-07, |
| "loss": 0.6589, |
| "step": 642 |
| }, |
| { |
| "epoch": 2.7381333333333333, |
| "grad_norm": 0.32970553636550903, |
| "learning_rate": 1.0860972108921258e-07, |
| "loss": 0.6073, |
| "step": 643 |
| }, |
| { |
| "epoch": 2.7424, |
| "grad_norm": 0.3311205506324768, |
| "learning_rate": 1.0521335828743678e-07, |
| "loss": 0.5906, |
| "step": 644 |
| }, |
| { |
| "epoch": 2.7466666666666666, |
| "grad_norm": 0.34418705105781555, |
| "learning_rate": 1.0186980516600525e-07, |
| "loss": 0.6233, |
| "step": 645 |
| }, |
| { |
| "epoch": 2.7509333333333332, |
| "grad_norm": 0.32787424325942993, |
| "learning_rate": 9.857913545673503e-08, |
| "loss": 0.6237, |
| "step": 646 |
| }, |
| { |
| "epoch": 2.7552, |
| "grad_norm": 0.31942757964134216, |
| "learning_rate": 9.534142172526239e-08, |
| "loss": 0.6018, |
| "step": 647 |
| }, |
| { |
| "epoch": 2.7594666666666665, |
| "grad_norm": 0.3224412500858307, |
| "learning_rate": 9.215673536944108e-08, |
| "loss": 0.6439, |
| "step": 648 |
| }, |
| { |
| "epoch": 2.7637333333333336, |
| "grad_norm": 0.331991583108902, |
| "learning_rate": 8.902514661776885e-08, |
| "loss": 0.5759, |
| "step": 649 |
| }, |
| { |
| "epoch": 2.768, |
| "grad_norm": 0.32098379731178284, |
| "learning_rate": 8.594672452783892e-08, |
| "loss": 0.6009, |
| "step": 650 |
| }, |
| { |
| "epoch": 2.772266666666667, |
| "grad_norm": 0.33318814635276794, |
| "learning_rate": 8.292153698481631e-08, |
| "loss": 0.6401, |
| "step": 651 |
| }, |
| { |
| "epoch": 2.776533333333333, |
| "grad_norm": 0.3261711895465851, |
| "learning_rate": 7.994965069994143e-08, |
| "loss": 0.6193, |
| "step": 652 |
| }, |
| { |
| "epoch": 2.7808, |
| "grad_norm": 0.32475578784942627, |
| "learning_rate": 7.703113120905825e-08, |
| "loss": 0.6092, |
| "step": 653 |
| }, |
| { |
| "epoch": 2.785066666666667, |
| "grad_norm": 0.3446325957775116, |
| "learning_rate": 7.416604287117018e-08, |
| "loss": 0.5965, |
| "step": 654 |
| }, |
| { |
| "epoch": 2.7893333333333334, |
| "grad_norm": 0.3262110948562622, |
| "learning_rate": 7.135444886702064e-08, |
| "loss": 0.5995, |
| "step": 655 |
| }, |
| { |
| "epoch": 2.7936, |
| "grad_norm": 0.3156624734401703, |
| "learning_rate": 6.859641119769861e-08, |
| "loss": 0.6088, |
| "step": 656 |
| }, |
| { |
| "epoch": 2.7978666666666667, |
| "grad_norm": 0.33477863669395447, |
| "learning_rate": 6.58919906832728e-08, |
| "loss": 0.6326, |
| "step": 657 |
| }, |
| { |
| "epoch": 2.8021333333333334, |
| "grad_norm": 0.32477566599845886, |
| "learning_rate": 6.324124696144962e-08, |
| "loss": 0.5886, |
| "step": 658 |
| }, |
| { |
| "epoch": 2.8064, |
| "grad_norm": 0.31346455216407776, |
| "learning_rate": 6.064423848625822e-08, |
| "loss": 0.6223, |
| "step": 659 |
| }, |
| { |
| "epoch": 2.8106666666666666, |
| "grad_norm": 0.3541554808616638, |
| "learning_rate": 5.810102252676225e-08, |
| "loss": 0.6283, |
| "step": 660 |
| }, |
| { |
| "epoch": 2.8149333333333333, |
| "grad_norm": 0.31597334146499634, |
| "learning_rate": 5.5611655165795365e-08, |
| "loss": 0.6229, |
| "step": 661 |
| }, |
| { |
| "epoch": 2.8192, |
| "grad_norm": 0.325488418340683, |
| "learning_rate": 5.3176191298726085e-08, |
| "loss": 0.611, |
| "step": 662 |
| }, |
| { |
| "epoch": 2.8234666666666666, |
| "grad_norm": 0.34377193450927734, |
| "learning_rate": 5.0794684632246294e-08, |
| "loss": 0.6153, |
| "step": 663 |
| }, |
| { |
| "epoch": 2.827733333333333, |
| "grad_norm": 0.3318426311016083, |
| "learning_rate": 4.846718768318659e-08, |
| "loss": 0.5911, |
| "step": 664 |
| }, |
| { |
| "epoch": 2.832, |
| "grad_norm": 0.33121493458747864, |
| "learning_rate": 4.619375177736002e-08, |
| "loss": 0.5897, |
| "step": 665 |
| }, |
| { |
| "epoch": 2.836266666666667, |
| "grad_norm": 0.3531855642795563, |
| "learning_rate": 4.397442704842825e-08, |
| "loss": 0.6235, |
| "step": 666 |
| }, |
| { |
| "epoch": 2.840533333333333, |
| "grad_norm": 0.33835938572883606, |
| "learning_rate": 4.1809262436796896e-08, |
| "loss": 0.6011, |
| "step": 667 |
| }, |
| { |
| "epoch": 2.8448, |
| "grad_norm": 0.33475086092948914, |
| "learning_rate": 3.9698305688535835e-08, |
| "loss": 0.6189, |
| "step": 668 |
| }, |
| { |
| "epoch": 2.8490666666666664, |
| "grad_norm": 0.341691792011261, |
| "learning_rate": 3.764160335432726e-08, |
| "loss": 0.6417, |
| "step": 669 |
| }, |
| { |
| "epoch": 2.8533333333333335, |
| "grad_norm": 0.3405057489871979, |
| "learning_rate": 3.563920078843791e-08, |
| "loss": 0.6067, |
| "step": 670 |
| }, |
| { |
| "epoch": 2.8576, |
| "grad_norm": 0.3475085198879242, |
| "learning_rate": 3.369114214771957e-08, |
| "loss": 0.634, |
| "step": 671 |
| }, |
| { |
| "epoch": 2.861866666666667, |
| "grad_norm": 0.3283518850803375, |
| "learning_rate": 3.179747039063652e-08, |
| "loss": 0.5701, |
| "step": 672 |
| }, |
| { |
| "epoch": 2.8661333333333334, |
| "grad_norm": 0.31825271248817444, |
| "learning_rate": 2.99582272763152e-08, |
| "loss": 0.5646, |
| "step": 673 |
| }, |
| { |
| "epoch": 2.8704, |
| "grad_norm": 0.32577526569366455, |
| "learning_rate": 2.8173453363626313e-08, |
| "loss": 0.6118, |
| "step": 674 |
| }, |
| { |
| "epoch": 2.8746666666666667, |
| "grad_norm": 0.32733026146888733, |
| "learning_rate": 2.6443188010288612e-08, |
| "loss": 0.6049, |
| "step": 675 |
| }, |
| { |
| "epoch": 2.8789333333333333, |
| "grad_norm": 0.30781808495521545, |
| "learning_rate": 2.4767469372002362e-08, |
| "loss": 0.5807, |
| "step": 676 |
| }, |
| { |
| "epoch": 2.8832, |
| "grad_norm": 0.33830124139785767, |
| "learning_rate": 2.3146334401606406e-08, |
| "loss": 0.6324, |
| "step": 677 |
| }, |
| { |
| "epoch": 2.8874666666666666, |
| "grad_norm": 0.3217734694480896, |
| "learning_rate": 2.1579818848264656e-08, |
| "loss": 0.622, |
| "step": 678 |
| }, |
| { |
| "epoch": 2.8917333333333333, |
| "grad_norm": 0.3331310749053955, |
| "learning_rate": 2.0067957256676428e-08, |
| "loss": 0.6071, |
| "step": 679 |
| }, |
| { |
| "epoch": 2.896, |
| "grad_norm": 0.3501247465610504, |
| "learning_rate": 1.861078296631652e-08, |
| "loss": 0.6558, |
| "step": 680 |
| }, |
| { |
| "epoch": 2.9002666666666665, |
| "grad_norm": 0.3323565423488617, |
| "learning_rate": 1.7208328110697726e-08, |
| "loss": 0.6192, |
| "step": 681 |
| }, |
| { |
| "epoch": 2.904533333333333, |
| "grad_norm": 0.34517747163772583, |
| "learning_rate": 1.5860623616664183e-08, |
| "loss": 0.5974, |
| "step": 682 |
| }, |
| { |
| "epoch": 2.9088000000000003, |
| "grad_norm": 0.33607083559036255, |
| "learning_rate": 1.4567699203708597e-08, |
| "loss": 0.6046, |
| "step": 683 |
| }, |
| { |
| "epoch": 2.9130666666666665, |
| "grad_norm": 0.3128437101840973, |
| "learning_rate": 1.332958338331608e-08, |
| "loss": 0.585, |
| "step": 684 |
| }, |
| { |
| "epoch": 2.9173333333333336, |
| "grad_norm": 0.31413301825523376, |
| "learning_rate": 1.2146303458337172e-08, |
| "loss": 0.5879, |
| "step": 685 |
| }, |
| { |
| "epoch": 2.9215999999999998, |
| "grad_norm": 0.33694204688072205, |
| "learning_rate": 1.1017885522383864e-08, |
| "loss": 0.5916, |
| "step": 686 |
| }, |
| { |
| "epoch": 2.925866666666667, |
| "grad_norm": 0.3271304666996002, |
| "learning_rate": 9.944354459256178e-09, |
| "loss": 0.5807, |
| "step": 687 |
| }, |
| { |
| "epoch": 2.9301333333333335, |
| "grad_norm": 0.32571712136268616, |
| "learning_rate": 8.92573394239149e-09, |
| "loss": 0.5992, |
| "step": 688 |
| }, |
| { |
| "epoch": 2.9344, |
| "grad_norm": 0.32543250918388367, |
| "learning_rate": 7.962046434343562e-09, |
| "loss": 0.6143, |
| "step": 689 |
| }, |
| { |
| "epoch": 2.9386666666666668, |
| "grad_norm": 0.338191419839859, |
| "learning_rate": 7.0533131862873804e-09, |
| "loss": 0.6197, |
| "step": 690 |
| }, |
| { |
| "epoch": 2.9429333333333334, |
| "grad_norm": 0.32142868638038635, |
| "learning_rate": 6.1995542375495325e-09, |
| "loss": 0.5715, |
| "step": 691 |
| }, |
| { |
| "epoch": 2.9472, |
| "grad_norm": 0.31995338201522827, |
| "learning_rate": 5.400788415167168e-09, |
| "loss": 0.6164, |
| "step": 692 |
| }, |
| { |
| "epoch": 2.9514666666666667, |
| "grad_norm": 0.32262685894966125, |
| "learning_rate": 4.657033333472782e-09, |
| "loss": 0.5794, |
| "step": 693 |
| }, |
| { |
| "epoch": 2.9557333333333333, |
| "grad_norm": 0.3404903709888458, |
| "learning_rate": 3.96830539370563e-09, |
| "loss": 0.6333, |
| "step": 694 |
| }, |
| { |
| "epoch": 2.96, |
| "grad_norm": 0.330427348613739, |
| "learning_rate": 3.33461978364924e-09, |
| "loss": 0.6157, |
| "step": 695 |
| }, |
| { |
| "epoch": 2.9642666666666666, |
| "grad_norm": 0.32176586985588074, |
| "learning_rate": 2.755990477298076e-09, |
| "loss": 0.6469, |
| "step": 696 |
| }, |
| { |
| "epoch": 2.9685333333333332, |
| "grad_norm": 0.3283085823059082, |
| "learning_rate": 2.2324302345483327e-09, |
| "loss": 0.6124, |
| "step": 697 |
| }, |
| { |
| "epoch": 2.9728, |
| "grad_norm": 0.3386090397834778, |
| "learning_rate": 1.7639506009162199e-09, |
| "loss": 0.5898, |
| "step": 698 |
| }, |
| { |
| "epoch": 2.9770666666666665, |
| "grad_norm": 0.3304394781589508, |
| "learning_rate": 1.3505619072848309e-09, |
| "loss": 0.6167, |
| "step": 699 |
| }, |
| { |
| "epoch": 2.981333333333333, |
| "grad_norm": 0.3292512893676758, |
| "learning_rate": 9.922732696748816e-10, |
| "loss": 0.6138, |
| "step": 700 |
| }, |
| { |
| "epoch": 2.9856, |
| "grad_norm": 0.32595470547676086, |
| "learning_rate": 6.890925890437605e-10, |
| "loss": 0.6257, |
| "step": 701 |
| }, |
| { |
| "epoch": 2.989866666666667, |
| "grad_norm": 0.32718536257743835, |
| "learning_rate": 4.410265511128886e-10, |
| "loss": 0.6169, |
| "step": 702 |
| }, |
| { |
| "epoch": 2.994133333333333, |
| "grad_norm": 0.3314308822154999, |
| "learning_rate": 2.480806262181168e-10, |
| "loss": 0.6169, |
| "step": 703 |
| }, |
| { |
| "epoch": 2.9984, |
| "grad_norm": 0.3245869576931, |
| "learning_rate": 1.1025906919065465e-10, |
| "loss": 0.5867, |
| "step": 704 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 0.579947292804718, |
| "learning_rate": 2.756491926270144e-11, |
| "loss": 0.6911, |
| "step": 705 |
| }, |
| { |
| "epoch": 3.0, |
| "step": 705, |
| "total_flos": 385665514733568.0, |
| "train_loss": 0.6493097235970463, |
| "train_runtime": 29533.3855, |
| "train_samples_per_second": 1.524, |
| "train_steps_per_second": 0.024 |
| } |
| ], |
| "logging_steps": 1, |
| "max_steps": 705, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 3, |
| "save_steps": 1000, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 385665514733568.0, |
| "train_batch_size": 1, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
