| { |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 2.976, |
| "eval_steps": 500, |
| "global_step": 279, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.010666666666666666, |
| "grad_norm": 11.754026412963867, |
| "learning_rate": 0.0, |
| "loss": 0.3055, |
| "step": 1 |
| }, |
| { |
| "epoch": 0.021333333333333333, |
| "grad_norm": 168.7552032470703, |
| "learning_rate": 7.525749891599529e-06, |
| "loss": 0.3533, |
| "step": 2 |
| }, |
| { |
| "epoch": 0.032, |
| "grad_norm": 186.65489196777344, |
| "learning_rate": 1.192803136799156e-05, |
| "loss": 0.3818, |
| "step": 3 |
| }, |
| { |
| "epoch": 0.042666666666666665, |
| "grad_norm": 8.70337200164795, |
| "learning_rate": 1.5051499783199057e-05, |
| "loss": 0.233, |
| "step": 4 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 18.427181243896484, |
| "learning_rate": 1.7474250108400467e-05, |
| "loss": 0.5997, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.064, |
| "grad_norm": 10.40682315826416, |
| "learning_rate": 1.945378125959109e-05, |
| "loss": 0.1481, |
| "step": 6 |
| }, |
| { |
| "epoch": 0.07466666666666667, |
| "grad_norm": 2.7625439167022705, |
| "learning_rate": 2.1127451000356418e-05, |
| "loss": 0.071, |
| "step": 7 |
| }, |
| { |
| "epoch": 0.08533333333333333, |
| "grad_norm": 1.7677353620529175, |
| "learning_rate": 2.2577249674798584e-05, |
| "loss": 0.0424, |
| "step": 8 |
| }, |
| { |
| "epoch": 0.096, |
| "grad_norm": 191.71823120117188, |
| "learning_rate": 2.385606273598312e-05, |
| "loss": 0.068, |
| "step": 9 |
| }, |
| { |
| "epoch": 0.10666666666666667, |
| "grad_norm": 4.576934337615967, |
| "learning_rate": 2.4999999999999998e-05, |
| "loss": 0.0876, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.11733333333333333, |
| "grad_norm": 2.2950680255889893, |
| "learning_rate": 2.6034817128955623e-05, |
| "loss": 0.0549, |
| "step": 11 |
| }, |
| { |
| "epoch": 0.128, |
| "grad_norm": 1.4517072439193726, |
| "learning_rate": 2.6979531151190617e-05, |
| "loss": 0.0306, |
| "step": 12 |
| }, |
| { |
| "epoch": 0.13866666666666666, |
| "grad_norm": 1.2535955905914307, |
| "learning_rate": 2.7848583807670913e-05, |
| "loss": 0.0316, |
| "step": 13 |
| }, |
| { |
| "epoch": 0.14933333333333335, |
| "grad_norm": 0.7079260945320129, |
| "learning_rate": 2.8653200891955945e-05, |
| "loss": 0.0226, |
| "step": 14 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 0.4892561435699463, |
| "learning_rate": 2.940228147639203e-05, |
| "loss": 0.0123, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.17066666666666666, |
| "grad_norm": 1.0918864011764526, |
| "learning_rate": 3.0102999566398115e-05, |
| "loss": 0.0176, |
| "step": 16 |
| }, |
| { |
| "epoch": 0.18133333333333335, |
| "grad_norm": 1.0043039321899414, |
| "learning_rate": 3.076122303445685e-05, |
| "loss": 0.0178, |
| "step": 17 |
| }, |
| { |
| "epoch": 0.192, |
| "grad_norm": 0.5436441898345947, |
| "learning_rate": 3.1381812627582646e-05, |
| "loss": 0.015, |
| "step": 18 |
| }, |
| { |
| "epoch": 0.20266666666666666, |
| "grad_norm": 1.5427027940750122, |
| "learning_rate": 3.1968840023820715e-05, |
| "loss": 0.0095, |
| "step": 19 |
| }, |
| { |
| "epoch": 0.21333333333333335, |
| "grad_norm": 0.7236639857292175, |
| "learning_rate": 3.2525749891599525e-05, |
| "loss": 0.0092, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.224, |
| "grad_norm": 0.37848928570747375, |
| "learning_rate": 3.305548236834798e-05, |
| "loss": 0.0055, |
| "step": 21 |
| }, |
| { |
| "epoch": 0.23466666666666666, |
| "grad_norm": 0.561617374420166, |
| "learning_rate": 3.3560567020555153e-05, |
| "loss": 0.0089, |
| "step": 22 |
| }, |
| { |
| "epoch": 0.24533333333333332, |
| "grad_norm": 0.6394134759902954, |
| "learning_rate": 3.404319590043982e-05, |
| "loss": 0.0077, |
| "step": 23 |
| }, |
| { |
| "epoch": 0.256, |
| "grad_norm": 0.33990687131881714, |
| "learning_rate": 3.450528104279015e-05, |
| "loss": 0.0036, |
| "step": 24 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 0.16947203874588013, |
| "learning_rate": 3.4948500216800935e-05, |
| "loss": 0.0015, |
| "step": 25 |
| }, |
| { |
| "epoch": 0.2773333333333333, |
| "grad_norm": 0.5070152878761292, |
| "learning_rate": 3.537433369927044e-05, |
| "loss": 0.005, |
| "step": 26 |
| }, |
| { |
| "epoch": 0.288, |
| "grad_norm": 0.2414875030517578, |
| "learning_rate": 3.578409410397468e-05, |
| "loss": 0.0036, |
| "step": 27 |
| }, |
| { |
| "epoch": 0.2986666666666667, |
| "grad_norm": 0.7398623824119568, |
| "learning_rate": 3.6178950783555475e-05, |
| "loss": 0.003, |
| "step": 28 |
| }, |
| { |
| "epoch": 0.30933333333333335, |
| "grad_norm": 1.3114838600158691, |
| "learning_rate": 3.65599499474739e-05, |
| "loss": 0.0231, |
| "step": 29 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 0.7240581512451172, |
| "learning_rate": 3.6928031367991554e-05, |
| "loss": 0.0181, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.33066666666666666, |
| "grad_norm": 0.4996863901615143, |
| "learning_rate": 3.728404234585681e-05, |
| "loss": 0.0187, |
| "step": 31 |
| }, |
| { |
| "epoch": 0.3413333333333333, |
| "grad_norm": 1.1202421188354492, |
| "learning_rate": 3.762874945799765e-05, |
| "loss": 0.0104, |
| "step": 32 |
| }, |
| { |
| "epoch": 0.352, |
| "grad_norm": 0.6726235747337341, |
| "learning_rate": 3.796284849694718e-05, |
| "loss": 0.0076, |
| "step": 33 |
| }, |
| { |
| "epoch": 0.3626666666666667, |
| "grad_norm": 0.5757638812065125, |
| "learning_rate": 3.8286972926056376e-05, |
| "loss": 0.0092, |
| "step": 34 |
| }, |
| { |
| "epoch": 0.37333333333333335, |
| "grad_norm": 4.56654691696167, |
| "learning_rate": 3.8601701108756885e-05, |
| "loss": 0.0033, |
| "step": 35 |
| }, |
| { |
| "epoch": 0.384, |
| "grad_norm": 0.46551939845085144, |
| "learning_rate": 3.890756251918218e-05, |
| "loss": 0.0062, |
| "step": 36 |
| }, |
| { |
| "epoch": 0.39466666666666667, |
| "grad_norm": 0.17347362637519836, |
| "learning_rate": 3.920504310167487e-05, |
| "loss": 0.0015, |
| "step": 37 |
| }, |
| { |
| "epoch": 0.4053333333333333, |
| "grad_norm": 0.6298040747642517, |
| "learning_rate": 3.949458991542025e-05, |
| "loss": 0.0035, |
| "step": 38 |
| }, |
| { |
| "epoch": 0.416, |
| "grad_norm": 0.46180495619773865, |
| "learning_rate": 3.977661517566247e-05, |
| "loss": 0.0034, |
| "step": 39 |
| }, |
| { |
| "epoch": 0.4266666666666667, |
| "grad_norm": 0.22213543951511383, |
| "learning_rate": 4.005149978319905e-05, |
| "loss": 0.0059, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.43733333333333335, |
| "grad_norm": 0.26860398054122925, |
| "learning_rate": 4.031959641799338e-05, |
| "loss": 0.0046, |
| "step": 41 |
| }, |
| { |
| "epoch": 0.448, |
| "grad_norm": 0.07143426686525345, |
| "learning_rate": 4.058123225994751e-05, |
| "loss": 0.0005, |
| "step": 42 |
| }, |
| { |
| "epoch": 0.45866666666666667, |
| "grad_norm": 0.39327096939086914, |
| "learning_rate": 4.0836711389489654e-05, |
| "loss": 0.0025, |
| "step": 43 |
| }, |
| { |
| "epoch": 0.4693333333333333, |
| "grad_norm": 0.18292081356048584, |
| "learning_rate": 4.108631691215468e-05, |
| "loss": 0.0011, |
| "step": 44 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 0.2323281168937683, |
| "learning_rate": 4.133031284438358e-05, |
| "loss": 0.0042, |
| "step": 45 |
| }, |
| { |
| "epoch": 0.49066666666666664, |
| "grad_norm": 0.1796242743730545, |
| "learning_rate": 4.156894579203935e-05, |
| "loss": 0.0029, |
| "step": 46 |
| }, |
| { |
| "epoch": 0.5013333333333333, |
| "grad_norm": 0.2503258287906647, |
| "learning_rate": 4.180244644839293e-05, |
| "loss": 0.0014, |
| "step": 47 |
| }, |
| { |
| "epoch": 0.512, |
| "grad_norm": 0.4935305714607239, |
| "learning_rate": 4.203103093438968e-05, |
| "loss": 0.0045, |
| "step": 48 |
| }, |
| { |
| "epoch": 0.5226666666666666, |
| "grad_norm": 0.09073633700609207, |
| "learning_rate": 4.2254902000712836e-05, |
| "loss": 0.0022, |
| "step": 49 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 18.01141929626465, |
| "learning_rate": 4.247425010840046e-05, |
| "loss": 0.0066, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.544, |
| "grad_norm": 10.438459396362305, |
| "learning_rate": 4.2689254402448405e-05, |
| "loss": 0.0033, |
| "step": 51 |
| }, |
| { |
| "epoch": 0.5546666666666666, |
| "grad_norm": 0.7780687808990479, |
| "learning_rate": 4.290008359086998e-05, |
| "loss": 0.0065, |
| "step": 52 |
| }, |
| { |
| "epoch": 0.5653333333333334, |
| "grad_norm": 1.873307704925537, |
| "learning_rate": 4.310689674001973e-05, |
| "loss": 0.0077, |
| "step": 53 |
| }, |
| { |
| "epoch": 0.576, |
| "grad_norm": 0.2861614227294922, |
| "learning_rate": 4.330984399557421e-05, |
| "loss": 0.0025, |
| "step": 54 |
| }, |
| { |
| "epoch": 0.5866666666666667, |
| "grad_norm": 0.3399127721786499, |
| "learning_rate": 4.350906723735609e-05, |
| "loss": 0.0064, |
| "step": 55 |
| }, |
| { |
| "epoch": 0.5973333333333334, |
| "grad_norm": 0.1241474598646164, |
| "learning_rate": 4.370470067515501e-05, |
| "loss": 0.0013, |
| "step": 56 |
| }, |
| { |
| "epoch": 0.608, |
| "grad_norm": 0.9950242638587952, |
| "learning_rate": 4.3896871391812285e-05, |
| "loss": 0.0078, |
| "step": 57 |
| }, |
| { |
| "epoch": 0.6186666666666667, |
| "grad_norm": 0.4737244248390198, |
| "learning_rate": 4.408569983907343e-05, |
| "loss": 0.0052, |
| "step": 58 |
| }, |
| { |
| "epoch": 0.6293333333333333, |
| "grad_norm": 0.2054540067911148, |
| "learning_rate": 4.42713002910536e-05, |
| "loss": 0.0017, |
| "step": 59 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 10.90045166015625, |
| "learning_rate": 4.445378125959108e-05, |
| "loss": 0.058, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.6506666666666666, |
| "grad_norm": 10.06686782836914, |
| "learning_rate": 4.463324587526917e-05, |
| "loss": 0.013, |
| "step": 61 |
| }, |
| { |
| "epoch": 0.6613333333333333, |
| "grad_norm": 1.0619251728057861, |
| "learning_rate": 4.4809792237456346e-05, |
| "loss": 0.0136, |
| "step": 62 |
| }, |
| { |
| "epoch": 0.672, |
| "grad_norm": 0.42734405398368835, |
| "learning_rate": 4.498351373633954e-05, |
| "loss": 0.0082, |
| "step": 63 |
| }, |
| { |
| "epoch": 0.6826666666666666, |
| "grad_norm": 0.3401489555835724, |
| "learning_rate": 4.515449934959717e-05, |
| "loss": 0.0047, |
| "step": 64 |
| }, |
| { |
| "epoch": 0.6933333333333334, |
| "grad_norm": 0.436235636472702, |
| "learning_rate": 4.532283391607138e-05, |
| "loss": 0.0033, |
| "step": 65 |
| }, |
| { |
| "epoch": 0.704, |
| "grad_norm": 0.16111600399017334, |
| "learning_rate": 4.548859838854671e-05, |
| "loss": 0.0026, |
| "step": 66 |
| }, |
| { |
| "epoch": 0.7146666666666667, |
| "grad_norm": 0.4501577317714691, |
| "learning_rate": 4.565187006752065e-05, |
| "loss": 0.0027, |
| "step": 67 |
| }, |
| { |
| "epoch": 0.7253333333333334, |
| "grad_norm": 0.13672642409801483, |
| "learning_rate": 4.581272281765591e-05, |
| "loss": 0.0028, |
| "step": 68 |
| }, |
| { |
| "epoch": 0.736, |
| "grad_norm": 0.1461324542760849, |
| "learning_rate": 4.597122726843138e-05, |
| "loss": 0.0004, |
| "step": 69 |
| }, |
| { |
| "epoch": 0.7466666666666667, |
| "grad_norm": 1.918027400970459, |
| "learning_rate": 4.612745100035642e-05, |
| "loss": 0.0071, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.7573333333333333, |
| "grad_norm": 0.15455181896686554, |
| "learning_rate": 4.628145871797688e-05, |
| "loss": 0.0006, |
| "step": 71 |
| }, |
| { |
| "epoch": 0.768, |
| "grad_norm": 3.5162384510040283, |
| "learning_rate": 4.643331241078171e-05, |
| "loss": 0.0164, |
| "step": 72 |
| }, |
| { |
| "epoch": 0.7786666666666666, |
| "grad_norm": 0.21477486193180084, |
| "learning_rate": 4.658307150301139e-05, |
| "loss": 0.0016, |
| "step": 73 |
| }, |
| { |
| "epoch": 0.7893333333333333, |
| "grad_norm": 2.651820421218872, |
| "learning_rate": 4.67307929932744e-05, |
| "loss": 0.0014, |
| "step": 74 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 0.20848479866981506, |
| "learning_rate": 4.687653158479249e-05, |
| "loss": 0.0043, |
| "step": 75 |
| }, |
| { |
| "epoch": 0.8106666666666666, |
| "grad_norm": 0.08430308848619461, |
| "learning_rate": 4.702033980701978e-05, |
| "loss": 0.0003, |
| "step": 76 |
| }, |
| { |
| "epoch": 0.8213333333333334, |
| "grad_norm": 0.4553821384906769, |
| "learning_rate": 4.716226812931204e-05, |
| "loss": 0.0014, |
| "step": 77 |
| }, |
| { |
| "epoch": 0.832, |
| "grad_norm": 1.0971914529800415, |
| "learning_rate": 4.7302365067262006e-05, |
| "loss": 0.0086, |
| "step": 78 |
| }, |
| { |
| "epoch": 0.8426666666666667, |
| "grad_norm": 0.5060430765151978, |
| "learning_rate": 4.744067728226103e-05, |
| "loss": 0.0036, |
| "step": 79 |
| }, |
| { |
| "epoch": 0.8533333333333334, |
| "grad_norm": 0.305854856967926, |
| "learning_rate": 4.757724967479858e-05, |
| "loss": 0.0013, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.864, |
| "grad_norm": 0.4014900326728821, |
| "learning_rate": 4.771212547196624e-05, |
| "loss": 0.0055, |
| "step": 81 |
| }, |
| { |
| "epoch": 0.8746666666666667, |
| "grad_norm": 0.1626356542110443, |
| "learning_rate": 4.7845346309592914e-05, |
| "loss": 0.0034, |
| "step": 82 |
| }, |
| { |
| "epoch": 0.8853333333333333, |
| "grad_norm": 0.3583512306213379, |
| "learning_rate": 4.7976952309401844e-05, |
| "loss": 0.0052, |
| "step": 83 |
| }, |
| { |
| "epoch": 0.896, |
| "grad_norm": 0.12416330724954605, |
| "learning_rate": 4.810698215154703e-05, |
| "loss": 0.002, |
| "step": 84 |
| }, |
| { |
| "epoch": 0.9066666666666666, |
| "grad_norm": 0.28302738070487976, |
| "learning_rate": 4.823547314285732e-05, |
| "loss": 0.0022, |
| "step": 85 |
| }, |
| { |
| "epoch": 0.9173333333333333, |
| "grad_norm": 0.22168681025505066, |
| "learning_rate": 4.836246128108918e-05, |
| "loss": 0.0013, |
| "step": 86 |
| }, |
| { |
| "epoch": 0.928, |
| "grad_norm": 0.09444810450077057, |
| "learning_rate": 4.8487981315465456e-05, |
| "loss": 0.0019, |
| "step": 87 |
| }, |
| { |
| "epoch": 0.9386666666666666, |
| "grad_norm": 0.2013028860092163, |
| "learning_rate": 4.8612066803754214e-05, |
| "loss": 0.0007, |
| "step": 88 |
| }, |
| { |
| "epoch": 0.9493333333333334, |
| "grad_norm": 0.04223403334617615, |
| "learning_rate": 4.873475016612281e-05, |
| "loss": 0.0003, |
| "step": 89 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 0.23566360771656036, |
| "learning_rate": 4.885606273598312e-05, |
| "loss": 0.0015, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.9706666666666667, |
| "grad_norm": 0.13892315328121185, |
| "learning_rate": 4.897603480802733e-05, |
| "loss": 0.0007, |
| "step": 91 |
| }, |
| { |
| "epoch": 0.9813333333333333, |
| "grad_norm": 0.0873648077249527, |
| "learning_rate": 4.909469568363888e-05, |
| "loss": 0.0018, |
| "step": 92 |
| }, |
| { |
| "epoch": 0.992, |
| "grad_norm": 0.17551331222057343, |
| "learning_rate": 4.9212073713848375e-05, |
| "loss": 0.002, |
| "step": 93 |
| }, |
| { |
| "epoch": 1.0026666666666666, |
| "grad_norm": 0.049495816230773926, |
| "learning_rate": 4.932819633999246e-05, |
| "loss": 0.0003, |
| "step": 94 |
| }, |
| { |
| "epoch": 1.0133333333333334, |
| "grad_norm": 0.0984305739402771, |
| "learning_rate": 4.9443090132221186e-05, |
| "loss": 0.0004, |
| "step": 95 |
| }, |
| { |
| "epoch": 1.024, |
| "grad_norm": 0.27251753211021423, |
| "learning_rate": 4.9556780825989205e-05, |
| "loss": 0.0019, |
| "step": 96 |
| }, |
| { |
| "epoch": 1.0346666666666666, |
| "grad_norm": 0.18246564269065857, |
| "learning_rate": 4.9669293356656114e-05, |
| "loss": 0.0021, |
| "step": 97 |
| }, |
| { |
| "epoch": 1.0453333333333332, |
| "grad_norm": 0.19564488530158997, |
| "learning_rate": 4.978065189231237e-05, |
| "loss": 0.001, |
| "step": 98 |
| }, |
| { |
| "epoch": 1.056, |
| "grad_norm": 1.6231553554534912, |
| "learning_rate": 4.989087986493874e-05, |
| "loss": 0.0046, |
| "step": 99 |
| }, |
| { |
| "epoch": 1.0666666666666667, |
| "grad_norm": 3.983646869659424, |
| "learning_rate": 4.9999999999999996e-05, |
| "loss": 0.1327, |
| "step": 100 |
| }, |
| { |
| "epoch": 1.0773333333333333, |
| "grad_norm": 7.237143516540527, |
| "learning_rate": 5e-05, |
| "loss": 0.1628, |
| "step": 101 |
| }, |
| { |
| "epoch": 1.088, |
| "grad_norm": 24.995555877685547, |
| "learning_rate": 4.9720670391061455e-05, |
| "loss": 0.1324, |
| "step": 102 |
| }, |
| { |
| "epoch": 1.0986666666666667, |
| "grad_norm": 3.7747557163238525, |
| "learning_rate": 4.944134078212291e-05, |
| "loss": 0.0792, |
| "step": 103 |
| }, |
| { |
| "epoch": 1.1093333333333333, |
| "grad_norm": 2.0382823944091797, |
| "learning_rate": 4.916201117318436e-05, |
| "loss": 0.0301, |
| "step": 104 |
| }, |
| { |
| "epoch": 1.12, |
| "grad_norm": 1.4077985286712646, |
| "learning_rate": 4.8882681564245814e-05, |
| "loss": 0.0192, |
| "step": 105 |
| }, |
| { |
| "epoch": 1.1306666666666667, |
| "grad_norm": 2.8298680782318115, |
| "learning_rate": 4.860335195530727e-05, |
| "loss": 0.0947, |
| "step": 106 |
| }, |
| { |
| "epoch": 1.1413333333333333, |
| "grad_norm": 5.259606838226318, |
| "learning_rate": 4.832402234636872e-05, |
| "loss": 0.0329, |
| "step": 107 |
| }, |
| { |
| "epoch": 1.152, |
| "grad_norm": 0.7519811987876892, |
| "learning_rate": 4.8044692737430166e-05, |
| "loss": 0.0122, |
| "step": 108 |
| }, |
| { |
| "epoch": 1.1626666666666667, |
| "grad_norm": 8.479069709777832, |
| "learning_rate": 4.7765363128491626e-05, |
| "loss": 0.0726, |
| "step": 109 |
| }, |
| { |
| "epoch": 1.1733333333333333, |
| "grad_norm": 0.757892906665802, |
| "learning_rate": 4.748603351955307e-05, |
| "loss": 0.011, |
| "step": 110 |
| }, |
| { |
| "epoch": 1.184, |
| "grad_norm": 3.707771062850952, |
| "learning_rate": 4.7206703910614525e-05, |
| "loss": 0.0517, |
| "step": 111 |
| }, |
| { |
| "epoch": 1.1946666666666665, |
| "grad_norm": 1.249261498451233, |
| "learning_rate": 4.692737430167598e-05, |
| "loss": 0.0178, |
| "step": 112 |
| }, |
| { |
| "epoch": 1.2053333333333334, |
| "grad_norm": 0.34927159547805786, |
| "learning_rate": 4.664804469273743e-05, |
| "loss": 0.0076, |
| "step": 113 |
| }, |
| { |
| "epoch": 1.216, |
| "grad_norm": 0.4342691898345947, |
| "learning_rate": 4.6368715083798884e-05, |
| "loss": 0.007, |
| "step": 114 |
| }, |
| { |
| "epoch": 1.2266666666666666, |
| "grad_norm": 0.36366787552833557, |
| "learning_rate": 4.6089385474860336e-05, |
| "loss": 0.0049, |
| "step": 115 |
| }, |
| { |
| "epoch": 1.2373333333333334, |
| "grad_norm": 0.264613538980484, |
| "learning_rate": 4.581005586592179e-05, |
| "loss": 0.0038, |
| "step": 116 |
| }, |
| { |
| "epoch": 1.248, |
| "grad_norm": 0.22927503287792206, |
| "learning_rate": 4.553072625698324e-05, |
| "loss": 0.0036, |
| "step": 117 |
| }, |
| { |
| "epoch": 1.2586666666666666, |
| "grad_norm": 0.0749870091676712, |
| "learning_rate": 4.5251396648044695e-05, |
| "loss": 0.0009, |
| "step": 118 |
| }, |
| { |
| "epoch": 1.2693333333333334, |
| "grad_norm": 0.34930863976478577, |
| "learning_rate": 4.497206703910615e-05, |
| "loss": 0.0019, |
| "step": 119 |
| }, |
| { |
| "epoch": 1.28, |
| "grad_norm": 0.48471134901046753, |
| "learning_rate": 4.4692737430167594e-05, |
| "loss": 0.003, |
| "step": 120 |
| }, |
| { |
| "epoch": 1.2906666666666666, |
| "grad_norm": 0.17621633410453796, |
| "learning_rate": 4.4413407821229054e-05, |
| "loss": 0.0027, |
| "step": 121 |
| }, |
| { |
| "epoch": 1.3013333333333335, |
| "grad_norm": 0.15077757835388184, |
| "learning_rate": 4.41340782122905e-05, |
| "loss": 0.0012, |
| "step": 122 |
| }, |
| { |
| "epoch": 1.312, |
| "grad_norm": 0.4124365746974945, |
| "learning_rate": 4.385474860335196e-05, |
| "loss": 0.0006, |
| "step": 123 |
| }, |
| { |
| "epoch": 1.3226666666666667, |
| "grad_norm": 0.17212143540382385, |
| "learning_rate": 4.3575418994413406e-05, |
| "loss": 0.0004, |
| "step": 124 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "grad_norm": 0.37609782814979553, |
| "learning_rate": 4.3296089385474866e-05, |
| "loss": 0.0014, |
| "step": 125 |
| }, |
| { |
| "epoch": 1.3439999999999999, |
| "grad_norm": 1.3432490825653076, |
| "learning_rate": 4.301675977653631e-05, |
| "loss": 0.0037, |
| "step": 126 |
| }, |
| { |
| "epoch": 1.3546666666666667, |
| "grad_norm": 0.8700277209281921, |
| "learning_rate": 4.273743016759777e-05, |
| "loss": 0.0032, |
| "step": 127 |
| }, |
| { |
| "epoch": 1.3653333333333333, |
| "grad_norm": 0.9334002137184143, |
| "learning_rate": 4.245810055865922e-05, |
| "loss": 0.0037, |
| "step": 128 |
| }, |
| { |
| "epoch": 1.376, |
| "grad_norm": 0.708004891872406, |
| "learning_rate": 4.217877094972068e-05, |
| "loss": 0.0037, |
| "step": 129 |
| }, |
| { |
| "epoch": 1.3866666666666667, |
| "grad_norm": 4.463681697845459, |
| "learning_rate": 4.1899441340782123e-05, |
| "loss": 0.0493, |
| "step": 130 |
| }, |
| { |
| "epoch": 1.3973333333333333, |
| "grad_norm": 6.200061321258545, |
| "learning_rate": 4.1620111731843576e-05, |
| "loss": 0.1214, |
| "step": 131 |
| }, |
| { |
| "epoch": 1.408, |
| "grad_norm": 1.0150177478790283, |
| "learning_rate": 4.134078212290503e-05, |
| "loss": 0.007, |
| "step": 132 |
| }, |
| { |
| "epoch": 1.4186666666666667, |
| "grad_norm": 0.3300838768482208, |
| "learning_rate": 4.106145251396648e-05, |
| "loss": 0.0036, |
| "step": 133 |
| }, |
| { |
| "epoch": 1.4293333333333333, |
| "grad_norm": 1.5166386365890503, |
| "learning_rate": 4.0782122905027935e-05, |
| "loss": 0.0205, |
| "step": 134 |
| }, |
| { |
| "epoch": 1.44, |
| "grad_norm": 0.33347228169441223, |
| "learning_rate": 4.050279329608939e-05, |
| "loss": 0.0038, |
| "step": 135 |
| }, |
| { |
| "epoch": 1.4506666666666668, |
| "grad_norm": 0.1739296317100525, |
| "learning_rate": 4.022346368715084e-05, |
| "loss": 0.003, |
| "step": 136 |
| }, |
| { |
| "epoch": 1.4613333333333334, |
| "grad_norm": 2.0085268020629883, |
| "learning_rate": 3.9944134078212294e-05, |
| "loss": 0.011, |
| "step": 137 |
| }, |
| { |
| "epoch": 1.472, |
| "grad_norm": 0.4423629641532898, |
| "learning_rate": 3.966480446927375e-05, |
| "loss": 0.0049, |
| "step": 138 |
| }, |
| { |
| "epoch": 1.4826666666666668, |
| "grad_norm": 0.08329877257347107, |
| "learning_rate": 3.93854748603352e-05, |
| "loss": 0.0008, |
| "step": 139 |
| }, |
| { |
| "epoch": 1.4933333333333334, |
| "grad_norm": 0.3476015627384186, |
| "learning_rate": 3.9106145251396646e-05, |
| "loss": 0.0039, |
| "step": 140 |
| }, |
| { |
| "epoch": 1.504, |
| "grad_norm": 0.13725365698337555, |
| "learning_rate": 3.8826815642458106e-05, |
| "loss": 0.002, |
| "step": 141 |
| }, |
| { |
| "epoch": 1.5146666666666668, |
| "grad_norm": 1.4891648292541504, |
| "learning_rate": 3.854748603351955e-05, |
| "loss": 0.0024, |
| "step": 142 |
| }, |
| { |
| "epoch": 1.5253333333333332, |
| "grad_norm": 0.17973513901233673, |
| "learning_rate": 3.826815642458101e-05, |
| "loss": 0.0005, |
| "step": 143 |
| }, |
| { |
| "epoch": 1.536, |
| "grad_norm": 0.44285571575164795, |
| "learning_rate": 3.798882681564246e-05, |
| "loss": 0.0015, |
| "step": 144 |
| }, |
| { |
| "epoch": 1.5466666666666666, |
| "grad_norm": 0.04738277941942215, |
| "learning_rate": 3.770949720670392e-05, |
| "loss": 0.0006, |
| "step": 145 |
| }, |
| { |
| "epoch": 1.5573333333333332, |
| "grad_norm": 0.10860025882720947, |
| "learning_rate": 3.743016759776536e-05, |
| "loss": 0.0026, |
| "step": 146 |
| }, |
| { |
| "epoch": 1.568, |
| "grad_norm": 0.0797608345746994, |
| "learning_rate": 3.715083798882682e-05, |
| "loss": 0.0016, |
| "step": 147 |
| }, |
| { |
| "epoch": 1.5786666666666667, |
| "grad_norm": 0.10588238388299942, |
| "learning_rate": 3.687150837988827e-05, |
| "loss": 0.0012, |
| "step": 148 |
| }, |
| { |
| "epoch": 1.5893333333333333, |
| "grad_norm": 0.3855038583278656, |
| "learning_rate": 3.659217877094972e-05, |
| "loss": 0.0005, |
| "step": 149 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 0.2765641212463379, |
| "learning_rate": 3.6312849162011175e-05, |
| "loss": 0.0004, |
| "step": 150 |
| }, |
| { |
| "epoch": 1.6106666666666667, |
| "grad_norm": 0.16704051196575165, |
| "learning_rate": 3.603351955307263e-05, |
| "loss": 0.0003, |
| "step": 151 |
| }, |
| { |
| "epoch": 1.6213333333333333, |
| "grad_norm": 0.2472914755344391, |
| "learning_rate": 3.575418994413408e-05, |
| "loss": 0.0009, |
| "step": 152 |
| }, |
| { |
| "epoch": 1.6320000000000001, |
| "grad_norm": 0.9229430556297302, |
| "learning_rate": 3.5474860335195534e-05, |
| "loss": 0.0033, |
| "step": 153 |
| }, |
| { |
| "epoch": 1.6426666666666667, |
| "grad_norm": 4.948991775512695, |
| "learning_rate": 3.519553072625699e-05, |
| "loss": 0.0145, |
| "step": 154 |
| }, |
| { |
| "epoch": 1.6533333333333333, |
| "grad_norm": 7.2115349769592285, |
| "learning_rate": 3.491620111731844e-05, |
| "loss": 0.0138, |
| "step": 155 |
| }, |
| { |
| "epoch": 1.6640000000000001, |
| "grad_norm": 0.2628196179866791, |
| "learning_rate": 3.463687150837989e-05, |
| "loss": 0.0024, |
| "step": 156 |
| }, |
| { |
| "epoch": 1.6746666666666665, |
| "grad_norm": 0.207715705037117, |
| "learning_rate": 3.4357541899441345e-05, |
| "loss": 0.0019, |
| "step": 157 |
| }, |
| { |
| "epoch": 1.6853333333333333, |
| "grad_norm": 0.4124593436717987, |
| "learning_rate": 3.407821229050279e-05, |
| "loss": 0.0036, |
| "step": 158 |
| }, |
| { |
| "epoch": 1.696, |
| "grad_norm": 0.2701805830001831, |
| "learning_rate": 3.3798882681564244e-05, |
| "loss": 0.0011, |
| "step": 159 |
| }, |
| { |
| "epoch": 1.7066666666666666, |
| "grad_norm": 0.1480611115694046, |
| "learning_rate": 3.35195530726257e-05, |
| "loss": 0.0032, |
| "step": 160 |
| }, |
| { |
| "epoch": 1.7173333333333334, |
| "grad_norm": 0.6081339120864868, |
| "learning_rate": 3.324022346368715e-05, |
| "loss": 0.0043, |
| "step": 161 |
| }, |
| { |
| "epoch": 1.728, |
| "grad_norm": 0.057961639016866684, |
| "learning_rate": 3.29608938547486e-05, |
| "loss": 0.0003, |
| "step": 162 |
| }, |
| { |
| "epoch": 1.7386666666666666, |
| "grad_norm": 0.7412406206130981, |
| "learning_rate": 3.2681564245810056e-05, |
| "loss": 0.0149, |
| "step": 163 |
| }, |
| { |
| "epoch": 1.7493333333333334, |
| "grad_norm": 0.37741097807884216, |
| "learning_rate": 3.240223463687151e-05, |
| "loss": 0.002, |
| "step": 164 |
| }, |
| { |
| "epoch": 1.76, |
| "grad_norm": 0.2457031011581421, |
| "learning_rate": 3.212290502793296e-05, |
| "loss": 0.0016, |
| "step": 165 |
| }, |
| { |
| "epoch": 1.7706666666666666, |
| "grad_norm": 1.1554524898529053, |
| "learning_rate": 3.1843575418994415e-05, |
| "loss": 0.0068, |
| "step": 166 |
| }, |
| { |
| "epoch": 1.7813333333333334, |
| "grad_norm": 0.3106505572795868, |
| "learning_rate": 3.156424581005587e-05, |
| "loss": 0.0028, |
| "step": 167 |
| }, |
| { |
| "epoch": 1.792, |
| "grad_norm": 1.0734516382217407, |
| "learning_rate": 3.128491620111732e-05, |
| "loss": 0.0065, |
| "step": 168 |
| }, |
| { |
| "epoch": 1.8026666666666666, |
| "grad_norm": 0.19787649810314178, |
| "learning_rate": 3.1005586592178774e-05, |
| "loss": 0.0015, |
| "step": 169 |
| }, |
| { |
| "epoch": 1.8133333333333335, |
| "grad_norm": 0.13204191625118256, |
| "learning_rate": 3.0726256983240227e-05, |
| "loss": 0.0013, |
| "step": 170 |
| }, |
| { |
| "epoch": 1.8239999999999998, |
| "grad_norm": 0.06732651591300964, |
| "learning_rate": 3.0446927374301676e-05, |
| "loss": 0.001, |
| "step": 171 |
| }, |
| { |
| "epoch": 1.8346666666666667, |
| "grad_norm": 0.14684773981571198, |
| "learning_rate": 3.0167597765363132e-05, |
| "loss": 0.0016, |
| "step": 172 |
| }, |
| { |
| "epoch": 1.8453333333333335, |
| "grad_norm": 0.12232063710689545, |
| "learning_rate": 2.9888268156424582e-05, |
| "loss": 0.0009, |
| "step": 173 |
| }, |
| { |
| "epoch": 1.8559999999999999, |
| "grad_norm": 0.056549813598394394, |
| "learning_rate": 2.9608938547486038e-05, |
| "loss": 0.0008, |
| "step": 174 |
| }, |
| { |
| "epoch": 1.8666666666666667, |
| "grad_norm": 0.13325779139995575, |
| "learning_rate": 2.9329608938547488e-05, |
| "loss": 0.0021, |
| "step": 175 |
| }, |
| { |
| "epoch": 1.8773333333333333, |
| "grad_norm": 0.10193920135498047, |
| "learning_rate": 2.9050279329608944e-05, |
| "loss": 0.0006, |
| "step": 176 |
| }, |
| { |
| "epoch": 1.888, |
| "grad_norm": 0.045487429946660995, |
| "learning_rate": 2.8770949720670394e-05, |
| "loss": 0.0002, |
| "step": 177 |
| }, |
| { |
| "epoch": 1.8986666666666667, |
| "grad_norm": 0.09325730055570602, |
| "learning_rate": 2.8491620111731843e-05, |
| "loss": 0.0019, |
| "step": 178 |
| }, |
| { |
| "epoch": 1.9093333333333333, |
| "grad_norm": 0.06580926477909088, |
| "learning_rate": 2.82122905027933e-05, |
| "loss": 0.0002, |
| "step": 179 |
| }, |
| { |
| "epoch": 1.92, |
| "grad_norm": 0.11411436647176743, |
| "learning_rate": 2.793296089385475e-05, |
| "loss": 0.0018, |
| "step": 180 |
| }, |
| { |
| "epoch": 1.9306666666666668, |
| "grad_norm": 0.10508397221565247, |
| "learning_rate": 2.7653631284916205e-05, |
| "loss": 0.0022, |
| "step": 181 |
| }, |
| { |
| "epoch": 1.9413333333333334, |
| "grad_norm": 0.009333553723990917, |
| "learning_rate": 2.7374301675977655e-05, |
| "loss": 0.0001, |
| "step": 182 |
| }, |
| { |
| "epoch": 1.952, |
| "grad_norm": 0.052240923047065735, |
| "learning_rate": 2.7094972067039108e-05, |
| "loss": 0.0013, |
| "step": 183 |
| }, |
| { |
| "epoch": 1.9626666666666668, |
| "grad_norm": 0.04163605347275734, |
| "learning_rate": 2.681564245810056e-05, |
| "loss": 0.0002, |
| "step": 184 |
| }, |
| { |
| "epoch": 1.9733333333333334, |
| "grad_norm": 0.00853386614471674, |
| "learning_rate": 2.6536312849162014e-05, |
| "loss": 0.0001, |
| "step": 185 |
| }, |
| { |
| "epoch": 1.984, |
| "grad_norm": 0.04537208378314972, |
| "learning_rate": 2.6256983240223466e-05, |
| "loss": 0.0006, |
| "step": 186 |
| }, |
| { |
| "epoch": 1.9946666666666668, |
| "grad_norm": 0.03813478350639343, |
| "learning_rate": 2.5977653631284916e-05, |
| "loss": 0.0004, |
| "step": 187 |
| }, |
| { |
| "epoch": 2.005333333333333, |
| "grad_norm": 0.08562111854553223, |
| "learning_rate": 2.569832402234637e-05, |
| "loss": 0.0021, |
| "step": 188 |
| }, |
| { |
| "epoch": 2.016, |
| "grad_norm": 0.04714489355683327, |
| "learning_rate": 2.5418994413407822e-05, |
| "loss": 0.0007, |
| "step": 189 |
| }, |
| { |
| "epoch": 2.026666666666667, |
| "grad_norm": 0.1473880261182785, |
| "learning_rate": 2.5139664804469275e-05, |
| "loss": 0.0011, |
| "step": 190 |
| }, |
| { |
| "epoch": 2.037333333333333, |
| "grad_norm": 0.05946442857384682, |
| "learning_rate": 2.4860335195530728e-05, |
| "loss": 0.0011, |
| "step": 191 |
| }, |
| { |
| "epoch": 2.048, |
| "grad_norm": 0.0025648127775639296, |
| "learning_rate": 2.458100558659218e-05, |
| "loss": 0.0, |
| "step": 192 |
| }, |
| { |
| "epoch": 2.058666666666667, |
| "grad_norm": 0.0019447746453806758, |
| "learning_rate": 2.4301675977653633e-05, |
| "loss": 0.0, |
| "step": 193 |
| }, |
| { |
| "epoch": 2.0693333333333332, |
| "grad_norm": 0.14827367663383484, |
| "learning_rate": 2.4022346368715083e-05, |
| "loss": 0.0019, |
| "step": 194 |
| }, |
| { |
| "epoch": 2.08, |
| "grad_norm": 0.10748007893562317, |
| "learning_rate": 2.3743016759776536e-05, |
| "loss": 0.0015, |
| "step": 195 |
| }, |
| { |
| "epoch": 2.0906666666666665, |
| "grad_norm": 0.040777839720249176, |
| "learning_rate": 2.346368715083799e-05, |
| "loss": 0.0004, |
| "step": 196 |
| }, |
| { |
| "epoch": 2.1013333333333333, |
| "grad_norm": 0.062052927911281586, |
| "learning_rate": 2.3184357541899442e-05, |
| "loss": 0.0012, |
| "step": 197 |
| }, |
| { |
| "epoch": 2.112, |
| "grad_norm": 0.0032981899566948414, |
| "learning_rate": 2.2905027932960895e-05, |
| "loss": 0.0, |
| "step": 198 |
| }, |
| { |
| "epoch": 2.1226666666666665, |
| "grad_norm": 0.00853727851063013, |
| "learning_rate": 2.2625698324022348e-05, |
| "loss": 0.0, |
| "step": 199 |
| }, |
| { |
| "epoch": 2.1333333333333333, |
| "grad_norm": 0.09509293735027313, |
| "learning_rate": 2.2346368715083797e-05, |
| "loss": 0.0011, |
| "step": 200 |
| }, |
| { |
| "epoch": 2.144, |
| "grad_norm": 0.04704827442765236, |
| "learning_rate": 2.206703910614525e-05, |
| "loss": 0.0007, |
| "step": 201 |
| }, |
| { |
| "epoch": 2.1546666666666665, |
| "grad_norm": 0.028513964265584946, |
| "learning_rate": 2.1787709497206703e-05, |
| "loss": 0.0001, |
| "step": 202 |
| }, |
| { |
| "epoch": 2.1653333333333333, |
| "grad_norm": 0.061560481786727905, |
| "learning_rate": 2.1508379888268156e-05, |
| "loss": 0.0001, |
| "step": 203 |
| }, |
| { |
| "epoch": 2.176, |
| "grad_norm": 0.08184992522001266, |
| "learning_rate": 2.122905027932961e-05, |
| "loss": 0.0014, |
| "step": 204 |
| }, |
| { |
| "epoch": 2.1866666666666665, |
| "grad_norm": 0.002128052059561014, |
| "learning_rate": 2.0949720670391062e-05, |
| "loss": 0.0, |
| "step": 205 |
| }, |
| { |
| "epoch": 2.1973333333333334, |
| "grad_norm": 0.0031687153968960047, |
| "learning_rate": 2.0670391061452515e-05, |
| "loss": 0.0, |
| "step": 206 |
| }, |
| { |
| "epoch": 2.208, |
| "grad_norm": 0.009054739028215408, |
| "learning_rate": 2.0391061452513968e-05, |
| "loss": 0.0, |
| "step": 207 |
| }, |
| { |
| "epoch": 2.2186666666666666, |
| "grad_norm": 0.002092276234179735, |
| "learning_rate": 2.011173184357542e-05, |
| "loss": 0.0, |
| "step": 208 |
| }, |
| { |
| "epoch": 2.2293333333333334, |
| "grad_norm": 0.003741280408576131, |
| "learning_rate": 1.9832402234636873e-05, |
| "loss": 0.0, |
| "step": 209 |
| }, |
| { |
| "epoch": 2.24, |
| "grad_norm": 0.060546036809682846, |
| "learning_rate": 1.9553072625698323e-05, |
| "loss": 0.0007, |
| "step": 210 |
| }, |
| { |
| "epoch": 2.2506666666666666, |
| "grad_norm": 0.035807061940431595, |
| "learning_rate": 1.9273743016759776e-05, |
| "loss": 0.0004, |
| "step": 211 |
| }, |
| { |
| "epoch": 2.2613333333333334, |
| "grad_norm": 0.006829680409282446, |
| "learning_rate": 1.899441340782123e-05, |
| "loss": 0.0, |
| "step": 212 |
| }, |
| { |
| "epoch": 2.2720000000000002, |
| "grad_norm": 0.0018316598143428564, |
| "learning_rate": 1.871508379888268e-05, |
| "loss": 0.0, |
| "step": 213 |
| }, |
| { |
| "epoch": 2.2826666666666666, |
| "grad_norm": 0.09956611692905426, |
| "learning_rate": 1.8435754189944135e-05, |
| "loss": 0.0026, |
| "step": 214 |
| }, |
| { |
| "epoch": 2.2933333333333334, |
| "grad_norm": 0.0347205325961113, |
| "learning_rate": 1.8156424581005588e-05, |
| "loss": 0.0007, |
| "step": 215 |
| }, |
| { |
| "epoch": 2.304, |
| "grad_norm": 0.2268606573343277, |
| "learning_rate": 1.787709497206704e-05, |
| "loss": 0.0011, |
| "step": 216 |
| }, |
| { |
| "epoch": 2.3146666666666667, |
| "grad_norm": 0.09836770594120026, |
| "learning_rate": 1.7597765363128493e-05, |
| "loss": 0.0023, |
| "step": 217 |
| }, |
| { |
| "epoch": 2.3253333333333335, |
| "grad_norm": 0.0021363338455557823, |
| "learning_rate": 1.7318435754189946e-05, |
| "loss": 0.0, |
| "step": 218 |
| }, |
| { |
| "epoch": 2.336, |
| "grad_norm": 0.0013842633925378323, |
| "learning_rate": 1.7039106145251396e-05, |
| "loss": 0.0, |
| "step": 219 |
| }, |
| { |
| "epoch": 2.3466666666666667, |
| "grad_norm": 0.0011928960448130965, |
| "learning_rate": 1.675977653631285e-05, |
| "loss": 0.0, |
| "step": 220 |
| }, |
| { |
| "epoch": 2.3573333333333335, |
| "grad_norm": 0.058396171778440475, |
| "learning_rate": 1.64804469273743e-05, |
| "loss": 0.001, |
| "step": 221 |
| }, |
| { |
| "epoch": 2.368, |
| "grad_norm": 0.045910343527793884, |
| "learning_rate": 1.6201117318435755e-05, |
| "loss": 0.0007, |
| "step": 222 |
| }, |
| { |
| "epoch": 2.3786666666666667, |
| "grad_norm": 0.07413648068904877, |
| "learning_rate": 1.5921787709497207e-05, |
| "loss": 0.0018, |
| "step": 223 |
| }, |
| { |
| "epoch": 2.389333333333333, |
| "grad_norm": 0.005444883834570646, |
| "learning_rate": 1.564245810055866e-05, |
| "loss": 0.0, |
| "step": 224 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 0.003066364210098982, |
| "learning_rate": 1.5363128491620113e-05, |
| "loss": 0.0, |
| "step": 225 |
| }, |
| { |
| "epoch": 2.4106666666666667, |
| "grad_norm": 0.004307290073484182, |
| "learning_rate": 1.5083798882681566e-05, |
| "loss": 0.0, |
| "step": 226 |
| }, |
| { |
| "epoch": 2.421333333333333, |
| "grad_norm": 0.04870031774044037, |
| "learning_rate": 1.4804469273743019e-05, |
| "loss": 0.0008, |
| "step": 227 |
| }, |
| { |
| "epoch": 2.432, |
| "grad_norm": 0.09409874677658081, |
| "learning_rate": 1.4525139664804472e-05, |
| "loss": 0.0009, |
| "step": 228 |
| }, |
| { |
| "epoch": 2.4426666666666668, |
| "grad_norm": 0.0015114648267626762, |
| "learning_rate": 1.4245810055865922e-05, |
| "loss": 0.0, |
| "step": 229 |
| }, |
| { |
| "epoch": 2.453333333333333, |
| "grad_norm": 0.07573592662811279, |
| "learning_rate": 1.3966480446927374e-05, |
| "loss": 0.0013, |
| "step": 230 |
| }, |
| { |
| "epoch": 2.464, |
| "grad_norm": 0.014647366479039192, |
| "learning_rate": 1.3687150837988827e-05, |
| "loss": 0.0, |
| "step": 231 |
| }, |
| { |
| "epoch": 2.474666666666667, |
| "grad_norm": 0.042190633714199066, |
| "learning_rate": 1.340782122905028e-05, |
| "loss": 0.0005, |
| "step": 232 |
| }, |
| { |
| "epoch": 2.485333333333333, |
| "grad_norm": 0.001171190058812499, |
| "learning_rate": 1.3128491620111733e-05, |
| "loss": 0.0, |
| "step": 233 |
| }, |
| { |
| "epoch": 2.496, |
| "grad_norm": 0.04019080847501755, |
| "learning_rate": 1.2849162011173184e-05, |
| "loss": 0.0004, |
| "step": 234 |
| }, |
| { |
| "epoch": 2.506666666666667, |
| "grad_norm": 0.04044044390320778, |
| "learning_rate": 1.2569832402234637e-05, |
| "loss": 0.0001, |
| "step": 235 |
| }, |
| { |
| "epoch": 2.517333333333333, |
| "grad_norm": 0.03946372866630554, |
| "learning_rate": 1.229050279329609e-05, |
| "loss": 0.0005, |
| "step": 236 |
| }, |
| { |
| "epoch": 2.528, |
| "grad_norm": 0.0030067537445575, |
| "learning_rate": 1.2011173184357542e-05, |
| "loss": 0.0, |
| "step": 237 |
| }, |
| { |
| "epoch": 2.538666666666667, |
| "grad_norm": 0.040154166519641876, |
| "learning_rate": 1.1731843575418994e-05, |
| "loss": 0.0005, |
| "step": 238 |
| }, |
| { |
| "epoch": 2.5493333333333332, |
| "grad_norm": 0.0011710107792168856, |
| "learning_rate": 1.1452513966480447e-05, |
| "loss": 0.0, |
| "step": 239 |
| }, |
| { |
| "epoch": 2.56, |
| "grad_norm": 0.043072838336229324, |
| "learning_rate": 1.1173184357541899e-05, |
| "loss": 0.0007, |
| "step": 240 |
| }, |
| { |
| "epoch": 2.570666666666667, |
| "grad_norm": 0.05513829365372658, |
| "learning_rate": 1.0893854748603351e-05, |
| "loss": 0.0011, |
| "step": 241 |
| }, |
| { |
| "epoch": 2.5813333333333333, |
| "grad_norm": 0.06224875524640083, |
| "learning_rate": 1.0614525139664804e-05, |
| "loss": 0.0009, |
| "step": 242 |
| }, |
| { |
| "epoch": 2.592, |
| "grad_norm": 0.0010548674035817385, |
| "learning_rate": 1.0335195530726257e-05, |
| "loss": 0.0, |
| "step": 243 |
| }, |
| { |
| "epoch": 2.602666666666667, |
| "grad_norm": 0.049961354583501816, |
| "learning_rate": 1.005586592178771e-05, |
| "loss": 0.0004, |
| "step": 244 |
| }, |
| { |
| "epoch": 2.6133333333333333, |
| "grad_norm": 0.0009676855988800526, |
| "learning_rate": 9.776536312849161e-06, |
| "loss": 0.0, |
| "step": 245 |
| }, |
| { |
| "epoch": 2.624, |
| "grad_norm": 0.0006135951261967421, |
| "learning_rate": 9.497206703910614e-06, |
| "loss": 0.0, |
| "step": 246 |
| }, |
| { |
| "epoch": 2.634666666666667, |
| "grad_norm": 0.0006113451672717929, |
| "learning_rate": 9.217877094972067e-06, |
| "loss": 0.0, |
| "step": 247 |
| }, |
| { |
| "epoch": 2.6453333333333333, |
| "grad_norm": 0.006534937769174576, |
| "learning_rate": 8.93854748603352e-06, |
| "loss": 0.0, |
| "step": 248 |
| }, |
| { |
| "epoch": 2.656, |
| "grad_norm": 0.0005643428885377944, |
| "learning_rate": 8.659217877094973e-06, |
| "loss": 0.0, |
| "step": 249 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "grad_norm": 0.043145984411239624, |
| "learning_rate": 8.379888268156424e-06, |
| "loss": 0.0004, |
| "step": 250 |
| }, |
| { |
| "epoch": 2.6773333333333333, |
| "grad_norm": 0.01648752950131893, |
| "learning_rate": 8.100558659217877e-06, |
| "loss": 0.0, |
| "step": 251 |
| }, |
| { |
| "epoch": 2.6879999999999997, |
| "grad_norm": 0.038292355835437775, |
| "learning_rate": 7.82122905027933e-06, |
| "loss": 0.0004, |
| "step": 252 |
| }, |
| { |
| "epoch": 2.6986666666666665, |
| "grad_norm": 0.05065096169710159, |
| "learning_rate": 7.541899441340783e-06, |
| "loss": 0.0006, |
| "step": 253 |
| }, |
| { |
| "epoch": 2.7093333333333334, |
| "grad_norm": 0.19275380671024323, |
| "learning_rate": 7.262569832402236e-06, |
| "loss": 0.0009, |
| "step": 254 |
| }, |
| { |
| "epoch": 2.7199999999999998, |
| "grad_norm": 0.04189510643482208, |
| "learning_rate": 6.983240223463687e-06, |
| "loss": 0.0005, |
| "step": 255 |
| }, |
| { |
| "epoch": 2.7306666666666666, |
| "grad_norm": 0.04453021287918091, |
| "learning_rate": 6.70391061452514e-06, |
| "loss": 0.0005, |
| "step": 256 |
| }, |
| { |
| "epoch": 2.7413333333333334, |
| "grad_norm": 0.03125462681055069, |
| "learning_rate": 6.424581005586592e-06, |
| "loss": 0.0003, |
| "step": 257 |
| }, |
| { |
| "epoch": 2.752, |
| "grad_norm": 0.00153979507740587, |
| "learning_rate": 6.145251396648045e-06, |
| "loss": 0.0, |
| "step": 258 |
| }, |
| { |
| "epoch": 2.7626666666666666, |
| "grad_norm": 0.07148660719394684, |
| "learning_rate": 5.865921787709497e-06, |
| "loss": 0.0013, |
| "step": 259 |
| }, |
| { |
| "epoch": 2.7733333333333334, |
| "grad_norm": 0.0006887447671033442, |
| "learning_rate": 5.586592178770949e-06, |
| "loss": 0.0, |
| "step": 260 |
| }, |
| { |
| "epoch": 2.784, |
| "grad_norm": 0.05413827300071716, |
| "learning_rate": 5.307262569832402e-06, |
| "loss": 0.0011, |
| "step": 261 |
| }, |
| { |
| "epoch": 2.7946666666666666, |
| "grad_norm": 0.03515135869383812, |
| "learning_rate": 5.027932960893855e-06, |
| "loss": 0.0001, |
| "step": 262 |
| }, |
| { |
| "epoch": 2.8053333333333335, |
| "grad_norm": 0.07630643993616104, |
| "learning_rate": 4.748603351955307e-06, |
| "loss": 0.0015, |
| "step": 263 |
| }, |
| { |
| "epoch": 2.816, |
| "grad_norm": 0.07834295928478241, |
| "learning_rate": 4.46927374301676e-06, |
| "loss": 0.0014, |
| "step": 264 |
| }, |
| { |
| "epoch": 2.8266666666666667, |
| "grad_norm": 0.0061597335152328014, |
| "learning_rate": 4.189944134078212e-06, |
| "loss": 0.0, |
| "step": 265 |
| }, |
| { |
| "epoch": 2.8373333333333335, |
| "grad_norm": 0.041175998747348785, |
| "learning_rate": 3.910614525139665e-06, |
| "loss": 0.0001, |
| "step": 266 |
| }, |
| { |
| "epoch": 2.848, |
| "grad_norm": 0.024731680750846863, |
| "learning_rate": 3.631284916201118e-06, |
| "loss": 0.0, |
| "step": 267 |
| }, |
| { |
| "epoch": 2.8586666666666667, |
| "grad_norm": 0.03547237440943718, |
| "learning_rate": 3.35195530726257e-06, |
| "loss": 0.0003, |
| "step": 268 |
| }, |
| { |
| "epoch": 2.8693333333333335, |
| "grad_norm": 0.058726560324430466, |
| "learning_rate": 3.0726256983240226e-06, |
| "loss": 0.0011, |
| "step": 269 |
| }, |
| { |
| "epoch": 2.88, |
| "grad_norm": 0.0547514446079731, |
| "learning_rate": 2.7932960893854746e-06, |
| "loss": 0.0008, |
| "step": 270 |
| }, |
| { |
| "epoch": 2.8906666666666667, |
| "grad_norm": 0.06754053384065628, |
| "learning_rate": 2.5139664804469276e-06, |
| "loss": 0.0009, |
| "step": 271 |
| }, |
| { |
| "epoch": 2.9013333333333335, |
| "grad_norm": 0.001965736271813512, |
| "learning_rate": 2.23463687150838e-06, |
| "loss": 0.0, |
| "step": 272 |
| }, |
| { |
| "epoch": 2.912, |
| "grad_norm": 0.032923754304647446, |
| "learning_rate": 1.9553072625698325e-06, |
| "loss": 0.0004, |
| "step": 273 |
| }, |
| { |
| "epoch": 2.9226666666666667, |
| "grad_norm": 0.07132994383573532, |
| "learning_rate": 1.675977653631285e-06, |
| "loss": 0.0012, |
| "step": 274 |
| }, |
| { |
| "epoch": 2.9333333333333336, |
| "grad_norm": 0.036451708525419235, |
| "learning_rate": 1.3966480446927373e-06, |
| "loss": 0.0005, |
| "step": 275 |
| }, |
| { |
| "epoch": 2.944, |
| "grad_norm": 0.06345955282449722, |
| "learning_rate": 1.11731843575419e-06, |
| "loss": 0.001, |
| "step": 276 |
| }, |
| { |
| "epoch": 2.9546666666666668, |
| "grad_norm": 0.03317723795771599, |
| "learning_rate": 8.379888268156425e-07, |
| "loss": 0.0003, |
| "step": 277 |
| }, |
| { |
| "epoch": 2.9653333333333336, |
| "grad_norm": 0.000624113017693162, |
| "learning_rate": 5.58659217877095e-07, |
| "loss": 0.0, |
| "step": 278 |
| }, |
| { |
| "epoch": 2.976, |
| "grad_norm": 0.05925130471587181, |
| "learning_rate": 2.793296089385475e-07, |
| "loss": 0.0008, |
| "step": 279 |
| }, |
| { |
| "epoch": 2.976, |
| "step": 279, |
| "total_flos": 20734602878976.0, |
| "train_loss": 0.015149302822543197, |
| "train_runtime": 44131.8109, |
| "train_samples_per_second": 0.204, |
| "train_steps_per_second": 0.006 |
| } |
| ], |
| "logging_steps": 1.0, |
| "max_steps": 279, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 3, |
| "save_steps": 100, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 20734602878976.0, |
| "train_batch_size": 1, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
