{ "best_metric": null, "best_model_checkpoint": null, "epoch": 56.99953929788998, "global_step": 38646, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.3331797659633281, "learning_rate": 4.9833333333333336e-05, "loss": 2.497376568549502, "step": 226 }, { "epoch": 0.6663595319266562, "learning_rate": 4.966666666666667e-05, "loss": 2.3930037506913715, "step": 452 }, { "epoch": 0.9995392978899843, "learning_rate": 4.9500000000000004e-05, "loss": 2.341053110308352, "step": 678 }, { "epoch": 1.3331797659633282, "learning_rate": 4.933333333333334e-05, "loss": 2.2984119516558352, "step": 904 }, { "epoch": 1.6663595319266562, "learning_rate": 4.9166666666666665e-05, "loss": 2.258023557409776, "step": 1130 }, { "epoch": 1.9995392978899842, "learning_rate": 4.9e-05, "loss": 2.2326905917277378, "step": 1356 }, { "epoch": 2.333179765963328, "learning_rate": 4.883333333333334e-05, "loss": 2.2202355038803234, "step": 1582 }, { "epoch": 2.6663595319266564, "learning_rate": 4.866666666666667e-05, "loss": 2.1901354494348038, "step": 1808 }, { "epoch": 2.999539297889984, "learning_rate": 4.85e-05, "loss": 2.171959666024267, "step": 2034 }, { "epoch": 3.333179765963328, "learning_rate": 4.8333333333333334e-05, "loss": 2.145946401410398, "step": 2260 }, { "epoch": 3.6663595319266564, "learning_rate": 4.8166666666666674e-05, "loss": 2.121107118319621, "step": 2486 }, { "epoch": 3.999539297889984, "learning_rate": 4.8e-05, "loss": 2.1161494972431556, "step": 2712 }, { "epoch": 4.333179765963328, "learning_rate": 4.7833333333333335e-05, "loss": 2.079200272011546, "step": 2938 }, { "epoch": 4.666359531926656, "learning_rate": 4.766666666666667e-05, "loss": 2.089831191881568, "step": 3164 }, { "epoch": 4.999539297889984, "learning_rate": 4.75e-05, "loss": 2.0728324957653483, "step": 3390 }, { "epoch": 5.333179765963328, "learning_rate": 4.7333333333333336e-05, "loss": 2.051343124524682, "step": 3616 }, { "epoch": 5.666359531926656, "learning_rate": 4.716666666666667e-05, "loss": 2.0507522177907216, "step": 3842 }, { "epoch": 5.999539297889984, "learning_rate": 4.7e-05, "loss": 2.045420418798396, "step": 4068 }, { "epoch": 6.333179765963328, "learning_rate": 4.683333333333334e-05, "loss": 2.0172206912420494, "step": 4294 }, { "epoch": 6.666359531926656, "learning_rate": 4.666666666666667e-05, "loss": 2.016553895663371, "step": 4520 }, { "epoch": 6.999539297889984, "learning_rate": 4.6500000000000005e-05, "loss": 2.008021531906803, "step": 4746 }, { "epoch": 7.333179765963328, "learning_rate": 4.633333333333333e-05, "loss": 1.9929851430707273, "step": 4972 }, { "epoch": 7.666359531926656, "learning_rate": 4.6166666666666666e-05, "loss": 1.9700529385456997, "step": 5198 }, { "epoch": 7.999539297889984, "learning_rate": 4.600000000000001e-05, "loss": 1.9691330901289408, "step": 5424 }, { "epoch": 8.333179765963328, "learning_rate": 4.5833333333333334e-05, "loss": 1.9601678088702987, "step": 5650 }, { "epoch": 8.666359531926656, "learning_rate": 4.566666666666667e-05, "loss": 1.9458580354673674, "step": 5876 }, { "epoch": 8.999539297889985, "learning_rate": 4.55e-05, "loss": 1.9419531358026825, "step": 6102 }, { "epoch": 9.333179765963328, "learning_rate": 4.5333333333333335e-05, "loss": 1.9375001350335315, "step": 6328 }, { "epoch": 9.666359531926656, "learning_rate": 4.516666666666667e-05, "loss": 1.9268651641575636, "step": 6554 }, { "epoch": 9.999539297889985, "learning_rate": 4.5e-05, "loss": 1.927446348477254, "step": 6780 }, { "epoch": 10.333179765963328, "learning_rate": 4.483333333333333e-05, "loss": 1.9132375801559043, "step": 7006 }, { "epoch": 10.666359531926656, "learning_rate": 4.466666666666667e-05, "loss": 1.9007567009039685, "step": 7232 }, { "epoch": 10.999539297889985, "learning_rate": 4.4500000000000004e-05, "loss": 1.8972731058576466, "step": 7458 }, { "epoch": 11.333179765963328, "learning_rate": 4.433333333333334e-05, "loss": 1.8810459913405697, "step": 7684 }, { "epoch": 11.666359531926656, "learning_rate": 4.4166666666666665e-05, "loss": 1.8770822170561394, "step": 7910 }, { "epoch": 11.999539297889985, "learning_rate": 4.4000000000000006e-05, "loss": 1.8705907500950636, "step": 8136 }, { "epoch": 12.333179765963328, "learning_rate": 4.383333333333334e-05, "loss": 1.869710196435979, "step": 8362 }, { "epoch": 12.666359531926656, "learning_rate": 4.3666666666666666e-05, "loss": 1.8623144099142699, "step": 8588 }, { "epoch": 12.999539297889985, "learning_rate": 4.35e-05, "loss": 1.8612110509281665, "step": 8814 }, { "epoch": 13.333179765963328, "learning_rate": 4.3333333333333334e-05, "loss": 1.8542400798966399, "step": 9040 }, { "epoch": 13.666359531926656, "learning_rate": 4.316666666666667e-05, "loss": 1.8235920593801853, "step": 9266 }, { "epoch": 13.999539297889985, "learning_rate": 4.3e-05, "loss": 1.8430436395965846, "step": 9492 }, { "epoch": 14.333179765963328, "learning_rate": 4.2833333333333335e-05, "loss": 1.8115299191095133, "step": 9718 }, { "epoch": 14.666359531926656, "learning_rate": 4.266666666666667e-05, "loss": 1.8239397707238663, "step": 9944 }, { "epoch": 14.999539297889985, "learning_rate": 4.25e-05, "loss": 1.8353155355537887, "step": 10170 }, { "epoch": 15.333179765963328, "learning_rate": 4.233333333333334e-05, "loss": 1.8083932252056831, "step": 10396 }, { "epoch": 15.666359531926656, "learning_rate": 4.216666666666667e-05, "loss": 1.8133012889760785, "step": 10622 }, { "epoch": 15.999539297889985, "learning_rate": 4.2e-05, "loss": 1.806801449936048, "step": 10848 }, { "epoch": 16.33317976596333, "learning_rate": 4.183333333333334e-05, "loss": 1.7904112149128872, "step": 11074 }, { "epoch": 16.666359531926656, "learning_rate": 4.166666666666667e-05, "loss": 1.7836855998081445, "step": 11300 }, { "epoch": 16.999539297889985, "learning_rate": 4.15e-05, "loss": 1.7915310479898368, "step": 11526 }, { "epoch": 17.33317976596333, "learning_rate": 4.133333333333333e-05, "loss": 1.772730464428927, "step": 11752 }, { "epoch": 17.666359531926656, "learning_rate": 4.116666666666667e-05, "loss": 1.7725427678201051, "step": 11978 }, { "epoch": 17.999539297889985, "learning_rate": 4.1e-05, "loss": 1.7687593983337941, "step": 12204 }, { "epoch": 18.33317976596333, "learning_rate": 4.0833333333333334e-05, "loss": 1.7519146404435149, "step": 12430 }, { "epoch": 18.666359531926656, "learning_rate": 4.066666666666667e-05, "loss": 1.7543627983700913, "step": 12656 }, { "epoch": 18.999539297889985, "learning_rate": 4.05e-05, "loss": 1.7571958018615184, "step": 12882 }, { "epoch": 19.33317976596333, "learning_rate": 4.0333333333333336e-05, "loss": 1.7504071260975524, "step": 13108 }, { "epoch": 19.666359531926656, "learning_rate": 4.016666666666667e-05, "loss": 1.7412175541430448, "step": 13334 }, { "epoch": 19.999539297889985, "learning_rate": 4e-05, "loss": 1.7420663749222207, "step": 13560 }, { "epoch": 20.33317976596333, "learning_rate": 3.983333333333333e-05, "loss": 1.7235274863454093, "step": 13786 }, { "epoch": 20.666359531926656, "learning_rate": 3.966666666666667e-05, "loss": 1.7302005734063883, "step": 14012 }, { "epoch": 20.999539297889985, "learning_rate": 3.9500000000000005e-05, "loss": 1.733912105053927, "step": 14238 }, { "epoch": 21.33317976596333, "learning_rate": 3.933333333333333e-05, "loss": 1.715922127782771, "step": 14464 }, { "epoch": 21.666359531926656, "learning_rate": 3.9166666666666665e-05, "loss": 1.7228689278121543, "step": 14690 }, { "epoch": 21.999539297889985, "learning_rate": 3.9000000000000006e-05, "loss": 1.710068424191095, "step": 14916 }, { "epoch": 22.33317976596333, "learning_rate": 3.883333333333333e-05, "loss": 1.7131770311203678, "step": 15142 }, { "epoch": 22.666359531926656, "learning_rate": 3.866666666666667e-05, "loss": 1.6965857311687638, "step": 15368 }, { "epoch": 22.999539297889985, "learning_rate": 3.85e-05, "loss": 1.703571960989353, "step": 15594 }, { "epoch": 23.33317976596333, "learning_rate": 3.8333333333333334e-05, "loss": 1.6983525098952572, "step": 15820 }, { "epoch": 23.666359531926656, "learning_rate": 3.816666666666667e-05, "loss": 1.6849658257138413, "step": 16046 }, { "epoch": 23.999539297889985, "learning_rate": 3.8e-05, "loss": 1.6878517623496267, "step": 16272 }, { "epoch": 24.33317976596333, "learning_rate": 3.7833333333333336e-05, "loss": 1.675111888784223, "step": 16498 }, { "epoch": 24.666359531926656, "learning_rate": 3.766666666666667e-05, "loss": 1.6712793670924364, "step": 16724 }, { "epoch": 24.999539297889985, "learning_rate": 3.7500000000000003e-05, "loss": 1.6817973989301023, "step": 16950 }, { "epoch": 25.33317976596333, "learning_rate": 3.733333333333334e-05, "loss": 1.663993227798327, "step": 17176 }, { "epoch": 25.666359531926656, "learning_rate": 3.7166666666666664e-05, "loss": 1.6582352629805033, "step": 17402 }, { "epoch": 25.999539297889985, "learning_rate": 3.7e-05, "loss": 1.6697563238903486, "step": 17628 }, { "epoch": 26.33317976596333, "learning_rate": 3.683333333333334e-05, "loss": 1.6540913539650166, "step": 17854 }, { "epoch": 26.666359531926656, "learning_rate": 3.6666666666666666e-05, "loss": 1.6493361481523092, "step": 18080 }, { "epoch": 26.999539297889985, "learning_rate": 3.65e-05, "loss": 1.6596517647262168, "step": 18306 }, { "epoch": 27.33317976596333, "learning_rate": 3.633333333333333e-05, "loss": 1.6377905111397262, "step": 18532 }, { "epoch": 27.666359531926656, "learning_rate": 3.6166666666666674e-05, "loss": 1.632571465146225, "step": 18758 }, { "epoch": 27.999539297889985, "learning_rate": 3.6e-05, "loss": 1.6486912280057384, "step": 18984 }, { "epoch": 28.33317976596333, "learning_rate": 3.5833333333333335e-05, "loss": 1.6339216654279591, "step": 19210 }, { "epoch": 28.666359531926656, "learning_rate": 3.566666666666667e-05, "loss": 1.6296493395239906, "step": 19436 }, { "epoch": 28.999539297889985, "learning_rate": 3.55e-05, "loss": 1.622765060019704, "step": 19662 }, { "epoch": 29.33317976596333, "learning_rate": 3.5333333333333336e-05, "loss": 1.6172222036176023, "step": 19888 }, { "epoch": 29.666359531926656, "learning_rate": 3.516666666666667e-05, "loss": 1.6145035735273783, "step": 20114 }, { "epoch": 29.999539297889985, "learning_rate": 3.5e-05, "loss": 1.6294848686825913, "step": 20340 }, { "epoch": 30.33317976596333, "learning_rate": 3.483333333333334e-05, "loss": 1.6104739028795632, "step": 20566 }, { "epoch": 30.666359531926656, "learning_rate": 3.466666666666667e-05, "loss": 1.61085577770672, "step": 20792 }, { "epoch": 30.999539297889985, "learning_rate": 3.45e-05, "loss": 1.6089753007466814, "step": 21018 }, { "epoch": 31.33317976596333, "learning_rate": 3.433333333333333e-05, "loss": 1.5966428233458934, "step": 21244 }, { "epoch": 31.666359531926656, "learning_rate": 3.4166666666666666e-05, "loss": 1.600018661634057, "step": 21470 }, { "epoch": 31.999539297889985, "learning_rate": 3.4000000000000007e-05, "loss": 1.5918795155212941, "step": 21696 }, { "epoch": 32.33317976596333, "learning_rate": 3.3833333333333334e-05, "loss": 1.5861667869365321, "step": 21922 }, { "epoch": 32.66635953192666, "learning_rate": 3.366666666666667e-05, "loss": 1.5843442393615184, "step": 22148 }, { "epoch": 32.99953929788998, "learning_rate": 3.35e-05, "loss": 1.594825272011546, "step": 22374 }, { "epoch": 33.33317976596333, "learning_rate": 3.3333333333333335e-05, "loss": 1.5715827604310701, "step": 22600 }, { "epoch": 33.66635953192666, "learning_rate": 3.316666666666667e-05, "loss": 1.5749773683801163, "step": 22826 }, { "epoch": 33.99953929788998, "learning_rate": 3.3e-05, "loss": 1.5779589087562222, "step": 23052 }, { "epoch": 34.33317976596333, "learning_rate": 3.283333333333333e-05, "loss": 1.5702451182677684, "step": 23278 }, { "epoch": 34.66635953192666, "learning_rate": 3.266666666666667e-05, "loss": 1.5712716431744331, "step": 23504 }, { "epoch": 34.99953929788998, "learning_rate": 3.2500000000000004e-05, "loss": 1.5720172983355227, "step": 23730 }, { "epoch": 35.33317976596333, "learning_rate": 3.233333333333333e-05, "loss": 1.5619676978187222, "step": 23956 }, { "epoch": 35.66635953192666, "learning_rate": 3.2166666666666665e-05, "loss": 1.5568329127488938, "step": 24182 }, { "epoch": 35.99953929788998, "learning_rate": 3.2000000000000005e-05, "loss": 1.5578984623461698, "step": 24408 }, { "epoch": 36.33317976596333, "learning_rate": 3.183333333333334e-05, "loss": 1.5498940796978706, "step": 24634 }, { "epoch": 36.66635953192666, "learning_rate": 3.1666666666666666e-05, "loss": 1.5565591997804895, "step": 24860 }, { "epoch": 36.99953929788998, "learning_rate": 3.15e-05, "loss": 1.5486203083949805, "step": 25086 }, { "epoch": 37.33317976596333, "learning_rate": 3.1333333333333334e-05, "loss": 1.5505992247995022, "step": 25312 }, { "epoch": 37.66635953192666, "learning_rate": 3.116666666666667e-05, "loss": 1.5448342382380393, "step": 25538 }, { "epoch": 37.99953929788998, "learning_rate": 3.1e-05, "loss": 1.5379095837078263, "step": 25764 }, { "epoch": 38.33317976596333, "learning_rate": 3.0833333333333335e-05, "loss": 1.5373506799208378, "step": 25990 }, { "epoch": 38.66635953192666, "learning_rate": 3.066666666666667e-05, "loss": 1.5332127123807384, "step": 26216 }, { "epoch": 38.99953929788998, "learning_rate": 3.05e-05, "loss": 1.5410457374775304, "step": 26442 }, { "epoch": 39.33317976596333, "learning_rate": 3.0333333333333337e-05, "loss": 1.5305992734115736, "step": 26668 }, { "epoch": 39.66635953192666, "learning_rate": 3.016666666666667e-05, "loss": 1.5255370013481748, "step": 26894 }, { "epoch": 39.99953929788998, "learning_rate": 3e-05, "loss": 1.5220475998599972, "step": 27120 }, { "epoch": 40.33317976596333, "learning_rate": 2.9833333333333335e-05, "loss": 1.507481397780697, "step": 27346 }, { "epoch": 40.66635953192666, "learning_rate": 2.9666666666666672e-05, "loss": 1.517267817944552, "step": 27572 }, { "epoch": 40.99953929788998, "learning_rate": 2.95e-05, "loss": 1.5229205916413164, "step": 27798 }, { "epoch": 41.33317976596333, "learning_rate": 2.9333333333333336e-05, "loss": 1.5140210717125278, "step": 28024 }, { "epoch": 41.66635953192666, "learning_rate": 2.916666666666667e-05, "loss": 1.5047064587078263, "step": 28250 }, { "epoch": 41.99953929788998, "learning_rate": 2.9e-05, "loss": 1.5142021516783049, "step": 28476 }, { "epoch": 42.33317976596333, "learning_rate": 2.8833333333333334e-05, "loss": 1.4965766299087389, "step": 28702 }, { "epoch": 42.66635953192666, "learning_rate": 2.8666666666666668e-05, "loss": 1.4953740212769635, "step": 28928 }, { "epoch": 42.99953929788998, "learning_rate": 2.8499999999999998e-05, "loss": 1.50238037109375, "step": 29154 }, { "epoch": 43.33317976596333, "learning_rate": 2.8333333333333335e-05, "loss": 1.4875835317426023, "step": 29380 }, { "epoch": 43.66635953192666, "learning_rate": 2.816666666666667e-05, "loss": 1.5038356274630116, "step": 29606 }, { "epoch": 43.99953929788998, "learning_rate": 2.8000000000000003e-05, "loss": 1.4893310006740874, "step": 29832 }, { "epoch": 44.33317976596333, "learning_rate": 2.7833333333333333e-05, "loss": 1.4879051816146986, "step": 30058 }, { "epoch": 44.66635953192666, "learning_rate": 2.7666666666666667e-05, "loss": 1.4812680134731055, "step": 30284 }, { "epoch": 44.99953929788998, "learning_rate": 2.7500000000000004e-05, "loss": 1.49183722301922, "step": 30510 }, { "epoch": 45.33317976596333, "learning_rate": 2.733333333333333e-05, "loss": 1.4791451513239768, "step": 30736 }, { "epoch": 45.66635953192666, "learning_rate": 2.716666666666667e-05, "loss": 1.4775092200895326, "step": 30962 }, { "epoch": 45.99953929788998, "learning_rate": 2.7000000000000002e-05, "loss": 1.4841486838011615, "step": 31188 }, { "epoch": 46.33317976596333, "learning_rate": 2.6833333333333333e-05, "loss": 1.4694400213461007, "step": 31414 }, { "epoch": 46.66635953192666, "learning_rate": 2.6666666666666667e-05, "loss": 1.473179639968197, "step": 31640 }, { "epoch": 46.99953929788998, "learning_rate": 2.6500000000000004e-05, "loss": 1.4590838947127351, "step": 31866 }, { "epoch": 47.33317976596333, "learning_rate": 2.633333333333333e-05, "loss": 1.4586588091554895, "step": 32092 }, { "epoch": 47.66635953192666, "learning_rate": 2.6166666666666668e-05, "loss": 1.4709132371750553, "step": 32318 }, { "epoch": 47.99953929788998, "learning_rate": 2.6000000000000002e-05, "loss": 1.4785836818998894, "step": 32544 }, { "epoch": 48.33317976596333, "learning_rate": 2.5833333333333336e-05, "loss": 1.4585079767007743, "step": 32770 }, { "epoch": 48.66635953192666, "learning_rate": 2.5666666666666666e-05, "loss": 1.4590343374066648, "step": 32996 }, { "epoch": 48.99953929788998, "learning_rate": 2.5500000000000003e-05, "loss": 1.4587908719493226, "step": 33222 }, { "epoch": 49.33317976596333, "learning_rate": 2.5333333333333337e-05, "loss": 1.4405944284084624, "step": 33448 }, { "epoch": 49.66635953192666, "learning_rate": 2.5166666666666667e-05, "loss": 1.4455019520447316, "step": 33674 }, { "epoch": 49.99953929788998, "learning_rate": 2.5e-05, "loss": 1.4501467004286503, "step": 33900 }, { "epoch": 50.33317976596333, "learning_rate": 2.4833333333333335e-05, "loss": 1.4401797404331445, "step": 34126 }, { "epoch": 50.66635953192666, "learning_rate": 2.466666666666667e-05, "loss": 1.4439184138205199, "step": 34352 }, { "epoch": 50.99953929788998, "learning_rate": 2.45e-05, "loss": 1.4392632678546737, "step": 34578 }, { "epoch": 51.33317976596333, "learning_rate": 2.4333333333333336e-05, "loss": 1.4246764056450498, "step": 34804 }, { "epoch": 51.66635953192666, "learning_rate": 2.4166666666666667e-05, "loss": 1.4346890069742118, "step": 35030 }, { "epoch": 51.99953929788998, "learning_rate": 2.4e-05, "loss": 1.4361213076431139, "step": 35256 }, { "epoch": 52.33317976596333, "learning_rate": 2.3833333333333334e-05, "loss": 1.4196734133019913, "step": 35482 }, { "epoch": 52.66635953192666, "learning_rate": 2.3666666666666668e-05, "loss": 1.42874631628526, "step": 35708 }, { "epoch": 52.99953929788998, "learning_rate": 2.35e-05, "loss": 1.4189246523696764, "step": 35934 }, { "epoch": 53.33317976596333, "learning_rate": 2.3333333333333336e-05, "loss": 1.4110856857974972, "step": 36160 }, { "epoch": 53.66635953192666, "learning_rate": 2.3166666666666666e-05, "loss": 1.414762108726839, "step": 36386 }, { "epoch": 53.99953929788998, "learning_rate": 2.3000000000000003e-05, "loss": 1.4345707176005946, "step": 36612 }, { "epoch": 54.33317976596333, "learning_rate": 2.2833333333333334e-05, "loss": 1.4091482246871543, "step": 36838 }, { "epoch": 54.66635953192666, "learning_rate": 2.2666666666666668e-05, "loss": 1.4211378519513966, "step": 37064 }, { "epoch": 54.99953929788998, "learning_rate": 2.25e-05, "loss": 1.4192132190265487, "step": 37290 }, { "epoch": 55.33317976596333, "learning_rate": 2.2333333333333335e-05, "loss": 1.4056154774353566, "step": 37516 }, { "epoch": 55.66635953192666, "learning_rate": 2.216666666666667e-05, "loss": 1.4085143772901687, "step": 37742 }, { "epoch": 55.99953929788998, "learning_rate": 2.2000000000000003e-05, "loss": 1.4146627240476355, "step": 37968 }, { "epoch": 56.33317976596333, "learning_rate": 2.1833333333333333e-05, "loss": 1.4123572965638826, "step": 38194 }, { "epoch": 56.66635953192666, "learning_rate": 2.1666666666666667e-05, "loss": 1.4050891167294663, "step": 38420 }, { "epoch": 56.99953929788998, "learning_rate": 2.15e-05, "loss": 1.3967833392387998, "step": 38646 } ], "max_steps": 67800, "num_train_epochs": 100, "total_flos": 499827416403006594, "trial_name": null, "trial_params": null }