| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 29.995313232307453, | |
| "eval_steps": 500, | |
| "global_step": 15000, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.19996875488204968, | |
| "grad_norm": 0.06800929456949234, | |
| "learning_rate": 9.933333333333334e-05, | |
| "loss": 1.66, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.39993750976409936, | |
| "grad_norm": 0.07075967639684677, | |
| "learning_rate": 9.866666666666668e-05, | |
| "loss": 1.4581, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.599906264646149, | |
| "grad_norm": 0.08595048636198044, | |
| "learning_rate": 9.8e-05, | |
| "loss": 1.4002, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.7998750195281987, | |
| "grad_norm": 0.0898224264383316, | |
| "learning_rate": 9.733333333333335e-05, | |
| "loss": 1.3804, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.9998437744102484, | |
| "grad_norm": 0.09610690176486969, | |
| "learning_rate": 9.666666666666667e-05, | |
| "loss": 1.3666, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.9998437744102484, | |
| "eval_loss": 1.2211335897445679, | |
| "eval_runtime": 781.18, | |
| "eval_samples_per_second": 19.87, | |
| "eval_steps_per_second": 2.485, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 1.199812529292298, | |
| "grad_norm": 0.10176929831504822, | |
| "learning_rate": 9.6e-05, | |
| "loss": 1.3505, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 1.3997812841743478, | |
| "grad_norm": 0.10571713745594025, | |
| "learning_rate": 9.533333333333334e-05, | |
| "loss": 1.3431, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 1.5997500390563975, | |
| "grad_norm": 0.11078939586877823, | |
| "learning_rate": 9.466666666666667e-05, | |
| "loss": 1.3325, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 1.7997187939384471, | |
| "grad_norm": 0.11473137885332108, | |
| "learning_rate": 9.4e-05, | |
| "loss": 1.3273, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 1.9996875488204968, | |
| "grad_norm": 0.11462998390197754, | |
| "learning_rate": 9.333333333333334e-05, | |
| "loss": 1.3257, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 1.9996875488204968, | |
| "eval_loss": 1.1889395713806152, | |
| "eval_runtime": 780.6658, | |
| "eval_samples_per_second": 19.883, | |
| "eval_steps_per_second": 2.486, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 2.1996563037025463, | |
| "grad_norm": 0.1258271187543869, | |
| "learning_rate": 9.266666666666666e-05, | |
| "loss": 1.3204, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 2.399625058584596, | |
| "grad_norm": 0.12556926906108856, | |
| "learning_rate": 9.200000000000001e-05, | |
| "loss": 1.3134, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 2.5995938134666456, | |
| "grad_norm": 0.12833993136882782, | |
| "learning_rate": 9.133333333333334e-05, | |
| "loss": 1.3161, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 2.7995625683486955, | |
| "grad_norm": 0.13487331569194794, | |
| "learning_rate": 9.066666666666667e-05, | |
| "loss": 1.3047, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 2.9995313232307454, | |
| "grad_norm": 0.13826213777065277, | |
| "learning_rate": 9e-05, | |
| "loss": 1.3061, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 2.9995313232307454, | |
| "eval_loss": 1.1681571006774902, | |
| "eval_runtime": 781.2456, | |
| "eval_samples_per_second": 19.868, | |
| "eval_steps_per_second": 2.484, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 3.199500078112795, | |
| "grad_norm": 0.1341802030801773, | |
| "learning_rate": 8.933333333333334e-05, | |
| "loss": 1.3093, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 3.3994688329948444, | |
| "grad_norm": 0.13981318473815918, | |
| "learning_rate": 8.866666666666668e-05, | |
| "loss": 1.3045, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 3.5994375878768943, | |
| "grad_norm": 0.1482376754283905, | |
| "learning_rate": 8.800000000000001e-05, | |
| "loss": 1.2961, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 3.799406342758944, | |
| "grad_norm": 0.13838326930999756, | |
| "learning_rate": 8.733333333333333e-05, | |
| "loss": 1.2946, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 3.9993750976409936, | |
| "grad_norm": 0.14230142533779144, | |
| "learning_rate": 8.666666666666667e-05, | |
| "loss": 1.2953, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 3.9993750976409936, | |
| "eval_loss": 1.1589070558547974, | |
| "eval_runtime": 780.349, | |
| "eval_samples_per_second": 19.891, | |
| "eval_steps_per_second": 2.487, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 4.199343852523043, | |
| "grad_norm": 0.14762505888938904, | |
| "learning_rate": 8.6e-05, | |
| "loss": 1.2963, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 4.399312607405093, | |
| "grad_norm": 0.15457451343536377, | |
| "learning_rate": 8.533333333333334e-05, | |
| "loss": 1.294, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 4.599281362287143, | |
| "grad_norm": 0.16069631278514862, | |
| "learning_rate": 8.466666666666667e-05, | |
| "loss": 1.2912, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 4.799250117169192, | |
| "grad_norm": 0.15591269731521606, | |
| "learning_rate": 8.4e-05, | |
| "loss": 1.2801, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 4.999218872051242, | |
| "grad_norm": 0.14972414076328278, | |
| "learning_rate": 8.333333333333334e-05, | |
| "loss": 1.2854, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 4.999218872051242, | |
| "eval_loss": 1.1568653583526611, | |
| "eval_runtime": 780.3841, | |
| "eval_samples_per_second": 19.89, | |
| "eval_steps_per_second": 2.487, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 5.199187626933291, | |
| "grad_norm": 0.1629934012889862, | |
| "learning_rate": 8.266666666666667e-05, | |
| "loss": 1.2835, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 5.399156381815342, | |
| "grad_norm": 0.1629839390516281, | |
| "learning_rate": 8.2e-05, | |
| "loss": 1.2805, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 5.599125136697391, | |
| "grad_norm": 0.15919053554534912, | |
| "learning_rate": 8.133333333333334e-05, | |
| "loss": 1.279, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 5.7990938915794406, | |
| "grad_norm": 0.17068877816200256, | |
| "learning_rate": 8.066666666666667e-05, | |
| "loss": 1.2726, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 5.99906264646149, | |
| "grad_norm": 0.16409236192703247, | |
| "learning_rate": 8e-05, | |
| "loss": 1.2727, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 5.99906264646149, | |
| "eval_loss": 1.1620852947235107, | |
| "eval_runtime": 779.854, | |
| "eval_samples_per_second": 19.904, | |
| "eval_steps_per_second": 2.489, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 6.19903140134354, | |
| "grad_norm": 0.1689419448375702, | |
| "learning_rate": 7.933333333333334e-05, | |
| "loss": 1.2739, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 6.39900015622559, | |
| "grad_norm": 0.18602177500724792, | |
| "learning_rate": 7.866666666666666e-05, | |
| "loss": 1.2743, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 6.598968911107639, | |
| "grad_norm": 0.16894273459911346, | |
| "learning_rate": 7.800000000000001e-05, | |
| "loss": 1.2662, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 6.798937665989689, | |
| "grad_norm": 0.1722390055656433, | |
| "learning_rate": 7.733333333333333e-05, | |
| "loss": 1.2685, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 6.998906420871739, | |
| "grad_norm": 0.16717413067817688, | |
| "learning_rate": 7.666666666666667e-05, | |
| "loss": 1.2713, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 6.998906420871739, | |
| "eval_loss": 1.1368179321289062, | |
| "eval_runtime": 780.0179, | |
| "eval_samples_per_second": 19.9, | |
| "eval_steps_per_second": 2.488, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 7.1988751757537885, | |
| "grad_norm": 0.17379523813724518, | |
| "learning_rate": 7.6e-05, | |
| "loss": 1.2688, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 7.398843930635838, | |
| "grad_norm": 0.18176878988742828, | |
| "learning_rate": 7.533333333333334e-05, | |
| "loss": 1.2622, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 7.5988126855178875, | |
| "grad_norm": 0.17899934947490692, | |
| "learning_rate": 7.466666666666667e-05, | |
| "loss": 1.266, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 7.798781440399938, | |
| "grad_norm": 0.17816804349422455, | |
| "learning_rate": 7.4e-05, | |
| "loss": 1.2611, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 7.998750195281987, | |
| "grad_norm": 0.18334655463695526, | |
| "learning_rate": 7.333333333333333e-05, | |
| "loss": 1.2651, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 7.998750195281987, | |
| "eval_loss": 1.1447893381118774, | |
| "eval_runtime": 781.963, | |
| "eval_samples_per_second": 19.85, | |
| "eval_steps_per_second": 2.482, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 8.198718950164038, | |
| "grad_norm": 0.18043838441371918, | |
| "learning_rate": 7.266666666666667e-05, | |
| "loss": 1.2639, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 8.398687705046086, | |
| "grad_norm": 0.184415802359581, | |
| "learning_rate": 7.2e-05, | |
| "loss": 1.2657, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 8.598656459928137, | |
| "grad_norm": 0.26178649067878723, | |
| "learning_rate": 7.133333333333334e-05, | |
| "loss": 1.2594, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 8.798625214810185, | |
| "grad_norm": 0.19417451322078705, | |
| "learning_rate": 7.066666666666667e-05, | |
| "loss": 1.2548, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 8.998593969692235, | |
| "grad_norm": 0.19095982611179352, | |
| "learning_rate": 7e-05, | |
| "loss": 1.2566, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 8.998593969692235, | |
| "eval_loss": 1.1331112384796143, | |
| "eval_runtime": 782.1504, | |
| "eval_samples_per_second": 19.845, | |
| "eval_steps_per_second": 2.482, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 9.198562724574286, | |
| "grad_norm": 0.189661905169487, | |
| "learning_rate": 6.933333333333334e-05, | |
| "loss": 1.2599, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 9.398531479456334, | |
| "grad_norm": 0.19702570140361786, | |
| "learning_rate": 6.866666666666666e-05, | |
| "loss": 1.2603, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 9.598500234338385, | |
| "grad_norm": 0.18435333669185638, | |
| "learning_rate": 6.800000000000001e-05, | |
| "loss": 1.2519, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 9.798468989220435, | |
| "grad_norm": 0.18754470348358154, | |
| "learning_rate": 6.733333333333333e-05, | |
| "loss": 1.2581, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 9.998437744102484, | |
| "grad_norm": 0.1944326013326645, | |
| "learning_rate": 6.666666666666667e-05, | |
| "loss": 1.2515, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 9.998437744102484, | |
| "eval_loss": 1.1215333938598633, | |
| "eval_runtime": 779.443, | |
| "eval_samples_per_second": 19.914, | |
| "eval_steps_per_second": 2.49, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 10.198406498984534, | |
| "grad_norm": 0.19540326297283173, | |
| "learning_rate": 6.6e-05, | |
| "loss": 1.2515, | |
| "step": 5100 | |
| }, | |
| { | |
| "epoch": 10.398375253866583, | |
| "grad_norm": 0.19390232861042023, | |
| "learning_rate": 6.533333333333334e-05, | |
| "loss": 1.2466, | |
| "step": 5200 | |
| }, | |
| { | |
| "epoch": 10.598344008748633, | |
| "grad_norm": 0.19761793315410614, | |
| "learning_rate": 6.466666666666666e-05, | |
| "loss": 1.2471, | |
| "step": 5300 | |
| }, | |
| { | |
| "epoch": 10.798312763630683, | |
| "grad_norm": 0.20083682239055634, | |
| "learning_rate": 6.400000000000001e-05, | |
| "loss": 1.2461, | |
| "step": 5400 | |
| }, | |
| { | |
| "epoch": 10.998281518512732, | |
| "grad_norm": 0.20144224166870117, | |
| "learning_rate": 6.333333333333333e-05, | |
| "loss": 1.2468, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 10.998281518512732, | |
| "eval_loss": 1.112711787223816, | |
| "eval_runtime": 780.4643, | |
| "eval_samples_per_second": 19.888, | |
| "eval_steps_per_second": 2.487, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 11.198250273394782, | |
| "grad_norm": 0.20055556297302246, | |
| "learning_rate": 6.266666666666667e-05, | |
| "loss": 1.2421, | |
| "step": 5600 | |
| }, | |
| { | |
| "epoch": 11.398219028276833, | |
| "grad_norm": 0.20075921714305878, | |
| "learning_rate": 6.2e-05, | |
| "loss": 1.2485, | |
| "step": 5700 | |
| }, | |
| { | |
| "epoch": 11.598187783158881, | |
| "grad_norm": 0.20710080862045288, | |
| "learning_rate": 6.133333333333334e-05, | |
| "loss": 1.2441, | |
| "step": 5800 | |
| }, | |
| { | |
| "epoch": 11.798156538040931, | |
| "grad_norm": 0.19492241740226746, | |
| "learning_rate": 6.066666666666667e-05, | |
| "loss": 1.25, | |
| "step": 5900 | |
| }, | |
| { | |
| "epoch": 11.99812529292298, | |
| "grad_norm": 0.20437301695346832, | |
| "learning_rate": 6e-05, | |
| "loss": 1.2491, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 11.99812529292298, | |
| "eval_loss": 1.128514289855957, | |
| "eval_runtime": 781.5324, | |
| "eval_samples_per_second": 19.861, | |
| "eval_steps_per_second": 2.484, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 12.19809404780503, | |
| "grad_norm": 0.20758041739463806, | |
| "learning_rate": 5.9333333333333343e-05, | |
| "loss": 1.2475, | |
| "step": 6100 | |
| }, | |
| { | |
| "epoch": 12.39806280268708, | |
| "grad_norm": 0.21070446074008942, | |
| "learning_rate": 5.866666666666667e-05, | |
| "loss": 1.2458, | |
| "step": 6200 | |
| }, | |
| { | |
| "epoch": 12.59803155756913, | |
| "grad_norm": 0.1970139741897583, | |
| "learning_rate": 5.8e-05, | |
| "loss": 1.2423, | |
| "step": 6300 | |
| }, | |
| { | |
| "epoch": 12.79800031245118, | |
| "grad_norm": 0.2171526849269867, | |
| "learning_rate": 5.7333333333333336e-05, | |
| "loss": 1.2384, | |
| "step": 6400 | |
| }, | |
| { | |
| "epoch": 12.99796906733323, | |
| "grad_norm": 0.21207907795906067, | |
| "learning_rate": 5.666666666666667e-05, | |
| "loss": 1.2415, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 12.99796906733323, | |
| "eval_loss": 1.1073068380355835, | |
| "eval_runtime": 779.3448, | |
| "eval_samples_per_second": 19.917, | |
| "eval_steps_per_second": 2.491, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 13.197937822215279, | |
| "grad_norm": 0.20639556646347046, | |
| "learning_rate": 5.6000000000000006e-05, | |
| "loss": 1.2461, | |
| "step": 6600 | |
| }, | |
| { | |
| "epoch": 13.397906577097329, | |
| "grad_norm": 0.2096029669046402, | |
| "learning_rate": 5.5333333333333334e-05, | |
| "loss": 1.2431, | |
| "step": 6700 | |
| }, | |
| { | |
| "epoch": 13.597875331979377, | |
| "grad_norm": 0.20601199567317963, | |
| "learning_rate": 5.466666666666666e-05, | |
| "loss": 1.2365, | |
| "step": 6800 | |
| }, | |
| { | |
| "epoch": 13.797844086861428, | |
| "grad_norm": 0.20576031506061554, | |
| "learning_rate": 5.4000000000000005e-05, | |
| "loss": 1.236, | |
| "step": 6900 | |
| }, | |
| { | |
| "epoch": 13.997812841743478, | |
| "grad_norm": 0.22089041769504547, | |
| "learning_rate": 5.333333333333333e-05, | |
| "loss": 1.242, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 13.997812841743478, | |
| "eval_loss": 1.1090010404586792, | |
| "eval_runtime": 781.1131, | |
| "eval_samples_per_second": 19.872, | |
| "eval_steps_per_second": 2.485, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 14.197781596625527, | |
| "grad_norm": 0.21237194538116455, | |
| "learning_rate": 5.266666666666666e-05, | |
| "loss": 1.2406, | |
| "step": 7100 | |
| }, | |
| { | |
| "epoch": 14.397750351507577, | |
| "grad_norm": 0.22387249767780304, | |
| "learning_rate": 5.2000000000000004e-05, | |
| "loss": 1.2395, | |
| "step": 7200 | |
| }, | |
| { | |
| "epoch": 14.597719106389627, | |
| "grad_norm": 0.2192169427871704, | |
| "learning_rate": 5.133333333333333e-05, | |
| "loss": 1.2374, | |
| "step": 7300 | |
| }, | |
| { | |
| "epoch": 14.797687861271676, | |
| "grad_norm": 0.21324670314788818, | |
| "learning_rate": 5.0666666666666674e-05, | |
| "loss": 1.2382, | |
| "step": 7400 | |
| }, | |
| { | |
| "epoch": 14.997656616153726, | |
| "grad_norm": 0.21565145254135132, | |
| "learning_rate": 5e-05, | |
| "loss": 1.2337, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 14.997656616153726, | |
| "eval_loss": 1.102397084236145, | |
| "eval_runtime": 781.6511, | |
| "eval_samples_per_second": 19.858, | |
| "eval_steps_per_second": 2.483, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 15.197625371035775, | |
| "grad_norm": 0.20735445618629456, | |
| "learning_rate": 4.933333333333334e-05, | |
| "loss": 1.2353, | |
| "step": 7600 | |
| }, | |
| { | |
| "epoch": 15.397594125917825, | |
| "grad_norm": 0.2148446887731552, | |
| "learning_rate": 4.866666666666667e-05, | |
| "loss": 1.2372, | |
| "step": 7700 | |
| }, | |
| { | |
| "epoch": 15.597562880799876, | |
| "grad_norm": 0.22396279871463776, | |
| "learning_rate": 4.8e-05, | |
| "loss": 1.234, | |
| "step": 7800 | |
| }, | |
| { | |
| "epoch": 15.797531635681924, | |
| "grad_norm": 0.22062599658966064, | |
| "learning_rate": 4.7333333333333336e-05, | |
| "loss": 1.2317, | |
| "step": 7900 | |
| }, | |
| { | |
| "epoch": 15.997500390563975, | |
| "grad_norm": 0.22215193510055542, | |
| "learning_rate": 4.666666666666667e-05, | |
| "loss": 1.2302, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 15.997500390563975, | |
| "eval_loss": 1.1039363145828247, | |
| "eval_runtime": 781.5664, | |
| "eval_samples_per_second": 19.86, | |
| "eval_steps_per_second": 2.483, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 16.197469145446025, | |
| "grad_norm": 0.21470457315444946, | |
| "learning_rate": 4.600000000000001e-05, | |
| "loss": 1.2356, | |
| "step": 8100 | |
| }, | |
| { | |
| "epoch": 16.397437900328075, | |
| "grad_norm": 0.23483353853225708, | |
| "learning_rate": 4.5333333333333335e-05, | |
| "loss": 1.2298, | |
| "step": 8200 | |
| }, | |
| { | |
| "epoch": 16.597406655210122, | |
| "grad_norm": 0.22766882181167603, | |
| "learning_rate": 4.466666666666667e-05, | |
| "loss": 1.2344, | |
| "step": 8300 | |
| }, | |
| { | |
| "epoch": 16.797375410092172, | |
| "grad_norm": 0.21805354952812195, | |
| "learning_rate": 4.4000000000000006e-05, | |
| "loss": 1.2349, | |
| "step": 8400 | |
| }, | |
| { | |
| "epoch": 16.997344164974223, | |
| "grad_norm": 0.22797927260398865, | |
| "learning_rate": 4.3333333333333334e-05, | |
| "loss": 1.2311, | |
| "step": 8500 | |
| }, | |
| { | |
| "epoch": 16.997344164974223, | |
| "eval_loss": 1.1013116836547852, | |
| "eval_runtime": 780.8183, | |
| "eval_samples_per_second": 19.879, | |
| "eval_steps_per_second": 2.486, | |
| "step": 8500 | |
| }, | |
| { | |
| "epoch": 17.197312919856273, | |
| "grad_norm": 0.2302340865135193, | |
| "learning_rate": 4.266666666666667e-05, | |
| "loss": 1.2303, | |
| "step": 8600 | |
| }, | |
| { | |
| "epoch": 17.397281674738323, | |
| "grad_norm": 0.23100897669792175, | |
| "learning_rate": 4.2e-05, | |
| "loss": 1.2371, | |
| "step": 8700 | |
| }, | |
| { | |
| "epoch": 17.59725042962037, | |
| "grad_norm": 0.23766712844371796, | |
| "learning_rate": 4.133333333333333e-05, | |
| "loss": 1.2307, | |
| "step": 8800 | |
| }, | |
| { | |
| "epoch": 17.79721918450242, | |
| "grad_norm": 0.23070693016052246, | |
| "learning_rate": 4.066666666666667e-05, | |
| "loss": 1.2278, | |
| "step": 8900 | |
| }, | |
| { | |
| "epoch": 17.99718793938447, | |
| "grad_norm": 0.22143380343914032, | |
| "learning_rate": 4e-05, | |
| "loss": 1.229, | |
| "step": 9000 | |
| }, | |
| { | |
| "epoch": 17.99718793938447, | |
| "eval_loss": 1.1009384393692017, | |
| "eval_runtime": 781.433, | |
| "eval_samples_per_second": 19.864, | |
| "eval_steps_per_second": 2.484, | |
| "step": 9000 | |
| }, | |
| { | |
| "epoch": 18.19715669426652, | |
| "grad_norm": 0.21790316700935364, | |
| "learning_rate": 3.933333333333333e-05, | |
| "loss": 1.2269, | |
| "step": 9100 | |
| }, | |
| { | |
| "epoch": 18.39712544914857, | |
| "grad_norm": 0.21506337821483612, | |
| "learning_rate": 3.866666666666667e-05, | |
| "loss": 1.2289, | |
| "step": 9200 | |
| }, | |
| { | |
| "epoch": 18.59709420403062, | |
| "grad_norm": 0.23324058949947357, | |
| "learning_rate": 3.8e-05, | |
| "loss": 1.2308, | |
| "step": 9300 | |
| }, | |
| { | |
| "epoch": 18.79706295891267, | |
| "grad_norm": 0.23792578279972076, | |
| "learning_rate": 3.733333333333334e-05, | |
| "loss": 1.2278, | |
| "step": 9400 | |
| }, | |
| { | |
| "epoch": 18.99703171379472, | |
| "grad_norm": 0.2299690842628479, | |
| "learning_rate": 3.6666666666666666e-05, | |
| "loss": 1.223, | |
| "step": 9500 | |
| }, | |
| { | |
| "epoch": 18.99703171379472, | |
| "eval_loss": 1.1021497249603271, | |
| "eval_runtime": 781.5015, | |
| "eval_samples_per_second": 19.862, | |
| "eval_steps_per_second": 2.484, | |
| "step": 9500 | |
| }, | |
| { | |
| "epoch": 19.19700046867677, | |
| "grad_norm": 0.23651447892189026, | |
| "learning_rate": 3.6e-05, | |
| "loss": 1.2228, | |
| "step": 9600 | |
| }, | |
| { | |
| "epoch": 19.39696922355882, | |
| "grad_norm": 0.24351443350315094, | |
| "learning_rate": 3.5333333333333336e-05, | |
| "loss": 1.227, | |
| "step": 9700 | |
| }, | |
| { | |
| "epoch": 19.59693797844087, | |
| "grad_norm": 0.2371227890253067, | |
| "learning_rate": 3.466666666666667e-05, | |
| "loss": 1.2268, | |
| "step": 9800 | |
| }, | |
| { | |
| "epoch": 19.796906733322917, | |
| "grad_norm": 0.2173725664615631, | |
| "learning_rate": 3.4000000000000007e-05, | |
| "loss": 1.2232, | |
| "step": 9900 | |
| }, | |
| { | |
| "epoch": 19.996875488204967, | |
| "grad_norm": 0.24202196300029755, | |
| "learning_rate": 3.3333333333333335e-05, | |
| "loss": 1.2213, | |
| "step": 10000 | |
| }, | |
| { | |
| "epoch": 19.996875488204967, | |
| "eval_loss": 1.0894185304641724, | |
| "eval_runtime": 781.2073, | |
| "eval_samples_per_second": 19.869, | |
| "eval_steps_per_second": 2.485, | |
| "step": 10000 | |
| }, | |
| { | |
| "epoch": 20.196844243087018, | |
| "grad_norm": 0.23550644516944885, | |
| "learning_rate": 3.266666666666667e-05, | |
| "loss": 1.2207, | |
| "step": 10100 | |
| }, | |
| { | |
| "epoch": 20.396812997969068, | |
| "grad_norm": 0.22665788233280182, | |
| "learning_rate": 3.2000000000000005e-05, | |
| "loss": 1.2271, | |
| "step": 10200 | |
| }, | |
| { | |
| "epoch": 20.59678175285112, | |
| "grad_norm": 0.23765605688095093, | |
| "learning_rate": 3.1333333333333334e-05, | |
| "loss": 1.2212, | |
| "step": 10300 | |
| }, | |
| { | |
| "epoch": 20.796750507733165, | |
| "grad_norm": 0.22791534662246704, | |
| "learning_rate": 3.066666666666667e-05, | |
| "loss": 1.2268, | |
| "step": 10400 | |
| }, | |
| { | |
| "epoch": 20.996719262615215, | |
| "grad_norm": 0.23103660345077515, | |
| "learning_rate": 3e-05, | |
| "loss": 1.2219, | |
| "step": 10500 | |
| }, | |
| { | |
| "epoch": 20.996719262615215, | |
| "eval_loss": 1.1070313453674316, | |
| "eval_runtime": 781.5944, | |
| "eval_samples_per_second": 19.859, | |
| "eval_steps_per_second": 2.483, | |
| "step": 10500 | |
| }, | |
| { | |
| "epoch": 21.196688017497266, | |
| "grad_norm": 0.2408709079027176, | |
| "learning_rate": 2.9333333333333336e-05, | |
| "loss": 1.2215, | |
| "step": 10600 | |
| }, | |
| { | |
| "epoch": 21.396656772379316, | |
| "grad_norm": 0.2331283688545227, | |
| "learning_rate": 2.8666666666666668e-05, | |
| "loss": 1.2249, | |
| "step": 10700 | |
| }, | |
| { | |
| "epoch": 21.596625527261367, | |
| "grad_norm": 0.2316213697195053, | |
| "learning_rate": 2.8000000000000003e-05, | |
| "loss": 1.2222, | |
| "step": 10800 | |
| }, | |
| { | |
| "epoch": 21.796594282143417, | |
| "grad_norm": 0.2397545576095581, | |
| "learning_rate": 2.733333333333333e-05, | |
| "loss": 1.2294, | |
| "step": 10900 | |
| }, | |
| { | |
| "epoch": 21.996563037025464, | |
| "grad_norm": 0.245674729347229, | |
| "learning_rate": 2.6666666666666667e-05, | |
| "loss": 1.2217, | |
| "step": 11000 | |
| }, | |
| { | |
| "epoch": 21.996563037025464, | |
| "eval_loss": 1.092257022857666, | |
| "eval_runtime": 780.2283, | |
| "eval_samples_per_second": 19.894, | |
| "eval_steps_per_second": 2.488, | |
| "step": 11000 | |
| }, | |
| { | |
| "epoch": 22.196531791907514, | |
| "grad_norm": 0.24070052802562714, | |
| "learning_rate": 2.6000000000000002e-05, | |
| "loss": 1.2256, | |
| "step": 11100 | |
| }, | |
| { | |
| "epoch": 22.396500546789564, | |
| "grad_norm": 0.24903209507465363, | |
| "learning_rate": 2.5333333333333337e-05, | |
| "loss": 1.2206, | |
| "step": 11200 | |
| }, | |
| { | |
| "epoch": 22.596469301671615, | |
| "grad_norm": 0.22408048808574677, | |
| "learning_rate": 2.466666666666667e-05, | |
| "loss": 1.2219, | |
| "step": 11300 | |
| }, | |
| { | |
| "epoch": 22.796438056553665, | |
| "grad_norm": 0.23605312407016754, | |
| "learning_rate": 2.4e-05, | |
| "loss": 1.2221, | |
| "step": 11400 | |
| }, | |
| { | |
| "epoch": 22.996406811435712, | |
| "grad_norm": 0.24230831861495972, | |
| "learning_rate": 2.3333333333333336e-05, | |
| "loss": 1.2226, | |
| "step": 11500 | |
| }, | |
| { | |
| "epoch": 22.996406811435712, | |
| "eval_loss": 1.1027547121047974, | |
| "eval_runtime": 779.9282, | |
| "eval_samples_per_second": 19.902, | |
| "eval_steps_per_second": 2.489, | |
| "step": 11500 | |
| }, | |
| { | |
| "epoch": 23.196375566317762, | |
| "grad_norm": 0.2390895038843155, | |
| "learning_rate": 2.2666666666666668e-05, | |
| "loss": 1.224, | |
| "step": 11600 | |
| }, | |
| { | |
| "epoch": 23.396344321199813, | |
| "grad_norm": 0.23398549854755402, | |
| "learning_rate": 2.2000000000000003e-05, | |
| "loss": 1.2218, | |
| "step": 11700 | |
| }, | |
| { | |
| "epoch": 23.596313076081863, | |
| "grad_norm": 0.2434803992509842, | |
| "learning_rate": 2.1333333333333335e-05, | |
| "loss": 1.224, | |
| "step": 11800 | |
| }, | |
| { | |
| "epoch": 23.796281830963913, | |
| "grad_norm": 0.244966521859169, | |
| "learning_rate": 2.0666666666666666e-05, | |
| "loss": 1.2247, | |
| "step": 11900 | |
| }, | |
| { | |
| "epoch": 23.99625058584596, | |
| "grad_norm": 0.2477530688047409, | |
| "learning_rate": 2e-05, | |
| "loss": 1.2161, | |
| "step": 12000 | |
| }, | |
| { | |
| "epoch": 23.99625058584596, | |
| "eval_loss": 1.0947577953338623, | |
| "eval_runtime": 781.3136, | |
| "eval_samples_per_second": 19.867, | |
| "eval_steps_per_second": 2.484, | |
| "step": 12000 | |
| }, | |
| { | |
| "epoch": 24.19621934072801, | |
| "grad_norm": 0.24265432357788086, | |
| "learning_rate": 1.9333333333333333e-05, | |
| "loss": 1.22, | |
| "step": 12100 | |
| }, | |
| { | |
| "epoch": 24.39618809561006, | |
| "grad_norm": 0.23374997079372406, | |
| "learning_rate": 1.866666666666667e-05, | |
| "loss": 1.2256, | |
| "step": 12200 | |
| }, | |
| { | |
| "epoch": 24.59615685049211, | |
| "grad_norm": 0.24531888961791992, | |
| "learning_rate": 1.8e-05, | |
| "loss": 1.2227, | |
| "step": 12300 | |
| }, | |
| { | |
| "epoch": 24.79612560537416, | |
| "grad_norm": 0.23044925928115845, | |
| "learning_rate": 1.7333333333333336e-05, | |
| "loss": 1.2215, | |
| "step": 12400 | |
| }, | |
| { | |
| "epoch": 24.99609436025621, | |
| "grad_norm": 0.24221302568912506, | |
| "learning_rate": 1.6666666666666667e-05, | |
| "loss": 1.2257, | |
| "step": 12500 | |
| }, | |
| { | |
| "epoch": 24.99609436025621, | |
| "eval_loss": 1.1003334522247314, | |
| "eval_runtime": 782.6561, | |
| "eval_samples_per_second": 19.832, | |
| "eval_steps_per_second": 2.48, | |
| "step": 12500 | |
| }, | |
| { | |
| "epoch": 25.19606311513826, | |
| "grad_norm": 0.2269056737422943, | |
| "learning_rate": 1.6000000000000003e-05, | |
| "loss": 1.2214, | |
| "step": 12600 | |
| }, | |
| { | |
| "epoch": 25.39603187002031, | |
| "grad_norm": 0.23873771727085114, | |
| "learning_rate": 1.5333333333333334e-05, | |
| "loss": 1.2228, | |
| "step": 12700 | |
| }, | |
| { | |
| "epoch": 25.59600062490236, | |
| "grad_norm": 0.23447927832603455, | |
| "learning_rate": 1.4666666666666668e-05, | |
| "loss": 1.2125, | |
| "step": 12800 | |
| }, | |
| { | |
| "epoch": 25.79596937978441, | |
| "grad_norm": 0.23669584095478058, | |
| "learning_rate": 1.4000000000000001e-05, | |
| "loss": 1.2223, | |
| "step": 12900 | |
| }, | |
| { | |
| "epoch": 25.99593813466646, | |
| "grad_norm": 0.25148263573646545, | |
| "learning_rate": 1.3333333333333333e-05, | |
| "loss": 1.2142, | |
| "step": 13000 | |
| }, | |
| { | |
| "epoch": 25.99593813466646, | |
| "eval_loss": 1.0822358131408691, | |
| "eval_runtime": 781.57, | |
| "eval_samples_per_second": 19.86, | |
| "eval_steps_per_second": 2.483, | |
| "step": 13000 | |
| }, | |
| { | |
| "epoch": 26.195906889548507, | |
| "grad_norm": 0.2401517629623413, | |
| "learning_rate": 1.2666666666666668e-05, | |
| "loss": 1.2183, | |
| "step": 13100 | |
| }, | |
| { | |
| "epoch": 26.395875644430557, | |
| "grad_norm": 0.2405146360397339, | |
| "learning_rate": 1.2e-05, | |
| "loss": 1.2179, | |
| "step": 13200 | |
| }, | |
| { | |
| "epoch": 26.595844399312607, | |
| "grad_norm": 0.25216609239578247, | |
| "learning_rate": 1.1333333333333334e-05, | |
| "loss": 1.2237, | |
| "step": 13300 | |
| }, | |
| { | |
| "epoch": 26.795813154194658, | |
| "grad_norm": 0.24814079701900482, | |
| "learning_rate": 1.0666666666666667e-05, | |
| "loss": 1.2186, | |
| "step": 13400 | |
| }, | |
| { | |
| "epoch": 26.995781909076708, | |
| "grad_norm": 0.24657221138477325, | |
| "learning_rate": 1e-05, | |
| "loss": 1.2211, | |
| "step": 13500 | |
| }, | |
| { | |
| "epoch": 26.995781909076708, | |
| "eval_loss": 1.0853413343429565, | |
| "eval_runtime": 779.9076, | |
| "eval_samples_per_second": 19.902, | |
| "eval_steps_per_second": 2.489, | |
| "step": 13500 | |
| }, | |
| { | |
| "epoch": 27.195750663958755, | |
| "grad_norm": 0.2545396685600281, | |
| "learning_rate": 9.333333333333334e-06, | |
| "loss": 1.2217, | |
| "step": 13600 | |
| }, | |
| { | |
| "epoch": 27.395719418840805, | |
| "grad_norm": 0.25391411781311035, | |
| "learning_rate": 8.666666666666668e-06, | |
| "loss": 1.2178, | |
| "step": 13700 | |
| }, | |
| { | |
| "epoch": 27.595688173722856, | |
| "grad_norm": 0.24631735682487488, | |
| "learning_rate": 8.000000000000001e-06, | |
| "loss": 1.2223, | |
| "step": 13800 | |
| }, | |
| { | |
| "epoch": 27.795656928604906, | |
| "grad_norm": 0.24099507927894592, | |
| "learning_rate": 7.333333333333334e-06, | |
| "loss": 1.2157, | |
| "step": 13900 | |
| }, | |
| { | |
| "epoch": 27.995625683486956, | |
| "grad_norm": 0.2475418895483017, | |
| "learning_rate": 6.666666666666667e-06, | |
| "loss": 1.2175, | |
| "step": 14000 | |
| }, | |
| { | |
| "epoch": 27.995625683486956, | |
| "eval_loss": 1.0951762199401855, | |
| "eval_runtime": 781.5447, | |
| "eval_samples_per_second": 19.861, | |
| "eval_steps_per_second": 2.484, | |
| "step": 14000 | |
| }, | |
| { | |
| "epoch": 28.195594438369003, | |
| "grad_norm": 0.2455308735370636, | |
| "learning_rate": 6e-06, | |
| "loss": 1.2172, | |
| "step": 14100 | |
| }, | |
| { | |
| "epoch": 28.395563193251053, | |
| "grad_norm": 0.2334292083978653, | |
| "learning_rate": 5.333333333333334e-06, | |
| "loss": 1.2236, | |
| "step": 14200 | |
| }, | |
| { | |
| "epoch": 28.595531948133104, | |
| "grad_norm": 0.23820115625858307, | |
| "learning_rate": 4.666666666666667e-06, | |
| "loss": 1.2149, | |
| "step": 14300 | |
| }, | |
| { | |
| "epoch": 28.795500703015154, | |
| "grad_norm": 0.25057491660118103, | |
| "learning_rate": 4.000000000000001e-06, | |
| "loss": 1.2207, | |
| "step": 14400 | |
| }, | |
| { | |
| "epoch": 28.995469457897205, | |
| "grad_norm": 0.24009475111961365, | |
| "learning_rate": 3.3333333333333333e-06, | |
| "loss": 1.2157, | |
| "step": 14500 | |
| }, | |
| { | |
| "epoch": 28.995469457897205, | |
| "eval_loss": 1.0933923721313477, | |
| "eval_runtime": 779.8849, | |
| "eval_samples_per_second": 19.903, | |
| "eval_steps_per_second": 2.489, | |
| "step": 14500 | |
| }, | |
| { | |
| "epoch": 29.195438212779255, | |
| "grad_norm": 0.24403980374336243, | |
| "learning_rate": 2.666666666666667e-06, | |
| "loss": 1.2162, | |
| "step": 14600 | |
| }, | |
| { | |
| "epoch": 29.3954069676613, | |
| "grad_norm": 0.2399660050868988, | |
| "learning_rate": 2.0000000000000003e-06, | |
| "loss": 1.2179, | |
| "step": 14700 | |
| }, | |
| { | |
| "epoch": 29.595375722543352, | |
| "grad_norm": 0.23738054931163788, | |
| "learning_rate": 1.3333333333333334e-06, | |
| "loss": 1.2181, | |
| "step": 14800 | |
| }, | |
| { | |
| "epoch": 29.795344477425402, | |
| "grad_norm": 0.24452446401119232, | |
| "learning_rate": 6.666666666666667e-07, | |
| "loss": 1.2187, | |
| "step": 14900 | |
| }, | |
| { | |
| "epoch": 29.995313232307453, | |
| "grad_norm": 0.2524297833442688, | |
| "learning_rate": 0.0, | |
| "loss": 1.2169, | |
| "step": 15000 | |
| }, | |
| { | |
| "epoch": 29.995313232307453, | |
| "eval_loss": 1.1003856658935547, | |
| "eval_runtime": 781.9983, | |
| "eval_samples_per_second": 19.849, | |
| "eval_steps_per_second": 2.482, | |
| "step": 15000 | |
| } | |
| ], | |
| "logging_steps": 100, | |
| "max_steps": 15000, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 30, | |
| "save_steps": 100, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 2.341098012898702e+19, | |
| "train_batch_size": 8, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |