| { |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 15.397594125917825, |
| "eval_steps": 500, |
| "global_step": 7700, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.19996875488204968, |
| "grad_norm": 0.06800929456949234, |
| "learning_rate": 9.933333333333334e-05, |
| "loss": 1.66, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.39993750976409936, |
| "grad_norm": 0.07075967639684677, |
| "learning_rate": 9.866666666666668e-05, |
| "loss": 1.4581, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.599906264646149, |
| "grad_norm": 0.08595048636198044, |
| "learning_rate": 9.8e-05, |
| "loss": 1.4002, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.7998750195281987, |
| "grad_norm": 0.0898224264383316, |
| "learning_rate": 9.733333333333335e-05, |
| "loss": 1.3804, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.9998437744102484, |
| "grad_norm": 0.09610690176486969, |
| "learning_rate": 9.666666666666667e-05, |
| "loss": 1.3666, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.9998437744102484, |
| "eval_loss": 1.2211335897445679, |
| "eval_runtime": 781.18, |
| "eval_samples_per_second": 19.87, |
| "eval_steps_per_second": 2.485, |
| "step": 500 |
| }, |
| { |
| "epoch": 1.199812529292298, |
| "grad_norm": 0.10176929831504822, |
| "learning_rate": 9.6e-05, |
| "loss": 1.3505, |
| "step": 600 |
| }, |
| { |
| "epoch": 1.3997812841743478, |
| "grad_norm": 0.10571713745594025, |
| "learning_rate": 9.533333333333334e-05, |
| "loss": 1.3431, |
| "step": 700 |
| }, |
| { |
| "epoch": 1.5997500390563975, |
| "grad_norm": 0.11078939586877823, |
| "learning_rate": 9.466666666666667e-05, |
| "loss": 1.3325, |
| "step": 800 |
| }, |
| { |
| "epoch": 1.7997187939384471, |
| "grad_norm": 0.11473137885332108, |
| "learning_rate": 9.4e-05, |
| "loss": 1.3273, |
| "step": 900 |
| }, |
| { |
| "epoch": 1.9996875488204968, |
| "grad_norm": 0.11462998390197754, |
| "learning_rate": 9.333333333333334e-05, |
| "loss": 1.3257, |
| "step": 1000 |
| }, |
| { |
| "epoch": 1.9996875488204968, |
| "eval_loss": 1.1889395713806152, |
| "eval_runtime": 780.6658, |
| "eval_samples_per_second": 19.883, |
| "eval_steps_per_second": 2.486, |
| "step": 1000 |
| }, |
| { |
| "epoch": 2.1996563037025463, |
| "grad_norm": 0.1258271187543869, |
| "learning_rate": 9.266666666666666e-05, |
| "loss": 1.3204, |
| "step": 1100 |
| }, |
| { |
| "epoch": 2.399625058584596, |
| "grad_norm": 0.12556926906108856, |
| "learning_rate": 9.200000000000001e-05, |
| "loss": 1.3134, |
| "step": 1200 |
| }, |
| { |
| "epoch": 2.5995938134666456, |
| "grad_norm": 0.12833993136882782, |
| "learning_rate": 9.133333333333334e-05, |
| "loss": 1.3161, |
| "step": 1300 |
| }, |
| { |
| "epoch": 2.7995625683486955, |
| "grad_norm": 0.13487331569194794, |
| "learning_rate": 9.066666666666667e-05, |
| "loss": 1.3047, |
| "step": 1400 |
| }, |
| { |
| "epoch": 2.9995313232307454, |
| "grad_norm": 0.13826213777065277, |
| "learning_rate": 9e-05, |
| "loss": 1.3061, |
| "step": 1500 |
| }, |
| { |
| "epoch": 2.9995313232307454, |
| "eval_loss": 1.1681571006774902, |
| "eval_runtime": 781.2456, |
| "eval_samples_per_second": 19.868, |
| "eval_steps_per_second": 2.484, |
| "step": 1500 |
| }, |
| { |
| "epoch": 3.199500078112795, |
| "grad_norm": 0.1341802030801773, |
| "learning_rate": 8.933333333333334e-05, |
| "loss": 1.3093, |
| "step": 1600 |
| }, |
| { |
| "epoch": 3.3994688329948444, |
| "grad_norm": 0.13981318473815918, |
| "learning_rate": 8.866666666666668e-05, |
| "loss": 1.3045, |
| "step": 1700 |
| }, |
| { |
| "epoch": 3.5994375878768943, |
| "grad_norm": 0.1482376754283905, |
| "learning_rate": 8.800000000000001e-05, |
| "loss": 1.2961, |
| "step": 1800 |
| }, |
| { |
| "epoch": 3.799406342758944, |
| "grad_norm": 0.13838326930999756, |
| "learning_rate": 8.733333333333333e-05, |
| "loss": 1.2946, |
| "step": 1900 |
| }, |
| { |
| "epoch": 3.9993750976409936, |
| "grad_norm": 0.14230142533779144, |
| "learning_rate": 8.666666666666667e-05, |
| "loss": 1.2953, |
| "step": 2000 |
| }, |
| { |
| "epoch": 3.9993750976409936, |
| "eval_loss": 1.1589070558547974, |
| "eval_runtime": 780.349, |
| "eval_samples_per_second": 19.891, |
| "eval_steps_per_second": 2.487, |
| "step": 2000 |
| }, |
| { |
| "epoch": 4.199343852523043, |
| "grad_norm": 0.14762505888938904, |
| "learning_rate": 8.6e-05, |
| "loss": 1.2963, |
| "step": 2100 |
| }, |
| { |
| "epoch": 4.399312607405093, |
| "grad_norm": 0.15457451343536377, |
| "learning_rate": 8.533333333333334e-05, |
| "loss": 1.294, |
| "step": 2200 |
| }, |
| { |
| "epoch": 4.599281362287143, |
| "grad_norm": 0.16069631278514862, |
| "learning_rate": 8.466666666666667e-05, |
| "loss": 1.2912, |
| "step": 2300 |
| }, |
| { |
| "epoch": 4.799250117169192, |
| "grad_norm": 0.15591269731521606, |
| "learning_rate": 8.4e-05, |
| "loss": 1.2801, |
| "step": 2400 |
| }, |
| { |
| "epoch": 4.999218872051242, |
| "grad_norm": 0.14972414076328278, |
| "learning_rate": 8.333333333333334e-05, |
| "loss": 1.2854, |
| "step": 2500 |
| }, |
| { |
| "epoch": 4.999218872051242, |
| "eval_loss": 1.1568653583526611, |
| "eval_runtime": 780.3841, |
| "eval_samples_per_second": 19.89, |
| "eval_steps_per_second": 2.487, |
| "step": 2500 |
| }, |
| { |
| "epoch": 5.199187626933291, |
| "grad_norm": 0.1629934012889862, |
| "learning_rate": 8.266666666666667e-05, |
| "loss": 1.2835, |
| "step": 2600 |
| }, |
| { |
| "epoch": 5.399156381815342, |
| "grad_norm": 0.1629839390516281, |
| "learning_rate": 8.2e-05, |
| "loss": 1.2805, |
| "step": 2700 |
| }, |
| { |
| "epoch": 5.599125136697391, |
| "grad_norm": 0.15919053554534912, |
| "learning_rate": 8.133333333333334e-05, |
| "loss": 1.279, |
| "step": 2800 |
| }, |
| { |
| "epoch": 5.7990938915794406, |
| "grad_norm": 0.17068877816200256, |
| "learning_rate": 8.066666666666667e-05, |
| "loss": 1.2726, |
| "step": 2900 |
| }, |
| { |
| "epoch": 5.99906264646149, |
| "grad_norm": 0.16409236192703247, |
| "learning_rate": 8e-05, |
| "loss": 1.2727, |
| "step": 3000 |
| }, |
| { |
| "epoch": 5.99906264646149, |
| "eval_loss": 1.1620852947235107, |
| "eval_runtime": 779.854, |
| "eval_samples_per_second": 19.904, |
| "eval_steps_per_second": 2.489, |
| "step": 3000 |
| }, |
| { |
| "epoch": 6.19903140134354, |
| "grad_norm": 0.1689419448375702, |
| "learning_rate": 7.933333333333334e-05, |
| "loss": 1.2739, |
| "step": 3100 |
| }, |
| { |
| "epoch": 6.39900015622559, |
| "grad_norm": 0.18602177500724792, |
| "learning_rate": 7.866666666666666e-05, |
| "loss": 1.2743, |
| "step": 3200 |
| }, |
| { |
| "epoch": 6.598968911107639, |
| "grad_norm": 0.16894273459911346, |
| "learning_rate": 7.800000000000001e-05, |
| "loss": 1.2662, |
| "step": 3300 |
| }, |
| { |
| "epoch": 6.798937665989689, |
| "grad_norm": 0.1722390055656433, |
| "learning_rate": 7.733333333333333e-05, |
| "loss": 1.2685, |
| "step": 3400 |
| }, |
| { |
| "epoch": 6.998906420871739, |
| "grad_norm": 0.16717413067817688, |
| "learning_rate": 7.666666666666667e-05, |
| "loss": 1.2713, |
| "step": 3500 |
| }, |
| { |
| "epoch": 6.998906420871739, |
| "eval_loss": 1.1368179321289062, |
| "eval_runtime": 780.0179, |
| "eval_samples_per_second": 19.9, |
| "eval_steps_per_second": 2.488, |
| "step": 3500 |
| }, |
| { |
| "epoch": 7.1988751757537885, |
| "grad_norm": 0.17379523813724518, |
| "learning_rate": 7.6e-05, |
| "loss": 1.2688, |
| "step": 3600 |
| }, |
| { |
| "epoch": 7.398843930635838, |
| "grad_norm": 0.18176878988742828, |
| "learning_rate": 7.533333333333334e-05, |
| "loss": 1.2622, |
| "step": 3700 |
| }, |
| { |
| "epoch": 7.5988126855178875, |
| "grad_norm": 0.17899934947490692, |
| "learning_rate": 7.466666666666667e-05, |
| "loss": 1.266, |
| "step": 3800 |
| }, |
| { |
| "epoch": 7.798781440399938, |
| "grad_norm": 0.17816804349422455, |
| "learning_rate": 7.4e-05, |
| "loss": 1.2611, |
| "step": 3900 |
| }, |
| { |
| "epoch": 7.998750195281987, |
| "grad_norm": 0.18334655463695526, |
| "learning_rate": 7.333333333333333e-05, |
| "loss": 1.2651, |
| "step": 4000 |
| }, |
| { |
| "epoch": 7.998750195281987, |
| "eval_loss": 1.1447893381118774, |
| "eval_runtime": 781.963, |
| "eval_samples_per_second": 19.85, |
| "eval_steps_per_second": 2.482, |
| "step": 4000 |
| }, |
| { |
| "epoch": 8.198718950164038, |
| "grad_norm": 0.18043838441371918, |
| "learning_rate": 7.266666666666667e-05, |
| "loss": 1.2639, |
| "step": 4100 |
| }, |
| { |
| "epoch": 8.398687705046086, |
| "grad_norm": 0.184415802359581, |
| "learning_rate": 7.2e-05, |
| "loss": 1.2657, |
| "step": 4200 |
| }, |
| { |
| "epoch": 8.598656459928137, |
| "grad_norm": 0.26178649067878723, |
| "learning_rate": 7.133333333333334e-05, |
| "loss": 1.2594, |
| "step": 4300 |
| }, |
| { |
| "epoch": 8.798625214810185, |
| "grad_norm": 0.19417451322078705, |
| "learning_rate": 7.066666666666667e-05, |
| "loss": 1.2548, |
| "step": 4400 |
| }, |
| { |
| "epoch": 8.998593969692235, |
| "grad_norm": 0.19095982611179352, |
| "learning_rate": 7e-05, |
| "loss": 1.2566, |
| "step": 4500 |
| }, |
| { |
| "epoch": 8.998593969692235, |
| "eval_loss": 1.1331112384796143, |
| "eval_runtime": 782.1504, |
| "eval_samples_per_second": 19.845, |
| "eval_steps_per_second": 2.482, |
| "step": 4500 |
| }, |
| { |
| "epoch": 9.198562724574286, |
| "grad_norm": 0.189661905169487, |
| "learning_rate": 6.933333333333334e-05, |
| "loss": 1.2599, |
| "step": 4600 |
| }, |
| { |
| "epoch": 9.398531479456334, |
| "grad_norm": 0.19702570140361786, |
| "learning_rate": 6.866666666666666e-05, |
| "loss": 1.2603, |
| "step": 4700 |
| }, |
| { |
| "epoch": 9.598500234338385, |
| "grad_norm": 0.18435333669185638, |
| "learning_rate": 6.800000000000001e-05, |
| "loss": 1.2519, |
| "step": 4800 |
| }, |
| { |
| "epoch": 9.798468989220435, |
| "grad_norm": 0.18754470348358154, |
| "learning_rate": 6.733333333333333e-05, |
| "loss": 1.2581, |
| "step": 4900 |
| }, |
| { |
| "epoch": 9.998437744102484, |
| "grad_norm": 0.1944326013326645, |
| "learning_rate": 6.666666666666667e-05, |
| "loss": 1.2515, |
| "step": 5000 |
| }, |
| { |
| "epoch": 9.998437744102484, |
| "eval_loss": 1.1215333938598633, |
| "eval_runtime": 779.443, |
| "eval_samples_per_second": 19.914, |
| "eval_steps_per_second": 2.49, |
| "step": 5000 |
| }, |
| { |
| "epoch": 10.198406498984534, |
| "grad_norm": 0.19540326297283173, |
| "learning_rate": 6.6e-05, |
| "loss": 1.2515, |
| "step": 5100 |
| }, |
| { |
| "epoch": 10.398375253866583, |
| "grad_norm": 0.19390232861042023, |
| "learning_rate": 6.533333333333334e-05, |
| "loss": 1.2466, |
| "step": 5200 |
| }, |
| { |
| "epoch": 10.598344008748633, |
| "grad_norm": 0.19761793315410614, |
| "learning_rate": 6.466666666666666e-05, |
| "loss": 1.2471, |
| "step": 5300 |
| }, |
| { |
| "epoch": 10.798312763630683, |
| "grad_norm": 0.20083682239055634, |
| "learning_rate": 6.400000000000001e-05, |
| "loss": 1.2461, |
| "step": 5400 |
| }, |
| { |
| "epoch": 10.998281518512732, |
| "grad_norm": 0.20144224166870117, |
| "learning_rate": 6.333333333333333e-05, |
| "loss": 1.2468, |
| "step": 5500 |
| }, |
| { |
| "epoch": 10.998281518512732, |
| "eval_loss": 1.112711787223816, |
| "eval_runtime": 780.4643, |
| "eval_samples_per_second": 19.888, |
| "eval_steps_per_second": 2.487, |
| "step": 5500 |
| }, |
| { |
| "epoch": 11.198250273394782, |
| "grad_norm": 0.20055556297302246, |
| "learning_rate": 6.266666666666667e-05, |
| "loss": 1.2421, |
| "step": 5600 |
| }, |
| { |
| "epoch": 11.398219028276833, |
| "grad_norm": 0.20075921714305878, |
| "learning_rate": 6.2e-05, |
| "loss": 1.2485, |
| "step": 5700 |
| }, |
| { |
| "epoch": 11.598187783158881, |
| "grad_norm": 0.20710080862045288, |
| "learning_rate": 6.133333333333334e-05, |
| "loss": 1.2441, |
| "step": 5800 |
| }, |
| { |
| "epoch": 11.798156538040931, |
| "grad_norm": 0.19492241740226746, |
| "learning_rate": 6.066666666666667e-05, |
| "loss": 1.25, |
| "step": 5900 |
| }, |
| { |
| "epoch": 11.99812529292298, |
| "grad_norm": 0.20437301695346832, |
| "learning_rate": 6e-05, |
| "loss": 1.2491, |
| "step": 6000 |
| }, |
| { |
| "epoch": 11.99812529292298, |
| "eval_loss": 1.128514289855957, |
| "eval_runtime": 781.5324, |
| "eval_samples_per_second": 19.861, |
| "eval_steps_per_second": 2.484, |
| "step": 6000 |
| }, |
| { |
| "epoch": 12.19809404780503, |
| "grad_norm": 0.20758041739463806, |
| "learning_rate": 5.9333333333333343e-05, |
| "loss": 1.2475, |
| "step": 6100 |
| }, |
| { |
| "epoch": 12.39806280268708, |
| "grad_norm": 0.21070446074008942, |
| "learning_rate": 5.866666666666667e-05, |
| "loss": 1.2458, |
| "step": 6200 |
| }, |
| { |
| "epoch": 12.59803155756913, |
| "grad_norm": 0.1970139741897583, |
| "learning_rate": 5.8e-05, |
| "loss": 1.2423, |
| "step": 6300 |
| }, |
| { |
| "epoch": 12.79800031245118, |
| "grad_norm": 0.2171526849269867, |
| "learning_rate": 5.7333333333333336e-05, |
| "loss": 1.2384, |
| "step": 6400 |
| }, |
| { |
| "epoch": 12.99796906733323, |
| "grad_norm": 0.21207907795906067, |
| "learning_rate": 5.666666666666667e-05, |
| "loss": 1.2415, |
| "step": 6500 |
| }, |
| { |
| "epoch": 12.99796906733323, |
| "eval_loss": 1.1073068380355835, |
| "eval_runtime": 779.3448, |
| "eval_samples_per_second": 19.917, |
| "eval_steps_per_second": 2.491, |
| "step": 6500 |
| }, |
| { |
| "epoch": 13.197937822215279, |
| "grad_norm": 0.20639556646347046, |
| "learning_rate": 5.6000000000000006e-05, |
| "loss": 1.2461, |
| "step": 6600 |
| }, |
| { |
| "epoch": 13.397906577097329, |
| "grad_norm": 0.2096029669046402, |
| "learning_rate": 5.5333333333333334e-05, |
| "loss": 1.2431, |
| "step": 6700 |
| }, |
| { |
| "epoch": 13.597875331979377, |
| "grad_norm": 0.20601199567317963, |
| "learning_rate": 5.466666666666666e-05, |
| "loss": 1.2365, |
| "step": 6800 |
| }, |
| { |
| "epoch": 13.797844086861428, |
| "grad_norm": 0.20576031506061554, |
| "learning_rate": 5.4000000000000005e-05, |
| "loss": 1.236, |
| "step": 6900 |
| }, |
| { |
| "epoch": 13.997812841743478, |
| "grad_norm": 0.22089041769504547, |
| "learning_rate": 5.333333333333333e-05, |
| "loss": 1.242, |
| "step": 7000 |
| }, |
| { |
| "epoch": 13.997812841743478, |
| "eval_loss": 1.1090010404586792, |
| "eval_runtime": 781.1131, |
| "eval_samples_per_second": 19.872, |
| "eval_steps_per_second": 2.485, |
| "step": 7000 |
| }, |
| { |
| "epoch": 14.197781596625527, |
| "grad_norm": 0.21237194538116455, |
| "learning_rate": 5.266666666666666e-05, |
| "loss": 1.2406, |
| "step": 7100 |
| }, |
| { |
| "epoch": 14.397750351507577, |
| "grad_norm": 0.22387249767780304, |
| "learning_rate": 5.2000000000000004e-05, |
| "loss": 1.2395, |
| "step": 7200 |
| }, |
| { |
| "epoch": 14.597719106389627, |
| "grad_norm": 0.2192169427871704, |
| "learning_rate": 5.133333333333333e-05, |
| "loss": 1.2374, |
| "step": 7300 |
| }, |
| { |
| "epoch": 14.797687861271676, |
| "grad_norm": 0.21324670314788818, |
| "learning_rate": 5.0666666666666674e-05, |
| "loss": 1.2382, |
| "step": 7400 |
| }, |
| { |
| "epoch": 14.997656616153726, |
| "grad_norm": 0.21565145254135132, |
| "learning_rate": 5e-05, |
| "loss": 1.2337, |
| "step": 7500 |
| }, |
| { |
| "epoch": 14.997656616153726, |
| "eval_loss": 1.102397084236145, |
| "eval_runtime": 781.6511, |
| "eval_samples_per_second": 19.858, |
| "eval_steps_per_second": 2.483, |
| "step": 7500 |
| }, |
| { |
| "epoch": 15.197625371035775, |
| "grad_norm": 0.20735445618629456, |
| "learning_rate": 4.933333333333334e-05, |
| "loss": 1.2353, |
| "step": 7600 |
| }, |
| { |
| "epoch": 15.397594125917825, |
| "grad_norm": 0.2148446887731552, |
| "learning_rate": 4.866666666666667e-05, |
| "loss": 1.2372, |
| "step": 7700 |
| } |
| ], |
| "logging_steps": 100, |
| "max_steps": 15000, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 30, |
| "save_steps": 100, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": false |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 1.2017635428434706e+19, |
| "train_batch_size": 8, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
