| { |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 3.0, |
| "eval_steps": 500, |
| "global_step": 46875, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.032, |
| "grad_norm": 3.0688767433166504, |
| "learning_rate": 4.9466666666666665e-05, |
| "loss": 8.5085, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.064, |
| "grad_norm": 2.8714869022369385, |
| "learning_rate": 4.8933333333333335e-05, |
| "loss": 5.9621, |
| "step": 1000 |
| }, |
| { |
| "epoch": 0.096, |
| "grad_norm": 2.845763921737671, |
| "learning_rate": 4.8400000000000004e-05, |
| "loss": 5.3108, |
| "step": 1500 |
| }, |
| { |
| "epoch": 0.128, |
| "grad_norm": 2.8513896465301514, |
| "learning_rate": 4.7866666666666674e-05, |
| "loss": 4.9447, |
| "step": 2000 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 3.00079083442688, |
| "learning_rate": 4.7333333333333336e-05, |
| "loss": 4.7073, |
| "step": 2500 |
| }, |
| { |
| "epoch": 0.192, |
| "grad_norm": 3.282025098800659, |
| "learning_rate": 4.6800000000000006e-05, |
| "loss": 4.5204, |
| "step": 3000 |
| }, |
| { |
| "epoch": 0.224, |
| "grad_norm": 3.0466010570526123, |
| "learning_rate": 4.626666666666667e-05, |
| "loss": 4.3748, |
| "step": 3500 |
| }, |
| { |
| "epoch": 0.256, |
| "grad_norm": 3.2875287532806396, |
| "learning_rate": 4.573333333333333e-05, |
| "loss": 4.2503, |
| "step": 4000 |
| }, |
| { |
| "epoch": 0.288, |
| "grad_norm": 3.0624234676361084, |
| "learning_rate": 4.52e-05, |
| "loss": 4.1526, |
| "step": 4500 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 2.975829839706421, |
| "learning_rate": 4.466666666666667e-05, |
| "loss": 4.0613, |
| "step": 5000 |
| }, |
| { |
| "epoch": 0.352, |
| "grad_norm": 3.0458757877349854, |
| "learning_rate": 4.413333333333334e-05, |
| "loss": 3.9849, |
| "step": 5500 |
| }, |
| { |
| "epoch": 0.384, |
| "grad_norm": 3.083315134048462, |
| "learning_rate": 4.36e-05, |
| "loss": 3.9271, |
| "step": 6000 |
| }, |
| { |
| "epoch": 0.416, |
| "grad_norm": 3.3206729888916016, |
| "learning_rate": 4.3066666666666665e-05, |
| "loss": 3.8667, |
| "step": 6500 |
| }, |
| { |
| "epoch": 0.448, |
| "grad_norm": 3.1549313068389893, |
| "learning_rate": 4.2533333333333335e-05, |
| "loss": 3.8011, |
| "step": 7000 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 3.3961284160614014, |
| "learning_rate": 4.2e-05, |
| "loss": 3.7605, |
| "step": 7500 |
| }, |
| { |
| "epoch": 0.512, |
| "grad_norm": 3.2151198387145996, |
| "learning_rate": 4.146666666666667e-05, |
| "loss": 3.7161, |
| "step": 8000 |
| }, |
| { |
| "epoch": 0.544, |
| "grad_norm": 3.3490331172943115, |
| "learning_rate": 4.093333333333334e-05, |
| "loss": 3.672, |
| "step": 8500 |
| }, |
| { |
| "epoch": 0.576, |
| "grad_norm": 3.364473342895508, |
| "learning_rate": 4.0400000000000006e-05, |
| "loss": 3.6368, |
| "step": 9000 |
| }, |
| { |
| "epoch": 0.608, |
| "grad_norm": 3.233464241027832, |
| "learning_rate": 3.986666666666667e-05, |
| "loss": 3.5973, |
| "step": 9500 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 3.24161434173584, |
| "learning_rate": 3.933333333333333e-05, |
| "loss": 3.5645, |
| "step": 10000 |
| }, |
| { |
| "epoch": 0.672, |
| "grad_norm": 3.465515613555908, |
| "learning_rate": 3.88e-05, |
| "loss": 3.5329, |
| "step": 10500 |
| }, |
| { |
| "epoch": 0.704, |
| "grad_norm": 3.453639030456543, |
| "learning_rate": 3.8266666666666664e-05, |
| "loss": 3.5114, |
| "step": 11000 |
| }, |
| { |
| "epoch": 0.736, |
| "grad_norm": 3.2999935150146484, |
| "learning_rate": 3.773333333333334e-05, |
| "loss": 3.4747, |
| "step": 11500 |
| }, |
| { |
| "epoch": 0.768, |
| "grad_norm": 3.336808204650879, |
| "learning_rate": 3.72e-05, |
| "loss": 3.456, |
| "step": 12000 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 3.2555413246154785, |
| "learning_rate": 3.6666666666666666e-05, |
| "loss": 3.4371, |
| "step": 12500 |
| }, |
| { |
| "epoch": 0.832, |
| "grad_norm": 3.7579658031463623, |
| "learning_rate": 3.6133333333333335e-05, |
| "loss": 3.4133, |
| "step": 13000 |
| }, |
| { |
| "epoch": 0.864, |
| "grad_norm": 3.708977460861206, |
| "learning_rate": 3.56e-05, |
| "loss": 3.388, |
| "step": 13500 |
| }, |
| { |
| "epoch": 0.896, |
| "grad_norm": 3.3991737365722656, |
| "learning_rate": 3.506666666666667e-05, |
| "loss": 3.3746, |
| "step": 14000 |
| }, |
| { |
| "epoch": 0.928, |
| "grad_norm": 3.567798376083374, |
| "learning_rate": 3.453333333333334e-05, |
| "loss": 3.3703, |
| "step": 14500 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 3.6992616653442383, |
| "learning_rate": 3.4000000000000007e-05, |
| "loss": 3.3526, |
| "step": 15000 |
| }, |
| { |
| "epoch": 0.992, |
| "grad_norm": 3.4626471996307373, |
| "learning_rate": 3.346666666666667e-05, |
| "loss": 3.327, |
| "step": 15500 |
| }, |
| { |
| "epoch": 1.024, |
| "grad_norm": 3.6024370193481445, |
| "learning_rate": 3.293333333333333e-05, |
| "loss": 3.3111, |
| "step": 16000 |
| }, |
| { |
| "epoch": 1.056, |
| "grad_norm": 3.6669204235076904, |
| "learning_rate": 3.24e-05, |
| "loss": 3.2861, |
| "step": 16500 |
| }, |
| { |
| "epoch": 1.088, |
| "grad_norm": 3.700946569442749, |
| "learning_rate": 3.1866666666666664e-05, |
| "loss": 3.2863, |
| "step": 17000 |
| }, |
| { |
| "epoch": 1.12, |
| "grad_norm": 3.7065911293029785, |
| "learning_rate": 3.1333333333333334e-05, |
| "loss": 3.2832, |
| "step": 17500 |
| }, |
| { |
| "epoch": 1.152, |
| "grad_norm": 3.950272560119629, |
| "learning_rate": 3.08e-05, |
| "loss": 3.2619, |
| "step": 18000 |
| }, |
| { |
| "epoch": 1.184, |
| "grad_norm": 3.698962688446045, |
| "learning_rate": 3.0266666666666666e-05, |
| "loss": 3.2391, |
| "step": 18500 |
| }, |
| { |
| "epoch": 1.216, |
| "grad_norm": 4.116022109985352, |
| "learning_rate": 2.9733333333333336e-05, |
| "loss": 3.2283, |
| "step": 19000 |
| }, |
| { |
| "epoch": 1.248, |
| "grad_norm": 3.804798126220703, |
| "learning_rate": 2.9199999999999998e-05, |
| "loss": 3.2233, |
| "step": 19500 |
| }, |
| { |
| "epoch": 1.28, |
| "grad_norm": 3.8435137271881104, |
| "learning_rate": 2.8666666666666668e-05, |
| "loss": 3.2188, |
| "step": 20000 |
| }, |
| { |
| "epoch": 1.312, |
| "grad_norm": 3.7496590614318848, |
| "learning_rate": 2.8133333333333334e-05, |
| "loss": 3.2213, |
| "step": 20500 |
| }, |
| { |
| "epoch": 1.3439999999999999, |
| "grad_norm": 3.7473232746124268, |
| "learning_rate": 2.7600000000000003e-05, |
| "loss": 3.208, |
| "step": 21000 |
| }, |
| { |
| "epoch": 1.376, |
| "grad_norm": 3.721550703048706, |
| "learning_rate": 2.706666666666667e-05, |
| "loss": 3.1987, |
| "step": 21500 |
| }, |
| { |
| "epoch": 1.408, |
| "grad_norm": 3.6955220699310303, |
| "learning_rate": 2.6533333333333332e-05, |
| "loss": 3.1812, |
| "step": 22000 |
| }, |
| { |
| "epoch": 1.44, |
| "grad_norm": 3.815722703933716, |
| "learning_rate": 2.6000000000000002e-05, |
| "loss": 3.1762, |
| "step": 22500 |
| }, |
| { |
| "epoch": 1.472, |
| "grad_norm": 3.798374891281128, |
| "learning_rate": 2.5466666666666668e-05, |
| "loss": 3.1642, |
| "step": 23000 |
| }, |
| { |
| "epoch": 1.504, |
| "grad_norm": 3.9645771980285645, |
| "learning_rate": 2.4933333333333334e-05, |
| "loss": 3.1586, |
| "step": 23500 |
| }, |
| { |
| "epoch": 1.536, |
| "grad_norm": 3.8214755058288574, |
| "learning_rate": 2.44e-05, |
| "loss": 3.1554, |
| "step": 24000 |
| }, |
| { |
| "epoch": 1.568, |
| "grad_norm": 3.98592209815979, |
| "learning_rate": 2.3866666666666666e-05, |
| "loss": 3.1389, |
| "step": 24500 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 3.8377933502197266, |
| "learning_rate": 2.3333333333333336e-05, |
| "loss": 3.1491, |
| "step": 25000 |
| }, |
| { |
| "epoch": 1.6320000000000001, |
| "grad_norm": 3.8745968341827393, |
| "learning_rate": 2.2800000000000002e-05, |
| "loss": 3.1308, |
| "step": 25500 |
| }, |
| { |
| "epoch": 1.6640000000000001, |
| "grad_norm": 3.745762825012207, |
| "learning_rate": 2.2266666666666668e-05, |
| "loss": 3.1449, |
| "step": 26000 |
| }, |
| { |
| "epoch": 1.696, |
| "grad_norm": 3.9818758964538574, |
| "learning_rate": 2.1733333333333334e-05, |
| "loss": 3.1248, |
| "step": 26500 |
| }, |
| { |
| "epoch": 1.728, |
| "grad_norm": 4.149341583251953, |
| "learning_rate": 2.12e-05, |
| "loss": 3.1183, |
| "step": 27000 |
| }, |
| { |
| "epoch": 1.76, |
| "grad_norm": 4.235140323638916, |
| "learning_rate": 2.0666666666666666e-05, |
| "loss": 3.1143, |
| "step": 27500 |
| }, |
| { |
| "epoch": 1.792, |
| "grad_norm": 4.1369853019714355, |
| "learning_rate": 2.0133333333333336e-05, |
| "loss": 3.105, |
| "step": 28000 |
| }, |
| { |
| "epoch": 1.8239999999999998, |
| "grad_norm": 4.08878755569458, |
| "learning_rate": 1.9600000000000002e-05, |
| "loss": 3.1012, |
| "step": 28500 |
| }, |
| { |
| "epoch": 1.8559999999999999, |
| "grad_norm": 4.079428195953369, |
| "learning_rate": 1.9066666666666668e-05, |
| "loss": 3.0927, |
| "step": 29000 |
| }, |
| { |
| "epoch": 1.888, |
| "grad_norm": 4.285713195800781, |
| "learning_rate": 1.8533333333333334e-05, |
| "loss": 3.0993, |
| "step": 29500 |
| }, |
| { |
| "epoch": 1.92, |
| "grad_norm": 4.0727057456970215, |
| "learning_rate": 1.8e-05, |
| "loss": 3.0885, |
| "step": 30000 |
| }, |
| { |
| "epoch": 1.952, |
| "grad_norm": 4.2783050537109375, |
| "learning_rate": 1.7466666666666667e-05, |
| "loss": 3.0908, |
| "step": 30500 |
| }, |
| { |
| "epoch": 1.984, |
| "grad_norm": 4.07489538192749, |
| "learning_rate": 1.6933333333333333e-05, |
| "loss": 3.0853, |
| "step": 31000 |
| }, |
| { |
| "epoch": 2.016, |
| "grad_norm": 4.209177017211914, |
| "learning_rate": 1.6400000000000002e-05, |
| "loss": 3.0862, |
| "step": 31500 |
| }, |
| { |
| "epoch": 2.048, |
| "grad_norm": 4.251880645751953, |
| "learning_rate": 1.586666666666667e-05, |
| "loss": 3.0724, |
| "step": 32000 |
| }, |
| { |
| "epoch": 2.08, |
| "grad_norm": 4.028469562530518, |
| "learning_rate": 1.5333333333333334e-05, |
| "loss": 3.0776, |
| "step": 32500 |
| }, |
| { |
| "epoch": 2.112, |
| "grad_norm": 4.50079870223999, |
| "learning_rate": 1.48e-05, |
| "loss": 3.0657, |
| "step": 33000 |
| }, |
| { |
| "epoch": 2.144, |
| "grad_norm": 4.164511680603027, |
| "learning_rate": 1.4266666666666667e-05, |
| "loss": 3.0694, |
| "step": 33500 |
| }, |
| { |
| "epoch": 2.176, |
| "grad_norm": 3.971449375152588, |
| "learning_rate": 1.3733333333333335e-05, |
| "loss": 3.0689, |
| "step": 34000 |
| }, |
| { |
| "epoch": 2.208, |
| "grad_norm": 4.425968647003174, |
| "learning_rate": 1.32e-05, |
| "loss": 3.0592, |
| "step": 34500 |
| }, |
| { |
| "epoch": 2.24, |
| "grad_norm": 4.022139072418213, |
| "learning_rate": 1.2666666666666668e-05, |
| "loss": 3.0549, |
| "step": 35000 |
| }, |
| { |
| "epoch": 2.2720000000000002, |
| "grad_norm": 4.231088161468506, |
| "learning_rate": 1.2133333333333335e-05, |
| "loss": 3.0627, |
| "step": 35500 |
| }, |
| { |
| "epoch": 2.304, |
| "grad_norm": 4.3517937660217285, |
| "learning_rate": 1.16e-05, |
| "loss": 3.0509, |
| "step": 36000 |
| }, |
| { |
| "epoch": 2.336, |
| "grad_norm": 4.231758117675781, |
| "learning_rate": 1.1066666666666667e-05, |
| "loss": 3.0586, |
| "step": 36500 |
| }, |
| { |
| "epoch": 2.368, |
| "grad_norm": 4.29398775100708, |
| "learning_rate": 1.0533333333333335e-05, |
| "loss": 3.0566, |
| "step": 37000 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 4.205121994018555, |
| "learning_rate": 1e-05, |
| "loss": 3.0514, |
| "step": 37500 |
| }, |
| { |
| "epoch": 2.432, |
| "grad_norm": 4.414741516113281, |
| "learning_rate": 9.466666666666667e-06, |
| "loss": 3.0517, |
| "step": 38000 |
| }, |
| { |
| "epoch": 2.464, |
| "grad_norm": 4.274301052093506, |
| "learning_rate": 8.933333333333333e-06, |
| "loss": 3.0494, |
| "step": 38500 |
| }, |
| { |
| "epoch": 2.496, |
| "grad_norm": 4.24798059463501, |
| "learning_rate": 8.400000000000001e-06, |
| "loss": 3.0418, |
| "step": 39000 |
| }, |
| { |
| "epoch": 2.528, |
| "grad_norm": 4.242441654205322, |
| "learning_rate": 7.866666666666667e-06, |
| "loss": 3.0486, |
| "step": 39500 |
| }, |
| { |
| "epoch": 2.56, |
| "grad_norm": 4.640422821044922, |
| "learning_rate": 7.333333333333334e-06, |
| "loss": 3.0418, |
| "step": 40000 |
| }, |
| { |
| "epoch": 2.592, |
| "grad_norm": 4.484115123748779, |
| "learning_rate": 6.800000000000001e-06, |
| "loss": 3.0431, |
| "step": 40500 |
| }, |
| { |
| "epoch": 2.624, |
| "grad_norm": 4.314969539642334, |
| "learning_rate": 6.266666666666666e-06, |
| "loss": 3.0339, |
| "step": 41000 |
| }, |
| { |
| "epoch": 2.656, |
| "grad_norm": 4.437536716461182, |
| "learning_rate": 5.733333333333333e-06, |
| "loss": 3.0384, |
| "step": 41500 |
| }, |
| { |
| "epoch": 2.6879999999999997, |
| "grad_norm": 4.328260898590088, |
| "learning_rate": 5.2e-06, |
| "loss": 3.0424, |
| "step": 42000 |
| }, |
| { |
| "epoch": 2.7199999999999998, |
| "grad_norm": 4.293184757232666, |
| "learning_rate": 4.666666666666667e-06, |
| "loss": 3.0453, |
| "step": 42500 |
| }, |
| { |
| "epoch": 2.752, |
| "grad_norm": 4.19020938873291, |
| "learning_rate": 4.133333333333333e-06, |
| "loss": 3.0363, |
| "step": 43000 |
| }, |
| { |
| "epoch": 2.784, |
| "grad_norm": 5.02966833114624, |
| "learning_rate": 3.6e-06, |
| "loss": 3.0359, |
| "step": 43500 |
| }, |
| { |
| "epoch": 2.816, |
| "grad_norm": 4.363988876342773, |
| "learning_rate": 3.066666666666667e-06, |
| "loss": 3.0364, |
| "step": 44000 |
| }, |
| { |
| "epoch": 2.848, |
| "grad_norm": 4.423539638519287, |
| "learning_rate": 2.5333333333333334e-06, |
| "loss": 3.0265, |
| "step": 44500 |
| }, |
| { |
| "epoch": 2.88, |
| "grad_norm": 4.142242908477783, |
| "learning_rate": 2.0000000000000003e-06, |
| "loss": 3.0369, |
| "step": 45000 |
| }, |
| { |
| "epoch": 2.912, |
| "grad_norm": 4.122555732727051, |
| "learning_rate": 1.4666666666666667e-06, |
| "loss": 3.0251, |
| "step": 45500 |
| }, |
| { |
| "epoch": 2.944, |
| "grad_norm": 4.68415641784668, |
| "learning_rate": 9.333333333333334e-07, |
| "loss": 3.0235, |
| "step": 46000 |
| }, |
| { |
| "epoch": 2.976, |
| "grad_norm": 4.3801589012146, |
| "learning_rate": 4.0000000000000003e-07, |
| "loss": 3.032, |
| "step": 46500 |
| } |
| ], |
| "logging_steps": 500, |
| "max_steps": 46875, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 3, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 3.97189214208e+17, |
| "train_batch_size": 16, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
