| { |
| "best_global_step": 1000, |
| "best_metric": 0.25383442640304565, |
| "best_model_checkpoint": "models/checkpoints/A1_pairs/checkpoint-1000", |
| "epoch": 6.666666666666667, |
| "eval_steps": 200, |
| "global_step": 1000, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 0.20332632958889008, |
| "learning_rate": 4.9000000000000005e-06, |
| "loss": 0.388, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 0.19637802243232727, |
| "learning_rate": 9.900000000000002e-06, |
| "loss": 0.3931, |
| "step": 100 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 0.4427674114704132, |
| "learning_rate": 1.49e-05, |
| "loss": 0.391, |
| "step": 150 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "grad_norm": 0.9093018770217896, |
| "learning_rate": 1.9900000000000003e-05, |
| "loss": 0.387, |
| "step": 200 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "eval_loss": 0.383359432220459, |
| "eval_runtime": 20.0964, |
| "eval_samples_per_second": 3.284, |
| "eval_steps_per_second": 3.284, |
| "step": 200 |
| }, |
| { |
| "epoch": 1.6666666666666665, |
| "grad_norm": 0.2926422655582428, |
| "learning_rate": 2.4900000000000002e-05, |
| "loss": 0.3939, |
| "step": 250 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 0.6447100043296814, |
| "learning_rate": 2.9900000000000002e-05, |
| "loss": 0.3941, |
| "step": 300 |
| }, |
| { |
| "epoch": 2.3333333333333335, |
| "grad_norm": 0.375397264957428, |
| "learning_rate": 3.49e-05, |
| "loss": 0.3993, |
| "step": 350 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "grad_norm": 0.44657057523727417, |
| "learning_rate": 3.99e-05, |
| "loss": 0.3777, |
| "step": 400 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "eval_loss": 0.3782902956008911, |
| "eval_runtime": 20.7095, |
| "eval_samples_per_second": 3.187, |
| "eval_steps_per_second": 3.187, |
| "step": 400 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 1.4800055027008057, |
| "learning_rate": 4.49e-05, |
| "loss": 0.3872, |
| "step": 450 |
| }, |
| { |
| "epoch": 3.3333333333333335, |
| "grad_norm": 0.6118736267089844, |
| "learning_rate": 4.99e-05, |
| "loss": 0.3784, |
| "step": 500 |
| }, |
| { |
| "epoch": 3.6666666666666665, |
| "grad_norm": 2.1284306049346924, |
| "learning_rate": 5.4900000000000006e-05, |
| "loss": 0.3615, |
| "step": 550 |
| }, |
| { |
| "epoch": 4.0, |
| "grad_norm": 2.8351080417633057, |
| "learning_rate": 5.99e-05, |
| "loss": 0.383, |
| "step": 600 |
| }, |
| { |
| "epoch": 4.0, |
| "eval_loss": 0.33517923951148987, |
| "eval_runtime": 20.0728, |
| "eval_samples_per_second": 3.288, |
| "eval_steps_per_second": 3.288, |
| "step": 600 |
| }, |
| { |
| "epoch": 4.333333333333333, |
| "grad_norm": 2.6889889240264893, |
| "learning_rate": 6.49e-05, |
| "loss": 0.3317, |
| "step": 650 |
| }, |
| { |
| "epoch": 4.666666666666667, |
| "grad_norm": 1.5787054300308228, |
| "learning_rate": 6.99e-05, |
| "loss": 0.3583, |
| "step": 700 |
| }, |
| { |
| "epoch": 5.0, |
| "grad_norm": 0.9819799065589905, |
| "learning_rate": 7.49e-05, |
| "loss": 0.3528, |
| "step": 750 |
| }, |
| { |
| "epoch": 5.333333333333333, |
| "grad_norm": 1.5793272256851196, |
| "learning_rate": 7.99e-05, |
| "loss": 0.3219, |
| "step": 800 |
| }, |
| { |
| "epoch": 5.333333333333333, |
| "eval_loss": 0.3008609414100647, |
| "eval_runtime": 20.7226, |
| "eval_samples_per_second": 3.185, |
| "eval_steps_per_second": 3.185, |
| "step": 800 |
| }, |
| { |
| "epoch": 5.666666666666667, |
| "grad_norm": 1.947034478187561, |
| "learning_rate": 8.49e-05, |
| "loss": 0.3132, |
| "step": 850 |
| }, |
| { |
| "epoch": 6.0, |
| "grad_norm": 1.3541063070297241, |
| "learning_rate": 8.99e-05, |
| "loss": 0.3107, |
| "step": 900 |
| }, |
| { |
| "epoch": 6.333333333333333, |
| "grad_norm": 1.0224804878234863, |
| "learning_rate": 9.49e-05, |
| "loss": 0.2966, |
| "step": 950 |
| }, |
| { |
| "epoch": 6.666666666666667, |
| "grad_norm": 3.6710569858551025, |
| "learning_rate": 9.99e-05, |
| "loss": 0.343, |
| "step": 1000 |
| }, |
| { |
| "epoch": 6.666666666666667, |
| "eval_loss": 0.25383442640304565, |
| "eval_runtime": 19.9983, |
| "eval_samples_per_second": 3.3, |
| "eval_steps_per_second": 3.3, |
| "step": 1000 |
| }, |
| { |
| "epoch": 6.666666666666667, |
| "step": 1000, |
| "total_flos": 0.0, |
| "train_loss": 0.36311948585510256, |
| "train_runtime": 3068.7752, |
| "train_samples_per_second": 1.303, |
| "train_steps_per_second": 0.326 |
| } |
| ], |
| "logging_steps": 50, |
| "max_steps": 1000, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 7, |
| "save_steps": 200, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 0.0, |
| "train_batch_size": 4, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
