| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 6.666666666666667, |
| "eval_steps": 200, |
| "global_step": 1000, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 0.6783432960510254, |
| "learning_rate": 2.45e-05, |
| "loss": 1.7926, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 0.8740464448928833, |
| "learning_rate": 4.9500000000000004e-05, |
| "loss": 1.792, |
| "step": 100 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 0.39078089594841003, |
| "learning_rate": 4.727777777777778e-05, |
| "loss": 1.7944, |
| "step": 150 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "grad_norm": 0.33186423778533936, |
| "learning_rate": 4.4500000000000004e-05, |
| "loss": 1.7914, |
| "step": 200 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "eval_loss": 1.7924786806106567, |
| "eval_runtime": 3.1854, |
| "eval_samples_per_second": 80.367, |
| "eval_steps_per_second": 26.998, |
| "step": 200 |
| }, |
| { |
| "epoch": 1.6666666666666665, |
| "grad_norm": 0.5833041667938232, |
| "learning_rate": 4.172222222222222e-05, |
| "loss": 1.7925, |
| "step": 250 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 0.46559035778045654, |
| "learning_rate": 3.894444444444444e-05, |
| "loss": 1.7915, |
| "step": 300 |
| }, |
| { |
| "epoch": 2.3333333333333335, |
| "grad_norm": 0.9849393367767334, |
| "learning_rate": 3.6166666666666674e-05, |
| "loss": 1.7777, |
| "step": 350 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "grad_norm": 1.4651333093643188, |
| "learning_rate": 3.338888888888889e-05, |
| "loss": 1.7679, |
| "step": 400 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "eval_loss": 1.7920403480529785, |
| "eval_runtime": 3.3856, |
| "eval_samples_per_second": 75.614, |
| "eval_steps_per_second": 25.402, |
| "step": 400 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 1.5479764938354492, |
| "learning_rate": 3.061111111111111e-05, |
| "loss": 1.7609, |
| "step": 450 |
| }, |
| { |
| "epoch": 3.3333333333333335, |
| "grad_norm": 2.259291648864746, |
| "learning_rate": 2.7833333333333333e-05, |
| "loss": 1.7067, |
| "step": 500 |
| }, |
| { |
| "epoch": 3.6666666666666665, |
| "grad_norm": 2.9294350147247314, |
| "learning_rate": 2.5055555555555555e-05, |
| "loss": 1.6985, |
| "step": 550 |
| }, |
| { |
| "epoch": 4.0, |
| "grad_norm": 3.1969127655029297, |
| "learning_rate": 2.2277777777777778e-05, |
| "loss": 1.6688, |
| "step": 600 |
| }, |
| { |
| "epoch": 4.0, |
| "eval_loss": 1.8369163274765015, |
| "eval_runtime": 3.2189, |
| "eval_samples_per_second": 79.531, |
| "eval_steps_per_second": 26.717, |
| "step": 600 |
| }, |
| { |
| "epoch": 4.333333333333333, |
| "grad_norm": 3.3935906887054443, |
| "learning_rate": 1.9500000000000003e-05, |
| "loss": 1.5947, |
| "step": 650 |
| }, |
| { |
| "epoch": 4.666666666666667, |
| "grad_norm": 3.4424946308135986, |
| "learning_rate": 1.6722222222222222e-05, |
| "loss": 1.5741, |
| "step": 700 |
| }, |
| { |
| "epoch": 5.0, |
| "grad_norm": 5.116281986236572, |
| "learning_rate": 1.3944444444444446e-05, |
| "loss": 1.5815, |
| "step": 750 |
| }, |
| { |
| "epoch": 5.333333333333333, |
| "grad_norm": 4.4982404708862305, |
| "learning_rate": 1.1166666666666668e-05, |
| "loss": 1.5033, |
| "step": 800 |
| }, |
| { |
| "epoch": 5.333333333333333, |
| "eval_loss": 1.906564474105835, |
| "eval_runtime": 3.107, |
| "eval_samples_per_second": 82.395, |
| "eval_steps_per_second": 27.68, |
| "step": 800 |
| }, |
| { |
| "epoch": 5.666666666666667, |
| "grad_norm": 4.792201519012451, |
| "learning_rate": 8.38888888888889e-06, |
| "loss": 1.4971, |
| "step": 850 |
| }, |
| { |
| "epoch": 6.0, |
| "grad_norm": 6.327243804931641, |
| "learning_rate": 5.611111111111112e-06, |
| "loss": 1.4862, |
| "step": 900 |
| }, |
| { |
| "epoch": 6.333333333333333, |
| "grad_norm": 4.900503158569336, |
| "learning_rate": 2.8333333333333335e-06, |
| "loss": 1.4304, |
| "step": 950 |
| }, |
| { |
| "epoch": 6.666666666666667, |
| "grad_norm": 6.444445610046387, |
| "learning_rate": 5.555555555555556e-08, |
| "loss": 1.4544, |
| "step": 1000 |
| }, |
| { |
| "epoch": 6.666666666666667, |
| "eval_loss": 1.937528133392334, |
| "eval_runtime": 3.2066, |
| "eval_samples_per_second": 79.834, |
| "eval_steps_per_second": 26.819, |
| "step": 1000 |
| }, |
| { |
| "epoch": 6.666666666666667, |
| "step": 1000, |
| "total_flos": 398046486528000.0, |
| "train_loss": 1.6628282318115235, |
| "train_runtime": 93.6403, |
| "train_samples_per_second": 256.3, |
| "train_steps_per_second": 10.679 |
| } |
| ], |
| "logging_steps": 50, |
| "max_steps": 1000, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 7, |
| "save_steps": 200, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 398046486528000.0, |
| "train_batch_size": 24, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
