| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 5.0, | |
| "eval_steps": 500, | |
| "global_step": 150, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.16666666666666666, | |
| "grad_norm": 9.436897277832031, | |
| "learning_rate": 9.666666666666667e-06, | |
| "loss": 0.9049, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 4.598751068115234, | |
| "learning_rate": 9.333333333333334e-06, | |
| "loss": 0.474, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 18.64856719970703, | |
| "learning_rate": 9e-06, | |
| "loss": 0.3636, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 2.764462471008301, | |
| "learning_rate": 8.666666666666668e-06, | |
| "loss": 0.2735, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.8333333333333334, | |
| "grad_norm": 3.180828809738159, | |
| "learning_rate": 8.333333333333334e-06, | |
| "loss": 0.2537, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 2.205051898956299, | |
| "learning_rate": 8.000000000000001e-06, | |
| "loss": 0.1821, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 1.1666666666666667, | |
| "grad_norm": 3.1492533683776855, | |
| "learning_rate": 7.666666666666667e-06, | |
| "loss": 0.1724, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 2.3773505687713623, | |
| "learning_rate": 7.333333333333333e-06, | |
| "loss": 0.175, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 1.5, | |
| "grad_norm": 3.7208127975463867, | |
| "learning_rate": 7e-06, | |
| "loss": 0.2158, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 3.7685883045196533, | |
| "learning_rate": 6.666666666666667e-06, | |
| "loss": 0.1488, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 1.8333333333333335, | |
| "grad_norm": 4.150590419769287, | |
| "learning_rate": 6.333333333333333e-06, | |
| "loss": 0.1647, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 2.614001989364624, | |
| "learning_rate": 6e-06, | |
| "loss": 0.1572, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 2.1666666666666665, | |
| "grad_norm": 2.9796955585479736, | |
| "learning_rate": 5.666666666666667e-06, | |
| "loss": 0.1323, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 2.3333333333333335, | |
| "grad_norm": 2.91125226020813, | |
| "learning_rate": 5.333333333333334e-06, | |
| "loss": 0.0999, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 2.267820358276367, | |
| "learning_rate": 5e-06, | |
| "loss": 0.108, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 2.4007506370544434, | |
| "learning_rate": 4.666666666666667e-06, | |
| "loss": 0.1233, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 2.8333333333333335, | |
| "grad_norm": 2.0459606647491455, | |
| "learning_rate": 4.333333333333334e-06, | |
| "loss": 0.1007, | |
| "step": 85 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 2.32153058052063, | |
| "learning_rate": 4.000000000000001e-06, | |
| "loss": 0.08, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 3.1666666666666665, | |
| "grad_norm": 1.6641840934753418, | |
| "learning_rate": 3.6666666666666666e-06, | |
| "loss": 0.0732, | |
| "step": 95 | |
| }, | |
| { | |
| "epoch": 3.3333333333333335, | |
| "grad_norm": 1.8924169540405273, | |
| "learning_rate": 3.3333333333333333e-06, | |
| "loss": 0.0783, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 3.5, | |
| "grad_norm": 2.335118293762207, | |
| "learning_rate": 3e-06, | |
| "loss": 0.0512, | |
| "step": 105 | |
| }, | |
| { | |
| "epoch": 3.6666666666666665, | |
| "grad_norm": 2.106768846511841, | |
| "learning_rate": 2.666666666666667e-06, | |
| "loss": 0.0636, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 3.8333333333333335, | |
| "grad_norm": 2.552989959716797, | |
| "learning_rate": 2.3333333333333336e-06, | |
| "loss": 0.0535, | |
| "step": 115 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "grad_norm": 2.0418283939361572, | |
| "learning_rate": 2.0000000000000003e-06, | |
| "loss": 0.0646, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 4.166666666666667, | |
| "grad_norm": 2.5000815391540527, | |
| "learning_rate": 1.6666666666666667e-06, | |
| "loss": 0.0442, | |
| "step": 125 | |
| }, | |
| { | |
| "epoch": 4.333333333333333, | |
| "grad_norm": 1.6515815258026123, | |
| "learning_rate": 1.3333333333333334e-06, | |
| "loss": 0.0273, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 4.5, | |
| "grad_norm": 2.1370060443878174, | |
| "learning_rate": 1.0000000000000002e-06, | |
| "loss": 0.0426, | |
| "step": 135 | |
| }, | |
| { | |
| "epoch": 4.666666666666667, | |
| "grad_norm": 1.7066609859466553, | |
| "learning_rate": 6.666666666666667e-07, | |
| "loss": 0.0473, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 4.833333333333333, | |
| "grad_norm": 1.8902711868286133, | |
| "learning_rate": 3.3333333333333335e-07, | |
| "loss": 0.0483, | |
| "step": 145 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "grad_norm": 2.0525946617126465, | |
| "learning_rate": 0.0, | |
| "loss": 0.0337, | |
| "step": 150 | |
| } | |
| ], | |
| "logging_steps": 5, | |
| "max_steps": 150, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 5, | |
| "save_steps": 10, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 8.6575620096e+16, | |
| "train_batch_size": 2, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |