| { |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 0.17066666666666666, |
| "eval_steps": 500, |
| "global_step": 20, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.008533333333333334, |
| "grad_norm": 100.21848203113535, |
| "learning_rate": 0.0, |
| "loss": 7.1962, |
| "step": 1 |
| }, |
| { |
| "epoch": 0.017066666666666667, |
| "grad_norm": 96.43006188910957, |
| "learning_rate": 3.0102999566398115e-06, |
| "loss": 6.9414, |
| "step": 2 |
| }, |
| { |
| "epoch": 0.0256, |
| "grad_norm": 97.35803466618715, |
| "learning_rate": 4.771212547196624e-06, |
| "loss": 7.0102, |
| "step": 3 |
| }, |
| { |
| "epoch": 0.034133333333333335, |
| "grad_norm": 95.14837816372646, |
| "learning_rate": 6.020599913279623e-06, |
| "loss": 6.5295, |
| "step": 4 |
| }, |
| { |
| "epoch": 0.042666666666666665, |
| "grad_norm": 91.76544275692784, |
| "learning_rate": 6.989700043360187e-06, |
| "loss": 6.4806, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.0512, |
| "grad_norm": 84.4494318688335, |
| "learning_rate": 7.781512503836437e-06, |
| "loss": 6.4194, |
| "step": 6 |
| }, |
| { |
| "epoch": 0.05973333333333333, |
| "grad_norm": 71.37977490595638, |
| "learning_rate": 8.450980400142568e-06, |
| "loss": 5.4953, |
| "step": 7 |
| }, |
| { |
| "epoch": 0.06826666666666667, |
| "grad_norm": 49.31153456754566, |
| "learning_rate": 9.030899869919434e-06, |
| "loss": 5.4123, |
| "step": 8 |
| }, |
| { |
| "epoch": 0.0768, |
| "grad_norm": 20.37296364560341, |
| "learning_rate": 9.542425094393249e-06, |
| "loss": 5.2334, |
| "step": 9 |
| }, |
| { |
| "epoch": 0.08533333333333333, |
| "grad_norm": 7.968467079076881, |
| "learning_rate": 9.999999999999999e-06, |
| "loss": 5.0282, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.09386666666666667, |
| "grad_norm": 3.559446532055649, |
| "learning_rate": 1.041392685158225e-05, |
| "loss": 4.612, |
| "step": 11 |
| }, |
| { |
| "epoch": 0.1024, |
| "grad_norm": 3.5528846947995674, |
| "learning_rate": 1.0791812460476248e-05, |
| "loss": 4.9475, |
| "step": 12 |
| }, |
| { |
| "epoch": 0.11093333333333333, |
| "grad_norm": 3.541968897471334, |
| "learning_rate": 1.1139433523068365e-05, |
| "loss": 4.2777, |
| "step": 13 |
| }, |
| { |
| "epoch": 0.11946666666666667, |
| "grad_norm": 3.54718070036198, |
| "learning_rate": 1.1461280356782378e-05, |
| "loss": 4.3507, |
| "step": 14 |
| }, |
| { |
| "epoch": 0.128, |
| "grad_norm": 3.8632334830606747, |
| "learning_rate": 1.1760912590556813e-05, |
| "loss": 4.5364, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.13653333333333334, |
| "grad_norm": 3.6637424744054004, |
| "learning_rate": 1.2041199826559246e-05, |
| "loss": 3.9672, |
| "step": 16 |
| }, |
| { |
| "epoch": 0.14506666666666668, |
| "grad_norm": 3.919802904818311, |
| "learning_rate": 1.230448921378274e-05, |
| "loss": 4.0618, |
| "step": 17 |
| }, |
| { |
| "epoch": 0.1536, |
| "grad_norm": 4.71904950738746, |
| "learning_rate": 1.2552725051033058e-05, |
| "loss": 4.6656, |
| "step": 18 |
| }, |
| { |
| "epoch": 0.16213333333333332, |
| "grad_norm": 4.6656317698690835, |
| "learning_rate": 1.2787536009528288e-05, |
| "loss": 4.1131, |
| "step": 19 |
| }, |
| { |
| "epoch": 0.17066666666666666, |
| "grad_norm": 5.145138692367417, |
| "learning_rate": 1.301029995663981e-05, |
| "loss": 4.0989, |
| "step": 20 |
| } |
| ], |
| "logging_steps": 1, |
| "max_steps": 351, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 3, |
| "save_steps": 20, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": false |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 2.924957640079442e+17, |
| "train_batch_size": 16, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
