{ "best_global_step": null, "best_metric": null, "best_model_checkpoint": null, "epoch": 0.001168613381791835, "eval_steps": 500, "global_step": 200, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 5.8430669089591743e-05, "grad_norm": 9.783331871032715, "learning_rate": 6e-06, "loss": 36.68600158691406, "step": 10 }, { "epoch": 0.00011686133817918349, "grad_norm": 11.469252586364746, "learning_rate": 1.2666666666666668e-05, "loss": 36.55324096679688, "step": 20 }, { "epoch": 0.00017529200726877522, "grad_norm": 12.40107250213623, "learning_rate": 1.9333333333333333e-05, "loss": 36.35345458984375, "step": 30 }, { "epoch": 0.00023372267635836697, "grad_norm": 11.716872215270996, "learning_rate": 2.6000000000000002e-05, "loss": 36.08180236816406, "step": 40 }, { "epoch": 0.0002921533454479587, "grad_norm": 14.445358276367188, "learning_rate": 3.266666666666667e-05, "loss": 35.567361450195314, "step": 50 }, { "epoch": 0.00035058401453755045, "grad_norm": 12.091419219970703, "learning_rate": 3.933333333333333e-05, "loss": 35.10403137207031, "step": 60 }, { "epoch": 0.0004090146836271422, "grad_norm": 13.730995178222656, "learning_rate": 4.600000000000001e-05, "loss": 33.99032287597656, "step": 70 }, { "epoch": 0.00046744535271673395, "grad_norm": 14.165889739990234, "learning_rate": 5.266666666666666e-05, "loss": 33.32759094238281, "step": 80 }, { "epoch": 0.0005258760218063257, "grad_norm": 17.01044273376465, "learning_rate": 5.9333333333333343e-05, "loss": 31.982687377929686, "step": 90 }, { "epoch": 0.0005843066908959174, "grad_norm": 20.539939880371094, "learning_rate": 6.6e-05, "loss": 30.40308532714844, "step": 100 }, { "epoch": 0.0006427373599855092, "grad_norm": 20.50539207458496, "learning_rate": 7.266666666666667e-05, "loss": 28.605145263671876, "step": 110 }, { "epoch": 0.0007011680290751009, "grad_norm": 35.68551254272461, "learning_rate": 7.933333333333334e-05, "loss": 26.790576171875, "step": 120 }, { "epoch": 0.0007595986981646927, "grad_norm": 22.74065589904785, "learning_rate": 8.6e-05, "loss": 24.934747314453126, "step": 130 }, { "epoch": 0.0008180293672542844, "grad_norm": 59.207008361816406, "learning_rate": 9.266666666666666e-05, "loss": 23.048512268066407, "step": 140 }, { "epoch": 0.0008764600363438762, "grad_norm": 46.39744186401367, "learning_rate": 9.933333333333334e-05, "loss": 21.81122589111328, "step": 150 }, { "epoch": 0.0009348907054334679, "grad_norm": 46.57512283325195, "learning_rate": 0.00010600000000000002, "loss": 21.49383087158203, "step": 160 }, { "epoch": 0.0009933213745230596, "grad_norm": 20.875106811523438, "learning_rate": 0.00011266666666666668, "loss": 20.477175903320312, "step": 170 }, { "epoch": 0.0010517520436126514, "grad_norm": 31.581335067749023, "learning_rate": 0.00011933333333333334, "loss": 19.832745361328126, "step": 180 }, { "epoch": 0.001110182712702243, "grad_norm": 56.4605712890625, "learning_rate": 0.000126, "loss": 19.4491943359375, "step": 190 }, { "epoch": 0.001168613381791835, "grad_norm": 162.9219512939453, "learning_rate": 0.00013266666666666667, "loss": 19.48320617675781, "step": 200 } ], "logging_steps": 10, "max_steps": 1000000, "num_input_tokens_seen": 0, "num_train_epochs": 6, "save_steps": 200, "stateful_callbacks": { "TrainerControl": { "args": { "should_epoch_stop": false, "should_evaluate": false, "should_log": false, "should_save": true, "should_training_stop": false }, "attributes": {} } }, "total_flos": 1598220482291712.0, "train_batch_size": 8, "trial_name": null, "trial_params": null }