{ "best_global_step": null, "best_metric": null, "best_model_checkpoint": null, "epoch": 0.001168613381791835, "eval_steps": 500, "global_step": 200, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 5.8430669089591743e-05, "grad_norm": 10.995234489440918, "learning_rate": 6e-06, "loss": 36.76142578125, "step": 10 }, { "epoch": 0.00011686133817918349, "grad_norm": 10.91879653930664, "learning_rate": 1.2666666666666668e-05, "loss": 36.63887023925781, "step": 20 }, { "epoch": 0.00017529200726877522, "grad_norm": 12.004676818847656, "learning_rate": 1.9333333333333333e-05, "loss": 36.38578491210937, "step": 30 }, { "epoch": 0.00023372267635836697, "grad_norm": 11.3691987991333, "learning_rate": 2.6000000000000002e-05, "loss": 36.06534118652344, "step": 40 }, { "epoch": 0.0002921533454479587, "grad_norm": 13.08530044555664, "learning_rate": 3.266666666666667e-05, "loss": 35.64937744140625, "step": 50 }, { "epoch": 0.00035058401453755045, "grad_norm": 13.18602180480957, "learning_rate": 3.933333333333333e-05, "loss": 35.051446533203126, "step": 60 }, { "epoch": 0.0004090146836271422, "grad_norm": 13.574982643127441, "learning_rate": 4.600000000000001e-05, "loss": 34.180169677734376, "step": 70 }, { "epoch": 0.00046744535271673395, "grad_norm": 14.570645332336426, "learning_rate": 5.266666666666666e-05, "loss": 33.2185546875, "step": 80 }, { "epoch": 0.0005258760218063257, "grad_norm": 16.55890464782715, "learning_rate": 5.9333333333333343e-05, "loss": 32.12116394042969, "step": 90 }, { "epoch": 0.0005843066908959174, "grad_norm": 17.331336975097656, "learning_rate": 6.6e-05, "loss": 30.47571716308594, "step": 100 }, { "epoch": 0.0006427373599855092, "grad_norm": 14.68326187133789, "learning_rate": 7.266666666666667e-05, "loss": 28.728692626953126, "step": 110 }, { "epoch": 0.0007011680290751009, "grad_norm": 18.396814346313477, "learning_rate": 7.933333333333334e-05, "loss": 26.857958984375, "step": 120 }, { "epoch": 0.0007595986981646927, "grad_norm": 16.36812973022461, "learning_rate": 8.6e-05, "loss": 25.132843017578125, "step": 130 }, { "epoch": 0.0008180293672542844, "grad_norm": 21.44991111755371, "learning_rate": 9.266666666666666e-05, "loss": 23.530233764648436, "step": 140 }, { "epoch": 0.0008764600363438762, "grad_norm": 22.47516632080078, "learning_rate": 9.933333333333334e-05, "loss": 22.332640075683592, "step": 150 }, { "epoch": 0.0009348907054334679, "grad_norm": 22.053213119506836, "learning_rate": 0.00010600000000000002, "loss": 21.743748474121094, "step": 160 }, { "epoch": 0.0009933213745230596, "grad_norm": 26.53052520751953, "learning_rate": 0.00011266666666666668, "loss": 20.7405029296875, "step": 170 }, { "epoch": 0.0010517520436126514, "grad_norm": 37.71436309814453, "learning_rate": 0.00011933333333333334, "loss": 19.994790649414064, "step": 180 }, { "epoch": 0.001110182712702243, "grad_norm": 33.68248748779297, "learning_rate": 0.000126, "loss": 19.59712371826172, "step": 190 }, { "epoch": 0.001168613381791835, "grad_norm": 29.311405181884766, "learning_rate": 0.00013266666666666667, "loss": 19.54248809814453, "step": 200 } ], "logging_steps": 10, "max_steps": 1000000, "num_input_tokens_seen": 0, "num_train_epochs": 6, "save_steps": 200, "stateful_callbacks": { "TrainerControl": { "args": { "should_epoch_stop": false, "should_evaluate": false, "should_log": false, "should_save": true, "should_training_stop": false }, "attributes": {} } }, "total_flos": 1598220482291712.0, "train_batch_size": 8, "trial_name": null, "trial_params": null }