| { | |
| "best_global_step": null, | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 3.0, | |
| "eval_steps": 500, | |
| "global_step": 180, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.08333333333333333, | |
| "grad_norm": 0.6145076751708984, | |
| "learning_rate": 8e-06, | |
| "loss": 1.8583, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.16666666666666666, | |
| "grad_norm": 0.5296005606651306, | |
| "learning_rate": 1.8e-05, | |
| "loss": 1.8785, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.25, | |
| "grad_norm": 0.46463486552238464, | |
| "learning_rate": 2.8e-05, | |
| "loss": 1.857, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 0.5395928025245667, | |
| "learning_rate": 2.998542122917149e-05, | |
| "loss": 1.7518, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.4166666666666667, | |
| "grad_norm": 0.5625985860824585, | |
| "learning_rate": 2.9926243538175172e-05, | |
| "loss": 1.7185, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 0.5199295878410339, | |
| "learning_rate": 2.9821735336128774e-05, | |
| "loss": 1.667, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.5833333333333334, | |
| "grad_norm": 0.5609247088432312, | |
| "learning_rate": 2.9672214011007087e-05, | |
| "loss": 1.5883, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 0.6180726289749146, | |
| "learning_rate": 2.947813365416023e-05, | |
| "loss": 1.4929, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.75, | |
| "grad_norm": 0.5570178031921387, | |
| "learning_rate": 2.9240083681253192e-05, | |
| "loss": 1.4828, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 0.8333333333333334, | |
| "grad_norm": 0.6228370666503906, | |
| "learning_rate": 2.895878704222978e-05, | |
| "loss": 1.4655, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.9166666666666666, | |
| "grad_norm": 0.7203235626220703, | |
| "learning_rate": 2.863509802573744e-05, | |
| "loss": 1.3496, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 0.7942531108856201, | |
| "learning_rate": 2.826999966468069e-05, | |
| "loss": 1.3374, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 1.0833333333333333, | |
| "grad_norm": 0.9191849827766418, | |
| "learning_rate": 2.7864600750782507e-05, | |
| "loss": 1.2264, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 1.1666666666666667, | |
| "grad_norm": 0.9695783257484436, | |
| "learning_rate": 2.74201324672203e-05, | |
| "loss": 1.1694, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 1.25, | |
| "grad_norm": 2.4679136276245117, | |
| "learning_rate": 2.6937944649563078e-05, | |
| "loss": 1.1287, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 1.0007485151290894, | |
| "learning_rate": 2.641950168636517e-05, | |
| "loss": 1.0512, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 1.4166666666666667, | |
| "grad_norm": 1.4076390266418457, | |
| "learning_rate": 2.5866378071866338e-05, | |
| "loss": 1.0926, | |
| "step": 85 | |
| }, | |
| { | |
| "epoch": 1.5, | |
| "grad_norm": 1.0981287956237793, | |
| "learning_rate": 2.52802536243045e-05, | |
| "loss": 0.9702, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 1.5833333333333335, | |
| "grad_norm": 1.331794023513794, | |
| "learning_rate": 2.4662908384362964e-05, | |
| "loss": 0.9309, | |
| "step": 95 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 2.1610724925994873, | |
| "learning_rate": 2.4016217209245377e-05, | |
| "loss": 0.9377, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 1.75, | |
| "grad_norm": 1.320580244064331, | |
| "learning_rate": 2.3342144078796007e-05, | |
| "loss": 0.9122, | |
| "step": 105 | |
| }, | |
| { | |
| "epoch": 1.8333333333333335, | |
| "grad_norm": 1.7202138900756836, | |
| "learning_rate": 2.2642736130957522e-05, | |
| "loss": 0.8658, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 1.9166666666666665, | |
| "grad_norm": 1.194667935371399, | |
| "learning_rate": 2.1920117444680317e-05, | |
| "loss": 0.8337, | |
| "step": 115 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 1.479974627494812, | |
| "learning_rate": 2.1176482589164575e-05, | |
| "loss": 0.8007, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 2.0833333333333335, | |
| "grad_norm": 1.443291425704956, | |
| "learning_rate": 2.0414089959025724e-05, | |
| "loss": 0.6837, | |
| "step": 125 | |
| }, | |
| { | |
| "epoch": 2.1666666666666665, | |
| "grad_norm": 1.7426459789276123, | |
| "learning_rate": 1.963525491562421e-05, | |
| "loss": 0.6637, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 2.25, | |
| "grad_norm": 1.6695789098739624, | |
| "learning_rate": 1.8842342755389172e-05, | |
| "loss": 0.6696, | |
| "step": 135 | |
| }, | |
| { | |
| "epoch": 2.3333333333333335, | |
| "grad_norm": 1.7582663297653198, | |
| "learning_rate": 1.803776152649088e-05, | |
| "loss": 0.6318, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 2.4166666666666665, | |
| "grad_norm": 1.4447354078292847, | |
| "learning_rate": 1.722395471567763e-05, | |
| "loss": 0.6387, | |
| "step": 145 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 1.5567189455032349, | |
| "learning_rate": 1.6403393827486768e-05, | |
| "loss": 0.5968, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 2.5833333333333335, | |
| "grad_norm": 1.6721159219741821, | |
| "learning_rate": 1.5578570878366656e-05, | |
| "loss": 0.5965, | |
| "step": 155 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 1.838956594467163, | |
| "learning_rate": 1.4751990828504623e-05, | |
| "loss": 0.5708, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 2.75, | |
| "grad_norm": 1.8318463563919067, | |
| "learning_rate": 1.3926163974345199e-05, | |
| "loss": 0.5716, | |
| "step": 165 | |
| }, | |
| { | |
| "epoch": 2.8333333333333335, | |
| "grad_norm": 1.938256025314331, | |
| "learning_rate": 1.3103598324902307e-05, | |
| "loss": 0.5517, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 2.9166666666666665, | |
| "grad_norm": 1.543636441230774, | |
| "learning_rate": 1.2286791985018356e-05, | |
| "loss": 0.5294, | |
| "step": 175 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 1.5525540113449097, | |
| "learning_rate": 1.1478225568701888e-05, | |
| "loss": 0.5048, | |
| "step": 180 | |
| } | |
| ], | |
| "logging_steps": 5, | |
| "max_steps": 300, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 5, | |
| "save_steps": 2000, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 4.0313586423588454e+17, | |
| "train_batch_size": 2, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |