| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 10.0, |
| "eval_steps": 500, |
| "global_step": 320, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.3125, |
| "grad_norm": 0.2920430898666382, |
| "learning_rate": 0.00045000000000000004, |
| "loss": 3.779199981689453, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.625, |
| "grad_norm": 0.43692970275878906, |
| "learning_rate": 0.00095, |
| "loss": 3.7675334930419924, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.9375, |
| "grad_norm": 0.3336999714374542, |
| "learning_rate": 0.0009699999999999999, |
| "loss": 3.719318389892578, |
| "step": 30 |
| }, |
| { |
| "epoch": 1.25, |
| "grad_norm": 0.294895738363266, |
| "learning_rate": 0.0009366666666666667, |
| "loss": 3.654178237915039, |
| "step": 40 |
| }, |
| { |
| "epoch": 1.5625, |
| "grad_norm": 0.2748182713985443, |
| "learning_rate": 0.0009033333333333334, |
| "loss": 3.5974361419677736, |
| "step": 50 |
| }, |
| { |
| "epoch": 1.875, |
| "grad_norm": 0.27152398228645325, |
| "learning_rate": 0.00087, |
| "loss": 3.5486209869384764, |
| "step": 60 |
| }, |
| { |
| "epoch": 2.1875, |
| "grad_norm": 0.24925607442855835, |
| "learning_rate": 0.0008366666666666667, |
| "loss": 3.5090667724609377, |
| "step": 70 |
| }, |
| { |
| "epoch": 2.5, |
| "grad_norm": 0.22347407042980194, |
| "learning_rate": 0.0008033333333333333, |
| "loss": 3.472085952758789, |
| "step": 80 |
| }, |
| { |
| "epoch": 2.8125, |
| "grad_norm": 0.21740131080150604, |
| "learning_rate": 0.0007700000000000001, |
| "loss": 3.4486541748046875, |
| "step": 90 |
| }, |
| { |
| "epoch": 3.125, |
| "grad_norm": 0.22403769195079803, |
| "learning_rate": 0.0007366666666666667, |
| "loss": 3.4204822540283204, |
| "step": 100 |
| }, |
| { |
| "epoch": 3.4375, |
| "grad_norm": 0.19044573605060577, |
| "learning_rate": 0.0007033333333333334, |
| "loss": 3.404882049560547, |
| "step": 110 |
| }, |
| { |
| "epoch": 3.75, |
| "grad_norm": 0.17820778489112854, |
| "learning_rate": 0.00067, |
| "loss": 3.3898468017578125, |
| "step": 120 |
| }, |
| { |
| "epoch": 4.0625, |
| "grad_norm": 0.1427871733903885, |
| "learning_rate": 0.0006366666666666667, |
| "loss": 3.378437042236328, |
| "step": 130 |
| }, |
| { |
| "epoch": 4.375, |
| "grad_norm": 0.1541135609149933, |
| "learning_rate": 0.0006033333333333334, |
| "loss": 3.3657516479492187, |
| "step": 140 |
| }, |
| { |
| "epoch": 4.6875, |
| "grad_norm": 0.1267220824956894, |
| "learning_rate": 0.00057, |
| "loss": 3.360360336303711, |
| "step": 150 |
| }, |
| { |
| "epoch": 5.0, |
| "grad_norm": 0.2740837335586548, |
| "learning_rate": 0.0005366666666666666, |
| "loss": 3.346549224853516, |
| "step": 160 |
| }, |
| { |
| "epoch": 5.3125, |
| "grad_norm": 0.13727352023124695, |
| "learning_rate": 0.0005033333333333333, |
| "loss": 3.347737503051758, |
| "step": 170 |
| }, |
| { |
| "epoch": 5.625, |
| "grad_norm": 0.14174041152000427, |
| "learning_rate": 0.00047, |
| "loss": 3.344399261474609, |
| "step": 180 |
| }, |
| { |
| "epoch": 5.9375, |
| "grad_norm": 0.142058864235878, |
| "learning_rate": 0.00043666666666666664, |
| "loss": 3.3299537658691407, |
| "step": 190 |
| }, |
| { |
| "epoch": 6.25, |
| "grad_norm": 0.13433191180229187, |
| "learning_rate": 0.00040333333333333334, |
| "loss": 3.3357540130615235, |
| "step": 200 |
| }, |
| { |
| "epoch": 6.5625, |
| "grad_norm": 0.15769833326339722, |
| "learning_rate": 0.00037, |
| "loss": 3.328489303588867, |
| "step": 210 |
| }, |
| { |
| "epoch": 6.875, |
| "grad_norm": 0.13020935654640198, |
| "learning_rate": 0.0003366666666666667, |
| "loss": 3.324817657470703, |
| "step": 220 |
| }, |
| { |
| "epoch": 7.1875, |
| "grad_norm": 0.15388399362564087, |
| "learning_rate": 0.00030333333333333335, |
| "loss": 3.319611740112305, |
| "step": 230 |
| }, |
| { |
| "epoch": 7.5, |
| "grad_norm": 0.1500755101442337, |
| "learning_rate": 0.00027, |
| "loss": 3.3241554260253907, |
| "step": 240 |
| }, |
| { |
| "epoch": 7.8125, |
| "grad_norm": 0.1511927992105484, |
| "learning_rate": 0.00023666666666666668, |
| "loss": 3.321956253051758, |
| "step": 250 |
| }, |
| { |
| "epoch": 8.125, |
| "grad_norm": 0.13803283870220184, |
| "learning_rate": 0.00020333333333333333, |
| "loss": 3.3197406768798827, |
| "step": 260 |
| }, |
| { |
| "epoch": 8.4375, |
| "grad_norm": 0.12624874711036682, |
| "learning_rate": 0.00017, |
| "loss": 3.3194751739501953, |
| "step": 270 |
| }, |
| { |
| "epoch": 8.75, |
| "grad_norm": 0.13256022334098816, |
| "learning_rate": 0.00013666666666666666, |
| "loss": 3.3229259490966796, |
| "step": 280 |
| }, |
| { |
| "epoch": 9.0625, |
| "grad_norm": 0.13190381228923798, |
| "learning_rate": 0.00010333333333333333, |
| "loss": 3.311756896972656, |
| "step": 290 |
| }, |
| { |
| "epoch": 9.375, |
| "grad_norm": 0.13968633115291595, |
| "learning_rate": 7.000000000000001e-05, |
| "loss": 3.3162921905517577, |
| "step": 300 |
| }, |
| { |
| "epoch": 9.6875, |
| "grad_norm": 0.13491009175777435, |
| "learning_rate": 3.6666666666666666e-05, |
| "loss": 3.3118019104003906, |
| "step": 310 |
| }, |
| { |
| "epoch": 10.0, |
| "grad_norm": 0.22840279340744019, |
| "learning_rate": 3.3333333333333337e-06, |
| "loss": 3.3263782501220702, |
| "step": 320 |
| } |
| ], |
| "logging_steps": 10, |
| "max_steps": 320, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 10, |
| "save_steps": 50, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 1141797888.0, |
| "train_batch_size": 32, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
