| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 3.0, |
| "eval_steps": 500, |
| "global_step": 225, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 16141.154296875, |
| "learning_rate": 9.822222222222223e-06, |
| "loss": 13.660191345214844, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 2628.485595703125, |
| "learning_rate": 9.600000000000001e-06, |
| "loss": 9.867371368408204, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 1081.150146484375, |
| "learning_rate": 9.377777777777779e-06, |
| "loss": 7.391683197021484, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 685.912353515625, |
| "learning_rate": 9.155555555555557e-06, |
| "loss": 6.489807891845703, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 416.32806396484375, |
| "learning_rate": 8.933333333333333e-06, |
| "loss": 6.041735458374023, |
| "step": 25 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 328.14599609375, |
| "learning_rate": 8.711111111111111e-06, |
| "loss": 5.871826934814453, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.4666666666666667, |
| "grad_norm": 319.32366943359375, |
| "learning_rate": 8.48888888888889e-06, |
| "loss": 5.579837417602539, |
| "step": 35 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 385.9300537109375, |
| "learning_rate": 8.266666666666667e-06, |
| "loss": 5.494839859008789, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 289.2293701171875, |
| "learning_rate": 8.044444444444444e-06, |
| "loss": 5.320438385009766, |
| "step": 45 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 161.58114624023438, |
| "learning_rate": 7.822222222222224e-06, |
| "loss": 5.327058792114258, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.7333333333333333, |
| "grad_norm": 579.9588623046875, |
| "learning_rate": 7.600000000000001e-06, |
| "loss": 5.337709045410156, |
| "step": 55 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 278.285400390625, |
| "learning_rate": 7.377777777777778e-06, |
| "loss": 5.248934555053711, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.8666666666666667, |
| "grad_norm": 134.23089599609375, |
| "learning_rate": 7.155555555555556e-06, |
| "loss": 5.184513854980469, |
| "step": 65 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 46.282039642333984, |
| "learning_rate": 6.9333333333333344e-06, |
| "loss": 5.088185501098633, |
| "step": 70 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 87.43611145019531, |
| "learning_rate": 6.711111111111111e-06, |
| "loss": 4.971608734130859, |
| "step": 75 |
| }, |
| { |
| "epoch": 1.0666666666666667, |
| "grad_norm": 94.75486755371094, |
| "learning_rate": 6.488888888888889e-06, |
| "loss": 4.931623458862305, |
| "step": 80 |
| }, |
| { |
| "epoch": 1.1333333333333333, |
| "grad_norm": 99.92402648925781, |
| "learning_rate": 6.266666666666668e-06, |
| "loss": 5.054543685913086, |
| "step": 85 |
| }, |
| { |
| "epoch": 1.2, |
| "grad_norm": 79.47013854980469, |
| "learning_rate": 6.044444444444445e-06, |
| "loss": 4.826826095581055, |
| "step": 90 |
| }, |
| { |
| "epoch": 1.2666666666666666, |
| "grad_norm": 100.50223541259766, |
| "learning_rate": 5.822222222222223e-06, |
| "loss": 4.835384750366211, |
| "step": 95 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "grad_norm": 62.96390151977539, |
| "learning_rate": 5.600000000000001e-06, |
| "loss": 4.871255874633789, |
| "step": 100 |
| }, |
| { |
| "epoch": 1.4, |
| "grad_norm": 87.52025604248047, |
| "learning_rate": 5.3777777777777784e-06, |
| "loss": 4.766913604736328, |
| "step": 105 |
| }, |
| { |
| "epoch": 1.4666666666666668, |
| "grad_norm": 61.73031997680664, |
| "learning_rate": 5.155555555555556e-06, |
| "loss": 4.90526008605957, |
| "step": 110 |
| }, |
| { |
| "epoch": 1.5333333333333332, |
| "grad_norm": 55.743465423583984, |
| "learning_rate": 4.933333333333334e-06, |
| "loss": 4.58105697631836, |
| "step": 115 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 69.21725463867188, |
| "learning_rate": 4.711111111111111e-06, |
| "loss": 4.605405044555664, |
| "step": 120 |
| }, |
| { |
| "epoch": 1.6666666666666665, |
| "grad_norm": 118.42386627197266, |
| "learning_rate": 4.488888888888889e-06, |
| "loss": 4.5230567932128904, |
| "step": 125 |
| }, |
| { |
| "epoch": 1.7333333333333334, |
| "grad_norm": 51.76827621459961, |
| "learning_rate": 4.266666666666668e-06, |
| "loss": 4.663221740722657, |
| "step": 130 |
| }, |
| { |
| "epoch": 1.8, |
| "grad_norm": 78.53421783447266, |
| "learning_rate": 4.044444444444445e-06, |
| "loss": 4.488628768920899, |
| "step": 135 |
| }, |
| { |
| "epoch": 1.8666666666666667, |
| "grad_norm": 34.882957458496094, |
| "learning_rate": 3.8222222222222224e-06, |
| "loss": 4.692227172851562, |
| "step": 140 |
| }, |
| { |
| "epoch": 1.9333333333333333, |
| "grad_norm": 63.62418746948242, |
| "learning_rate": 3.6000000000000003e-06, |
| "loss": 4.679557800292969, |
| "step": 145 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 50.64323043823242, |
| "learning_rate": 3.377777777777778e-06, |
| "loss": 4.666315078735352, |
| "step": 150 |
| }, |
| { |
| "epoch": 2.066666666666667, |
| "grad_norm": 66.9353256225586, |
| "learning_rate": 3.1555555555555555e-06, |
| "loss": 4.473381805419922, |
| "step": 155 |
| }, |
| { |
| "epoch": 2.1333333333333333, |
| "grad_norm": 77.88652801513672, |
| "learning_rate": 2.9333333333333338e-06, |
| "loss": 4.439759063720703, |
| "step": 160 |
| }, |
| { |
| "epoch": 2.2, |
| "grad_norm": 65.2056655883789, |
| "learning_rate": 2.7111111111111116e-06, |
| "loss": 4.468158721923828, |
| "step": 165 |
| }, |
| { |
| "epoch": 2.2666666666666666, |
| "grad_norm": 58.30437469482422, |
| "learning_rate": 2.488888888888889e-06, |
| "loss": 4.383461761474609, |
| "step": 170 |
| }, |
| { |
| "epoch": 2.3333333333333335, |
| "grad_norm": 68.6854248046875, |
| "learning_rate": 2.266666666666667e-06, |
| "loss": 4.363229370117187, |
| "step": 175 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 64.3067855834961, |
| "learning_rate": 2.0444444444444447e-06, |
| "loss": 4.353252792358399, |
| "step": 180 |
| }, |
| { |
| "epoch": 2.466666666666667, |
| "grad_norm": 35.36585998535156, |
| "learning_rate": 1.8222222222222225e-06, |
| "loss": 4.344555282592774, |
| "step": 185 |
| }, |
| { |
| "epoch": 2.533333333333333, |
| "grad_norm": 55.39848709106445, |
| "learning_rate": 1.6000000000000001e-06, |
| "loss": 4.276446151733398, |
| "step": 190 |
| }, |
| { |
| "epoch": 2.6, |
| "grad_norm": 67.26177978515625, |
| "learning_rate": 1.377777777777778e-06, |
| "loss": 4.3109477996826175, |
| "step": 195 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "grad_norm": 80.56394958496094, |
| "learning_rate": 1.1555555555555556e-06, |
| "loss": 4.247902679443359, |
| "step": 200 |
| }, |
| { |
| "epoch": 2.7333333333333334, |
| "grad_norm": 61.591487884521484, |
| "learning_rate": 9.333333333333334e-07, |
| "loss": 4.296335220336914, |
| "step": 205 |
| }, |
| { |
| "epoch": 2.8, |
| "grad_norm": 94.90900421142578, |
| "learning_rate": 7.111111111111112e-07, |
| "loss": 4.388877868652344, |
| "step": 210 |
| }, |
| { |
| "epoch": 2.8666666666666667, |
| "grad_norm": 74.63097381591797, |
| "learning_rate": 4.88888888888889e-07, |
| "loss": 4.275194931030273, |
| "step": 215 |
| }, |
| { |
| "epoch": 2.9333333333333336, |
| "grad_norm": 63.20158386230469, |
| "learning_rate": 2.666666666666667e-07, |
| "loss": 4.2047607421875, |
| "step": 220 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 60.91337585449219, |
| "learning_rate": 4.444444444444445e-08, |
| "loss": 4.230797195434571, |
| "step": 225 |
| } |
| ], |
| "logging_steps": 5, |
| "max_steps": 225, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 3, |
| "save_steps": 100, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 1.3585809206655576e+17, |
| "train_batch_size": 8, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
