| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 0.6666666666666666, |
| "eval_steps": 500, |
| "global_step": 2000, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.016666666666666666, |
| "grad_norm": 2.670029878616333, |
| "learning_rate": 0.0001225, |
| "loss": 10.6241748046875, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.03333333333333333, |
| "grad_norm": 2.3570353984832764, |
| "learning_rate": 0.0002475, |
| "loss": 9.652979125976563, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.05, |
| "grad_norm": 1.9127347469329834, |
| "learning_rate": 0.0003725, |
| "loss": 8.577059936523437, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 1.4465516805648804, |
| "learning_rate": 0.0004975, |
| "loss": 7.802014770507813, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.08333333333333333, |
| "grad_norm": 1.7064813375473022, |
| "learning_rate": 0.00049125, |
| "loss": 7.009358520507813, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.1, |
| "grad_norm": 1.868516206741333, |
| "learning_rate": 0.0004823214285714286, |
| "loss": 6.687238159179688, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.11666666666666667, |
| "grad_norm": 1.678634524345398, |
| "learning_rate": 0.0004733928571428571, |
| "loss": 6.360874633789063, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 1.2415109872817993, |
| "learning_rate": 0.0004644642857142857, |
| "loss": 5.718616333007812, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.15, |
| "grad_norm": 1.5681638717651367, |
| "learning_rate": 0.00045553571428571426, |
| "loss": 5.853947143554688, |
| "step": 450 |
| }, |
| { |
| "epoch": 0.16666666666666666, |
| "grad_norm": 1.5531857013702393, |
| "learning_rate": 0.00044660714285714285, |
| "loss": 5.495951538085937, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.18333333333333332, |
| "grad_norm": 1.5225225687026978, |
| "learning_rate": 0.00043767857142857145, |
| "loss": 5.117442932128906, |
| "step": 550 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 1.2601443529129028, |
| "learning_rate": 0.00042875000000000004, |
| "loss": 4.763191223144531, |
| "step": 600 |
| }, |
| { |
| "epoch": 0.21666666666666667, |
| "grad_norm": 1.0959666967391968, |
| "learning_rate": 0.0004198214285714286, |
| "loss": 4.285917053222656, |
| "step": 650 |
| }, |
| { |
| "epoch": 0.23333333333333334, |
| "grad_norm": 1.4501094818115234, |
| "learning_rate": 0.0004108928571428571, |
| "loss": 3.9078399658203127, |
| "step": 700 |
| }, |
| { |
| "epoch": 0.25, |
| "grad_norm": 1.411314845085144, |
| "learning_rate": 0.0004019642857142857, |
| "loss": 3.5971466064453126, |
| "step": 750 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 1.5188363790512085, |
| "learning_rate": 0.00039303571428571426, |
| "loss": 3.152813720703125, |
| "step": 800 |
| }, |
| { |
| "epoch": 0.2833333333333333, |
| "grad_norm": 1.4843531847000122, |
| "learning_rate": 0.00038410714285714285, |
| "loss": 2.7241522216796876, |
| "step": 850 |
| }, |
| { |
| "epoch": 0.3, |
| "grad_norm": 1.4295011758804321, |
| "learning_rate": 0.00037517857142857144, |
| "loss": 2.5430502319335937, |
| "step": 900 |
| }, |
| { |
| "epoch": 0.31666666666666665, |
| "grad_norm": 1.0724632740020752, |
| "learning_rate": 0.00036625000000000004, |
| "loss": 2.178697052001953, |
| "step": 950 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 1.2428350448608398, |
| "learning_rate": 0.0003573214285714286, |
| "loss": 1.753097686767578, |
| "step": 1000 |
| }, |
| { |
| "epoch": 0.35, |
| "grad_norm": 1.2927199602127075, |
| "learning_rate": 0.0003483928571428571, |
| "loss": 1.5268730163574218, |
| "step": 1050 |
| }, |
| { |
| "epoch": 0.36666666666666664, |
| "grad_norm": 1.4304770231246948, |
| "learning_rate": 0.0003394642857142857, |
| "loss": 1.3803184509277344, |
| "step": 1100 |
| }, |
| { |
| "epoch": 0.38333333333333336, |
| "grad_norm": 1.112579107284546, |
| "learning_rate": 0.00033053571428571425, |
| "loss": 1.2061172485351563, |
| "step": 1150 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 1.0373598337173462, |
| "learning_rate": 0.00032160714285714285, |
| "loss": 1.1080842590332032, |
| "step": 1200 |
| }, |
| { |
| "epoch": 0.4166666666666667, |
| "grad_norm": 0.758924663066864, |
| "learning_rate": 0.00031267857142857144, |
| "loss": 0.8796870422363281, |
| "step": 1250 |
| }, |
| { |
| "epoch": 0.43333333333333335, |
| "grad_norm": 0.4931012690067291, |
| "learning_rate": 0.00030375000000000004, |
| "loss": 0.7692073822021485, |
| "step": 1300 |
| }, |
| { |
| "epoch": 0.45, |
| "grad_norm": 0.7530651688575745, |
| "learning_rate": 0.0002948214285714286, |
| "loss": 0.7075939178466797, |
| "step": 1350 |
| }, |
| { |
| "epoch": 0.4666666666666667, |
| "grad_norm": 0.39450106024742126, |
| "learning_rate": 0.0002858928571428571, |
| "loss": 0.6270677947998047, |
| "step": 1400 |
| }, |
| { |
| "epoch": 0.48333333333333334, |
| "grad_norm": 0.39624443650245667, |
| "learning_rate": 0.0002769642857142857, |
| "loss": 0.5893904495239258, |
| "step": 1450 |
| }, |
| { |
| "epoch": 0.5, |
| "grad_norm": 0.427543967962265, |
| "learning_rate": 0.00026803571428571425, |
| "loss": 0.5320195007324219, |
| "step": 1500 |
| }, |
| { |
| "epoch": 0.5166666666666667, |
| "grad_norm": 0.4169270396232605, |
| "learning_rate": 0.00025910714285714285, |
| "loss": 0.4536663818359375, |
| "step": 1550 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 0.3348184823989868, |
| "learning_rate": 0.00025017857142857144, |
| "loss": 0.46232120513916014, |
| "step": 1600 |
| }, |
| { |
| "epoch": 0.55, |
| "grad_norm": 0.3411332964897156, |
| "learning_rate": 0.00024125, |
| "loss": 0.40292251586914063, |
| "step": 1650 |
| }, |
| { |
| "epoch": 0.5666666666666667, |
| "grad_norm": 0.2811030447483063, |
| "learning_rate": 0.00023232142857142858, |
| "loss": 0.39576812744140627, |
| "step": 1700 |
| }, |
| { |
| "epoch": 0.5833333333333334, |
| "grad_norm": 0.37675705552101135, |
| "learning_rate": 0.00022339285714285714, |
| "loss": 0.39179550170898436, |
| "step": 1750 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 0.3169887065887451, |
| "learning_rate": 0.0002144642857142857, |
| "loss": 0.3665189361572266, |
| "step": 1800 |
| }, |
| { |
| "epoch": 0.6166666666666667, |
| "grad_norm": 0.3786127269268036, |
| "learning_rate": 0.0002055357142857143, |
| "loss": 0.3458889007568359, |
| "step": 1850 |
| }, |
| { |
| "epoch": 0.6333333333333333, |
| "grad_norm": 0.3169483542442322, |
| "learning_rate": 0.00019660714285714287, |
| "loss": 0.3169716453552246, |
| "step": 1900 |
| }, |
| { |
| "epoch": 0.65, |
| "grad_norm": 0.2642793357372284, |
| "learning_rate": 0.00018767857142857141, |
| "loss": 0.32304576873779295, |
| "step": 1950 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 0.24015173316001892, |
| "learning_rate": 0.00017875, |
| "loss": 0.31528879165649415, |
| "step": 2000 |
| } |
| ], |
| "logging_steps": 50, |
| "max_steps": 3000, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 9223372036854775807, |
| "save_steps": 1000, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": false |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 18146030592000.0, |
| "train_batch_size": 16, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
