| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 1.0, |
| "eval_steps": 500, |
| "global_step": 3000, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.016666666666666666, |
| "grad_norm": 2.670029878616333, |
| "learning_rate": 0.0001225, |
| "loss": 10.6241748046875, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.03333333333333333, |
| "grad_norm": 2.3570353984832764, |
| "learning_rate": 0.0002475, |
| "loss": 9.652979125976563, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.05, |
| "grad_norm": 1.9127347469329834, |
| "learning_rate": 0.0003725, |
| "loss": 8.577059936523437, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 1.4465516805648804, |
| "learning_rate": 0.0004975, |
| "loss": 7.802014770507813, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.08333333333333333, |
| "grad_norm": 1.7064813375473022, |
| "learning_rate": 0.00049125, |
| "loss": 7.009358520507813, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.1, |
| "grad_norm": 1.868516206741333, |
| "learning_rate": 0.0004823214285714286, |
| "loss": 6.687238159179688, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.11666666666666667, |
| "grad_norm": 1.678634524345398, |
| "learning_rate": 0.0004733928571428571, |
| "loss": 6.360874633789063, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 1.2415109872817993, |
| "learning_rate": 0.0004644642857142857, |
| "loss": 5.718616333007812, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.15, |
| "grad_norm": 1.5681638717651367, |
| "learning_rate": 0.00045553571428571426, |
| "loss": 5.853947143554688, |
| "step": 450 |
| }, |
| { |
| "epoch": 0.16666666666666666, |
| "grad_norm": 1.5531857013702393, |
| "learning_rate": 0.00044660714285714285, |
| "loss": 5.495951538085937, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.18333333333333332, |
| "grad_norm": 1.5225225687026978, |
| "learning_rate": 0.00043767857142857145, |
| "loss": 5.117442932128906, |
| "step": 550 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 1.2601443529129028, |
| "learning_rate": 0.00042875000000000004, |
| "loss": 4.763191223144531, |
| "step": 600 |
| }, |
| { |
| "epoch": 0.21666666666666667, |
| "grad_norm": 1.0959666967391968, |
| "learning_rate": 0.0004198214285714286, |
| "loss": 4.285917053222656, |
| "step": 650 |
| }, |
| { |
| "epoch": 0.23333333333333334, |
| "grad_norm": 1.4501094818115234, |
| "learning_rate": 0.0004108928571428571, |
| "loss": 3.9078399658203127, |
| "step": 700 |
| }, |
| { |
| "epoch": 0.25, |
| "grad_norm": 1.411314845085144, |
| "learning_rate": 0.0004019642857142857, |
| "loss": 3.5971466064453126, |
| "step": 750 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 1.5188363790512085, |
| "learning_rate": 0.00039303571428571426, |
| "loss": 3.152813720703125, |
| "step": 800 |
| }, |
| { |
| "epoch": 0.2833333333333333, |
| "grad_norm": 1.4843531847000122, |
| "learning_rate": 0.00038410714285714285, |
| "loss": 2.7241522216796876, |
| "step": 850 |
| }, |
| { |
| "epoch": 0.3, |
| "grad_norm": 1.4295011758804321, |
| "learning_rate": 0.00037517857142857144, |
| "loss": 2.5430502319335937, |
| "step": 900 |
| }, |
| { |
| "epoch": 0.31666666666666665, |
| "grad_norm": 1.0724632740020752, |
| "learning_rate": 0.00036625000000000004, |
| "loss": 2.178697052001953, |
| "step": 950 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 1.2428350448608398, |
| "learning_rate": 0.0003573214285714286, |
| "loss": 1.753097686767578, |
| "step": 1000 |
| }, |
| { |
| "epoch": 0.35, |
| "grad_norm": 1.2927199602127075, |
| "learning_rate": 0.0003483928571428571, |
| "loss": 1.5268730163574218, |
| "step": 1050 |
| }, |
| { |
| "epoch": 0.36666666666666664, |
| "grad_norm": 1.4304770231246948, |
| "learning_rate": 0.0003394642857142857, |
| "loss": 1.3803184509277344, |
| "step": 1100 |
| }, |
| { |
| "epoch": 0.38333333333333336, |
| "grad_norm": 1.112579107284546, |
| "learning_rate": 0.00033053571428571425, |
| "loss": 1.2061172485351563, |
| "step": 1150 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 1.0373598337173462, |
| "learning_rate": 0.00032160714285714285, |
| "loss": 1.1080842590332032, |
| "step": 1200 |
| }, |
| { |
| "epoch": 0.4166666666666667, |
| "grad_norm": 0.758924663066864, |
| "learning_rate": 0.00031267857142857144, |
| "loss": 0.8796870422363281, |
| "step": 1250 |
| }, |
| { |
| "epoch": 0.43333333333333335, |
| "grad_norm": 0.4931012690067291, |
| "learning_rate": 0.00030375000000000004, |
| "loss": 0.7692073822021485, |
| "step": 1300 |
| }, |
| { |
| "epoch": 0.45, |
| "grad_norm": 0.7530651688575745, |
| "learning_rate": 0.0002948214285714286, |
| "loss": 0.7075939178466797, |
| "step": 1350 |
| }, |
| { |
| "epoch": 0.4666666666666667, |
| "grad_norm": 0.39450106024742126, |
| "learning_rate": 0.0002858928571428571, |
| "loss": 0.6270677947998047, |
| "step": 1400 |
| }, |
| { |
| "epoch": 0.48333333333333334, |
| "grad_norm": 0.39624443650245667, |
| "learning_rate": 0.0002769642857142857, |
| "loss": 0.5893904495239258, |
| "step": 1450 |
| }, |
| { |
| "epoch": 0.5, |
| "grad_norm": 0.427543967962265, |
| "learning_rate": 0.00026803571428571425, |
| "loss": 0.5320195007324219, |
| "step": 1500 |
| }, |
| { |
| "epoch": 0.5166666666666667, |
| "grad_norm": 0.4169270396232605, |
| "learning_rate": 0.00025910714285714285, |
| "loss": 0.4536663818359375, |
| "step": 1550 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 0.3348184823989868, |
| "learning_rate": 0.00025017857142857144, |
| "loss": 0.46232120513916014, |
| "step": 1600 |
| }, |
| { |
| "epoch": 0.55, |
| "grad_norm": 0.3411332964897156, |
| "learning_rate": 0.00024125, |
| "loss": 0.40292251586914063, |
| "step": 1650 |
| }, |
| { |
| "epoch": 0.5666666666666667, |
| "grad_norm": 0.2811030447483063, |
| "learning_rate": 0.00023232142857142858, |
| "loss": 0.39576812744140627, |
| "step": 1700 |
| }, |
| { |
| "epoch": 0.5833333333333334, |
| "grad_norm": 0.37675705552101135, |
| "learning_rate": 0.00022339285714285714, |
| "loss": 0.39179550170898436, |
| "step": 1750 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 0.3169887065887451, |
| "learning_rate": 0.0002144642857142857, |
| "loss": 0.3665189361572266, |
| "step": 1800 |
| }, |
| { |
| "epoch": 0.6166666666666667, |
| "grad_norm": 0.3786127269268036, |
| "learning_rate": 0.0002055357142857143, |
| "loss": 0.3458889007568359, |
| "step": 1850 |
| }, |
| { |
| "epoch": 0.6333333333333333, |
| "grad_norm": 0.3169483542442322, |
| "learning_rate": 0.00019660714285714287, |
| "loss": 0.3169716453552246, |
| "step": 1900 |
| }, |
| { |
| "epoch": 0.65, |
| "grad_norm": 0.2642793357372284, |
| "learning_rate": 0.00018767857142857141, |
| "loss": 0.32304576873779295, |
| "step": 1950 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 0.24015173316001892, |
| "learning_rate": 0.00017875, |
| "loss": 0.31528879165649415, |
| "step": 2000 |
| }, |
| { |
| "epoch": 0.6833333333333333, |
| "grad_norm": 0.2549908757209778, |
| "learning_rate": 0.00016982142857142858, |
| "loss": 0.3216827392578125, |
| "step": 2050 |
| }, |
| { |
| "epoch": 0.7, |
| "grad_norm": 0.24477168917655945, |
| "learning_rate": 0.00016089285714285714, |
| "loss": 0.31634279251098635, |
| "step": 2100 |
| }, |
| { |
| "epoch": 0.7166666666666667, |
| "grad_norm": 0.23536884784698486, |
| "learning_rate": 0.0001519642857142857, |
| "loss": 0.29392578125, |
| "step": 2150 |
| }, |
| { |
| "epoch": 0.7333333333333333, |
| "grad_norm": 0.24634341895580292, |
| "learning_rate": 0.0001430357142857143, |
| "loss": 0.2995098876953125, |
| "step": 2200 |
| }, |
| { |
| "epoch": 0.75, |
| "grad_norm": 0.24495595693588257, |
| "learning_rate": 0.00013410714285714287, |
| "loss": 0.2891872024536133, |
| "step": 2250 |
| }, |
| { |
| "epoch": 0.7666666666666667, |
| "grad_norm": 0.1990620195865631, |
| "learning_rate": 0.0001251785714285714, |
| "loss": 0.30475616455078125, |
| "step": 2300 |
| }, |
| { |
| "epoch": 0.7833333333333333, |
| "grad_norm": 0.266539990901947, |
| "learning_rate": 0.00011625, |
| "loss": 0.2906017684936523, |
| "step": 2350 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 0.26866304874420166, |
| "learning_rate": 0.00010732142857142857, |
| "loss": 0.2956423759460449, |
| "step": 2400 |
| }, |
| { |
| "epoch": 0.8166666666666667, |
| "grad_norm": 0.2566685974597931, |
| "learning_rate": 9.839285714285714e-05, |
| "loss": 0.3040322303771973, |
| "step": 2450 |
| }, |
| { |
| "epoch": 0.8333333333333334, |
| "grad_norm": 0.22382330894470215, |
| "learning_rate": 8.946428571428572e-05, |
| "loss": 0.278367805480957, |
| "step": 2500 |
| }, |
| { |
| "epoch": 0.85, |
| "grad_norm": 0.22491149604320526, |
| "learning_rate": 8.053571428571428e-05, |
| "loss": 0.2865129470825195, |
| "step": 2550 |
| }, |
| { |
| "epoch": 0.8666666666666667, |
| "grad_norm": 0.20789307355880737, |
| "learning_rate": 7.160714285714286e-05, |
| "loss": 0.2819624137878418, |
| "step": 2600 |
| }, |
| { |
| "epoch": 0.8833333333333333, |
| "grad_norm": 0.2607945501804352, |
| "learning_rate": 6.267857142857144e-05, |
| "loss": 0.2776448631286621, |
| "step": 2650 |
| }, |
| { |
| "epoch": 0.9, |
| "grad_norm": 0.22076848149299622, |
| "learning_rate": 5.375e-05, |
| "loss": 0.28972166061401367, |
| "step": 2700 |
| }, |
| { |
| "epoch": 0.9166666666666666, |
| "grad_norm": 0.20775574445724487, |
| "learning_rate": 4.482142857142857e-05, |
| "loss": 0.27564762115478514, |
| "step": 2750 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 0.23420432209968567, |
| "learning_rate": 3.589285714285715e-05, |
| "loss": 0.2839714241027832, |
| "step": 2800 |
| }, |
| { |
| "epoch": 0.95, |
| "grad_norm": 0.23360489308834076, |
| "learning_rate": 2.6964285714285714e-05, |
| "loss": 0.27167531967163083, |
| "step": 2850 |
| }, |
| { |
| "epoch": 0.9666666666666667, |
| "grad_norm": 0.25559312105178833, |
| "learning_rate": 1.803571428571429e-05, |
| "loss": 0.27854022979736326, |
| "step": 2900 |
| }, |
| { |
| "epoch": 0.9833333333333333, |
| "grad_norm": 0.2143900990486145, |
| "learning_rate": 9.107142857142858e-06, |
| "loss": 0.28348896026611325, |
| "step": 2950 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 0.20557810366153717, |
| "learning_rate": 1.7857142857142858e-07, |
| "loss": 0.2704084587097168, |
| "step": 3000 |
| } |
| ], |
| "logging_steps": 50, |
| "max_steps": 3000, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 9223372036854775807, |
| "save_steps": 1000, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 27227799552000.0, |
| "train_batch_size": 16, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
