| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 0.5333333333333333, |
| "eval_steps": 500, |
| "global_step": 500, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.005333333333333333, |
| "grad_norm": 2.4738848209381104, |
| "learning_rate": 8.000000000000001e-06, |
| "loss": 1.5025, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.010666666666666666, |
| "grad_norm": 1.762861967086792, |
| "learning_rate": 1.8e-05, |
| "loss": 1.2897, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.016, |
| "grad_norm": 1.465779185295105, |
| "learning_rate": 1.991919191919192e-05, |
| "loss": 1.1928, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.021333333333333333, |
| "grad_norm": 1.7229000329971313, |
| "learning_rate": 1.981818181818182e-05, |
| "loss": 1.0474, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.02666666666666667, |
| "grad_norm": 1.2843865156173706, |
| "learning_rate": 1.971717171717172e-05, |
| "loss": 0.9795, |
| "step": 25 |
| }, |
| { |
| "epoch": 0.032, |
| "grad_norm": 1.413460612297058, |
| "learning_rate": 1.961616161616162e-05, |
| "loss": 1.0109, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.037333333333333336, |
| "grad_norm": 1.5748860836029053, |
| "learning_rate": 1.9515151515151515e-05, |
| "loss": 1.0093, |
| "step": 35 |
| }, |
| { |
| "epoch": 0.042666666666666665, |
| "grad_norm": 1.2138009071350098, |
| "learning_rate": 1.9414141414141418e-05, |
| "loss": 0.9596, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.048, |
| "grad_norm": 1.0399284362792969, |
| "learning_rate": 1.9313131313131314e-05, |
| "loss": 0.9827, |
| "step": 45 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 1.0604643821716309, |
| "learning_rate": 1.9212121212121213e-05, |
| "loss": 0.9304, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.058666666666666666, |
| "grad_norm": 0.8343395590782166, |
| "learning_rate": 1.9111111111111113e-05, |
| "loss": 0.8937, |
| "step": 55 |
| }, |
| { |
| "epoch": 0.064, |
| "grad_norm": 1.1488970518112183, |
| "learning_rate": 1.9010101010101012e-05, |
| "loss": 0.9515, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.06933333333333333, |
| "grad_norm": 1.1441693305969238, |
| "learning_rate": 1.8909090909090912e-05, |
| "loss": 0.915, |
| "step": 65 |
| }, |
| { |
| "epoch": 0.07466666666666667, |
| "grad_norm": 1.1136934757232666, |
| "learning_rate": 1.8808080808080808e-05, |
| "loss": 0.9305, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 1.0539132356643677, |
| "learning_rate": 1.8707070707070707e-05, |
| "loss": 0.7912, |
| "step": 75 |
| }, |
| { |
| "epoch": 0.08533333333333333, |
| "grad_norm": 1.0501577854156494, |
| "learning_rate": 1.8606060606060607e-05, |
| "loss": 0.8899, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.09066666666666667, |
| "grad_norm": 0.6856658458709717, |
| "learning_rate": 1.8505050505050506e-05, |
| "loss": 0.8848, |
| "step": 85 |
| }, |
| { |
| "epoch": 0.096, |
| "grad_norm": 0.9410535097122192, |
| "learning_rate": 1.8404040404040406e-05, |
| "loss": 0.8597, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.10133333333333333, |
| "grad_norm": 1.2408137321472168, |
| "learning_rate": 1.8303030303030305e-05, |
| "loss": 1.0193, |
| "step": 95 |
| }, |
| { |
| "epoch": 0.10666666666666667, |
| "grad_norm": 0.8570374846458435, |
| "learning_rate": 1.82020202020202e-05, |
| "loss": 0.9621, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.112, |
| "grad_norm": 1.2646375894546509, |
| "learning_rate": 1.8101010101010104e-05, |
| "loss": 0.9349, |
| "step": 105 |
| }, |
| { |
| "epoch": 0.11733333333333333, |
| "grad_norm": 0.8542080521583557, |
| "learning_rate": 1.8e-05, |
| "loss": 0.9479, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.12266666666666666, |
| "grad_norm": 1.0172573328018188, |
| "learning_rate": 1.78989898989899e-05, |
| "loss": 0.8842, |
| "step": 115 |
| }, |
| { |
| "epoch": 0.128, |
| "grad_norm": 1.1216251850128174, |
| "learning_rate": 1.77979797979798e-05, |
| "loss": 0.9307, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 1.1146503686904907, |
| "learning_rate": 1.76969696969697e-05, |
| "loss": 0.8582, |
| "step": 125 |
| }, |
| { |
| "epoch": 0.13866666666666666, |
| "grad_norm": 0.9401494860649109, |
| "learning_rate": 1.75959595959596e-05, |
| "loss": 0.8146, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.144, |
| "grad_norm": 1.0174555778503418, |
| "learning_rate": 1.7494949494949494e-05, |
| "loss": 0.8064, |
| "step": 135 |
| }, |
| { |
| "epoch": 0.14933333333333335, |
| "grad_norm": 0.7621330618858337, |
| "learning_rate": 1.7393939393939397e-05, |
| "loss": 0.8382, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.15466666666666667, |
| "grad_norm": 1.1294023990631104, |
| "learning_rate": 1.7292929292929293e-05, |
| "loss": 0.9458, |
| "step": 145 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 0.7517912983894348, |
| "learning_rate": 1.7191919191919193e-05, |
| "loss": 0.797, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.16533333333333333, |
| "grad_norm": 1.0522116422653198, |
| "learning_rate": 1.7090909090909092e-05, |
| "loss": 0.96, |
| "step": 155 |
| }, |
| { |
| "epoch": 0.17066666666666666, |
| "grad_norm": 0.9202107787132263, |
| "learning_rate": 1.6989898989898992e-05, |
| "loss": 0.8193, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.176, |
| "grad_norm": 0.7169008851051331, |
| "learning_rate": 1.688888888888889e-05, |
| "loss": 0.9014, |
| "step": 165 |
| }, |
| { |
| "epoch": 0.18133333333333335, |
| "grad_norm": 1.011110782623291, |
| "learning_rate": 1.6787878787878787e-05, |
| "loss": 0.8433, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.18666666666666668, |
| "grad_norm": 0.9050607681274414, |
| "learning_rate": 1.668686868686869e-05, |
| "loss": 0.9545, |
| "step": 175 |
| }, |
| { |
| "epoch": 0.192, |
| "grad_norm": 0.8567696809768677, |
| "learning_rate": 1.6585858585858586e-05, |
| "loss": 0.8788, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.19733333333333333, |
| "grad_norm": 0.8334883451461792, |
| "learning_rate": 1.6484848484848486e-05, |
| "loss": 0.8851, |
| "step": 185 |
| }, |
| { |
| "epoch": 0.20266666666666666, |
| "grad_norm": 1.0018478631973267, |
| "learning_rate": 1.6383838383838385e-05, |
| "loss": 0.9585, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.208, |
| "grad_norm": 0.9261645078659058, |
| "learning_rate": 1.6282828282828285e-05, |
| "loss": 0.9198, |
| "step": 195 |
| }, |
| { |
| "epoch": 0.21333333333333335, |
| "grad_norm": 1.0422159433364868, |
| "learning_rate": 1.6181818181818184e-05, |
| "loss": 0.8987, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.21866666666666668, |
| "grad_norm": 1.1883363723754883, |
| "learning_rate": 1.608080808080808e-05, |
| "loss": 0.8344, |
| "step": 205 |
| }, |
| { |
| "epoch": 0.224, |
| "grad_norm": 1.0698201656341553, |
| "learning_rate": 1.5979797979797983e-05, |
| "loss": 0.9163, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.22933333333333333, |
| "grad_norm": 1.002856969833374, |
| "learning_rate": 1.587878787878788e-05, |
| "loss": 0.8067, |
| "step": 215 |
| }, |
| { |
| "epoch": 0.23466666666666666, |
| "grad_norm": 0.7221589684486389, |
| "learning_rate": 1.577777777777778e-05, |
| "loss": 0.7832, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 0.9534178376197815, |
| "learning_rate": 1.5676767676767678e-05, |
| "loss": 0.9086, |
| "step": 225 |
| }, |
| { |
| "epoch": 0.24533333333333332, |
| "grad_norm": 0.768618106842041, |
| "learning_rate": 1.5575757575757578e-05, |
| "loss": 0.8779, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.25066666666666665, |
| "grad_norm": 1.1509809494018555, |
| "learning_rate": 1.5474747474747477e-05, |
| "loss": 0.8655, |
| "step": 235 |
| }, |
| { |
| "epoch": 0.256, |
| "grad_norm": 1.124725103378296, |
| "learning_rate": 1.5373737373737373e-05, |
| "loss": 0.9216, |
| "step": 240 |
| }, |
| { |
| "epoch": 0.2613333333333333, |
| "grad_norm": 1.2690633535385132, |
| "learning_rate": 1.5272727272727276e-05, |
| "loss": 1.0696, |
| "step": 245 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 0.8243642449378967, |
| "learning_rate": 1.5171717171717172e-05, |
| "loss": 0.8819, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.272, |
| "grad_norm": 1.029197335243225, |
| "learning_rate": 1.5070707070707072e-05, |
| "loss": 0.8729, |
| "step": 255 |
| }, |
| { |
| "epoch": 0.2773333333333333, |
| "grad_norm": 1.1257883310317993, |
| "learning_rate": 1.4969696969696971e-05, |
| "loss": 0.8183, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.2826666666666667, |
| "grad_norm": 1.0707664489746094, |
| "learning_rate": 1.486868686868687e-05, |
| "loss": 0.9269, |
| "step": 265 |
| }, |
| { |
| "epoch": 0.288, |
| "grad_norm": 0.7989206314086914, |
| "learning_rate": 1.4767676767676769e-05, |
| "loss": 0.7724, |
| "step": 270 |
| }, |
| { |
| "epoch": 0.29333333333333333, |
| "grad_norm": 1.036672830581665, |
| "learning_rate": 1.4666666666666666e-05, |
| "loss": 0.9049, |
| "step": 275 |
| }, |
| { |
| "epoch": 0.2986666666666667, |
| "grad_norm": 1.2170835733413696, |
| "learning_rate": 1.4565656565656567e-05, |
| "loss": 0.8528, |
| "step": 280 |
| }, |
| { |
| "epoch": 0.304, |
| "grad_norm": 0.8174688816070557, |
| "learning_rate": 1.4464646464646465e-05, |
| "loss": 0.814, |
| "step": 285 |
| }, |
| { |
| "epoch": 0.30933333333333335, |
| "grad_norm": 1.1070367097854614, |
| "learning_rate": 1.4363636363636365e-05, |
| "loss": 0.8746, |
| "step": 290 |
| }, |
| { |
| "epoch": 0.31466666666666665, |
| "grad_norm": 0.904995322227478, |
| "learning_rate": 1.4262626262626264e-05, |
| "loss": 0.917, |
| "step": 295 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 0.7519875764846802, |
| "learning_rate": 1.4161616161616164e-05, |
| "loss": 0.7766, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.3253333333333333, |
| "grad_norm": 0.8368961215019226, |
| "learning_rate": 1.4060606060606061e-05, |
| "loss": 0.8573, |
| "step": 305 |
| }, |
| { |
| "epoch": 0.33066666666666666, |
| "grad_norm": 0.9424313306808472, |
| "learning_rate": 1.3959595959595963e-05, |
| "loss": 0.8728, |
| "step": 310 |
| }, |
| { |
| "epoch": 0.336, |
| "grad_norm": 1.1850807666778564, |
| "learning_rate": 1.385858585858586e-05, |
| "loss": 0.8281, |
| "step": 315 |
| }, |
| { |
| "epoch": 0.3413333333333333, |
| "grad_norm": 0.765692949295044, |
| "learning_rate": 1.3757575757575758e-05, |
| "loss": 0.9035, |
| "step": 320 |
| }, |
| { |
| "epoch": 0.3466666666666667, |
| "grad_norm": 1.218376636505127, |
| "learning_rate": 1.3656565656565656e-05, |
| "loss": 0.8927, |
| "step": 325 |
| }, |
| { |
| "epoch": 0.352, |
| "grad_norm": 0.9827937483787537, |
| "learning_rate": 1.3555555555555557e-05, |
| "loss": 0.9812, |
| "step": 330 |
| }, |
| { |
| "epoch": 0.35733333333333334, |
| "grad_norm": 0.7617772221565247, |
| "learning_rate": 1.3454545454545455e-05, |
| "loss": 0.8899, |
| "step": 335 |
| }, |
| { |
| "epoch": 0.3626666666666667, |
| "grad_norm": 1.2161617279052734, |
| "learning_rate": 1.3353535353535354e-05, |
| "loss": 0.8615, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.368, |
| "grad_norm": 1.0964343547821045, |
| "learning_rate": 1.3252525252525254e-05, |
| "loss": 0.8452, |
| "step": 345 |
| }, |
| { |
| "epoch": 0.37333333333333335, |
| "grad_norm": 1.0064449310302734, |
| "learning_rate": 1.3151515151515153e-05, |
| "loss": 0.7828, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.37866666666666665, |
| "grad_norm": 1.4947946071624756, |
| "learning_rate": 1.3050505050505051e-05, |
| "loss": 0.8614, |
| "step": 355 |
| }, |
| { |
| "epoch": 0.384, |
| "grad_norm": 0.8540753722190857, |
| "learning_rate": 1.2949494949494949e-05, |
| "loss": 0.947, |
| "step": 360 |
| }, |
| { |
| "epoch": 0.3893333333333333, |
| "grad_norm": 1.0984326601028442, |
| "learning_rate": 1.284848484848485e-05, |
| "loss": 0.83, |
| "step": 365 |
| }, |
| { |
| "epoch": 0.39466666666666667, |
| "grad_norm": 1.2395354509353638, |
| "learning_rate": 1.2747474747474748e-05, |
| "loss": 0.8367, |
| "step": 370 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 1.0039360523223877, |
| "learning_rate": 1.2646464646464647e-05, |
| "loss": 0.8774, |
| "step": 375 |
| }, |
| { |
| "epoch": 0.4053333333333333, |
| "grad_norm": 0.863132655620575, |
| "learning_rate": 1.2545454545454547e-05, |
| "loss": 0.9715, |
| "step": 380 |
| }, |
| { |
| "epoch": 0.4106666666666667, |
| "grad_norm": 1.2156693935394287, |
| "learning_rate": 1.2444444444444446e-05, |
| "loss": 0.9005, |
| "step": 385 |
| }, |
| { |
| "epoch": 0.416, |
| "grad_norm": 1.049648642539978, |
| "learning_rate": 1.2343434343434344e-05, |
| "loss": 0.7847, |
| "step": 390 |
| }, |
| { |
| "epoch": 0.42133333333333334, |
| "grad_norm": 1.1432439088821411, |
| "learning_rate": 1.2242424242424242e-05, |
| "loss": 0.9426, |
| "step": 395 |
| }, |
| { |
| "epoch": 0.4266666666666667, |
| "grad_norm": 1.164472222328186, |
| "learning_rate": 1.2141414141414143e-05, |
| "loss": 0.7819, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.432, |
| "grad_norm": 1.2343779802322388, |
| "learning_rate": 1.2040404040404041e-05, |
| "loss": 0.9257, |
| "step": 405 |
| }, |
| { |
| "epoch": 0.43733333333333335, |
| "grad_norm": 0.9872158169746399, |
| "learning_rate": 1.193939393939394e-05, |
| "loss": 0.8634, |
| "step": 410 |
| }, |
| { |
| "epoch": 0.44266666666666665, |
| "grad_norm": 1.0840346813201904, |
| "learning_rate": 1.183838383838384e-05, |
| "loss": 0.8683, |
| "step": 415 |
| }, |
| { |
| "epoch": 0.448, |
| "grad_norm": 0.9825693964958191, |
| "learning_rate": 1.1737373737373738e-05, |
| "loss": 0.8948, |
| "step": 420 |
| }, |
| { |
| "epoch": 0.4533333333333333, |
| "grad_norm": 1.0183353424072266, |
| "learning_rate": 1.1636363636363637e-05, |
| "loss": 0.8223, |
| "step": 425 |
| }, |
| { |
| "epoch": 0.45866666666666667, |
| "grad_norm": 1.3394027948379517, |
| "learning_rate": 1.1535353535353537e-05, |
| "loss": 0.9228, |
| "step": 430 |
| }, |
| { |
| "epoch": 0.464, |
| "grad_norm": 1.4407519102096558, |
| "learning_rate": 1.1434343434343436e-05, |
| "loss": 0.9024, |
| "step": 435 |
| }, |
| { |
| "epoch": 0.4693333333333333, |
| "grad_norm": 0.9945356249809265, |
| "learning_rate": 1.1333333333333334e-05, |
| "loss": 0.9539, |
| "step": 440 |
| }, |
| { |
| "epoch": 0.4746666666666667, |
| "grad_norm": 0.9333862066268921, |
| "learning_rate": 1.1232323232323232e-05, |
| "loss": 0.9207, |
| "step": 445 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 1.0179983377456665, |
| "learning_rate": 1.1131313131313133e-05, |
| "loss": 0.8696, |
| "step": 450 |
| }, |
| { |
| "epoch": 0.48533333333333334, |
| "grad_norm": 0.9237622022628784, |
| "learning_rate": 1.103030303030303e-05, |
| "loss": 0.8386, |
| "step": 455 |
| }, |
| { |
| "epoch": 0.49066666666666664, |
| "grad_norm": 1.4150505065917969, |
| "learning_rate": 1.092929292929293e-05, |
| "loss": 0.8134, |
| "step": 460 |
| }, |
| { |
| "epoch": 0.496, |
| "grad_norm": 1.1595478057861328, |
| "learning_rate": 1.082828282828283e-05, |
| "loss": 0.9826, |
| "step": 465 |
| }, |
| { |
| "epoch": 0.5013333333333333, |
| "grad_norm": 0.8624115586280823, |
| "learning_rate": 1.0727272727272729e-05, |
| "loss": 0.8796, |
| "step": 470 |
| }, |
| { |
| "epoch": 0.5066666666666667, |
| "grad_norm": 1.2092162370681763, |
| "learning_rate": 1.0626262626262627e-05, |
| "loss": 0.8048, |
| "step": 475 |
| }, |
| { |
| "epoch": 0.512, |
| "grad_norm": 0.9284762740135193, |
| "learning_rate": 1.0525252525252525e-05, |
| "loss": 0.8682, |
| "step": 480 |
| }, |
| { |
| "epoch": 0.5173333333333333, |
| "grad_norm": 0.9929215908050537, |
| "learning_rate": 1.0424242424242426e-05, |
| "loss": 0.8049, |
| "step": 485 |
| }, |
| { |
| "epoch": 0.5226666666666666, |
| "grad_norm": 0.8166928291320801, |
| "learning_rate": 1.0323232323232324e-05, |
| "loss": 0.8942, |
| "step": 490 |
| }, |
| { |
| "epoch": 0.528, |
| "grad_norm": 1.2903831005096436, |
| "learning_rate": 1.0222222222222223e-05, |
| "loss": 0.8789, |
| "step": 495 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 1.0434647798538208, |
| "learning_rate": 1.0121212121212122e-05, |
| "loss": 0.8461, |
| "step": 500 |
| } |
| ], |
| "logging_steps": 5, |
| "max_steps": 1000, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 2, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": false |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 2991742779801600.0, |
| "train_batch_size": 1, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
