| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 13.16, | |
| "eval_steps": 500, | |
| "global_step": 500, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 1.4048924446105957, | |
| "learning_rate": 1e-05, | |
| "loss": 0.7666, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 0.779962420463562, | |
| "learning_rate": 2e-05, | |
| "loss": 0.8227, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.6772681474685669, | |
| "learning_rate": 3e-05, | |
| "loss": 0.8927, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 0.3558235168457031, | |
| "learning_rate": 4e-05, | |
| "loss": 0.7447, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 0.8107256889343262, | |
| "learning_rate": 5e-05, | |
| "loss": 0.7544, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.3786630630493164, | |
| "learning_rate": 6e-05, | |
| "loss": 0.6356, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 0.46198970079421997, | |
| "learning_rate": 7e-05, | |
| "loss": 0.7019, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 1.0533333333333332, | |
| "grad_norm": 0.42797496914863586, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5952, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 1.1866666666666668, | |
| "grad_norm": 0.49653759598731995, | |
| "learning_rate": 9e-05, | |
| "loss": 0.6872, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 1.32, | |
| "grad_norm": 0.7207635641098022, | |
| "learning_rate": 0.0001, | |
| "loss": 0.5546, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 1.4533333333333334, | |
| "grad_norm": 0.7673625946044922, | |
| "learning_rate": 0.00011000000000000002, | |
| "loss": 0.5981, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 1.5866666666666667, | |
| "grad_norm": 1.0735150575637817, | |
| "learning_rate": 0.00012, | |
| "loss": 0.6894, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 1.72, | |
| "grad_norm": 0.6854905486106873, | |
| "learning_rate": 0.00013000000000000002, | |
| "loss": 0.6419, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 1.8533333333333335, | |
| "grad_norm": 0.6493762731552124, | |
| "learning_rate": 0.00014, | |
| "loss": 0.5509, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 1.9866666666666668, | |
| "grad_norm": 0.33443498611450195, | |
| "learning_rate": 0.00015000000000000001, | |
| "loss": 0.5289, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 2.1066666666666665, | |
| "grad_norm": 0.274117648601532, | |
| "learning_rate": 0.00016, | |
| "loss": 0.5782, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 2.24, | |
| "grad_norm": 0.6764754056930542, | |
| "learning_rate": 0.00017, | |
| "loss": 0.5571, | |
| "step": 85 | |
| }, | |
| { | |
| "epoch": 2.3733333333333335, | |
| "grad_norm": 0.5324050784111023, | |
| "learning_rate": 0.00018, | |
| "loss": 0.4483, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 2.506666666666667, | |
| "grad_norm": 0.5388379096984863, | |
| "learning_rate": 0.00019, | |
| "loss": 0.3829, | |
| "step": 95 | |
| }, | |
| { | |
| "epoch": 2.64, | |
| "grad_norm": 0.5039830207824707, | |
| "learning_rate": 0.0002, | |
| "loss": 0.5479, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 2.7733333333333334, | |
| "grad_norm": 1.287005066871643, | |
| "learning_rate": 0.0001999229036240723, | |
| "loss": 0.5669, | |
| "step": 105 | |
| }, | |
| { | |
| "epoch": 2.9066666666666667, | |
| "grad_norm": 0.7880101799964905, | |
| "learning_rate": 0.0001996917333733128, | |
| "loss": 0.4038, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 3.026666666666667, | |
| "grad_norm": 0.8152766227722168, | |
| "learning_rate": 0.00019930684569549264, | |
| "loss": 0.439, | |
| "step": 115 | |
| }, | |
| { | |
| "epoch": 3.16, | |
| "grad_norm": 0.660615861415863, | |
| "learning_rate": 0.00019876883405951377, | |
| "loss": 0.2819, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 3.2933333333333334, | |
| "grad_norm": 0.9776943325996399, | |
| "learning_rate": 0.00019807852804032305, | |
| "loss": 0.3127, | |
| "step": 125 | |
| }, | |
| { | |
| "epoch": 3.4266666666666667, | |
| "grad_norm": 0.8148934245109558, | |
| "learning_rate": 0.00019723699203976766, | |
| "loss": 0.3398, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 3.56, | |
| "grad_norm": 1.9235339164733887, | |
| "learning_rate": 0.00019624552364536473, | |
| "loss": 0.3509, | |
| "step": 135 | |
| }, | |
| { | |
| "epoch": 3.6933333333333334, | |
| "grad_norm": 1.205474853515625, | |
| "learning_rate": 0.00019510565162951537, | |
| "loss": 0.4016, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 3.8266666666666667, | |
| "grad_norm": 0.6102964282035828, | |
| "learning_rate": 0.00019381913359224842, | |
| "loss": 0.2612, | |
| "step": 145 | |
| }, | |
| { | |
| "epoch": 3.96, | |
| "grad_norm": 0.9407595992088318, | |
| "learning_rate": 0.0001923879532511287, | |
| "loss": 0.3213, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 4.08, | |
| "grad_norm": 0.7562478184700012, | |
| "learning_rate": 0.00019081431738250814, | |
| "loss": 0.2491, | |
| "step": 155 | |
| }, | |
| { | |
| "epoch": 4.213333333333333, | |
| "grad_norm": 0.791593074798584, | |
| "learning_rate": 0.0001891006524188368, | |
| "loss": 0.1952, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 4.346666666666667, | |
| "grad_norm": 1.438049077987671, | |
| "learning_rate": 0.00018724960070727972, | |
| "loss": 0.2156, | |
| "step": 165 | |
| }, | |
| { | |
| "epoch": 4.48, | |
| "grad_norm": 0.6928703784942627, | |
| "learning_rate": 0.00018526401643540922, | |
| "loss": 0.1574, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 4.613333333333333, | |
| "grad_norm": 1.160597801208496, | |
| "learning_rate": 0.00018314696123025454, | |
| "loss": 0.2015, | |
| "step": 175 | |
| }, | |
| { | |
| "epoch": 4.746666666666667, | |
| "grad_norm": 1.8100343942642212, | |
| "learning_rate": 0.00018090169943749476, | |
| "loss": 0.2436, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 4.88, | |
| "grad_norm": 0.8268325924873352, | |
| "learning_rate": 0.00017853169308807448, | |
| "loss": 0.2164, | |
| "step": 185 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "grad_norm": 2.3288047313690186, | |
| "learning_rate": 0.0001760405965600031, | |
| "loss": 0.2071, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 5.133333333333334, | |
| "grad_norm": 1.0968126058578491, | |
| "learning_rate": 0.00017343225094356855, | |
| "loss": 0.1335, | |
| "step": 195 | |
| }, | |
| { | |
| "epoch": 5.266666666666667, | |
| "grad_norm": 0.9570348858833313, | |
| "learning_rate": 0.00017071067811865476, | |
| "loss": 0.0857, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 5.4, | |
| "grad_norm": 1.313133955001831, | |
| "learning_rate": 0.0001678800745532942, | |
| "loss": 0.1254, | |
| "step": 205 | |
| }, | |
| { | |
| "epoch": 5.533333333333333, | |
| "grad_norm": 1.1976529359817505, | |
| "learning_rate": 0.00016494480483301836, | |
| "loss": 0.1338, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 5.666666666666667, | |
| "grad_norm": 1.234705924987793, | |
| "learning_rate": 0.00016190939493098344, | |
| "loss": 0.1117, | |
| "step": 215 | |
| }, | |
| { | |
| "epoch": 5.8, | |
| "grad_norm": 0.729626476764679, | |
| "learning_rate": 0.00015877852522924732, | |
| "loss": 0.0908, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 5.933333333333334, | |
| "grad_norm": 0.6159748435020447, | |
| "learning_rate": 0.00015555702330196023, | |
| "loss": 0.0859, | |
| "step": 225 | |
| }, | |
| { | |
| "epoch": 6.053333333333334, | |
| "grad_norm": 0.6365455389022827, | |
| "learning_rate": 0.0001522498564715949, | |
| "loss": 0.0752, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 6.1866666666666665, | |
| "grad_norm": 0.6191051006317139, | |
| "learning_rate": 0.00014886212414969553, | |
| "loss": 0.0496, | |
| "step": 235 | |
| }, | |
| { | |
| "epoch": 6.32, | |
| "grad_norm": 0.835532009601593, | |
| "learning_rate": 0.00014539904997395468, | |
| "loss": 0.0642, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 6.453333333333333, | |
| "grad_norm": 0.9120854139328003, | |
| "learning_rate": 0.0001418659737537428, | |
| "loss": 0.0552, | |
| "step": 245 | |
| }, | |
| { | |
| "epoch": 6.586666666666667, | |
| "grad_norm": 1.309117078781128, | |
| "learning_rate": 0.000138268343236509, | |
| "loss": 0.0523, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 6.72, | |
| "grad_norm": 0.5572851896286011, | |
| "learning_rate": 0.0001346117057077493, | |
| "loss": 0.048, | |
| "step": 255 | |
| }, | |
| { | |
| "epoch": 6.8533333333333335, | |
| "grad_norm": 0.6184096336364746, | |
| "learning_rate": 0.00013090169943749476, | |
| "loss": 0.0481, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 6.986666666666666, | |
| "grad_norm": 0.8938915729522705, | |
| "learning_rate": 0.00012714404498650743, | |
| "loss": 0.0531, | |
| "step": 265 | |
| }, | |
| { | |
| "epoch": 7.1066666666666665, | |
| "grad_norm": 0.33379557728767395, | |
| "learning_rate": 0.00012334453638559057, | |
| "loss": 0.0439, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 7.24, | |
| "grad_norm": 0.6010497212409973, | |
| "learning_rate": 0.00011950903220161285, | |
| "loss": 0.0223, | |
| "step": 275 | |
| }, | |
| { | |
| "epoch": 7.373333333333333, | |
| "grad_norm": 0.3853472173213959, | |
| "learning_rate": 0.0001156434465040231, | |
| "loss": 0.0269, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 7.506666666666667, | |
| "grad_norm": 0.6208595037460327, | |
| "learning_rate": 0.00011175373974578378, | |
| "loss": 0.0235, | |
| "step": 285 | |
| }, | |
| { | |
| "epoch": 7.64, | |
| "grad_norm": 0.5462209582328796, | |
| "learning_rate": 0.0001078459095727845, | |
| "loss": 0.0293, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 7.773333333333333, | |
| "grad_norm": 0.7936717867851257, | |
| "learning_rate": 0.00010392598157590688, | |
| "loss": 0.0221, | |
| "step": 295 | |
| }, | |
| { | |
| "epoch": 7.906666666666666, | |
| "grad_norm": 0.6207137703895569, | |
| "learning_rate": 0.0001, | |
| "loss": 0.0244, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 8.026666666666667, | |
| "grad_norm": 0.30363529920578003, | |
| "learning_rate": 9.607401842409317e-05, | |
| "loss": 0.0192, | |
| "step": 305 | |
| }, | |
| { | |
| "epoch": 8.16, | |
| "grad_norm": 0.19360464811325073, | |
| "learning_rate": 9.215409042721552e-05, | |
| "loss": 0.0112, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 8.293333333333333, | |
| "grad_norm": 0.18830697238445282, | |
| "learning_rate": 8.824626025421626e-05, | |
| "loss": 0.0144, | |
| "step": 315 | |
| }, | |
| { | |
| "epoch": 8.426666666666666, | |
| "grad_norm": 0.2931200861930847, | |
| "learning_rate": 8.435655349597689e-05, | |
| "loss": 0.0121, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 8.56, | |
| "grad_norm": 0.20501606166362762, | |
| "learning_rate": 8.049096779838719e-05, | |
| "loss": 0.0087, | |
| "step": 325 | |
| }, | |
| { | |
| "epoch": 8.693333333333333, | |
| "grad_norm": 0.28209131956100464, | |
| "learning_rate": 7.66554636144095e-05, | |
| "loss": 0.0097, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 8.826666666666666, | |
| "grad_norm": 0.39202964305877686, | |
| "learning_rate": 7.285595501349258e-05, | |
| "loss": 0.0107, | |
| "step": 335 | |
| }, | |
| { | |
| "epoch": 8.96, | |
| "grad_norm": 0.8103435039520264, | |
| "learning_rate": 6.909830056250527e-05, | |
| "loss": 0.0101, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 9.08, | |
| "grad_norm": 0.3019217252731323, | |
| "learning_rate": 6.538829429225069e-05, | |
| "loss": 0.0076, | |
| "step": 345 | |
| }, | |
| { | |
| "epoch": 9.213333333333333, | |
| "grad_norm": 0.1781633049249649, | |
| "learning_rate": 6.173165676349103e-05, | |
| "loss": 0.0049, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 9.346666666666668, | |
| "grad_norm": 0.2368287593126297, | |
| "learning_rate": 5.8134026246257225e-05, | |
| "loss": 0.0044, | |
| "step": 355 | |
| }, | |
| { | |
| "epoch": 9.48, | |
| "grad_norm": 0.1763859987258911, | |
| "learning_rate": 5.4600950026045326e-05, | |
| "loss": 0.0065, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 9.613333333333333, | |
| "grad_norm": 0.2830829918384552, | |
| "learning_rate": 5.113787585030454e-05, | |
| "loss": 0.0043, | |
| "step": 365 | |
| }, | |
| { | |
| "epoch": 9.746666666666666, | |
| "grad_norm": 0.17518676817417145, | |
| "learning_rate": 4.7750143528405126e-05, | |
| "loss": 0.0047, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 9.88, | |
| "grad_norm": 0.10696718096733093, | |
| "learning_rate": 4.444297669803981e-05, | |
| "loss": 0.0044, | |
| "step": 375 | |
| }, | |
| { | |
| "epoch": 10.0, | |
| "grad_norm": 0.18552780151367188, | |
| "learning_rate": 4.12214747707527e-05, | |
| "loss": 0.0049, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 10.133333333333333, | |
| "grad_norm": 0.07388182729482651, | |
| "learning_rate": 3.8090605069016595e-05, | |
| "loss": 0.0031, | |
| "step": 385 | |
| }, | |
| { | |
| "epoch": 10.266666666666667, | |
| "grad_norm": 0.15940183401107788, | |
| "learning_rate": 3.5055195166981645e-05, | |
| "loss": 0.0029, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 10.4, | |
| "grad_norm": 0.07301970571279526, | |
| "learning_rate": 3.211992544670582e-05, | |
| "loss": 0.0023, | |
| "step": 395 | |
| }, | |
| { | |
| "epoch": 10.533333333333333, | |
| "grad_norm": 0.18599063158035278, | |
| "learning_rate": 2.9289321881345254e-05, | |
| "loss": 0.003, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 10.666666666666666, | |
| "grad_norm": 0.08508925139904022, | |
| "learning_rate": 2.6567749056431467e-05, | |
| "loss": 0.003, | |
| "step": 405 | |
| }, | |
| { | |
| "epoch": 10.8, | |
| "grad_norm": 0.051980435848236084, | |
| "learning_rate": 2.3959403439996907e-05, | |
| "loss": 0.0031, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 10.933333333333334, | |
| "grad_norm": 0.09313967078924179, | |
| "learning_rate": 2.146830691192553e-05, | |
| "loss": 0.0032, | |
| "step": 415 | |
| }, | |
| { | |
| "epoch": 11.053333333333333, | |
| "grad_norm": 0.04667476937174797, | |
| "learning_rate": 1.9098300562505266e-05, | |
| "loss": 0.0028, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 11.186666666666667, | |
| "grad_norm": 0.05424318090081215, | |
| "learning_rate": 1.6853038769745467e-05, | |
| "loss": 0.0025, | |
| "step": 425 | |
| }, | |
| { | |
| "epoch": 11.32, | |
| "grad_norm": 0.06408827006816864, | |
| "learning_rate": 1.4735983564590783e-05, | |
| "loss": 0.0026, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 11.453333333333333, | |
| "grad_norm": 0.06944520026445389, | |
| "learning_rate": 1.2750399292720283e-05, | |
| "loss": 0.0029, | |
| "step": 435 | |
| }, | |
| { | |
| "epoch": 11.586666666666666, | |
| "grad_norm": 0.05019211769104004, | |
| "learning_rate": 1.0899347581163221e-05, | |
| "loss": 0.0023, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 11.72, | |
| "grad_norm": 0.042886920273303986, | |
| "learning_rate": 9.185682617491863e-06, | |
| "loss": 0.0024, | |
| "step": 445 | |
| }, | |
| { | |
| "epoch": 11.853333333333333, | |
| "grad_norm": 0.07555174082517624, | |
| "learning_rate": 7.612046748871327e-06, | |
| "loss": 0.0024, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 11.986666666666666, | |
| "grad_norm": 0.05007031559944153, | |
| "learning_rate": 6.180866407751595e-06, | |
| "loss": 0.0024, | |
| "step": 455 | |
| }, | |
| { | |
| "epoch": 12.106666666666667, | |
| "grad_norm": 0.044344205409288406, | |
| "learning_rate": 4.8943483704846475e-06, | |
| "loss": 0.0023, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 12.24, | |
| "grad_norm": 0.09977416694164276, | |
| "learning_rate": 3.7544763546352834e-06, | |
| "loss": 0.0024, | |
| "step": 465 | |
| }, | |
| { | |
| "epoch": 12.373333333333333, | |
| "grad_norm": 0.051654569804668427, | |
| "learning_rate": 2.7630079602323442e-06, | |
| "loss": 0.0024, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 12.506666666666666, | |
| "grad_norm": 0.06595998257398605, | |
| "learning_rate": 1.921471959676957e-06, | |
| "loss": 0.0024, | |
| "step": 475 | |
| }, | |
| { | |
| "epoch": 12.64, | |
| "grad_norm": 0.05855317786335945, | |
| "learning_rate": 1.231165940486234e-06, | |
| "loss": 0.0025, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 12.773333333333333, | |
| "grad_norm": 0.05403890460729599, | |
| "learning_rate": 6.931543045073708e-07, | |
| "loss": 0.0024, | |
| "step": 485 | |
| }, | |
| { | |
| "epoch": 12.906666666666666, | |
| "grad_norm": 0.05437196418642998, | |
| "learning_rate": 3.0826662668720364e-07, | |
| "loss": 0.0028, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 13.026666666666667, | |
| "grad_norm": 0.035325415432453156, | |
| "learning_rate": 7.709637592770991e-08, | |
| "loss": 0.0015, | |
| "step": 495 | |
| }, | |
| { | |
| "epoch": 13.16, | |
| "grad_norm": 0.046797532588243484, | |
| "learning_rate": 0.0, | |
| "loss": 0.0026, | |
| "step": 500 | |
| } | |
| ], | |
| "logging_steps": 5, | |
| "max_steps": 500, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 14, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 4.609006707373056e+16, | |
| "train_batch_size": 1, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |