| { | |
| "best_global_step": 1500, | |
| "best_metric": 0.1240573301911354, | |
| "best_model_checkpoint": "./vit-ena24/checkpoint-1500", | |
| "epoch": 2.0, | |
| "eval_steps": 100, | |
| "global_step": 1536, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.013020833333333334, | |
| "grad_norm": 3.0722601413726807, | |
| "learning_rate": 0.00019869791666666668, | |
| "loss": 3.031, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.026041666666666668, | |
| "grad_norm": 2.4264492988586426, | |
| "learning_rate": 0.00019739583333333333, | |
| "loss": 2.7744, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.0390625, | |
| "grad_norm": 2.4537649154663086, | |
| "learning_rate": 0.00019609375, | |
| "loss": 2.7627, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.052083333333333336, | |
| "grad_norm": 2.7302908897399902, | |
| "learning_rate": 0.00019479166666666668, | |
| "loss": 2.5747, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.06510416666666667, | |
| "grad_norm": 2.5019726753234863, | |
| "learning_rate": 0.00019348958333333333, | |
| "loss": 2.4003, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.078125, | |
| "grad_norm": 2.628033399581909, | |
| "learning_rate": 0.0001921875, | |
| "loss": 2.221, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.09114583333333333, | |
| "grad_norm": 2.7688052654266357, | |
| "learning_rate": 0.00019088541666666668, | |
| "loss": 2.1845, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.10416666666666667, | |
| "grad_norm": 2.4697251319885254, | |
| "learning_rate": 0.00018958333333333332, | |
| "loss": 1.8719, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.1171875, | |
| "grad_norm": 2.2273764610290527, | |
| "learning_rate": 0.00018828125, | |
| "loss": 1.8395, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.13020833333333334, | |
| "grad_norm": 2.8049874305725098, | |
| "learning_rate": 0.00018697916666666667, | |
| "loss": 1.9499, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.13020833333333334, | |
| "eval_accuracy": 0.5885496183206107, | |
| "eval_loss": 1.7695176601409912, | |
| "eval_runtime": 61.1681, | |
| "eval_samples_per_second": 21.416, | |
| "eval_steps_per_second": 2.681, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.14322916666666666, | |
| "grad_norm": 1.92490553855896, | |
| "learning_rate": 0.00018567708333333335, | |
| "loss": 1.7157, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.15625, | |
| "grad_norm": 2.6504788398742676, | |
| "learning_rate": 0.000184375, | |
| "loss": 1.7076, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.16927083333333334, | |
| "grad_norm": 2.9084460735321045, | |
| "learning_rate": 0.00018307291666666667, | |
| "loss": 1.5286, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.18229166666666666, | |
| "grad_norm": 2.2270238399505615, | |
| "learning_rate": 0.00018177083333333334, | |
| "loss": 1.4616, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.1953125, | |
| "grad_norm": 3.2315688133239746, | |
| "learning_rate": 0.00018046875000000002, | |
| "loss": 1.3648, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.20833333333333334, | |
| "grad_norm": 2.666015148162842, | |
| "learning_rate": 0.0001791666666666667, | |
| "loss": 1.4065, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.22135416666666666, | |
| "grad_norm": 2.359640121459961, | |
| "learning_rate": 0.00017786458333333334, | |
| "loss": 1.1526, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.234375, | |
| "grad_norm": 2.60929799079895, | |
| "learning_rate": 0.00017656250000000002, | |
| "loss": 1.4927, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.24739583333333334, | |
| "grad_norm": 2.391559362411499, | |
| "learning_rate": 0.0001752604166666667, | |
| "loss": 1.342, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.2604166666666667, | |
| "grad_norm": 2.897575855255127, | |
| "learning_rate": 0.00017395833333333334, | |
| "loss": 1.2926, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.2604166666666667, | |
| "eval_accuracy": 0.7389312977099237, | |
| "eval_loss": 1.1301350593566895, | |
| "eval_runtime": 62.1104, | |
| "eval_samples_per_second": 21.091, | |
| "eval_steps_per_second": 2.64, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.2734375, | |
| "grad_norm": 1.78794264793396, | |
| "learning_rate": 0.00017265625, | |
| "loss": 0.9414, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 0.2864583333333333, | |
| "grad_norm": 1.964126706123352, | |
| "learning_rate": 0.0001713541666666667, | |
| "loss": 1.1701, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.2994791666666667, | |
| "grad_norm": 5.4335222244262695, | |
| "learning_rate": 0.00017005208333333333, | |
| "loss": 1.1313, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 0.3125, | |
| "grad_norm": 3.4125571250915527, | |
| "learning_rate": 0.00016875, | |
| "loss": 1.0923, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.3255208333333333, | |
| "grad_norm": 3.207430124282837, | |
| "learning_rate": 0.00016744791666666668, | |
| "loss": 1.0682, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 0.3385416666666667, | |
| "grad_norm": 5.175798416137695, | |
| "learning_rate": 0.00016614583333333333, | |
| "loss": 1.0122, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.3515625, | |
| "grad_norm": 2.509777784347534, | |
| "learning_rate": 0.00016484375, | |
| "loss": 0.8986, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 0.3645833333333333, | |
| "grad_norm": 2.8268353939056396, | |
| "learning_rate": 0.00016354166666666668, | |
| "loss": 1.0038, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.3776041666666667, | |
| "grad_norm": 2.010891914367676, | |
| "learning_rate": 0.00016223958333333333, | |
| "loss": 0.8838, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 0.390625, | |
| "grad_norm": 2.156606435775757, | |
| "learning_rate": 0.0001609375, | |
| "loss": 0.8506, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.390625, | |
| "eval_accuracy": 0.7786259541984732, | |
| "eval_loss": 0.8699814081192017, | |
| "eval_runtime": 62.9143, | |
| "eval_samples_per_second": 20.822, | |
| "eval_steps_per_second": 2.607, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.4036458333333333, | |
| "grad_norm": 1.4123530387878418, | |
| "learning_rate": 0.00015963541666666668, | |
| "loss": 0.9444, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 0.4166666666666667, | |
| "grad_norm": 2.9093761444091797, | |
| "learning_rate": 0.00015833333333333332, | |
| "loss": 0.8172, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.4296875, | |
| "grad_norm": 3.12125825881958, | |
| "learning_rate": 0.00015703125, | |
| "loss": 0.6503, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 0.4427083333333333, | |
| "grad_norm": 1.1089674234390259, | |
| "learning_rate": 0.00015572916666666667, | |
| "loss": 0.6197, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.4557291666666667, | |
| "grad_norm": 3.4280874729156494, | |
| "learning_rate": 0.00015442708333333332, | |
| "loss": 0.6035, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 0.46875, | |
| "grad_norm": 2.3865673542022705, | |
| "learning_rate": 0.000153125, | |
| "loss": 0.5898, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.4817708333333333, | |
| "grad_norm": 3.5790512561798096, | |
| "learning_rate": 0.00015182291666666667, | |
| "loss": 0.5847, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 0.4947916666666667, | |
| "grad_norm": 2.1285228729248047, | |
| "learning_rate": 0.00015052083333333334, | |
| "loss": 1.0145, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 0.5078125, | |
| "grad_norm": 2.900602340698242, | |
| "learning_rate": 0.00014921875000000002, | |
| "loss": 0.6172, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 0.5208333333333334, | |
| "grad_norm": 3.4392776489257812, | |
| "learning_rate": 0.0001479166666666667, | |
| "loss": 0.6715, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.5208333333333334, | |
| "eval_accuracy": 0.8396946564885496, | |
| "eval_loss": 0.7060399651527405, | |
| "eval_runtime": 60.8536, | |
| "eval_samples_per_second": 21.527, | |
| "eval_steps_per_second": 2.695, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.5338541666666666, | |
| "grad_norm": 1.3393733501434326, | |
| "learning_rate": 0.00014661458333333334, | |
| "loss": 0.6946, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 0.546875, | |
| "grad_norm": 2.181816816329956, | |
| "learning_rate": 0.00014531250000000002, | |
| "loss": 0.5684, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 0.5598958333333334, | |
| "grad_norm": 4.672101974487305, | |
| "learning_rate": 0.0001440104166666667, | |
| "loss": 0.4329, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 0.5729166666666666, | |
| "grad_norm": 1.4188686609268188, | |
| "learning_rate": 0.00014270833333333334, | |
| "loss": 0.4638, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 0.5859375, | |
| "grad_norm": 8.921753883361816, | |
| "learning_rate": 0.00014140625, | |
| "loss": 0.7674, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 0.5989583333333334, | |
| "grad_norm": 4.4842352867126465, | |
| "learning_rate": 0.00014010416666666669, | |
| "loss": 0.7014, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 0.6119791666666666, | |
| "grad_norm": 5.743294715881348, | |
| "learning_rate": 0.00013880208333333333, | |
| "loss": 0.7538, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 0.625, | |
| "grad_norm": 1.0341393947601318, | |
| "learning_rate": 0.0001375, | |
| "loss": 0.6684, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 0.6380208333333334, | |
| "grad_norm": 3.5416698455810547, | |
| "learning_rate": 0.00013619791666666668, | |
| "loss": 0.4125, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 0.6510416666666666, | |
| "grad_norm": 6.88870096206665, | |
| "learning_rate": 0.00013489583333333333, | |
| "loss": 0.5668, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.6510416666666666, | |
| "eval_accuracy": 0.8603053435114504, | |
| "eval_loss": 0.5340920686721802, | |
| "eval_runtime": 59.9325, | |
| "eval_samples_per_second": 21.858, | |
| "eval_steps_per_second": 2.736, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.6640625, | |
| "grad_norm": 0.7580458521842957, | |
| "learning_rate": 0.00013359375, | |
| "loss": 0.6056, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 0.6770833333333334, | |
| "grad_norm": 4.677633285522461, | |
| "learning_rate": 0.00013229166666666668, | |
| "loss": 0.7308, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 0.6901041666666666, | |
| "grad_norm": 1.9876255989074707, | |
| "learning_rate": 0.00013098958333333333, | |
| "loss": 0.6517, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 0.703125, | |
| "grad_norm": 3.5517194271087646, | |
| "learning_rate": 0.0001296875, | |
| "loss": 0.3811, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 0.7161458333333334, | |
| "grad_norm": 1.658909559249878, | |
| "learning_rate": 0.00012838541666666668, | |
| "loss": 0.5153, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 0.7291666666666666, | |
| "grad_norm": 0.3942301869392395, | |
| "learning_rate": 0.00012708333333333332, | |
| "loss": 0.5046, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 0.7421875, | |
| "grad_norm": 4.73356819152832, | |
| "learning_rate": 0.00012578125, | |
| "loss": 0.6237, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 0.7552083333333334, | |
| "grad_norm": 4.091372013092041, | |
| "learning_rate": 0.00012447916666666667, | |
| "loss": 0.6311, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 0.7682291666666666, | |
| "grad_norm": 5.154061317443848, | |
| "learning_rate": 0.00012317708333333332, | |
| "loss": 0.3187, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 0.78125, | |
| "grad_norm": 3.486983060836792, | |
| "learning_rate": 0.00012187500000000001, | |
| "loss": 0.5531, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.78125, | |
| "eval_accuracy": 0.8893129770992366, | |
| "eval_loss": 0.44243791699409485, | |
| "eval_runtime": 60.1806, | |
| "eval_samples_per_second": 21.768, | |
| "eval_steps_per_second": 2.725, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.7942708333333334, | |
| "grad_norm": 0.35905104875564575, | |
| "learning_rate": 0.00012057291666666668, | |
| "loss": 0.3105, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 0.8072916666666666, | |
| "grad_norm": 3.2125747203826904, | |
| "learning_rate": 0.00011927083333333333, | |
| "loss": 0.4539, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 0.8203125, | |
| "grad_norm": 1.6138118505477905, | |
| "learning_rate": 0.00011796875, | |
| "loss": 0.4095, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 0.8333333333333334, | |
| "grad_norm": 1.9036149978637695, | |
| "learning_rate": 0.00011666666666666668, | |
| "loss": 0.4021, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 0.8463541666666666, | |
| "grad_norm": 6.64377498626709, | |
| "learning_rate": 0.00011536458333333333, | |
| "loss": 0.2135, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 0.859375, | |
| "grad_norm": 9.110306739807129, | |
| "learning_rate": 0.0001140625, | |
| "loss": 0.3364, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 0.8723958333333334, | |
| "grad_norm": 0.41515108942985535, | |
| "learning_rate": 0.00011276041666666668, | |
| "loss": 0.2699, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 0.8854166666666666, | |
| "grad_norm": 2.9530420303344727, | |
| "learning_rate": 0.00011145833333333334, | |
| "loss": 0.534, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 0.8984375, | |
| "grad_norm": 2.8452494144439697, | |
| "learning_rate": 0.00011015625000000001, | |
| "loss": 0.5152, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 0.9114583333333334, | |
| "grad_norm": 0.2534309923648834, | |
| "learning_rate": 0.00010885416666666669, | |
| "loss": 0.2316, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.9114583333333334, | |
| "eval_accuracy": 0.9, | |
| "eval_loss": 0.3668559193611145, | |
| "eval_runtime": 59.7253, | |
| "eval_samples_per_second": 21.934, | |
| "eval_steps_per_second": 2.746, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.9244791666666666, | |
| "grad_norm": 5.2680206298828125, | |
| "learning_rate": 0.00010755208333333333, | |
| "loss": 0.5104, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 0.9375, | |
| "grad_norm": 3.948025703430176, | |
| "learning_rate": 0.00010625000000000001, | |
| "loss": 0.4896, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 0.9505208333333334, | |
| "grad_norm": 0.9852448105812073, | |
| "learning_rate": 0.00010494791666666668, | |
| "loss": 0.2585, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 0.9635416666666666, | |
| "grad_norm": 0.18954665958881378, | |
| "learning_rate": 0.00010364583333333333, | |
| "loss": 0.2797, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 0.9765625, | |
| "grad_norm": 1.220759391784668, | |
| "learning_rate": 0.00010234375, | |
| "loss": 0.4115, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 0.9895833333333334, | |
| "grad_norm": 0.19437117874622345, | |
| "learning_rate": 0.00010104166666666668, | |
| "loss": 0.2969, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 1.0026041666666667, | |
| "grad_norm": 3.36908221244812, | |
| "learning_rate": 9.973958333333334e-05, | |
| "loss": 0.3022, | |
| "step": 770 | |
| }, | |
| { | |
| "epoch": 1.015625, | |
| "grad_norm": 4.469690799713135, | |
| "learning_rate": 9.84375e-05, | |
| "loss": 0.3513, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 1.0286458333333333, | |
| "grad_norm": 0.21652820706367493, | |
| "learning_rate": 9.713541666666666e-05, | |
| "loss": 0.2065, | |
| "step": 790 | |
| }, | |
| { | |
| "epoch": 1.0416666666666667, | |
| "grad_norm": 3.9520163536071777, | |
| "learning_rate": 9.583333333333334e-05, | |
| "loss": 0.2114, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 1.0416666666666667, | |
| "eval_accuracy": 0.9374045801526718, | |
| "eval_loss": 0.26653820276260376, | |
| "eval_runtime": 60.5917, | |
| "eval_samples_per_second": 21.62, | |
| "eval_steps_per_second": 2.707, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 1.0546875, | |
| "grad_norm": 0.2229415774345398, | |
| "learning_rate": 9.453125000000001e-05, | |
| "loss": 0.1251, | |
| "step": 810 | |
| }, | |
| { | |
| "epoch": 1.0677083333333333, | |
| "grad_norm": 2.231929302215576, | |
| "learning_rate": 9.322916666666667e-05, | |
| "loss": 0.1972, | |
| "step": 820 | |
| }, | |
| { | |
| "epoch": 1.0807291666666667, | |
| "grad_norm": 0.3673107326030731, | |
| "learning_rate": 9.192708333333335e-05, | |
| "loss": 0.1123, | |
| "step": 830 | |
| }, | |
| { | |
| "epoch": 1.09375, | |
| "grad_norm": 0.2413560450077057, | |
| "learning_rate": 9.062500000000001e-05, | |
| "loss": 0.1859, | |
| "step": 840 | |
| }, | |
| { | |
| "epoch": 1.1067708333333333, | |
| "grad_norm": 0.29296183586120605, | |
| "learning_rate": 8.932291666666667e-05, | |
| "loss": 0.1734, | |
| "step": 850 | |
| }, | |
| { | |
| "epoch": 1.1197916666666667, | |
| "grad_norm": 0.1393246203660965, | |
| "learning_rate": 8.802083333333334e-05, | |
| "loss": 0.1023, | |
| "step": 860 | |
| }, | |
| { | |
| "epoch": 1.1328125, | |
| "grad_norm": 0.2735807001590729, | |
| "learning_rate": 8.671875e-05, | |
| "loss": 0.3084, | |
| "step": 870 | |
| }, | |
| { | |
| "epoch": 1.1458333333333333, | |
| "grad_norm": 1.9295347929000854, | |
| "learning_rate": 8.541666666666666e-05, | |
| "loss": 0.2324, | |
| "step": 880 | |
| }, | |
| { | |
| "epoch": 1.1588541666666667, | |
| "grad_norm": 1.8442853689193726, | |
| "learning_rate": 8.411458333333334e-05, | |
| "loss": 0.3073, | |
| "step": 890 | |
| }, | |
| { | |
| "epoch": 1.171875, | |
| "grad_norm": 0.27216193079948425, | |
| "learning_rate": 8.28125e-05, | |
| "loss": 0.1614, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 1.171875, | |
| "eval_accuracy": 0.9358778625954198, | |
| "eval_loss": 0.26842617988586426, | |
| "eval_runtime": 61.533, | |
| "eval_samples_per_second": 21.289, | |
| "eval_steps_per_second": 2.665, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 1.1848958333333333, | |
| "grad_norm": 0.31529104709625244, | |
| "learning_rate": 8.151041666666666e-05, | |
| "loss": 0.1144, | |
| "step": 910 | |
| }, | |
| { | |
| "epoch": 1.1979166666666667, | |
| "grad_norm": 4.7185282707214355, | |
| "learning_rate": 8.020833333333334e-05, | |
| "loss": 0.2046, | |
| "step": 920 | |
| }, | |
| { | |
| "epoch": 1.2109375, | |
| "grad_norm": 1.045372486114502, | |
| "learning_rate": 7.890625000000001e-05, | |
| "loss": 0.2476, | |
| "step": 930 | |
| }, | |
| { | |
| "epoch": 1.2239583333333333, | |
| "grad_norm": 1.0386674404144287, | |
| "learning_rate": 7.760416666666667e-05, | |
| "loss": 0.2533, | |
| "step": 940 | |
| }, | |
| { | |
| "epoch": 1.2369791666666667, | |
| "grad_norm": 2.500465154647827, | |
| "learning_rate": 7.630208333333335e-05, | |
| "loss": 0.4332, | |
| "step": 950 | |
| }, | |
| { | |
| "epoch": 1.25, | |
| "grad_norm": 1.079042673110962, | |
| "learning_rate": 7.500000000000001e-05, | |
| "loss": 0.3729, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 1.2630208333333333, | |
| "grad_norm": 0.2167169451713562, | |
| "learning_rate": 7.369791666666667e-05, | |
| "loss": 0.1837, | |
| "step": 970 | |
| }, | |
| { | |
| "epoch": 1.2760416666666667, | |
| "grad_norm": 0.15448452532291412, | |
| "learning_rate": 7.239583333333334e-05, | |
| "loss": 0.2347, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 1.2890625, | |
| "grad_norm": 4.789432048797607, | |
| "learning_rate": 7.109375e-05, | |
| "loss": 0.1681, | |
| "step": 990 | |
| }, | |
| { | |
| "epoch": 1.3020833333333333, | |
| "grad_norm": 0.5079424381256104, | |
| "learning_rate": 6.979166666666666e-05, | |
| "loss": 0.1441, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 1.3020833333333333, | |
| "eval_accuracy": 0.950381679389313, | |
| "eval_loss": 0.21387264132499695, | |
| "eval_runtime": 60.067, | |
| "eval_samples_per_second": 21.809, | |
| "eval_steps_per_second": 2.73, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 1.3151041666666667, | |
| "grad_norm": 0.6446687579154968, | |
| "learning_rate": 6.848958333333334e-05, | |
| "loss": 0.1308, | |
| "step": 1010 | |
| }, | |
| { | |
| "epoch": 1.328125, | |
| "grad_norm": 0.17588114738464355, | |
| "learning_rate": 6.71875e-05, | |
| "loss": 0.3116, | |
| "step": 1020 | |
| }, | |
| { | |
| "epoch": 1.3411458333333333, | |
| "grad_norm": 5.327168941497803, | |
| "learning_rate": 6.588541666666666e-05, | |
| "loss": 0.1814, | |
| "step": 1030 | |
| }, | |
| { | |
| "epoch": 1.3541666666666667, | |
| "grad_norm": 2.496091842651367, | |
| "learning_rate": 6.458333333333334e-05, | |
| "loss": 0.2144, | |
| "step": 1040 | |
| }, | |
| { | |
| "epoch": 1.3671875, | |
| "grad_norm": 0.1502150446176529, | |
| "learning_rate": 6.328125e-05, | |
| "loss": 0.1437, | |
| "step": 1050 | |
| }, | |
| { | |
| "epoch": 1.3802083333333333, | |
| "grad_norm": 0.2538672983646393, | |
| "learning_rate": 6.197916666666667e-05, | |
| "loss": 0.1433, | |
| "step": 1060 | |
| }, | |
| { | |
| "epoch": 1.3932291666666667, | |
| "grad_norm": 0.08320388197898865, | |
| "learning_rate": 6.067708333333334e-05, | |
| "loss": 0.0923, | |
| "step": 1070 | |
| }, | |
| { | |
| "epoch": 1.40625, | |
| "grad_norm": 0.1576339453458786, | |
| "learning_rate": 5.9375e-05, | |
| "loss": 0.1077, | |
| "step": 1080 | |
| }, | |
| { | |
| "epoch": 1.4192708333333333, | |
| "grad_norm": 0.2809673249721527, | |
| "learning_rate": 5.807291666666667e-05, | |
| "loss": 0.129, | |
| "step": 1090 | |
| }, | |
| { | |
| "epoch": 1.4322916666666667, | |
| "grad_norm": 0.07573004812002182, | |
| "learning_rate": 5.677083333333334e-05, | |
| "loss": 0.1, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 1.4322916666666667, | |
| "eval_accuracy": 0.9603053435114504, | |
| "eval_loss": 0.17950783669948578, | |
| "eval_runtime": 59.1614, | |
| "eval_samples_per_second": 22.143, | |
| "eval_steps_per_second": 2.772, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 1.4453125, | |
| "grad_norm": 3.232757329940796, | |
| "learning_rate": 5.546875e-05, | |
| "loss": 0.1563, | |
| "step": 1110 | |
| }, | |
| { | |
| "epoch": 1.4583333333333333, | |
| "grad_norm": 3.8679308891296387, | |
| "learning_rate": 5.4166666666666664e-05, | |
| "loss": 0.1467, | |
| "step": 1120 | |
| }, | |
| { | |
| "epoch": 1.4713541666666667, | |
| "grad_norm": 0.15715742111206055, | |
| "learning_rate": 5.286458333333334e-05, | |
| "loss": 0.0356, | |
| "step": 1130 | |
| }, | |
| { | |
| "epoch": 1.484375, | |
| "grad_norm": 1.7540335655212402, | |
| "learning_rate": 5.15625e-05, | |
| "loss": 0.264, | |
| "step": 1140 | |
| }, | |
| { | |
| "epoch": 1.4973958333333333, | |
| "grad_norm": 0.46123847365379333, | |
| "learning_rate": 5.026041666666667e-05, | |
| "loss": 0.1234, | |
| "step": 1150 | |
| }, | |
| { | |
| "epoch": 1.5104166666666665, | |
| "grad_norm": 2.576964855194092, | |
| "learning_rate": 4.8958333333333335e-05, | |
| "loss": 0.1651, | |
| "step": 1160 | |
| }, | |
| { | |
| "epoch": 1.5234375, | |
| "grad_norm": 0.09197568893432617, | |
| "learning_rate": 4.765625e-05, | |
| "loss": 0.1799, | |
| "step": 1170 | |
| }, | |
| { | |
| "epoch": 1.5364583333333335, | |
| "grad_norm": 0.4775465130805969, | |
| "learning_rate": 4.635416666666667e-05, | |
| "loss": 0.2102, | |
| "step": 1180 | |
| }, | |
| { | |
| "epoch": 1.5494791666666665, | |
| "grad_norm": 0.36772438883781433, | |
| "learning_rate": 4.505208333333333e-05, | |
| "loss": 0.1065, | |
| "step": 1190 | |
| }, | |
| { | |
| "epoch": 1.5625, | |
| "grad_norm": 0.06261827796697617, | |
| "learning_rate": 4.375e-05, | |
| "loss": 0.1394, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 1.5625, | |
| "eval_accuracy": 0.9671755725190839, | |
| "eval_loss": 0.14713044464588165, | |
| "eval_runtime": 59.5229, | |
| "eval_samples_per_second": 22.008, | |
| "eval_steps_per_second": 2.755, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 1.5755208333333335, | |
| "grad_norm": 0.09620843827724457, | |
| "learning_rate": 4.244791666666667e-05, | |
| "loss": 0.0616, | |
| "step": 1210 | |
| }, | |
| { | |
| "epoch": 1.5885416666666665, | |
| "grad_norm": 0.3054959774017334, | |
| "learning_rate": 4.1145833333333335e-05, | |
| "loss": 0.1526, | |
| "step": 1220 | |
| }, | |
| { | |
| "epoch": 1.6015625, | |
| "grad_norm": 0.15028196573257446, | |
| "learning_rate": 3.984375e-05, | |
| "loss": 0.0677, | |
| "step": 1230 | |
| }, | |
| { | |
| "epoch": 1.6145833333333335, | |
| "grad_norm": 0.4755881130695343, | |
| "learning_rate": 3.854166666666667e-05, | |
| "loss": 0.1156, | |
| "step": 1240 | |
| }, | |
| { | |
| "epoch": 1.6276041666666665, | |
| "grad_norm": 0.16299839317798615, | |
| "learning_rate": 3.723958333333333e-05, | |
| "loss": 0.0202, | |
| "step": 1250 | |
| }, | |
| { | |
| "epoch": 1.640625, | |
| "grad_norm": 0.05333033949136734, | |
| "learning_rate": 3.59375e-05, | |
| "loss": 0.1144, | |
| "step": 1260 | |
| }, | |
| { | |
| "epoch": 1.6536458333333335, | |
| "grad_norm": 0.08512204140424728, | |
| "learning_rate": 3.463541666666667e-05, | |
| "loss": 0.0438, | |
| "step": 1270 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 0.3463301360607147, | |
| "learning_rate": 3.3333333333333335e-05, | |
| "loss": 0.1687, | |
| "step": 1280 | |
| }, | |
| { | |
| "epoch": 1.6796875, | |
| "grad_norm": 2.4247636795043945, | |
| "learning_rate": 3.203125e-05, | |
| "loss": 0.1979, | |
| "step": 1290 | |
| }, | |
| { | |
| "epoch": 1.6927083333333335, | |
| "grad_norm": 0.11793797463178635, | |
| "learning_rate": 3.072916666666667e-05, | |
| "loss": 0.067, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 1.6927083333333335, | |
| "eval_accuracy": 0.9687022900763359, | |
| "eval_loss": 0.14118480682373047, | |
| "eval_runtime": 59.6258, | |
| "eval_samples_per_second": 21.97, | |
| "eval_steps_per_second": 2.75, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 1.7057291666666665, | |
| "grad_norm": 0.19167575240135193, | |
| "learning_rate": 2.942708333333333e-05, | |
| "loss": 0.1485, | |
| "step": 1310 | |
| }, | |
| { | |
| "epoch": 1.71875, | |
| "grad_norm": 0.17611677944660187, | |
| "learning_rate": 2.8125000000000003e-05, | |
| "loss": 0.138, | |
| "step": 1320 | |
| }, | |
| { | |
| "epoch": 1.7317708333333335, | |
| "grad_norm": 1.6763341426849365, | |
| "learning_rate": 2.682291666666667e-05, | |
| "loss": 0.1725, | |
| "step": 1330 | |
| }, | |
| { | |
| "epoch": 1.7447916666666665, | |
| "grad_norm": 0.09804801642894745, | |
| "learning_rate": 2.552083333333333e-05, | |
| "loss": 0.0707, | |
| "step": 1340 | |
| }, | |
| { | |
| "epoch": 1.7578125, | |
| "grad_norm": 0.18733666837215424, | |
| "learning_rate": 2.4218750000000003e-05, | |
| "loss": 0.0391, | |
| "step": 1350 | |
| }, | |
| { | |
| "epoch": 1.7708333333333335, | |
| "grad_norm": 0.27055248618125916, | |
| "learning_rate": 2.2916666666666667e-05, | |
| "loss": 0.0787, | |
| "step": 1360 | |
| }, | |
| { | |
| "epoch": 1.7838541666666665, | |
| "grad_norm": 1.7702397108078003, | |
| "learning_rate": 2.1614583333333335e-05, | |
| "loss": 0.1576, | |
| "step": 1370 | |
| }, | |
| { | |
| "epoch": 1.796875, | |
| "grad_norm": 0.13192972540855408, | |
| "learning_rate": 2.0312500000000002e-05, | |
| "loss": 0.047, | |
| "step": 1380 | |
| }, | |
| { | |
| "epoch": 1.8098958333333335, | |
| "grad_norm": 0.05426124855875969, | |
| "learning_rate": 1.9010416666666667e-05, | |
| "loss": 0.1102, | |
| "step": 1390 | |
| }, | |
| { | |
| "epoch": 1.8229166666666665, | |
| "grad_norm": 0.07557754963636398, | |
| "learning_rate": 1.7708333333333335e-05, | |
| "loss": 0.15, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 1.8229166666666665, | |
| "eval_accuracy": 0.9694656488549618, | |
| "eval_loss": 0.13288851082324982, | |
| "eval_runtime": 59.5324, | |
| "eval_samples_per_second": 22.005, | |
| "eval_steps_per_second": 2.755, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 1.8359375, | |
| "grad_norm": 1.602898120880127, | |
| "learning_rate": 1.6406250000000002e-05, | |
| "loss": 0.1897, | |
| "step": 1410 | |
| }, | |
| { | |
| "epoch": 1.8489583333333335, | |
| "grad_norm": 0.08557943254709244, | |
| "learning_rate": 1.5104166666666667e-05, | |
| "loss": 0.0974, | |
| "step": 1420 | |
| }, | |
| { | |
| "epoch": 1.8619791666666665, | |
| "grad_norm": 7.729787826538086, | |
| "learning_rate": 1.3802083333333335e-05, | |
| "loss": 0.12, | |
| "step": 1430 | |
| }, | |
| { | |
| "epoch": 1.875, | |
| "grad_norm": 0.23855291306972504, | |
| "learning_rate": 1.25e-05, | |
| "loss": 0.0517, | |
| "step": 1440 | |
| }, | |
| { | |
| "epoch": 1.8880208333333335, | |
| "grad_norm": 0.30376580357551575, | |
| "learning_rate": 1.1197916666666668e-05, | |
| "loss": 0.0539, | |
| "step": 1450 | |
| }, | |
| { | |
| "epoch": 1.9010416666666665, | |
| "grad_norm": 0.09812232106924057, | |
| "learning_rate": 9.895833333333333e-06, | |
| "loss": 0.0852, | |
| "step": 1460 | |
| }, | |
| { | |
| "epoch": 1.9140625, | |
| "grad_norm": 0.07574792951345444, | |
| "learning_rate": 8.59375e-06, | |
| "loss": 0.1108, | |
| "step": 1470 | |
| }, | |
| { | |
| "epoch": 1.9270833333333335, | |
| "grad_norm": 0.07949287444353104, | |
| "learning_rate": 7.2916666666666674e-06, | |
| "loss": 0.1038, | |
| "step": 1480 | |
| }, | |
| { | |
| "epoch": 1.9401041666666665, | |
| "grad_norm": 0.08240082114934921, | |
| "learning_rate": 5.9895833333333335e-06, | |
| "loss": 0.0939, | |
| "step": 1490 | |
| }, | |
| { | |
| "epoch": 1.953125, | |
| "grad_norm": 0.15334384143352509, | |
| "learning_rate": 4.6875000000000004e-06, | |
| "loss": 0.0848, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 1.953125, | |
| "eval_accuracy": 0.9709923664122138, | |
| "eval_loss": 0.1240573301911354, | |
| "eval_runtime": 59.8501, | |
| "eval_samples_per_second": 21.888, | |
| "eval_steps_per_second": 2.74, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 1.9661458333333335, | |
| "grad_norm": 3.634660005569458, | |
| "learning_rate": 3.3854166666666665e-06, | |
| "loss": 0.1126, | |
| "step": 1510 | |
| }, | |
| { | |
| "epoch": 1.9791666666666665, | |
| "grad_norm": 0.17326831817626953, | |
| "learning_rate": 2.0833333333333334e-06, | |
| "loss": 0.0657, | |
| "step": 1520 | |
| }, | |
| { | |
| "epoch": 1.9921875, | |
| "grad_norm": 0.06573884189128876, | |
| "learning_rate": 7.8125e-07, | |
| "loss": 0.2126, | |
| "step": 1530 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "step": 1536, | |
| "total_flos": 9.520822340772987e+17, | |
| "train_loss": 0.5513936869877701, | |
| "train_runtime": 1799.2782, | |
| "train_samples_per_second": 6.827, | |
| "train_steps_per_second": 0.854 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 1536, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 2, | |
| "save_steps": 100, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 9.520822340772987e+17, | |
| "train_batch_size": 8, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |