| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 3.0, |
| "eval_steps": 500, |
| "global_step": 1500, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.02, |
| "grad_norm": 70.61351013183594, |
| "learning_rate": 4.97e-05, |
| "loss": 4.2158, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.04, |
| "grad_norm": 73.62928009033203, |
| "learning_rate": 4.936666666666667e-05, |
| "loss": 1.6566, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.06, |
| "grad_norm": 108.96935272216797, |
| "learning_rate": 4.903333333333334e-05, |
| "loss": 1.7678, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 61.242454528808594, |
| "learning_rate": 4.87e-05, |
| "loss": 1.5158, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.1, |
| "grad_norm": 131.24546813964844, |
| "learning_rate": 4.836666666666667e-05, |
| "loss": 2.0604, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.12, |
| "grad_norm": 40.62075424194336, |
| "learning_rate": 4.803333333333333e-05, |
| "loss": 1.4759, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.14, |
| "grad_norm": 68.39600372314453, |
| "learning_rate": 4.77e-05, |
| "loss": 1.6714, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 65.06390380859375, |
| "learning_rate": 4.736666666666667e-05, |
| "loss": 1.3931, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.18, |
| "grad_norm": 91.259765625, |
| "learning_rate": 4.7033333333333336e-05, |
| "loss": 1.4381, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 114.90811920166016, |
| "learning_rate": 4.6700000000000003e-05, |
| "loss": 1.5654, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.22, |
| "grad_norm": 54.1782341003418, |
| "learning_rate": 4.636666666666667e-05, |
| "loss": 2.0443, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 71.6166763305664, |
| "learning_rate": 4.603333333333333e-05, |
| "loss": 1.6087, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.26, |
| "grad_norm": 74.20275115966797, |
| "learning_rate": 4.5700000000000006e-05, |
| "loss": 1.6605, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.28, |
| "grad_norm": 77.95655059814453, |
| "learning_rate": 4.536666666666667e-05, |
| "loss": 1.5884, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.3, |
| "grad_norm": 47.96751403808594, |
| "learning_rate": 4.5033333333333335e-05, |
| "loss": 2.4234, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 114.87418365478516, |
| "learning_rate": 4.47e-05, |
| "loss": 1.8465, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.34, |
| "grad_norm": 64.47191619873047, |
| "learning_rate": 4.436666666666667e-05, |
| "loss": 1.6719, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.36, |
| "grad_norm": 63.627681732177734, |
| "learning_rate": 4.403333333333334e-05, |
| "loss": 1.7967, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.38, |
| "grad_norm": 30.865203857421875, |
| "learning_rate": 4.3700000000000005e-05, |
| "loss": 1.5015, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 12.00632095336914, |
| "learning_rate": 4.3366666666666666e-05, |
| "loss": 1.6298, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.42, |
| "grad_norm": 83.26287841796875, |
| "learning_rate": 4.3033333333333334e-05, |
| "loss": 1.9531, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.44, |
| "grad_norm": 43.74462127685547, |
| "learning_rate": 4.27e-05, |
| "loss": 1.4834, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.46, |
| "grad_norm": 41.31574249267578, |
| "learning_rate": 4.236666666666667e-05, |
| "loss": 1.8548, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 66.2603759765625, |
| "learning_rate": 4.2033333333333336e-05, |
| "loss": 1.4464, |
| "step": 240 |
| }, |
| { |
| "epoch": 0.5, |
| "grad_norm": 18.777666091918945, |
| "learning_rate": 4.17e-05, |
| "loss": 1.3379, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.52, |
| "grad_norm": 40.735050201416016, |
| "learning_rate": 4.136666666666667e-05, |
| "loss": 1.4589, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.54, |
| "grad_norm": 89.99899291992188, |
| "learning_rate": 4.103333333333333e-05, |
| "loss": 1.6462, |
| "step": 270 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 26.000844955444336, |
| "learning_rate": 4.07e-05, |
| "loss": 1.5459, |
| "step": 280 |
| }, |
| { |
| "epoch": 0.58, |
| "grad_norm": 72.94963836669922, |
| "learning_rate": 4.036666666666667e-05, |
| "loss": 1.3914, |
| "step": 290 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 36.23366928100586, |
| "learning_rate": 4.0033333333333335e-05, |
| "loss": 1.7466, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.62, |
| "grad_norm": 37.300697326660156, |
| "learning_rate": 3.97e-05, |
| "loss": 1.6585, |
| "step": 310 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 48.120933532714844, |
| "learning_rate": 3.936666666666667e-05, |
| "loss": 1.7376, |
| "step": 320 |
| }, |
| { |
| "epoch": 0.66, |
| "grad_norm": 41.503997802734375, |
| "learning_rate": 3.903333333333333e-05, |
| "loss": 1.4676, |
| "step": 330 |
| }, |
| { |
| "epoch": 0.68, |
| "grad_norm": 13.966187477111816, |
| "learning_rate": 3.8700000000000006e-05, |
| "loss": 1.4801, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.7, |
| "grad_norm": 55.511837005615234, |
| "learning_rate": 3.8366666666666666e-05, |
| "loss": 1.9258, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 46.56684494018555, |
| "learning_rate": 3.803333333333334e-05, |
| "loss": 1.4785, |
| "step": 360 |
| }, |
| { |
| "epoch": 0.74, |
| "grad_norm": 51.37467575073242, |
| "learning_rate": 3.77e-05, |
| "loss": 1.3089, |
| "step": 370 |
| }, |
| { |
| "epoch": 0.76, |
| "grad_norm": 63.84782409667969, |
| "learning_rate": 3.736666666666667e-05, |
| "loss": 2.0258, |
| "step": 380 |
| }, |
| { |
| "epoch": 0.78, |
| "grad_norm": 54.59080123901367, |
| "learning_rate": 3.703333333333334e-05, |
| "loss": 1.4266, |
| "step": 390 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 27.919336318969727, |
| "learning_rate": 3.6700000000000004e-05, |
| "loss": 1.8133, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.82, |
| "grad_norm": 43.32358169555664, |
| "learning_rate": 3.636666666666667e-05, |
| "loss": 1.4812, |
| "step": 410 |
| }, |
| { |
| "epoch": 0.84, |
| "grad_norm": 33.77085494995117, |
| "learning_rate": 3.603333333333333e-05, |
| "loss": 1.4177, |
| "step": 420 |
| }, |
| { |
| "epoch": 0.86, |
| "grad_norm": 53.14788055419922, |
| "learning_rate": 3.57e-05, |
| "loss": 1.4277, |
| "step": 430 |
| }, |
| { |
| "epoch": 0.88, |
| "grad_norm": 43.82292175292969, |
| "learning_rate": 3.536666666666667e-05, |
| "loss": 1.3996, |
| "step": 440 |
| }, |
| { |
| "epoch": 0.9, |
| "grad_norm": 74.1073989868164, |
| "learning_rate": 3.5033333333333336e-05, |
| "loss": 1.4942, |
| "step": 450 |
| }, |
| { |
| "epoch": 0.92, |
| "grad_norm": 67.50479888916016, |
| "learning_rate": 3.4699999999999996e-05, |
| "loss": 1.4433, |
| "step": 460 |
| }, |
| { |
| "epoch": 0.94, |
| "grad_norm": 44.51863479614258, |
| "learning_rate": 3.436666666666667e-05, |
| "loss": 1.3934, |
| "step": 470 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 42.15129470825195, |
| "learning_rate": 3.403333333333333e-05, |
| "loss": 1.4448, |
| "step": 480 |
| }, |
| { |
| "epoch": 0.98, |
| "grad_norm": 59.780059814453125, |
| "learning_rate": 3.3700000000000006e-05, |
| "loss": 1.25, |
| "step": 490 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 56.6463623046875, |
| "learning_rate": 3.336666666666667e-05, |
| "loss": 1.3204, |
| "step": 500 |
| }, |
| { |
| "epoch": 1.02, |
| "grad_norm": 42.17279815673828, |
| "learning_rate": 3.3033333333333334e-05, |
| "loss": 1.875, |
| "step": 510 |
| }, |
| { |
| "epoch": 1.04, |
| "grad_norm": 53.357017517089844, |
| "learning_rate": 3.27e-05, |
| "loss": 1.3936, |
| "step": 520 |
| }, |
| { |
| "epoch": 1.06, |
| "grad_norm": 33.11314392089844, |
| "learning_rate": 3.236666666666667e-05, |
| "loss": 1.5159, |
| "step": 530 |
| }, |
| { |
| "epoch": 1.08, |
| "grad_norm": 39.53742980957031, |
| "learning_rate": 3.203333333333334e-05, |
| "loss": 1.3661, |
| "step": 540 |
| }, |
| { |
| "epoch": 1.1, |
| "grad_norm": 37.94576644897461, |
| "learning_rate": 3.1700000000000005e-05, |
| "loss": 1.3893, |
| "step": 550 |
| }, |
| { |
| "epoch": 1.12, |
| "grad_norm": 40.539207458496094, |
| "learning_rate": 3.1366666666666666e-05, |
| "loss": 1.4794, |
| "step": 560 |
| }, |
| { |
| "epoch": 1.1400000000000001, |
| "grad_norm": 34.75075912475586, |
| "learning_rate": 3.103333333333333e-05, |
| "loss": 1.0972, |
| "step": 570 |
| }, |
| { |
| "epoch": 1.16, |
| "grad_norm": 52.29777526855469, |
| "learning_rate": 3.07e-05, |
| "loss": 1.9438, |
| "step": 580 |
| }, |
| { |
| "epoch": 1.18, |
| "grad_norm": 63.562442779541016, |
| "learning_rate": 3.0366666666666665e-05, |
| "loss": 1.4552, |
| "step": 590 |
| }, |
| { |
| "epoch": 1.2, |
| "grad_norm": 36.03409194946289, |
| "learning_rate": 3.0033333333333336e-05, |
| "loss": 1.4451, |
| "step": 600 |
| }, |
| { |
| "epoch": 1.22, |
| "grad_norm": 35.75303268432617, |
| "learning_rate": 2.97e-05, |
| "loss": 1.3203, |
| "step": 610 |
| }, |
| { |
| "epoch": 1.24, |
| "grad_norm": 41.28643798828125, |
| "learning_rate": 2.936666666666667e-05, |
| "loss": 1.3898, |
| "step": 620 |
| }, |
| { |
| "epoch": 1.26, |
| "grad_norm": 42.44171905517578, |
| "learning_rate": 2.9033333333333335e-05, |
| "loss": 1.4461, |
| "step": 630 |
| }, |
| { |
| "epoch": 1.28, |
| "grad_norm": 33.191993713378906, |
| "learning_rate": 2.87e-05, |
| "loss": 1.5485, |
| "step": 640 |
| }, |
| { |
| "epoch": 1.3, |
| "grad_norm": 35.58934020996094, |
| "learning_rate": 2.836666666666667e-05, |
| "loss": 1.4225, |
| "step": 650 |
| }, |
| { |
| "epoch": 1.32, |
| "grad_norm": 38.515438079833984, |
| "learning_rate": 2.8033333333333335e-05, |
| "loss": 1.4034, |
| "step": 660 |
| }, |
| { |
| "epoch": 1.34, |
| "grad_norm": 42.85960006713867, |
| "learning_rate": 2.7700000000000002e-05, |
| "loss": 1.3505, |
| "step": 670 |
| }, |
| { |
| "epoch": 1.3599999999999999, |
| "grad_norm": 83.25682067871094, |
| "learning_rate": 2.7366666666666667e-05, |
| "loss": 1.35, |
| "step": 680 |
| }, |
| { |
| "epoch": 1.38, |
| "grad_norm": 49.6702880859375, |
| "learning_rate": 2.7033333333333334e-05, |
| "loss": 1.8784, |
| "step": 690 |
| }, |
| { |
| "epoch": 1.4, |
| "grad_norm": 51.177093505859375, |
| "learning_rate": 2.6700000000000002e-05, |
| "loss": 1.3637, |
| "step": 700 |
| }, |
| { |
| "epoch": 1.42, |
| "grad_norm": 40.318206787109375, |
| "learning_rate": 2.6366666666666666e-05, |
| "loss": 1.3539, |
| "step": 710 |
| }, |
| { |
| "epoch": 1.44, |
| "grad_norm": 45.05327224731445, |
| "learning_rate": 2.6033333333333337e-05, |
| "loss": 1.5676, |
| "step": 720 |
| }, |
| { |
| "epoch": 1.46, |
| "grad_norm": 28.770118713378906, |
| "learning_rate": 2.57e-05, |
| "loss": 1.342, |
| "step": 730 |
| }, |
| { |
| "epoch": 1.48, |
| "grad_norm": 29.81730842590332, |
| "learning_rate": 2.5366666666666665e-05, |
| "loss": 1.3532, |
| "step": 740 |
| }, |
| { |
| "epoch": 1.5, |
| "grad_norm": 48.3309440612793, |
| "learning_rate": 2.5033333333333336e-05, |
| "loss": 1.4733, |
| "step": 750 |
| }, |
| { |
| "epoch": 1.52, |
| "grad_norm": 70.29447937011719, |
| "learning_rate": 2.47e-05, |
| "loss": 1.457, |
| "step": 760 |
| }, |
| { |
| "epoch": 1.54, |
| "grad_norm": 37.76487350463867, |
| "learning_rate": 2.4366666666666668e-05, |
| "loss": 1.4183, |
| "step": 770 |
| }, |
| { |
| "epoch": 1.56, |
| "grad_norm": 33.34684753417969, |
| "learning_rate": 2.4033333333333336e-05, |
| "loss": 1.4226, |
| "step": 780 |
| }, |
| { |
| "epoch": 1.58, |
| "grad_norm": 32.89299392700195, |
| "learning_rate": 2.37e-05, |
| "loss": 1.3785, |
| "step": 790 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 56.79878616333008, |
| "learning_rate": 2.3366666666666668e-05, |
| "loss": 1.4579, |
| "step": 800 |
| }, |
| { |
| "epoch": 1.62, |
| "grad_norm": 32.62324523925781, |
| "learning_rate": 2.3033333333333335e-05, |
| "loss": 1.4094, |
| "step": 810 |
| }, |
| { |
| "epoch": 1.6400000000000001, |
| "grad_norm": 39.20806121826172, |
| "learning_rate": 2.2700000000000003e-05, |
| "loss": 1.4686, |
| "step": 820 |
| }, |
| { |
| "epoch": 1.6600000000000001, |
| "grad_norm": 31.847000122070312, |
| "learning_rate": 2.236666666666667e-05, |
| "loss": 1.3953, |
| "step": 830 |
| }, |
| { |
| "epoch": 1.6800000000000002, |
| "grad_norm": 40.128971099853516, |
| "learning_rate": 2.2033333333333335e-05, |
| "loss": 1.4658, |
| "step": 840 |
| }, |
| { |
| "epoch": 1.7, |
| "grad_norm": 36.050846099853516, |
| "learning_rate": 2.1700000000000002e-05, |
| "loss": 1.6216, |
| "step": 850 |
| }, |
| { |
| "epoch": 1.72, |
| "grad_norm": 64.60285186767578, |
| "learning_rate": 2.1366666666666667e-05, |
| "loss": 1.4508, |
| "step": 860 |
| }, |
| { |
| "epoch": 1.74, |
| "grad_norm": 65.16170501708984, |
| "learning_rate": 2.1033333333333334e-05, |
| "loss": 1.4214, |
| "step": 870 |
| }, |
| { |
| "epoch": 1.76, |
| "grad_norm": 35.84981155395508, |
| "learning_rate": 2.07e-05, |
| "loss": 1.3662, |
| "step": 880 |
| }, |
| { |
| "epoch": 1.78, |
| "grad_norm": 40.32749557495117, |
| "learning_rate": 2.0366666666666666e-05, |
| "loss": 1.4159, |
| "step": 890 |
| }, |
| { |
| "epoch": 1.8, |
| "grad_norm": 37.723114013671875, |
| "learning_rate": 2.0033333333333334e-05, |
| "loss": 1.3919, |
| "step": 900 |
| }, |
| { |
| "epoch": 1.8199999999999998, |
| "grad_norm": 35.627803802490234, |
| "learning_rate": 1.97e-05, |
| "loss": 1.4407, |
| "step": 910 |
| }, |
| { |
| "epoch": 1.8399999999999999, |
| "grad_norm": 34.74470138549805, |
| "learning_rate": 1.9366666666666665e-05, |
| "loss": 1.3455, |
| "step": 920 |
| }, |
| { |
| "epoch": 1.8599999999999999, |
| "grad_norm": 30.108226776123047, |
| "learning_rate": 1.9033333333333333e-05, |
| "loss": 1.4827, |
| "step": 930 |
| }, |
| { |
| "epoch": 1.88, |
| "grad_norm": 72.5284652709961, |
| "learning_rate": 1.87e-05, |
| "loss": 1.38, |
| "step": 940 |
| }, |
| { |
| "epoch": 1.9, |
| "grad_norm": 40.3804817199707, |
| "learning_rate": 1.8366666666666668e-05, |
| "loss": 1.3436, |
| "step": 950 |
| }, |
| { |
| "epoch": 1.92, |
| "grad_norm": 48.87946701049805, |
| "learning_rate": 1.8033333333333336e-05, |
| "loss": 1.369, |
| "step": 960 |
| }, |
| { |
| "epoch": 1.94, |
| "grad_norm": 50.297794342041016, |
| "learning_rate": 1.77e-05, |
| "loss": 1.3892, |
| "step": 970 |
| }, |
| { |
| "epoch": 1.96, |
| "grad_norm": 43.455909729003906, |
| "learning_rate": 1.7366666666666668e-05, |
| "loss": 1.5923, |
| "step": 980 |
| }, |
| { |
| "epoch": 1.98, |
| "grad_norm": 26.250675201416016, |
| "learning_rate": 1.7033333333333335e-05, |
| "loss": 1.4009, |
| "step": 990 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 30.42631721496582, |
| "learning_rate": 1.6700000000000003e-05, |
| "loss": 1.3333, |
| "step": 1000 |
| }, |
| { |
| "epoch": 2.02, |
| "grad_norm": 53.33681869506836, |
| "learning_rate": 1.6366666666666667e-05, |
| "loss": 1.4114, |
| "step": 1010 |
| }, |
| { |
| "epoch": 2.04, |
| "grad_norm": 40.35858917236328, |
| "learning_rate": 1.6033333333333335e-05, |
| "loss": 1.3778, |
| "step": 1020 |
| }, |
| { |
| "epoch": 2.06, |
| "grad_norm": 34.881256103515625, |
| "learning_rate": 1.5700000000000002e-05, |
| "loss": 1.2281, |
| "step": 1030 |
| }, |
| { |
| "epoch": 2.08, |
| "grad_norm": 53.44401550292969, |
| "learning_rate": 1.536666666666667e-05, |
| "loss": 1.4416, |
| "step": 1040 |
| }, |
| { |
| "epoch": 2.1, |
| "grad_norm": 33.54370880126953, |
| "learning_rate": 1.5033333333333336e-05, |
| "loss": 1.3953, |
| "step": 1050 |
| }, |
| { |
| "epoch": 2.12, |
| "grad_norm": 16.53406524658203, |
| "learning_rate": 1.47e-05, |
| "loss": 1.1336, |
| "step": 1060 |
| }, |
| { |
| "epoch": 2.14, |
| "grad_norm": 22.269121170043945, |
| "learning_rate": 1.4366666666666667e-05, |
| "loss": 1.5907, |
| "step": 1070 |
| }, |
| { |
| "epoch": 2.16, |
| "grad_norm": 23.64450454711914, |
| "learning_rate": 1.4033333333333335e-05, |
| "loss": 1.5443, |
| "step": 1080 |
| }, |
| { |
| "epoch": 2.18, |
| "grad_norm": 183.4439239501953, |
| "learning_rate": 1.3700000000000001e-05, |
| "loss": 4.4497, |
| "step": 1090 |
| }, |
| { |
| "epoch": 2.2, |
| "grad_norm": 40.55182647705078, |
| "learning_rate": 1.3366666666666667e-05, |
| "loss": 7.1512, |
| "step": 1100 |
| }, |
| { |
| "epoch": 2.22, |
| "grad_norm": 40.742427825927734, |
| "learning_rate": 1.3033333333333333e-05, |
| "loss": 1.3964, |
| "step": 1110 |
| }, |
| { |
| "epoch": 2.24, |
| "grad_norm": 58.78276443481445, |
| "learning_rate": 1.27e-05, |
| "loss": 1.3682, |
| "step": 1120 |
| }, |
| { |
| "epoch": 2.26, |
| "grad_norm": 27.762662887573242, |
| "learning_rate": 1.2366666666666666e-05, |
| "loss": 1.3149, |
| "step": 1130 |
| }, |
| { |
| "epoch": 2.2800000000000002, |
| "grad_norm": 60.419437408447266, |
| "learning_rate": 1.2033333333333334e-05, |
| "loss": 1.4831, |
| "step": 1140 |
| }, |
| { |
| "epoch": 2.3, |
| "grad_norm": 62.96380615234375, |
| "learning_rate": 1.1700000000000001e-05, |
| "loss": 1.4638, |
| "step": 1150 |
| }, |
| { |
| "epoch": 2.32, |
| "grad_norm": 32.46728515625, |
| "learning_rate": 1.1366666666666667e-05, |
| "loss": 1.4317, |
| "step": 1160 |
| }, |
| { |
| "epoch": 2.34, |
| "grad_norm": 36.206382751464844, |
| "learning_rate": 1.1033333333333335e-05, |
| "loss": 1.3965, |
| "step": 1170 |
| }, |
| { |
| "epoch": 2.36, |
| "grad_norm": 27.393978118896484, |
| "learning_rate": 1.0700000000000001e-05, |
| "loss": 1.4052, |
| "step": 1180 |
| }, |
| { |
| "epoch": 2.38, |
| "grad_norm": 34.69779968261719, |
| "learning_rate": 1.0366666666666667e-05, |
| "loss": 1.438, |
| "step": 1190 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 35.44539260864258, |
| "learning_rate": 1.0033333333333333e-05, |
| "loss": 1.3184, |
| "step": 1200 |
| }, |
| { |
| "epoch": 2.42, |
| "grad_norm": 35.62276077270508, |
| "learning_rate": 9.7e-06, |
| "loss": 1.3745, |
| "step": 1210 |
| }, |
| { |
| "epoch": 2.44, |
| "grad_norm": 39.036869049072266, |
| "learning_rate": 9.366666666666666e-06, |
| "loss": 1.4504, |
| "step": 1220 |
| }, |
| { |
| "epoch": 2.46, |
| "grad_norm": 43.82394790649414, |
| "learning_rate": 9.033333333333334e-06, |
| "loss": 1.3977, |
| "step": 1230 |
| }, |
| { |
| "epoch": 2.48, |
| "grad_norm": 35.87830352783203, |
| "learning_rate": 8.7e-06, |
| "loss": 1.349, |
| "step": 1240 |
| }, |
| { |
| "epoch": 2.5, |
| "grad_norm": 37.99837112426758, |
| "learning_rate": 8.366666666666667e-06, |
| "loss": 1.4141, |
| "step": 1250 |
| }, |
| { |
| "epoch": 2.52, |
| "grad_norm": 31.749996185302734, |
| "learning_rate": 8.033333333333335e-06, |
| "loss": 1.3457, |
| "step": 1260 |
| }, |
| { |
| "epoch": 2.54, |
| "grad_norm": 41.74779510498047, |
| "learning_rate": 7.7e-06, |
| "loss": 1.5417, |
| "step": 1270 |
| }, |
| { |
| "epoch": 2.56, |
| "grad_norm": 35.62648010253906, |
| "learning_rate": 7.3666666666666676e-06, |
| "loss": 1.3816, |
| "step": 1280 |
| }, |
| { |
| "epoch": 2.58, |
| "grad_norm": 40.89716720581055, |
| "learning_rate": 7.0333333333333335e-06, |
| "loss": 1.3847, |
| "step": 1290 |
| }, |
| { |
| "epoch": 2.6, |
| "grad_norm": 32.391666412353516, |
| "learning_rate": 6.700000000000001e-06, |
| "loss": 1.431, |
| "step": 1300 |
| }, |
| { |
| "epoch": 2.62, |
| "grad_norm": 62.34846115112305, |
| "learning_rate": 6.366666666666667e-06, |
| "loss": 1.3736, |
| "step": 1310 |
| }, |
| { |
| "epoch": 2.64, |
| "grad_norm": 29.50358772277832, |
| "learning_rate": 6.033333333333334e-06, |
| "loss": 1.3388, |
| "step": 1320 |
| }, |
| { |
| "epoch": 2.66, |
| "grad_norm": 62.63405990600586, |
| "learning_rate": 5.7000000000000005e-06, |
| "loss": 1.4557, |
| "step": 1330 |
| }, |
| { |
| "epoch": 2.68, |
| "grad_norm": 61.824378967285156, |
| "learning_rate": 5.366666666666667e-06, |
| "loss": 1.3909, |
| "step": 1340 |
| }, |
| { |
| "epoch": 2.7, |
| "grad_norm": 63.94225311279297, |
| "learning_rate": 5.033333333333334e-06, |
| "loss": 1.4039, |
| "step": 1350 |
| }, |
| { |
| "epoch": 2.7199999999999998, |
| "grad_norm": 32.076011657714844, |
| "learning_rate": 4.7e-06, |
| "loss": 1.2879, |
| "step": 1360 |
| }, |
| { |
| "epoch": 2.74, |
| "grad_norm": 68.8197021484375, |
| "learning_rate": 4.366666666666667e-06, |
| "loss": 1.4695, |
| "step": 1370 |
| }, |
| { |
| "epoch": 2.76, |
| "grad_norm": 59.826053619384766, |
| "learning_rate": 4.033333333333333e-06, |
| "loss": 1.4535, |
| "step": 1380 |
| }, |
| { |
| "epoch": 2.7800000000000002, |
| "grad_norm": 32.45442581176758, |
| "learning_rate": 3.7e-06, |
| "loss": 1.4156, |
| "step": 1390 |
| }, |
| { |
| "epoch": 2.8, |
| "grad_norm": 36.638893127441406, |
| "learning_rate": 3.3666666666666665e-06, |
| "loss": 1.3712, |
| "step": 1400 |
| }, |
| { |
| "epoch": 2.82, |
| "grad_norm": 61.558937072753906, |
| "learning_rate": 3.0333333333333337e-06, |
| "loss": 1.4228, |
| "step": 1410 |
| }, |
| { |
| "epoch": 2.84, |
| "grad_norm": 32.557228088378906, |
| "learning_rate": 2.7e-06, |
| "loss": 1.3725, |
| "step": 1420 |
| }, |
| { |
| "epoch": 2.86, |
| "grad_norm": 37.94230651855469, |
| "learning_rate": 2.3666666666666667e-06, |
| "loss": 1.3427, |
| "step": 1430 |
| }, |
| { |
| "epoch": 2.88, |
| "grad_norm": 41.18326187133789, |
| "learning_rate": 2.033333333333333e-06, |
| "loss": 1.3908, |
| "step": 1440 |
| }, |
| { |
| "epoch": 2.9, |
| "grad_norm": 38.61515426635742, |
| "learning_rate": 1.7000000000000002e-06, |
| "loss": 1.3995, |
| "step": 1450 |
| }, |
| { |
| "epoch": 2.92, |
| "grad_norm": 33.568912506103516, |
| "learning_rate": 1.3666666666666668e-06, |
| "loss": 1.3433, |
| "step": 1460 |
| }, |
| { |
| "epoch": 2.94, |
| "grad_norm": 32.206260681152344, |
| "learning_rate": 1.0333333333333333e-06, |
| "loss": 1.3067, |
| "step": 1470 |
| }, |
| { |
| "epoch": 2.96, |
| "grad_norm": 36.90066146850586, |
| "learning_rate": 7.000000000000001e-07, |
| "loss": 1.4349, |
| "step": 1480 |
| }, |
| { |
| "epoch": 2.98, |
| "grad_norm": 42.08134841918945, |
| "learning_rate": 3.6666666666666667e-07, |
| "loss": 1.3735, |
| "step": 1490 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 31.836576461791992, |
| "learning_rate": 3.3333333333333334e-08, |
| "loss": 1.4106, |
| "step": 1500 |
| } |
| ], |
| "logging_steps": 10, |
| "max_steps": 1500, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 3, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 8118696148992000.0, |
| "train_batch_size": 2, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
