| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 2.0, |
| "eval_steps": 500, |
| "global_step": 1000, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.02, |
| "grad_norm": 70.61351013183594, |
| "learning_rate": 4.97e-05, |
| "loss": 4.2158, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.04, |
| "grad_norm": 73.62928009033203, |
| "learning_rate": 4.936666666666667e-05, |
| "loss": 1.6566, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.06, |
| "grad_norm": 108.96935272216797, |
| "learning_rate": 4.903333333333334e-05, |
| "loss": 1.7678, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 61.242454528808594, |
| "learning_rate": 4.87e-05, |
| "loss": 1.5158, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.1, |
| "grad_norm": 131.24546813964844, |
| "learning_rate": 4.836666666666667e-05, |
| "loss": 2.0604, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.12, |
| "grad_norm": 40.62075424194336, |
| "learning_rate": 4.803333333333333e-05, |
| "loss": 1.4759, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.14, |
| "grad_norm": 68.39600372314453, |
| "learning_rate": 4.77e-05, |
| "loss": 1.6714, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 65.06390380859375, |
| "learning_rate": 4.736666666666667e-05, |
| "loss": 1.3931, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.18, |
| "grad_norm": 91.259765625, |
| "learning_rate": 4.7033333333333336e-05, |
| "loss": 1.4381, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 114.90811920166016, |
| "learning_rate": 4.6700000000000003e-05, |
| "loss": 1.5654, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.22, |
| "grad_norm": 54.1782341003418, |
| "learning_rate": 4.636666666666667e-05, |
| "loss": 2.0443, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 71.6166763305664, |
| "learning_rate": 4.603333333333333e-05, |
| "loss": 1.6087, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.26, |
| "grad_norm": 74.20275115966797, |
| "learning_rate": 4.5700000000000006e-05, |
| "loss": 1.6605, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.28, |
| "grad_norm": 77.95655059814453, |
| "learning_rate": 4.536666666666667e-05, |
| "loss": 1.5884, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.3, |
| "grad_norm": 47.96751403808594, |
| "learning_rate": 4.5033333333333335e-05, |
| "loss": 2.4234, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 114.87418365478516, |
| "learning_rate": 4.47e-05, |
| "loss": 1.8465, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.34, |
| "grad_norm": 64.47191619873047, |
| "learning_rate": 4.436666666666667e-05, |
| "loss": 1.6719, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.36, |
| "grad_norm": 63.627681732177734, |
| "learning_rate": 4.403333333333334e-05, |
| "loss": 1.7967, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.38, |
| "grad_norm": 30.865203857421875, |
| "learning_rate": 4.3700000000000005e-05, |
| "loss": 1.5015, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 12.00632095336914, |
| "learning_rate": 4.3366666666666666e-05, |
| "loss": 1.6298, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.42, |
| "grad_norm": 83.26287841796875, |
| "learning_rate": 4.3033333333333334e-05, |
| "loss": 1.9531, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.44, |
| "grad_norm": 43.74462127685547, |
| "learning_rate": 4.27e-05, |
| "loss": 1.4834, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.46, |
| "grad_norm": 41.31574249267578, |
| "learning_rate": 4.236666666666667e-05, |
| "loss": 1.8548, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 66.2603759765625, |
| "learning_rate": 4.2033333333333336e-05, |
| "loss": 1.4464, |
| "step": 240 |
| }, |
| { |
| "epoch": 0.5, |
| "grad_norm": 18.777666091918945, |
| "learning_rate": 4.17e-05, |
| "loss": 1.3379, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.52, |
| "grad_norm": 40.735050201416016, |
| "learning_rate": 4.136666666666667e-05, |
| "loss": 1.4589, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.54, |
| "grad_norm": 89.99899291992188, |
| "learning_rate": 4.103333333333333e-05, |
| "loss": 1.6462, |
| "step": 270 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 26.000844955444336, |
| "learning_rate": 4.07e-05, |
| "loss": 1.5459, |
| "step": 280 |
| }, |
| { |
| "epoch": 0.58, |
| "grad_norm": 72.94963836669922, |
| "learning_rate": 4.036666666666667e-05, |
| "loss": 1.3914, |
| "step": 290 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 36.23366928100586, |
| "learning_rate": 4.0033333333333335e-05, |
| "loss": 1.7466, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.62, |
| "grad_norm": 37.300697326660156, |
| "learning_rate": 3.97e-05, |
| "loss": 1.6585, |
| "step": 310 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 48.120933532714844, |
| "learning_rate": 3.936666666666667e-05, |
| "loss": 1.7376, |
| "step": 320 |
| }, |
| { |
| "epoch": 0.66, |
| "grad_norm": 41.503997802734375, |
| "learning_rate": 3.903333333333333e-05, |
| "loss": 1.4676, |
| "step": 330 |
| }, |
| { |
| "epoch": 0.68, |
| "grad_norm": 13.966187477111816, |
| "learning_rate": 3.8700000000000006e-05, |
| "loss": 1.4801, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.7, |
| "grad_norm": 55.511837005615234, |
| "learning_rate": 3.8366666666666666e-05, |
| "loss": 1.9258, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 46.56684494018555, |
| "learning_rate": 3.803333333333334e-05, |
| "loss": 1.4785, |
| "step": 360 |
| }, |
| { |
| "epoch": 0.74, |
| "grad_norm": 51.37467575073242, |
| "learning_rate": 3.77e-05, |
| "loss": 1.3089, |
| "step": 370 |
| }, |
| { |
| "epoch": 0.76, |
| "grad_norm": 63.84782409667969, |
| "learning_rate": 3.736666666666667e-05, |
| "loss": 2.0258, |
| "step": 380 |
| }, |
| { |
| "epoch": 0.78, |
| "grad_norm": 54.59080123901367, |
| "learning_rate": 3.703333333333334e-05, |
| "loss": 1.4266, |
| "step": 390 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 27.919336318969727, |
| "learning_rate": 3.6700000000000004e-05, |
| "loss": 1.8133, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.82, |
| "grad_norm": 43.32358169555664, |
| "learning_rate": 3.636666666666667e-05, |
| "loss": 1.4812, |
| "step": 410 |
| }, |
| { |
| "epoch": 0.84, |
| "grad_norm": 33.77085494995117, |
| "learning_rate": 3.603333333333333e-05, |
| "loss": 1.4177, |
| "step": 420 |
| }, |
| { |
| "epoch": 0.86, |
| "grad_norm": 53.14788055419922, |
| "learning_rate": 3.57e-05, |
| "loss": 1.4277, |
| "step": 430 |
| }, |
| { |
| "epoch": 0.88, |
| "grad_norm": 43.82292175292969, |
| "learning_rate": 3.536666666666667e-05, |
| "loss": 1.3996, |
| "step": 440 |
| }, |
| { |
| "epoch": 0.9, |
| "grad_norm": 74.1073989868164, |
| "learning_rate": 3.5033333333333336e-05, |
| "loss": 1.4942, |
| "step": 450 |
| }, |
| { |
| "epoch": 0.92, |
| "grad_norm": 67.50479888916016, |
| "learning_rate": 3.4699999999999996e-05, |
| "loss": 1.4433, |
| "step": 460 |
| }, |
| { |
| "epoch": 0.94, |
| "grad_norm": 44.51863479614258, |
| "learning_rate": 3.436666666666667e-05, |
| "loss": 1.3934, |
| "step": 470 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 42.15129470825195, |
| "learning_rate": 3.403333333333333e-05, |
| "loss": 1.4448, |
| "step": 480 |
| }, |
| { |
| "epoch": 0.98, |
| "grad_norm": 59.780059814453125, |
| "learning_rate": 3.3700000000000006e-05, |
| "loss": 1.25, |
| "step": 490 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 56.6463623046875, |
| "learning_rate": 3.336666666666667e-05, |
| "loss": 1.3204, |
| "step": 500 |
| }, |
| { |
| "epoch": 1.02, |
| "grad_norm": 42.17279815673828, |
| "learning_rate": 3.3033333333333334e-05, |
| "loss": 1.875, |
| "step": 510 |
| }, |
| { |
| "epoch": 1.04, |
| "grad_norm": 53.357017517089844, |
| "learning_rate": 3.27e-05, |
| "loss": 1.3936, |
| "step": 520 |
| }, |
| { |
| "epoch": 1.06, |
| "grad_norm": 33.11314392089844, |
| "learning_rate": 3.236666666666667e-05, |
| "loss": 1.5159, |
| "step": 530 |
| }, |
| { |
| "epoch": 1.08, |
| "grad_norm": 39.53742980957031, |
| "learning_rate": 3.203333333333334e-05, |
| "loss": 1.3661, |
| "step": 540 |
| }, |
| { |
| "epoch": 1.1, |
| "grad_norm": 37.94576644897461, |
| "learning_rate": 3.1700000000000005e-05, |
| "loss": 1.3893, |
| "step": 550 |
| }, |
| { |
| "epoch": 1.12, |
| "grad_norm": 40.539207458496094, |
| "learning_rate": 3.1366666666666666e-05, |
| "loss": 1.4794, |
| "step": 560 |
| }, |
| { |
| "epoch": 1.1400000000000001, |
| "grad_norm": 34.75075912475586, |
| "learning_rate": 3.103333333333333e-05, |
| "loss": 1.0972, |
| "step": 570 |
| }, |
| { |
| "epoch": 1.16, |
| "grad_norm": 52.29777526855469, |
| "learning_rate": 3.07e-05, |
| "loss": 1.9438, |
| "step": 580 |
| }, |
| { |
| "epoch": 1.18, |
| "grad_norm": 63.562442779541016, |
| "learning_rate": 3.0366666666666665e-05, |
| "loss": 1.4552, |
| "step": 590 |
| }, |
| { |
| "epoch": 1.2, |
| "grad_norm": 36.03409194946289, |
| "learning_rate": 3.0033333333333336e-05, |
| "loss": 1.4451, |
| "step": 600 |
| }, |
| { |
| "epoch": 1.22, |
| "grad_norm": 35.75303268432617, |
| "learning_rate": 2.97e-05, |
| "loss": 1.3203, |
| "step": 610 |
| }, |
| { |
| "epoch": 1.24, |
| "grad_norm": 41.28643798828125, |
| "learning_rate": 2.936666666666667e-05, |
| "loss": 1.3898, |
| "step": 620 |
| }, |
| { |
| "epoch": 1.26, |
| "grad_norm": 42.44171905517578, |
| "learning_rate": 2.9033333333333335e-05, |
| "loss": 1.4461, |
| "step": 630 |
| }, |
| { |
| "epoch": 1.28, |
| "grad_norm": 33.191993713378906, |
| "learning_rate": 2.87e-05, |
| "loss": 1.5485, |
| "step": 640 |
| }, |
| { |
| "epoch": 1.3, |
| "grad_norm": 35.58934020996094, |
| "learning_rate": 2.836666666666667e-05, |
| "loss": 1.4225, |
| "step": 650 |
| }, |
| { |
| "epoch": 1.32, |
| "grad_norm": 38.515438079833984, |
| "learning_rate": 2.8033333333333335e-05, |
| "loss": 1.4034, |
| "step": 660 |
| }, |
| { |
| "epoch": 1.34, |
| "grad_norm": 42.85960006713867, |
| "learning_rate": 2.7700000000000002e-05, |
| "loss": 1.3505, |
| "step": 670 |
| }, |
| { |
| "epoch": 1.3599999999999999, |
| "grad_norm": 83.25682067871094, |
| "learning_rate": 2.7366666666666667e-05, |
| "loss": 1.35, |
| "step": 680 |
| }, |
| { |
| "epoch": 1.38, |
| "grad_norm": 49.6702880859375, |
| "learning_rate": 2.7033333333333334e-05, |
| "loss": 1.8784, |
| "step": 690 |
| }, |
| { |
| "epoch": 1.4, |
| "grad_norm": 51.177093505859375, |
| "learning_rate": 2.6700000000000002e-05, |
| "loss": 1.3637, |
| "step": 700 |
| }, |
| { |
| "epoch": 1.42, |
| "grad_norm": 40.318206787109375, |
| "learning_rate": 2.6366666666666666e-05, |
| "loss": 1.3539, |
| "step": 710 |
| }, |
| { |
| "epoch": 1.44, |
| "grad_norm": 45.05327224731445, |
| "learning_rate": 2.6033333333333337e-05, |
| "loss": 1.5676, |
| "step": 720 |
| }, |
| { |
| "epoch": 1.46, |
| "grad_norm": 28.770118713378906, |
| "learning_rate": 2.57e-05, |
| "loss": 1.342, |
| "step": 730 |
| }, |
| { |
| "epoch": 1.48, |
| "grad_norm": 29.81730842590332, |
| "learning_rate": 2.5366666666666665e-05, |
| "loss": 1.3532, |
| "step": 740 |
| }, |
| { |
| "epoch": 1.5, |
| "grad_norm": 48.3309440612793, |
| "learning_rate": 2.5033333333333336e-05, |
| "loss": 1.4733, |
| "step": 750 |
| }, |
| { |
| "epoch": 1.52, |
| "grad_norm": 70.29447937011719, |
| "learning_rate": 2.47e-05, |
| "loss": 1.457, |
| "step": 760 |
| }, |
| { |
| "epoch": 1.54, |
| "grad_norm": 37.76487350463867, |
| "learning_rate": 2.4366666666666668e-05, |
| "loss": 1.4183, |
| "step": 770 |
| }, |
| { |
| "epoch": 1.56, |
| "grad_norm": 33.34684753417969, |
| "learning_rate": 2.4033333333333336e-05, |
| "loss": 1.4226, |
| "step": 780 |
| }, |
| { |
| "epoch": 1.58, |
| "grad_norm": 32.89299392700195, |
| "learning_rate": 2.37e-05, |
| "loss": 1.3785, |
| "step": 790 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 56.79878616333008, |
| "learning_rate": 2.3366666666666668e-05, |
| "loss": 1.4579, |
| "step": 800 |
| }, |
| { |
| "epoch": 1.62, |
| "grad_norm": 32.62324523925781, |
| "learning_rate": 2.3033333333333335e-05, |
| "loss": 1.4094, |
| "step": 810 |
| }, |
| { |
| "epoch": 1.6400000000000001, |
| "grad_norm": 39.20806121826172, |
| "learning_rate": 2.2700000000000003e-05, |
| "loss": 1.4686, |
| "step": 820 |
| }, |
| { |
| "epoch": 1.6600000000000001, |
| "grad_norm": 31.847000122070312, |
| "learning_rate": 2.236666666666667e-05, |
| "loss": 1.3953, |
| "step": 830 |
| }, |
| { |
| "epoch": 1.6800000000000002, |
| "grad_norm": 40.128971099853516, |
| "learning_rate": 2.2033333333333335e-05, |
| "loss": 1.4658, |
| "step": 840 |
| }, |
| { |
| "epoch": 1.7, |
| "grad_norm": 36.050846099853516, |
| "learning_rate": 2.1700000000000002e-05, |
| "loss": 1.6216, |
| "step": 850 |
| }, |
| { |
| "epoch": 1.72, |
| "grad_norm": 64.60285186767578, |
| "learning_rate": 2.1366666666666667e-05, |
| "loss": 1.4508, |
| "step": 860 |
| }, |
| { |
| "epoch": 1.74, |
| "grad_norm": 65.16170501708984, |
| "learning_rate": 2.1033333333333334e-05, |
| "loss": 1.4214, |
| "step": 870 |
| }, |
| { |
| "epoch": 1.76, |
| "grad_norm": 35.84981155395508, |
| "learning_rate": 2.07e-05, |
| "loss": 1.3662, |
| "step": 880 |
| }, |
| { |
| "epoch": 1.78, |
| "grad_norm": 40.32749557495117, |
| "learning_rate": 2.0366666666666666e-05, |
| "loss": 1.4159, |
| "step": 890 |
| }, |
| { |
| "epoch": 1.8, |
| "grad_norm": 37.723114013671875, |
| "learning_rate": 2.0033333333333334e-05, |
| "loss": 1.3919, |
| "step": 900 |
| }, |
| { |
| "epoch": 1.8199999999999998, |
| "grad_norm": 35.627803802490234, |
| "learning_rate": 1.97e-05, |
| "loss": 1.4407, |
| "step": 910 |
| }, |
| { |
| "epoch": 1.8399999999999999, |
| "grad_norm": 34.74470138549805, |
| "learning_rate": 1.9366666666666665e-05, |
| "loss": 1.3455, |
| "step": 920 |
| }, |
| { |
| "epoch": 1.8599999999999999, |
| "grad_norm": 30.108226776123047, |
| "learning_rate": 1.9033333333333333e-05, |
| "loss": 1.4827, |
| "step": 930 |
| }, |
| { |
| "epoch": 1.88, |
| "grad_norm": 72.5284652709961, |
| "learning_rate": 1.87e-05, |
| "loss": 1.38, |
| "step": 940 |
| }, |
| { |
| "epoch": 1.9, |
| "grad_norm": 40.3804817199707, |
| "learning_rate": 1.8366666666666668e-05, |
| "loss": 1.3436, |
| "step": 950 |
| }, |
| { |
| "epoch": 1.92, |
| "grad_norm": 48.87946701049805, |
| "learning_rate": 1.8033333333333336e-05, |
| "loss": 1.369, |
| "step": 960 |
| }, |
| { |
| "epoch": 1.94, |
| "grad_norm": 50.297794342041016, |
| "learning_rate": 1.77e-05, |
| "loss": 1.3892, |
| "step": 970 |
| }, |
| { |
| "epoch": 1.96, |
| "grad_norm": 43.455909729003906, |
| "learning_rate": 1.7366666666666668e-05, |
| "loss": 1.5923, |
| "step": 980 |
| }, |
| { |
| "epoch": 1.98, |
| "grad_norm": 26.250675201416016, |
| "learning_rate": 1.7033333333333335e-05, |
| "loss": 1.4009, |
| "step": 990 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 30.42631721496582, |
| "learning_rate": 1.6700000000000003e-05, |
| "loss": 1.3333, |
| "step": 1000 |
| } |
| ], |
| "logging_steps": 10, |
| "max_steps": 1500, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 3, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": false |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 5412464099328000.0, |
| "train_batch_size": 2, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
