| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 0.06666666666666667, |
| "eval_steps": 500, |
| "global_step": 10000, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 6.666666666666667e-05, |
| "grad_norm": 6.0625, |
| "learning_rate": 6.000000000000001e-07, |
| "loss": 0.5081, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.00013333333333333334, |
| "grad_norm": 7.0, |
| "learning_rate": 1.2666666666666669e-06, |
| "loss": 0.5007, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.0002, |
| "grad_norm": 6.40625, |
| "learning_rate": 1.9333333333333336e-06, |
| "loss": 0.431, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.0002666666666666667, |
| "grad_norm": 6.34375, |
| "learning_rate": 2.6e-06, |
| "loss": 0.4767, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.0003333333333333333, |
| "grad_norm": 6.4375, |
| "learning_rate": 3.266666666666667e-06, |
| "loss": 0.519, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.0004, |
| "grad_norm": 5.40625, |
| "learning_rate": 3.9333333333333335e-06, |
| "loss": 0.4734, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.00046666666666666666, |
| "grad_norm": 5.8125, |
| "learning_rate": 4.600000000000001e-06, |
| "loss": 0.5168, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.0005333333333333334, |
| "grad_norm": 5.71875, |
| "learning_rate": 5.2666666666666665e-06, |
| "loss": 0.4655, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.0006, |
| "grad_norm": 5.09375, |
| "learning_rate": 5.933333333333335e-06, |
| "loss": 0.4957, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.0006666666666666666, |
| "grad_norm": 6.625, |
| "learning_rate": 6.600000000000001e-06, |
| "loss": 0.502, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.0007333333333333333, |
| "grad_norm": 6.8125, |
| "learning_rate": 7.266666666666668e-06, |
| "loss": 0.5158, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.0008, |
| "grad_norm": 5.5625, |
| "learning_rate": 7.933333333333334e-06, |
| "loss": 0.4354, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.0008666666666666666, |
| "grad_norm": 5.53125, |
| "learning_rate": 8.6e-06, |
| "loss": 0.4331, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.0009333333333333333, |
| "grad_norm": 8.375, |
| "learning_rate": 9.266666666666667e-06, |
| "loss": 0.5064, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.001, |
| "grad_norm": 5.78125, |
| "learning_rate": 9.933333333333334e-06, |
| "loss": 0.4452, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.0010666666666666667, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.0600000000000002e-05, |
| "loss": 0.5262, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.0011333333333333334, |
| "grad_norm": 5.40625, |
| "learning_rate": 1.1266666666666668e-05, |
| "loss": 0.5014, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.0012, |
| "grad_norm": 7.0625, |
| "learning_rate": 1.1933333333333335e-05, |
| "loss": 0.4929, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.0012666666666666666, |
| "grad_norm": 8.5, |
| "learning_rate": 1.2600000000000001e-05, |
| "loss": 0.5083, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.0013333333333333333, |
| "grad_norm": 8.8125, |
| "learning_rate": 1.3266666666666668e-05, |
| "loss": 0.4826, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.0014, |
| "grad_norm": 7.28125, |
| "learning_rate": 1.3933333333333334e-05, |
| "loss": 0.4915, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.0014666666666666667, |
| "grad_norm": 5.53125, |
| "learning_rate": 1.46e-05, |
| "loss": 0.4559, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.0015333333333333334, |
| "grad_norm": 5.65625, |
| "learning_rate": 1.5266666666666667e-05, |
| "loss": 0.4847, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.0016, |
| "grad_norm": 5.40625, |
| "learning_rate": 1.5933333333333336e-05, |
| "loss": 0.4826, |
| "step": 240 |
| }, |
| { |
| "epoch": 0.0016666666666666668, |
| "grad_norm": 4.3125, |
| "learning_rate": 1.66e-05, |
| "loss": 0.5438, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.0017333333333333333, |
| "grad_norm": 4.53125, |
| "learning_rate": 1.726666666666667e-05, |
| "loss": 0.4098, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.0018, |
| "grad_norm": 5.96875, |
| "learning_rate": 1.7933333333333333e-05, |
| "loss": 0.4681, |
| "step": 270 |
| }, |
| { |
| "epoch": 0.0018666666666666666, |
| "grad_norm": 6.75, |
| "learning_rate": 1.86e-05, |
| "loss": 0.4841, |
| "step": 280 |
| }, |
| { |
| "epoch": 0.0019333333333333333, |
| "grad_norm": 5.71875, |
| "learning_rate": 1.926666666666667e-05, |
| "loss": 0.4808, |
| "step": 290 |
| }, |
| { |
| "epoch": 0.002, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.9933333333333334e-05, |
| "loss": 0.469, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.0020666666666666667, |
| "grad_norm": 5.9375, |
| "learning_rate": 1.9999999821634372e-05, |
| "loss": 0.4593, |
| "step": 310 |
| }, |
| { |
| "epoch": 0.0021333333333333334, |
| "grad_norm": 7.40625, |
| "learning_rate": 1.999999920506184e-05, |
| "loss": 0.4364, |
| "step": 320 |
| }, |
| { |
| "epoch": 0.0022, |
| "grad_norm": 5.65625, |
| "learning_rate": 1.999999814808039e-05, |
| "loss": 0.4905, |
| "step": 330 |
| }, |
| { |
| "epoch": 0.002266666666666667, |
| "grad_norm": 5.28125, |
| "learning_rate": 1.9999996650690057e-05, |
| "loss": 0.4296, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.0023333333333333335, |
| "grad_norm": 6.21875, |
| "learning_rate": 1.9999994712890916e-05, |
| "loss": 0.4234, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.0024, |
| "grad_norm": 5.78125, |
| "learning_rate": 1.9999992334683056e-05, |
| "loss": 0.4044, |
| "step": 360 |
| }, |
| { |
| "epoch": 0.0024666666666666665, |
| "grad_norm": 5.625, |
| "learning_rate": 1.999998951606657e-05, |
| "loss": 0.4884, |
| "step": 370 |
| }, |
| { |
| "epoch": 0.002533333333333333, |
| "grad_norm": 6.03125, |
| "learning_rate": 1.9999986257041594e-05, |
| "loss": 0.4963, |
| "step": 380 |
| }, |
| { |
| "epoch": 0.0026, |
| "grad_norm": 6.09375, |
| "learning_rate": 1.9999982557608263e-05, |
| "loss": 0.5, |
| "step": 390 |
| }, |
| { |
| "epoch": 0.0026666666666666666, |
| "grad_norm": 6.03125, |
| "learning_rate": 1.9999978417766744e-05, |
| "loss": 0.47, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.0027333333333333333, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9999973837517218e-05, |
| "loss": 0.4541, |
| "step": 410 |
| }, |
| { |
| "epoch": 0.0028, |
| "grad_norm": 5.875, |
| "learning_rate": 1.9999968816859886e-05, |
| "loss": 0.4665, |
| "step": 420 |
| }, |
| { |
| "epoch": 0.0028666666666666667, |
| "grad_norm": 7.78125, |
| "learning_rate": 1.9999963355794974e-05, |
| "loss": 0.4715, |
| "step": 430 |
| }, |
| { |
| "epoch": 0.0029333333333333334, |
| "grad_norm": 4.40625, |
| "learning_rate": 1.9999957454322717e-05, |
| "loss": 0.4819, |
| "step": 440 |
| }, |
| { |
| "epoch": 0.003, |
| "grad_norm": 4.40625, |
| "learning_rate": 1.9999951112443377e-05, |
| "loss": 0.415, |
| "step": 450 |
| }, |
| { |
| "epoch": 0.0030666666666666668, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.999994433015723e-05, |
| "loss": 0.4869, |
| "step": 460 |
| }, |
| { |
| "epoch": 0.0031333333333333335, |
| "grad_norm": 7.5, |
| "learning_rate": 1.999993710746458e-05, |
| "loss": 0.4207, |
| "step": 470 |
| }, |
| { |
| "epoch": 0.0032, |
| "grad_norm": 5.75, |
| "learning_rate": 1.9999929444365743e-05, |
| "loss": 0.4473, |
| "step": 480 |
| }, |
| { |
| "epoch": 0.003266666666666667, |
| "grad_norm": 5.28125, |
| "learning_rate": 1.9999921340861056e-05, |
| "loss": 0.4305, |
| "step": 490 |
| }, |
| { |
| "epoch": 0.0033333333333333335, |
| "grad_norm": 8.0, |
| "learning_rate": 1.9999912796950875e-05, |
| "loss": 0.4864, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.0034, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.999990381263558e-05, |
| "loss": 0.519, |
| "step": 510 |
| }, |
| { |
| "epoch": 0.0034666666666666665, |
| "grad_norm": 5.25, |
| "learning_rate": 1.9999894387915562e-05, |
| "loss": 0.5032, |
| "step": 520 |
| }, |
| { |
| "epoch": 0.003533333333333333, |
| "grad_norm": 6.375, |
| "learning_rate": 1.9999884522791236e-05, |
| "loss": 0.4517, |
| "step": 530 |
| }, |
| { |
| "epoch": 0.0036, |
| "grad_norm": 4.8125, |
| "learning_rate": 1.9999874217263043e-05, |
| "loss": 0.5044, |
| "step": 540 |
| }, |
| { |
| "epoch": 0.0036666666666666666, |
| "grad_norm": 5.34375, |
| "learning_rate": 1.999986347133143e-05, |
| "loss": 0.4577, |
| "step": 550 |
| }, |
| { |
| "epoch": 0.0037333333333333333, |
| "grad_norm": 6.875, |
| "learning_rate": 1.9999852284996873e-05, |
| "loss": 0.4712, |
| "step": 560 |
| }, |
| { |
| "epoch": 0.0038, |
| "grad_norm": 6.84375, |
| "learning_rate": 1.9999840658259865e-05, |
| "loss": 0.4787, |
| "step": 570 |
| }, |
| { |
| "epoch": 0.0038666666666666667, |
| "grad_norm": 7.03125, |
| "learning_rate": 1.999982859112092e-05, |
| "loss": 0.4751, |
| "step": 580 |
| }, |
| { |
| "epoch": 0.003933333333333333, |
| "grad_norm": 4.65625, |
| "learning_rate": 1.9999816083580564e-05, |
| "loss": 0.4584, |
| "step": 590 |
| }, |
| { |
| "epoch": 0.004, |
| "grad_norm": 13.8125, |
| "learning_rate": 1.9999803135639353e-05, |
| "loss": 0.4817, |
| "step": 600 |
| }, |
| { |
| "epoch": 0.004066666666666666, |
| "grad_norm": 6.09375, |
| "learning_rate": 1.999978974729785e-05, |
| "loss": 0.4273, |
| "step": 610 |
| }, |
| { |
| "epoch": 0.0041333333333333335, |
| "grad_norm": 4.3125, |
| "learning_rate": 1.9999775918556653e-05, |
| "loss": 0.4567, |
| "step": 620 |
| }, |
| { |
| "epoch": 0.0042, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.999976164941637e-05, |
| "loss": 0.3799, |
| "step": 630 |
| }, |
| { |
| "epoch": 0.004266666666666667, |
| "grad_norm": 6.34375, |
| "learning_rate": 1.9999746939877625e-05, |
| "loss": 0.4258, |
| "step": 640 |
| }, |
| { |
| "epoch": 0.004333333333333333, |
| "grad_norm": 7.375, |
| "learning_rate": 1.9999731789941066e-05, |
| "loss": 0.4301, |
| "step": 650 |
| }, |
| { |
| "epoch": 0.0044, |
| "grad_norm": 8.0625, |
| "learning_rate": 1.9999716199607364e-05, |
| "loss": 0.4472, |
| "step": 660 |
| }, |
| { |
| "epoch": 0.0044666666666666665, |
| "grad_norm": 5.8125, |
| "learning_rate": 1.99997001688772e-05, |
| "loss": 0.4257, |
| "step": 670 |
| }, |
| { |
| "epoch": 0.004533333333333334, |
| "grad_norm": 5.25, |
| "learning_rate": 1.999968369775129e-05, |
| "loss": 0.4464, |
| "step": 680 |
| }, |
| { |
| "epoch": 0.0046, |
| "grad_norm": 6.90625, |
| "learning_rate": 1.999966678623035e-05, |
| "loss": 0.4524, |
| "step": 690 |
| }, |
| { |
| "epoch": 0.004666666666666667, |
| "grad_norm": 4.71875, |
| "learning_rate": 1.999964943431513e-05, |
| "loss": 0.4295, |
| "step": 700 |
| }, |
| { |
| "epoch": 0.004733333333333333, |
| "grad_norm": 4.34375, |
| "learning_rate": 1.999963164200639e-05, |
| "loss": 0.4285, |
| "step": 710 |
| }, |
| { |
| "epoch": 0.0048, |
| "grad_norm": 6.84375, |
| "learning_rate": 1.9999613409304914e-05, |
| "loss": 0.4348, |
| "step": 720 |
| }, |
| { |
| "epoch": 0.004866666666666667, |
| "grad_norm": 5.71875, |
| "learning_rate": 1.9999594736211508e-05, |
| "loss": 0.4151, |
| "step": 730 |
| }, |
| { |
| "epoch": 0.004933333333333333, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.9999575622726997e-05, |
| "loss": 0.4576, |
| "step": 740 |
| }, |
| { |
| "epoch": 0.005, |
| "grad_norm": 5.59375, |
| "learning_rate": 1.9999556068852215e-05, |
| "loss": 0.4333, |
| "step": 750 |
| }, |
| { |
| "epoch": 0.005066666666666666, |
| "grad_norm": 4.15625, |
| "learning_rate": 1.999953607458803e-05, |
| "loss": 0.4252, |
| "step": 760 |
| }, |
| { |
| "epoch": 0.0051333333333333335, |
| "grad_norm": 10.1875, |
| "learning_rate": 1.9999515639935318e-05, |
| "loss": 0.4748, |
| "step": 770 |
| }, |
| { |
| "epoch": 0.0052, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.9999494764894977e-05, |
| "loss": 0.4643, |
| "step": 780 |
| }, |
| { |
| "epoch": 0.005266666666666667, |
| "grad_norm": 3.078125, |
| "learning_rate": 1.9999473449467933e-05, |
| "loss": 0.4133, |
| "step": 790 |
| }, |
| { |
| "epoch": 0.005333333333333333, |
| "grad_norm": 6.78125, |
| "learning_rate": 1.9999451693655125e-05, |
| "loss": 0.5265, |
| "step": 800 |
| }, |
| { |
| "epoch": 0.0054, |
| "grad_norm": 9.9375, |
| "learning_rate": 1.99994294974575e-05, |
| "loss": 0.4844, |
| "step": 810 |
| }, |
| { |
| "epoch": 0.0054666666666666665, |
| "grad_norm": 4.59375, |
| "learning_rate": 1.999940686087605e-05, |
| "loss": 0.4152, |
| "step": 820 |
| }, |
| { |
| "epoch": 0.005533333333333334, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.9999383783911765e-05, |
| "loss": 0.456, |
| "step": 830 |
| }, |
| { |
| "epoch": 0.0056, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.999936026656566e-05, |
| "loss": 0.4073, |
| "step": 840 |
| }, |
| { |
| "epoch": 0.005666666666666667, |
| "grad_norm": 4.46875, |
| "learning_rate": 1.9999336308838772e-05, |
| "loss": 0.4423, |
| "step": 850 |
| }, |
| { |
| "epoch": 0.005733333333333333, |
| "grad_norm": 4.59375, |
| "learning_rate": 1.9999311910732156e-05, |
| "loss": 0.4666, |
| "step": 860 |
| }, |
| { |
| "epoch": 0.0058, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.9999287072246887e-05, |
| "loss": 0.3996, |
| "step": 870 |
| }, |
| { |
| "epoch": 0.005866666666666667, |
| "grad_norm": 4.9375, |
| "learning_rate": 1.999926179338406e-05, |
| "loss": 0.4236, |
| "step": 880 |
| }, |
| { |
| "epoch": 0.005933333333333333, |
| "grad_norm": 4.8125, |
| "learning_rate": 1.9999236074144787e-05, |
| "loss": 0.4652, |
| "step": 890 |
| }, |
| { |
| "epoch": 0.006, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.9999209914530202e-05, |
| "loss": 0.3841, |
| "step": 900 |
| }, |
| { |
| "epoch": 0.006066666666666666, |
| "grad_norm": 4.53125, |
| "learning_rate": 1.9999183314541453e-05, |
| "loss": 0.4118, |
| "step": 910 |
| }, |
| { |
| "epoch": 0.0061333333333333335, |
| "grad_norm": 5.46875, |
| "learning_rate": 1.9999156274179716e-05, |
| "loss": 0.4518, |
| "step": 920 |
| }, |
| { |
| "epoch": 0.0062, |
| "grad_norm": 8.1875, |
| "learning_rate": 1.999912879344618e-05, |
| "loss": 0.4219, |
| "step": 930 |
| }, |
| { |
| "epoch": 0.006266666666666667, |
| "grad_norm": 4.875, |
| "learning_rate": 1.9999100872342058e-05, |
| "loss": 0.471, |
| "step": 940 |
| }, |
| { |
| "epoch": 0.006333333333333333, |
| "grad_norm": 4.875, |
| "learning_rate": 1.9999072510868576e-05, |
| "loss": 0.4279, |
| "step": 950 |
| }, |
| { |
| "epoch": 0.0064, |
| "grad_norm": 4.1875, |
| "learning_rate": 1.9999043709026984e-05, |
| "loss": 0.4724, |
| "step": 960 |
| }, |
| { |
| "epoch": 0.006466666666666667, |
| "grad_norm": 3.734375, |
| "learning_rate": 1.999901446681855e-05, |
| "loss": 0.4871, |
| "step": 970 |
| }, |
| { |
| "epoch": 0.006533333333333334, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.9998984784244562e-05, |
| "loss": 0.4683, |
| "step": 980 |
| }, |
| { |
| "epoch": 0.0066, |
| "grad_norm": 7.5, |
| "learning_rate": 1.999895466130633e-05, |
| "loss": 0.446, |
| "step": 990 |
| }, |
| { |
| "epoch": 0.006666666666666667, |
| "grad_norm": 5.125, |
| "learning_rate": 1.9998924098005176e-05, |
| "loss": 0.3888, |
| "step": 1000 |
| }, |
| { |
| "epoch": 0.006733333333333333, |
| "grad_norm": 5.0, |
| "learning_rate": 1.9998893094342452e-05, |
| "loss": 0.4693, |
| "step": 1010 |
| }, |
| { |
| "epoch": 0.0068, |
| "grad_norm": 7.34375, |
| "learning_rate": 1.999886165031952e-05, |
| "loss": 0.4352, |
| "step": 1020 |
| }, |
| { |
| "epoch": 0.006866666666666667, |
| "grad_norm": 5.5, |
| "learning_rate": 1.999882976593776e-05, |
| "loss": 0.3809, |
| "step": 1030 |
| }, |
| { |
| "epoch": 0.006933333333333333, |
| "grad_norm": 5.875, |
| "learning_rate": 1.999879744119859e-05, |
| "loss": 0.4478, |
| "step": 1040 |
| }, |
| { |
| "epoch": 0.007, |
| "grad_norm": 6.40625, |
| "learning_rate": 1.9998764676103417e-05, |
| "loss": 0.4317, |
| "step": 1050 |
| }, |
| { |
| "epoch": 0.007066666666666666, |
| "grad_norm": 4.65625, |
| "learning_rate": 1.9998731470653695e-05, |
| "loss": 0.463, |
| "step": 1060 |
| }, |
| { |
| "epoch": 0.0071333333333333335, |
| "grad_norm": 8.5, |
| "learning_rate": 1.999869782485088e-05, |
| "loss": 0.4447, |
| "step": 1070 |
| }, |
| { |
| "epoch": 0.0072, |
| "grad_norm": 5.40625, |
| "learning_rate": 1.999866373869646e-05, |
| "loss": 0.4313, |
| "step": 1080 |
| }, |
| { |
| "epoch": 0.007266666666666667, |
| "grad_norm": 4.65625, |
| "learning_rate": 1.9998629212191933e-05, |
| "loss": 0.4417, |
| "step": 1090 |
| }, |
| { |
| "epoch": 0.007333333333333333, |
| "grad_norm": 5.40625, |
| "learning_rate": 1.999859424533882e-05, |
| "loss": 0.4643, |
| "step": 1100 |
| }, |
| { |
| "epoch": 0.0074, |
| "grad_norm": 5.5625, |
| "learning_rate": 1.9998558838138654e-05, |
| "loss": 0.4348, |
| "step": 1110 |
| }, |
| { |
| "epoch": 0.007466666666666667, |
| "grad_norm": 4.90625, |
| "learning_rate": 1.999852299059301e-05, |
| "loss": 0.4641, |
| "step": 1120 |
| }, |
| { |
| "epoch": 0.007533333333333334, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.9998486702703453e-05, |
| "loss": 0.4406, |
| "step": 1130 |
| }, |
| { |
| "epoch": 0.0076, |
| "grad_norm": 6.1875, |
| "learning_rate": 1.9998449974471587e-05, |
| "loss": 0.4341, |
| "step": 1140 |
| }, |
| { |
| "epoch": 0.007666666666666666, |
| "grad_norm": 6.65625, |
| "learning_rate": 1.999841280589903e-05, |
| "loss": 0.4646, |
| "step": 1150 |
| }, |
| { |
| "epoch": 0.007733333333333333, |
| "grad_norm": 4.3125, |
| "learning_rate": 1.9998375196987415e-05, |
| "loss": 0.4471, |
| "step": 1160 |
| }, |
| { |
| "epoch": 0.0078, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.99983371477384e-05, |
| "loss": 0.4143, |
| "step": 1170 |
| }, |
| { |
| "epoch": 0.007866666666666666, |
| "grad_norm": 5.96875, |
| "learning_rate": 1.9998298658153662e-05, |
| "loss": 0.3822, |
| "step": 1180 |
| }, |
| { |
| "epoch": 0.007933333333333334, |
| "grad_norm": 6.21875, |
| "learning_rate": 1.99982597282349e-05, |
| "loss": 0.4334, |
| "step": 1190 |
| }, |
| { |
| "epoch": 0.008, |
| "grad_norm": 2.90625, |
| "learning_rate": 1.9998220357983817e-05, |
| "loss": 0.3927, |
| "step": 1200 |
| }, |
| { |
| "epoch": 0.008066666666666666, |
| "grad_norm": 4.625, |
| "learning_rate": 1.9998180547402157e-05, |
| "loss": 0.4697, |
| "step": 1210 |
| }, |
| { |
| "epoch": 0.008133333333333333, |
| "grad_norm": 5.46875, |
| "learning_rate": 1.999814029649167e-05, |
| "loss": 0.4509, |
| "step": 1220 |
| }, |
| { |
| "epoch": 0.0082, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.999809960525413e-05, |
| "loss": 0.4562, |
| "step": 1230 |
| }, |
| { |
| "epoch": 0.008266666666666667, |
| "grad_norm": 9.5, |
| "learning_rate": 1.9998058473691327e-05, |
| "loss": 0.4009, |
| "step": 1240 |
| }, |
| { |
| "epoch": 0.008333333333333333, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.9998016901805073e-05, |
| "loss": 0.4088, |
| "step": 1250 |
| }, |
| { |
| "epoch": 0.0084, |
| "grad_norm": 5.0, |
| "learning_rate": 1.9997974889597203e-05, |
| "loss": 0.4381, |
| "step": 1260 |
| }, |
| { |
| "epoch": 0.008466666666666667, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.999793243706956e-05, |
| "loss": 0.4337, |
| "step": 1270 |
| }, |
| { |
| "epoch": 0.008533333333333334, |
| "grad_norm": 5.78125, |
| "learning_rate": 1.999788954422402e-05, |
| "loss": 0.486, |
| "step": 1280 |
| }, |
| { |
| "epoch": 0.0086, |
| "grad_norm": 4.625, |
| "learning_rate": 1.9997846211062466e-05, |
| "loss": 0.4539, |
| "step": 1290 |
| }, |
| { |
| "epoch": 0.008666666666666666, |
| "grad_norm": 4.09375, |
| "learning_rate": 1.999780243758681e-05, |
| "loss": 0.3915, |
| "step": 1300 |
| }, |
| { |
| "epoch": 0.008733333333333333, |
| "grad_norm": 3.984375, |
| "learning_rate": 1.999775822379898e-05, |
| "loss": 0.4344, |
| "step": 1310 |
| }, |
| { |
| "epoch": 0.0088, |
| "grad_norm": 4.28125, |
| "learning_rate": 1.9997713569700925e-05, |
| "loss": 0.4657, |
| "step": 1320 |
| }, |
| { |
| "epoch": 0.008866666666666667, |
| "grad_norm": 5.46875, |
| "learning_rate": 1.9997668475294607e-05, |
| "loss": 0.4478, |
| "step": 1330 |
| }, |
| { |
| "epoch": 0.008933333333333333, |
| "grad_norm": 8.5625, |
| "learning_rate": 1.9997622940582017e-05, |
| "loss": 0.4775, |
| "step": 1340 |
| }, |
| { |
| "epoch": 0.009, |
| "grad_norm": 4.875, |
| "learning_rate": 1.9997576965565156e-05, |
| "loss": 0.4351, |
| "step": 1350 |
| }, |
| { |
| "epoch": 0.009066666666666667, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.999753055024605e-05, |
| "loss": 0.4188, |
| "step": 1360 |
| }, |
| { |
| "epoch": 0.009133333333333334, |
| "grad_norm": 2.765625, |
| "learning_rate": 1.9997483694626746e-05, |
| "loss": 0.4538, |
| "step": 1370 |
| }, |
| { |
| "epoch": 0.0092, |
| "grad_norm": 6.0625, |
| "learning_rate": 1.9997436398709302e-05, |
| "loss": 0.4215, |
| "step": 1380 |
| }, |
| { |
| "epoch": 0.009266666666666666, |
| "grad_norm": 5.5, |
| "learning_rate": 1.9997388662495805e-05, |
| "loss": 0.4401, |
| "step": 1390 |
| }, |
| { |
| "epoch": 0.009333333333333334, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.999734048598836e-05, |
| "loss": 0.493, |
| "step": 1400 |
| }, |
| { |
| "epoch": 0.0094, |
| "grad_norm": 5.375, |
| "learning_rate": 1.999729186918908e-05, |
| "loss": 0.4497, |
| "step": 1410 |
| }, |
| { |
| "epoch": 0.009466666666666667, |
| "grad_norm": 4.5, |
| "learning_rate": 1.9997242812100116e-05, |
| "loss": 0.4359, |
| "step": 1420 |
| }, |
| { |
| "epoch": 0.009533333333333333, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.999719331472362e-05, |
| "loss": 0.4722, |
| "step": 1430 |
| }, |
| { |
| "epoch": 0.0096, |
| "grad_norm": 4.28125, |
| "learning_rate": 1.9997143377061778e-05, |
| "loss": 0.4447, |
| "step": 1440 |
| }, |
| { |
| "epoch": 0.009666666666666667, |
| "grad_norm": 4.46875, |
| "learning_rate": 1.9997092999116788e-05, |
| "loss": 0.4293, |
| "step": 1450 |
| }, |
| { |
| "epoch": 0.009733333333333333, |
| "grad_norm": 6.125, |
| "learning_rate": 1.9997042180890865e-05, |
| "loss": 0.4453, |
| "step": 1460 |
| }, |
| { |
| "epoch": 0.0098, |
| "grad_norm": 6.09375, |
| "learning_rate": 1.9996990922386253e-05, |
| "loss": 0.4556, |
| "step": 1470 |
| }, |
| { |
| "epoch": 0.009866666666666666, |
| "grad_norm": 8.8125, |
| "learning_rate": 1.9996939223605204e-05, |
| "loss": 0.5062, |
| "step": 1480 |
| }, |
| { |
| "epoch": 0.009933333333333334, |
| "grad_norm": 5.53125, |
| "learning_rate": 1.999688708455e-05, |
| "loss": 0.4096, |
| "step": 1490 |
| }, |
| { |
| "epoch": 0.01, |
| "grad_norm": 2.375, |
| "learning_rate": 1.999683450522293e-05, |
| "loss": 0.4412, |
| "step": 1500 |
| }, |
| { |
| "epoch": 0.010066666666666666, |
| "grad_norm": 1.921875, |
| "learning_rate": 1.999678148562632e-05, |
| "loss": 0.4047, |
| "step": 1510 |
| }, |
| { |
| "epoch": 0.010133333333333333, |
| "grad_norm": 4.9375, |
| "learning_rate": 1.9996728025762495e-05, |
| "loss": 0.4525, |
| "step": 1520 |
| }, |
| { |
| "epoch": 0.0102, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.9996674125633814e-05, |
| "loss": 0.4113, |
| "step": 1530 |
| }, |
| { |
| "epoch": 0.010266666666666667, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.9996619785242652e-05, |
| "loss": 0.4322, |
| "step": 1540 |
| }, |
| { |
| "epoch": 0.010333333333333333, |
| "grad_norm": 5.40625, |
| "learning_rate": 1.9996565004591398e-05, |
| "loss": 0.4335, |
| "step": 1550 |
| }, |
| { |
| "epoch": 0.0104, |
| "grad_norm": 7.0, |
| "learning_rate": 1.999650978368247e-05, |
| "loss": 0.4106, |
| "step": 1560 |
| }, |
| { |
| "epoch": 0.010466666666666668, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.99964541225183e-05, |
| "loss": 0.4413, |
| "step": 1570 |
| }, |
| { |
| "epoch": 0.010533333333333334, |
| "grad_norm": 4.46875, |
| "learning_rate": 1.999639802110133e-05, |
| "loss": 0.4379, |
| "step": 1580 |
| }, |
| { |
| "epoch": 0.0106, |
| "grad_norm": 11.5, |
| "learning_rate": 1.999634147943404e-05, |
| "loss": 0.4387, |
| "step": 1590 |
| }, |
| { |
| "epoch": 0.010666666666666666, |
| "grad_norm": 10.0625, |
| "learning_rate": 1.999628449751892e-05, |
| "loss": 0.4736, |
| "step": 1600 |
| }, |
| { |
| "epoch": 0.010733333333333333, |
| "grad_norm": 9.6875, |
| "learning_rate": 1.9996227075358475e-05, |
| "loss": 0.4301, |
| "step": 1610 |
| }, |
| { |
| "epoch": 0.0108, |
| "grad_norm": 4.4375, |
| "learning_rate": 1.9996169212955232e-05, |
| "loss": 0.4393, |
| "step": 1620 |
| }, |
| { |
| "epoch": 0.010866666666666667, |
| "grad_norm": 2.65625, |
| "learning_rate": 1.9996110910311747e-05, |
| "loss": 0.4427, |
| "step": 1630 |
| }, |
| { |
| "epoch": 0.010933333333333333, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.9996052167430585e-05, |
| "loss": 0.4381, |
| "step": 1640 |
| }, |
| { |
| "epoch": 0.011, |
| "grad_norm": 4.71875, |
| "learning_rate": 1.999599298431433e-05, |
| "loss": 0.4488, |
| "step": 1650 |
| }, |
| { |
| "epoch": 0.011066666666666667, |
| "grad_norm": 5.53125, |
| "learning_rate": 1.999593336096559e-05, |
| "loss": 0.4238, |
| "step": 1660 |
| }, |
| { |
| "epoch": 0.011133333333333334, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.9995873297386995e-05, |
| "loss": 0.4707, |
| "step": 1670 |
| }, |
| { |
| "epoch": 0.0112, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.9995812793581183e-05, |
| "loss": 0.4238, |
| "step": 1680 |
| }, |
| { |
| "epoch": 0.011266666666666666, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.9995751849550822e-05, |
| "loss": 0.478, |
| "step": 1690 |
| }, |
| { |
| "epoch": 0.011333333333333334, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.9995690465298598e-05, |
| "loss": 0.4476, |
| "step": 1700 |
| }, |
| { |
| "epoch": 0.0114, |
| "grad_norm": 5.0, |
| "learning_rate": 1.999562864082721e-05, |
| "loss": 0.418, |
| "step": 1710 |
| }, |
| { |
| "epoch": 0.011466666666666667, |
| "grad_norm": 6.4375, |
| "learning_rate": 1.999556637613939e-05, |
| "loss": 0.4113, |
| "step": 1720 |
| }, |
| { |
| "epoch": 0.011533333333333333, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.999550367123787e-05, |
| "loss": 0.4528, |
| "step": 1730 |
| }, |
| { |
| "epoch": 0.0116, |
| "grad_norm": 6.0625, |
| "learning_rate": 1.9995440526125412e-05, |
| "loss": 0.4677, |
| "step": 1740 |
| }, |
| { |
| "epoch": 0.011666666666666667, |
| "grad_norm": 3.96875, |
| "learning_rate": 1.9995376940804806e-05, |
| "loss": 0.4606, |
| "step": 1750 |
| }, |
| { |
| "epoch": 0.011733333333333333, |
| "grad_norm": 5.46875, |
| "learning_rate": 1.999531291527884e-05, |
| "loss": 0.4393, |
| "step": 1760 |
| }, |
| { |
| "epoch": 0.0118, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.9995248449550346e-05, |
| "loss": 0.4392, |
| "step": 1770 |
| }, |
| { |
| "epoch": 0.011866666666666666, |
| "grad_norm": 4.3125, |
| "learning_rate": 1.9995183543622156e-05, |
| "loss": 0.4587, |
| "step": 1780 |
| }, |
| { |
| "epoch": 0.011933333333333334, |
| "grad_norm": 4.0625, |
| "learning_rate": 1.9995118197497126e-05, |
| "loss": 0.4077, |
| "step": 1790 |
| }, |
| { |
| "epoch": 0.012, |
| "grad_norm": 4.875, |
| "learning_rate": 1.999505241117814e-05, |
| "loss": 0.4145, |
| "step": 1800 |
| }, |
| { |
| "epoch": 0.012066666666666667, |
| "grad_norm": 6.875, |
| "learning_rate": 1.9994986184668096e-05, |
| "loss": 0.4507, |
| "step": 1810 |
| }, |
| { |
| "epoch": 0.012133333333333333, |
| "grad_norm": 6.625, |
| "learning_rate": 1.9994919517969906e-05, |
| "loss": 0.4328, |
| "step": 1820 |
| }, |
| { |
| "epoch": 0.0122, |
| "grad_norm": 6.21875, |
| "learning_rate": 1.999485241108651e-05, |
| "loss": 0.3966, |
| "step": 1830 |
| }, |
| { |
| "epoch": 0.012266666666666667, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.9994784864020857e-05, |
| "loss": 0.3812, |
| "step": 1840 |
| }, |
| { |
| "epoch": 0.012333333333333333, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.999471687677593e-05, |
| "loss": 0.4478, |
| "step": 1850 |
| }, |
| { |
| "epoch": 0.0124, |
| "grad_norm": 5.34375, |
| "learning_rate": 1.9994648449354717e-05, |
| "loss": 0.4281, |
| "step": 1860 |
| }, |
| { |
| "epoch": 0.012466666666666666, |
| "grad_norm": 4.8125, |
| "learning_rate": 1.9994579581760235e-05, |
| "loss": 0.4332, |
| "step": 1870 |
| }, |
| { |
| "epoch": 0.012533333333333334, |
| "grad_norm": 4.46875, |
| "learning_rate": 1.9994510273995518e-05, |
| "loss": 0.439, |
| "step": 1880 |
| }, |
| { |
| "epoch": 0.0126, |
| "grad_norm": 5.9375, |
| "learning_rate": 1.999444052606361e-05, |
| "loss": 0.4544, |
| "step": 1890 |
| }, |
| { |
| "epoch": 0.012666666666666666, |
| "grad_norm": 6.09375, |
| "learning_rate": 1.9994370337967597e-05, |
| "loss": 0.4633, |
| "step": 1900 |
| }, |
| { |
| "epoch": 0.012733333333333333, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.999429970971056e-05, |
| "loss": 0.4088, |
| "step": 1910 |
| }, |
| { |
| "epoch": 0.0128, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.999422864129561e-05, |
| "loss": 0.4633, |
| "step": 1920 |
| }, |
| { |
| "epoch": 0.012866666666666667, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.9994157132725877e-05, |
| "loss": 0.4628, |
| "step": 1930 |
| }, |
| { |
| "epoch": 0.012933333333333333, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9994085184004516e-05, |
| "loss": 0.4375, |
| "step": 1940 |
| }, |
| { |
| "epoch": 0.013, |
| "grad_norm": 5.46875, |
| "learning_rate": 1.999401279513469e-05, |
| "loss": 0.4637, |
| "step": 1950 |
| }, |
| { |
| "epoch": 0.013066666666666667, |
| "grad_norm": 4.625, |
| "learning_rate": 1.9993939966119588e-05, |
| "loss": 0.4509, |
| "step": 1960 |
| }, |
| { |
| "epoch": 0.013133333333333334, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.999386669696242e-05, |
| "loss": 0.3891, |
| "step": 1970 |
| }, |
| { |
| "epoch": 0.0132, |
| "grad_norm": 5.65625, |
| "learning_rate": 1.9993792987666413e-05, |
| "loss": 0.4187, |
| "step": 1980 |
| }, |
| { |
| "epoch": 0.013266666666666666, |
| "grad_norm": 6.84375, |
| "learning_rate": 1.9993718838234806e-05, |
| "loss": 0.4513, |
| "step": 1990 |
| }, |
| { |
| "epoch": 0.013333333333333334, |
| "grad_norm": 4.53125, |
| "learning_rate": 1.9993644248670874e-05, |
| "loss": 0.427, |
| "step": 2000 |
| }, |
| { |
| "epoch": 0.0134, |
| "grad_norm": 4.59375, |
| "learning_rate": 1.9993569218977895e-05, |
| "loss": 0.4348, |
| "step": 2010 |
| }, |
| { |
| "epoch": 0.013466666666666667, |
| "grad_norm": 5.0, |
| "learning_rate": 1.9993493749159176e-05, |
| "loss": 0.4134, |
| "step": 2020 |
| }, |
| { |
| "epoch": 0.013533333333333333, |
| "grad_norm": 5.6875, |
| "learning_rate": 1.9993417839218042e-05, |
| "loss": 0.4469, |
| "step": 2030 |
| }, |
| { |
| "epoch": 0.0136, |
| "grad_norm": 6.21875, |
| "learning_rate": 1.9993341489157837e-05, |
| "loss": 0.4303, |
| "step": 2040 |
| }, |
| { |
| "epoch": 0.013666666666666667, |
| "grad_norm": 5.28125, |
| "learning_rate": 1.9993264698981924e-05, |
| "loss": 0.3944, |
| "step": 2050 |
| }, |
| { |
| "epoch": 0.013733333333333334, |
| "grad_norm": 5.0, |
| "learning_rate": 1.9993187468693675e-05, |
| "loss": 0.4015, |
| "step": 2060 |
| }, |
| { |
| "epoch": 0.0138, |
| "grad_norm": 4.5625, |
| "learning_rate": 1.9993109798296502e-05, |
| "loss": 0.4423, |
| "step": 2070 |
| }, |
| { |
| "epoch": 0.013866666666666666, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.9993031687793828e-05, |
| "loss": 0.4692, |
| "step": 2080 |
| }, |
| { |
| "epoch": 0.013933333333333334, |
| "grad_norm": 4.625, |
| "learning_rate": 1.9992953137189083e-05, |
| "loss": 0.4413, |
| "step": 2090 |
| }, |
| { |
| "epoch": 0.014, |
| "grad_norm": 4.59375, |
| "learning_rate": 1.999287414648573e-05, |
| "loss": 0.4138, |
| "step": 2100 |
| }, |
| { |
| "epoch": 0.014066666666666667, |
| "grad_norm": 7.625, |
| "learning_rate": 1.999279471568725e-05, |
| "loss": 0.4869, |
| "step": 2110 |
| }, |
| { |
| "epoch": 0.014133333333333333, |
| "grad_norm": 6.21875, |
| "learning_rate": 1.999271484479714e-05, |
| "loss": 0.4106, |
| "step": 2120 |
| }, |
| { |
| "epoch": 0.0142, |
| "grad_norm": 5.375, |
| "learning_rate": 1.999263453381892e-05, |
| "loss": 0.3893, |
| "step": 2130 |
| }, |
| { |
| "epoch": 0.014266666666666667, |
| "grad_norm": 4.90625, |
| "learning_rate": 1.999255378275612e-05, |
| "loss": 0.4348, |
| "step": 2140 |
| }, |
| { |
| "epoch": 0.014333333333333333, |
| "grad_norm": 5.375, |
| "learning_rate": 1.9992472591612306e-05, |
| "loss": 0.4558, |
| "step": 2150 |
| }, |
| { |
| "epoch": 0.0144, |
| "grad_norm": 6.0625, |
| "learning_rate": 1.9992390960391046e-05, |
| "loss": 0.4327, |
| "step": 2160 |
| }, |
| { |
| "epoch": 0.014466666666666666, |
| "grad_norm": 6.5625, |
| "learning_rate": 1.999230888909594e-05, |
| "loss": 0.4611, |
| "step": 2170 |
| }, |
| { |
| "epoch": 0.014533333333333334, |
| "grad_norm": 2.671875, |
| "learning_rate": 1.9992226377730598e-05, |
| "loss": 0.3917, |
| "step": 2180 |
| }, |
| { |
| "epoch": 0.0146, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.9992143426298657e-05, |
| "loss": 0.4574, |
| "step": 2190 |
| }, |
| { |
| "epoch": 0.014666666666666666, |
| "grad_norm": 8.0, |
| "learning_rate": 1.999206003480377e-05, |
| "loss": 0.4064, |
| "step": 2200 |
| }, |
| { |
| "epoch": 0.014733333333333333, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.9991976203249607e-05, |
| "loss": 0.4147, |
| "step": 2210 |
| }, |
| { |
| "epoch": 0.0148, |
| "grad_norm": 8.125, |
| "learning_rate": 1.9991891931639863e-05, |
| "loss": 0.4491, |
| "step": 2220 |
| }, |
| { |
| "epoch": 0.014866666666666667, |
| "grad_norm": 7.34375, |
| "learning_rate": 1.9991807219978247e-05, |
| "loss": 0.4763, |
| "step": 2230 |
| }, |
| { |
| "epoch": 0.014933333333333333, |
| "grad_norm": 5.71875, |
| "learning_rate": 1.9991722068268495e-05, |
| "loss": 0.4469, |
| "step": 2240 |
| }, |
| { |
| "epoch": 0.015, |
| "grad_norm": 7.375, |
| "learning_rate": 1.999163647651435e-05, |
| "loss": 0.4554, |
| "step": 2250 |
| }, |
| { |
| "epoch": 0.015066666666666667, |
| "grad_norm": 5.53125, |
| "learning_rate": 1.999155044471959e-05, |
| "loss": 0.4186, |
| "step": 2260 |
| }, |
| { |
| "epoch": 0.015133333333333334, |
| "grad_norm": 5.5625, |
| "learning_rate": 1.9991463972887995e-05, |
| "loss": 0.4131, |
| "step": 2270 |
| }, |
| { |
| "epoch": 0.0152, |
| "grad_norm": 4.46875, |
| "learning_rate": 1.9991377061023378e-05, |
| "loss": 0.4552, |
| "step": 2280 |
| }, |
| { |
| "epoch": 0.015266666666666666, |
| "grad_norm": 5.125, |
| "learning_rate": 1.9991289709129566e-05, |
| "loss": 0.4836, |
| "step": 2290 |
| }, |
| { |
| "epoch": 0.015333333333333332, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.9991201917210405e-05, |
| "loss": 0.4291, |
| "step": 2300 |
| }, |
| { |
| "epoch": 0.0154, |
| "grad_norm": 4.3125, |
| "learning_rate": 1.9991113685269764e-05, |
| "loss": 0.4194, |
| "step": 2310 |
| }, |
| { |
| "epoch": 0.015466666666666667, |
| "grad_norm": 5.40625, |
| "learning_rate": 1.9991025013311523e-05, |
| "loss": 0.4703, |
| "step": 2320 |
| }, |
| { |
| "epoch": 0.015533333333333333, |
| "grad_norm": 5.46875, |
| "learning_rate": 1.99909359013396e-05, |
| "loss": 0.4126, |
| "step": 2330 |
| }, |
| { |
| "epoch": 0.0156, |
| "grad_norm": 5.0, |
| "learning_rate": 1.9990846349357903e-05, |
| "loss": 0.4575, |
| "step": 2340 |
| }, |
| { |
| "epoch": 0.015666666666666666, |
| "grad_norm": 5.75, |
| "learning_rate": 1.9990756357370388e-05, |
| "loss": 0.4484, |
| "step": 2350 |
| }, |
| { |
| "epoch": 0.015733333333333332, |
| "grad_norm": 2.4375, |
| "learning_rate": 1.999066592538101e-05, |
| "loss": 0.4387, |
| "step": 2360 |
| }, |
| { |
| "epoch": 0.0158, |
| "grad_norm": 5.125, |
| "learning_rate": 1.9990575053393758e-05, |
| "loss": 0.5309, |
| "step": 2370 |
| }, |
| { |
| "epoch": 0.015866666666666668, |
| "grad_norm": 4.71875, |
| "learning_rate": 1.9990483741412633e-05, |
| "loss": 0.4065, |
| "step": 2380 |
| }, |
| { |
| "epoch": 0.015933333333333334, |
| "grad_norm": 4.0625, |
| "learning_rate": 1.9990391989441655e-05, |
| "loss": 0.4493, |
| "step": 2390 |
| }, |
| { |
| "epoch": 0.016, |
| "grad_norm": 4.25, |
| "learning_rate": 1.9990299797484865e-05, |
| "loss": 0.4479, |
| "step": 2400 |
| }, |
| { |
| "epoch": 0.016066666666666667, |
| "grad_norm": 2.25, |
| "learning_rate": 1.9990207165546324e-05, |
| "loss": 0.4163, |
| "step": 2410 |
| }, |
| { |
| "epoch": 0.016133333333333333, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.9990114093630112e-05, |
| "loss": 0.4495, |
| "step": 2420 |
| }, |
| { |
| "epoch": 0.0162, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.999002058174033e-05, |
| "loss": 0.4505, |
| "step": 2430 |
| }, |
| { |
| "epoch": 0.016266666666666665, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.9989926629881087e-05, |
| "loss": 0.4333, |
| "step": 2440 |
| }, |
| { |
| "epoch": 0.01633333333333333, |
| "grad_norm": 6.8125, |
| "learning_rate": 1.998983223805653e-05, |
| "loss": 0.4792, |
| "step": 2450 |
| }, |
| { |
| "epoch": 0.0164, |
| "grad_norm": 4.4375, |
| "learning_rate": 1.9989737406270812e-05, |
| "loss": 0.4926, |
| "step": 2460 |
| }, |
| { |
| "epoch": 0.016466666666666668, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.998964213452811e-05, |
| "loss": 0.3976, |
| "step": 2470 |
| }, |
| { |
| "epoch": 0.016533333333333334, |
| "grad_norm": 4.90625, |
| "learning_rate": 1.9989546422832625e-05, |
| "loss": 0.4582, |
| "step": 2480 |
| }, |
| { |
| "epoch": 0.0166, |
| "grad_norm": 5.28125, |
| "learning_rate": 1.9989450271188568e-05, |
| "loss": 0.5292, |
| "step": 2490 |
| }, |
| { |
| "epoch": 0.016666666666666666, |
| "grad_norm": 4.5, |
| "learning_rate": 1.998935367960017e-05, |
| "loss": 0.391, |
| "step": 2500 |
| }, |
| { |
| "epoch": 0.016733333333333333, |
| "grad_norm": 4.8125, |
| "learning_rate": 1.998925664807169e-05, |
| "loss": 0.4215, |
| "step": 2510 |
| }, |
| { |
| "epoch": 0.0168, |
| "grad_norm": 4.5, |
| "learning_rate": 1.9989159176607396e-05, |
| "loss": 0.3911, |
| "step": 2520 |
| }, |
| { |
| "epoch": 0.016866666666666665, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.9989061265211587e-05, |
| "loss": 0.4937, |
| "step": 2530 |
| }, |
| { |
| "epoch": 0.016933333333333335, |
| "grad_norm": 5.46875, |
| "learning_rate": 1.9988962913888574e-05, |
| "loss": 0.4464, |
| "step": 2540 |
| }, |
| { |
| "epoch": 0.017, |
| "grad_norm": 4.9375, |
| "learning_rate": 1.9988864122642682e-05, |
| "loss": 0.3856, |
| "step": 2550 |
| }, |
| { |
| "epoch": 0.017066666666666667, |
| "grad_norm": 5.78125, |
| "learning_rate": 1.9988764891478273e-05, |
| "loss": 0.4265, |
| "step": 2560 |
| }, |
| { |
| "epoch": 0.017133333333333334, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.998866522039971e-05, |
| "loss": 0.4603, |
| "step": 2570 |
| }, |
| { |
| "epoch": 0.0172, |
| "grad_norm": 7.3125, |
| "learning_rate": 1.9988565109411383e-05, |
| "loss": 0.4252, |
| "step": 2580 |
| }, |
| { |
| "epoch": 0.017266666666666666, |
| "grad_norm": 5.65625, |
| "learning_rate": 1.99884645585177e-05, |
| "loss": 0.4559, |
| "step": 2590 |
| }, |
| { |
| "epoch": 0.017333333333333333, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.9988363567723096e-05, |
| "loss": 0.4391, |
| "step": 2600 |
| }, |
| { |
| "epoch": 0.0174, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.998826213703201e-05, |
| "loss": 0.4386, |
| "step": 2610 |
| }, |
| { |
| "epoch": 0.017466666666666665, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.998816026644891e-05, |
| "loss": 0.4304, |
| "step": 2620 |
| }, |
| { |
| "epoch": 0.017533333333333335, |
| "grad_norm": 4.71875, |
| "learning_rate": 1.998805795597829e-05, |
| "loss": 0.4511, |
| "step": 2630 |
| }, |
| { |
| "epoch": 0.0176, |
| "grad_norm": 5.46875, |
| "learning_rate": 1.998795520562465e-05, |
| "loss": 0.4948, |
| "step": 2640 |
| }, |
| { |
| "epoch": 0.017666666666666667, |
| "grad_norm": 1.1484375, |
| "learning_rate": 1.998785201539252e-05, |
| "loss": 0.4396, |
| "step": 2650 |
| }, |
| { |
| "epoch": 0.017733333333333334, |
| "grad_norm": 4.40625, |
| "learning_rate": 1.9987748385286437e-05, |
| "loss": 0.4101, |
| "step": 2660 |
| }, |
| { |
| "epoch": 0.0178, |
| "grad_norm": 7.625, |
| "learning_rate": 1.9987644315310968e-05, |
| "loss": 0.3816, |
| "step": 2670 |
| }, |
| { |
| "epoch": 0.017866666666666666, |
| "grad_norm": 6.09375, |
| "learning_rate": 1.9987539805470702e-05, |
| "loss": 0.4639, |
| "step": 2680 |
| }, |
| { |
| "epoch": 0.017933333333333332, |
| "grad_norm": 4.25, |
| "learning_rate": 1.9987434855770235e-05, |
| "loss": 0.4413, |
| "step": 2690 |
| }, |
| { |
| "epoch": 0.018, |
| "grad_norm": 5.34375, |
| "learning_rate": 1.998732946621419e-05, |
| "loss": 0.4075, |
| "step": 2700 |
| }, |
| { |
| "epoch": 0.01806666666666667, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.9987223636807207e-05, |
| "loss": 0.4466, |
| "step": 2710 |
| }, |
| { |
| "epoch": 0.018133333333333335, |
| "grad_norm": 5.0, |
| "learning_rate": 1.9987117367553952e-05, |
| "loss": 0.4315, |
| "step": 2720 |
| }, |
| { |
| "epoch": 0.0182, |
| "grad_norm": 6.28125, |
| "learning_rate": 1.9987010658459104e-05, |
| "loss": 0.4293, |
| "step": 2730 |
| }, |
| { |
| "epoch": 0.018266666666666667, |
| "grad_norm": 6.03125, |
| "learning_rate": 1.998690350952736e-05, |
| "loss": 0.4085, |
| "step": 2740 |
| }, |
| { |
| "epoch": 0.018333333333333333, |
| "grad_norm": 4.46875, |
| "learning_rate": 1.9986795920763438e-05, |
| "loss": 0.3814, |
| "step": 2750 |
| }, |
| { |
| "epoch": 0.0184, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9986687892172082e-05, |
| "loss": 0.4117, |
| "step": 2760 |
| }, |
| { |
| "epoch": 0.018466666666666666, |
| "grad_norm": 6.3125, |
| "learning_rate": 1.9986579423758043e-05, |
| "loss": 0.4284, |
| "step": 2770 |
| }, |
| { |
| "epoch": 0.018533333333333332, |
| "grad_norm": 5.25, |
| "learning_rate": 1.9986470515526106e-05, |
| "loss": 0.4303, |
| "step": 2780 |
| }, |
| { |
| "epoch": 0.0186, |
| "grad_norm": 4.21875, |
| "learning_rate": 1.9986361167481055e-05, |
| "loss": 0.4362, |
| "step": 2790 |
| }, |
| { |
| "epoch": 0.018666666666666668, |
| "grad_norm": 4.90625, |
| "learning_rate": 1.998625137962772e-05, |
| "loss": 0.4241, |
| "step": 2800 |
| }, |
| { |
| "epoch": 0.018733333333333334, |
| "grad_norm": 5.28125, |
| "learning_rate": 1.9986141151970928e-05, |
| "loss": 0.4931, |
| "step": 2810 |
| }, |
| { |
| "epoch": 0.0188, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9986030484515535e-05, |
| "loss": 0.4396, |
| "step": 2820 |
| }, |
| { |
| "epoch": 0.018866666666666667, |
| "grad_norm": 4.5625, |
| "learning_rate": 1.998591937726641e-05, |
| "loss": 0.3608, |
| "step": 2830 |
| }, |
| { |
| "epoch": 0.018933333333333333, |
| "grad_norm": 4.875, |
| "learning_rate": 1.9985807830228457e-05, |
| "loss": 0.4174, |
| "step": 2840 |
| }, |
| { |
| "epoch": 0.019, |
| "grad_norm": 11.125, |
| "learning_rate": 1.998569584340658e-05, |
| "loss": 0.4618, |
| "step": 2850 |
| }, |
| { |
| "epoch": 0.019066666666666666, |
| "grad_norm": 5.875, |
| "learning_rate": 1.9985583416805717e-05, |
| "loss": 0.3587, |
| "step": 2860 |
| }, |
| { |
| "epoch": 0.019133333333333332, |
| "grad_norm": 5.8125, |
| "learning_rate": 1.9985470550430813e-05, |
| "loss": 0.4353, |
| "step": 2870 |
| }, |
| { |
| "epoch": 0.0192, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9985357244286842e-05, |
| "loss": 0.4251, |
| "step": 2880 |
| }, |
| { |
| "epoch": 0.019266666666666668, |
| "grad_norm": 6.40625, |
| "learning_rate": 1.9985243498378795e-05, |
| "loss": 0.4807, |
| "step": 2890 |
| }, |
| { |
| "epoch": 0.019333333333333334, |
| "grad_norm": 7.9375, |
| "learning_rate": 1.998512931271168e-05, |
| "loss": 0.4034, |
| "step": 2900 |
| }, |
| { |
| "epoch": 0.0194, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.9985014687290527e-05, |
| "loss": 0.4647, |
| "step": 2910 |
| }, |
| { |
| "epoch": 0.019466666666666667, |
| "grad_norm": 8.875, |
| "learning_rate": 1.9984899622120383e-05, |
| "loss": 0.4587, |
| "step": 2920 |
| }, |
| { |
| "epoch": 0.019533333333333333, |
| "grad_norm": 5.125, |
| "learning_rate": 1.9984784117206316e-05, |
| "loss": 0.4097, |
| "step": 2930 |
| }, |
| { |
| "epoch": 0.0196, |
| "grad_norm": 9.0, |
| "learning_rate": 1.9984668172553413e-05, |
| "loss": 0.4532, |
| "step": 2940 |
| }, |
| { |
| "epoch": 0.019666666666666666, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.998455178816678e-05, |
| "loss": 0.4124, |
| "step": 2950 |
| }, |
| { |
| "epoch": 0.019733333333333332, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.9984434964051546e-05, |
| "loss": 0.4123, |
| "step": 2960 |
| }, |
| { |
| "epoch": 0.0198, |
| "grad_norm": 5.75, |
| "learning_rate": 1.9984317700212848e-05, |
| "loss": 0.4221, |
| "step": 2970 |
| }, |
| { |
| "epoch": 0.019866666666666668, |
| "grad_norm": 3.4375, |
| "learning_rate": 1.9984199996655857e-05, |
| "loss": 0.389, |
| "step": 2980 |
| }, |
| { |
| "epoch": 0.019933333333333334, |
| "grad_norm": 6.1875, |
| "learning_rate": 1.9984081853385757e-05, |
| "loss": 0.437, |
| "step": 2990 |
| }, |
| { |
| "epoch": 0.02, |
| "grad_norm": 5.46875, |
| "learning_rate": 1.9983963270407746e-05, |
| "loss": 0.4321, |
| "step": 3000 |
| }, |
| { |
| "epoch": 0.020066666666666667, |
| "grad_norm": 5.5, |
| "learning_rate": 1.9983844247727054e-05, |
| "loss": 0.3849, |
| "step": 3010 |
| }, |
| { |
| "epoch": 0.020133333333333333, |
| "grad_norm": 9.25, |
| "learning_rate": 1.9983724785348917e-05, |
| "loss": 0.4401, |
| "step": 3020 |
| }, |
| { |
| "epoch": 0.0202, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.99836048832786e-05, |
| "loss": 0.461, |
| "step": 3030 |
| }, |
| { |
| "epoch": 0.020266666666666665, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.998348454152138e-05, |
| "loss": 0.4511, |
| "step": 3040 |
| }, |
| { |
| "epoch": 0.02033333333333333, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.9983363760082557e-05, |
| "loss": 0.4525, |
| "step": 3050 |
| }, |
| { |
| "epoch": 0.0204, |
| "grad_norm": 5.125, |
| "learning_rate": 1.9983242538967454e-05, |
| "loss": 0.4087, |
| "step": 3060 |
| }, |
| { |
| "epoch": 0.020466666666666668, |
| "grad_norm": 6.03125, |
| "learning_rate": 1.9983120878181405e-05, |
| "loss": 0.4612, |
| "step": 3070 |
| }, |
| { |
| "epoch": 0.020533333333333334, |
| "grad_norm": 4.8125, |
| "learning_rate": 1.9982998777729775e-05, |
| "loss": 0.4444, |
| "step": 3080 |
| }, |
| { |
| "epoch": 0.0206, |
| "grad_norm": 6.28125, |
| "learning_rate": 1.998287623761793e-05, |
| "loss": 0.4417, |
| "step": 3090 |
| }, |
| { |
| "epoch": 0.020666666666666667, |
| "grad_norm": 5.375, |
| "learning_rate": 1.998275325785128e-05, |
| "loss": 0.3898, |
| "step": 3100 |
| }, |
| { |
| "epoch": 0.020733333333333333, |
| "grad_norm": 4.09375, |
| "learning_rate": 1.998262983843523e-05, |
| "loss": 0.441, |
| "step": 3110 |
| }, |
| { |
| "epoch": 0.0208, |
| "grad_norm": 5.5, |
| "learning_rate": 1.9982505979375226e-05, |
| "loss": 0.4243, |
| "step": 3120 |
| }, |
| { |
| "epoch": 0.020866666666666665, |
| "grad_norm": 5.59375, |
| "learning_rate": 1.998238168067671e-05, |
| "loss": 0.4003, |
| "step": 3130 |
| }, |
| { |
| "epoch": 0.020933333333333335, |
| "grad_norm": 5.6875, |
| "learning_rate": 1.9982256942345174e-05, |
| "loss": 0.4108, |
| "step": 3140 |
| }, |
| { |
| "epoch": 0.021, |
| "grad_norm": 5.40625, |
| "learning_rate": 1.9982131764386094e-05, |
| "loss": 0.4191, |
| "step": 3150 |
| }, |
| { |
| "epoch": 0.021066666666666668, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.9982006146804988e-05, |
| "loss": 0.4361, |
| "step": 3160 |
| }, |
| { |
| "epoch": 0.021133333333333334, |
| "grad_norm": 3.875, |
| "learning_rate": 1.9981880089607396e-05, |
| "loss": 0.4147, |
| "step": 3170 |
| }, |
| { |
| "epoch": 0.0212, |
| "grad_norm": 6.71875, |
| "learning_rate": 1.998175359279886e-05, |
| "loss": 0.4381, |
| "step": 3180 |
| }, |
| { |
| "epoch": 0.021266666666666666, |
| "grad_norm": 5.75, |
| "learning_rate": 1.9981626656384957e-05, |
| "loss": 0.4007, |
| "step": 3190 |
| }, |
| { |
| "epoch": 0.021333333333333333, |
| "grad_norm": 4.53125, |
| "learning_rate": 1.9981499280371276e-05, |
| "loss": 0.4562, |
| "step": 3200 |
| }, |
| { |
| "epoch": 0.0214, |
| "grad_norm": 4.625, |
| "learning_rate": 1.9981371464763423e-05, |
| "loss": 0.4021, |
| "step": 3210 |
| }, |
| { |
| "epoch": 0.021466666666666665, |
| "grad_norm": 4.875, |
| "learning_rate": 1.9981243209567032e-05, |
| "loss": 0.415, |
| "step": 3220 |
| }, |
| { |
| "epoch": 0.021533333333333335, |
| "grad_norm": 5.46875, |
| "learning_rate": 1.9981114514787752e-05, |
| "loss": 0.3879, |
| "step": 3230 |
| }, |
| { |
| "epoch": 0.0216, |
| "grad_norm": 5.46875, |
| "learning_rate": 1.9980985380431244e-05, |
| "loss": 0.4044, |
| "step": 3240 |
| }, |
| { |
| "epoch": 0.021666666666666667, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.9980855806503204e-05, |
| "loss": 0.432, |
| "step": 3250 |
| }, |
| { |
| "epoch": 0.021733333333333334, |
| "grad_norm": 5.875, |
| "learning_rate": 1.9980725793009333e-05, |
| "loss": 0.4527, |
| "step": 3260 |
| }, |
| { |
| "epoch": 0.0218, |
| "grad_norm": 6.46875, |
| "learning_rate": 1.9980595339955358e-05, |
| "loss": 0.4214, |
| "step": 3270 |
| }, |
| { |
| "epoch": 0.021866666666666666, |
| "grad_norm": 2.03125, |
| "learning_rate": 1.9980464447347025e-05, |
| "loss": 0.406, |
| "step": 3280 |
| }, |
| { |
| "epoch": 0.021933333333333332, |
| "grad_norm": 5.4375, |
| "learning_rate": 1.9980333115190097e-05, |
| "loss": 0.4478, |
| "step": 3290 |
| }, |
| { |
| "epoch": 0.022, |
| "grad_norm": 5.8125, |
| "learning_rate": 1.998020134349036e-05, |
| "loss": 0.401, |
| "step": 3300 |
| }, |
| { |
| "epoch": 0.022066666666666665, |
| "grad_norm": 3.84375, |
| "learning_rate": 1.9980069132253618e-05, |
| "loss": 0.4573, |
| "step": 3310 |
| }, |
| { |
| "epoch": 0.022133333333333335, |
| "grad_norm": 4.59375, |
| "learning_rate": 1.9979936481485687e-05, |
| "loss": 0.4483, |
| "step": 3320 |
| }, |
| { |
| "epoch": 0.0222, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.997980339119242e-05, |
| "loss": 0.3932, |
| "step": 3330 |
| }, |
| { |
| "epoch": 0.022266666666666667, |
| "grad_norm": 5.75, |
| "learning_rate": 1.997966986137967e-05, |
| "loss": 0.4053, |
| "step": 3340 |
| }, |
| { |
| "epoch": 0.022333333333333334, |
| "grad_norm": 4.4375, |
| "learning_rate": 1.997953589205332e-05, |
| "loss": 0.4519, |
| "step": 3350 |
| }, |
| { |
| "epoch": 0.0224, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.9979401483219272e-05, |
| "loss": 0.415, |
| "step": 3360 |
| }, |
| { |
| "epoch": 0.022466666666666666, |
| "grad_norm": 5.8125, |
| "learning_rate": 1.9979266634883446e-05, |
| "loss": 0.4244, |
| "step": 3370 |
| }, |
| { |
| "epoch": 0.022533333333333332, |
| "grad_norm": 6.15625, |
| "learning_rate": 1.9979131347051775e-05, |
| "loss": 0.4361, |
| "step": 3380 |
| }, |
| { |
| "epoch": 0.0226, |
| "grad_norm": 5.34375, |
| "learning_rate": 1.9978995619730225e-05, |
| "loss": 0.4393, |
| "step": 3390 |
| }, |
| { |
| "epoch": 0.02266666666666667, |
| "grad_norm": 6.59375, |
| "learning_rate": 1.9978859452924767e-05, |
| "loss": 0.4522, |
| "step": 3400 |
| }, |
| { |
| "epoch": 0.022733333333333335, |
| "grad_norm": 5.28125, |
| "learning_rate": 1.9978722846641397e-05, |
| "loss": 0.4754, |
| "step": 3410 |
| }, |
| { |
| "epoch": 0.0228, |
| "grad_norm": 5.96875, |
| "learning_rate": 1.9978585800886143e-05, |
| "loss": 0.4367, |
| "step": 3420 |
| }, |
| { |
| "epoch": 0.022866666666666667, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9978448315665025e-05, |
| "loss": 0.4351, |
| "step": 3430 |
| }, |
| { |
| "epoch": 0.022933333333333333, |
| "grad_norm": 5.71875, |
| "learning_rate": 1.997831039098411e-05, |
| "loss": 0.4219, |
| "step": 3440 |
| }, |
| { |
| "epoch": 0.023, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.9978172026849465e-05, |
| "loss": 0.4386, |
| "step": 3450 |
| }, |
| { |
| "epoch": 0.023066666666666666, |
| "grad_norm": 4.25, |
| "learning_rate": 1.9978033223267186e-05, |
| "loss": 0.4445, |
| "step": 3460 |
| }, |
| { |
| "epoch": 0.023133333333333332, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.997789398024339e-05, |
| "loss": 0.427, |
| "step": 3470 |
| }, |
| { |
| "epoch": 0.0232, |
| "grad_norm": 6.84375, |
| "learning_rate": 1.9977754297784205e-05, |
| "loss": 0.4307, |
| "step": 3480 |
| }, |
| { |
| "epoch": 0.023266666666666668, |
| "grad_norm": 3.96875, |
| "learning_rate": 1.997761417589578e-05, |
| "loss": 0.4265, |
| "step": 3490 |
| }, |
| { |
| "epoch": 0.023333333333333334, |
| "grad_norm": 6.09375, |
| "learning_rate": 1.9977473614584293e-05, |
| "loss": 0.489, |
| "step": 3500 |
| }, |
| { |
| "epoch": 0.0234, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.997733261385593e-05, |
| "loss": 0.4466, |
| "step": 3510 |
| }, |
| { |
| "epoch": 0.023466666666666667, |
| "grad_norm": 7.375, |
| "learning_rate": 1.9977191173716904e-05, |
| "loss": 0.442, |
| "step": 3520 |
| }, |
| { |
| "epoch": 0.023533333333333333, |
| "grad_norm": 5.5625, |
| "learning_rate": 1.9977049294173437e-05, |
| "loss": 0.4192, |
| "step": 3530 |
| }, |
| { |
| "epoch": 0.0236, |
| "grad_norm": 6.71875, |
| "learning_rate": 1.9976906975231785e-05, |
| "loss": 0.4412, |
| "step": 3540 |
| }, |
| { |
| "epoch": 0.023666666666666666, |
| "grad_norm": 6.0, |
| "learning_rate": 1.9976764216898215e-05, |
| "loss": 0.4163, |
| "step": 3550 |
| }, |
| { |
| "epoch": 0.023733333333333332, |
| "grad_norm": 6.90625, |
| "learning_rate": 1.9976621019179013e-05, |
| "loss": 0.4323, |
| "step": 3560 |
| }, |
| { |
| "epoch": 0.0238, |
| "grad_norm": 5.96875, |
| "learning_rate": 1.9976477382080484e-05, |
| "loss": 0.4114, |
| "step": 3570 |
| }, |
| { |
| "epoch": 0.023866666666666668, |
| "grad_norm": 5.59375, |
| "learning_rate": 1.9976333305608956e-05, |
| "loss": 0.4455, |
| "step": 3580 |
| }, |
| { |
| "epoch": 0.023933333333333334, |
| "grad_norm": 5.65625, |
| "learning_rate": 1.9976188789770773e-05, |
| "loss": 0.4315, |
| "step": 3590 |
| }, |
| { |
| "epoch": 0.024, |
| "grad_norm": 5.28125, |
| "learning_rate": 1.9976043834572297e-05, |
| "loss": 0.3824, |
| "step": 3600 |
| }, |
| { |
| "epoch": 0.024066666666666667, |
| "grad_norm": 2.71875, |
| "learning_rate": 1.997589844001992e-05, |
| "loss": 0.4076, |
| "step": 3610 |
| }, |
| { |
| "epoch": 0.024133333333333333, |
| "grad_norm": 5.25, |
| "learning_rate": 1.9975752606120034e-05, |
| "loss": 0.5039, |
| "step": 3620 |
| }, |
| { |
| "epoch": 0.0242, |
| "grad_norm": 9.0625, |
| "learning_rate": 1.997560633287907e-05, |
| "loss": 0.4289, |
| "step": 3630 |
| }, |
| { |
| "epoch": 0.024266666666666666, |
| "grad_norm": 6.1875, |
| "learning_rate": 1.997545962030347e-05, |
| "loss": 0.4056, |
| "step": 3640 |
| }, |
| { |
| "epoch": 0.024333333333333332, |
| "grad_norm": 4.96875, |
| "learning_rate": 1.9975312468399694e-05, |
| "loss": 0.4314, |
| "step": 3650 |
| }, |
| { |
| "epoch": 0.0244, |
| "grad_norm": 5.8125, |
| "learning_rate": 1.997516487717422e-05, |
| "loss": 0.4121, |
| "step": 3660 |
| }, |
| { |
| "epoch": 0.024466666666666668, |
| "grad_norm": 7.0625, |
| "learning_rate": 1.9975016846633552e-05, |
| "loss": 0.3931, |
| "step": 3670 |
| }, |
| { |
| "epoch": 0.024533333333333334, |
| "grad_norm": 2.5625, |
| "learning_rate": 1.9974868376784206e-05, |
| "loss": 0.4603, |
| "step": 3680 |
| }, |
| { |
| "epoch": 0.0246, |
| "grad_norm": 4.875, |
| "learning_rate": 1.997471946763272e-05, |
| "loss": 0.4511, |
| "step": 3690 |
| }, |
| { |
| "epoch": 0.024666666666666667, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.9974570119185655e-05, |
| "loss": 0.4059, |
| "step": 3700 |
| }, |
| { |
| "epoch": 0.024733333333333333, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.997442033144959e-05, |
| "loss": 0.4507, |
| "step": 3710 |
| }, |
| { |
| "epoch": 0.0248, |
| "grad_norm": 3.171875, |
| "learning_rate": 1.997427010443112e-05, |
| "loss": 0.4019, |
| "step": 3720 |
| }, |
| { |
| "epoch": 0.024866666666666665, |
| "grad_norm": 6.03125, |
| "learning_rate": 1.9974119438136856e-05, |
| "loss": 0.4177, |
| "step": 3730 |
| }, |
| { |
| "epoch": 0.02493333333333333, |
| "grad_norm": 4.59375, |
| "learning_rate": 1.9973968332573444e-05, |
| "loss": 0.4672, |
| "step": 3740 |
| }, |
| { |
| "epoch": 0.025, |
| "grad_norm": 5.28125, |
| "learning_rate": 1.9973816787747528e-05, |
| "loss": 0.4421, |
| "step": 3750 |
| }, |
| { |
| "epoch": 0.025066666666666668, |
| "grad_norm": 2.265625, |
| "learning_rate": 1.997366480366579e-05, |
| "loss": 0.5272, |
| "step": 3760 |
| }, |
| { |
| "epoch": 0.025133333333333334, |
| "grad_norm": 6.375, |
| "learning_rate": 1.9973512380334918e-05, |
| "loss": 0.4391, |
| "step": 3770 |
| }, |
| { |
| "epoch": 0.0252, |
| "grad_norm": 6.53125, |
| "learning_rate": 1.997335951776163e-05, |
| "loss": 0.408, |
| "step": 3780 |
| }, |
| { |
| "epoch": 0.025266666666666666, |
| "grad_norm": 4.09375, |
| "learning_rate": 1.9973206215952653e-05, |
| "loss": 0.5097, |
| "step": 3790 |
| }, |
| { |
| "epoch": 0.025333333333333333, |
| "grad_norm": 7.4375, |
| "learning_rate": 1.9973052474914744e-05, |
| "loss": 0.449, |
| "step": 3800 |
| }, |
| { |
| "epoch": 0.0254, |
| "grad_norm": 4.46875, |
| "learning_rate": 1.997289829465467e-05, |
| "loss": 0.3891, |
| "step": 3810 |
| }, |
| { |
| "epoch": 0.025466666666666665, |
| "grad_norm": 4.875, |
| "learning_rate": 1.997274367517922e-05, |
| "loss": 0.4488, |
| "step": 3820 |
| }, |
| { |
| "epoch": 0.025533333333333335, |
| "grad_norm": 4.53125, |
| "learning_rate": 1.9972588616495207e-05, |
| "loss": 0.4097, |
| "step": 3830 |
| }, |
| { |
| "epoch": 0.0256, |
| "grad_norm": 4.375, |
| "learning_rate": 1.9972433118609464e-05, |
| "loss": 0.4003, |
| "step": 3840 |
| }, |
| { |
| "epoch": 0.025666666666666667, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.9972277181528826e-05, |
| "loss": 0.4066, |
| "step": 3850 |
| }, |
| { |
| "epoch": 0.025733333333333334, |
| "grad_norm": 4.71875, |
| "learning_rate": 1.9972120805260172e-05, |
| "loss": 0.4048, |
| "step": 3860 |
| }, |
| { |
| "epoch": 0.0258, |
| "grad_norm": 6.78125, |
| "learning_rate": 1.997196398981039e-05, |
| "loss": 0.4544, |
| "step": 3870 |
| }, |
| { |
| "epoch": 0.025866666666666666, |
| "grad_norm": 7.125, |
| "learning_rate": 1.9971806735186374e-05, |
| "loss": 0.4109, |
| "step": 3880 |
| }, |
| { |
| "epoch": 0.025933333333333333, |
| "grad_norm": 5.40625, |
| "learning_rate": 1.9971649041395064e-05, |
| "loss": 0.4768, |
| "step": 3890 |
| }, |
| { |
| "epoch": 0.026, |
| "grad_norm": 7.1875, |
| "learning_rate": 1.9971490908443394e-05, |
| "loss": 0.4166, |
| "step": 3900 |
| }, |
| { |
| "epoch": 0.026066666666666665, |
| "grad_norm": 4.53125, |
| "learning_rate": 1.9971332336338336e-05, |
| "loss": 0.4584, |
| "step": 3910 |
| }, |
| { |
| "epoch": 0.026133333333333335, |
| "grad_norm": 4.75, |
| "learning_rate": 1.9971173325086867e-05, |
| "loss": 0.4498, |
| "step": 3920 |
| }, |
| { |
| "epoch": 0.0262, |
| "grad_norm": 4.3125, |
| "learning_rate": 1.9971013874695998e-05, |
| "loss": 0.4804, |
| "step": 3930 |
| }, |
| { |
| "epoch": 0.026266666666666667, |
| "grad_norm": 6.1875, |
| "learning_rate": 1.9970853985172742e-05, |
| "loss": 0.4633, |
| "step": 3940 |
| }, |
| { |
| "epoch": 0.026333333333333334, |
| "grad_norm": 8.4375, |
| "learning_rate": 1.997069365652415e-05, |
| "loss": 0.5188, |
| "step": 3950 |
| }, |
| { |
| "epoch": 0.0264, |
| "grad_norm": 5.28125, |
| "learning_rate": 1.9970532888757277e-05, |
| "loss": 0.4207, |
| "step": 3960 |
| }, |
| { |
| "epoch": 0.026466666666666666, |
| "grad_norm": 6.9375, |
| "learning_rate": 1.9970371681879204e-05, |
| "loss": 0.4619, |
| "step": 3970 |
| }, |
| { |
| "epoch": 0.026533333333333332, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.997021003589703e-05, |
| "loss": 0.4254, |
| "step": 3980 |
| }, |
| { |
| "epoch": 0.0266, |
| "grad_norm": 5.65625, |
| "learning_rate": 1.997004795081788e-05, |
| "loss": 0.4722, |
| "step": 3990 |
| }, |
| { |
| "epoch": 0.02666666666666667, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.996988542664889e-05, |
| "loss": 0.4354, |
| "step": 4000 |
| }, |
| { |
| "epoch": 0.026733333333333335, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9969722463397207e-05, |
| "loss": 0.448, |
| "step": 4010 |
| }, |
| { |
| "epoch": 0.0268, |
| "grad_norm": 6.625, |
| "learning_rate": 1.9969559061070022e-05, |
| "loss": 0.436, |
| "step": 4020 |
| }, |
| { |
| "epoch": 0.026866666666666667, |
| "grad_norm": 6.375, |
| "learning_rate": 1.9969395219674524e-05, |
| "loss": 0.4634, |
| "step": 4030 |
| }, |
| { |
| "epoch": 0.026933333333333333, |
| "grad_norm": 4.0, |
| "learning_rate": 1.9969230939217935e-05, |
| "loss": 0.4397, |
| "step": 4040 |
| }, |
| { |
| "epoch": 0.027, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.9969066219707484e-05, |
| "loss": 0.4558, |
| "step": 4050 |
| }, |
| { |
| "epoch": 0.027066666666666666, |
| "grad_norm": 2.28125, |
| "learning_rate": 1.9968901061150423e-05, |
| "loss": 0.4261, |
| "step": 4060 |
| }, |
| { |
| "epoch": 0.027133333333333332, |
| "grad_norm": 5.40625, |
| "learning_rate": 1.9968735463554037e-05, |
| "loss": 0.4346, |
| "step": 4070 |
| }, |
| { |
| "epoch": 0.0272, |
| "grad_norm": 2.734375, |
| "learning_rate": 1.9968569426925608e-05, |
| "loss": 0.5072, |
| "step": 4080 |
| }, |
| { |
| "epoch": 0.027266666666666668, |
| "grad_norm": 5.84375, |
| "learning_rate": 1.9968402951272453e-05, |
| "loss": 0.4571, |
| "step": 4090 |
| }, |
| { |
| "epoch": 0.027333333333333334, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.99682360366019e-05, |
| "loss": 0.4443, |
| "step": 4100 |
| }, |
| { |
| "epoch": 0.0274, |
| "grad_norm": 3.46875, |
| "learning_rate": 1.9968068682921312e-05, |
| "loss": 0.4076, |
| "step": 4110 |
| }, |
| { |
| "epoch": 0.027466666666666667, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.9967900890238044e-05, |
| "loss": 0.4276, |
| "step": 4120 |
| }, |
| { |
| "epoch": 0.027533333333333333, |
| "grad_norm": 8.0625, |
| "learning_rate": 1.9967732658559493e-05, |
| "loss": 0.4797, |
| "step": 4130 |
| }, |
| { |
| "epoch": 0.0276, |
| "grad_norm": 4.9375, |
| "learning_rate": 1.9967563987893067e-05, |
| "loss": 0.4782, |
| "step": 4140 |
| }, |
| { |
| "epoch": 0.027666666666666666, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.9967394878246198e-05, |
| "loss": 0.4518, |
| "step": 4150 |
| }, |
| { |
| "epoch": 0.027733333333333332, |
| "grad_norm": 2.46875, |
| "learning_rate": 1.996722532962633e-05, |
| "loss": 0.4298, |
| "step": 4160 |
| }, |
| { |
| "epoch": 0.0278, |
| "grad_norm": 5.125, |
| "learning_rate": 1.996705534204093e-05, |
| "loss": 0.3924, |
| "step": 4170 |
| }, |
| { |
| "epoch": 0.027866666666666668, |
| "grad_norm": 4.4375, |
| "learning_rate": 1.9966884915497485e-05, |
| "loss": 0.4351, |
| "step": 4180 |
| }, |
| { |
| "epoch": 0.027933333333333334, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.99667140500035e-05, |
| "loss": 0.4265, |
| "step": 4190 |
| }, |
| { |
| "epoch": 0.028, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.9966542745566505e-05, |
| "loss": 0.3949, |
| "step": 4200 |
| }, |
| { |
| "epoch": 0.028066666666666667, |
| "grad_norm": 5.53125, |
| "learning_rate": 1.9966371002194035e-05, |
| "loss": 0.4763, |
| "step": 4210 |
| }, |
| { |
| "epoch": 0.028133333333333333, |
| "grad_norm": 4.40625, |
| "learning_rate": 1.996619881989366e-05, |
| "loss": 0.4372, |
| "step": 4220 |
| }, |
| { |
| "epoch": 0.0282, |
| "grad_norm": 7.84375, |
| "learning_rate": 1.9966026198672966e-05, |
| "loss": 0.4162, |
| "step": 4230 |
| }, |
| { |
| "epoch": 0.028266666666666666, |
| "grad_norm": 2.140625, |
| "learning_rate": 1.996585313853955e-05, |
| "loss": 0.4095, |
| "step": 4240 |
| }, |
| { |
| "epoch": 0.028333333333333332, |
| "grad_norm": 4.28125, |
| "learning_rate": 1.9965679639501032e-05, |
| "loss": 0.42, |
| "step": 4250 |
| }, |
| { |
| "epoch": 0.0284, |
| "grad_norm": 5.625, |
| "learning_rate": 1.996550570156506e-05, |
| "loss": 0.5131, |
| "step": 4260 |
| }, |
| { |
| "epoch": 0.028466666666666668, |
| "grad_norm": 3.75, |
| "learning_rate": 1.996533132473929e-05, |
| "loss": 0.4292, |
| "step": 4270 |
| }, |
| { |
| "epoch": 0.028533333333333334, |
| "grad_norm": 4.90625, |
| "learning_rate": 1.99651565090314e-05, |
| "loss": 0.4563, |
| "step": 4280 |
| }, |
| { |
| "epoch": 0.0286, |
| "grad_norm": 4.90625, |
| "learning_rate": 1.9964981254449095e-05, |
| "loss": 0.4863, |
| "step": 4290 |
| }, |
| { |
| "epoch": 0.028666666666666667, |
| "grad_norm": 5.375, |
| "learning_rate": 1.9964805561000088e-05, |
| "loss": 0.4375, |
| "step": 4300 |
| }, |
| { |
| "epoch": 0.028733333333333333, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.996462942869212e-05, |
| "loss": 0.4259, |
| "step": 4310 |
| }, |
| { |
| "epoch": 0.0288, |
| "grad_norm": 4.09375, |
| "learning_rate": 1.9964452857532944e-05, |
| "loss": 0.4253, |
| "step": 4320 |
| }, |
| { |
| "epoch": 0.028866666666666665, |
| "grad_norm": 5.125, |
| "learning_rate": 1.996427584753034e-05, |
| "loss": 0.4674, |
| "step": 4330 |
| }, |
| { |
| "epoch": 0.028933333333333332, |
| "grad_norm": 5.4375, |
| "learning_rate": 1.9964098398692105e-05, |
| "loss": 0.4172, |
| "step": 4340 |
| }, |
| { |
| "epoch": 0.029, |
| "grad_norm": 9.625, |
| "learning_rate": 1.9963920511026048e-05, |
| "loss": 0.4234, |
| "step": 4350 |
| }, |
| { |
| "epoch": 0.029066666666666668, |
| "grad_norm": 5.375, |
| "learning_rate": 1.996374218454001e-05, |
| "loss": 0.3759, |
| "step": 4360 |
| }, |
| { |
| "epoch": 0.029133333333333334, |
| "grad_norm": 6.15625, |
| "learning_rate": 1.996356341924184e-05, |
| "loss": 0.46, |
| "step": 4370 |
| }, |
| { |
| "epoch": 0.0292, |
| "grad_norm": 5.125, |
| "learning_rate": 1.996338421513941e-05, |
| "loss": 0.4561, |
| "step": 4380 |
| }, |
| { |
| "epoch": 0.029266666666666667, |
| "grad_norm": 4.40625, |
| "learning_rate": 1.996320457224062e-05, |
| "loss": 0.4022, |
| "step": 4390 |
| }, |
| { |
| "epoch": 0.029333333333333333, |
| "grad_norm": 8.6875, |
| "learning_rate": 1.9963024490553376e-05, |
| "loss": 0.4113, |
| "step": 4400 |
| }, |
| { |
| "epoch": 0.0294, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.9962843970085607e-05, |
| "loss": 0.4281, |
| "step": 4410 |
| }, |
| { |
| "epoch": 0.029466666666666665, |
| "grad_norm": 4.25, |
| "learning_rate": 1.9962663010845264e-05, |
| "loss": 0.4002, |
| "step": 4420 |
| }, |
| { |
| "epoch": 0.029533333333333335, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.996248161284032e-05, |
| "loss": 0.3932, |
| "step": 4430 |
| }, |
| { |
| "epoch": 0.0296, |
| "grad_norm": 4.375, |
| "learning_rate": 1.9962299776078767e-05, |
| "loss": 0.4832, |
| "step": 4440 |
| }, |
| { |
| "epoch": 0.029666666666666668, |
| "grad_norm": 6.03125, |
| "learning_rate": 1.99621175005686e-05, |
| "loss": 0.4203, |
| "step": 4450 |
| }, |
| { |
| "epoch": 0.029733333333333334, |
| "grad_norm": 5.5, |
| "learning_rate": 1.9961934786317862e-05, |
| "loss": 0.4311, |
| "step": 4460 |
| }, |
| { |
| "epoch": 0.0298, |
| "grad_norm": 4.09375, |
| "learning_rate": 1.996175163333459e-05, |
| "loss": 0.4416, |
| "step": 4470 |
| }, |
| { |
| "epoch": 0.029866666666666666, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.9961568041626856e-05, |
| "loss": 0.442, |
| "step": 4480 |
| }, |
| { |
| "epoch": 0.029933333333333333, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.9961384011202737e-05, |
| "loss": 0.4436, |
| "step": 4490 |
| }, |
| { |
| "epoch": 0.03, |
| "grad_norm": 4.9375, |
| "learning_rate": 1.996119954207035e-05, |
| "loss": 0.4405, |
| "step": 4500 |
| }, |
| { |
| "epoch": 0.030066666666666665, |
| "grad_norm": 2.796875, |
| "learning_rate": 1.996101463423781e-05, |
| "loss": 0.3465, |
| "step": 4510 |
| }, |
| { |
| "epoch": 0.030133333333333335, |
| "grad_norm": 5.5625, |
| "learning_rate": 1.9960829287713263e-05, |
| "loss": 0.4126, |
| "step": 4520 |
| }, |
| { |
| "epoch": 0.0302, |
| "grad_norm": 5.0, |
| "learning_rate": 1.9960643502504875e-05, |
| "loss": 0.4096, |
| "step": 4530 |
| }, |
| { |
| "epoch": 0.030266666666666667, |
| "grad_norm": 4.75, |
| "learning_rate": 1.996045727862082e-05, |
| "loss": 0.4174, |
| "step": 4540 |
| }, |
| { |
| "epoch": 0.030333333333333334, |
| "grad_norm": 4.625, |
| "learning_rate": 1.996027061606931e-05, |
| "loss": 0.4087, |
| "step": 4550 |
| }, |
| { |
| "epoch": 0.0304, |
| "grad_norm": 5.375, |
| "learning_rate": 1.996008351485856e-05, |
| "loss": 0.4675, |
| "step": 4560 |
| }, |
| { |
| "epoch": 0.030466666666666666, |
| "grad_norm": 4.25, |
| "learning_rate": 1.9959895974996808e-05, |
| "loss": 0.4358, |
| "step": 4570 |
| }, |
| { |
| "epoch": 0.030533333333333332, |
| "grad_norm": 5.78125, |
| "learning_rate": 1.9959707996492318e-05, |
| "loss": 0.4162, |
| "step": 4580 |
| }, |
| { |
| "epoch": 0.0306, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.9959519579353364e-05, |
| "loss": 0.4771, |
| "step": 4590 |
| }, |
| { |
| "epoch": 0.030666666666666665, |
| "grad_norm": 5.4375, |
| "learning_rate": 1.9959330723588252e-05, |
| "loss": 0.3916, |
| "step": 4600 |
| }, |
| { |
| "epoch": 0.030733333333333335, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.9959141429205288e-05, |
| "loss": 0.4228, |
| "step": 4610 |
| }, |
| { |
| "epoch": 0.0308, |
| "grad_norm": 5.5, |
| "learning_rate": 1.995895169621282e-05, |
| "loss": 0.4582, |
| "step": 4620 |
| }, |
| { |
| "epoch": 0.030866666666666667, |
| "grad_norm": 5.4375, |
| "learning_rate": 1.9958761524619196e-05, |
| "loss": 0.4626, |
| "step": 4630 |
| }, |
| { |
| "epoch": 0.030933333333333334, |
| "grad_norm": 4.71875, |
| "learning_rate": 1.99585709144328e-05, |
| "loss": 0.4065, |
| "step": 4640 |
| }, |
| { |
| "epoch": 0.031, |
| "grad_norm": 3.703125, |
| "learning_rate": 1.995837986566201e-05, |
| "loss": 0.4247, |
| "step": 4650 |
| }, |
| { |
| "epoch": 0.031066666666666666, |
| "grad_norm": 6.71875, |
| "learning_rate": 1.995818837831526e-05, |
| "loss": 0.3991, |
| "step": 4660 |
| }, |
| { |
| "epoch": 0.031133333333333332, |
| "grad_norm": 5.8125, |
| "learning_rate": 1.9957996452400975e-05, |
| "loss": 0.4342, |
| "step": 4670 |
| }, |
| { |
| "epoch": 0.0312, |
| "grad_norm": 5.71875, |
| "learning_rate": 1.9957804087927602e-05, |
| "loss": 0.3992, |
| "step": 4680 |
| }, |
| { |
| "epoch": 0.031266666666666665, |
| "grad_norm": 6.09375, |
| "learning_rate": 1.9957611284903618e-05, |
| "loss": 0.4354, |
| "step": 4690 |
| }, |
| { |
| "epoch": 0.03133333333333333, |
| "grad_norm": 5.125, |
| "learning_rate": 1.9957418043337515e-05, |
| "loss": 0.4522, |
| "step": 4700 |
| }, |
| { |
| "epoch": 0.0314, |
| "grad_norm": 6.6875, |
| "learning_rate": 1.9957224363237802e-05, |
| "loss": 0.3851, |
| "step": 4710 |
| }, |
| { |
| "epoch": 0.031466666666666664, |
| "grad_norm": 5.375, |
| "learning_rate": 1.995703024461301e-05, |
| "loss": 0.4327, |
| "step": 4720 |
| }, |
| { |
| "epoch": 0.03153333333333333, |
| "grad_norm": 6.21875, |
| "learning_rate": 1.9956835687471687e-05, |
| "loss": 0.4481, |
| "step": 4730 |
| }, |
| { |
| "epoch": 0.0316, |
| "grad_norm": 6.125, |
| "learning_rate": 1.99566406918224e-05, |
| "loss": 0.3956, |
| "step": 4740 |
| }, |
| { |
| "epoch": 0.03166666666666667, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.9956445257673745e-05, |
| "loss": 0.4683, |
| "step": 4750 |
| }, |
| { |
| "epoch": 0.031733333333333336, |
| "grad_norm": 1.9921875, |
| "learning_rate": 1.9956249385034318e-05, |
| "loss": 0.4437, |
| "step": 4760 |
| }, |
| { |
| "epoch": 0.0318, |
| "grad_norm": 8.5, |
| "learning_rate": 1.995605307391275e-05, |
| "loss": 0.4148, |
| "step": 4770 |
| }, |
| { |
| "epoch": 0.03186666666666667, |
| "grad_norm": 6.28125, |
| "learning_rate": 1.995585632431769e-05, |
| "loss": 0.4315, |
| "step": 4780 |
| }, |
| { |
| "epoch": 0.031933333333333334, |
| "grad_norm": 4.8125, |
| "learning_rate": 1.9955659136257796e-05, |
| "loss": 0.4442, |
| "step": 4790 |
| }, |
| { |
| "epoch": 0.032, |
| "grad_norm": 5.28125, |
| "learning_rate": 1.9955461509741757e-05, |
| "loss": 0.4462, |
| "step": 4800 |
| }, |
| { |
| "epoch": 0.03206666666666667, |
| "grad_norm": 2.328125, |
| "learning_rate": 1.9955263444778275e-05, |
| "loss": 0.3937, |
| "step": 4810 |
| }, |
| { |
| "epoch": 0.03213333333333333, |
| "grad_norm": 5.125, |
| "learning_rate": 1.995506494137608e-05, |
| "loss": 0.4374, |
| "step": 4820 |
| }, |
| { |
| "epoch": 0.0322, |
| "grad_norm": 3.65625, |
| "learning_rate": 1.9954865999543905e-05, |
| "loss": 0.4045, |
| "step": 4830 |
| }, |
| { |
| "epoch": 0.032266666666666666, |
| "grad_norm": 5.40625, |
| "learning_rate": 1.9954666619290512e-05, |
| "loss": 0.4458, |
| "step": 4840 |
| }, |
| { |
| "epoch": 0.03233333333333333, |
| "grad_norm": 5.4375, |
| "learning_rate": 1.9954466800624687e-05, |
| "loss": 0.4473, |
| "step": 4850 |
| }, |
| { |
| "epoch": 0.0324, |
| "grad_norm": 4.96875, |
| "learning_rate": 1.9954266543555225e-05, |
| "loss": 0.4381, |
| "step": 4860 |
| }, |
| { |
| "epoch": 0.032466666666666665, |
| "grad_norm": 8.0625, |
| "learning_rate": 1.9954065848090953e-05, |
| "loss": 0.4389, |
| "step": 4870 |
| }, |
| { |
| "epoch": 0.03253333333333333, |
| "grad_norm": 5.46875, |
| "learning_rate": 1.99538647142407e-05, |
| "loss": 0.3956, |
| "step": 4880 |
| }, |
| { |
| "epoch": 0.0326, |
| "grad_norm": 9.5, |
| "learning_rate": 1.9953663142013334e-05, |
| "loss": 0.4443, |
| "step": 4890 |
| }, |
| { |
| "epoch": 0.03266666666666666, |
| "grad_norm": 6.1875, |
| "learning_rate": 1.9953461131417725e-05, |
| "loss": 0.4306, |
| "step": 4900 |
| }, |
| { |
| "epoch": 0.032733333333333337, |
| "grad_norm": 7.90625, |
| "learning_rate": 1.995325868246277e-05, |
| "loss": 0.4539, |
| "step": 4910 |
| }, |
| { |
| "epoch": 0.0328, |
| "grad_norm": 7.125, |
| "learning_rate": 1.995305579515739e-05, |
| "loss": 0.4421, |
| "step": 4920 |
| }, |
| { |
| "epoch": 0.03286666666666667, |
| "grad_norm": 4.40625, |
| "learning_rate": 1.995285246951052e-05, |
| "loss": 0.4152, |
| "step": 4930 |
| }, |
| { |
| "epoch": 0.032933333333333335, |
| "grad_norm": 5.25, |
| "learning_rate": 1.995264870553111e-05, |
| "loss": 0.4601, |
| "step": 4940 |
| }, |
| { |
| "epoch": 0.033, |
| "grad_norm": 3.609375, |
| "learning_rate": 1.9952444503228138e-05, |
| "loss": 0.4713, |
| "step": 4950 |
| }, |
| { |
| "epoch": 0.03306666666666667, |
| "grad_norm": 5.5, |
| "learning_rate": 1.9952239862610593e-05, |
| "loss": 0.4009, |
| "step": 4960 |
| }, |
| { |
| "epoch": 0.033133333333333334, |
| "grad_norm": 4.3125, |
| "learning_rate": 1.995203478368749e-05, |
| "loss": 0.4289, |
| "step": 4970 |
| }, |
| { |
| "epoch": 0.0332, |
| "grad_norm": 4.5, |
| "learning_rate": 1.9951829266467865e-05, |
| "loss": 0.4108, |
| "step": 4980 |
| }, |
| { |
| "epoch": 0.03326666666666667, |
| "grad_norm": 4.375, |
| "learning_rate": 1.995162331096076e-05, |
| "loss": 0.4233, |
| "step": 4990 |
| }, |
| { |
| "epoch": 0.03333333333333333, |
| "grad_norm": 5.90625, |
| "learning_rate": 1.9951416917175255e-05, |
| "loss": 0.4246, |
| "step": 5000 |
| }, |
| { |
| "epoch": 0.0334, |
| "grad_norm": 4.0, |
| "learning_rate": 1.9951210085120435e-05, |
| "loss": 0.4227, |
| "step": 5010 |
| }, |
| { |
| "epoch": 0.033466666666666665, |
| "grad_norm": 5.125, |
| "learning_rate": 1.995100281480541e-05, |
| "loss": 0.4265, |
| "step": 5020 |
| }, |
| { |
| "epoch": 0.03353333333333333, |
| "grad_norm": 4.8125, |
| "learning_rate": 1.9950795106239306e-05, |
| "loss": 0.4525, |
| "step": 5030 |
| }, |
| { |
| "epoch": 0.0336, |
| "grad_norm": 5.5, |
| "learning_rate": 1.9950586959431272e-05, |
| "loss": 0.4924, |
| "step": 5040 |
| }, |
| { |
| "epoch": 0.033666666666666664, |
| "grad_norm": 4.65625, |
| "learning_rate": 1.9950378374390475e-05, |
| "loss": 0.4321, |
| "step": 5050 |
| }, |
| { |
| "epoch": 0.03373333333333333, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9950169351126103e-05, |
| "loss": 0.4232, |
| "step": 5060 |
| }, |
| { |
| "epoch": 0.0338, |
| "grad_norm": 8.0625, |
| "learning_rate": 1.994995988964736e-05, |
| "loss": 0.4471, |
| "step": 5070 |
| }, |
| { |
| "epoch": 0.03386666666666667, |
| "grad_norm": 4.9375, |
| "learning_rate": 1.994974998996347e-05, |
| "loss": 0.4216, |
| "step": 5080 |
| }, |
| { |
| "epoch": 0.033933333333333336, |
| "grad_norm": 4.3125, |
| "learning_rate": 1.994953965208368e-05, |
| "loss": 0.4272, |
| "step": 5090 |
| }, |
| { |
| "epoch": 0.034, |
| "grad_norm": 3.328125, |
| "learning_rate": 1.994932887601725e-05, |
| "loss": 0.3787, |
| "step": 5100 |
| }, |
| { |
| "epoch": 0.03406666666666667, |
| "grad_norm": 4.4375, |
| "learning_rate": 1.9949117661773467e-05, |
| "loss": 0.4176, |
| "step": 5110 |
| }, |
| { |
| "epoch": 0.034133333333333335, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.994890600936163e-05, |
| "loss": 0.4499, |
| "step": 5120 |
| }, |
| { |
| "epoch": 0.0342, |
| "grad_norm": 8.1875, |
| "learning_rate": 1.9948693918791063e-05, |
| "loss": 0.4169, |
| "step": 5130 |
| }, |
| { |
| "epoch": 0.03426666666666667, |
| "grad_norm": 6.0, |
| "learning_rate": 1.9948481390071102e-05, |
| "loss": 0.4287, |
| "step": 5140 |
| }, |
| { |
| "epoch": 0.034333333333333334, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.994826842321111e-05, |
| "loss": 0.4167, |
| "step": 5150 |
| }, |
| { |
| "epoch": 0.0344, |
| "grad_norm": 4.4375, |
| "learning_rate": 1.9948055018220465e-05, |
| "loss": 0.4002, |
| "step": 5160 |
| }, |
| { |
| "epoch": 0.034466666666666666, |
| "grad_norm": 6.8125, |
| "learning_rate": 1.994784117510857e-05, |
| "loss": 0.418, |
| "step": 5170 |
| }, |
| { |
| "epoch": 0.03453333333333333, |
| "grad_norm": 5.28125, |
| "learning_rate": 1.9947626893884836e-05, |
| "loss": 0.4277, |
| "step": 5180 |
| }, |
| { |
| "epoch": 0.0346, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.9947412174558702e-05, |
| "loss": 0.4325, |
| "step": 5190 |
| }, |
| { |
| "epoch": 0.034666666666666665, |
| "grad_norm": 5.375, |
| "learning_rate": 1.994719701713963e-05, |
| "loss": 0.4275, |
| "step": 5200 |
| }, |
| { |
| "epoch": 0.03473333333333333, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.994698142163709e-05, |
| "loss": 0.4546, |
| "step": 5210 |
| }, |
| { |
| "epoch": 0.0348, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.9946765388060577e-05, |
| "loss": 0.4672, |
| "step": 5220 |
| }, |
| { |
| "epoch": 0.034866666666666664, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.994654891641961e-05, |
| "loss": 0.4503, |
| "step": 5230 |
| }, |
| { |
| "epoch": 0.03493333333333333, |
| "grad_norm": 4.40625, |
| "learning_rate": 1.9946332006723717e-05, |
| "loss": 0.4465, |
| "step": 5240 |
| }, |
| { |
| "epoch": 0.035, |
| "grad_norm": 4.34375, |
| "learning_rate": 1.9946114658982455e-05, |
| "loss": 0.4506, |
| "step": 5250 |
| }, |
| { |
| "epoch": 0.03506666666666667, |
| "grad_norm": 4.875, |
| "learning_rate": 1.9945896873205392e-05, |
| "loss": 0.4819, |
| "step": 5260 |
| }, |
| { |
| "epoch": 0.035133333333333336, |
| "grad_norm": 5.125, |
| "learning_rate": 1.9945678649402123e-05, |
| "loss": 0.3887, |
| "step": 5270 |
| }, |
| { |
| "epoch": 0.0352, |
| "grad_norm": 6.5, |
| "learning_rate": 1.994545998758226e-05, |
| "loss": 0.4691, |
| "step": 5280 |
| }, |
| { |
| "epoch": 0.03526666666666667, |
| "grad_norm": 5.8125, |
| "learning_rate": 1.9945240887755428e-05, |
| "loss": 0.4176, |
| "step": 5290 |
| }, |
| { |
| "epoch": 0.035333333333333335, |
| "grad_norm": 6.125, |
| "learning_rate": 1.9945021349931283e-05, |
| "loss": 0.4186, |
| "step": 5300 |
| }, |
| { |
| "epoch": 0.0354, |
| "grad_norm": 8.125, |
| "learning_rate": 1.994480137411949e-05, |
| "loss": 0.4661, |
| "step": 5310 |
| }, |
| { |
| "epoch": 0.03546666666666667, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.994458096032973e-05, |
| "loss": 0.4237, |
| "step": 5320 |
| }, |
| { |
| "epoch": 0.03553333333333333, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.9944360108571727e-05, |
| "loss": 0.4644, |
| "step": 5330 |
| }, |
| { |
| "epoch": 0.0356, |
| "grad_norm": 4.0625, |
| "learning_rate": 1.994413881885519e-05, |
| "loss": 0.4584, |
| "step": 5340 |
| }, |
| { |
| "epoch": 0.035666666666666666, |
| "grad_norm": 2.96875, |
| "learning_rate": 1.9943917091189873e-05, |
| "loss": 0.4374, |
| "step": 5350 |
| }, |
| { |
| "epoch": 0.03573333333333333, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.9943694925585543e-05, |
| "loss": 0.4114, |
| "step": 5360 |
| }, |
| { |
| "epoch": 0.0358, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.9943472322051982e-05, |
| "loss": 0.4738, |
| "step": 5370 |
| }, |
| { |
| "epoch": 0.035866666666666665, |
| "grad_norm": 7.0, |
| "learning_rate": 1.994324928059899e-05, |
| "loss": 0.4193, |
| "step": 5380 |
| }, |
| { |
| "epoch": 0.03593333333333333, |
| "grad_norm": 4.5625, |
| "learning_rate": 1.9943025801236397e-05, |
| "loss": 0.4365, |
| "step": 5390 |
| }, |
| { |
| "epoch": 0.036, |
| "grad_norm": 4.3125, |
| "learning_rate": 1.9942801883974044e-05, |
| "loss": 0.4401, |
| "step": 5400 |
| }, |
| { |
| "epoch": 0.036066666666666664, |
| "grad_norm": 3.0, |
| "learning_rate": 1.9942577528821786e-05, |
| "loss": 0.4355, |
| "step": 5410 |
| }, |
| { |
| "epoch": 0.03613333333333334, |
| "grad_norm": 5.875, |
| "learning_rate": 1.9942352735789508e-05, |
| "loss": 0.4218, |
| "step": 5420 |
| }, |
| { |
| "epoch": 0.0362, |
| "grad_norm": 5.125, |
| "learning_rate": 1.994212750488711e-05, |
| "loss": 0.4209, |
| "step": 5430 |
| }, |
| { |
| "epoch": 0.03626666666666667, |
| "grad_norm": 6.125, |
| "learning_rate": 1.9941901836124514e-05, |
| "loss": 0.4314, |
| "step": 5440 |
| }, |
| { |
| "epoch": 0.036333333333333336, |
| "grad_norm": 6.125, |
| "learning_rate": 1.9941675729511653e-05, |
| "loss": 0.4326, |
| "step": 5450 |
| }, |
| { |
| "epoch": 0.0364, |
| "grad_norm": 4.96875, |
| "learning_rate": 1.994144918505849e-05, |
| "loss": 0.4362, |
| "step": 5460 |
| }, |
| { |
| "epoch": 0.03646666666666667, |
| "grad_norm": 7.09375, |
| "learning_rate": 1.9941222202775e-05, |
| "loss": 0.481, |
| "step": 5470 |
| }, |
| { |
| "epoch": 0.036533333333333334, |
| "grad_norm": 5.90625, |
| "learning_rate": 1.994099478267118e-05, |
| "loss": 0.424, |
| "step": 5480 |
| }, |
| { |
| "epoch": 0.0366, |
| "grad_norm": 5.375, |
| "learning_rate": 1.9940766924757044e-05, |
| "loss": 0.4353, |
| "step": 5490 |
| }, |
| { |
| "epoch": 0.03666666666666667, |
| "grad_norm": 5.5, |
| "learning_rate": 1.994053862904263e-05, |
| "loss": 0.4338, |
| "step": 5500 |
| }, |
| { |
| "epoch": 0.03673333333333333, |
| "grad_norm": 4.96875, |
| "learning_rate": 1.994030989553799e-05, |
| "loss": 0.4378, |
| "step": 5510 |
| }, |
| { |
| "epoch": 0.0368, |
| "grad_norm": 9.0625, |
| "learning_rate": 1.9940080724253202e-05, |
| "loss": 0.4241, |
| "step": 5520 |
| }, |
| { |
| "epoch": 0.036866666666666666, |
| "grad_norm": 2.875, |
| "learning_rate": 1.9939851115198352e-05, |
| "loss": 0.4793, |
| "step": 5530 |
| }, |
| { |
| "epoch": 0.03693333333333333, |
| "grad_norm": 5.59375, |
| "learning_rate": 1.9939621068383554e-05, |
| "loss": 0.4182, |
| "step": 5540 |
| }, |
| { |
| "epoch": 0.037, |
| "grad_norm": 2.484375, |
| "learning_rate": 1.9939390583818946e-05, |
| "loss": 0.4812, |
| "step": 5550 |
| }, |
| { |
| "epoch": 0.037066666666666664, |
| "grad_norm": 5.53125, |
| "learning_rate": 1.9939159661514668e-05, |
| "loss": 0.4293, |
| "step": 5560 |
| }, |
| { |
| "epoch": 0.03713333333333333, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.9938928301480903e-05, |
| "loss": 0.3846, |
| "step": 5570 |
| }, |
| { |
| "epoch": 0.0372, |
| "grad_norm": 4.40625, |
| "learning_rate": 1.993869650372783e-05, |
| "loss": 0.4431, |
| "step": 5580 |
| }, |
| { |
| "epoch": 0.03726666666666666, |
| "grad_norm": 5.78125, |
| "learning_rate": 1.993846426826566e-05, |
| "loss": 0.3922, |
| "step": 5590 |
| }, |
| { |
| "epoch": 0.037333333333333336, |
| "grad_norm": 9.8125, |
| "learning_rate": 1.9938231595104623e-05, |
| "loss": 0.3999, |
| "step": 5600 |
| }, |
| { |
| "epoch": 0.0374, |
| "grad_norm": 4.96875, |
| "learning_rate": 1.9937998484254962e-05, |
| "loss": 0.3958, |
| "step": 5610 |
| }, |
| { |
| "epoch": 0.03746666666666667, |
| "grad_norm": 4.75, |
| "learning_rate": 1.993776493572695e-05, |
| "loss": 0.4391, |
| "step": 5620 |
| }, |
| { |
| "epoch": 0.037533333333333335, |
| "grad_norm": 4.4375, |
| "learning_rate": 1.9937530949530865e-05, |
| "loss": 0.4501, |
| "step": 5630 |
| }, |
| { |
| "epoch": 0.0376, |
| "grad_norm": 6.03125, |
| "learning_rate": 1.9937296525677018e-05, |
| "loss": 0.4191, |
| "step": 5640 |
| }, |
| { |
| "epoch": 0.03766666666666667, |
| "grad_norm": 5.6875, |
| "learning_rate": 1.993706166417573e-05, |
| "loss": 0.407, |
| "step": 5650 |
| }, |
| { |
| "epoch": 0.037733333333333334, |
| "grad_norm": 4.09375, |
| "learning_rate": 1.9936826365037346e-05, |
| "loss": 0.4571, |
| "step": 5660 |
| }, |
| { |
| "epoch": 0.0378, |
| "grad_norm": 4.0, |
| "learning_rate": 1.9936590628272232e-05, |
| "loss": 0.3593, |
| "step": 5670 |
| }, |
| { |
| "epoch": 0.037866666666666667, |
| "grad_norm": 4.96875, |
| "learning_rate": 1.9936354453890762e-05, |
| "loss": 0.429, |
| "step": 5680 |
| }, |
| { |
| "epoch": 0.03793333333333333, |
| "grad_norm": 5.375, |
| "learning_rate": 1.9936117841903343e-05, |
| "loss": 0.4408, |
| "step": 5690 |
| }, |
| { |
| "epoch": 0.038, |
| "grad_norm": 5.875, |
| "learning_rate": 1.9935880792320394e-05, |
| "loss": 0.4666, |
| "step": 5700 |
| }, |
| { |
| "epoch": 0.038066666666666665, |
| "grad_norm": 3.84375, |
| "learning_rate": 1.9935643305152358e-05, |
| "loss": 0.4369, |
| "step": 5710 |
| }, |
| { |
| "epoch": 0.03813333333333333, |
| "grad_norm": 4.21875, |
| "learning_rate": 1.9935405380409685e-05, |
| "loss": 0.4744, |
| "step": 5720 |
| }, |
| { |
| "epoch": 0.0382, |
| "grad_norm": 4.75, |
| "learning_rate": 1.9935167018102864e-05, |
| "loss": 0.4843, |
| "step": 5730 |
| }, |
| { |
| "epoch": 0.038266666666666664, |
| "grad_norm": 6.375, |
| "learning_rate": 1.9934928218242394e-05, |
| "loss": 0.3738, |
| "step": 5740 |
| }, |
| { |
| "epoch": 0.03833333333333333, |
| "grad_norm": 5.84375, |
| "learning_rate": 1.993468898083878e-05, |
| "loss": 0.4716, |
| "step": 5750 |
| }, |
| { |
| "epoch": 0.0384, |
| "grad_norm": 6.15625, |
| "learning_rate": 1.9934449305902565e-05, |
| "loss": 0.4085, |
| "step": 5760 |
| }, |
| { |
| "epoch": 0.03846666666666667, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.9934209193444305e-05, |
| "loss": 0.4833, |
| "step": 5770 |
| }, |
| { |
| "epoch": 0.038533333333333336, |
| "grad_norm": 4.1875, |
| "learning_rate": 1.9933968643474574e-05, |
| "loss": 0.4204, |
| "step": 5780 |
| }, |
| { |
| "epoch": 0.0386, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.9933727656003964e-05, |
| "loss": 0.4538, |
| "step": 5790 |
| }, |
| { |
| "epoch": 0.03866666666666667, |
| "grad_norm": 4.0, |
| "learning_rate": 1.9933486231043093e-05, |
| "loss": 0.4442, |
| "step": 5800 |
| }, |
| { |
| "epoch": 0.038733333333333335, |
| "grad_norm": 5.875, |
| "learning_rate": 1.993324436860259e-05, |
| "loss": 0.4383, |
| "step": 5810 |
| }, |
| { |
| "epoch": 0.0388, |
| "grad_norm": 5.6875, |
| "learning_rate": 1.9933002068693107e-05, |
| "loss": 0.4245, |
| "step": 5820 |
| }, |
| { |
| "epoch": 0.03886666666666667, |
| "grad_norm": 4.5, |
| "learning_rate": 1.993275933132532e-05, |
| "loss": 0.4503, |
| "step": 5830 |
| }, |
| { |
| "epoch": 0.038933333333333334, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.9932516156509913e-05, |
| "loss": 0.4329, |
| "step": 5840 |
| }, |
| { |
| "epoch": 0.039, |
| "grad_norm": 2.171875, |
| "learning_rate": 1.9932272544257594e-05, |
| "loss": 0.3962, |
| "step": 5850 |
| }, |
| { |
| "epoch": 0.039066666666666666, |
| "grad_norm": 5.59375, |
| "learning_rate": 1.99320284945791e-05, |
| "loss": 0.4394, |
| "step": 5860 |
| }, |
| { |
| "epoch": 0.03913333333333333, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9931784007485173e-05, |
| "loss": 0.4561, |
| "step": 5870 |
| }, |
| { |
| "epoch": 0.0392, |
| "grad_norm": 4.71875, |
| "learning_rate": 1.9931539082986583e-05, |
| "loss": 0.4577, |
| "step": 5880 |
| }, |
| { |
| "epoch": 0.039266666666666665, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.9931293721094114e-05, |
| "loss": 0.4452, |
| "step": 5890 |
| }, |
| { |
| "epoch": 0.03933333333333333, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.993104792181858e-05, |
| "loss": 0.4869, |
| "step": 5900 |
| }, |
| { |
| "epoch": 0.0394, |
| "grad_norm": 4.28125, |
| "learning_rate": 1.9930801685170794e-05, |
| "loss": 0.4051, |
| "step": 5910 |
| }, |
| { |
| "epoch": 0.039466666666666664, |
| "grad_norm": 4.71875, |
| "learning_rate": 1.9930555011161606e-05, |
| "loss": 0.4807, |
| "step": 5920 |
| }, |
| { |
| "epoch": 0.03953333333333333, |
| "grad_norm": 4.9375, |
| "learning_rate": 1.9930307899801887e-05, |
| "loss": 0.4633, |
| "step": 5930 |
| }, |
| { |
| "epoch": 0.0396, |
| "grad_norm": 2.859375, |
| "learning_rate": 1.9930060351102507e-05, |
| "loss": 0.481, |
| "step": 5940 |
| }, |
| { |
| "epoch": 0.03966666666666667, |
| "grad_norm": 8.3125, |
| "learning_rate": 1.9929812365074378e-05, |
| "loss": 0.4976, |
| "step": 5950 |
| }, |
| { |
| "epoch": 0.039733333333333336, |
| "grad_norm": 5.4375, |
| "learning_rate": 1.9929563941728417e-05, |
| "loss": 0.4701, |
| "step": 5960 |
| }, |
| { |
| "epoch": 0.0398, |
| "grad_norm": 5.34375, |
| "learning_rate": 1.9929315081075568e-05, |
| "loss": 0.4303, |
| "step": 5970 |
| }, |
| { |
| "epoch": 0.03986666666666667, |
| "grad_norm": 4.90625, |
| "learning_rate": 1.9929065783126788e-05, |
| "loss": 0.3845, |
| "step": 5980 |
| }, |
| { |
| "epoch": 0.039933333333333335, |
| "grad_norm": 4.71875, |
| "learning_rate": 1.9928816047893057e-05, |
| "loss": 0.458, |
| "step": 5990 |
| }, |
| { |
| "epoch": 0.04, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.992856587538537e-05, |
| "loss": 0.4624, |
| "step": 6000 |
| }, |
| { |
| "epoch": 0.04006666666666667, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.9928315265614758e-05, |
| "loss": 0.4674, |
| "step": 6010 |
| }, |
| { |
| "epoch": 0.04013333333333333, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.992806421859224e-05, |
| "loss": 0.4365, |
| "step": 6020 |
| }, |
| { |
| "epoch": 0.0402, |
| "grad_norm": 4.34375, |
| "learning_rate": 1.9927812734328883e-05, |
| "loss": 0.4391, |
| "step": 6030 |
| }, |
| { |
| "epoch": 0.040266666666666666, |
| "grad_norm": 4.40625, |
| "learning_rate": 1.9927560812835763e-05, |
| "loss": 0.4525, |
| "step": 6040 |
| }, |
| { |
| "epoch": 0.04033333333333333, |
| "grad_norm": 5.0, |
| "learning_rate": 1.9927308454123975e-05, |
| "loss": 0.4681, |
| "step": 6050 |
| }, |
| { |
| "epoch": 0.0404, |
| "grad_norm": 5.6875, |
| "learning_rate": 1.9927055658204625e-05, |
| "loss": 0.5101, |
| "step": 6060 |
| }, |
| { |
| "epoch": 0.040466666666666665, |
| "grad_norm": 5.125, |
| "learning_rate": 1.9926802425088857e-05, |
| "loss": 0.4326, |
| "step": 6070 |
| }, |
| { |
| "epoch": 0.04053333333333333, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.9926548754787815e-05, |
| "loss": 0.4198, |
| "step": 6080 |
| }, |
| { |
| "epoch": 0.0406, |
| "grad_norm": 4.8125, |
| "learning_rate": 1.9926294647312678e-05, |
| "loss": 0.4425, |
| "step": 6090 |
| }, |
| { |
| "epoch": 0.04066666666666666, |
| "grad_norm": 4.15625, |
| "learning_rate": 1.992604010267463e-05, |
| "loss": 0.4278, |
| "step": 6100 |
| }, |
| { |
| "epoch": 0.04073333333333334, |
| "grad_norm": 3.1875, |
| "learning_rate": 1.9925785120884887e-05, |
| "loss": 0.4324, |
| "step": 6110 |
| }, |
| { |
| "epoch": 0.0408, |
| "grad_norm": 5.53125, |
| "learning_rate": 1.992552970195468e-05, |
| "loss": 0.4543, |
| "step": 6120 |
| }, |
| { |
| "epoch": 0.04086666666666667, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.9925273845895246e-05, |
| "loss": 0.4607, |
| "step": 6130 |
| }, |
| { |
| "epoch": 0.040933333333333335, |
| "grad_norm": 6.0625, |
| "learning_rate": 1.9925017552717868e-05, |
| "loss": 0.4536, |
| "step": 6140 |
| }, |
| { |
| "epoch": 0.041, |
| "grad_norm": 4.875, |
| "learning_rate": 1.992476082243383e-05, |
| "loss": 0.4485, |
| "step": 6150 |
| }, |
| { |
| "epoch": 0.04106666666666667, |
| "grad_norm": 4.15625, |
| "learning_rate": 1.9924503655054428e-05, |
| "loss": 0.43, |
| "step": 6160 |
| }, |
| { |
| "epoch": 0.041133333333333334, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.9924246050591002e-05, |
| "loss": 0.4062, |
| "step": 6170 |
| }, |
| { |
| "epoch": 0.0412, |
| "grad_norm": 6.09375, |
| "learning_rate": 1.9923988009054885e-05, |
| "loss": 0.4551, |
| "step": 6180 |
| }, |
| { |
| "epoch": 0.04126666666666667, |
| "grad_norm": 5.8125, |
| "learning_rate": 1.9923729530457453e-05, |
| "loss": 0.4116, |
| "step": 6190 |
| }, |
| { |
| "epoch": 0.04133333333333333, |
| "grad_norm": 7.0625, |
| "learning_rate": 1.9923470614810077e-05, |
| "loss": 0.4912, |
| "step": 6200 |
| }, |
| { |
| "epoch": 0.0414, |
| "grad_norm": 4.34375, |
| "learning_rate": 1.992321126212417e-05, |
| "loss": 0.4044, |
| "step": 6210 |
| }, |
| { |
| "epoch": 0.041466666666666666, |
| "grad_norm": 10.0, |
| "learning_rate": 1.992295147241115e-05, |
| "loss": 0.4379, |
| "step": 6220 |
| }, |
| { |
| "epoch": 0.04153333333333333, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.9922691245682462e-05, |
| "loss": 0.4304, |
| "step": 6230 |
| }, |
| { |
| "epoch": 0.0416, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.9922430581949564e-05, |
| "loss": 0.385, |
| "step": 6240 |
| }, |
| { |
| "epoch": 0.041666666666666664, |
| "grad_norm": 4.65625, |
| "learning_rate": 1.9922169481223933e-05, |
| "loss": 0.4059, |
| "step": 6250 |
| }, |
| { |
| "epoch": 0.04173333333333333, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.992190794351707e-05, |
| "loss": 0.371, |
| "step": 6260 |
| }, |
| { |
| "epoch": 0.0418, |
| "grad_norm": 5.125, |
| "learning_rate": 1.9921645968840492e-05, |
| "loss": 0.4448, |
| "step": 6270 |
| }, |
| { |
| "epoch": 0.04186666666666667, |
| "grad_norm": 5.5625, |
| "learning_rate": 1.9921383557205743e-05, |
| "loss": 0.4459, |
| "step": 6280 |
| }, |
| { |
| "epoch": 0.041933333333333336, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9921120708624375e-05, |
| "loss": 0.4245, |
| "step": 6290 |
| }, |
| { |
| "epoch": 0.042, |
| "grad_norm": 4.625, |
| "learning_rate": 1.9920857423107963e-05, |
| "loss": 0.4074, |
| "step": 6300 |
| }, |
| { |
| "epoch": 0.04206666666666667, |
| "grad_norm": 4.375, |
| "learning_rate": 1.9920593700668105e-05, |
| "loss": 0.418, |
| "step": 6310 |
| }, |
| { |
| "epoch": 0.042133333333333335, |
| "grad_norm": 6.34375, |
| "learning_rate": 1.9920329541316414e-05, |
| "loss": 0.4167, |
| "step": 6320 |
| }, |
| { |
| "epoch": 0.0422, |
| "grad_norm": 3.375, |
| "learning_rate": 1.9920064945064523e-05, |
| "loss": 0.3876, |
| "step": 6330 |
| }, |
| { |
| "epoch": 0.04226666666666667, |
| "grad_norm": 5.125, |
| "learning_rate": 1.991979991192409e-05, |
| "loss": 0.4643, |
| "step": 6340 |
| }, |
| { |
| "epoch": 0.042333333333333334, |
| "grad_norm": 2.484375, |
| "learning_rate": 1.991953444190678e-05, |
| "loss": 0.3921, |
| "step": 6350 |
| }, |
| { |
| "epoch": 0.0424, |
| "grad_norm": 4.3125, |
| "learning_rate": 1.991926853502429e-05, |
| "loss": 0.444, |
| "step": 6360 |
| }, |
| { |
| "epoch": 0.042466666666666666, |
| "grad_norm": 5.375, |
| "learning_rate": 1.991900219128833e-05, |
| "loss": 0.3673, |
| "step": 6370 |
| }, |
| { |
| "epoch": 0.04253333333333333, |
| "grad_norm": 8.3125, |
| "learning_rate": 1.991873541071063e-05, |
| "loss": 0.4166, |
| "step": 6380 |
| }, |
| { |
| "epoch": 0.0426, |
| "grad_norm": 5.5625, |
| "learning_rate": 1.9918468193302932e-05, |
| "loss": 0.3951, |
| "step": 6390 |
| }, |
| { |
| "epoch": 0.042666666666666665, |
| "grad_norm": 5.625, |
| "learning_rate": 1.9918200539077014e-05, |
| "loss": 0.3823, |
| "step": 6400 |
| }, |
| { |
| "epoch": 0.04273333333333333, |
| "grad_norm": 6.53125, |
| "learning_rate": 1.9917932448044663e-05, |
| "loss": 0.4482, |
| "step": 6410 |
| }, |
| { |
| "epoch": 0.0428, |
| "grad_norm": 4.875, |
| "learning_rate": 1.9917663920217678e-05, |
| "loss": 0.4333, |
| "step": 6420 |
| }, |
| { |
| "epoch": 0.042866666666666664, |
| "grad_norm": 7.125, |
| "learning_rate": 1.9917394955607894e-05, |
| "loss": 0.3869, |
| "step": 6430 |
| }, |
| { |
| "epoch": 0.04293333333333333, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9917125554227153e-05, |
| "loss": 0.4387, |
| "step": 6440 |
| }, |
| { |
| "epoch": 0.043, |
| "grad_norm": 4.53125, |
| "learning_rate": 1.991685571608732e-05, |
| "loss": 0.4247, |
| "step": 6450 |
| }, |
| { |
| "epoch": 0.04306666666666667, |
| "grad_norm": 8.5, |
| "learning_rate": 1.991658544120028e-05, |
| "loss": 0.4368, |
| "step": 6460 |
| }, |
| { |
| "epoch": 0.043133333333333336, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.9916314729577934e-05, |
| "loss": 0.4262, |
| "step": 6470 |
| }, |
| { |
| "epoch": 0.0432, |
| "grad_norm": 5.125, |
| "learning_rate": 1.9916043581232204e-05, |
| "loss": 0.4448, |
| "step": 6480 |
| }, |
| { |
| "epoch": 0.04326666666666667, |
| "grad_norm": 4.5625, |
| "learning_rate": 1.991577199617503e-05, |
| "loss": 0.4043, |
| "step": 6490 |
| }, |
| { |
| "epoch": 0.043333333333333335, |
| "grad_norm": 6.09375, |
| "learning_rate": 1.991549997441838e-05, |
| "loss": 0.4149, |
| "step": 6500 |
| }, |
| { |
| "epoch": 0.0434, |
| "grad_norm": 6.3125, |
| "learning_rate": 1.991522751597423e-05, |
| "loss": 0.482, |
| "step": 6510 |
| }, |
| { |
| "epoch": 0.04346666666666667, |
| "grad_norm": 6.3125, |
| "learning_rate": 1.9914954620854577e-05, |
| "loss": 0.4187, |
| "step": 6520 |
| }, |
| { |
| "epoch": 0.043533333333333334, |
| "grad_norm": 5.84375, |
| "learning_rate": 1.9914681289071442e-05, |
| "loss": 0.4166, |
| "step": 6530 |
| }, |
| { |
| "epoch": 0.0436, |
| "grad_norm": 5.125, |
| "learning_rate": 1.9914407520636864e-05, |
| "loss": 0.425, |
| "step": 6540 |
| }, |
| { |
| "epoch": 0.043666666666666666, |
| "grad_norm": 5.28125, |
| "learning_rate": 1.9914133315562897e-05, |
| "loss": 0.44, |
| "step": 6550 |
| }, |
| { |
| "epoch": 0.04373333333333333, |
| "grad_norm": 4.53125, |
| "learning_rate": 1.991385867386162e-05, |
| "loss": 0.4416, |
| "step": 6560 |
| }, |
| { |
| "epoch": 0.0438, |
| "grad_norm": 4.25, |
| "learning_rate": 1.9913583595545123e-05, |
| "loss": 0.4351, |
| "step": 6570 |
| }, |
| { |
| "epoch": 0.043866666666666665, |
| "grad_norm": 4.5, |
| "learning_rate": 1.9913308080625525e-05, |
| "loss": 0.4224, |
| "step": 6580 |
| }, |
| { |
| "epoch": 0.04393333333333333, |
| "grad_norm": 4.21875, |
| "learning_rate": 1.9913032129114965e-05, |
| "loss": 0.5226, |
| "step": 6590 |
| }, |
| { |
| "epoch": 0.044, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.991275574102559e-05, |
| "loss": 0.4389, |
| "step": 6600 |
| }, |
| { |
| "epoch": 0.044066666666666664, |
| "grad_norm": 5.25, |
| "learning_rate": 1.991247891636957e-05, |
| "loss": 0.4468, |
| "step": 6610 |
| }, |
| { |
| "epoch": 0.04413333333333333, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.9912201655159102e-05, |
| "loss": 0.4169, |
| "step": 6620 |
| }, |
| { |
| "epoch": 0.0442, |
| "grad_norm": 4.59375, |
| "learning_rate": 1.9911923957406393e-05, |
| "loss": 0.4129, |
| "step": 6630 |
| }, |
| { |
| "epoch": 0.04426666666666667, |
| "grad_norm": 4.1875, |
| "learning_rate": 1.9911645823123674e-05, |
| "loss": 0.4356, |
| "step": 6640 |
| }, |
| { |
| "epoch": 0.044333333333333336, |
| "grad_norm": 2.546875, |
| "learning_rate": 1.9911367252323197e-05, |
| "loss": 0.4296, |
| "step": 6650 |
| }, |
| { |
| "epoch": 0.0444, |
| "grad_norm": 7.03125, |
| "learning_rate": 1.9911088245017226e-05, |
| "loss": 0.4536, |
| "step": 6660 |
| }, |
| { |
| "epoch": 0.04446666666666667, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.9910808801218054e-05, |
| "loss": 0.4398, |
| "step": 6670 |
| }, |
| { |
| "epoch": 0.044533333333333334, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.9910528920937987e-05, |
| "loss": 0.4358, |
| "step": 6680 |
| }, |
| { |
| "epoch": 0.0446, |
| "grad_norm": 5.125, |
| "learning_rate": 1.9910248604189346e-05, |
| "loss": 0.4119, |
| "step": 6690 |
| }, |
| { |
| "epoch": 0.04466666666666667, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.9909967850984482e-05, |
| "loss": 0.4267, |
| "step": 6700 |
| }, |
| { |
| "epoch": 0.04473333333333333, |
| "grad_norm": 3.453125, |
| "learning_rate": 1.9909686661335754e-05, |
| "loss": 0.4696, |
| "step": 6710 |
| }, |
| { |
| "epoch": 0.0448, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9909405035255554e-05, |
| "loss": 0.4221, |
| "step": 6720 |
| }, |
| { |
| "epoch": 0.044866666666666666, |
| "grad_norm": 5.84375, |
| "learning_rate": 1.9909122972756275e-05, |
| "loss": 0.4478, |
| "step": 6730 |
| }, |
| { |
| "epoch": 0.04493333333333333, |
| "grad_norm": 4.46875, |
| "learning_rate": 1.9908840473850347e-05, |
| "loss": 0.4561, |
| "step": 6740 |
| }, |
| { |
| "epoch": 0.045, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.990855753855021e-05, |
| "loss": 0.4372, |
| "step": 6750 |
| }, |
| { |
| "epoch": 0.045066666666666665, |
| "grad_norm": 4.9375, |
| "learning_rate": 1.9908274166868322e-05, |
| "loss": 0.4306, |
| "step": 6760 |
| }, |
| { |
| "epoch": 0.04513333333333333, |
| "grad_norm": 5.5625, |
| "learning_rate": 1.990799035881717e-05, |
| "loss": 0.4011, |
| "step": 6770 |
| }, |
| { |
| "epoch": 0.0452, |
| "grad_norm": 8.0625, |
| "learning_rate": 1.990770611440924e-05, |
| "loss": 0.431, |
| "step": 6780 |
| }, |
| { |
| "epoch": 0.04526666666666666, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.9907421433657063e-05, |
| "loss": 0.43, |
| "step": 6790 |
| }, |
| { |
| "epoch": 0.04533333333333334, |
| "grad_norm": 4.65625, |
| "learning_rate": 1.9907136316573173e-05, |
| "loss": 0.505, |
| "step": 6800 |
| }, |
| { |
| "epoch": 0.0454, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.9906850763170123e-05, |
| "loss": 0.4373, |
| "step": 6810 |
| }, |
| { |
| "epoch": 0.04546666666666667, |
| "grad_norm": 3.28125, |
| "learning_rate": 1.990656477346049e-05, |
| "loss": 0.4454, |
| "step": 6820 |
| }, |
| { |
| "epoch": 0.045533333333333335, |
| "grad_norm": 5.375, |
| "learning_rate": 1.9906278347456875e-05, |
| "loss": 0.4459, |
| "step": 6830 |
| }, |
| { |
| "epoch": 0.0456, |
| "grad_norm": 4.71875, |
| "learning_rate": 1.990599148517189e-05, |
| "loss": 0.4545, |
| "step": 6840 |
| }, |
| { |
| "epoch": 0.04566666666666667, |
| "grad_norm": 6.5, |
| "learning_rate": 1.9905704186618163e-05, |
| "loss": 0.4947, |
| "step": 6850 |
| }, |
| { |
| "epoch": 0.045733333333333334, |
| "grad_norm": 4.125, |
| "learning_rate": 1.990541645180835e-05, |
| "loss": 0.4254, |
| "step": 6860 |
| }, |
| { |
| "epoch": 0.0458, |
| "grad_norm": 3.96875, |
| "learning_rate": 1.9905128280755125e-05, |
| "loss": 0.4268, |
| "step": 6870 |
| }, |
| { |
| "epoch": 0.04586666666666667, |
| "grad_norm": 7.03125, |
| "learning_rate": 1.9904839673471183e-05, |
| "loss": 0.4424, |
| "step": 6880 |
| }, |
| { |
| "epoch": 0.04593333333333333, |
| "grad_norm": 4.5, |
| "learning_rate": 1.9904550629969227e-05, |
| "loss": 0.3876, |
| "step": 6890 |
| }, |
| { |
| "epoch": 0.046, |
| "grad_norm": 5.5625, |
| "learning_rate": 1.9904261150261986e-05, |
| "loss": 0.4038, |
| "step": 6900 |
| }, |
| { |
| "epoch": 0.046066666666666665, |
| "grad_norm": 4.5, |
| "learning_rate": 1.9903971234362218e-05, |
| "loss": 0.4042, |
| "step": 6910 |
| }, |
| { |
| "epoch": 0.04613333333333333, |
| "grad_norm": 5.75, |
| "learning_rate": 1.9903680882282683e-05, |
| "loss": 0.4674, |
| "step": 6920 |
| }, |
| { |
| "epoch": 0.0462, |
| "grad_norm": 4.28125, |
| "learning_rate": 1.9903390094036174e-05, |
| "loss": 0.4351, |
| "step": 6930 |
| }, |
| { |
| "epoch": 0.046266666666666664, |
| "grad_norm": 5.71875, |
| "learning_rate": 1.990309886963549e-05, |
| "loss": 0.4837, |
| "step": 6940 |
| }, |
| { |
| "epoch": 0.04633333333333333, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9902807209093465e-05, |
| "loss": 0.407, |
| "step": 6950 |
| }, |
| { |
| "epoch": 0.0464, |
| "grad_norm": 6.0625, |
| "learning_rate": 1.990251511242294e-05, |
| "loss": 0.4311, |
| "step": 6960 |
| }, |
| { |
| "epoch": 0.04646666666666667, |
| "grad_norm": 5.25, |
| "learning_rate": 1.990222257963678e-05, |
| "loss": 0.4996, |
| "step": 6970 |
| }, |
| { |
| "epoch": 0.046533333333333336, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.9901929610747864e-05, |
| "loss": 0.4673, |
| "step": 6980 |
| }, |
| { |
| "epoch": 0.0466, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9901636205769105e-05, |
| "loss": 0.4204, |
| "step": 6990 |
| }, |
| { |
| "epoch": 0.04666666666666667, |
| "grad_norm": 3.9375, |
| "learning_rate": 1.9901342364713417e-05, |
| "loss": 0.4321, |
| "step": 7000 |
| }, |
| { |
| "epoch": 0.046733333333333335, |
| "grad_norm": 7.6875, |
| "learning_rate": 1.990104808759374e-05, |
| "loss": 0.4319, |
| "step": 7010 |
| }, |
| { |
| "epoch": 0.0468, |
| "grad_norm": 6.40625, |
| "learning_rate": 1.9900753374423036e-05, |
| "loss": 0.429, |
| "step": 7020 |
| }, |
| { |
| "epoch": 0.04686666666666667, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.990045822521429e-05, |
| "loss": 0.3885, |
| "step": 7030 |
| }, |
| { |
| "epoch": 0.046933333333333334, |
| "grad_norm": 5.5, |
| "learning_rate": 1.9900162639980492e-05, |
| "loss": 0.3706, |
| "step": 7040 |
| }, |
| { |
| "epoch": 0.047, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.9899866618734664e-05, |
| "loss": 0.4368, |
| "step": 7050 |
| }, |
| { |
| "epoch": 0.047066666666666666, |
| "grad_norm": 5.28125, |
| "learning_rate": 1.9899570161489843e-05, |
| "loss": 0.4202, |
| "step": 7060 |
| }, |
| { |
| "epoch": 0.04713333333333333, |
| "grad_norm": 7.0, |
| "learning_rate": 1.9899273268259086e-05, |
| "loss": 0.4308, |
| "step": 7070 |
| }, |
| { |
| "epoch": 0.0472, |
| "grad_norm": 6.1875, |
| "learning_rate": 1.9898975939055466e-05, |
| "loss": 0.4234, |
| "step": 7080 |
| }, |
| { |
| "epoch": 0.047266666666666665, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.9898678173892082e-05, |
| "loss": 0.4471, |
| "step": 7090 |
| }, |
| { |
| "epoch": 0.04733333333333333, |
| "grad_norm": 4.875, |
| "learning_rate": 1.9898379972782044e-05, |
| "loss": 0.4632, |
| "step": 7100 |
| }, |
| { |
| "epoch": 0.0474, |
| "grad_norm": 6.34375, |
| "learning_rate": 1.9898081335738483e-05, |
| "loss": 0.4356, |
| "step": 7110 |
| }, |
| { |
| "epoch": 0.047466666666666664, |
| "grad_norm": 6.1875, |
| "learning_rate": 1.9897782262774555e-05, |
| "loss": 0.4372, |
| "step": 7120 |
| }, |
| { |
| "epoch": 0.04753333333333333, |
| "grad_norm": 5.5625, |
| "learning_rate": 1.989748275390343e-05, |
| "loss": 0.4774, |
| "step": 7130 |
| }, |
| { |
| "epoch": 0.0476, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.9897182809138303e-05, |
| "loss": 0.4669, |
| "step": 7140 |
| }, |
| { |
| "epoch": 0.04766666666666667, |
| "grad_norm": 2.3125, |
| "learning_rate": 1.9896882428492375e-05, |
| "loss": 0.436, |
| "step": 7150 |
| }, |
| { |
| "epoch": 0.047733333333333336, |
| "grad_norm": 4.125, |
| "learning_rate": 1.9896581611978885e-05, |
| "loss": 0.4626, |
| "step": 7160 |
| }, |
| { |
| "epoch": 0.0478, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.9896280359611073e-05, |
| "loss": 0.44, |
| "step": 7170 |
| }, |
| { |
| "epoch": 0.04786666666666667, |
| "grad_norm": 7.5, |
| "learning_rate": 1.989597867140221e-05, |
| "loss": 0.4047, |
| "step": 7180 |
| }, |
| { |
| "epoch": 0.047933333333333335, |
| "grad_norm": 4.875, |
| "learning_rate": 1.9895676547365587e-05, |
| "loss": 0.4314, |
| "step": 7190 |
| }, |
| { |
| "epoch": 0.048, |
| "grad_norm": 6.09375, |
| "learning_rate": 1.9895373987514502e-05, |
| "loss": 0.4414, |
| "step": 7200 |
| }, |
| { |
| "epoch": 0.04806666666666667, |
| "grad_norm": 4.53125, |
| "learning_rate": 1.9895070991862283e-05, |
| "loss": 0.4488, |
| "step": 7210 |
| }, |
| { |
| "epoch": 0.048133333333333334, |
| "grad_norm": 4.34375, |
| "learning_rate": 1.9894767560422274e-05, |
| "loss": 0.4133, |
| "step": 7220 |
| }, |
| { |
| "epoch": 0.0482, |
| "grad_norm": 4.71875, |
| "learning_rate": 1.989446369320784e-05, |
| "loss": 0.4653, |
| "step": 7230 |
| }, |
| { |
| "epoch": 0.048266666666666666, |
| "grad_norm": 3.40625, |
| "learning_rate": 1.989415939023236e-05, |
| "loss": 0.4295, |
| "step": 7240 |
| }, |
| { |
| "epoch": 0.04833333333333333, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.9893854651509242e-05, |
| "loss": 0.4759, |
| "step": 7250 |
| }, |
| { |
| "epoch": 0.0484, |
| "grad_norm": 6.6875, |
| "learning_rate": 1.98935494770519e-05, |
| "loss": 0.4783, |
| "step": 7260 |
| }, |
| { |
| "epoch": 0.048466666666666665, |
| "grad_norm": 0.6015625, |
| "learning_rate": 1.9893243866873778e-05, |
| "loss": 0.4009, |
| "step": 7270 |
| }, |
| { |
| "epoch": 0.04853333333333333, |
| "grad_norm": 3.90625, |
| "learning_rate": 1.9892937820988333e-05, |
| "loss": 0.4322, |
| "step": 7280 |
| }, |
| { |
| "epoch": 0.0486, |
| "grad_norm": 6.5625, |
| "learning_rate": 1.989263133940905e-05, |
| "loss": 0.3858, |
| "step": 7290 |
| }, |
| { |
| "epoch": 0.048666666666666664, |
| "grad_norm": 4.4375, |
| "learning_rate": 1.9892324422149415e-05, |
| "loss": 0.3912, |
| "step": 7300 |
| }, |
| { |
| "epoch": 0.04873333333333333, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.989201706922296e-05, |
| "loss": 0.4745, |
| "step": 7310 |
| }, |
| { |
| "epoch": 0.0488, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.9891709280643207e-05, |
| "loss": 0.4205, |
| "step": 7320 |
| }, |
| { |
| "epoch": 0.04886666666666667, |
| "grad_norm": 4.625, |
| "learning_rate": 1.9891401056423717e-05, |
| "loss": 0.4084, |
| "step": 7330 |
| }, |
| { |
| "epoch": 0.048933333333333336, |
| "grad_norm": 5.40625, |
| "learning_rate": 1.989109239657807e-05, |
| "loss": 0.4218, |
| "step": 7340 |
| }, |
| { |
| "epoch": 0.049, |
| "grad_norm": 6.28125, |
| "learning_rate": 1.989078330111985e-05, |
| "loss": 0.4403, |
| "step": 7350 |
| }, |
| { |
| "epoch": 0.04906666666666667, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.9890473770062675e-05, |
| "loss": 0.4548, |
| "step": 7360 |
| }, |
| { |
| "epoch": 0.049133333333333334, |
| "grad_norm": 4.9375, |
| "learning_rate": 1.9890163803420176e-05, |
| "loss": 0.4323, |
| "step": 7370 |
| }, |
| { |
| "epoch": 0.0492, |
| "grad_norm": 5.59375, |
| "learning_rate": 1.9889853401206004e-05, |
| "loss": 0.4327, |
| "step": 7380 |
| }, |
| { |
| "epoch": 0.04926666666666667, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.9889542563433833e-05, |
| "loss": 0.4266, |
| "step": 7390 |
| }, |
| { |
| "epoch": 0.04933333333333333, |
| "grad_norm": 5.6875, |
| "learning_rate": 1.9889231290117347e-05, |
| "loss": 0.4617, |
| "step": 7400 |
| }, |
| { |
| "epoch": 0.0494, |
| "grad_norm": 4.3125, |
| "learning_rate": 1.9888919581270255e-05, |
| "loss": 0.4358, |
| "step": 7410 |
| }, |
| { |
| "epoch": 0.049466666666666666, |
| "grad_norm": 6.0, |
| "learning_rate": 1.988860743690629e-05, |
| "loss": 0.4498, |
| "step": 7420 |
| }, |
| { |
| "epoch": 0.04953333333333333, |
| "grad_norm": 6.40625, |
| "learning_rate": 1.9888294857039196e-05, |
| "loss": 0.4447, |
| "step": 7430 |
| }, |
| { |
| "epoch": 0.0496, |
| "grad_norm": 5.375, |
| "learning_rate": 1.9887981841682736e-05, |
| "loss": 0.4471, |
| "step": 7440 |
| }, |
| { |
| "epoch": 0.049666666666666665, |
| "grad_norm": 8.625, |
| "learning_rate": 1.9887668390850704e-05, |
| "loss": 0.4438, |
| "step": 7450 |
| }, |
| { |
| "epoch": 0.04973333333333333, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9887354504556896e-05, |
| "loss": 0.5144, |
| "step": 7460 |
| }, |
| { |
| "epoch": 0.0498, |
| "grad_norm": 4.5625, |
| "learning_rate": 1.9887040182815142e-05, |
| "loss": 0.4157, |
| "step": 7470 |
| }, |
| { |
| "epoch": 0.04986666666666666, |
| "grad_norm": 5.0, |
| "learning_rate": 1.988672542563928e-05, |
| "loss": 0.4445, |
| "step": 7480 |
| }, |
| { |
| "epoch": 0.049933333333333337, |
| "grad_norm": 5.8125, |
| "learning_rate": 1.9886410233043176e-05, |
| "loss": 0.4238, |
| "step": 7490 |
| }, |
| { |
| "epoch": 0.05, |
| "grad_norm": 6.4375, |
| "learning_rate": 1.988609460504071e-05, |
| "loss": 0.3896, |
| "step": 7500 |
| }, |
| { |
| "epoch": 0.05006666666666667, |
| "grad_norm": 4.375, |
| "learning_rate": 1.988577854164578e-05, |
| "loss": 0.475, |
| "step": 7510 |
| }, |
| { |
| "epoch": 0.050133333333333335, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.9885462042872312e-05, |
| "loss": 0.4295, |
| "step": 7520 |
| }, |
| { |
| "epoch": 0.0502, |
| "grad_norm": 4.25, |
| "learning_rate": 1.988514510873424e-05, |
| "loss": 0.4073, |
| "step": 7530 |
| }, |
| { |
| "epoch": 0.05026666666666667, |
| "grad_norm": 4.75, |
| "learning_rate": 1.9884827739245525e-05, |
| "loss": 0.4776, |
| "step": 7540 |
| }, |
| { |
| "epoch": 0.050333333333333334, |
| "grad_norm": 5.375, |
| "learning_rate": 1.988450993442014e-05, |
| "loss": 0.4294, |
| "step": 7550 |
| }, |
| { |
| "epoch": 0.0504, |
| "grad_norm": 0.85546875, |
| "learning_rate": 1.9884191694272084e-05, |
| "loss": 0.4399, |
| "step": 7560 |
| }, |
| { |
| "epoch": 0.05046666666666667, |
| "grad_norm": 4.96875, |
| "learning_rate": 1.988387301881537e-05, |
| "loss": 0.4217, |
| "step": 7570 |
| }, |
| { |
| "epoch": 0.05053333333333333, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.988355390806404e-05, |
| "loss": 0.3959, |
| "step": 7580 |
| }, |
| { |
| "epoch": 0.0506, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.9883234362032144e-05, |
| "loss": 0.4356, |
| "step": 7590 |
| }, |
| { |
| "epoch": 0.050666666666666665, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.9882914380733748e-05, |
| "loss": 0.4404, |
| "step": 7600 |
| }, |
| { |
| "epoch": 0.05073333333333333, |
| "grad_norm": 5.90625, |
| "learning_rate": 1.9882593964182956e-05, |
| "loss": 0.4049, |
| "step": 7610 |
| }, |
| { |
| "epoch": 0.0508, |
| "grad_norm": 6.625, |
| "learning_rate": 1.988227311239387e-05, |
| "loss": 0.4456, |
| "step": 7620 |
| }, |
| { |
| "epoch": 0.050866666666666664, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9881951825380627e-05, |
| "loss": 0.4084, |
| "step": 7630 |
| }, |
| { |
| "epoch": 0.05093333333333333, |
| "grad_norm": 8.25, |
| "learning_rate": 1.9881630103157373e-05, |
| "loss": 0.4752, |
| "step": 7640 |
| }, |
| { |
| "epoch": 0.051, |
| "grad_norm": 4.3125, |
| "learning_rate": 1.9881307945738277e-05, |
| "loss": 0.3989, |
| "step": 7650 |
| }, |
| { |
| "epoch": 0.05106666666666667, |
| "grad_norm": 5.5625, |
| "learning_rate": 1.9880985353137533e-05, |
| "loss": 0.4316, |
| "step": 7660 |
| }, |
| { |
| "epoch": 0.051133333333333336, |
| "grad_norm": 4.375, |
| "learning_rate": 1.9880662325369337e-05, |
| "loss": 0.3848, |
| "step": 7670 |
| }, |
| { |
| "epoch": 0.0512, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.9880338862447928e-05, |
| "loss": 0.4337, |
| "step": 7680 |
| }, |
| { |
| "epoch": 0.05126666666666667, |
| "grad_norm": 7.15625, |
| "learning_rate": 1.9880014964387544e-05, |
| "loss": 0.4668, |
| "step": 7690 |
| }, |
| { |
| "epoch": 0.051333333333333335, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.987969063120245e-05, |
| "loss": 0.4006, |
| "step": 7700 |
| }, |
| { |
| "epoch": 0.0514, |
| "grad_norm": 2.5, |
| "learning_rate": 1.987936586290693e-05, |
| "loss": 0.4481, |
| "step": 7710 |
| }, |
| { |
| "epoch": 0.05146666666666667, |
| "grad_norm": 4.5, |
| "learning_rate": 1.9879040659515292e-05, |
| "loss": 0.3978, |
| "step": 7720 |
| }, |
| { |
| "epoch": 0.051533333333333334, |
| "grad_norm": 9.375, |
| "learning_rate": 1.987871502104185e-05, |
| "loss": 0.4658, |
| "step": 7730 |
| }, |
| { |
| "epoch": 0.0516, |
| "grad_norm": 4.25, |
| "learning_rate": 1.9878388947500955e-05, |
| "loss": 0.4182, |
| "step": 7740 |
| }, |
| { |
| "epoch": 0.051666666666666666, |
| "grad_norm": 6.75, |
| "learning_rate": 1.987806243890696e-05, |
| "loss": 0.4547, |
| "step": 7750 |
| }, |
| { |
| "epoch": 0.05173333333333333, |
| "grad_norm": 4.59375, |
| "learning_rate": 1.987773549527425e-05, |
| "loss": 0.3977, |
| "step": 7760 |
| }, |
| { |
| "epoch": 0.0518, |
| "grad_norm": 5.65625, |
| "learning_rate": 1.9877408116617215e-05, |
| "loss": 0.4632, |
| "step": 7770 |
| }, |
| { |
| "epoch": 0.051866666666666665, |
| "grad_norm": 4.21875, |
| "learning_rate": 1.9877080302950283e-05, |
| "loss": 0.4813, |
| "step": 7780 |
| }, |
| { |
| "epoch": 0.05193333333333333, |
| "grad_norm": 5.375, |
| "learning_rate": 1.987675205428789e-05, |
| "loss": 0.4721, |
| "step": 7790 |
| }, |
| { |
| "epoch": 0.052, |
| "grad_norm": 6.03125, |
| "learning_rate": 1.9876423370644485e-05, |
| "loss": 0.489, |
| "step": 7800 |
| }, |
| { |
| "epoch": 0.052066666666666664, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.9876094252034553e-05, |
| "loss": 0.4176, |
| "step": 7810 |
| }, |
| { |
| "epoch": 0.05213333333333333, |
| "grad_norm": 4.8125, |
| "learning_rate": 1.9875764698472583e-05, |
| "loss": 0.3902, |
| "step": 7820 |
| }, |
| { |
| "epoch": 0.0522, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.9875434709973088e-05, |
| "loss": 0.4499, |
| "step": 7830 |
| }, |
| { |
| "epoch": 0.05226666666666667, |
| "grad_norm": 7.34375, |
| "learning_rate": 1.9875104286550605e-05, |
| "loss": 0.4882, |
| "step": 7840 |
| }, |
| { |
| "epoch": 0.052333333333333336, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9874773428219683e-05, |
| "loss": 0.4544, |
| "step": 7850 |
| }, |
| { |
| "epoch": 0.0524, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.9874442134994892e-05, |
| "loss": 0.417, |
| "step": 7860 |
| }, |
| { |
| "epoch": 0.05246666666666667, |
| "grad_norm": 4.625, |
| "learning_rate": 1.9874110406890827e-05, |
| "loss": 0.411, |
| "step": 7870 |
| }, |
| { |
| "epoch": 0.052533333333333335, |
| "grad_norm": 6.34375, |
| "learning_rate": 1.9873778243922096e-05, |
| "loss": 0.4403, |
| "step": 7880 |
| }, |
| { |
| "epoch": 0.0526, |
| "grad_norm": 7.59375, |
| "learning_rate": 1.9873445646103327e-05, |
| "loss": 0.4382, |
| "step": 7890 |
| }, |
| { |
| "epoch": 0.05266666666666667, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.9873112613449166e-05, |
| "loss": 0.4295, |
| "step": 7900 |
| }, |
| { |
| "epoch": 0.05273333333333333, |
| "grad_norm": 4.21875, |
| "learning_rate": 1.9872779145974283e-05, |
| "loss": 0.3701, |
| "step": 7910 |
| }, |
| { |
| "epoch": 0.0528, |
| "grad_norm": 4.0, |
| "learning_rate": 1.9872445243693367e-05, |
| "loss": 0.4192, |
| "step": 7920 |
| }, |
| { |
| "epoch": 0.052866666666666666, |
| "grad_norm": 7.84375, |
| "learning_rate": 1.9872110906621115e-05, |
| "loss": 0.4978, |
| "step": 7930 |
| }, |
| { |
| "epoch": 0.05293333333333333, |
| "grad_norm": 5.4375, |
| "learning_rate": 1.9871776134772255e-05, |
| "loss": 0.4889, |
| "step": 7940 |
| }, |
| { |
| "epoch": 0.053, |
| "grad_norm": 5.625, |
| "learning_rate": 1.9871440928161536e-05, |
| "loss": 0.4081, |
| "step": 7950 |
| }, |
| { |
| "epoch": 0.053066666666666665, |
| "grad_norm": 4.5625, |
| "learning_rate": 1.9871105286803717e-05, |
| "loss": 0.4237, |
| "step": 7960 |
| }, |
| { |
| "epoch": 0.05313333333333333, |
| "grad_norm": 5.53125, |
| "learning_rate": 1.9870769210713576e-05, |
| "loss": 0.4473, |
| "step": 7970 |
| }, |
| { |
| "epoch": 0.0532, |
| "grad_norm": 5.625, |
| "learning_rate": 1.9870432699905916e-05, |
| "loss": 0.4577, |
| "step": 7980 |
| }, |
| { |
| "epoch": 0.053266666666666664, |
| "grad_norm": 3.609375, |
| "learning_rate": 1.9870095754395564e-05, |
| "loss": 0.3885, |
| "step": 7990 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 1.5390625, |
| "learning_rate": 1.9869758374197353e-05, |
| "loss": 0.3824, |
| "step": 8000 |
| }, |
| { |
| "epoch": 0.0534, |
| "grad_norm": 4.8125, |
| "learning_rate": 1.9869420559326143e-05, |
| "loss": 0.4568, |
| "step": 8010 |
| }, |
| { |
| "epoch": 0.05346666666666667, |
| "grad_norm": 6.875, |
| "learning_rate": 1.9869082309796808e-05, |
| "loss": 0.4134, |
| "step": 8020 |
| }, |
| { |
| "epoch": 0.053533333333333336, |
| "grad_norm": 5.0, |
| "learning_rate": 1.9868743625624253e-05, |
| "loss": 0.4368, |
| "step": 8030 |
| }, |
| { |
| "epoch": 0.0536, |
| "grad_norm": 4.90625, |
| "learning_rate": 1.9868404506823386e-05, |
| "loss": 0.4503, |
| "step": 8040 |
| }, |
| { |
| "epoch": 0.05366666666666667, |
| "grad_norm": 6.46875, |
| "learning_rate": 1.9868064953409147e-05, |
| "loss": 0.4446, |
| "step": 8050 |
| }, |
| { |
| "epoch": 0.053733333333333334, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.986772496539649e-05, |
| "loss": 0.4355, |
| "step": 8060 |
| }, |
| { |
| "epoch": 0.0538, |
| "grad_norm": 5.125, |
| "learning_rate": 1.986738454280038e-05, |
| "loss": 0.4448, |
| "step": 8070 |
| }, |
| { |
| "epoch": 0.05386666666666667, |
| "grad_norm": 5.9375, |
| "learning_rate": 1.9867043685635822e-05, |
| "loss": 0.4062, |
| "step": 8080 |
| }, |
| { |
| "epoch": 0.05393333333333333, |
| "grad_norm": 4.59375, |
| "learning_rate": 1.986670239391782e-05, |
| "loss": 0.4498, |
| "step": 8090 |
| }, |
| { |
| "epoch": 0.054, |
| "grad_norm": 4.5, |
| "learning_rate": 1.9866360667661412e-05, |
| "loss": 0.3943, |
| "step": 8100 |
| }, |
| { |
| "epoch": 0.054066666666666666, |
| "grad_norm": 4.46875, |
| "learning_rate": 1.9866018506881638e-05, |
| "loss": 0.401, |
| "step": 8110 |
| }, |
| { |
| "epoch": 0.05413333333333333, |
| "grad_norm": 5.8125, |
| "learning_rate": 1.986567591159357e-05, |
| "loss": 0.4024, |
| "step": 8120 |
| }, |
| { |
| "epoch": 0.0542, |
| "grad_norm": 6.15625, |
| "learning_rate": 1.98653328818123e-05, |
| "loss": 0.4428, |
| "step": 8130 |
| }, |
| { |
| "epoch": 0.054266666666666664, |
| "grad_norm": 10.0625, |
| "learning_rate": 1.986498941755294e-05, |
| "loss": 0.54, |
| "step": 8140 |
| }, |
| { |
| "epoch": 0.05433333333333333, |
| "grad_norm": 5.6875, |
| "learning_rate": 1.98646455188306e-05, |
| "loss": 0.4425, |
| "step": 8150 |
| }, |
| { |
| "epoch": 0.0544, |
| "grad_norm": 4.9375, |
| "learning_rate": 1.9864301185660442e-05, |
| "loss": 0.3887, |
| "step": 8160 |
| }, |
| { |
| "epoch": 0.05446666666666666, |
| "grad_norm": 4.90625, |
| "learning_rate": 1.9863956418057622e-05, |
| "loss": 0.4304, |
| "step": 8170 |
| }, |
| { |
| "epoch": 0.054533333333333336, |
| "grad_norm": 5.53125, |
| "learning_rate": 1.9863611216037326e-05, |
| "loss": 0.4175, |
| "step": 8180 |
| }, |
| { |
| "epoch": 0.0546, |
| "grad_norm": 4.28125, |
| "learning_rate": 1.986326557961476e-05, |
| "loss": 0.4316, |
| "step": 8190 |
| }, |
| { |
| "epoch": 0.05466666666666667, |
| "grad_norm": 5.9375, |
| "learning_rate": 1.9862919508805137e-05, |
| "loss": 0.4814, |
| "step": 8200 |
| }, |
| { |
| "epoch": 0.054733333333333335, |
| "grad_norm": 6.0625, |
| "learning_rate": 1.986257300362371e-05, |
| "loss": 0.3978, |
| "step": 8210 |
| }, |
| { |
| "epoch": 0.0548, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.986222606408573e-05, |
| "loss": 0.4207, |
| "step": 8220 |
| }, |
| { |
| "epoch": 0.05486666666666667, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.9861878690206485e-05, |
| "loss": 0.4474, |
| "step": 8230 |
| }, |
| { |
| "epoch": 0.054933333333333334, |
| "grad_norm": 2.5625, |
| "learning_rate": 1.9861530882001268e-05, |
| "loss": 0.4613, |
| "step": 8240 |
| }, |
| { |
| "epoch": 0.055, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9861182639485396e-05, |
| "loss": 0.3849, |
| "step": 8250 |
| }, |
| { |
| "epoch": 0.05506666666666667, |
| "grad_norm": 4.40625, |
| "learning_rate": 1.9860833962674207e-05, |
| "loss": 0.411, |
| "step": 8260 |
| }, |
| { |
| "epoch": 0.05513333333333333, |
| "grad_norm": 4.96875, |
| "learning_rate": 1.986048485158306e-05, |
| "loss": 0.4119, |
| "step": 8270 |
| }, |
| { |
| "epoch": 0.0552, |
| "grad_norm": 6.0, |
| "learning_rate": 1.9860135306227326e-05, |
| "loss": 0.4968, |
| "step": 8280 |
| }, |
| { |
| "epoch": 0.055266666666666665, |
| "grad_norm": 4.125, |
| "learning_rate": 1.9859785326622404e-05, |
| "loss": 0.4658, |
| "step": 8290 |
| }, |
| { |
| "epoch": 0.05533333333333333, |
| "grad_norm": 5.53125, |
| "learning_rate": 1.9859434912783705e-05, |
| "loss": 0.4327, |
| "step": 8300 |
| }, |
| { |
| "epoch": 0.0554, |
| "grad_norm": 2.125, |
| "learning_rate": 1.9859084064726657e-05, |
| "loss": 0.4032, |
| "step": 8310 |
| }, |
| { |
| "epoch": 0.055466666666666664, |
| "grad_norm": 6.65625, |
| "learning_rate": 1.985873278246672e-05, |
| "loss": 0.4266, |
| "step": 8320 |
| }, |
| { |
| "epoch": 0.05553333333333333, |
| "grad_norm": 6.75, |
| "learning_rate": 1.9858381066019358e-05, |
| "loss": 0.4535, |
| "step": 8330 |
| }, |
| { |
| "epoch": 0.0556, |
| "grad_norm": 4.15625, |
| "learning_rate": 1.9858028915400065e-05, |
| "loss": 0.4398, |
| "step": 8340 |
| }, |
| { |
| "epoch": 0.05566666666666667, |
| "grad_norm": 4.4375, |
| "learning_rate": 1.9857676330624348e-05, |
| "loss": 0.4724, |
| "step": 8350 |
| }, |
| { |
| "epoch": 0.055733333333333336, |
| "grad_norm": 5.5625, |
| "learning_rate": 1.985732331170774e-05, |
| "loss": 0.4033, |
| "step": 8360 |
| }, |
| { |
| "epoch": 0.0558, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.9856969858665778e-05, |
| "loss": 0.4031, |
| "step": 8370 |
| }, |
| { |
| "epoch": 0.05586666666666667, |
| "grad_norm": 3.96875, |
| "learning_rate": 1.9856615971514034e-05, |
| "loss": 0.3885, |
| "step": 8380 |
| }, |
| { |
| "epoch": 0.055933333333333335, |
| "grad_norm": 5.0, |
| "learning_rate": 1.98562616502681e-05, |
| "loss": 0.4209, |
| "step": 8390 |
| }, |
| { |
| "epoch": 0.056, |
| "grad_norm": 9.0, |
| "learning_rate": 1.985590689494357e-05, |
| "loss": 0.4303, |
| "step": 8400 |
| }, |
| { |
| "epoch": 0.05606666666666667, |
| "grad_norm": 4.71875, |
| "learning_rate": 1.9855551705556073e-05, |
| "loss": 0.4436, |
| "step": 8410 |
| }, |
| { |
| "epoch": 0.056133333333333334, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.9855196082121252e-05, |
| "loss": 0.4354, |
| "step": 8420 |
| }, |
| { |
| "epoch": 0.0562, |
| "grad_norm": 6.5625, |
| "learning_rate": 1.985484002465477e-05, |
| "loss": 0.4663, |
| "step": 8430 |
| }, |
| { |
| "epoch": 0.056266666666666666, |
| "grad_norm": 6.40625, |
| "learning_rate": 1.9854483533172303e-05, |
| "loss": 0.4596, |
| "step": 8440 |
| }, |
| { |
| "epoch": 0.05633333333333333, |
| "grad_norm": 4.28125, |
| "learning_rate": 1.9854126607689556e-05, |
| "loss": 0.4292, |
| "step": 8450 |
| }, |
| { |
| "epoch": 0.0564, |
| "grad_norm": 4.96875, |
| "learning_rate": 1.9853769248222248e-05, |
| "loss": 0.4481, |
| "step": 8460 |
| }, |
| { |
| "epoch": 0.056466666666666665, |
| "grad_norm": 4.25, |
| "learning_rate": 1.9853411454786117e-05, |
| "loss": 0.4611, |
| "step": 8470 |
| }, |
| { |
| "epoch": 0.05653333333333333, |
| "grad_norm": 6.59375, |
| "learning_rate": 1.9853053227396914e-05, |
| "loss": 0.4611, |
| "step": 8480 |
| }, |
| { |
| "epoch": 0.0566, |
| "grad_norm": 4.25, |
| "learning_rate": 1.985269456607043e-05, |
| "loss": 0.3602, |
| "step": 8490 |
| }, |
| { |
| "epoch": 0.056666666666666664, |
| "grad_norm": 9.6875, |
| "learning_rate": 1.9852335470822443e-05, |
| "loss": 0.5232, |
| "step": 8500 |
| }, |
| { |
| "epoch": 0.05673333333333333, |
| "grad_norm": 5.0, |
| "learning_rate": 1.985197594166878e-05, |
| "loss": 0.4472, |
| "step": 8510 |
| }, |
| { |
| "epoch": 0.0568, |
| "grad_norm": 5.6875, |
| "learning_rate": 1.9851615978625275e-05, |
| "loss": 0.4356, |
| "step": 8520 |
| }, |
| { |
| "epoch": 0.05686666666666667, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.985125558170778e-05, |
| "loss": 0.4294, |
| "step": 8530 |
| }, |
| { |
| "epoch": 0.056933333333333336, |
| "grad_norm": 5.25, |
| "learning_rate": 1.985089475093216e-05, |
| "loss": 0.4827, |
| "step": 8540 |
| }, |
| { |
| "epoch": 0.057, |
| "grad_norm": 7.625, |
| "learning_rate": 1.9850533486314313e-05, |
| "loss": 0.4533, |
| "step": 8550 |
| }, |
| { |
| "epoch": 0.05706666666666667, |
| "grad_norm": 4.65625, |
| "learning_rate": 1.9850171787870148e-05, |
| "loss": 0.4492, |
| "step": 8560 |
| }, |
| { |
| "epoch": 0.057133333333333335, |
| "grad_norm": 4.3125, |
| "learning_rate": 1.9849809655615596e-05, |
| "loss": 0.501, |
| "step": 8570 |
| }, |
| { |
| "epoch": 0.0572, |
| "grad_norm": 6.34375, |
| "learning_rate": 1.9849447089566604e-05, |
| "loss": 0.4372, |
| "step": 8580 |
| }, |
| { |
| "epoch": 0.05726666666666667, |
| "grad_norm": 5.59375, |
| "learning_rate": 1.984908408973914e-05, |
| "loss": 0.4158, |
| "step": 8590 |
| }, |
| { |
| "epoch": 0.05733333333333333, |
| "grad_norm": 4.90625, |
| "learning_rate": 1.9848720656149187e-05, |
| "loss": 0.4627, |
| "step": 8600 |
| }, |
| { |
| "epoch": 0.0574, |
| "grad_norm": 4.375, |
| "learning_rate": 1.984835678881276e-05, |
| "loss": 0.4121, |
| "step": 8610 |
| }, |
| { |
| "epoch": 0.057466666666666666, |
| "grad_norm": 6.28125, |
| "learning_rate": 1.9847992487745876e-05, |
| "loss": 0.4665, |
| "step": 8620 |
| }, |
| { |
| "epoch": 0.05753333333333333, |
| "grad_norm": 5.53125, |
| "learning_rate": 1.9847627752964582e-05, |
| "loss": 0.4722, |
| "step": 8630 |
| }, |
| { |
| "epoch": 0.0576, |
| "grad_norm": 4.125, |
| "learning_rate": 1.984726258448494e-05, |
| "loss": 0.4978, |
| "step": 8640 |
| }, |
| { |
| "epoch": 0.057666666666666665, |
| "grad_norm": 4.65625, |
| "learning_rate": 1.9846896982323035e-05, |
| "loss": 0.4367, |
| "step": 8650 |
| }, |
| { |
| "epoch": 0.05773333333333333, |
| "grad_norm": 5.59375, |
| "learning_rate": 1.9846530946494967e-05, |
| "loss": 0.4724, |
| "step": 8660 |
| }, |
| { |
| "epoch": 0.0578, |
| "grad_norm": 5.90625, |
| "learning_rate": 1.9846164477016858e-05, |
| "loss": 0.464, |
| "step": 8670 |
| }, |
| { |
| "epoch": 0.057866666666666663, |
| "grad_norm": 4.09375, |
| "learning_rate": 1.9845797573904843e-05, |
| "loss": 0.4255, |
| "step": 8680 |
| }, |
| { |
| "epoch": 0.05793333333333334, |
| "grad_norm": 5.6875, |
| "learning_rate": 1.9845430237175087e-05, |
| "loss": 0.4145, |
| "step": 8690 |
| }, |
| { |
| "epoch": 0.058, |
| "grad_norm": 4.0625, |
| "learning_rate": 1.9845062466843764e-05, |
| "loss": 0.4051, |
| "step": 8700 |
| }, |
| { |
| "epoch": 0.05806666666666667, |
| "grad_norm": 5.5625, |
| "learning_rate": 1.984469426292707e-05, |
| "loss": 0.4099, |
| "step": 8710 |
| }, |
| { |
| "epoch": 0.058133333333333335, |
| "grad_norm": 1.8203125, |
| "learning_rate": 1.9844325625441225e-05, |
| "loss": 0.4104, |
| "step": 8720 |
| }, |
| { |
| "epoch": 0.0582, |
| "grad_norm": 2.328125, |
| "learning_rate": 1.984395655440246e-05, |
| "loss": 0.4568, |
| "step": 8730 |
| }, |
| { |
| "epoch": 0.05826666666666667, |
| "grad_norm": 5.15625, |
| "learning_rate": 1.984358704982703e-05, |
| "loss": 0.4137, |
| "step": 8740 |
| }, |
| { |
| "epoch": 0.058333333333333334, |
| "grad_norm": 6.46875, |
| "learning_rate": 1.984321711173121e-05, |
| "loss": 0.4401, |
| "step": 8750 |
| }, |
| { |
| "epoch": 0.0584, |
| "grad_norm": 5.84375, |
| "learning_rate": 1.9842846740131296e-05, |
| "loss": 0.4002, |
| "step": 8760 |
| }, |
| { |
| "epoch": 0.05846666666666667, |
| "grad_norm": 4.4375, |
| "learning_rate": 1.984247593504359e-05, |
| "loss": 0.4351, |
| "step": 8770 |
| }, |
| { |
| "epoch": 0.05853333333333333, |
| "grad_norm": 6.65625, |
| "learning_rate": 1.984210469648443e-05, |
| "loss": 0.4013, |
| "step": 8780 |
| }, |
| { |
| "epoch": 0.0586, |
| "grad_norm": 5.625, |
| "learning_rate": 1.9841733024470166e-05, |
| "loss": 0.4658, |
| "step": 8790 |
| }, |
| { |
| "epoch": 0.058666666666666666, |
| "grad_norm": 2.46875, |
| "learning_rate": 1.984136091901716e-05, |
| "loss": 0.4969, |
| "step": 8800 |
| }, |
| { |
| "epoch": 0.05873333333333333, |
| "grad_norm": 6.65625, |
| "learning_rate": 1.9840988380141806e-05, |
| "loss": 0.4447, |
| "step": 8810 |
| }, |
| { |
| "epoch": 0.0588, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.984061540786051e-05, |
| "loss": 0.4351, |
| "step": 8820 |
| }, |
| { |
| "epoch": 0.058866666666666664, |
| "grad_norm": 5.625, |
| "learning_rate": 1.9840242002189694e-05, |
| "loss": 0.4163, |
| "step": 8830 |
| }, |
| { |
| "epoch": 0.05893333333333333, |
| "grad_norm": 10.4375, |
| "learning_rate": 1.983986816314581e-05, |
| "loss": 0.4738, |
| "step": 8840 |
| }, |
| { |
| "epoch": 0.059, |
| "grad_norm": 5.6875, |
| "learning_rate": 1.9839493890745315e-05, |
| "loss": 0.4625, |
| "step": 8850 |
| }, |
| { |
| "epoch": 0.05906666666666667, |
| "grad_norm": 5.375, |
| "learning_rate": 1.9839119185004698e-05, |
| "loss": 0.4197, |
| "step": 8860 |
| }, |
| { |
| "epoch": 0.059133333333333336, |
| "grad_norm": 5.625, |
| "learning_rate": 1.9838744045940455e-05, |
| "loss": 0.413, |
| "step": 8870 |
| }, |
| { |
| "epoch": 0.0592, |
| "grad_norm": 4.0, |
| "learning_rate": 1.983836847356912e-05, |
| "loss": 0.4657, |
| "step": 8880 |
| }, |
| { |
| "epoch": 0.05926666666666667, |
| "grad_norm": 5.59375, |
| "learning_rate": 1.9837992467907218e-05, |
| "loss": 0.4854, |
| "step": 8890 |
| }, |
| { |
| "epoch": 0.059333333333333335, |
| "grad_norm": 4.15625, |
| "learning_rate": 1.9837616028971317e-05, |
| "loss": 0.434, |
| "step": 8900 |
| }, |
| { |
| "epoch": 0.0594, |
| "grad_norm": 4.46875, |
| "learning_rate": 1.9837239156778e-05, |
| "loss": 0.4261, |
| "step": 8910 |
| }, |
| { |
| "epoch": 0.05946666666666667, |
| "grad_norm": 5.5, |
| "learning_rate": 1.983686185134385e-05, |
| "loss": 0.4764, |
| "step": 8920 |
| }, |
| { |
| "epoch": 0.059533333333333334, |
| "grad_norm": 5.34375, |
| "learning_rate": 1.98364841126855e-05, |
| "loss": 0.5023, |
| "step": 8930 |
| }, |
| { |
| "epoch": 0.0596, |
| "grad_norm": 4.53125, |
| "learning_rate": 1.9836105940819578e-05, |
| "loss": 0.4272, |
| "step": 8940 |
| }, |
| { |
| "epoch": 0.059666666666666666, |
| "grad_norm": 5.6875, |
| "learning_rate": 1.9835727335762736e-05, |
| "loss": 0.4441, |
| "step": 8950 |
| }, |
| { |
| "epoch": 0.05973333333333333, |
| "grad_norm": 7.5625, |
| "learning_rate": 1.9835348297531657e-05, |
| "loss": 0.443, |
| "step": 8960 |
| }, |
| { |
| "epoch": 0.0598, |
| "grad_norm": 4.75, |
| "learning_rate": 1.983496882614303e-05, |
| "loss": 0.4133, |
| "step": 8970 |
| }, |
| { |
| "epoch": 0.059866666666666665, |
| "grad_norm": 5.9375, |
| "learning_rate": 1.9834588921613563e-05, |
| "loss": 0.4663, |
| "step": 8980 |
| }, |
| { |
| "epoch": 0.05993333333333333, |
| "grad_norm": 5.34375, |
| "learning_rate": 1.983420858395999e-05, |
| "loss": 0.4307, |
| "step": 8990 |
| }, |
| { |
| "epoch": 0.06, |
| "grad_norm": 3.8125, |
| "learning_rate": 1.9833827813199063e-05, |
| "loss": 0.4555, |
| "step": 9000 |
| }, |
| { |
| "epoch": 0.060066666666666664, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.9833446609347552e-05, |
| "loss": 0.4374, |
| "step": 9010 |
| }, |
| { |
| "epoch": 0.06013333333333333, |
| "grad_norm": 8.0625, |
| "learning_rate": 1.9833064972422246e-05, |
| "loss": 0.446, |
| "step": 9020 |
| }, |
| { |
| "epoch": 0.0602, |
| "grad_norm": 5.59375, |
| "learning_rate": 1.983268290243995e-05, |
| "loss": 0.4309, |
| "step": 9030 |
| }, |
| { |
| "epoch": 0.06026666666666667, |
| "grad_norm": 4.625, |
| "learning_rate": 1.9832300399417495e-05, |
| "loss": 0.4155, |
| "step": 9040 |
| }, |
| { |
| "epoch": 0.060333333333333336, |
| "grad_norm": 5.34375, |
| "learning_rate": 1.983191746337172e-05, |
| "loss": 0.4289, |
| "step": 9050 |
| }, |
| { |
| "epoch": 0.0604, |
| "grad_norm": 4.875, |
| "learning_rate": 1.983153409431949e-05, |
| "loss": 0.4446, |
| "step": 9060 |
| }, |
| { |
| "epoch": 0.06046666666666667, |
| "grad_norm": 5.375, |
| "learning_rate": 1.9831150292277698e-05, |
| "loss": 0.4069, |
| "step": 9070 |
| }, |
| { |
| "epoch": 0.060533333333333335, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.983076605726324e-05, |
| "loss": 0.431, |
| "step": 9080 |
| }, |
| { |
| "epoch": 0.0606, |
| "grad_norm": 6.09375, |
| "learning_rate": 1.983038138929304e-05, |
| "loss": 0.4575, |
| "step": 9090 |
| }, |
| { |
| "epoch": 0.06066666666666667, |
| "grad_norm": 5.75, |
| "learning_rate": 1.9829996288384036e-05, |
| "loss": 0.4308, |
| "step": 9100 |
| }, |
| { |
| "epoch": 0.060733333333333334, |
| "grad_norm": 5.0, |
| "learning_rate": 1.982961075455319e-05, |
| "loss": 0.4385, |
| "step": 9110 |
| }, |
| { |
| "epoch": 0.0608, |
| "grad_norm": 5.125, |
| "learning_rate": 1.9829224787817486e-05, |
| "loss": 0.423, |
| "step": 9120 |
| }, |
| { |
| "epoch": 0.060866666666666666, |
| "grad_norm": 4.09375, |
| "learning_rate": 1.9828838388193915e-05, |
| "loss": 0.4783, |
| "step": 9130 |
| }, |
| { |
| "epoch": 0.06093333333333333, |
| "grad_norm": 4.59375, |
| "learning_rate": 1.9828451555699496e-05, |
| "loss": 0.44, |
| "step": 9140 |
| }, |
| { |
| "epoch": 0.061, |
| "grad_norm": 7.75, |
| "learning_rate": 1.9828064290351272e-05, |
| "loss": 0.4496, |
| "step": 9150 |
| }, |
| { |
| "epoch": 0.061066666666666665, |
| "grad_norm": 4.0, |
| "learning_rate": 1.982767659216629e-05, |
| "loss": 0.4103, |
| "step": 9160 |
| }, |
| { |
| "epoch": 0.06113333333333333, |
| "grad_norm": 9.25, |
| "learning_rate": 1.982728846116163e-05, |
| "loss": 0.4828, |
| "step": 9170 |
| }, |
| { |
| "epoch": 0.0612, |
| "grad_norm": 4.375, |
| "learning_rate": 1.9826899897354384e-05, |
| "loss": 0.4381, |
| "step": 9180 |
| }, |
| { |
| "epoch": 0.061266666666666664, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.982651090076166e-05, |
| "loss": 0.4494, |
| "step": 9190 |
| }, |
| { |
| "epoch": 0.06133333333333333, |
| "grad_norm": 4.8125, |
| "learning_rate": 1.98261214714006e-05, |
| "loss": 0.4344, |
| "step": 9200 |
| }, |
| { |
| "epoch": 0.0614, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.9825731609288347e-05, |
| "loss": 0.432, |
| "step": 9210 |
| }, |
| { |
| "epoch": 0.06146666666666667, |
| "grad_norm": 5.59375, |
| "learning_rate": 1.9825341314442073e-05, |
| "loss": 0.4447, |
| "step": 9220 |
| }, |
| { |
| "epoch": 0.061533333333333336, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.9824950586878965e-05, |
| "loss": 0.3859, |
| "step": 9230 |
| }, |
| { |
| "epoch": 0.0616, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9824559426616236e-05, |
| "loss": 0.3842, |
| "step": 9240 |
| }, |
| { |
| "epoch": 0.06166666666666667, |
| "grad_norm": 4.6875, |
| "learning_rate": 1.9824167833671106e-05, |
| "loss": 0.4193, |
| "step": 9250 |
| }, |
| { |
| "epoch": 0.061733333333333335, |
| "grad_norm": 5.375, |
| "learning_rate": 1.982377580806083e-05, |
| "loss": 0.3919, |
| "step": 9260 |
| }, |
| { |
| "epoch": 0.0618, |
| "grad_norm": 4.84375, |
| "learning_rate": 1.9823383349802666e-05, |
| "loss": 0.4569, |
| "step": 9270 |
| }, |
| { |
| "epoch": 0.06186666666666667, |
| "grad_norm": 4.5, |
| "learning_rate": 1.9822990458913898e-05, |
| "loss": 0.4671, |
| "step": 9280 |
| }, |
| { |
| "epoch": 0.06193333333333333, |
| "grad_norm": 6.34375, |
| "learning_rate": 1.9822597135411838e-05, |
| "loss": 0.4556, |
| "step": 9290 |
| }, |
| { |
| "epoch": 0.062, |
| "grad_norm": 5.0, |
| "learning_rate": 1.9822203379313795e-05, |
| "loss": 0.4357, |
| "step": 9300 |
| }, |
| { |
| "epoch": 0.062066666666666666, |
| "grad_norm": 5.8125, |
| "learning_rate": 1.982180919063712e-05, |
| "loss": 0.447, |
| "step": 9310 |
| }, |
| { |
| "epoch": 0.06213333333333333, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.982141456939917e-05, |
| "loss": 0.4101, |
| "step": 9320 |
| }, |
| { |
| "epoch": 0.0622, |
| "grad_norm": 6.40625, |
| "learning_rate": 1.9821019515617328e-05, |
| "loss": 0.4065, |
| "step": 9330 |
| }, |
| { |
| "epoch": 0.062266666666666665, |
| "grad_norm": 8.0, |
| "learning_rate": 1.9820624029308987e-05, |
| "loss": 0.4354, |
| "step": 9340 |
| }, |
| { |
| "epoch": 0.06233333333333333, |
| "grad_norm": 3.609375, |
| "learning_rate": 1.982022811049157e-05, |
| "loss": 0.4557, |
| "step": 9350 |
| }, |
| { |
| "epoch": 0.0624, |
| "grad_norm": 4.75, |
| "learning_rate": 1.981983175918251e-05, |
| "loss": 0.4331, |
| "step": 9360 |
| }, |
| { |
| "epoch": 0.06246666666666666, |
| "grad_norm": 5.3125, |
| "learning_rate": 1.981943497539926e-05, |
| "loss": 0.411, |
| "step": 9370 |
| }, |
| { |
| "epoch": 0.06253333333333333, |
| "grad_norm": 5.0625, |
| "learning_rate": 1.9819037759159302e-05, |
| "loss": 0.4849, |
| "step": 9380 |
| }, |
| { |
| "epoch": 0.0626, |
| "grad_norm": 4.96875, |
| "learning_rate": 1.9818640110480123e-05, |
| "loss": 0.4735, |
| "step": 9390 |
| }, |
| { |
| "epoch": 0.06266666666666666, |
| "grad_norm": 5.59375, |
| "learning_rate": 1.981824202937924e-05, |
| "loss": 0.4211, |
| "step": 9400 |
| }, |
| { |
| "epoch": 0.06273333333333334, |
| "grad_norm": 4.65625, |
| "learning_rate": 1.9817843515874188e-05, |
| "loss": 0.4207, |
| "step": 9410 |
| }, |
| { |
| "epoch": 0.0628, |
| "grad_norm": 4.53125, |
| "learning_rate": 1.981744456998251e-05, |
| "loss": 0.4729, |
| "step": 9420 |
| }, |
| { |
| "epoch": 0.06286666666666667, |
| "grad_norm": 6.21875, |
| "learning_rate": 1.981704519172178e-05, |
| "loss": 0.4338, |
| "step": 9430 |
| }, |
| { |
| "epoch": 0.06293333333333333, |
| "grad_norm": 2.828125, |
| "learning_rate": 1.981664538110959e-05, |
| "loss": 0.4071, |
| "step": 9440 |
| }, |
| { |
| "epoch": 0.063, |
| "grad_norm": 4.71875, |
| "learning_rate": 1.9816245138163537e-05, |
| "loss": 0.448, |
| "step": 9450 |
| }, |
| { |
| "epoch": 0.06306666666666666, |
| "grad_norm": 4.75, |
| "learning_rate": 1.981584446290126e-05, |
| "loss": 0.4176, |
| "step": 9460 |
| }, |
| { |
| "epoch": 0.06313333333333333, |
| "grad_norm": 5.53125, |
| "learning_rate": 1.9815443355340402e-05, |
| "loss": 0.4351, |
| "step": 9470 |
| }, |
| { |
| "epoch": 0.0632, |
| "grad_norm": 5.46875, |
| "learning_rate": 1.9815041815498627e-05, |
| "loss": 0.4599, |
| "step": 9480 |
| }, |
| { |
| "epoch": 0.06326666666666667, |
| "grad_norm": 5.53125, |
| "learning_rate": 1.9814639843393614e-05, |
| "loss": 0.3828, |
| "step": 9490 |
| }, |
| { |
| "epoch": 0.06333333333333334, |
| "grad_norm": 4.0625, |
| "learning_rate": 1.9814237439043077e-05, |
| "loss": 0.4047, |
| "step": 9500 |
| }, |
| { |
| "epoch": 0.0634, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.981383460246473e-05, |
| "loss": 0.4189, |
| "step": 9510 |
| }, |
| { |
| "epoch": 0.06346666666666667, |
| "grad_norm": 5.375, |
| "learning_rate": 1.9813431333676318e-05, |
| "loss": 0.4077, |
| "step": 9520 |
| }, |
| { |
| "epoch": 0.06353333333333333, |
| "grad_norm": 5.46875, |
| "learning_rate": 1.9813027632695595e-05, |
| "loss": 0.5023, |
| "step": 9530 |
| }, |
| { |
| "epoch": 0.0636, |
| "grad_norm": 5.71875, |
| "learning_rate": 1.9812623499540354e-05, |
| "loss": 0.461, |
| "step": 9540 |
| }, |
| { |
| "epoch": 0.06366666666666666, |
| "grad_norm": 5.6875, |
| "learning_rate": 1.9812218934228378e-05, |
| "loss": 0.4165, |
| "step": 9550 |
| }, |
| { |
| "epoch": 0.06373333333333334, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.9811813936777495e-05, |
| "loss": 0.4149, |
| "step": 9560 |
| }, |
| { |
| "epoch": 0.0638, |
| "grad_norm": 7.0625, |
| "learning_rate": 1.9811408507205538e-05, |
| "loss": 0.4178, |
| "step": 9570 |
| }, |
| { |
| "epoch": 0.06386666666666667, |
| "grad_norm": 5.1875, |
| "learning_rate": 1.9811002645530358e-05, |
| "loss": 0.4713, |
| "step": 9580 |
| }, |
| { |
| "epoch": 0.06393333333333333, |
| "grad_norm": 8.125, |
| "learning_rate": 1.9810596351769837e-05, |
| "loss": 0.4419, |
| "step": 9590 |
| }, |
| { |
| "epoch": 0.064, |
| "grad_norm": 6.0, |
| "learning_rate": 1.9810189625941866e-05, |
| "loss": 0.4445, |
| "step": 9600 |
| }, |
| { |
| "epoch": 0.06406666666666666, |
| "grad_norm": 5.34375, |
| "learning_rate": 1.9809782468064354e-05, |
| "loss": 0.4406, |
| "step": 9610 |
| }, |
| { |
| "epoch": 0.06413333333333333, |
| "grad_norm": 7.75, |
| "learning_rate": 1.9809374878155238e-05, |
| "loss": 0.4473, |
| "step": 9620 |
| }, |
| { |
| "epoch": 0.0642, |
| "grad_norm": 5.6875, |
| "learning_rate": 1.9808966856232464e-05, |
| "loss": 0.4608, |
| "step": 9630 |
| }, |
| { |
| "epoch": 0.06426666666666667, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.9808558402314003e-05, |
| "loss": 0.439, |
| "step": 9640 |
| }, |
| { |
| "epoch": 0.06433333333333334, |
| "grad_norm": 4.25, |
| "learning_rate": 1.9808149516417846e-05, |
| "loss": 0.4365, |
| "step": 9650 |
| }, |
| { |
| "epoch": 0.0644, |
| "grad_norm": 4.96875, |
| "learning_rate": 1.9807740198562e-05, |
| "loss": 0.4222, |
| "step": 9660 |
| }, |
| { |
| "epoch": 0.06446666666666667, |
| "grad_norm": 6.96875, |
| "learning_rate": 1.9807330448764487e-05, |
| "loss": 0.4138, |
| "step": 9670 |
| }, |
| { |
| "epoch": 0.06453333333333333, |
| "grad_norm": 5.03125, |
| "learning_rate": 1.9806920267043362e-05, |
| "loss": 0.4194, |
| "step": 9680 |
| }, |
| { |
| "epoch": 0.0646, |
| "grad_norm": 4.8125, |
| "learning_rate": 1.980650965341668e-05, |
| "loss": 0.3999, |
| "step": 9690 |
| }, |
| { |
| "epoch": 0.06466666666666666, |
| "grad_norm": 9.9375, |
| "learning_rate": 1.9806098607902534e-05, |
| "loss": 0.4789, |
| "step": 9700 |
| }, |
| { |
| "epoch": 0.06473333333333334, |
| "grad_norm": 7.375, |
| "learning_rate": 1.9805687130519016e-05, |
| "loss": 0.4607, |
| "step": 9710 |
| }, |
| { |
| "epoch": 0.0648, |
| "grad_norm": 4.25, |
| "learning_rate": 1.9805275221284257e-05, |
| "loss": 0.4559, |
| "step": 9720 |
| }, |
| { |
| "epoch": 0.06486666666666667, |
| "grad_norm": 5.125, |
| "learning_rate": 1.9804862880216395e-05, |
| "loss": 0.4323, |
| "step": 9730 |
| }, |
| { |
| "epoch": 0.06493333333333333, |
| "grad_norm": 4.53125, |
| "learning_rate": 1.980445010733359e-05, |
| "loss": 0.4521, |
| "step": 9740 |
| }, |
| { |
| "epoch": 0.065, |
| "grad_norm": 4.9375, |
| "learning_rate": 1.9804036902654017e-05, |
| "loss": 0.4508, |
| "step": 9750 |
| }, |
| { |
| "epoch": 0.06506666666666666, |
| "grad_norm": 4.1875, |
| "learning_rate": 1.9803623266195876e-05, |
| "loss": 0.4309, |
| "step": 9760 |
| }, |
| { |
| "epoch": 0.06513333333333333, |
| "grad_norm": 5.09375, |
| "learning_rate": 1.980320919797739e-05, |
| "loss": 0.4717, |
| "step": 9770 |
| }, |
| { |
| "epoch": 0.0652, |
| "grad_norm": 6.03125, |
| "learning_rate": 1.980279469801679e-05, |
| "loss": 0.4392, |
| "step": 9780 |
| }, |
| { |
| "epoch": 0.06526666666666667, |
| "grad_norm": 5.28125, |
| "learning_rate": 1.9802379766332328e-05, |
| "loss": 0.443, |
| "step": 9790 |
| }, |
| { |
| "epoch": 0.06533333333333333, |
| "grad_norm": 4.78125, |
| "learning_rate": 1.9801964402942283e-05, |
| "loss": 0.4153, |
| "step": 9800 |
| }, |
| { |
| "epoch": 0.0654, |
| "grad_norm": 6.96875, |
| "learning_rate": 1.9801548607864946e-05, |
| "loss": 0.4391, |
| "step": 9810 |
| }, |
| { |
| "epoch": 0.06546666666666667, |
| "grad_norm": 4.65625, |
| "learning_rate": 1.9801132381118626e-05, |
| "loss": 0.4529, |
| "step": 9820 |
| }, |
| { |
| "epoch": 0.06553333333333333, |
| "grad_norm": 3.703125, |
| "learning_rate": 1.980071572272166e-05, |
| "loss": 0.4831, |
| "step": 9830 |
| }, |
| { |
| "epoch": 0.0656, |
| "grad_norm": 4.71875, |
| "learning_rate": 1.9800298632692394e-05, |
| "loss": 0.4194, |
| "step": 9840 |
| }, |
| { |
| "epoch": 0.06566666666666666, |
| "grad_norm": 5.5625, |
| "learning_rate": 1.97998811110492e-05, |
| "loss": 0.4201, |
| "step": 9850 |
| }, |
| { |
| "epoch": 0.06573333333333334, |
| "grad_norm": 2.140625, |
| "learning_rate": 1.979946315781046e-05, |
| "loss": 0.3781, |
| "step": 9860 |
| }, |
| { |
| "epoch": 0.0658, |
| "grad_norm": 4.4375, |
| "learning_rate": 1.9799044772994585e-05, |
| "loss": 0.4431, |
| "step": 9870 |
| }, |
| { |
| "epoch": 0.06586666666666667, |
| "grad_norm": 4.65625, |
| "learning_rate": 1.9798625956620005e-05, |
| "loss": 0.4121, |
| "step": 9880 |
| }, |
| { |
| "epoch": 0.06593333333333333, |
| "grad_norm": 4.5, |
| "learning_rate": 1.979820670870516e-05, |
| "loss": 0.4284, |
| "step": 9890 |
| }, |
| { |
| "epoch": 0.066, |
| "grad_norm": 5.25, |
| "learning_rate": 1.9797787029268515e-05, |
| "loss": 0.453, |
| "step": 9900 |
| }, |
| { |
| "epoch": 0.06606666666666666, |
| "grad_norm": 6.09375, |
| "learning_rate": 1.9797366918328556e-05, |
| "loss": 0.4403, |
| "step": 9910 |
| }, |
| { |
| "epoch": 0.06613333333333334, |
| "grad_norm": 5.90625, |
| "learning_rate": 1.979694637590378e-05, |
| "loss": 0.4087, |
| "step": 9920 |
| }, |
| { |
| "epoch": 0.0662, |
| "grad_norm": 6.46875, |
| "learning_rate": 1.9796525402012707e-05, |
| "loss": 0.4437, |
| "step": 9930 |
| }, |
| { |
| "epoch": 0.06626666666666667, |
| "grad_norm": 7.25, |
| "learning_rate": 1.9796103996673884e-05, |
| "loss": 0.4251, |
| "step": 9940 |
| }, |
| { |
| "epoch": 0.06633333333333333, |
| "grad_norm": 5.21875, |
| "learning_rate": 1.9795682159905866e-05, |
| "loss": 0.3842, |
| "step": 9950 |
| }, |
| { |
| "epoch": 0.0664, |
| "grad_norm": 5.40625, |
| "learning_rate": 1.979525989172723e-05, |
| "loss": 0.4032, |
| "step": 9960 |
| }, |
| { |
| "epoch": 0.06646666666666666, |
| "grad_norm": 3.75, |
| "learning_rate": 1.979483719215658e-05, |
| "loss": 0.417, |
| "step": 9970 |
| }, |
| { |
| "epoch": 0.06653333333333333, |
| "grad_norm": 6.03125, |
| "learning_rate": 1.9794414061212523e-05, |
| "loss": 0.4191, |
| "step": 9980 |
| }, |
| { |
| "epoch": 0.0666, |
| "grad_norm": 6.15625, |
| "learning_rate": 1.97939904989137e-05, |
| "loss": 0.4256, |
| "step": 9990 |
| }, |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 4.65625, |
| "learning_rate": 1.9793566505278758e-05, |
| "loss": 0.4712, |
| "step": 10000 |
| } |
| ], |
| "logging_steps": 10, |
| "max_steps": 150000, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 1, |
| "save_steps": 10000, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": false |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 1.339457760395264e+18, |
| "train_batch_size": 1, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
