| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 0.06666666666666667, |
| "eval_steps": 500, |
| "global_step": 10000, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 6.666666666666667e-05, |
| "grad_norm": 4.40625, |
| "learning_rate": 3e-05, |
| "loss": 0.3772, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.00013333333333333334, |
| "grad_norm": 4.96875, |
| "learning_rate": 4.999999991225264e-05, |
| "loss": 0.3736, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.0002, |
| "grad_norm": 6.09375, |
| "learning_rate": 4.999999892509478e-05, |
| "loss": 0.3806, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.0002666666666666667, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.999999684109491e-05, |
| "loss": 0.3827, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.0003333333333333333, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.999999366025311e-05, |
| "loss": 0.3681, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.0004, |
| "grad_norm": 3.3125, |
| "learning_rate": 4.999998938256953e-05, |
| "loss": 0.3843, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.00046666666666666666, |
| "grad_norm": 4.6875, |
| "learning_rate": 4.9999984008044345e-05, |
| "loss": 0.3509, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.0005333333333333334, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.99999775366778e-05, |
| "loss": 0.3713, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.0006, |
| "grad_norm": 4.9375, |
| "learning_rate": 4.9999969968470175e-05, |
| "loss": 0.4111, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.0006666666666666666, |
| "grad_norm": 5.1875, |
| "learning_rate": 4.999996130342181e-05, |
| "loss": 0.402, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.0007333333333333333, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.999995154153306e-05, |
| "loss": 0.3641, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.0008, |
| "grad_norm": 5.59375, |
| "learning_rate": 4.9999940682804384e-05, |
| "loss": 0.3843, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.0008666666666666666, |
| "grad_norm": 4.53125, |
| "learning_rate": 4.999992872723624e-05, |
| "loss": 0.3812, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.0009333333333333333, |
| "grad_norm": 6.5625, |
| "learning_rate": 4.999991567482917e-05, |
| "loss": 0.3415, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.001, |
| "grad_norm": 4.5, |
| "learning_rate": 4.9999901525583725e-05, |
| "loss": 0.373, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.0010666666666666667, |
| "grad_norm": 4.21875, |
| "learning_rate": 4.999988627950054e-05, |
| "loss": 0.3606, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.0011333333333333334, |
| "grad_norm": 3.53125, |
| "learning_rate": 4.999986993658028e-05, |
| "loss": 0.3781, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.0012, |
| "grad_norm": 5.40625, |
| "learning_rate": 4.999985249682365e-05, |
| "loss": 0.4073, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.0012666666666666666, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.999983396023144e-05, |
| "loss": 0.407, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.0013333333333333333, |
| "grad_norm": 4.34375, |
| "learning_rate": 4.999981432680445e-05, |
| "loss": 0.3991, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.0014, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.999979359654353e-05, |
| "loss": 0.3928, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.0014666666666666667, |
| "grad_norm": 4.53125, |
| "learning_rate": 4.999977176944961e-05, |
| "loss": 0.4131, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.0015333333333333334, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.999974884552364e-05, |
| "loss": 0.3823, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.0016, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.999972482476663e-05, |
| "loss": 0.4221, |
| "step": 240 |
| }, |
| { |
| "epoch": 0.0016666666666666668, |
| "grad_norm": 5.09375, |
| "learning_rate": 4.9999699707179614e-05, |
| "loss": 0.4095, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.0017333333333333333, |
| "grad_norm": 3.890625, |
| "learning_rate": 4.999967349276371e-05, |
| "loss": 0.3769, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.0018, |
| "grad_norm": 5.1875, |
| "learning_rate": 4.9999646181520076e-05, |
| "loss": 0.4163, |
| "step": 270 |
| }, |
| { |
| "epoch": 0.0018666666666666666, |
| "grad_norm": 4.09375, |
| "learning_rate": 4.999961777344989e-05, |
| "loss": 0.4054, |
| "step": 280 |
| }, |
| { |
| "epoch": 0.0019333333333333333, |
| "grad_norm": 5.8125, |
| "learning_rate": 4.999958826855442e-05, |
| "loss": 0.3694, |
| "step": 290 |
| }, |
| { |
| "epoch": 0.002, |
| "grad_norm": 4.25, |
| "learning_rate": 4.999955766683494e-05, |
| "loss": 0.3947, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.0020666666666666667, |
| "grad_norm": 4.34375, |
| "learning_rate": 4.999952596829281e-05, |
| "loss": 0.3846, |
| "step": 310 |
| }, |
| { |
| "epoch": 0.0021333333333333334, |
| "grad_norm": 5.25, |
| "learning_rate": 4.9999493172929415e-05, |
| "loss": 0.4161, |
| "step": 320 |
| }, |
| { |
| "epoch": 0.0022, |
| "grad_norm": 3.953125, |
| "learning_rate": 4.999945928074618e-05, |
| "loss": 0.4504, |
| "step": 330 |
| }, |
| { |
| "epoch": 0.002266666666666667, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.9999424291744615e-05, |
| "loss": 0.4263, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.0023333333333333335, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.9999388205926234e-05, |
| "loss": 0.4143, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.0024, |
| "grad_norm": 5.34375, |
| "learning_rate": 4.999935102329263e-05, |
| "loss": 0.3958, |
| "step": 360 |
| }, |
| { |
| "epoch": 0.0024666666666666665, |
| "grad_norm": 5.125, |
| "learning_rate": 4.9999312743845436e-05, |
| "loss": 0.3801, |
| "step": 370 |
| }, |
| { |
| "epoch": 0.002533333333333333, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.999927336758633e-05, |
| "loss": 0.4316, |
| "step": 380 |
| }, |
| { |
| "epoch": 0.0026, |
| "grad_norm": 5.1875, |
| "learning_rate": 4.9999232894517047e-05, |
| "loss": 0.4044, |
| "step": 390 |
| }, |
| { |
| "epoch": 0.0026666666666666666, |
| "grad_norm": 4.53125, |
| "learning_rate": 4.999919132463935e-05, |
| "loss": 0.3921, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.0027333333333333333, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.9999148657955066e-05, |
| "loss": 0.4102, |
| "step": 410 |
| }, |
| { |
| "epoch": 0.0028, |
| "grad_norm": 5.5625, |
| "learning_rate": 4.999910489446608e-05, |
| "loss": 0.4195, |
| "step": 420 |
| }, |
| { |
| "epoch": 0.0028666666666666667, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.999906003417428e-05, |
| "loss": 0.4089, |
| "step": 430 |
| }, |
| { |
| "epoch": 0.0029333333333333334, |
| "grad_norm": 5.09375, |
| "learning_rate": 4.999901407708168e-05, |
| "loss": 0.3788, |
| "step": 440 |
| }, |
| { |
| "epoch": 0.003, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.999896702319025e-05, |
| "loss": 0.3652, |
| "step": 450 |
| }, |
| { |
| "epoch": 0.0030666666666666668, |
| "grad_norm": 5.125, |
| "learning_rate": 4.999891887250208e-05, |
| "loss": 0.411, |
| "step": 460 |
| }, |
| { |
| "epoch": 0.0031333333333333335, |
| "grad_norm": 5.15625, |
| "learning_rate": 4.9998869625019285e-05, |
| "loss": 0.4588, |
| "step": 470 |
| }, |
| { |
| "epoch": 0.0032, |
| "grad_norm": 4.25, |
| "learning_rate": 4.9998819280744014e-05, |
| "loss": 0.4315, |
| "step": 480 |
| }, |
| { |
| "epoch": 0.003266666666666667, |
| "grad_norm": 11.5, |
| "learning_rate": 4.999876783967848e-05, |
| "loss": 0.425, |
| "step": 490 |
| }, |
| { |
| "epoch": 0.0033333333333333335, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.999871530182495e-05, |
| "loss": 0.4053, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.0034, |
| "grad_norm": 5.25, |
| "learning_rate": 4.999866166718571e-05, |
| "loss": 0.4014, |
| "step": 510 |
| }, |
| { |
| "epoch": 0.0034666666666666665, |
| "grad_norm": 6.8125, |
| "learning_rate": 4.999860693576313e-05, |
| "loss": 0.3956, |
| "step": 520 |
| }, |
| { |
| "epoch": 0.003533333333333333, |
| "grad_norm": 7.75, |
| "learning_rate": 4.9998551107559597e-05, |
| "loss": 0.4163, |
| "step": 530 |
| }, |
| { |
| "epoch": 0.0036, |
| "grad_norm": 5.4375, |
| "learning_rate": 4.999849418257757e-05, |
| "loss": 0.4018, |
| "step": 540 |
| }, |
| { |
| "epoch": 0.0036666666666666666, |
| "grad_norm": 5.6875, |
| "learning_rate": 4.999843616081955e-05, |
| "loss": 0.4091, |
| "step": 550 |
| }, |
| { |
| "epoch": 0.0037333333333333333, |
| "grad_norm": 4.75, |
| "learning_rate": 4.999837704228807e-05, |
| "loss": 0.4453, |
| "step": 560 |
| }, |
| { |
| "epoch": 0.0038, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.999831682698573e-05, |
| "loss": 0.4405, |
| "step": 570 |
| }, |
| { |
| "epoch": 0.0038666666666666667, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.999825551491518e-05, |
| "loss": 0.3985, |
| "step": 580 |
| }, |
| { |
| "epoch": 0.003933333333333333, |
| "grad_norm": 4.375, |
| "learning_rate": 4.999819310607909e-05, |
| "loss": 0.3603, |
| "step": 590 |
| }, |
| { |
| "epoch": 0.004, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.999812960048023e-05, |
| "loss": 0.3997, |
| "step": 600 |
| }, |
| { |
| "epoch": 0.004066666666666666, |
| "grad_norm": 5.125, |
| "learning_rate": 4.9998064998121344e-05, |
| "loss": 0.4093, |
| "step": 610 |
| }, |
| { |
| "epoch": 0.0041333333333333335, |
| "grad_norm": 5.03125, |
| "learning_rate": 4.99979992990053e-05, |
| "loss": 0.3873, |
| "step": 620 |
| }, |
| { |
| "epoch": 0.0042, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.999793250313497e-05, |
| "loss": 0.423, |
| "step": 630 |
| }, |
| { |
| "epoch": 0.004266666666666667, |
| "grad_norm": 5.1875, |
| "learning_rate": 4.999786461051329e-05, |
| "loss": 0.3888, |
| "step": 640 |
| }, |
| { |
| "epoch": 0.004333333333333333, |
| "grad_norm": 4.625, |
| "learning_rate": 4.9997795621143217e-05, |
| "loss": 0.4072, |
| "step": 650 |
| }, |
| { |
| "epoch": 0.0044, |
| "grad_norm": 5.3125, |
| "learning_rate": 4.9997725535027805e-05, |
| "loss": 0.4041, |
| "step": 660 |
| }, |
| { |
| "epoch": 0.0044666666666666665, |
| "grad_norm": 6.0, |
| "learning_rate": 4.999765435217011e-05, |
| "loss": 0.4168, |
| "step": 670 |
| }, |
| { |
| "epoch": 0.004533333333333334, |
| "grad_norm": 5.6875, |
| "learning_rate": 4.999758207257327e-05, |
| "loss": 0.3705, |
| "step": 680 |
| }, |
| { |
| "epoch": 0.0046, |
| "grad_norm": 5.6875, |
| "learning_rate": 4.999750869624045e-05, |
| "loss": 0.3939, |
| "step": 690 |
| }, |
| { |
| "epoch": 0.004666666666666667, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.999743422317486e-05, |
| "loss": 0.4265, |
| "step": 700 |
| }, |
| { |
| "epoch": 0.004733333333333333, |
| "grad_norm": 4.125, |
| "learning_rate": 4.999735865337978e-05, |
| "loss": 0.4001, |
| "step": 710 |
| }, |
| { |
| "epoch": 0.0048, |
| "grad_norm": 4.375, |
| "learning_rate": 4.999728198685852e-05, |
| "loss": 0.3997, |
| "step": 720 |
| }, |
| { |
| "epoch": 0.004866666666666667, |
| "grad_norm": 5.4375, |
| "learning_rate": 4.999720422361445e-05, |
| "loss": 0.4471, |
| "step": 730 |
| }, |
| { |
| "epoch": 0.004933333333333333, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.999712536365097e-05, |
| "loss": 0.4318, |
| "step": 740 |
| }, |
| { |
| "epoch": 0.005, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.999704540697154e-05, |
| "loss": 0.4318, |
| "step": 750 |
| }, |
| { |
| "epoch": 0.005066666666666666, |
| "grad_norm": 5.90625, |
| "learning_rate": 4.999696435357968e-05, |
| "loss": 0.4062, |
| "step": 760 |
| }, |
| { |
| "epoch": 0.0051333333333333335, |
| "grad_norm": 5.6875, |
| "learning_rate": 4.9996882203478944e-05, |
| "loss": 0.3938, |
| "step": 770 |
| }, |
| { |
| "epoch": 0.0052, |
| "grad_norm": 4.34375, |
| "learning_rate": 4.999679895667293e-05, |
| "loss": 0.3862, |
| "step": 780 |
| }, |
| { |
| "epoch": 0.005266666666666667, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.9996714613165294e-05, |
| "loss": 0.4151, |
| "step": 790 |
| }, |
| { |
| "epoch": 0.005333333333333333, |
| "grad_norm": 3.890625, |
| "learning_rate": 4.999662917295973e-05, |
| "loss": 0.3907, |
| "step": 800 |
| }, |
| { |
| "epoch": 0.0054, |
| "grad_norm": 5.375, |
| "learning_rate": 4.999654263606e-05, |
| "loss": 0.3854, |
| "step": 810 |
| }, |
| { |
| "epoch": 0.0054666666666666665, |
| "grad_norm": 5.5, |
| "learning_rate": 4.9996455002469885e-05, |
| "loss": 0.4332, |
| "step": 820 |
| }, |
| { |
| "epoch": 0.005533333333333334, |
| "grad_norm": 4.6875, |
| "learning_rate": 4.9996366272193246e-05, |
| "loss": 0.4251, |
| "step": 830 |
| }, |
| { |
| "epoch": 0.0056, |
| "grad_norm": 6.40625, |
| "learning_rate": 4.999627644523397e-05, |
| "loss": 0.4089, |
| "step": 840 |
| }, |
| { |
| "epoch": 0.005666666666666667, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.9996185521595984e-05, |
| "loss": 0.4032, |
| "step": 850 |
| }, |
| { |
| "epoch": 0.005733333333333333, |
| "grad_norm": 4.34375, |
| "learning_rate": 4.9996093501283295e-05, |
| "loss": 0.4354, |
| "step": 860 |
| }, |
| { |
| "epoch": 0.0058, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.9996000384299926e-05, |
| "loss": 0.4081, |
| "step": 870 |
| }, |
| { |
| "epoch": 0.005866666666666667, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.9995906170649976e-05, |
| "loss": 0.419, |
| "step": 880 |
| }, |
| { |
| "epoch": 0.005933333333333333, |
| "grad_norm": 4.84375, |
| "learning_rate": 4.999581086033757e-05, |
| "loss": 0.3777, |
| "step": 890 |
| }, |
| { |
| "epoch": 0.006, |
| "grad_norm": 6.375, |
| "learning_rate": 4.9995714453366895e-05, |
| "loss": 0.3872, |
| "step": 900 |
| }, |
| { |
| "epoch": 0.006066666666666666, |
| "grad_norm": 3.78125, |
| "learning_rate": 4.999561694974218e-05, |
| "loss": 0.4106, |
| "step": 910 |
| }, |
| { |
| "epoch": 0.0061333333333333335, |
| "grad_norm": 5.84375, |
| "learning_rate": 4.9995518349467697e-05, |
| "loss": 0.3898, |
| "step": 920 |
| }, |
| { |
| "epoch": 0.0062, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.9995418652547774e-05, |
| "loss": 0.4282, |
| "step": 930 |
| }, |
| { |
| "epoch": 0.006266666666666667, |
| "grad_norm": 5.84375, |
| "learning_rate": 4.99953178589868e-05, |
| "loss": 0.3643, |
| "step": 940 |
| }, |
| { |
| "epoch": 0.006333333333333333, |
| "grad_norm": 4.75, |
| "learning_rate": 4.999521596878917e-05, |
| "loss": 0.4295, |
| "step": 950 |
| }, |
| { |
| "epoch": 0.0064, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.999511298195937e-05, |
| "loss": 0.4008, |
| "step": 960 |
| }, |
| { |
| "epoch": 0.006466666666666667, |
| "grad_norm": 5.375, |
| "learning_rate": 4.999500889850193e-05, |
| "loss": 0.4213, |
| "step": 970 |
| }, |
| { |
| "epoch": 0.006533333333333334, |
| "grad_norm": 6.0, |
| "learning_rate": 4.999490371842139e-05, |
| "loss": 0.4326, |
| "step": 980 |
| }, |
| { |
| "epoch": 0.0066, |
| "grad_norm": 5.4375, |
| "learning_rate": 4.999479744172237e-05, |
| "loss": 0.397, |
| "step": 990 |
| }, |
| { |
| "epoch": 0.006666666666666667, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.9994690068409556e-05, |
| "loss": 0.4096, |
| "step": 1000 |
| }, |
| { |
| "epoch": 0.006733333333333333, |
| "grad_norm": 5.53125, |
| "learning_rate": 4.999458159848764e-05, |
| "loss": 0.3946, |
| "step": 1010 |
| }, |
| { |
| "epoch": 0.0068, |
| "grad_norm": 5.53125, |
| "learning_rate": 4.9994472031961386e-05, |
| "loss": 0.3924, |
| "step": 1020 |
| }, |
| { |
| "epoch": 0.006866666666666667, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.9994361368835595e-05, |
| "loss": 0.4063, |
| "step": 1030 |
| }, |
| { |
| "epoch": 0.006933333333333333, |
| "grad_norm": 6.3125, |
| "learning_rate": 4.999424960911513e-05, |
| "loss": 0.4257, |
| "step": 1040 |
| }, |
| { |
| "epoch": 0.007, |
| "grad_norm": 5.90625, |
| "learning_rate": 4.999413675280489e-05, |
| "loss": 0.437, |
| "step": 1050 |
| }, |
| { |
| "epoch": 0.007066666666666666, |
| "grad_norm": 4.5, |
| "learning_rate": 4.999402279990984e-05, |
| "loss": 0.3873, |
| "step": 1060 |
| }, |
| { |
| "epoch": 0.0071333333333333335, |
| "grad_norm": 5.15625, |
| "learning_rate": 4.999390775043494e-05, |
| "loss": 0.3756, |
| "step": 1070 |
| }, |
| { |
| "epoch": 0.0072, |
| "grad_norm": 4.875, |
| "learning_rate": 4.999379160438529e-05, |
| "loss": 0.3982, |
| "step": 1080 |
| }, |
| { |
| "epoch": 0.007266666666666667, |
| "grad_norm": 4.875, |
| "learning_rate": 4.9993674361765947e-05, |
| "loss": 0.4096, |
| "step": 1090 |
| }, |
| { |
| "epoch": 0.007333333333333333, |
| "grad_norm": 4.84375, |
| "learning_rate": 4.999355602258207e-05, |
| "loss": 0.4269, |
| "step": 1100 |
| }, |
| { |
| "epoch": 0.0074, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.999343658683885e-05, |
| "loss": 0.3908, |
| "step": 1110 |
| }, |
| { |
| "epoch": 0.007466666666666667, |
| "grad_norm": 4.5, |
| "learning_rate": 4.999331605454153e-05, |
| "loss": 0.4155, |
| "step": 1120 |
| }, |
| { |
| "epoch": 0.007533333333333334, |
| "grad_norm": 7.28125, |
| "learning_rate": 4.999319442569539e-05, |
| "loss": 0.4886, |
| "step": 1130 |
| }, |
| { |
| "epoch": 0.0076, |
| "grad_norm": 6.15625, |
| "learning_rate": 4.9993071700305775e-05, |
| "loss": 0.4295, |
| "step": 1140 |
| }, |
| { |
| "epoch": 0.007666666666666666, |
| "grad_norm": 4.65625, |
| "learning_rate": 4.999294787837807e-05, |
| "loss": 0.3996, |
| "step": 1150 |
| }, |
| { |
| "epoch": 0.007733333333333333, |
| "grad_norm": 5.84375, |
| "learning_rate": 4.999282295991769e-05, |
| "loss": 0.3818, |
| "step": 1160 |
| }, |
| { |
| "epoch": 0.0078, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.999269694493014e-05, |
| "loss": 0.3855, |
| "step": 1170 |
| }, |
| { |
| "epoch": 0.007866666666666666, |
| "grad_norm": 2.71875, |
| "learning_rate": 4.999256983342093e-05, |
| "loss": 0.367, |
| "step": 1180 |
| }, |
| { |
| "epoch": 0.007933333333333334, |
| "grad_norm": 4.09375, |
| "learning_rate": 4.999244162539565e-05, |
| "loss": 0.4159, |
| "step": 1190 |
| }, |
| { |
| "epoch": 0.008, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.9992312320859914e-05, |
| "loss": 0.3786, |
| "step": 1200 |
| }, |
| { |
| "epoch": 0.008066666666666666, |
| "grad_norm": 4.78125, |
| "learning_rate": 4.9992181919819403e-05, |
| "loss": 0.4019, |
| "step": 1210 |
| }, |
| { |
| "epoch": 0.008133333333333333, |
| "grad_norm": 5.875, |
| "learning_rate": 4.9992050422279835e-05, |
| "loss": 0.4095, |
| "step": 1220 |
| }, |
| { |
| "epoch": 0.0082, |
| "grad_norm": 10.8125, |
| "learning_rate": 4.999191782824697e-05, |
| "loss": 0.4201, |
| "step": 1230 |
| }, |
| { |
| "epoch": 0.008266666666666667, |
| "grad_norm": 8.4375, |
| "learning_rate": 4.999178413772665e-05, |
| "loss": 0.425, |
| "step": 1240 |
| }, |
| { |
| "epoch": 0.008333333333333333, |
| "grad_norm": 5.4375, |
| "learning_rate": 4.999164935072472e-05, |
| "loss": 0.3797, |
| "step": 1250 |
| }, |
| { |
| "epoch": 0.0084, |
| "grad_norm": 4.84375, |
| "learning_rate": 4.99915134672471e-05, |
| "loss": 0.416, |
| "step": 1260 |
| }, |
| { |
| "epoch": 0.008466666666666667, |
| "grad_norm": 5.375, |
| "learning_rate": 4.999137648729975e-05, |
| "loss": 0.3806, |
| "step": 1270 |
| }, |
| { |
| "epoch": 0.008533333333333334, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.999123841088868e-05, |
| "loss": 0.3851, |
| "step": 1280 |
| }, |
| { |
| "epoch": 0.0086, |
| "grad_norm": 4.5, |
| "learning_rate": 4.999109923801994e-05, |
| "loss": 0.4028, |
| "step": 1290 |
| }, |
| { |
| "epoch": 0.008666666666666666, |
| "grad_norm": 4.6875, |
| "learning_rate": 4.999095896869965e-05, |
| "loss": 0.4023, |
| "step": 1300 |
| }, |
| { |
| "epoch": 0.008733333333333333, |
| "grad_norm": 6.9375, |
| "learning_rate": 4.9990817602933965e-05, |
| "loss": 0.3585, |
| "step": 1310 |
| }, |
| { |
| "epoch": 0.0088, |
| "grad_norm": 4.75, |
| "learning_rate": 4.999067514072908e-05, |
| "loss": 0.4049, |
| "step": 1320 |
| }, |
| { |
| "epoch": 0.008866666666666667, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.999053158209124e-05, |
| "loss": 0.3998, |
| "step": 1330 |
| }, |
| { |
| "epoch": 0.008933333333333333, |
| "grad_norm": 6.21875, |
| "learning_rate": 4.9990386927026756e-05, |
| "loss": 0.3928, |
| "step": 1340 |
| }, |
| { |
| "epoch": 0.009, |
| "grad_norm": 4.6875, |
| "learning_rate": 4.999024117554196e-05, |
| "loss": 0.409, |
| "step": 1350 |
| }, |
| { |
| "epoch": 0.009066666666666667, |
| "grad_norm": 5.40625, |
| "learning_rate": 4.999009432764326e-05, |
| "loss": 0.4231, |
| "step": 1360 |
| }, |
| { |
| "epoch": 0.009133333333333334, |
| "grad_norm": 3.921875, |
| "learning_rate": 4.998994638333709e-05, |
| "loss": 0.3976, |
| "step": 1370 |
| }, |
| { |
| "epoch": 0.0092, |
| "grad_norm": 5.28125, |
| "learning_rate": 4.998979734262995e-05, |
| "loss": 0.3721, |
| "step": 1380 |
| }, |
| { |
| "epoch": 0.009266666666666666, |
| "grad_norm": 3.9375, |
| "learning_rate": 4.998964720552838e-05, |
| "loss": 0.4223, |
| "step": 1390 |
| }, |
| { |
| "epoch": 0.009333333333333334, |
| "grad_norm": 6.21875, |
| "learning_rate": 4.998949597203895e-05, |
| "loss": 0.3988, |
| "step": 1400 |
| }, |
| { |
| "epoch": 0.0094, |
| "grad_norm": 5.3125, |
| "learning_rate": 4.998934364216831e-05, |
| "loss": 0.4045, |
| "step": 1410 |
| }, |
| { |
| "epoch": 0.009466666666666667, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.998919021592313e-05, |
| "loss": 0.3716, |
| "step": 1420 |
| }, |
| { |
| "epoch": 0.009533333333333333, |
| "grad_norm": 4.125, |
| "learning_rate": 4.998903569331016e-05, |
| "loss": 0.4711, |
| "step": 1430 |
| }, |
| { |
| "epoch": 0.0096, |
| "grad_norm": 12.25, |
| "learning_rate": 4.9988880074336164e-05, |
| "loss": 0.4235, |
| "step": 1440 |
| }, |
| { |
| "epoch": 0.009666666666666667, |
| "grad_norm": 5.59375, |
| "learning_rate": 4.9988723359007983e-05, |
| "loss": 0.4209, |
| "step": 1450 |
| }, |
| { |
| "epoch": 0.009733333333333333, |
| "grad_norm": 5.65625, |
| "learning_rate": 4.998856554733248e-05, |
| "loss": 0.3975, |
| "step": 1460 |
| }, |
| { |
| "epoch": 0.0098, |
| "grad_norm": 3.421875, |
| "learning_rate": 4.998840663931659e-05, |
| "loss": 0.4024, |
| "step": 1470 |
| }, |
| { |
| "epoch": 0.009866666666666666, |
| "grad_norm": 6.09375, |
| "learning_rate": 4.998824663496727e-05, |
| "loss": 0.3874, |
| "step": 1480 |
| }, |
| { |
| "epoch": 0.009933333333333334, |
| "grad_norm": 6.25, |
| "learning_rate": 4.998808553429155e-05, |
| "loss": 0.3691, |
| "step": 1490 |
| }, |
| { |
| "epoch": 0.01, |
| "grad_norm": 4.65625, |
| "learning_rate": 4.99879233372965e-05, |
| "loss": 0.4208, |
| "step": 1500 |
| }, |
| { |
| "epoch": 0.010066666666666666, |
| "grad_norm": 5.40625, |
| "learning_rate": 4.9987760043989226e-05, |
| "loss": 0.3806, |
| "step": 1510 |
| }, |
| { |
| "epoch": 0.010133333333333333, |
| "grad_norm": 5.65625, |
| "learning_rate": 4.9987595654376905e-05, |
| "loss": 0.3878, |
| "step": 1520 |
| }, |
| { |
| "epoch": 0.0102, |
| "grad_norm": 7.625, |
| "learning_rate": 4.9987430168466746e-05, |
| "loss": 0.4219, |
| "step": 1530 |
| }, |
| { |
| "epoch": 0.010266666666666667, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.998726358626601e-05, |
| "loss": 0.4109, |
| "step": 1540 |
| }, |
| { |
| "epoch": 0.010333333333333333, |
| "grad_norm": 5.1875, |
| "learning_rate": 4.9987095907781995e-05, |
| "loss": 0.3773, |
| "step": 1550 |
| }, |
| { |
| "epoch": 0.0104, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.998692713302207e-05, |
| "loss": 0.3955, |
| "step": 1560 |
| }, |
| { |
| "epoch": 0.010466666666666668, |
| "grad_norm": 5.09375, |
| "learning_rate": 4.9986757261993636e-05, |
| "loss": 0.4054, |
| "step": 1570 |
| }, |
| { |
| "epoch": 0.010533333333333334, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.998658629470414e-05, |
| "loss": 0.3954, |
| "step": 1580 |
| }, |
| { |
| "epoch": 0.0106, |
| "grad_norm": 3.5625, |
| "learning_rate": 4.998641423116109e-05, |
| "loss": 0.3968, |
| "step": 1590 |
| }, |
| { |
| "epoch": 0.010666666666666666, |
| "grad_norm": 4.375, |
| "learning_rate": 4.998624107137203e-05, |
| "loss": 0.4103, |
| "step": 1600 |
| }, |
| { |
| "epoch": 0.010733333333333333, |
| "grad_norm": 6.15625, |
| "learning_rate": 4.998606681534457e-05, |
| "loss": 0.4406, |
| "step": 1610 |
| }, |
| { |
| "epoch": 0.0108, |
| "grad_norm": 3.984375, |
| "learning_rate": 4.998589146308633e-05, |
| "loss": 0.4004, |
| "step": 1620 |
| }, |
| { |
| "epoch": 0.010866666666666667, |
| "grad_norm": 6.53125, |
| "learning_rate": 4.998571501460503e-05, |
| "loss": 0.3916, |
| "step": 1630 |
| }, |
| { |
| "epoch": 0.010933333333333333, |
| "grad_norm": 5.625, |
| "learning_rate": 4.99855374699084e-05, |
| "loss": 0.4175, |
| "step": 1640 |
| }, |
| { |
| "epoch": 0.011, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.9985358829004226e-05, |
| "loss": 0.3908, |
| "step": 1650 |
| }, |
| { |
| "epoch": 0.011066666666666667, |
| "grad_norm": 3.796875, |
| "learning_rate": 4.998517909190035e-05, |
| "loss": 0.4113, |
| "step": 1660 |
| }, |
| { |
| "epoch": 0.011133333333333334, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.9984998258604666e-05, |
| "loss": 0.4133, |
| "step": 1670 |
| }, |
| { |
| "epoch": 0.0112, |
| "grad_norm": 4.21875, |
| "learning_rate": 4.998481632912509e-05, |
| "loss": 0.4375, |
| "step": 1680 |
| }, |
| { |
| "epoch": 0.011266666666666666, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.998463330346961e-05, |
| "loss": 0.4203, |
| "step": 1690 |
| }, |
| { |
| "epoch": 0.011333333333333334, |
| "grad_norm": 7.90625, |
| "learning_rate": 4.9984449181646266e-05, |
| "loss": 0.3943, |
| "step": 1700 |
| }, |
| { |
| "epoch": 0.0114, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.9984263963663123e-05, |
| "loss": 0.3786, |
| "step": 1710 |
| }, |
| { |
| "epoch": 0.011466666666666667, |
| "grad_norm": 5.78125, |
| "learning_rate": 4.9984077649528315e-05, |
| "loss": 0.3857, |
| "step": 1720 |
| }, |
| { |
| "epoch": 0.011533333333333333, |
| "grad_norm": 6.21875, |
| "learning_rate": 4.998389023925002e-05, |
| "loss": 0.4181, |
| "step": 1730 |
| }, |
| { |
| "epoch": 0.0116, |
| "grad_norm": 5.1875, |
| "learning_rate": 4.998370173283645e-05, |
| "loss": 0.3674, |
| "step": 1740 |
| }, |
| { |
| "epoch": 0.011666666666666667, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.998351213029588e-05, |
| "loss": 0.4061, |
| "step": 1750 |
| }, |
| { |
| "epoch": 0.011733333333333333, |
| "grad_norm": 6.1875, |
| "learning_rate": 4.998332143163663e-05, |
| "loss": 0.4013, |
| "step": 1760 |
| }, |
| { |
| "epoch": 0.0118, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.998312963686706e-05, |
| "loss": 0.4003, |
| "step": 1770 |
| }, |
| { |
| "epoch": 0.011866666666666666, |
| "grad_norm": 4.6875, |
| "learning_rate": 4.99829367459956e-05, |
| "loss": 0.3885, |
| "step": 1780 |
| }, |
| { |
| "epoch": 0.011933333333333334, |
| "grad_norm": 4.375, |
| "learning_rate": 4.9982742759030696e-05, |
| "loss": 0.3774, |
| "step": 1790 |
| }, |
| { |
| "epoch": 0.012, |
| "grad_norm": 4.78125, |
| "learning_rate": 4.998254767598087e-05, |
| "loss": 0.3891, |
| "step": 1800 |
| }, |
| { |
| "epoch": 0.012066666666666667, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.998235149685468e-05, |
| "loss": 0.3822, |
| "step": 1810 |
| }, |
| { |
| "epoch": 0.012133333333333333, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.998215422166073e-05, |
| "loss": 0.3762, |
| "step": 1820 |
| }, |
| { |
| "epoch": 0.0122, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.998195585040767e-05, |
| "loss": 0.4045, |
| "step": 1830 |
| }, |
| { |
| "epoch": 0.012266666666666667, |
| "grad_norm": 4.5, |
| "learning_rate": 4.99817563831042e-05, |
| "loss": 0.3978, |
| "step": 1840 |
| }, |
| { |
| "epoch": 0.012333333333333333, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.9981555819759096e-05, |
| "loss": 0.4456, |
| "step": 1850 |
| }, |
| { |
| "epoch": 0.0124, |
| "grad_norm": 4.75, |
| "learning_rate": 4.998135416038113e-05, |
| "loss": 0.4107, |
| "step": 1860 |
| }, |
| { |
| "epoch": 0.012466666666666666, |
| "grad_norm": 6.65625, |
| "learning_rate": 4.998115140497918e-05, |
| "loss": 0.4195, |
| "step": 1870 |
| }, |
| { |
| "epoch": 0.012533333333333334, |
| "grad_norm": 3.671875, |
| "learning_rate": 4.99809475535621e-05, |
| "loss": 0.4099, |
| "step": 1880 |
| }, |
| { |
| "epoch": 0.0126, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.9980742606138866e-05, |
| "loss": 0.4185, |
| "step": 1890 |
| }, |
| { |
| "epoch": 0.012666666666666666, |
| "grad_norm": 4.375, |
| "learning_rate": 4.998053656271846e-05, |
| "loss": 0.3877, |
| "step": 1900 |
| }, |
| { |
| "epoch": 0.012733333333333333, |
| "grad_norm": 4.09375, |
| "learning_rate": 4.9980329423309926e-05, |
| "loss": 0.4209, |
| "step": 1910 |
| }, |
| { |
| "epoch": 0.0128, |
| "grad_norm": 4.3125, |
| "learning_rate": 4.998012118792234e-05, |
| "loss": 0.3972, |
| "step": 1920 |
| }, |
| { |
| "epoch": 0.012866666666666667, |
| "grad_norm": 5.1875, |
| "learning_rate": 4.997991185656485e-05, |
| "loss": 0.3657, |
| "step": 1930 |
| }, |
| { |
| "epoch": 0.012933333333333333, |
| "grad_norm": 4.65625, |
| "learning_rate": 4.997970142924663e-05, |
| "loss": 0.4369, |
| "step": 1940 |
| }, |
| { |
| "epoch": 0.013, |
| "grad_norm": 5.5, |
| "learning_rate": 4.997948990597693e-05, |
| "loss": 0.4152, |
| "step": 1950 |
| }, |
| { |
| "epoch": 0.013066666666666667, |
| "grad_norm": 3.984375, |
| "learning_rate": 4.997927728676501e-05, |
| "loss": 0.4015, |
| "step": 1960 |
| }, |
| { |
| "epoch": 0.013133333333333334, |
| "grad_norm": 5.25, |
| "learning_rate": 4.997906357162021e-05, |
| "loss": 0.4075, |
| "step": 1970 |
| }, |
| { |
| "epoch": 0.0132, |
| "grad_norm": 5.625, |
| "learning_rate": 4.997884876055191e-05, |
| "loss": 0.3929, |
| "step": 1980 |
| }, |
| { |
| "epoch": 0.013266666666666666, |
| "grad_norm": 3.34375, |
| "learning_rate": 4.997863285356952e-05, |
| "loss": 0.3948, |
| "step": 1990 |
| }, |
| { |
| "epoch": 0.013333333333333334, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.997841585068252e-05, |
| "loss": 0.4109, |
| "step": 2000 |
| }, |
| { |
| "epoch": 0.0134, |
| "grad_norm": 4.25, |
| "learning_rate": 4.9978197751900434e-05, |
| "loss": 0.3931, |
| "step": 2010 |
| }, |
| { |
| "epoch": 0.013466666666666667, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.997797855723283e-05, |
| "loss": 0.3778, |
| "step": 2020 |
| }, |
| { |
| "epoch": 0.013533333333333333, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.997775826668932e-05, |
| "loss": 0.3778, |
| "step": 2030 |
| }, |
| { |
| "epoch": 0.0136, |
| "grad_norm": 6.28125, |
| "learning_rate": 4.997753688027957e-05, |
| "loss": 0.4032, |
| "step": 2040 |
| }, |
| { |
| "epoch": 0.013666666666666667, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.99773143980133e-05, |
| "loss": 0.402, |
| "step": 2050 |
| }, |
| { |
| "epoch": 0.013733333333333334, |
| "grad_norm": 3.75, |
| "learning_rate": 4.9977090819900265e-05, |
| "loss": 0.4192, |
| "step": 2060 |
| }, |
| { |
| "epoch": 0.0138, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.9976866145950275e-05, |
| "loss": 0.3438, |
| "step": 2070 |
| }, |
| { |
| "epoch": 0.013866666666666666, |
| "grad_norm": 0.341796875, |
| "learning_rate": 4.997664037617319e-05, |
| "loss": 0.3847, |
| "step": 2080 |
| }, |
| { |
| "epoch": 0.013933333333333334, |
| "grad_norm": 4.375, |
| "learning_rate": 4.9976413510578905e-05, |
| "loss": 0.3806, |
| "step": 2090 |
| }, |
| { |
| "epoch": 0.014, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.997618554917739e-05, |
| "loss": 0.3602, |
| "step": 2100 |
| }, |
| { |
| "epoch": 0.014066666666666667, |
| "grad_norm": 3.546875, |
| "learning_rate": 4.997595649197864e-05, |
| "loss": 0.3776, |
| "step": 2110 |
| }, |
| { |
| "epoch": 0.014133333333333333, |
| "grad_norm": 5.03125, |
| "learning_rate": 4.997572633899269e-05, |
| "loss": 0.4214, |
| "step": 2120 |
| }, |
| { |
| "epoch": 0.0142, |
| "grad_norm": 5.9375, |
| "learning_rate": 4.9975495090229665e-05, |
| "loss": 0.3807, |
| "step": 2130 |
| }, |
| { |
| "epoch": 0.014266666666666667, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.997526274569968e-05, |
| "loss": 0.4029, |
| "step": 2140 |
| }, |
| { |
| "epoch": 0.014333333333333333, |
| "grad_norm": 5.5625, |
| "learning_rate": 4.9975029305412957e-05, |
| "loss": 0.4623, |
| "step": 2150 |
| }, |
| { |
| "epoch": 0.0144, |
| "grad_norm": 4.84375, |
| "learning_rate": 4.9974794769379716e-05, |
| "loss": 0.3673, |
| "step": 2160 |
| }, |
| { |
| "epoch": 0.014466666666666666, |
| "grad_norm": 4.5, |
| "learning_rate": 4.997455913761027e-05, |
| "loss": 0.4094, |
| "step": 2170 |
| }, |
| { |
| "epoch": 0.014533333333333334, |
| "grad_norm": 5.34375, |
| "learning_rate": 4.9974322410114936e-05, |
| "loss": 0.3979, |
| "step": 2180 |
| }, |
| { |
| "epoch": 0.0146, |
| "grad_norm": 4.53125, |
| "learning_rate": 4.997408458690411e-05, |
| "loss": 0.3822, |
| "step": 2190 |
| }, |
| { |
| "epoch": 0.014666666666666666, |
| "grad_norm": 5.5625, |
| "learning_rate": 4.9973845667988216e-05, |
| "loss": 0.3738, |
| "step": 2200 |
| }, |
| { |
| "epoch": 0.014733333333333333, |
| "grad_norm": 3.296875, |
| "learning_rate": 4.9973605653377755e-05, |
| "loss": 0.3636, |
| "step": 2210 |
| }, |
| { |
| "epoch": 0.0148, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.9973364543083244e-05, |
| "loss": 0.3807, |
| "step": 2220 |
| }, |
| { |
| "epoch": 0.014866666666666667, |
| "grad_norm": 5.15625, |
| "learning_rate": 4.997312233711526e-05, |
| "loss": 0.3737, |
| "step": 2230 |
| }, |
| { |
| "epoch": 0.014933333333333333, |
| "grad_norm": 4.25, |
| "learning_rate": 4.997287903548443e-05, |
| "loss": 0.4301, |
| "step": 2240 |
| }, |
| { |
| "epoch": 0.015, |
| "grad_norm": 5.21875, |
| "learning_rate": 4.997263463820144e-05, |
| "loss": 0.4029, |
| "step": 2250 |
| }, |
| { |
| "epoch": 0.015066666666666667, |
| "grad_norm": 3.453125, |
| "learning_rate": 4.9972389145277005e-05, |
| "loss": 0.3999, |
| "step": 2260 |
| }, |
| { |
| "epoch": 0.015133333333333334, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.997214255672189e-05, |
| "loss": 0.3795, |
| "step": 2270 |
| }, |
| { |
| "epoch": 0.0152, |
| "grad_norm": 5.3125, |
| "learning_rate": 4.997189487254692e-05, |
| "loss": 0.3974, |
| "step": 2280 |
| }, |
| { |
| "epoch": 0.015266666666666666, |
| "grad_norm": 4.65625, |
| "learning_rate": 4.997164609276296e-05, |
| "loss": 0.3602, |
| "step": 2290 |
| }, |
| { |
| "epoch": 0.015333333333333332, |
| "grad_norm": 4.5, |
| "learning_rate": 4.9971396217380926e-05, |
| "loss": 0.3834, |
| "step": 2300 |
| }, |
| { |
| "epoch": 0.0154, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.997114524641179e-05, |
| "loss": 0.3643, |
| "step": 2310 |
| }, |
| { |
| "epoch": 0.015466666666666667, |
| "grad_norm": 5.875, |
| "learning_rate": 4.997089317986654e-05, |
| "loss": 0.3892, |
| "step": 2320 |
| }, |
| { |
| "epoch": 0.015533333333333333, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.997064001775625e-05, |
| "loss": 0.3654, |
| "step": 2330 |
| }, |
| { |
| "epoch": 0.0156, |
| "grad_norm": 4.0, |
| "learning_rate": 4.997038576009204e-05, |
| "loss": 0.365, |
| "step": 2340 |
| }, |
| { |
| "epoch": 0.015666666666666666, |
| "grad_norm": 4.375, |
| "learning_rate": 4.997013040688504e-05, |
| "loss": 0.4061, |
| "step": 2350 |
| }, |
| { |
| "epoch": 0.015733333333333332, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.996987395814646e-05, |
| "loss": 0.3835, |
| "step": 2360 |
| }, |
| { |
| "epoch": 0.0158, |
| "grad_norm": 2.34375, |
| "learning_rate": 4.9969616413887566e-05, |
| "loss": 0.4001, |
| "step": 2370 |
| }, |
| { |
| "epoch": 0.015866666666666668, |
| "grad_norm": 4.625, |
| "learning_rate": 4.996935777411964e-05, |
| "loss": 0.3739, |
| "step": 2380 |
| }, |
| { |
| "epoch": 0.015933333333333334, |
| "grad_norm": 5.8125, |
| "learning_rate": 4.996909803885405e-05, |
| "loss": 0.3745, |
| "step": 2390 |
| }, |
| { |
| "epoch": 0.016, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.996883720810216e-05, |
| "loss": 0.3768, |
| "step": 2400 |
| }, |
| { |
| "epoch": 0.016066666666666667, |
| "grad_norm": 4.21875, |
| "learning_rate": 4.996857528187544e-05, |
| "loss": 0.3832, |
| "step": 2410 |
| }, |
| { |
| "epoch": 0.016133333333333333, |
| "grad_norm": 5.46875, |
| "learning_rate": 4.996831226018537e-05, |
| "loss": 0.3806, |
| "step": 2420 |
| }, |
| { |
| "epoch": 0.0162, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.99680481430435e-05, |
| "loss": 0.4094, |
| "step": 2430 |
| }, |
| { |
| "epoch": 0.016266666666666665, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.996778293046141e-05, |
| "loss": 0.3995, |
| "step": 2440 |
| }, |
| { |
| "epoch": 0.01633333333333333, |
| "grad_norm": 5.09375, |
| "learning_rate": 4.996751662245073e-05, |
| "loss": 0.3743, |
| "step": 2450 |
| }, |
| { |
| "epoch": 0.0164, |
| "grad_norm": 4.65625, |
| "learning_rate": 4.996724921902315e-05, |
| "loss": 0.4, |
| "step": 2460 |
| }, |
| { |
| "epoch": 0.016466666666666668, |
| "grad_norm": 4.5, |
| "learning_rate": 4.9966980720190404e-05, |
| "loss": 0.3753, |
| "step": 2470 |
| }, |
| { |
| "epoch": 0.016533333333333334, |
| "grad_norm": 3.71875, |
| "learning_rate": 4.9966711125964276e-05, |
| "loss": 0.3969, |
| "step": 2480 |
| }, |
| { |
| "epoch": 0.0166, |
| "grad_norm": 5.25, |
| "learning_rate": 4.9966440436356584e-05, |
| "loss": 0.3777, |
| "step": 2490 |
| }, |
| { |
| "epoch": 0.016666666666666666, |
| "grad_norm": 4.9375, |
| "learning_rate": 4.9966168651379214e-05, |
| "loss": 0.4272, |
| "step": 2500 |
| }, |
| { |
| "epoch": 0.016733333333333333, |
| "grad_norm": 5.125, |
| "learning_rate": 4.996589577104408e-05, |
| "loss": 0.379, |
| "step": 2510 |
| }, |
| { |
| "epoch": 0.0168, |
| "grad_norm": 2.796875, |
| "learning_rate": 4.9965621795363164e-05, |
| "loss": 0.3676, |
| "step": 2520 |
| }, |
| { |
| "epoch": 0.016866666666666665, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.9965346724348485e-05, |
| "loss": 0.4215, |
| "step": 2530 |
| }, |
| { |
| "epoch": 0.016933333333333335, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.99650705580121e-05, |
| "loss": 0.392, |
| "step": 2540 |
| }, |
| { |
| "epoch": 0.017, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.9964793296366136e-05, |
| "loss": 0.3904, |
| "step": 2550 |
| }, |
| { |
| "epoch": 0.017066666666666667, |
| "grad_norm": 2.515625, |
| "learning_rate": 4.996451493942276e-05, |
| "loss": 0.3582, |
| "step": 2560 |
| }, |
| { |
| "epoch": 0.017133333333333334, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.9964235487194175e-05, |
| "loss": 0.3663, |
| "step": 2570 |
| }, |
| { |
| "epoch": 0.0172, |
| "grad_norm": 3.96875, |
| "learning_rate": 4.9963954939692645e-05, |
| "loss": 0.3952, |
| "step": 2580 |
| }, |
| { |
| "epoch": 0.017266666666666666, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.996367329693048e-05, |
| "loss": 0.3664, |
| "step": 2590 |
| }, |
| { |
| "epoch": 0.017333333333333333, |
| "grad_norm": 8.0, |
| "learning_rate": 4.996339055892004e-05, |
| "loss": 0.3507, |
| "step": 2600 |
| }, |
| { |
| "epoch": 0.0174, |
| "grad_norm": 5.0, |
| "learning_rate": 4.9963106725673725e-05, |
| "loss": 0.4034, |
| "step": 2610 |
| }, |
| { |
| "epoch": 0.017466666666666665, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.9962821797203984e-05, |
| "loss": 0.3727, |
| "step": 2620 |
| }, |
| { |
| "epoch": 0.017533333333333335, |
| "grad_norm": 6.375, |
| "learning_rate": 4.9962535773523326e-05, |
| "loss": 0.4132, |
| "step": 2630 |
| }, |
| { |
| "epoch": 0.0176, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.99622486546443e-05, |
| "loss": 0.3878, |
| "step": 2640 |
| }, |
| { |
| "epoch": 0.017666666666666667, |
| "grad_norm": 5.375, |
| "learning_rate": 4.99619604405795e-05, |
| "loss": 0.4097, |
| "step": 2650 |
| }, |
| { |
| "epoch": 0.017733333333333334, |
| "grad_norm": 7.21875, |
| "learning_rate": 4.996167113134157e-05, |
| "loss": 0.4051, |
| "step": 2660 |
| }, |
| { |
| "epoch": 0.0178, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.99613807269432e-05, |
| "loss": 0.3888, |
| "step": 2670 |
| }, |
| { |
| "epoch": 0.017866666666666666, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.9961089227397137e-05, |
| "loss": 0.406, |
| "step": 2680 |
| }, |
| { |
| "epoch": 0.017933333333333332, |
| "grad_norm": 4.0, |
| "learning_rate": 4.996079663271617e-05, |
| "loss": 0.3823, |
| "step": 2690 |
| }, |
| { |
| "epoch": 0.018, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.9960502942913136e-05, |
| "loss": 0.3795, |
| "step": 2700 |
| }, |
| { |
| "epoch": 0.01806666666666667, |
| "grad_norm": 3.78125, |
| "learning_rate": 4.9960208158000916e-05, |
| "loss": 0.3636, |
| "step": 2710 |
| }, |
| { |
| "epoch": 0.018133333333333335, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.995991227799245e-05, |
| "loss": 0.386, |
| "step": 2720 |
| }, |
| { |
| "epoch": 0.0182, |
| "grad_norm": 8.375, |
| "learning_rate": 4.9959615302900706e-05, |
| "loss": 0.3742, |
| "step": 2730 |
| }, |
| { |
| "epoch": 0.018266666666666667, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.9959317232738736e-05, |
| "loss": 0.3806, |
| "step": 2740 |
| }, |
| { |
| "epoch": 0.018333333333333333, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.9959018067519595e-05, |
| "loss": 0.3485, |
| "step": 2750 |
| }, |
| { |
| "epoch": 0.0184, |
| "grad_norm": 5.125, |
| "learning_rate": 4.9958717807256415e-05, |
| "loss": 0.4092, |
| "step": 2760 |
| }, |
| { |
| "epoch": 0.018466666666666666, |
| "grad_norm": 5.25, |
| "learning_rate": 4.995841645196238e-05, |
| "loss": 0.3848, |
| "step": 2770 |
| }, |
| { |
| "epoch": 0.018533333333333332, |
| "grad_norm": 4.5, |
| "learning_rate": 4.9958114001650695e-05, |
| "loss": 0.3848, |
| "step": 2780 |
| }, |
| { |
| "epoch": 0.0186, |
| "grad_norm": 6.75, |
| "learning_rate": 4.995781045633464e-05, |
| "loss": 0.3821, |
| "step": 2790 |
| }, |
| { |
| "epoch": 0.018666666666666668, |
| "grad_norm": 8.875, |
| "learning_rate": 4.995750581602754e-05, |
| "loss": 0.3847, |
| "step": 2800 |
| }, |
| { |
| "epoch": 0.018733333333333334, |
| "grad_norm": 3.671875, |
| "learning_rate": 4.995720008074275e-05, |
| "loss": 0.3589, |
| "step": 2810 |
| }, |
| { |
| "epoch": 0.0188, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.9956893250493674e-05, |
| "loss": 0.404, |
| "step": 2820 |
| }, |
| { |
| "epoch": 0.018866666666666667, |
| "grad_norm": 5.4375, |
| "learning_rate": 4.995658532529379e-05, |
| "loss": 0.3567, |
| "step": 2830 |
| }, |
| { |
| "epoch": 0.018933333333333333, |
| "grad_norm": 3.90625, |
| "learning_rate": 4.995627630515661e-05, |
| "loss": 0.3492, |
| "step": 2840 |
| }, |
| { |
| "epoch": 0.019, |
| "grad_norm": 5.125, |
| "learning_rate": 4.995596619009568e-05, |
| "loss": 0.387, |
| "step": 2850 |
| }, |
| { |
| "epoch": 0.019066666666666666, |
| "grad_norm": 3.984375, |
| "learning_rate": 4.995565498012461e-05, |
| "loss": 0.3998, |
| "step": 2860 |
| }, |
| { |
| "epoch": 0.019133333333333332, |
| "grad_norm": 5.5, |
| "learning_rate": 4.995534267525706e-05, |
| "loss": 0.3975, |
| "step": 2870 |
| }, |
| { |
| "epoch": 0.0192, |
| "grad_norm": 3.875, |
| "learning_rate": 4.995502927550672e-05, |
| "loss": 0.4093, |
| "step": 2880 |
| }, |
| { |
| "epoch": 0.019266666666666668, |
| "grad_norm": 5.5, |
| "learning_rate": 4.9954714780887355e-05, |
| "loss": 0.3578, |
| "step": 2890 |
| }, |
| { |
| "epoch": 0.019333333333333334, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.995439919141275e-05, |
| "loss": 0.402, |
| "step": 2900 |
| }, |
| { |
| "epoch": 0.0194, |
| "grad_norm": 3.390625, |
| "learning_rate": 4.995408250709675e-05, |
| "loss": 0.3913, |
| "step": 2910 |
| }, |
| { |
| "epoch": 0.019466666666666667, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.995376472795326e-05, |
| "loss": 0.3829, |
| "step": 2920 |
| }, |
| { |
| "epoch": 0.019533333333333333, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.9953445853996214e-05, |
| "loss": 0.3737, |
| "step": 2930 |
| }, |
| { |
| "epoch": 0.0196, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.995312588523961e-05, |
| "loss": 0.3426, |
| "step": 2940 |
| }, |
| { |
| "epoch": 0.019666666666666666, |
| "grad_norm": 5.84375, |
| "learning_rate": 4.995280482169747e-05, |
| "loss": 0.3975, |
| "step": 2950 |
| }, |
| { |
| "epoch": 0.019733333333333332, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.995248266338391e-05, |
| "loss": 0.3973, |
| "step": 2960 |
| }, |
| { |
| "epoch": 0.0198, |
| "grad_norm": 3.609375, |
| "learning_rate": 4.995215941031304e-05, |
| "loss": 0.3933, |
| "step": 2970 |
| }, |
| { |
| "epoch": 0.019866666666666668, |
| "grad_norm": 4.09375, |
| "learning_rate": 4.995183506249904e-05, |
| "loss": 0.3574, |
| "step": 2980 |
| }, |
| { |
| "epoch": 0.019933333333333334, |
| "grad_norm": 5.40625, |
| "learning_rate": 4.995150961995615e-05, |
| "loss": 0.3753, |
| "step": 2990 |
| }, |
| { |
| "epoch": 0.02, |
| "grad_norm": 3.734375, |
| "learning_rate": 4.995118308269865e-05, |
| "loss": 0.3721, |
| "step": 3000 |
| }, |
| { |
| "epoch": 0.020066666666666667, |
| "grad_norm": 4.84375, |
| "learning_rate": 4.9950855450740865e-05, |
| "loss": 0.3215, |
| "step": 3010 |
| }, |
| { |
| "epoch": 0.020133333333333333, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.995052672409717e-05, |
| "loss": 0.4078, |
| "step": 3020 |
| }, |
| { |
| "epoch": 0.0202, |
| "grad_norm": 3.859375, |
| "learning_rate": 4.9950196902781976e-05, |
| "loss": 0.3491, |
| "step": 3030 |
| }, |
| { |
| "epoch": 0.020266666666666665, |
| "grad_norm": 4.21875, |
| "learning_rate": 4.994986598680977e-05, |
| "loss": 0.3796, |
| "step": 3040 |
| }, |
| { |
| "epoch": 0.02033333333333333, |
| "grad_norm": 4.5, |
| "learning_rate": 4.994953397619506e-05, |
| "loss": 0.3691, |
| "step": 3050 |
| }, |
| { |
| "epoch": 0.0204, |
| "grad_norm": 3.953125, |
| "learning_rate": 4.994920087095242e-05, |
| "loss": 0.3642, |
| "step": 3060 |
| }, |
| { |
| "epoch": 0.020466666666666668, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.994886667109645e-05, |
| "loss": 0.3986, |
| "step": 3070 |
| }, |
| { |
| "epoch": 0.020533333333333334, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.9948531376641836e-05, |
| "loss": 0.3695, |
| "step": 3080 |
| }, |
| { |
| "epoch": 0.0206, |
| "grad_norm": 2.5625, |
| "learning_rate": 4.994819498760326e-05, |
| "loss": 0.3769, |
| "step": 3090 |
| }, |
| { |
| "epoch": 0.020666666666666667, |
| "grad_norm": 5.75, |
| "learning_rate": 4.994785750399551e-05, |
| "loss": 0.3661, |
| "step": 3100 |
| }, |
| { |
| "epoch": 0.020733333333333333, |
| "grad_norm": 6.625, |
| "learning_rate": 4.994751892583337e-05, |
| "loss": 0.4364, |
| "step": 3110 |
| }, |
| { |
| "epoch": 0.0208, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.994717925313171e-05, |
| "loss": 0.405, |
| "step": 3120 |
| }, |
| { |
| "epoch": 0.020866666666666665, |
| "grad_norm": 3.921875, |
| "learning_rate": 4.994683848590542e-05, |
| "loss": 0.352, |
| "step": 3130 |
| }, |
| { |
| "epoch": 0.020933333333333335, |
| "grad_norm": 4.625, |
| "learning_rate": 4.994649662416946e-05, |
| "loss": 0.3543, |
| "step": 3140 |
| }, |
| { |
| "epoch": 0.021, |
| "grad_norm": 3.765625, |
| "learning_rate": 4.9946153667938826e-05, |
| "loss": 0.4, |
| "step": 3150 |
| }, |
| { |
| "epoch": 0.021066666666666668, |
| "grad_norm": 4.34375, |
| "learning_rate": 4.994580961722857e-05, |
| "loss": 0.3908, |
| "step": 3160 |
| }, |
| { |
| "epoch": 0.021133333333333334, |
| "grad_norm": 2.609375, |
| "learning_rate": 4.994546447205377e-05, |
| "loss": 0.3563, |
| "step": 3170 |
| }, |
| { |
| "epoch": 0.0212, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.994511823242958e-05, |
| "loss": 0.4014, |
| "step": 3180 |
| }, |
| { |
| "epoch": 0.021266666666666666, |
| "grad_norm": 3.921875, |
| "learning_rate": 4.9944770898371195e-05, |
| "loss": 0.3967, |
| "step": 3190 |
| }, |
| { |
| "epoch": 0.021333333333333333, |
| "grad_norm": 0.166015625, |
| "learning_rate": 4.994442246989385e-05, |
| "loss": 0.3605, |
| "step": 3200 |
| }, |
| { |
| "epoch": 0.0214, |
| "grad_norm": 4.5, |
| "learning_rate": 4.994407294701283e-05, |
| "loss": 0.3969, |
| "step": 3210 |
| }, |
| { |
| "epoch": 0.021466666666666665, |
| "grad_norm": 5.59375, |
| "learning_rate": 4.994372232974347e-05, |
| "loss": 0.3961, |
| "step": 3220 |
| }, |
| { |
| "epoch": 0.021533333333333335, |
| "grad_norm": 4.78125, |
| "learning_rate": 4.9943370618101156e-05, |
| "loss": 0.3971, |
| "step": 3230 |
| }, |
| { |
| "epoch": 0.0216, |
| "grad_norm": 4.875, |
| "learning_rate": 4.9943017812101315e-05, |
| "loss": 0.3764, |
| "step": 3240 |
| }, |
| { |
| "epoch": 0.021666666666666667, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.994266391175943e-05, |
| "loss": 0.3833, |
| "step": 3250 |
| }, |
| { |
| "epoch": 0.021733333333333334, |
| "grad_norm": 5.03125, |
| "learning_rate": 4.994230891709102e-05, |
| "loss": 0.3986, |
| "step": 3260 |
| }, |
| { |
| "epoch": 0.0218, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.9941952828111674e-05, |
| "loss": 0.3653, |
| "step": 3270 |
| }, |
| { |
| "epoch": 0.021866666666666666, |
| "grad_norm": 5.21875, |
| "learning_rate": 4.9941595644837004e-05, |
| "loss": 0.3794, |
| "step": 3280 |
| }, |
| { |
| "epoch": 0.021933333333333332, |
| "grad_norm": 4.3125, |
| "learning_rate": 4.994123736728268e-05, |
| "loss": 0.3632, |
| "step": 3290 |
| }, |
| { |
| "epoch": 0.022, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.994087799546443e-05, |
| "loss": 0.3754, |
| "step": 3300 |
| }, |
| { |
| "epoch": 0.022066666666666665, |
| "grad_norm": 3.4375, |
| "learning_rate": 4.994051752939801e-05, |
| "loss": 0.3756, |
| "step": 3310 |
| }, |
| { |
| "epoch": 0.022133333333333335, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.994015596909924e-05, |
| "loss": 0.3741, |
| "step": 3320 |
| }, |
| { |
| "epoch": 0.0222, |
| "grad_norm": 5.25, |
| "learning_rate": 4.993979331458399e-05, |
| "loss": 0.3626, |
| "step": 3330 |
| }, |
| { |
| "epoch": 0.022266666666666667, |
| "grad_norm": 6.4375, |
| "learning_rate": 4.993942956586816e-05, |
| "loss": 0.3688, |
| "step": 3340 |
| }, |
| { |
| "epoch": 0.022333333333333334, |
| "grad_norm": 4.3125, |
| "learning_rate": 4.993906472296771e-05, |
| "loss": 0.3722, |
| "step": 3350 |
| }, |
| { |
| "epoch": 0.0224, |
| "grad_norm": 6.5625, |
| "learning_rate": 4.9938698785898654e-05, |
| "loss": 0.3719, |
| "step": 3360 |
| }, |
| { |
| "epoch": 0.022466666666666666, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.993833175467705e-05, |
| "loss": 0.4144, |
| "step": 3370 |
| }, |
| { |
| "epoch": 0.022533333333333332, |
| "grad_norm": 5.1875, |
| "learning_rate": 4.9937963629318985e-05, |
| "loss": 0.3896, |
| "step": 3380 |
| }, |
| { |
| "epoch": 0.0226, |
| "grad_norm": 5.34375, |
| "learning_rate": 4.9937594409840616e-05, |
| "loss": 0.3986, |
| "step": 3390 |
| }, |
| { |
| "epoch": 0.02266666666666667, |
| "grad_norm": 5.5, |
| "learning_rate": 4.993722409625815e-05, |
| "loss": 0.3667, |
| "step": 3400 |
| }, |
| { |
| "epoch": 0.022733333333333335, |
| "grad_norm": 4.96875, |
| "learning_rate": 4.993685268858783e-05, |
| "loss": 0.3754, |
| "step": 3410 |
| }, |
| { |
| "epoch": 0.0228, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.993648018684596e-05, |
| "loss": 0.3647, |
| "step": 3420 |
| }, |
| { |
| "epoch": 0.022866666666666667, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.993610659104886e-05, |
| "loss": 0.3442, |
| "step": 3430 |
| }, |
| { |
| "epoch": 0.022933333333333333, |
| "grad_norm": 2.421875, |
| "learning_rate": 4.993573190121294e-05, |
| "loss": 0.379, |
| "step": 3440 |
| }, |
| { |
| "epoch": 0.023, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.993535611735463e-05, |
| "loss": 0.3602, |
| "step": 3450 |
| }, |
| { |
| "epoch": 0.023066666666666666, |
| "grad_norm": 7.0, |
| "learning_rate": 4.993497923949042e-05, |
| "loss": 0.4315, |
| "step": 3460 |
| }, |
| { |
| "epoch": 0.023133333333333332, |
| "grad_norm": 5.78125, |
| "learning_rate": 4.993460126763685e-05, |
| "loss": 0.4244, |
| "step": 3470 |
| }, |
| { |
| "epoch": 0.0232, |
| "grad_norm": 4.34375, |
| "learning_rate": 4.99342222018105e-05, |
| "loss": 0.3699, |
| "step": 3480 |
| }, |
| { |
| "epoch": 0.023266666666666668, |
| "grad_norm": 4.34375, |
| "learning_rate": 4.9933842042027994e-05, |
| "loss": 0.3923, |
| "step": 3490 |
| }, |
| { |
| "epoch": 0.023333333333333334, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.993346078830602e-05, |
| "loss": 0.393, |
| "step": 3500 |
| }, |
| { |
| "epoch": 0.0234, |
| "grad_norm": 14.5, |
| "learning_rate": 4.99330784406613e-05, |
| "loss": 0.4034, |
| "step": 3510 |
| }, |
| { |
| "epoch": 0.023466666666666667, |
| "grad_norm": 1.8203125, |
| "learning_rate": 4.993269499911061e-05, |
| "loss": 0.3749, |
| "step": 3520 |
| }, |
| { |
| "epoch": 0.023533333333333333, |
| "grad_norm": 4.125, |
| "learning_rate": 4.993231046367078e-05, |
| "loss": 0.3575, |
| "step": 3530 |
| }, |
| { |
| "epoch": 0.0236, |
| "grad_norm": 5.09375, |
| "learning_rate": 4.9931924834358666e-05, |
| "loss": 0.385, |
| "step": 3540 |
| }, |
| { |
| "epoch": 0.023666666666666666, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.99315381111912e-05, |
| "loss": 0.4268, |
| "step": 3550 |
| }, |
| { |
| "epoch": 0.023733333333333332, |
| "grad_norm": 3.96875, |
| "learning_rate": 4.993115029418535e-05, |
| "loss": 0.3959, |
| "step": 3560 |
| }, |
| { |
| "epoch": 0.0238, |
| "grad_norm": 5.0, |
| "learning_rate": 4.993076138335811e-05, |
| "loss": 0.395, |
| "step": 3570 |
| }, |
| { |
| "epoch": 0.023866666666666668, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.993037137872657e-05, |
| "loss": 0.379, |
| "step": 3580 |
| }, |
| { |
| "epoch": 0.023933333333333334, |
| "grad_norm": 4.875, |
| "learning_rate": 4.992998028030783e-05, |
| "loss": 0.3688, |
| "step": 3590 |
| }, |
| { |
| "epoch": 0.024, |
| "grad_norm": 4.53125, |
| "learning_rate": 4.992958808811904e-05, |
| "loss": 0.3832, |
| "step": 3600 |
| }, |
| { |
| "epoch": 0.024066666666666667, |
| "grad_norm": 4.78125, |
| "learning_rate": 4.992919480217742e-05, |
| "loss": 0.3984, |
| "step": 3610 |
| }, |
| { |
| "epoch": 0.024133333333333333, |
| "grad_norm": 5.40625, |
| "learning_rate": 4.992880042250022e-05, |
| "loss": 0.3849, |
| "step": 3620 |
| }, |
| { |
| "epoch": 0.0242, |
| "grad_norm": 2.65625, |
| "learning_rate": 4.9928404949104746e-05, |
| "loss": 0.3647, |
| "step": 3630 |
| }, |
| { |
| "epoch": 0.024266666666666666, |
| "grad_norm": 5.40625, |
| "learning_rate": 4.992800838200834e-05, |
| "loss": 0.3911, |
| "step": 3640 |
| }, |
| { |
| "epoch": 0.024333333333333332, |
| "grad_norm": 4.625, |
| "learning_rate": 4.9927610721228416e-05, |
| "loss": 0.3965, |
| "step": 3650 |
| }, |
| { |
| "epoch": 0.0244, |
| "grad_norm": 4.375, |
| "learning_rate": 4.992721196678241e-05, |
| "loss": 0.379, |
| "step": 3660 |
| }, |
| { |
| "epoch": 0.024466666666666668, |
| "grad_norm": 2.578125, |
| "learning_rate": 4.9926812118687806e-05, |
| "loss": 0.391, |
| "step": 3670 |
| }, |
| { |
| "epoch": 0.024533333333333334, |
| "grad_norm": 4.21875, |
| "learning_rate": 4.992641117696217e-05, |
| "loss": 0.383, |
| "step": 3680 |
| }, |
| { |
| "epoch": 0.0246, |
| "grad_norm": 5.1875, |
| "learning_rate": 4.9926009141623076e-05, |
| "loss": 0.3851, |
| "step": 3690 |
| }, |
| { |
| "epoch": 0.024666666666666667, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.992560601268817e-05, |
| "loss": 0.3803, |
| "step": 3700 |
| }, |
| { |
| "epoch": 0.024733333333333333, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.992520179017514e-05, |
| "loss": 0.4252, |
| "step": 3710 |
| }, |
| { |
| "epoch": 0.0248, |
| "grad_norm": 2.9375, |
| "learning_rate": 4.992479647410172e-05, |
| "loss": 0.3983, |
| "step": 3720 |
| }, |
| { |
| "epoch": 0.024866666666666665, |
| "grad_norm": 3.75, |
| "learning_rate": 4.992439006448569e-05, |
| "loss": 0.4156, |
| "step": 3730 |
| }, |
| { |
| "epoch": 0.02493333333333333, |
| "grad_norm": 3.515625, |
| "learning_rate": 4.992398256134488e-05, |
| "loss": 0.4124, |
| "step": 3740 |
| }, |
| { |
| "epoch": 0.025, |
| "grad_norm": 5.375, |
| "learning_rate": 4.992357396469717e-05, |
| "loss": 0.3892, |
| "step": 3750 |
| }, |
| { |
| "epoch": 0.025066666666666668, |
| "grad_norm": 6.4375, |
| "learning_rate": 4.992316427456048e-05, |
| "loss": 0.35, |
| "step": 3760 |
| }, |
| { |
| "epoch": 0.025133333333333334, |
| "grad_norm": 5.125, |
| "learning_rate": 4.9922753490952806e-05, |
| "loss": 0.4127, |
| "step": 3770 |
| }, |
| { |
| "epoch": 0.0252, |
| "grad_norm": 4.375, |
| "learning_rate": 4.992234161389215e-05, |
| "loss": 0.374, |
| "step": 3780 |
| }, |
| { |
| "epoch": 0.025266666666666666, |
| "grad_norm": 3.96875, |
| "learning_rate": 4.992192864339659e-05, |
| "loss": 0.3834, |
| "step": 3790 |
| }, |
| { |
| "epoch": 0.025333333333333333, |
| "grad_norm": 5.4375, |
| "learning_rate": 4.992151457948424e-05, |
| "loss": 0.3755, |
| "step": 3800 |
| }, |
| { |
| "epoch": 0.0254, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.9921099422173265e-05, |
| "loss": 0.3931, |
| "step": 3810 |
| }, |
| { |
| "epoch": 0.025466666666666665, |
| "grad_norm": 5.15625, |
| "learning_rate": 4.99206831714819e-05, |
| "loss": 0.3866, |
| "step": 3820 |
| }, |
| { |
| "epoch": 0.025533333333333335, |
| "grad_norm": 4.375, |
| "learning_rate": 4.992026582742838e-05, |
| "loss": 0.3804, |
| "step": 3830 |
| }, |
| { |
| "epoch": 0.0256, |
| "grad_norm": 3.84375, |
| "learning_rate": 4.991984739003103e-05, |
| "loss": 0.3468, |
| "step": 3840 |
| }, |
| { |
| "epoch": 0.025666666666666667, |
| "grad_norm": 4.84375, |
| "learning_rate": 4.99194278593082e-05, |
| "loss": 0.3743, |
| "step": 3850 |
| }, |
| { |
| "epoch": 0.025733333333333334, |
| "grad_norm": 4.65625, |
| "learning_rate": 4.99190072352783e-05, |
| "loss": 0.3911, |
| "step": 3860 |
| }, |
| { |
| "epoch": 0.0258, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.99185855179598e-05, |
| "loss": 0.4027, |
| "step": 3870 |
| }, |
| { |
| "epoch": 0.025866666666666666, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.991816270737118e-05, |
| "loss": 0.3855, |
| "step": 3880 |
| }, |
| { |
| "epoch": 0.025933333333333333, |
| "grad_norm": 4.625, |
| "learning_rate": 4.9917738803531e-05, |
| "loss": 0.353, |
| "step": 3890 |
| }, |
| { |
| "epoch": 0.026, |
| "grad_norm": 3.09375, |
| "learning_rate": 4.991731380645785e-05, |
| "loss": 0.3409, |
| "step": 3900 |
| }, |
| { |
| "epoch": 0.026066666666666665, |
| "grad_norm": 4.21875, |
| "learning_rate": 4.9916887716170396e-05, |
| "loss": 0.3623, |
| "step": 3910 |
| }, |
| { |
| "epoch": 0.026133333333333335, |
| "grad_norm": 4.65625, |
| "learning_rate": 4.991646053268732e-05, |
| "loss": 0.3488, |
| "step": 3920 |
| }, |
| { |
| "epoch": 0.0262, |
| "grad_norm": 5.09375, |
| "learning_rate": 4.991603225602735e-05, |
| "loss": 0.3798, |
| "step": 3930 |
| }, |
| { |
| "epoch": 0.026266666666666667, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.99156028862093e-05, |
| "loss": 0.4031, |
| "step": 3940 |
| }, |
| { |
| "epoch": 0.026333333333333334, |
| "grad_norm": 4.9375, |
| "learning_rate": 4.9915172423251985e-05, |
| "loss": 0.3852, |
| "step": 3950 |
| }, |
| { |
| "epoch": 0.0264, |
| "grad_norm": 4.34375, |
| "learning_rate": 4.9914740867174314e-05, |
| "loss": 0.3459, |
| "step": 3960 |
| }, |
| { |
| "epoch": 0.026466666666666666, |
| "grad_norm": 5.09375, |
| "learning_rate": 4.991430821799521e-05, |
| "loss": 0.3828, |
| "step": 3970 |
| }, |
| { |
| "epoch": 0.026533333333333332, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.9913874475733655e-05, |
| "loss": 0.3948, |
| "step": 3980 |
| }, |
| { |
| "epoch": 0.0266, |
| "grad_norm": 3.46875, |
| "learning_rate": 4.9913439640408674e-05, |
| "loss": 0.3826, |
| "step": 3990 |
| }, |
| { |
| "epoch": 0.02666666666666667, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.991300371203936e-05, |
| "loss": 0.3734, |
| "step": 4000 |
| }, |
| { |
| "epoch": 0.026733333333333335, |
| "grad_norm": 4.84375, |
| "learning_rate": 4.991256669064482e-05, |
| "loss": 0.3427, |
| "step": 4010 |
| }, |
| { |
| "epoch": 0.0268, |
| "grad_norm": 4.375, |
| "learning_rate": 4.991212857624424e-05, |
| "loss": 0.3855, |
| "step": 4020 |
| }, |
| { |
| "epoch": 0.026866666666666667, |
| "grad_norm": 4.53125, |
| "learning_rate": 4.991168936885684e-05, |
| "loss": 0.3578, |
| "step": 4030 |
| }, |
| { |
| "epoch": 0.026933333333333333, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.9911249068501884e-05, |
| "loss": 0.3501, |
| "step": 4040 |
| }, |
| { |
| "epoch": 0.027, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.9910807675198696e-05, |
| "loss": 0.3967, |
| "step": 4050 |
| }, |
| { |
| "epoch": 0.027066666666666666, |
| "grad_norm": 3.140625, |
| "learning_rate": 4.991036518896664e-05, |
| "loss": 0.371, |
| "step": 4060 |
| }, |
| { |
| "epoch": 0.027133333333333332, |
| "grad_norm": 5.03125, |
| "learning_rate": 4.990992160982513e-05, |
| "loss": 0.353, |
| "step": 4070 |
| }, |
| { |
| "epoch": 0.0272, |
| "grad_norm": 5.875, |
| "learning_rate": 4.990947693779362e-05, |
| "loss": 0.3692, |
| "step": 4080 |
| }, |
| { |
| "epoch": 0.027266666666666668, |
| "grad_norm": 4.625, |
| "learning_rate": 4.9909031172891626e-05, |
| "loss": 0.3889, |
| "step": 4090 |
| }, |
| { |
| "epoch": 0.027333333333333334, |
| "grad_norm": 5.03125, |
| "learning_rate": 4.9908584315138704e-05, |
| "loss": 0.4307, |
| "step": 4100 |
| }, |
| { |
| "epoch": 0.0274, |
| "grad_norm": 5.03125, |
| "learning_rate": 4.990813636455447e-05, |
| "loss": 0.3806, |
| "step": 4110 |
| }, |
| { |
| "epoch": 0.027466666666666667, |
| "grad_norm": 4.625, |
| "learning_rate": 4.990768732115856e-05, |
| "loss": 0.3775, |
| "step": 4120 |
| }, |
| { |
| "epoch": 0.027533333333333333, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.990723718497068e-05, |
| "loss": 0.3664, |
| "step": 4130 |
| }, |
| { |
| "epoch": 0.0276, |
| "grad_norm": 4.875, |
| "learning_rate": 4.990678595601059e-05, |
| "loss": 0.3653, |
| "step": 4140 |
| }, |
| { |
| "epoch": 0.027666666666666666, |
| "grad_norm": 5.5, |
| "learning_rate": 4.990633363429807e-05, |
| "loss": 0.3947, |
| "step": 4150 |
| }, |
| { |
| "epoch": 0.027733333333333332, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.9905880219852976e-05, |
| "loss": 0.3725, |
| "step": 4160 |
| }, |
| { |
| "epoch": 0.0278, |
| "grad_norm": 4.6875, |
| "learning_rate": 4.99054257126952e-05, |
| "loss": 0.3967, |
| "step": 4170 |
| }, |
| { |
| "epoch": 0.027866666666666668, |
| "grad_norm": 6.71875, |
| "learning_rate": 4.9904970112844686e-05, |
| "loss": 0.3718, |
| "step": 4180 |
| }, |
| { |
| "epoch": 0.027933333333333334, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.990451342032141e-05, |
| "loss": 0.354, |
| "step": 4190 |
| }, |
| { |
| "epoch": 0.028, |
| "grad_norm": 5.625, |
| "learning_rate": 4.990405563514542e-05, |
| "loss": 0.3687, |
| "step": 4200 |
| }, |
| { |
| "epoch": 0.028066666666666667, |
| "grad_norm": 4.84375, |
| "learning_rate": 4.9903596757336803e-05, |
| "loss": 0.4179, |
| "step": 4210 |
| }, |
| { |
| "epoch": 0.028133333333333333, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.9903136786915684e-05, |
| "loss": 0.3629, |
| "step": 4220 |
| }, |
| { |
| "epoch": 0.0282, |
| "grad_norm": 5.03125, |
| "learning_rate": 4.9902675723902245e-05, |
| "loss": 0.3602, |
| "step": 4230 |
| }, |
| { |
| "epoch": 0.028266666666666666, |
| "grad_norm": 6.375, |
| "learning_rate": 4.9902213568316716e-05, |
| "loss": 0.4072, |
| "step": 4240 |
| }, |
| { |
| "epoch": 0.028333333333333332, |
| "grad_norm": 6.34375, |
| "learning_rate": 4.9901750320179376e-05, |
| "loss": 0.3529, |
| "step": 4250 |
| }, |
| { |
| "epoch": 0.0284, |
| "grad_norm": 5.5625, |
| "learning_rate": 4.9901285979510535e-05, |
| "loss": 0.3675, |
| "step": 4260 |
| }, |
| { |
| "epoch": 0.028466666666666668, |
| "grad_norm": 4.125, |
| "learning_rate": 4.990082054633058e-05, |
| "loss": 0.3772, |
| "step": 4270 |
| }, |
| { |
| "epoch": 0.028533333333333334, |
| "grad_norm": 4.25, |
| "learning_rate": 4.990035402065995e-05, |
| "loss": 0.3493, |
| "step": 4280 |
| }, |
| { |
| "epoch": 0.0286, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.989988640251907e-05, |
| "loss": 0.3272, |
| "step": 4290 |
| }, |
| { |
| "epoch": 0.028666666666666667, |
| "grad_norm": 5.96875, |
| "learning_rate": 4.989941769192848e-05, |
| "loss": 0.3683, |
| "step": 4300 |
| }, |
| { |
| "epoch": 0.028733333333333333, |
| "grad_norm": 3.546875, |
| "learning_rate": 4.9898947888908745e-05, |
| "loss": 0.396, |
| "step": 4310 |
| }, |
| { |
| "epoch": 0.0288, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.989847699348047e-05, |
| "loss": 0.3655, |
| "step": 4320 |
| }, |
| { |
| "epoch": 0.028866666666666665, |
| "grad_norm": 4.375, |
| "learning_rate": 4.989800500566432e-05, |
| "loss": 0.3989, |
| "step": 4330 |
| }, |
| { |
| "epoch": 0.028933333333333332, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.9897531925481005e-05, |
| "loss": 0.3583, |
| "step": 4340 |
| }, |
| { |
| "epoch": 0.029, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.989705775295128e-05, |
| "loss": 0.3843, |
| "step": 4350 |
| }, |
| { |
| "epoch": 0.029066666666666668, |
| "grad_norm": 5.875, |
| "learning_rate": 4.9896582488095936e-05, |
| "loss": 0.374, |
| "step": 4360 |
| }, |
| { |
| "epoch": 0.029133333333333334, |
| "grad_norm": 3.46875, |
| "learning_rate": 4.989610613093584e-05, |
| "loss": 0.3706, |
| "step": 4370 |
| }, |
| { |
| "epoch": 0.0292, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.9895628681491885e-05, |
| "loss": 0.3926, |
| "step": 4380 |
| }, |
| { |
| "epoch": 0.029266666666666667, |
| "grad_norm": 5.09375, |
| "learning_rate": 4.989515013978502e-05, |
| "loss": 0.3843, |
| "step": 4390 |
| }, |
| { |
| "epoch": 0.029333333333333333, |
| "grad_norm": 5.03125, |
| "learning_rate": 4.989467050583624e-05, |
| "loss": 0.3987, |
| "step": 4400 |
| }, |
| { |
| "epoch": 0.0294, |
| "grad_norm": 4.5, |
| "learning_rate": 4.9894189779666585e-05, |
| "loss": 0.3742, |
| "step": 4410 |
| }, |
| { |
| "epoch": 0.029466666666666665, |
| "grad_norm": 3.921875, |
| "learning_rate": 4.9893707961297155e-05, |
| "loss": 0.3644, |
| "step": 4420 |
| }, |
| { |
| "epoch": 0.029533333333333335, |
| "grad_norm": 4.78125, |
| "learning_rate": 4.989322505074908e-05, |
| "loss": 0.3766, |
| "step": 4430 |
| }, |
| { |
| "epoch": 0.0296, |
| "grad_norm": 3.375, |
| "learning_rate": 4.989274104804354e-05, |
| "loss": 0.3708, |
| "step": 4440 |
| }, |
| { |
| "epoch": 0.029666666666666668, |
| "grad_norm": 2.9375, |
| "learning_rate": 4.989225595320179e-05, |
| "loss": 0.3511, |
| "step": 4450 |
| }, |
| { |
| "epoch": 0.029733333333333334, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.989176976624511e-05, |
| "loss": 0.3709, |
| "step": 4460 |
| }, |
| { |
| "epoch": 0.0298, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.9891282487194824e-05, |
| "loss": 0.4033, |
| "step": 4470 |
| }, |
| { |
| "epoch": 0.029866666666666666, |
| "grad_norm": 8.5, |
| "learning_rate": 4.98907941160723e-05, |
| "loss": 0.373, |
| "step": 4480 |
| }, |
| { |
| "epoch": 0.029933333333333333, |
| "grad_norm": 6.6875, |
| "learning_rate": 4.989030465289899e-05, |
| "loss": 0.3847, |
| "step": 4490 |
| }, |
| { |
| "epoch": 0.03, |
| "grad_norm": 5.0, |
| "learning_rate": 4.988981409769634e-05, |
| "loss": 0.3537, |
| "step": 4500 |
| }, |
| { |
| "epoch": 0.030066666666666665, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.988932245048589e-05, |
| "loss": 0.3743, |
| "step": 4510 |
| }, |
| { |
| "epoch": 0.030133333333333335, |
| "grad_norm": 6.0, |
| "learning_rate": 4.988882971128921e-05, |
| "loss": 0.3846, |
| "step": 4520 |
| }, |
| { |
| "epoch": 0.0302, |
| "grad_norm": 4.65625, |
| "learning_rate": 4.988833588012792e-05, |
| "loss": 0.3583, |
| "step": 4530 |
| }, |
| { |
| "epoch": 0.030266666666666667, |
| "grad_norm": 3.28125, |
| "learning_rate": 4.9887840957023675e-05, |
| "loss": 0.3605, |
| "step": 4540 |
| }, |
| { |
| "epoch": 0.030333333333333334, |
| "grad_norm": 5.21875, |
| "learning_rate": 4.9887344941998195e-05, |
| "loss": 0.361, |
| "step": 4550 |
| }, |
| { |
| "epoch": 0.0304, |
| "grad_norm": 3.375, |
| "learning_rate": 4.988684783507325e-05, |
| "loss": 0.3207, |
| "step": 4560 |
| }, |
| { |
| "epoch": 0.030466666666666666, |
| "grad_norm": 3.625, |
| "learning_rate": 4.9886349636270636e-05, |
| "loss": 0.3757, |
| "step": 4570 |
| }, |
| { |
| "epoch": 0.030533333333333332, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.988585034561222e-05, |
| "loss": 0.4223, |
| "step": 4580 |
| }, |
| { |
| "epoch": 0.0306, |
| "grad_norm": 4.25, |
| "learning_rate": 4.98853499631199e-05, |
| "loss": 0.3588, |
| "step": 4590 |
| }, |
| { |
| "epoch": 0.030666666666666665, |
| "grad_norm": 3.703125, |
| "learning_rate": 4.988484848881563e-05, |
| "loss": 0.3611, |
| "step": 4600 |
| }, |
| { |
| "epoch": 0.030733333333333335, |
| "grad_norm": 3.375, |
| "learning_rate": 4.988434592272143e-05, |
| "loss": 0.349, |
| "step": 4610 |
| }, |
| { |
| "epoch": 0.0308, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.988384226485933e-05, |
| "loss": 0.3738, |
| "step": 4620 |
| }, |
| { |
| "epoch": 0.030866666666666667, |
| "grad_norm": 3.734375, |
| "learning_rate": 4.988333751525143e-05, |
| "loss": 0.3516, |
| "step": 4630 |
| }, |
| { |
| "epoch": 0.030933333333333334, |
| "grad_norm": 5.96875, |
| "learning_rate": 4.9882831673919885e-05, |
| "loss": 0.3773, |
| "step": 4640 |
| }, |
| { |
| "epoch": 0.031, |
| "grad_norm": 4.21875, |
| "learning_rate": 4.988232474088688e-05, |
| "loss": 0.3965, |
| "step": 4650 |
| }, |
| { |
| "epoch": 0.031066666666666666, |
| "grad_norm": 2.34375, |
| "learning_rate": 4.988181671617464e-05, |
| "loss": 0.3621, |
| "step": 4660 |
| }, |
| { |
| "epoch": 0.031133333333333332, |
| "grad_norm": 3.671875, |
| "learning_rate": 4.9881307599805496e-05, |
| "loss": 0.3621, |
| "step": 4670 |
| }, |
| { |
| "epoch": 0.0312, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.988079739180175e-05, |
| "loss": 0.3358, |
| "step": 4680 |
| }, |
| { |
| "epoch": 0.031266666666666665, |
| "grad_norm": 5.15625, |
| "learning_rate": 4.988028609218579e-05, |
| "loss": 0.3582, |
| "step": 4690 |
| }, |
| { |
| "epoch": 0.03133333333333333, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.987977370098006e-05, |
| "loss": 0.35, |
| "step": 4700 |
| }, |
| { |
| "epoch": 0.0314, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.9879260218207043e-05, |
| "loss": 0.385, |
| "step": 4710 |
| }, |
| { |
| "epoch": 0.031466666666666664, |
| "grad_norm": 5.9375, |
| "learning_rate": 4.987874564388925e-05, |
| "loss": 0.343, |
| "step": 4720 |
| }, |
| { |
| "epoch": 0.03153333333333333, |
| "grad_norm": 4.875, |
| "learning_rate": 4.987822997804927e-05, |
| "loss": 0.3828, |
| "step": 4730 |
| }, |
| { |
| "epoch": 0.0316, |
| "grad_norm": 5.03125, |
| "learning_rate": 4.987771322070973e-05, |
| "loss": 0.3892, |
| "step": 4740 |
| }, |
| { |
| "epoch": 0.03166666666666667, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.9877195371893296e-05, |
| "loss": 0.3813, |
| "step": 4750 |
| }, |
| { |
| "epoch": 0.031733333333333336, |
| "grad_norm": 3.765625, |
| "learning_rate": 4.9876676431622685e-05, |
| "loss": 0.3906, |
| "step": 4760 |
| }, |
| { |
| "epoch": 0.0318, |
| "grad_norm": 2.671875, |
| "learning_rate": 4.987615639992067e-05, |
| "loss": 0.3704, |
| "step": 4770 |
| }, |
| { |
| "epoch": 0.03186666666666667, |
| "grad_norm": 1.3046875, |
| "learning_rate": 4.9875635276810065e-05, |
| "loss": 0.3341, |
| "step": 4780 |
| }, |
| { |
| "epoch": 0.031933333333333334, |
| "grad_norm": 4.875, |
| "learning_rate": 4.9875113062313736e-05, |
| "loss": 0.3771, |
| "step": 4790 |
| }, |
| { |
| "epoch": 0.032, |
| "grad_norm": 4.53125, |
| "learning_rate": 4.987458975645458e-05, |
| "loss": 0.3687, |
| "step": 4800 |
| }, |
| { |
| "epoch": 0.03206666666666667, |
| "grad_norm": 4.875, |
| "learning_rate": 4.987406535925558e-05, |
| "loss": 0.3407, |
| "step": 4810 |
| }, |
| { |
| "epoch": 0.03213333333333333, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.9873539870739735e-05, |
| "loss": 0.381, |
| "step": 4820 |
| }, |
| { |
| "epoch": 0.0322, |
| "grad_norm": 3.828125, |
| "learning_rate": 4.987301329093009e-05, |
| "loss": 0.3797, |
| "step": 4830 |
| }, |
| { |
| "epoch": 0.032266666666666666, |
| "grad_norm": 4.375, |
| "learning_rate": 4.987248561984976e-05, |
| "loss": 0.3819, |
| "step": 4840 |
| }, |
| { |
| "epoch": 0.03233333333333333, |
| "grad_norm": 3.875, |
| "learning_rate": 4.9871956857521884e-05, |
| "loss": 0.3437, |
| "step": 4850 |
| }, |
| { |
| "epoch": 0.0324, |
| "grad_norm": 4.84375, |
| "learning_rate": 4.9871427003969676e-05, |
| "loss": 0.3717, |
| "step": 4860 |
| }, |
| { |
| "epoch": 0.032466666666666665, |
| "grad_norm": 4.125, |
| "learning_rate": 4.9870896059216364e-05, |
| "loss": 0.3716, |
| "step": 4870 |
| }, |
| { |
| "epoch": 0.03253333333333333, |
| "grad_norm": 6.21875, |
| "learning_rate": 4.987036402328525e-05, |
| "loss": 0.3834, |
| "step": 4880 |
| }, |
| { |
| "epoch": 0.0326, |
| "grad_norm": 4.34375, |
| "learning_rate": 4.986983089619969e-05, |
| "loss": 0.361, |
| "step": 4890 |
| }, |
| { |
| "epoch": 0.03266666666666666, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.986929667798307e-05, |
| "loss": 0.4038, |
| "step": 4900 |
| }, |
| { |
| "epoch": 0.032733333333333337, |
| "grad_norm": 3.625, |
| "learning_rate": 4.9868761368658804e-05, |
| "loss": 0.3661, |
| "step": 4910 |
| }, |
| { |
| "epoch": 0.0328, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.9868224968250406e-05, |
| "loss": 0.343, |
| "step": 4920 |
| }, |
| { |
| "epoch": 0.03286666666666667, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.9867687476781397e-05, |
| "loss": 0.425, |
| "step": 4930 |
| }, |
| { |
| "epoch": 0.032933333333333335, |
| "grad_norm": 4.25, |
| "learning_rate": 4.9867148894275356e-05, |
| "loss": 0.3799, |
| "step": 4940 |
| }, |
| { |
| "epoch": 0.033, |
| "grad_norm": 5.59375, |
| "learning_rate": 4.986660922075592e-05, |
| "loss": 0.3624, |
| "step": 4950 |
| }, |
| { |
| "epoch": 0.03306666666666667, |
| "grad_norm": 4.625, |
| "learning_rate": 4.986606845624677e-05, |
| "loss": 0.3619, |
| "step": 4960 |
| }, |
| { |
| "epoch": 0.033133333333333334, |
| "grad_norm": 5.40625, |
| "learning_rate": 4.986552660077162e-05, |
| "loss": 0.3904, |
| "step": 4970 |
| }, |
| { |
| "epoch": 0.0332, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.986498365435425e-05, |
| "loss": 0.3658, |
| "step": 4980 |
| }, |
| { |
| "epoch": 0.03326666666666667, |
| "grad_norm": 3.921875, |
| "learning_rate": 4.986443961701848e-05, |
| "loss": 0.3851, |
| "step": 4990 |
| }, |
| { |
| "epoch": 0.03333333333333333, |
| "grad_norm": 4.6875, |
| "learning_rate": 4.9863894488788174e-05, |
| "loss": 0.4387, |
| "step": 5000 |
| }, |
| { |
| "epoch": 0.0334, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.986334826968726e-05, |
| "loss": 0.4011, |
| "step": 5010 |
| }, |
| { |
| "epoch": 0.033466666666666665, |
| "grad_norm": 4.3125, |
| "learning_rate": 4.986280095973969e-05, |
| "loss": 0.3502, |
| "step": 5020 |
| }, |
| { |
| "epoch": 0.03353333333333333, |
| "grad_norm": 4.09375, |
| "learning_rate": 4.986225255896949e-05, |
| "loss": 0.3604, |
| "step": 5030 |
| }, |
| { |
| "epoch": 0.0336, |
| "grad_norm": 3.671875, |
| "learning_rate": 4.986170306740071e-05, |
| "loss": 0.3741, |
| "step": 5040 |
| }, |
| { |
| "epoch": 0.033666666666666664, |
| "grad_norm": 4.9375, |
| "learning_rate": 4.9861152485057454e-05, |
| "loss": 0.3673, |
| "step": 5050 |
| }, |
| { |
| "epoch": 0.03373333333333333, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.9860600811963894e-05, |
| "loss": 0.3686, |
| "step": 5060 |
| }, |
| { |
| "epoch": 0.0338, |
| "grad_norm": 6.40625, |
| "learning_rate": 4.986004804814422e-05, |
| "loss": 0.3672, |
| "step": 5070 |
| }, |
| { |
| "epoch": 0.03386666666666667, |
| "grad_norm": 3.859375, |
| "learning_rate": 4.985949419362269e-05, |
| "loss": 0.3683, |
| "step": 5080 |
| }, |
| { |
| "epoch": 0.033933333333333336, |
| "grad_norm": 5.375, |
| "learning_rate": 4.98589392484236e-05, |
| "loss": 0.3613, |
| "step": 5090 |
| }, |
| { |
| "epoch": 0.034, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.9858383212571304e-05, |
| "loss": 0.3847, |
| "step": 5100 |
| }, |
| { |
| "epoch": 0.03406666666666667, |
| "grad_norm": 4.0, |
| "learning_rate": 4.985782608609019e-05, |
| "loss": 0.3733, |
| "step": 5110 |
| }, |
| { |
| "epoch": 0.034133333333333335, |
| "grad_norm": 3.78125, |
| "learning_rate": 4.985726786900471e-05, |
| "loss": 0.3651, |
| "step": 5120 |
| }, |
| { |
| "epoch": 0.0342, |
| "grad_norm": 3.65625, |
| "learning_rate": 4.985670856133935e-05, |
| "loss": 0.3773, |
| "step": 5130 |
| }, |
| { |
| "epoch": 0.03426666666666667, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.985614816311864e-05, |
| "loss": 0.393, |
| "step": 5140 |
| }, |
| { |
| "epoch": 0.034333333333333334, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.9855586674367184e-05, |
| "loss": 0.3346, |
| "step": 5150 |
| }, |
| { |
| "epoch": 0.0344, |
| "grad_norm": 3.765625, |
| "learning_rate": 4.9855024095109605e-05, |
| "loss": 0.4213, |
| "step": 5160 |
| }, |
| { |
| "epoch": 0.034466666666666666, |
| "grad_norm": 5.65625, |
| "learning_rate": 4.985446042537059e-05, |
| "loss": 0.3918, |
| "step": 5170 |
| }, |
| { |
| "epoch": 0.03453333333333333, |
| "grad_norm": 5.90625, |
| "learning_rate": 4.985389566517485e-05, |
| "loss": 0.3629, |
| "step": 5180 |
| }, |
| { |
| "epoch": 0.0346, |
| "grad_norm": 4.5, |
| "learning_rate": 4.98533298145472e-05, |
| "loss": 0.3863, |
| "step": 5190 |
| }, |
| { |
| "epoch": 0.034666666666666665, |
| "grad_norm": 4.84375, |
| "learning_rate": 4.9852762873512445e-05, |
| "loss": 0.3843, |
| "step": 5200 |
| }, |
| { |
| "epoch": 0.03473333333333333, |
| "grad_norm": 5.59375, |
| "learning_rate": 4.985219484209546e-05, |
| "loss": 0.3661, |
| "step": 5210 |
| }, |
| { |
| "epoch": 0.0348, |
| "grad_norm": 3.0625, |
| "learning_rate": 4.985162572032116e-05, |
| "loss": 0.3638, |
| "step": 5220 |
| }, |
| { |
| "epoch": 0.034866666666666664, |
| "grad_norm": 4.21875, |
| "learning_rate": 4.985105550821452e-05, |
| "loss": 0.3918, |
| "step": 5230 |
| }, |
| { |
| "epoch": 0.03493333333333333, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.985048420580056e-05, |
| "loss": 0.364, |
| "step": 5240 |
| }, |
| { |
| "epoch": 0.035, |
| "grad_norm": 14.1875, |
| "learning_rate": 4.984991181310435e-05, |
| "loss": 0.3991, |
| "step": 5250 |
| }, |
| { |
| "epoch": 0.03506666666666667, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.9849338330150994e-05, |
| "loss": 0.342, |
| "step": 5260 |
| }, |
| { |
| "epoch": 0.035133333333333336, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.984876375696565e-05, |
| "loss": 0.3947, |
| "step": 5270 |
| }, |
| { |
| "epoch": 0.0352, |
| "grad_norm": 4.34375, |
| "learning_rate": 4.984818809357355e-05, |
| "loss": 0.379, |
| "step": 5280 |
| }, |
| { |
| "epoch": 0.03526666666666667, |
| "grad_norm": 3.921875, |
| "learning_rate": 4.9847611339999916e-05, |
| "loss": 0.3559, |
| "step": 5290 |
| }, |
| { |
| "epoch": 0.035333333333333335, |
| "grad_norm": 2.796875, |
| "learning_rate": 4.984703349627008e-05, |
| "loss": 0.3448, |
| "step": 5300 |
| }, |
| { |
| "epoch": 0.0354, |
| "grad_norm": 2.171875, |
| "learning_rate": 4.984645456240937e-05, |
| "loss": 0.366, |
| "step": 5310 |
| }, |
| { |
| "epoch": 0.03546666666666667, |
| "grad_norm": 3.984375, |
| "learning_rate": 4.9845874538443204e-05, |
| "loss": 0.3457, |
| "step": 5320 |
| }, |
| { |
| "epoch": 0.03553333333333333, |
| "grad_norm": 5.375, |
| "learning_rate": 4.984529342439703e-05, |
| "loss": 0.3599, |
| "step": 5330 |
| }, |
| { |
| "epoch": 0.0356, |
| "grad_norm": 4.875, |
| "learning_rate": 4.984471122029633e-05, |
| "loss": 0.3876, |
| "step": 5340 |
| }, |
| { |
| "epoch": 0.035666666666666666, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.984412792616667e-05, |
| "loss": 0.3665, |
| "step": 5350 |
| }, |
| { |
| "epoch": 0.03573333333333333, |
| "grad_norm": 5.3125, |
| "learning_rate": 4.984354354203362e-05, |
| "loss": 0.3885, |
| "step": 5360 |
| }, |
| { |
| "epoch": 0.0358, |
| "grad_norm": 1.9765625, |
| "learning_rate": 4.9842958067922815e-05, |
| "loss": 0.3997, |
| "step": 5370 |
| }, |
| { |
| "epoch": 0.035866666666666665, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.984237150385997e-05, |
| "loss": 0.4003, |
| "step": 5380 |
| }, |
| { |
| "epoch": 0.03593333333333333, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.9841783849870793e-05, |
| "loss": 0.382, |
| "step": 5390 |
| }, |
| { |
| "epoch": 0.036, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.984119510598109e-05, |
| "loss": 0.3485, |
| "step": 5400 |
| }, |
| { |
| "epoch": 0.036066666666666664, |
| "grad_norm": 1.9453125, |
| "learning_rate": 4.9840605272216656e-05, |
| "loss": 0.3568, |
| "step": 5410 |
| }, |
| { |
| "epoch": 0.03613333333333334, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.9840014348603405e-05, |
| "loss": 0.3775, |
| "step": 5420 |
| }, |
| { |
| "epoch": 0.0362, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.9839422335167254e-05, |
| "loss": 0.3702, |
| "step": 5430 |
| }, |
| { |
| "epoch": 0.03626666666666667, |
| "grad_norm": 4.875, |
| "learning_rate": 4.9838829231934156e-05, |
| "loss": 0.3574, |
| "step": 5440 |
| }, |
| { |
| "epoch": 0.036333333333333336, |
| "grad_norm": 5.53125, |
| "learning_rate": 4.983823503893016e-05, |
| "loss": 0.4102, |
| "step": 5450 |
| }, |
| { |
| "epoch": 0.0364, |
| "grad_norm": 5.8125, |
| "learning_rate": 4.983763975618132e-05, |
| "loss": 0.3799, |
| "step": 5460 |
| }, |
| { |
| "epoch": 0.03646666666666667, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.9837043383713753e-05, |
| "loss": 0.3496, |
| "step": 5470 |
| }, |
| { |
| "epoch": 0.036533333333333334, |
| "grad_norm": 4.875, |
| "learning_rate": 4.983644592155364e-05, |
| "loss": 0.373, |
| "step": 5480 |
| }, |
| { |
| "epoch": 0.0366, |
| "grad_norm": 4.21875, |
| "learning_rate": 4.9835847369727174e-05, |
| "loss": 0.35, |
| "step": 5490 |
| }, |
| { |
| "epoch": 0.03666666666666667, |
| "grad_norm": 5.375, |
| "learning_rate": 4.983524772826063e-05, |
| "loss": 0.3842, |
| "step": 5500 |
| }, |
| { |
| "epoch": 0.03673333333333333, |
| "grad_norm": 5.09375, |
| "learning_rate": 4.98346469971803e-05, |
| "loss": 0.3816, |
| "step": 5510 |
| }, |
| { |
| "epoch": 0.0368, |
| "grad_norm": 3.875, |
| "learning_rate": 4.983404517651255e-05, |
| "loss": 0.3451, |
| "step": 5520 |
| }, |
| { |
| "epoch": 0.036866666666666666, |
| "grad_norm": 6.78125, |
| "learning_rate": 4.983344226628379e-05, |
| "loss": 0.4003, |
| "step": 5530 |
| }, |
| { |
| "epoch": 0.03693333333333333, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.983283826652047e-05, |
| "loss": 0.3856, |
| "step": 5540 |
| }, |
| { |
| "epoch": 0.037, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.983223317724908e-05, |
| "loss": 0.3328, |
| "step": 5550 |
| }, |
| { |
| "epoch": 0.037066666666666664, |
| "grad_norm": 4.65625, |
| "learning_rate": 4.9831626998496184e-05, |
| "loss": 0.3531, |
| "step": 5560 |
| }, |
| { |
| "epoch": 0.03713333333333333, |
| "grad_norm": 4.125, |
| "learning_rate": 4.983101973028835e-05, |
| "loss": 0.3804, |
| "step": 5570 |
| }, |
| { |
| "epoch": 0.0372, |
| "grad_norm": 3.59375, |
| "learning_rate": 4.9830411372652253e-05, |
| "loss": 0.3763, |
| "step": 5580 |
| }, |
| { |
| "epoch": 0.03726666666666666, |
| "grad_norm": 2.875, |
| "learning_rate": 4.982980192561456e-05, |
| "loss": 0.381, |
| "step": 5590 |
| }, |
| { |
| "epoch": 0.037333333333333336, |
| "grad_norm": 4.78125, |
| "learning_rate": 4.9829191389202026e-05, |
| "loss": 0.3733, |
| "step": 5600 |
| }, |
| { |
| "epoch": 0.0374, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.982857976344142e-05, |
| "loss": 0.3662, |
| "step": 5610 |
| }, |
| { |
| "epoch": 0.03746666666666667, |
| "grad_norm": 3.859375, |
| "learning_rate": 4.98279670483596e-05, |
| "loss": 0.3626, |
| "step": 5620 |
| }, |
| { |
| "epoch": 0.037533333333333335, |
| "grad_norm": 6.4375, |
| "learning_rate": 4.9827353243983424e-05, |
| "loss": 0.3804, |
| "step": 5630 |
| }, |
| { |
| "epoch": 0.0376, |
| "grad_norm": 5.28125, |
| "learning_rate": 4.982673835033983e-05, |
| "loss": 0.3825, |
| "step": 5640 |
| }, |
| { |
| "epoch": 0.03766666666666667, |
| "grad_norm": 5.15625, |
| "learning_rate": 4.982612236745581e-05, |
| "loss": 0.3937, |
| "step": 5650 |
| }, |
| { |
| "epoch": 0.037733333333333334, |
| "grad_norm": 4.625, |
| "learning_rate": 4.982550529535837e-05, |
| "loss": 0.3634, |
| "step": 5660 |
| }, |
| { |
| "epoch": 0.0378, |
| "grad_norm": 4.09375, |
| "learning_rate": 4.982488713407459e-05, |
| "loss": 0.4203, |
| "step": 5670 |
| }, |
| { |
| "epoch": 0.037866666666666667, |
| "grad_norm": 7.125, |
| "learning_rate": 4.9824267883631594e-05, |
| "loss": 0.3575, |
| "step": 5680 |
| }, |
| { |
| "epoch": 0.03793333333333333, |
| "grad_norm": 6.0, |
| "learning_rate": 4.9823647544056544e-05, |
| "loss": 0.4232, |
| "step": 5690 |
| }, |
| { |
| "epoch": 0.038, |
| "grad_norm": 4.625, |
| "learning_rate": 4.982302611537667e-05, |
| "loss": 0.4281, |
| "step": 5700 |
| }, |
| { |
| "epoch": 0.038066666666666665, |
| "grad_norm": 3.984375, |
| "learning_rate": 4.982240359761922e-05, |
| "loss": 0.3788, |
| "step": 5710 |
| }, |
| { |
| "epoch": 0.03813333333333333, |
| "grad_norm": 4.53125, |
| "learning_rate": 4.982177999081151e-05, |
| "loss": 0.3735, |
| "step": 5720 |
| }, |
| { |
| "epoch": 0.0382, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.982115529498091e-05, |
| "loss": 0.341, |
| "step": 5730 |
| }, |
| { |
| "epoch": 0.038266666666666664, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.9820529510154826e-05, |
| "loss": 0.3621, |
| "step": 5740 |
| }, |
| { |
| "epoch": 0.03833333333333333, |
| "grad_norm": 4.625, |
| "learning_rate": 4.9819902636360694e-05, |
| "loss": 0.3607, |
| "step": 5750 |
| }, |
| { |
| "epoch": 0.0384, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.9819274673626046e-05, |
| "loss": 0.3445, |
| "step": 5760 |
| }, |
| { |
| "epoch": 0.03846666666666667, |
| "grad_norm": 3.890625, |
| "learning_rate": 4.981864562197841e-05, |
| "loss": 0.3638, |
| "step": 5770 |
| }, |
| { |
| "epoch": 0.038533333333333336, |
| "grad_norm": 5.75, |
| "learning_rate": 4.98180154814454e-05, |
| "loss": 0.394, |
| "step": 5780 |
| }, |
| { |
| "epoch": 0.0386, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.981738425205465e-05, |
| "loss": 0.365, |
| "step": 5790 |
| }, |
| { |
| "epoch": 0.03866666666666667, |
| "grad_norm": 4.21875, |
| "learning_rate": 4.981675193383387e-05, |
| "loss": 0.3673, |
| "step": 5800 |
| }, |
| { |
| "epoch": 0.038733333333333335, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.981611852681078e-05, |
| "loss": 0.3661, |
| "step": 5810 |
| }, |
| { |
| "epoch": 0.0388, |
| "grad_norm": 5.03125, |
| "learning_rate": 4.981548403101319e-05, |
| "loss": 0.3465, |
| "step": 5820 |
| }, |
| { |
| "epoch": 0.03886666666666667, |
| "grad_norm": 4.34375, |
| "learning_rate": 4.981484844646893e-05, |
| "loss": 0.3882, |
| "step": 5830 |
| }, |
| { |
| "epoch": 0.038933333333333334, |
| "grad_norm": 4.96875, |
| "learning_rate": 4.9814211773205886e-05, |
| "loss": 0.3832, |
| "step": 5840 |
| }, |
| { |
| "epoch": 0.039, |
| "grad_norm": 3.375, |
| "learning_rate": 4.9813574011251995e-05, |
| "loss": 0.3921, |
| "step": 5850 |
| }, |
| { |
| "epoch": 0.039066666666666666, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.9812935160635226e-05, |
| "loss": 0.3826, |
| "step": 5860 |
| }, |
| { |
| "epoch": 0.03913333333333333, |
| "grad_norm": 5.75, |
| "learning_rate": 4.981229522138362e-05, |
| "loss": 0.3751, |
| "step": 5870 |
| }, |
| { |
| "epoch": 0.0392, |
| "grad_norm": 5.5, |
| "learning_rate": 4.9811654193525246e-05, |
| "loss": 0.3576, |
| "step": 5880 |
| }, |
| { |
| "epoch": 0.039266666666666665, |
| "grad_norm": 4.375, |
| "learning_rate": 4.981101207708824e-05, |
| "loss": 0.3519, |
| "step": 5890 |
| }, |
| { |
| "epoch": 0.03933333333333333, |
| "grad_norm": 4.53125, |
| "learning_rate": 4.981036887210076e-05, |
| "loss": 0.3554, |
| "step": 5900 |
| }, |
| { |
| "epoch": 0.0394, |
| "grad_norm": 5.6875, |
| "learning_rate": 4.9809724578591026e-05, |
| "loss": 0.3552, |
| "step": 5910 |
| }, |
| { |
| "epoch": 0.039466666666666664, |
| "grad_norm": 4.6875, |
| "learning_rate": 4.9809079196587314e-05, |
| "loss": 0.3663, |
| "step": 5920 |
| }, |
| { |
| "epoch": 0.03953333333333333, |
| "grad_norm": 4.78125, |
| "learning_rate": 4.980843272611794e-05, |
| "loss": 0.3782, |
| "step": 5930 |
| }, |
| { |
| "epoch": 0.0396, |
| "grad_norm": 6.6875, |
| "learning_rate": 4.980778516721126e-05, |
| "loss": 0.3549, |
| "step": 5940 |
| }, |
| { |
| "epoch": 0.03966666666666667, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.980713651989569e-05, |
| "loss": 0.3488, |
| "step": 5950 |
| }, |
| { |
| "epoch": 0.039733333333333336, |
| "grad_norm": 3.53125, |
| "learning_rate": 4.9806486784199684e-05, |
| "loss": 0.3781, |
| "step": 5960 |
| }, |
| { |
| "epoch": 0.0398, |
| "grad_norm": 3.765625, |
| "learning_rate": 4.980583596015175e-05, |
| "loss": 0.3612, |
| "step": 5970 |
| }, |
| { |
| "epoch": 0.03986666666666667, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.980518404778045e-05, |
| "loss": 0.3659, |
| "step": 5980 |
| }, |
| { |
| "epoch": 0.039933333333333335, |
| "grad_norm": 5.03125, |
| "learning_rate": 4.980453104711437e-05, |
| "loss": 0.3968, |
| "step": 5990 |
| }, |
| { |
| "epoch": 0.04, |
| "grad_norm": 6.65625, |
| "learning_rate": 4.980387695818217e-05, |
| "loss": 0.3884, |
| "step": 6000 |
| }, |
| { |
| "epoch": 0.04006666666666667, |
| "grad_norm": 9.4375, |
| "learning_rate": 4.980322178101255e-05, |
| "loss": 0.3619, |
| "step": 6010 |
| }, |
| { |
| "epoch": 0.04013333333333333, |
| "grad_norm": 3.75, |
| "learning_rate": 4.980256551563425e-05, |
| "loss": 0.3633, |
| "step": 6020 |
| }, |
| { |
| "epoch": 0.0402, |
| "grad_norm": 4.875, |
| "learning_rate": 4.980190816207606e-05, |
| "loss": 0.3815, |
| "step": 6030 |
| }, |
| { |
| "epoch": 0.040266666666666666, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.9801249720366815e-05, |
| "loss": 0.3784, |
| "step": 6040 |
| }, |
| { |
| "epoch": 0.04033333333333333, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.9800590190535425e-05, |
| "loss": 0.3739, |
| "step": 6050 |
| }, |
| { |
| "epoch": 0.0404, |
| "grad_norm": 3.84375, |
| "learning_rate": 4.979992957261081e-05, |
| "loss": 0.3359, |
| "step": 6060 |
| }, |
| { |
| "epoch": 0.040466666666666665, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.979926786662196e-05, |
| "loss": 0.3429, |
| "step": 6070 |
| }, |
| { |
| "epoch": 0.04053333333333333, |
| "grad_norm": 4.625, |
| "learning_rate": 4.9798605072597894e-05, |
| "loss": 0.3528, |
| "step": 6080 |
| }, |
| { |
| "epoch": 0.0406, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.979794119056771e-05, |
| "loss": 0.3778, |
| "step": 6090 |
| }, |
| { |
| "epoch": 0.04066666666666666, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.979727622056052e-05, |
| "loss": 0.3674, |
| "step": 6100 |
| }, |
| { |
| "epoch": 0.04073333333333334, |
| "grad_norm": 3.625, |
| "learning_rate": 4.979661016260551e-05, |
| "loss": 0.3734, |
| "step": 6110 |
| }, |
| { |
| "epoch": 0.0408, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.979594301673188e-05, |
| "loss": 0.3457, |
| "step": 6120 |
| }, |
| { |
| "epoch": 0.04086666666666667, |
| "grad_norm": 4.375, |
| "learning_rate": 4.9795274782968935e-05, |
| "loss": 0.3526, |
| "step": 6130 |
| }, |
| { |
| "epoch": 0.040933333333333335, |
| "grad_norm": 9.625, |
| "learning_rate": 4.979460546134597e-05, |
| "loss": 0.3658, |
| "step": 6140 |
| }, |
| { |
| "epoch": 0.041, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.979393505189235e-05, |
| "loss": 0.3766, |
| "step": 6150 |
| }, |
| { |
| "epoch": 0.04106666666666667, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.9793263554637494e-05, |
| "loss": 0.364, |
| "step": 6160 |
| }, |
| { |
| "epoch": 0.041133333333333334, |
| "grad_norm": 5.21875, |
| "learning_rate": 4.979259096961087e-05, |
| "loss": 0.3485, |
| "step": 6170 |
| }, |
| { |
| "epoch": 0.0412, |
| "grad_norm": 4.9375, |
| "learning_rate": 4.979191729684197e-05, |
| "loss": 0.3907, |
| "step": 6180 |
| }, |
| { |
| "epoch": 0.04126666666666667, |
| "grad_norm": 3.9375, |
| "learning_rate": 4.9791242536360365e-05, |
| "loss": 0.369, |
| "step": 6190 |
| }, |
| { |
| "epoch": 0.04133333333333333, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.979056668819565e-05, |
| "loss": 0.3467, |
| "step": 6200 |
| }, |
| { |
| "epoch": 0.0414, |
| "grad_norm": 4.375, |
| "learning_rate": 4.978988975237748e-05, |
| "loss": 0.3554, |
| "step": 6210 |
| }, |
| { |
| "epoch": 0.041466666666666666, |
| "grad_norm": 3.75, |
| "learning_rate": 4.978921172893557e-05, |
| "loss": 0.4144, |
| "step": 6220 |
| }, |
| { |
| "epoch": 0.04153333333333333, |
| "grad_norm": 5.09375, |
| "learning_rate": 4.978853261789964e-05, |
| "loss": 0.3777, |
| "step": 6230 |
| }, |
| { |
| "epoch": 0.0416, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.9787852419299497e-05, |
| "loss": 0.3509, |
| "step": 6240 |
| }, |
| { |
| "epoch": 0.041666666666666664, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.978717113316499e-05, |
| "loss": 0.4007, |
| "step": 6250 |
| }, |
| { |
| "epoch": 0.04173333333333333, |
| "grad_norm": 5.375, |
| "learning_rate": 4.978648875952601e-05, |
| "loss": 0.3607, |
| "step": 6260 |
| }, |
| { |
| "epoch": 0.0418, |
| "grad_norm": 4.53125, |
| "learning_rate": 4.978580529841248e-05, |
| "loss": 0.3594, |
| "step": 6270 |
| }, |
| { |
| "epoch": 0.04186666666666667, |
| "grad_norm": 4.9375, |
| "learning_rate": 4.9785120749854396e-05, |
| "loss": 0.3342, |
| "step": 6280 |
| }, |
| { |
| "epoch": 0.041933333333333336, |
| "grad_norm": 3.09375, |
| "learning_rate": 4.97844351138818e-05, |
| "loss": 0.331, |
| "step": 6290 |
| }, |
| { |
| "epoch": 0.042, |
| "grad_norm": 5.03125, |
| "learning_rate": 4.978374839052475e-05, |
| "loss": 0.3686, |
| "step": 6300 |
| }, |
| { |
| "epoch": 0.04206666666666667, |
| "grad_norm": 5.8125, |
| "learning_rate": 4.9783060579813404e-05, |
| "loss": 0.3761, |
| "step": 6310 |
| }, |
| { |
| "epoch": 0.042133333333333335, |
| "grad_norm": 5.03125, |
| "learning_rate": 4.978237168177792e-05, |
| "loss": 0.4047, |
| "step": 6320 |
| }, |
| { |
| "epoch": 0.0422, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.978168169644852e-05, |
| "loss": 0.3815, |
| "step": 6330 |
| }, |
| { |
| "epoch": 0.04226666666666667, |
| "grad_norm": 3.6875, |
| "learning_rate": 4.9780990623855496e-05, |
| "loss": 0.3579, |
| "step": 6340 |
| }, |
| { |
| "epoch": 0.042333333333333334, |
| "grad_norm": 5.875, |
| "learning_rate": 4.978029846402915e-05, |
| "loss": 0.3551, |
| "step": 6350 |
| }, |
| { |
| "epoch": 0.0424, |
| "grad_norm": 2.78125, |
| "learning_rate": 4.977960521699985e-05, |
| "loss": 0.3516, |
| "step": 6360 |
| }, |
| { |
| "epoch": 0.042466666666666666, |
| "grad_norm": 4.3125, |
| "learning_rate": 4.977891088279802e-05, |
| "loss": 0.3533, |
| "step": 6370 |
| }, |
| { |
| "epoch": 0.04253333333333333, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.9778215461454115e-05, |
| "loss": 0.3364, |
| "step": 6380 |
| }, |
| { |
| "epoch": 0.0426, |
| "grad_norm": 4.53125, |
| "learning_rate": 4.977751895299866e-05, |
| "loss": 0.3317, |
| "step": 6390 |
| }, |
| { |
| "epoch": 0.042666666666666665, |
| "grad_norm": 5.3125, |
| "learning_rate": 4.9776821357462186e-05, |
| "loss": 0.363, |
| "step": 6400 |
| }, |
| { |
| "epoch": 0.04273333333333333, |
| "grad_norm": 4.21875, |
| "learning_rate": 4.977612267487534e-05, |
| "loss": 0.3627, |
| "step": 6410 |
| }, |
| { |
| "epoch": 0.0428, |
| "grad_norm": 3.90625, |
| "learning_rate": 4.977542290526873e-05, |
| "loss": 0.3558, |
| "step": 6420 |
| }, |
| { |
| "epoch": 0.042866666666666664, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.977472204867309e-05, |
| "loss": 0.3768, |
| "step": 6430 |
| }, |
| { |
| "epoch": 0.04293333333333333, |
| "grad_norm": 2.453125, |
| "learning_rate": 4.9774020105119157e-05, |
| "loss": 0.339, |
| "step": 6440 |
| }, |
| { |
| "epoch": 0.043, |
| "grad_norm": 5.4375, |
| "learning_rate": 4.977331707463773e-05, |
| "loss": 0.3346, |
| "step": 6450 |
| }, |
| { |
| "epoch": 0.04306666666666667, |
| "grad_norm": 2.828125, |
| "learning_rate": 4.977261295725965e-05, |
| "loss": 0.3807, |
| "step": 6460 |
| }, |
| { |
| "epoch": 0.043133333333333336, |
| "grad_norm": 3.78125, |
| "learning_rate": 4.9771907753015817e-05, |
| "loss": 0.3554, |
| "step": 6470 |
| }, |
| { |
| "epoch": 0.0432, |
| "grad_norm": 4.875, |
| "learning_rate": 4.977120146193717e-05, |
| "loss": 0.3613, |
| "step": 6480 |
| }, |
| { |
| "epoch": 0.04326666666666667, |
| "grad_norm": 4.6875, |
| "learning_rate": 4.977049408405469e-05, |
| "loss": 0.3488, |
| "step": 6490 |
| }, |
| { |
| "epoch": 0.043333333333333335, |
| "grad_norm": 6.03125, |
| "learning_rate": 4.97697856193994e-05, |
| "loss": 0.35, |
| "step": 6500 |
| }, |
| { |
| "epoch": 0.0434, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.976907606800242e-05, |
| "loss": 0.4138, |
| "step": 6510 |
| }, |
| { |
| "epoch": 0.04346666666666667, |
| "grad_norm": 4.0, |
| "learning_rate": 4.976836542989484e-05, |
| "loss": 0.3572, |
| "step": 6520 |
| }, |
| { |
| "epoch": 0.043533333333333334, |
| "grad_norm": 4.875, |
| "learning_rate": 4.976765370510787e-05, |
| "loss": 0.3207, |
| "step": 6530 |
| }, |
| { |
| "epoch": 0.0436, |
| "grad_norm": 3.9375, |
| "learning_rate": 4.976694089367272e-05, |
| "loss": 0.3959, |
| "step": 6540 |
| }, |
| { |
| "epoch": 0.043666666666666666, |
| "grad_norm": 5.3125, |
| "learning_rate": 4.976622699562066e-05, |
| "loss": 0.3808, |
| "step": 6550 |
| }, |
| { |
| "epoch": 0.04373333333333333, |
| "grad_norm": 3.5625, |
| "learning_rate": 4.9765512010983025e-05, |
| "loss": 0.3821, |
| "step": 6560 |
| }, |
| { |
| "epoch": 0.0438, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.9764795939791174e-05, |
| "loss": 0.356, |
| "step": 6570 |
| }, |
| { |
| "epoch": 0.043866666666666665, |
| "grad_norm": 4.21875, |
| "learning_rate": 4.976407878207653e-05, |
| "loss": 0.3642, |
| "step": 6580 |
| }, |
| { |
| "epoch": 0.04393333333333333, |
| "grad_norm": 4.5, |
| "learning_rate": 4.976336053787055e-05, |
| "loss": 0.3745, |
| "step": 6590 |
| }, |
| { |
| "epoch": 0.044, |
| "grad_norm": 4.21875, |
| "learning_rate": 4.976264120720475e-05, |
| "loss": 0.361, |
| "step": 6600 |
| }, |
| { |
| "epoch": 0.044066666666666664, |
| "grad_norm": 4.625, |
| "learning_rate": 4.97619207901107e-05, |
| "loss": 0.3625, |
| "step": 6610 |
| }, |
| { |
| "epoch": 0.04413333333333333, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.976119928661998e-05, |
| "loss": 0.3644, |
| "step": 6620 |
| }, |
| { |
| "epoch": 0.0442, |
| "grad_norm": 4.09375, |
| "learning_rate": 4.976047669676427e-05, |
| "loss": 0.3676, |
| "step": 6630 |
| }, |
| { |
| "epoch": 0.04426666666666667, |
| "grad_norm": 3.859375, |
| "learning_rate": 4.975975302057526e-05, |
| "loss": 0.373, |
| "step": 6640 |
| }, |
| { |
| "epoch": 0.044333333333333336, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.975902825808472e-05, |
| "loss": 0.3636, |
| "step": 6650 |
| }, |
| { |
| "epoch": 0.0444, |
| "grad_norm": 3.890625, |
| "learning_rate": 4.975830240932442e-05, |
| "loss": 0.3658, |
| "step": 6660 |
| }, |
| { |
| "epoch": 0.04446666666666667, |
| "grad_norm": 5.21875, |
| "learning_rate": 4.975757547432622e-05, |
| "loss": 0.367, |
| "step": 6670 |
| }, |
| { |
| "epoch": 0.044533333333333334, |
| "grad_norm": 1.8125, |
| "learning_rate": 4.9756847453122016e-05, |
| "loss": 0.3568, |
| "step": 6680 |
| }, |
| { |
| "epoch": 0.0446, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.9756118345743744e-05, |
| "loss": 0.3702, |
| "step": 6690 |
| }, |
| { |
| "epoch": 0.04466666666666667, |
| "grad_norm": 3.34375, |
| "learning_rate": 4.975538815222339e-05, |
| "loss": 0.3686, |
| "step": 6700 |
| }, |
| { |
| "epoch": 0.04473333333333333, |
| "grad_norm": 5.84375, |
| "learning_rate": 4.9754656872593e-05, |
| "loss": 0.3451, |
| "step": 6710 |
| }, |
| { |
| "epoch": 0.0448, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.975392450688464e-05, |
| "loss": 0.3517, |
| "step": 6720 |
| }, |
| { |
| "epoch": 0.044866666666666666, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.9753191055130466e-05, |
| "loss": 0.3489, |
| "step": 6730 |
| }, |
| { |
| "epoch": 0.04493333333333333, |
| "grad_norm": 3.59375, |
| "learning_rate": 4.975245651736264e-05, |
| "loss": 0.3828, |
| "step": 6740 |
| }, |
| { |
| "epoch": 0.045, |
| "grad_norm": 3.875, |
| "learning_rate": 4.975172089361339e-05, |
| "loss": 0.3587, |
| "step": 6750 |
| }, |
| { |
| "epoch": 0.045066666666666665, |
| "grad_norm": 3.8125, |
| "learning_rate": 4.9750984183915e-05, |
| "loss": 0.3968, |
| "step": 6760 |
| }, |
| { |
| "epoch": 0.04513333333333333, |
| "grad_norm": 3.625, |
| "learning_rate": 4.975024638829978e-05, |
| "loss": 0.3933, |
| "step": 6770 |
| }, |
| { |
| "epoch": 0.0452, |
| "grad_norm": 3.8125, |
| "learning_rate": 4.974950750680011e-05, |
| "loss": 0.3668, |
| "step": 6780 |
| }, |
| { |
| "epoch": 0.04526666666666666, |
| "grad_norm": 3.546875, |
| "learning_rate": 4.9748767539448406e-05, |
| "loss": 0.3373, |
| "step": 6790 |
| }, |
| { |
| "epoch": 0.04533333333333334, |
| "grad_norm": 4.25, |
| "learning_rate": 4.9748026486277126e-05, |
| "loss": 0.379, |
| "step": 6800 |
| }, |
| { |
| "epoch": 0.0454, |
| "grad_norm": 3.5, |
| "learning_rate": 4.974728434731879e-05, |
| "loss": 0.3782, |
| "step": 6810 |
| }, |
| { |
| "epoch": 0.04546666666666667, |
| "grad_norm": 3.671875, |
| "learning_rate": 4.974654112260595e-05, |
| "loss": 0.3551, |
| "step": 6820 |
| }, |
| { |
| "epoch": 0.045533333333333335, |
| "grad_norm": 3.0625, |
| "learning_rate": 4.974579681217123e-05, |
| "loss": 0.3348, |
| "step": 6830 |
| }, |
| { |
| "epoch": 0.0456, |
| "grad_norm": 4.5, |
| "learning_rate": 4.9745051416047275e-05, |
| "loss": 0.3567, |
| "step": 6840 |
| }, |
| { |
| "epoch": 0.04566666666666667, |
| "grad_norm": 3.78125, |
| "learning_rate": 4.974430493426678e-05, |
| "loss": 0.3502, |
| "step": 6850 |
| }, |
| { |
| "epoch": 0.045733333333333334, |
| "grad_norm": 5.15625, |
| "learning_rate": 4.9743557366862504e-05, |
| "loss": 0.3661, |
| "step": 6860 |
| }, |
| { |
| "epoch": 0.0458, |
| "grad_norm": 4.78125, |
| "learning_rate": 4.974280871386725e-05, |
| "loss": 0.3643, |
| "step": 6870 |
| }, |
| { |
| "epoch": 0.04586666666666667, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.974205897531386e-05, |
| "loss": 0.374, |
| "step": 6880 |
| }, |
| { |
| "epoch": 0.04593333333333333, |
| "grad_norm": 3.78125, |
| "learning_rate": 4.974130815123523e-05, |
| "loss": 0.3656, |
| "step": 6890 |
| }, |
| { |
| "epoch": 0.046, |
| "grad_norm": 5.15625, |
| "learning_rate": 4.9740556241664296e-05, |
| "loss": 0.3573, |
| "step": 6900 |
| }, |
| { |
| "epoch": 0.046066666666666665, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.9739803246634055e-05, |
| "loss": 0.3737, |
| "step": 6910 |
| }, |
| { |
| "epoch": 0.04613333333333333, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.973904916617753e-05, |
| "loss": 0.352, |
| "step": 6920 |
| }, |
| { |
| "epoch": 0.0462, |
| "grad_norm": 4.9375, |
| "learning_rate": 4.9738294000327823e-05, |
| "loss": 0.3721, |
| "step": 6930 |
| }, |
| { |
| "epoch": 0.046266666666666664, |
| "grad_norm": 4.65625, |
| "learning_rate": 4.973753774911806e-05, |
| "loss": 0.3686, |
| "step": 6940 |
| }, |
| { |
| "epoch": 0.04633333333333333, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.973678041258141e-05, |
| "loss": 0.3611, |
| "step": 6950 |
| }, |
| { |
| "epoch": 0.0464, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.973602199075111e-05, |
| "loss": 0.3084, |
| "step": 6960 |
| }, |
| { |
| "epoch": 0.04646666666666667, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.973526248366043e-05, |
| "loss": 0.362, |
| "step": 6970 |
| }, |
| { |
| "epoch": 0.046533333333333336, |
| "grad_norm": 3.953125, |
| "learning_rate": 4.97345018913427e-05, |
| "loss": 0.383, |
| "step": 6980 |
| }, |
| { |
| "epoch": 0.0466, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.973374021383128e-05, |
| "loss": 0.3607, |
| "step": 6990 |
| }, |
| { |
| "epoch": 0.04666666666666667, |
| "grad_norm": 3.625, |
| "learning_rate": 4.97329774511596e-05, |
| "loss": 0.3174, |
| "step": 7000 |
| }, |
| { |
| "epoch": 0.046733333333333335, |
| "grad_norm": 5.3125, |
| "learning_rate": 4.973221360336111e-05, |
| "loss": 0.3486, |
| "step": 7010 |
| }, |
| { |
| "epoch": 0.0468, |
| "grad_norm": 5.15625, |
| "learning_rate": 4.973144867046934e-05, |
| "loss": 0.378, |
| "step": 7020 |
| }, |
| { |
| "epoch": 0.04686666666666667, |
| "grad_norm": 5.34375, |
| "learning_rate": 4.9730682652517834e-05, |
| "loss": 0.3513, |
| "step": 7030 |
| }, |
| { |
| "epoch": 0.046933333333333334, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.9729915549540205e-05, |
| "loss": 0.3618, |
| "step": 7040 |
| }, |
| { |
| "epoch": 0.047, |
| "grad_norm": 6.53125, |
| "learning_rate": 4.9729147361570115e-05, |
| "loss": 0.3867, |
| "step": 7050 |
| }, |
| { |
| "epoch": 0.047066666666666666, |
| "grad_norm": 1.8203125, |
| "learning_rate": 4.972837808864126e-05, |
| "loss": 0.3346, |
| "step": 7060 |
| }, |
| { |
| "epoch": 0.04713333333333333, |
| "grad_norm": 2.515625, |
| "learning_rate": 4.97276077307874e-05, |
| "loss": 0.3736, |
| "step": 7070 |
| }, |
| { |
| "epoch": 0.0472, |
| "grad_norm": 3.953125, |
| "learning_rate": 4.972683628804232e-05, |
| "loss": 0.371, |
| "step": 7080 |
| }, |
| { |
| "epoch": 0.047266666666666665, |
| "grad_norm": 3.890625, |
| "learning_rate": 4.9726063760439885e-05, |
| "loss": 0.3474, |
| "step": 7090 |
| }, |
| { |
| "epoch": 0.04733333333333333, |
| "grad_norm": 5.125, |
| "learning_rate": 4.972529014801397e-05, |
| "loss": 0.3761, |
| "step": 7100 |
| }, |
| { |
| "epoch": 0.0474, |
| "grad_norm": 3.78125, |
| "learning_rate": 4.972451545079852e-05, |
| "loss": 0.3514, |
| "step": 7110 |
| }, |
| { |
| "epoch": 0.047466666666666664, |
| "grad_norm": 7.375, |
| "learning_rate": 4.972373966882753e-05, |
| "loss": 0.3638, |
| "step": 7120 |
| }, |
| { |
| "epoch": 0.04753333333333333, |
| "grad_norm": 5.34375, |
| "learning_rate": 4.972296280213503e-05, |
| "loss": 0.3584, |
| "step": 7130 |
| }, |
| { |
| "epoch": 0.0476, |
| "grad_norm": 4.65625, |
| "learning_rate": 4.972218485075511e-05, |
| "loss": 0.3883, |
| "step": 7140 |
| }, |
| { |
| "epoch": 0.04766666666666667, |
| "grad_norm": 3.921875, |
| "learning_rate": 4.97214058147219e-05, |
| "loss": 0.3617, |
| "step": 7150 |
| }, |
| { |
| "epoch": 0.047733333333333336, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.972062569406958e-05, |
| "loss": 0.3684, |
| "step": 7160 |
| }, |
| { |
| "epoch": 0.0478, |
| "grad_norm": 4.53125, |
| "learning_rate": 4.971984448883237e-05, |
| "loss": 0.3544, |
| "step": 7170 |
| }, |
| { |
| "epoch": 0.04786666666666667, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.9719062199044556e-05, |
| "loss": 0.3397, |
| "step": 7180 |
| }, |
| { |
| "epoch": 0.047933333333333335, |
| "grad_norm": 5.46875, |
| "learning_rate": 4.9718278824740444e-05, |
| "loss": 0.3389, |
| "step": 7190 |
| }, |
| { |
| "epoch": 0.048, |
| "grad_norm": 6.71875, |
| "learning_rate": 4.971749436595442e-05, |
| "loss": 0.3475, |
| "step": 7200 |
| }, |
| { |
| "epoch": 0.04806666666666667, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.971670882272089e-05, |
| "loss": 0.3436, |
| "step": 7210 |
| }, |
| { |
| "epoch": 0.048133333333333334, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.971592219507433e-05, |
| "loss": 0.3903, |
| "step": 7220 |
| }, |
| { |
| "epoch": 0.0482, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.971513448304923e-05, |
| "loss": 0.3497, |
| "step": 7230 |
| }, |
| { |
| "epoch": 0.048266666666666666, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.9714345686680174e-05, |
| "loss": 0.3509, |
| "step": 7240 |
| }, |
| { |
| "epoch": 0.04833333333333333, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.971355580600176e-05, |
| "loss": 0.3742, |
| "step": 7250 |
| }, |
| { |
| "epoch": 0.0484, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.9712764841048644e-05, |
| "loss": 0.3673, |
| "step": 7260 |
| }, |
| { |
| "epoch": 0.048466666666666665, |
| "grad_norm": 5.34375, |
| "learning_rate": 4.971197279185552e-05, |
| "loss": 0.352, |
| "step": 7270 |
| }, |
| { |
| "epoch": 0.04853333333333333, |
| "grad_norm": 7.28125, |
| "learning_rate": 4.971117965845715e-05, |
| "loss": 0.3761, |
| "step": 7280 |
| }, |
| { |
| "epoch": 0.0486, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.971038544088834e-05, |
| "loss": 0.3622, |
| "step": 7290 |
| }, |
| { |
| "epoch": 0.048666666666666664, |
| "grad_norm": 4.3125, |
| "learning_rate": 4.970959013918391e-05, |
| "loss": 0.3408, |
| "step": 7300 |
| }, |
| { |
| "epoch": 0.04873333333333333, |
| "grad_norm": 3.109375, |
| "learning_rate": 4.9708793753378766e-05, |
| "loss": 0.3371, |
| "step": 7310 |
| }, |
| { |
| "epoch": 0.0488, |
| "grad_norm": 4.625, |
| "learning_rate": 4.9707996283507845e-05, |
| "loss": 0.3471, |
| "step": 7320 |
| }, |
| { |
| "epoch": 0.04886666666666667, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.970719772960614e-05, |
| "loss": 0.3582, |
| "step": 7330 |
| }, |
| { |
| "epoch": 0.048933333333333336, |
| "grad_norm": 3.578125, |
| "learning_rate": 4.970639809170868e-05, |
| "loss": 0.3513, |
| "step": 7340 |
| }, |
| { |
| "epoch": 0.049, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.9705597369850566e-05, |
| "loss": 0.3636, |
| "step": 7350 |
| }, |
| { |
| "epoch": 0.04906666666666667, |
| "grad_norm": 3.78125, |
| "learning_rate": 4.9704795564066906e-05, |
| "loss": 0.373, |
| "step": 7360 |
| }, |
| { |
| "epoch": 0.049133333333333334, |
| "grad_norm": 1.96875, |
| "learning_rate": 4.970399267439288e-05, |
| "loss": 0.3583, |
| "step": 7370 |
| }, |
| { |
| "epoch": 0.0492, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.9703188700863734e-05, |
| "loss": 0.3735, |
| "step": 7380 |
| }, |
| { |
| "epoch": 0.04926666666666667, |
| "grad_norm": 4.125, |
| "learning_rate": 4.970238364351473e-05, |
| "loss": 0.4043, |
| "step": 7390 |
| }, |
| { |
| "epoch": 0.04933333333333333, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.9701577502381166e-05, |
| "loss": 0.3592, |
| "step": 7400 |
| }, |
| { |
| "epoch": 0.0494, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.970077027749845e-05, |
| "loss": 0.3718, |
| "step": 7410 |
| }, |
| { |
| "epoch": 0.049466666666666666, |
| "grad_norm": 6.15625, |
| "learning_rate": 4.9699961968901976e-05, |
| "loss": 0.3689, |
| "step": 7420 |
| }, |
| { |
| "epoch": 0.04953333333333333, |
| "grad_norm": 4.21875, |
| "learning_rate": 4.969915257662721e-05, |
| "loss": 0.3248, |
| "step": 7430 |
| }, |
| { |
| "epoch": 0.0496, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.969834210070966e-05, |
| "loss": 0.3779, |
| "step": 7440 |
| }, |
| { |
| "epoch": 0.049666666666666665, |
| "grad_norm": 4.25, |
| "learning_rate": 4.9697530541184886e-05, |
| "loss": 0.3381, |
| "step": 7450 |
| }, |
| { |
| "epoch": 0.04973333333333333, |
| "grad_norm": 3.8125, |
| "learning_rate": 4.969671789808851e-05, |
| "loss": 0.3429, |
| "step": 7460 |
| }, |
| { |
| "epoch": 0.0498, |
| "grad_norm": 4.125, |
| "learning_rate": 4.9695904171456156e-05, |
| "loss": 0.4, |
| "step": 7470 |
| }, |
| { |
| "epoch": 0.04986666666666666, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.969508936132355e-05, |
| "loss": 0.3461, |
| "step": 7480 |
| }, |
| { |
| "epoch": 0.049933333333333337, |
| "grad_norm": 4.75, |
| "learning_rate": 4.9694273467726426e-05, |
| "loss": 0.3608, |
| "step": 7490 |
| }, |
| { |
| "epoch": 0.05, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.9693456490700593e-05, |
| "loss": 0.3661, |
| "step": 7500 |
| }, |
| { |
| "epoch": 0.05006666666666667, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.9692638430281885e-05, |
| "loss": 0.3815, |
| "step": 7510 |
| }, |
| { |
| "epoch": 0.050133333333333335, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.96918192865062e-05, |
| "loss": 0.362, |
| "step": 7520 |
| }, |
| { |
| "epoch": 0.0502, |
| "grad_norm": 5.34375, |
| "learning_rate": 4.969099905940947e-05, |
| "loss": 0.3656, |
| "step": 7530 |
| }, |
| { |
| "epoch": 0.05026666666666667, |
| "grad_norm": 6.375, |
| "learning_rate": 4.9690177749027675e-05, |
| "loss": 0.394, |
| "step": 7540 |
| }, |
| { |
| "epoch": 0.050333333333333334, |
| "grad_norm": 4.25, |
| "learning_rate": 4.9689355355396874e-05, |
| "loss": 0.3679, |
| "step": 7550 |
| }, |
| { |
| "epoch": 0.0504, |
| "grad_norm": 4.09375, |
| "learning_rate": 4.9688531878553125e-05, |
| "loss": 0.3617, |
| "step": 7560 |
| }, |
| { |
| "epoch": 0.05046666666666667, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.968770731853257e-05, |
| "loss": 0.3506, |
| "step": 7570 |
| }, |
| { |
| "epoch": 0.05053333333333333, |
| "grad_norm": 3.53125, |
| "learning_rate": 4.9686881675371375e-05, |
| "loss": 0.3509, |
| "step": 7580 |
| }, |
| { |
| "epoch": 0.0506, |
| "grad_norm": 4.25, |
| "learning_rate": 4.968605494910576e-05, |
| "loss": 0.3847, |
| "step": 7590 |
| }, |
| { |
| "epoch": 0.050666666666666665, |
| "grad_norm": 3.5625, |
| "learning_rate": 4.968522713977203e-05, |
| "loss": 0.3589, |
| "step": 7600 |
| }, |
| { |
| "epoch": 0.05073333333333333, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.968439824740646e-05, |
| "loss": 0.3484, |
| "step": 7610 |
| }, |
| { |
| "epoch": 0.0508, |
| "grad_norm": 4.875, |
| "learning_rate": 4.9683568272045447e-05, |
| "loss": 0.3634, |
| "step": 7620 |
| }, |
| { |
| "epoch": 0.050866666666666664, |
| "grad_norm": 4.875, |
| "learning_rate": 4.9682737213725385e-05, |
| "loss": 0.3885, |
| "step": 7630 |
| }, |
| { |
| "epoch": 0.05093333333333333, |
| "grad_norm": 4.375, |
| "learning_rate": 4.9681905072482754e-05, |
| "loss": 0.3597, |
| "step": 7640 |
| }, |
| { |
| "epoch": 0.051, |
| "grad_norm": 4.625, |
| "learning_rate": 4.968107184835405e-05, |
| "loss": 0.3624, |
| "step": 7650 |
| }, |
| { |
| "epoch": 0.05106666666666667, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.968023754137584e-05, |
| "loss": 0.3332, |
| "step": 7660 |
| }, |
| { |
| "epoch": 0.051133333333333336, |
| "grad_norm": 4.9375, |
| "learning_rate": 4.967940215158471e-05, |
| "loss": 0.3915, |
| "step": 7670 |
| }, |
| { |
| "epoch": 0.0512, |
| "grad_norm": 4.0, |
| "learning_rate": 4.967856567901733e-05, |
| "loss": 0.4081, |
| "step": 7680 |
| }, |
| { |
| "epoch": 0.05126666666666667, |
| "grad_norm": 4.96875, |
| "learning_rate": 4.967772812371039e-05, |
| "loss": 0.3683, |
| "step": 7690 |
| }, |
| { |
| "epoch": 0.051333333333333335, |
| "grad_norm": 5.65625, |
| "learning_rate": 4.967688948570065e-05, |
| "loss": 0.3393, |
| "step": 7700 |
| }, |
| { |
| "epoch": 0.0514, |
| "grad_norm": 4.375, |
| "learning_rate": 4.967604976502488e-05, |
| "loss": 0.3656, |
| "step": 7710 |
| }, |
| { |
| "epoch": 0.05146666666666667, |
| "grad_norm": 3.953125, |
| "learning_rate": 4.9675208961719945e-05, |
| "loss": 0.336, |
| "step": 7720 |
| }, |
| { |
| "epoch": 0.051533333333333334, |
| "grad_norm": 5.625, |
| "learning_rate": 4.967436707582271e-05, |
| "loss": 0.3554, |
| "step": 7730 |
| }, |
| { |
| "epoch": 0.0516, |
| "grad_norm": 5.625, |
| "learning_rate": 4.967352410737014e-05, |
| "loss": 0.3793, |
| "step": 7740 |
| }, |
| { |
| "epoch": 0.051666666666666666, |
| "grad_norm": 4.3125, |
| "learning_rate": 4.96726800563992e-05, |
| "loss": 0.4055, |
| "step": 7750 |
| }, |
| { |
| "epoch": 0.05173333333333333, |
| "grad_norm": 3.734375, |
| "learning_rate": 4.967183492294693e-05, |
| "loss": 0.3855, |
| "step": 7760 |
| }, |
| { |
| "epoch": 0.0518, |
| "grad_norm": 5.6875, |
| "learning_rate": 4.9670988707050405e-05, |
| "loss": 0.3605, |
| "step": 7770 |
| }, |
| { |
| "epoch": 0.051866666666666665, |
| "grad_norm": 3.484375, |
| "learning_rate": 4.967014140874675e-05, |
| "loss": 0.3416, |
| "step": 7780 |
| }, |
| { |
| "epoch": 0.05193333333333333, |
| "grad_norm": 5.53125, |
| "learning_rate": 4.966929302807314e-05, |
| "loss": 0.3867, |
| "step": 7790 |
| }, |
| { |
| "epoch": 0.052, |
| "grad_norm": 4.375, |
| "learning_rate": 4.9668443565066804e-05, |
| "loss": 0.3835, |
| "step": 7800 |
| }, |
| { |
| "epoch": 0.052066666666666664, |
| "grad_norm": 5.375, |
| "learning_rate": 4.9667593019765005e-05, |
| "loss": 0.3718, |
| "step": 7810 |
| }, |
| { |
| "epoch": 0.05213333333333333, |
| "grad_norm": 4.25, |
| "learning_rate": 4.966674139220505e-05, |
| "loss": 0.3577, |
| "step": 7820 |
| }, |
| { |
| "epoch": 0.0522, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.966588868242432e-05, |
| "loss": 0.369, |
| "step": 7830 |
| }, |
| { |
| "epoch": 0.05226666666666667, |
| "grad_norm": 3.765625, |
| "learning_rate": 4.966503489046022e-05, |
| "loss": 0.3755, |
| "step": 7840 |
| }, |
| { |
| "epoch": 0.052333333333333336, |
| "grad_norm": 4.9375, |
| "learning_rate": 4.9664180016350206e-05, |
| "loss": 0.3531, |
| "step": 7850 |
| }, |
| { |
| "epoch": 0.0524, |
| "grad_norm": 5.6875, |
| "learning_rate": 4.9663324060131785e-05, |
| "loss": 0.3506, |
| "step": 7860 |
| }, |
| { |
| "epoch": 0.05246666666666667, |
| "grad_norm": 6.25, |
| "learning_rate": 4.966246702184251e-05, |
| "loss": 0.3705, |
| "step": 7870 |
| }, |
| { |
| "epoch": 0.052533333333333335, |
| "grad_norm": 5.1875, |
| "learning_rate": 4.9661608901519996e-05, |
| "loss": 0.3534, |
| "step": 7880 |
| }, |
| { |
| "epoch": 0.0526, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.966074969920187e-05, |
| "loss": 0.397, |
| "step": 7890 |
| }, |
| { |
| "epoch": 0.05266666666666667, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.9659889414925844e-05, |
| "loss": 0.3837, |
| "step": 7900 |
| }, |
| { |
| "epoch": 0.05273333333333333, |
| "grad_norm": 4.65625, |
| "learning_rate": 4.965902804872966e-05, |
| "loss": 0.3807, |
| "step": 7910 |
| }, |
| { |
| "epoch": 0.0528, |
| "grad_norm": 4.96875, |
| "learning_rate": 4.96581656006511e-05, |
| "loss": 0.3763, |
| "step": 7920 |
| }, |
| { |
| "epoch": 0.052866666666666666, |
| "grad_norm": 5.90625, |
| "learning_rate": 4.965730207072802e-05, |
| "loss": 0.3441, |
| "step": 7930 |
| }, |
| { |
| "epoch": 0.05293333333333333, |
| "grad_norm": 3.734375, |
| "learning_rate": 4.9656437458998286e-05, |
| "loss": 0.3397, |
| "step": 7940 |
| }, |
| { |
| "epoch": 0.053, |
| "grad_norm": 7.34375, |
| "learning_rate": 4.965557176549984e-05, |
| "loss": 0.3621, |
| "step": 7950 |
| }, |
| { |
| "epoch": 0.053066666666666665, |
| "grad_norm": 5.625, |
| "learning_rate": 4.9654704990270666e-05, |
| "loss": 0.3924, |
| "step": 7960 |
| }, |
| { |
| "epoch": 0.05313333333333333, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.965383713334879e-05, |
| "loss": 0.3693, |
| "step": 7970 |
| }, |
| { |
| "epoch": 0.0532, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.96529681947723e-05, |
| "loss": 0.431, |
| "step": 7980 |
| }, |
| { |
| "epoch": 0.053266666666666664, |
| "grad_norm": 4.6875, |
| "learning_rate": 4.96520981745793e-05, |
| "loss": 0.3595, |
| "step": 7990 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.965122707280797e-05, |
| "loss": 0.3555, |
| "step": 8000 |
| }, |
| { |
| "epoch": 0.0534, |
| "grad_norm": 4.125, |
| "learning_rate": 4.965035488949653e-05, |
| "loss": 0.3561, |
| "step": 8010 |
| }, |
| { |
| "epoch": 0.05346666666666667, |
| "grad_norm": 5.1875, |
| "learning_rate": 4.9649481624683235e-05, |
| "loss": 0.3753, |
| "step": 8020 |
| }, |
| { |
| "epoch": 0.053533333333333336, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.964860727840642e-05, |
| "loss": 0.3657, |
| "step": 8030 |
| }, |
| { |
| "epoch": 0.0536, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.964773185070443e-05, |
| "loss": 0.3116, |
| "step": 8040 |
| }, |
| { |
| "epoch": 0.05366666666666667, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.964685534161567e-05, |
| "loss": 0.3588, |
| "step": 8050 |
| }, |
| { |
| "epoch": 0.053733333333333334, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.964597775117861e-05, |
| "loss": 0.3742, |
| "step": 8060 |
| }, |
| { |
| "epoch": 0.0538, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.9645099079431735e-05, |
| "loss": 0.3454, |
| "step": 8070 |
| }, |
| { |
| "epoch": 0.05386666666666667, |
| "grad_norm": 4.625, |
| "learning_rate": 4.964421932641361e-05, |
| "loss": 0.3854, |
| "step": 8080 |
| }, |
| { |
| "epoch": 0.05393333333333333, |
| "grad_norm": 4.375, |
| "learning_rate": 4.964333849216283e-05, |
| "loss": 0.3606, |
| "step": 8090 |
| }, |
| { |
| "epoch": 0.054, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.9642456576718046e-05, |
| "loss": 0.346, |
| "step": 8100 |
| }, |
| { |
| "epoch": 0.054066666666666666, |
| "grad_norm": 5.75, |
| "learning_rate": 4.964157358011793e-05, |
| "loss": 0.3667, |
| "step": 8110 |
| }, |
| { |
| "epoch": 0.05413333333333333, |
| "grad_norm": 3.859375, |
| "learning_rate": 4.964068950240125e-05, |
| "loss": 0.3644, |
| "step": 8120 |
| }, |
| { |
| "epoch": 0.0542, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.963980434360677e-05, |
| "loss": 0.3786, |
| "step": 8130 |
| }, |
| { |
| "epoch": 0.054266666666666664, |
| "grad_norm": 4.53125, |
| "learning_rate": 4.963891810377333e-05, |
| "loss": 0.3859, |
| "step": 8140 |
| }, |
| { |
| "epoch": 0.05433333333333333, |
| "grad_norm": 3.90625, |
| "learning_rate": 4.963803078293984e-05, |
| "loss": 0.3943, |
| "step": 8150 |
| }, |
| { |
| "epoch": 0.0544, |
| "grad_norm": 4.65625, |
| "learning_rate": 4.963714238114519e-05, |
| "loss": 0.3464, |
| "step": 8160 |
| }, |
| { |
| "epoch": 0.05446666666666666, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.963625289842838e-05, |
| "loss": 0.3537, |
| "step": 8170 |
| }, |
| { |
| "epoch": 0.054533333333333336, |
| "grad_norm": 4.65625, |
| "learning_rate": 4.963536233482843e-05, |
| "loss": 0.3766, |
| "step": 8180 |
| }, |
| { |
| "epoch": 0.0546, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.9634470690384414e-05, |
| "loss": 0.3788, |
| "step": 8190 |
| }, |
| { |
| "epoch": 0.05466666666666667, |
| "grad_norm": 5.15625, |
| "learning_rate": 4.9633577965135445e-05, |
| "loss": 0.3833, |
| "step": 8200 |
| }, |
| { |
| "epoch": 0.054733333333333335, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.96326841591207e-05, |
| "loss": 0.3776, |
| "step": 8210 |
| }, |
| { |
| "epoch": 0.0548, |
| "grad_norm": 3.640625, |
| "learning_rate": 4.9631789272379393e-05, |
| "loss": 0.3591, |
| "step": 8220 |
| }, |
| { |
| "epoch": 0.05486666666666667, |
| "grad_norm": 4.34375, |
| "learning_rate": 4.9630893304950774e-05, |
| "loss": 0.3653, |
| "step": 8230 |
| }, |
| { |
| "epoch": 0.054933333333333334, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.9629996256874166e-05, |
| "loss": 0.3706, |
| "step": 8240 |
| }, |
| { |
| "epoch": 0.055, |
| "grad_norm": 3.578125, |
| "learning_rate": 4.962909812818892e-05, |
| "loss": 0.3661, |
| "step": 8250 |
| }, |
| { |
| "epoch": 0.05506666666666667, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.962819891893443e-05, |
| "loss": 0.3269, |
| "step": 8260 |
| }, |
| { |
| "epoch": 0.05513333333333333, |
| "grad_norm": 2.890625, |
| "learning_rate": 4.9627298629150174e-05, |
| "loss": 0.3396, |
| "step": 8270 |
| }, |
| { |
| "epoch": 0.0552, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.9626397258875625e-05, |
| "loss": 0.357, |
| "step": 8280 |
| }, |
| { |
| "epoch": 0.055266666666666665, |
| "grad_norm": 4.0, |
| "learning_rate": 4.962549480815034e-05, |
| "loss": 0.3793, |
| "step": 8290 |
| }, |
| { |
| "epoch": 0.05533333333333333, |
| "grad_norm": 5.0, |
| "learning_rate": 4.962459127701391e-05, |
| "loss": 0.3787, |
| "step": 8300 |
| }, |
| { |
| "epoch": 0.0554, |
| "grad_norm": 4.5, |
| "learning_rate": 4.9623686665505986e-05, |
| "loss": 0.3526, |
| "step": 8310 |
| }, |
| { |
| "epoch": 0.055466666666666664, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.9622780973666244e-05, |
| "loss": 0.3459, |
| "step": 8320 |
| }, |
| { |
| "epoch": 0.05553333333333333, |
| "grad_norm": 4.375, |
| "learning_rate": 4.962187420153442e-05, |
| "loss": 0.3825, |
| "step": 8330 |
| }, |
| { |
| "epoch": 0.0556, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.962096634915031e-05, |
| "loss": 0.3424, |
| "step": 8340 |
| }, |
| { |
| "epoch": 0.05566666666666667, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.9620057416553746e-05, |
| "loss": 0.3597, |
| "step": 8350 |
| }, |
| { |
| "epoch": 0.055733333333333336, |
| "grad_norm": 5.90625, |
| "learning_rate": 4.961914740378458e-05, |
| "loss": 0.3583, |
| "step": 8360 |
| }, |
| { |
| "epoch": 0.0558, |
| "grad_norm": 5.15625, |
| "learning_rate": 4.9618236310882766e-05, |
| "loss": 0.3884, |
| "step": 8370 |
| }, |
| { |
| "epoch": 0.05586666666666667, |
| "grad_norm": 5.65625, |
| "learning_rate": 4.9617324137888266e-05, |
| "loss": 0.3657, |
| "step": 8380 |
| }, |
| { |
| "epoch": 0.055933333333333335, |
| "grad_norm": 3.890625, |
| "learning_rate": 4.961641088484109e-05, |
| "loss": 0.4033, |
| "step": 8390 |
| }, |
| { |
| "epoch": 0.056, |
| "grad_norm": 4.21875, |
| "learning_rate": 4.9615496551781326e-05, |
| "loss": 0.366, |
| "step": 8400 |
| }, |
| { |
| "epoch": 0.05606666666666667, |
| "grad_norm": 5.625, |
| "learning_rate": 4.9614581138749085e-05, |
| "loss": 0.3758, |
| "step": 8410 |
| }, |
| { |
| "epoch": 0.056133333333333334, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.9613664645784516e-05, |
| "loss": 0.3968, |
| "step": 8420 |
| }, |
| { |
| "epoch": 0.0562, |
| "grad_norm": 3.75, |
| "learning_rate": 4.961274707292783e-05, |
| "loss": 0.3837, |
| "step": 8430 |
| }, |
| { |
| "epoch": 0.056266666666666666, |
| "grad_norm": 4.09375, |
| "learning_rate": 4.961182842021931e-05, |
| "loss": 0.3652, |
| "step": 8440 |
| }, |
| { |
| "epoch": 0.05633333333333333, |
| "grad_norm": 4.09375, |
| "learning_rate": 4.9610908687699224e-05, |
| "loss": 0.37, |
| "step": 8450 |
| }, |
| { |
| "epoch": 0.0564, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.960998787540795e-05, |
| "loss": 0.3652, |
| "step": 8460 |
| }, |
| { |
| "epoch": 0.056466666666666665, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.960906598338588e-05, |
| "loss": 0.3766, |
| "step": 8470 |
| }, |
| { |
| "epoch": 0.05653333333333333, |
| "grad_norm": 5.71875, |
| "learning_rate": 4.960814301167346e-05, |
| "loss": 0.3882, |
| "step": 8480 |
| }, |
| { |
| "epoch": 0.0566, |
| "grad_norm": 3.90625, |
| "learning_rate": 4.960721896031119e-05, |
| "loss": 0.3858, |
| "step": 8490 |
| }, |
| { |
| "epoch": 0.056666666666666664, |
| "grad_norm": 3.9375, |
| "learning_rate": 4.9606293829339595e-05, |
| "loss": 0.3428, |
| "step": 8500 |
| }, |
| { |
| "epoch": 0.05673333333333333, |
| "grad_norm": 15.75, |
| "learning_rate": 4.9605367618799283e-05, |
| "loss": 0.3789, |
| "step": 8510 |
| }, |
| { |
| "epoch": 0.0568, |
| "grad_norm": 4.96875, |
| "learning_rate": 4.960444032873087e-05, |
| "loss": 0.3641, |
| "step": 8520 |
| }, |
| { |
| "epoch": 0.05686666666666667, |
| "grad_norm": 3.953125, |
| "learning_rate": 4.9603511959175065e-05, |
| "loss": 0.3652, |
| "step": 8530 |
| }, |
| { |
| "epoch": 0.056933333333333336, |
| "grad_norm": 4.3125, |
| "learning_rate": 4.960258251017258e-05, |
| "loss": 0.3735, |
| "step": 8540 |
| }, |
| { |
| "epoch": 0.057, |
| "grad_norm": 4.78125, |
| "learning_rate": 4.96016519817642e-05, |
| "loss": 0.361, |
| "step": 8550 |
| }, |
| { |
| "epoch": 0.05706666666666667, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.960072037399075e-05, |
| "loss": 0.332, |
| "step": 8560 |
| }, |
| { |
| "epoch": 0.057133333333333335, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.9599787686893105e-05, |
| "loss": 0.3613, |
| "step": 8570 |
| }, |
| { |
| "epoch": 0.0572, |
| "grad_norm": 1.4765625, |
| "learning_rate": 4.959885392051218e-05, |
| "loss": 0.3297, |
| "step": 8580 |
| }, |
| { |
| "epoch": 0.05726666666666667, |
| "grad_norm": 4.375, |
| "learning_rate": 4.9597919074888955e-05, |
| "loss": 0.3426, |
| "step": 8590 |
| }, |
| { |
| "epoch": 0.05733333333333333, |
| "grad_norm": 5.6875, |
| "learning_rate": 4.959698315006442e-05, |
| "loss": 0.3908, |
| "step": 8600 |
| }, |
| { |
| "epoch": 0.0574, |
| "grad_norm": 4.5, |
| "learning_rate": 4.9596046146079665e-05, |
| "loss": 0.3225, |
| "step": 8610 |
| }, |
| { |
| "epoch": 0.057466666666666666, |
| "grad_norm": 3.984375, |
| "learning_rate": 4.959510806297579e-05, |
| "loss": 0.3601, |
| "step": 8620 |
| }, |
| { |
| "epoch": 0.05753333333333333, |
| "grad_norm": 3.453125, |
| "learning_rate": 4.9594168900793945e-05, |
| "loss": 0.3406, |
| "step": 8630 |
| }, |
| { |
| "epoch": 0.0576, |
| "grad_norm": 3.890625, |
| "learning_rate": 4.959322865957534e-05, |
| "loss": 0.3691, |
| "step": 8640 |
| }, |
| { |
| "epoch": 0.057666666666666665, |
| "grad_norm": 1.15625, |
| "learning_rate": 4.959228733936123e-05, |
| "loss": 0.3574, |
| "step": 8650 |
| }, |
| { |
| "epoch": 0.05773333333333333, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.959134494019291e-05, |
| "loss": 0.3731, |
| "step": 8660 |
| }, |
| { |
| "epoch": 0.0578, |
| "grad_norm": 3.375, |
| "learning_rate": 4.959040146211173e-05, |
| "loss": 0.3416, |
| "step": 8670 |
| }, |
| { |
| "epoch": 0.057866666666666663, |
| "grad_norm": 3.890625, |
| "learning_rate": 4.958945690515908e-05, |
| "loss": 0.3576, |
| "step": 8680 |
| }, |
| { |
| "epoch": 0.05793333333333334, |
| "grad_norm": 5.21875, |
| "learning_rate": 4.9588511269376404e-05, |
| "loss": 0.3951, |
| "step": 8690 |
| }, |
| { |
| "epoch": 0.058, |
| "grad_norm": 4.375, |
| "learning_rate": 4.9587564554805185e-05, |
| "loss": 0.3579, |
| "step": 8700 |
| }, |
| { |
| "epoch": 0.05806666666666667, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.9586616761486964e-05, |
| "loss": 0.3648, |
| "step": 8710 |
| }, |
| { |
| "epoch": 0.058133333333333335, |
| "grad_norm": 2.328125, |
| "learning_rate": 4.9585667889463326e-05, |
| "loss": 0.3779, |
| "step": 8720 |
| }, |
| { |
| "epoch": 0.0582, |
| "grad_norm": 3.578125, |
| "learning_rate": 4.95847179387759e-05, |
| "loss": 0.3613, |
| "step": 8730 |
| }, |
| { |
| "epoch": 0.05826666666666667, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.9583766909466355e-05, |
| "loss": 0.3644, |
| "step": 8740 |
| }, |
| { |
| "epoch": 0.058333333333333334, |
| "grad_norm": 5.4375, |
| "learning_rate": 4.958281480157643e-05, |
| "loss": 0.3587, |
| "step": 8750 |
| }, |
| { |
| "epoch": 0.0584, |
| "grad_norm": 5.5625, |
| "learning_rate": 4.9581861615147893e-05, |
| "loss": 0.3675, |
| "step": 8760 |
| }, |
| { |
| "epoch": 0.05846666666666667, |
| "grad_norm": 3.984375, |
| "learning_rate": 4.958090735022256e-05, |
| "loss": 0.3576, |
| "step": 8770 |
| }, |
| { |
| "epoch": 0.05853333333333333, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.95799520068423e-05, |
| "loss": 0.382, |
| "step": 8780 |
| }, |
| { |
| "epoch": 0.0586, |
| "grad_norm": 4.25, |
| "learning_rate": 4.9578995585049025e-05, |
| "loss": 0.3386, |
| "step": 8790 |
| }, |
| { |
| "epoch": 0.058666666666666666, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.9578038084884705e-05, |
| "loss": 0.3823, |
| "step": 8800 |
| }, |
| { |
| "epoch": 0.05873333333333333, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.957707950639134e-05, |
| "loss": 0.3981, |
| "step": 8810 |
| }, |
| { |
| "epoch": 0.0588, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.957611984961099e-05, |
| "loss": 0.375, |
| "step": 8820 |
| }, |
| { |
| "epoch": 0.058866666666666664, |
| "grad_norm": 3.4375, |
| "learning_rate": 4.957515911458576e-05, |
| "loss": 0.3648, |
| "step": 8830 |
| }, |
| { |
| "epoch": 0.05893333333333333, |
| "grad_norm": 5.28125, |
| "learning_rate": 4.95741973013578e-05, |
| "loss": 0.3673, |
| "step": 8840 |
| }, |
| { |
| "epoch": 0.059, |
| "grad_norm": 3.609375, |
| "learning_rate": 4.957323440996931e-05, |
| "loss": 0.3521, |
| "step": 8850 |
| }, |
| { |
| "epoch": 0.05906666666666667, |
| "grad_norm": 5.4375, |
| "learning_rate": 4.957227044046252e-05, |
| "loss": 0.3436, |
| "step": 8860 |
| }, |
| { |
| "epoch": 0.059133333333333336, |
| "grad_norm": 4.25, |
| "learning_rate": 4.957130539287975e-05, |
| "loss": 0.3653, |
| "step": 8870 |
| }, |
| { |
| "epoch": 0.0592, |
| "grad_norm": 3.3125, |
| "learning_rate": 4.957033926726332e-05, |
| "loss": 0.347, |
| "step": 8880 |
| }, |
| { |
| "epoch": 0.05926666666666667, |
| "grad_norm": 4.75, |
| "learning_rate": 4.956937206365563e-05, |
| "loss": 0.339, |
| "step": 8890 |
| }, |
| { |
| "epoch": 0.059333333333333335, |
| "grad_norm": 3.890625, |
| "learning_rate": 4.95684037820991e-05, |
| "loss": 0.3405, |
| "step": 8900 |
| }, |
| { |
| "epoch": 0.0594, |
| "grad_norm": 4.625, |
| "learning_rate": 4.9567434422636226e-05, |
| "loss": 0.3725, |
| "step": 8910 |
| }, |
| { |
| "epoch": 0.05946666666666667, |
| "grad_norm": 3.84375, |
| "learning_rate": 4.956646398530954e-05, |
| "loss": 0.3379, |
| "step": 8920 |
| }, |
| { |
| "epoch": 0.059533333333333334, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.95654924701616e-05, |
| "loss": 0.3418, |
| "step": 8930 |
| }, |
| { |
| "epoch": 0.0596, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.956451987723504e-05, |
| "loss": 0.348, |
| "step": 8940 |
| }, |
| { |
| "epoch": 0.059666666666666666, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.956354620657254e-05, |
| "loss": 0.3761, |
| "step": 8950 |
| }, |
| { |
| "epoch": 0.05973333333333333, |
| "grad_norm": 4.375, |
| "learning_rate": 4.95625714582168e-05, |
| "loss": 0.3514, |
| "step": 8960 |
| }, |
| { |
| "epoch": 0.0598, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.956159563221061e-05, |
| "loss": 0.3251, |
| "step": 8970 |
| }, |
| { |
| "epoch": 0.059866666666666665, |
| "grad_norm": 5.25, |
| "learning_rate": 4.956061872859675e-05, |
| "loss": 0.3465, |
| "step": 8980 |
| }, |
| { |
| "epoch": 0.05993333333333333, |
| "grad_norm": 3.96875, |
| "learning_rate": 4.955964074741812e-05, |
| "loss": 0.3612, |
| "step": 8990 |
| }, |
| { |
| "epoch": 0.06, |
| "grad_norm": 3.875, |
| "learning_rate": 4.95586616887176e-05, |
| "loss": 0.3457, |
| "step": 9000 |
| }, |
| { |
| "epoch": 0.060066666666666664, |
| "grad_norm": 3.9375, |
| "learning_rate": 4.955768155253815e-05, |
| "loss": 0.3827, |
| "step": 9010 |
| }, |
| { |
| "epoch": 0.06013333333333333, |
| "grad_norm": 4.96875, |
| "learning_rate": 4.955670033892277e-05, |
| "loss": 0.4005, |
| "step": 9020 |
| }, |
| { |
| "epoch": 0.0602, |
| "grad_norm": 6.03125, |
| "learning_rate": 4.9555718047914526e-05, |
| "loss": 0.3755, |
| "step": 9030 |
| }, |
| { |
| "epoch": 0.06026666666666667, |
| "grad_norm": 4.15625, |
| "learning_rate": 4.955473467955649e-05, |
| "loss": 0.3566, |
| "step": 9040 |
| }, |
| { |
| "epoch": 0.060333333333333336, |
| "grad_norm": 4.4375, |
| "learning_rate": 4.955375023389183e-05, |
| "loss": 0.3923, |
| "step": 9050 |
| }, |
| { |
| "epoch": 0.0604, |
| "grad_norm": 4.375, |
| "learning_rate": 4.955276471096372e-05, |
| "loss": 0.3185, |
| "step": 9060 |
| }, |
| { |
| "epoch": 0.06046666666666667, |
| "grad_norm": 4.25, |
| "learning_rate": 4.9551778110815405e-05, |
| "loss": 0.3586, |
| "step": 9070 |
| }, |
| { |
| "epoch": 0.060533333333333335, |
| "grad_norm": 4.75, |
| "learning_rate": 4.955079043349017e-05, |
| "loss": 0.3961, |
| "step": 9080 |
| }, |
| { |
| "epoch": 0.0606, |
| "grad_norm": 4.0, |
| "learning_rate": 4.954980167903135e-05, |
| "loss": 0.3612, |
| "step": 9090 |
| }, |
| { |
| "epoch": 0.06066666666666667, |
| "grad_norm": 4.84375, |
| "learning_rate": 4.954881184748232e-05, |
| "loss": 0.3195, |
| "step": 9100 |
| }, |
| { |
| "epoch": 0.060733333333333334, |
| "grad_norm": 5.40625, |
| "learning_rate": 4.9547820938886516e-05, |
| "loss": 0.3401, |
| "step": 9110 |
| }, |
| { |
| "epoch": 0.0608, |
| "grad_norm": 4.875, |
| "learning_rate": 4.9546828953287404e-05, |
| "loss": 0.3761, |
| "step": 9120 |
| }, |
| { |
| "epoch": 0.060866666666666666, |
| "grad_norm": 4.09375, |
| "learning_rate": 4.954583589072851e-05, |
| "loss": 0.3846, |
| "step": 9130 |
| }, |
| { |
| "epoch": 0.06093333333333333, |
| "grad_norm": 5.40625, |
| "learning_rate": 4.954484175125341e-05, |
| "loss": 0.4104, |
| "step": 9140 |
| }, |
| { |
| "epoch": 0.061, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.95438465349057e-05, |
| "loss": 0.3067, |
| "step": 9150 |
| }, |
| { |
| "epoch": 0.061066666666666665, |
| "grad_norm": 4.5, |
| "learning_rate": 4.9542850241729074e-05, |
| "loss": 0.3573, |
| "step": 9160 |
| }, |
| { |
| "epoch": 0.06113333333333333, |
| "grad_norm": 4.09375, |
| "learning_rate": 4.9541852871767213e-05, |
| "loss": 0.3588, |
| "step": 9170 |
| }, |
| { |
| "epoch": 0.0612, |
| "grad_norm": 3.3125, |
| "learning_rate": 4.95408544250639e-05, |
| "loss": 0.3717, |
| "step": 9180 |
| }, |
| { |
| "epoch": 0.061266666666666664, |
| "grad_norm": 3.8125, |
| "learning_rate": 4.9539854901662924e-05, |
| "loss": 0.3655, |
| "step": 9190 |
| }, |
| { |
| "epoch": 0.06133333333333333, |
| "grad_norm": 4.53125, |
| "learning_rate": 4.953885430160814e-05, |
| "loss": 0.3921, |
| "step": 9200 |
| }, |
| { |
| "epoch": 0.0614, |
| "grad_norm": 4.71875, |
| "learning_rate": 4.953785262494346e-05, |
| "loss": 0.3456, |
| "step": 9210 |
| }, |
| { |
| "epoch": 0.06146666666666667, |
| "grad_norm": 4.375, |
| "learning_rate": 4.953684987171282e-05, |
| "loss": 0.3579, |
| "step": 9220 |
| }, |
| { |
| "epoch": 0.061533333333333336, |
| "grad_norm": 3.546875, |
| "learning_rate": 4.953584604196021e-05, |
| "loss": 0.3554, |
| "step": 9230 |
| }, |
| { |
| "epoch": 0.0616, |
| "grad_norm": 5.25, |
| "learning_rate": 4.953484113572968e-05, |
| "loss": 0.3773, |
| "step": 9240 |
| }, |
| { |
| "epoch": 0.06166666666666667, |
| "grad_norm": 5.09375, |
| "learning_rate": 4.953383515306533e-05, |
| "loss": 0.331, |
| "step": 9250 |
| }, |
| { |
| "epoch": 0.061733333333333335, |
| "grad_norm": 5.09375, |
| "learning_rate": 4.9532828094011277e-05, |
| "loss": 0.3809, |
| "step": 9260 |
| }, |
| { |
| "epoch": 0.0618, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.95318199586117e-05, |
| "loss": 0.3499, |
| "step": 9270 |
| }, |
| { |
| "epoch": 0.06186666666666667, |
| "grad_norm": 4.84375, |
| "learning_rate": 4.953081074691085e-05, |
| "loss": 0.3503, |
| "step": 9280 |
| }, |
| { |
| "epoch": 0.06193333333333333, |
| "grad_norm": 5.125, |
| "learning_rate": 4.9529800458953e-05, |
| "loss": 0.3513, |
| "step": 9290 |
| }, |
| { |
| "epoch": 0.062, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.952878909478247e-05, |
| "loss": 0.3452, |
| "step": 9300 |
| }, |
| { |
| "epoch": 0.062066666666666666, |
| "grad_norm": 5.46875, |
| "learning_rate": 4.9527776654443626e-05, |
| "loss": 0.3526, |
| "step": 9310 |
| }, |
| { |
| "epoch": 0.06213333333333333, |
| "grad_norm": 5.40625, |
| "learning_rate": 4.95267631379809e-05, |
| "loss": 0.3407, |
| "step": 9320 |
| }, |
| { |
| "epoch": 0.0622, |
| "grad_norm": 3.578125, |
| "learning_rate": 4.952574854543875e-05, |
| "loss": 0.3614, |
| "step": 9330 |
| }, |
| { |
| "epoch": 0.062266666666666665, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.95247328768617e-05, |
| "loss": 0.364, |
| "step": 9340 |
| }, |
| { |
| "epoch": 0.06233333333333333, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.9523716132294293e-05, |
| "loss": 0.34, |
| "step": 9350 |
| }, |
| { |
| "epoch": 0.0624, |
| "grad_norm": 5.59375, |
| "learning_rate": 4.952269831178116e-05, |
| "loss": 0.4087, |
| "step": 9360 |
| }, |
| { |
| "epoch": 0.06246666666666666, |
| "grad_norm": 6.78125, |
| "learning_rate": 4.952167941536693e-05, |
| "loss": 0.3849, |
| "step": 9370 |
| }, |
| { |
| "epoch": 0.06253333333333333, |
| "grad_norm": 3.984375, |
| "learning_rate": 4.9520659443096334e-05, |
| "loss": 0.3698, |
| "step": 9380 |
| }, |
| { |
| "epoch": 0.0626, |
| "grad_norm": 4.34375, |
| "learning_rate": 4.95196383950141e-05, |
| "loss": 0.3339, |
| "step": 9390 |
| }, |
| { |
| "epoch": 0.06266666666666666, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.951861627116505e-05, |
| "loss": 0.3397, |
| "step": 9400 |
| }, |
| { |
| "epoch": 0.06273333333333334, |
| "grad_norm": 4.09375, |
| "learning_rate": 4.9517593071594e-05, |
| "loss": 0.373, |
| "step": 9410 |
| }, |
| { |
| "epoch": 0.0628, |
| "grad_norm": 3.734375, |
| "learning_rate": 4.951656879634585e-05, |
| "loss": 0.3447, |
| "step": 9420 |
| }, |
| { |
| "epoch": 0.06286666666666667, |
| "grad_norm": 5.46875, |
| "learning_rate": 4.951554344546555e-05, |
| "loss": 0.373, |
| "step": 9430 |
| }, |
| { |
| "epoch": 0.06293333333333333, |
| "grad_norm": 5.0625, |
| "learning_rate": 4.9514517018998076e-05, |
| "loss": 0.3507, |
| "step": 9440 |
| }, |
| { |
| "epoch": 0.063, |
| "grad_norm": 0.345703125, |
| "learning_rate": 4.9513489516988466e-05, |
| "loss": 0.3796, |
| "step": 9450 |
| }, |
| { |
| "epoch": 0.06306666666666666, |
| "grad_norm": 4.1875, |
| "learning_rate": 4.951246093948179e-05, |
| "loss": 0.329, |
| "step": 9460 |
| }, |
| { |
| "epoch": 0.06313333333333333, |
| "grad_norm": 5.3125, |
| "learning_rate": 4.951143128652319e-05, |
| "loss": 0.3652, |
| "step": 9470 |
| }, |
| { |
| "epoch": 0.0632, |
| "grad_norm": 5.84375, |
| "learning_rate": 4.9510400558157835e-05, |
| "loss": 0.3319, |
| "step": 9480 |
| }, |
| { |
| "epoch": 0.06326666666666667, |
| "grad_norm": 4.25, |
| "learning_rate": 4.950936875443094e-05, |
| "loss": 0.3869, |
| "step": 9490 |
| }, |
| { |
| "epoch": 0.06333333333333334, |
| "grad_norm": 4.5, |
| "learning_rate": 4.950833587538779e-05, |
| "loss": 0.379, |
| "step": 9500 |
| }, |
| { |
| "epoch": 0.0634, |
| "grad_norm": 6.03125, |
| "learning_rate": 4.950730192107368e-05, |
| "loss": 0.3755, |
| "step": 9510 |
| }, |
| { |
| "epoch": 0.06346666666666667, |
| "grad_norm": 3.734375, |
| "learning_rate": 4.950626689153399e-05, |
| "loss": 0.3511, |
| "step": 9520 |
| }, |
| { |
| "epoch": 0.06353333333333333, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.9505230786814126e-05, |
| "loss": 0.357, |
| "step": 9530 |
| }, |
| { |
| "epoch": 0.0636, |
| "grad_norm": 5.03125, |
| "learning_rate": 4.950419360695954e-05, |
| "loss": 0.3494, |
| "step": 9540 |
| }, |
| { |
| "epoch": 0.06366666666666666, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.950315535201575e-05, |
| "loss": 0.339, |
| "step": 9550 |
| }, |
| { |
| "epoch": 0.06373333333333334, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.950211602202829e-05, |
| "loss": 0.3773, |
| "step": 9560 |
| }, |
| { |
| "epoch": 0.0638, |
| "grad_norm": 5.59375, |
| "learning_rate": 4.950107561704277e-05, |
| "loss": 0.3397, |
| "step": 9570 |
| }, |
| { |
| "epoch": 0.06386666666666667, |
| "grad_norm": 3.71875, |
| "learning_rate": 4.950003413710484e-05, |
| "loss": 0.3735, |
| "step": 9580 |
| }, |
| { |
| "epoch": 0.06393333333333333, |
| "grad_norm": 4.5625, |
| "learning_rate": 4.949899158226019e-05, |
| "loss": 0.35, |
| "step": 9590 |
| }, |
| { |
| "epoch": 0.064, |
| "grad_norm": 4.9375, |
| "learning_rate": 4.949794795255456e-05, |
| "loss": 0.3779, |
| "step": 9600 |
| }, |
| { |
| "epoch": 0.06406666666666666, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.949690324803373e-05, |
| "loss": 0.3682, |
| "step": 9610 |
| }, |
| { |
| "epoch": 0.06413333333333333, |
| "grad_norm": 3.03125, |
| "learning_rate": 4.9495857468743544e-05, |
| "loss": 0.36, |
| "step": 9620 |
| }, |
| { |
| "epoch": 0.0642, |
| "grad_norm": 3.890625, |
| "learning_rate": 4.9494810614729886e-05, |
| "loss": 0.3601, |
| "step": 9630 |
| }, |
| { |
| "epoch": 0.06426666666666667, |
| "grad_norm": 4.09375, |
| "learning_rate": 4.949376268603868e-05, |
| "loss": 0.3493, |
| "step": 9640 |
| }, |
| { |
| "epoch": 0.06433333333333334, |
| "grad_norm": 3.65625, |
| "learning_rate": 4.9492713682715905e-05, |
| "loss": 0.3725, |
| "step": 9650 |
| }, |
| { |
| "epoch": 0.0644, |
| "grad_norm": 3.9375, |
| "learning_rate": 4.949166360480759e-05, |
| "loss": 0.3841, |
| "step": 9660 |
| }, |
| { |
| "epoch": 0.06446666666666667, |
| "grad_norm": 4.46875, |
| "learning_rate": 4.94906124523598e-05, |
| "loss": 0.3338, |
| "step": 9670 |
| }, |
| { |
| "epoch": 0.06453333333333333, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.948956022541864e-05, |
| "loss": 0.3598, |
| "step": 9680 |
| }, |
| { |
| "epoch": 0.0646, |
| "grad_norm": 8.625, |
| "learning_rate": 4.94885069240303e-05, |
| "loss": 0.3607, |
| "step": 9690 |
| }, |
| { |
| "epoch": 0.06466666666666666, |
| "grad_norm": 14.6875, |
| "learning_rate": 4.9487452548240976e-05, |
| "loss": 0.4017, |
| "step": 9700 |
| }, |
| { |
| "epoch": 0.06473333333333334, |
| "grad_norm": 5.71875, |
| "learning_rate": 4.948639709809693e-05, |
| "loss": 0.3567, |
| "step": 9710 |
| }, |
| { |
| "epoch": 0.0648, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.948534057364448e-05, |
| "loss": 0.3558, |
| "step": 9720 |
| }, |
| { |
| "epoch": 0.06486666666666667, |
| "grad_norm": 4.0, |
| "learning_rate": 4.9484282974929956e-05, |
| "loss": 0.3337, |
| "step": 9730 |
| }, |
| { |
| "epoch": 0.06493333333333333, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.948322430199978e-05, |
| "loss": 0.3044, |
| "step": 9740 |
| }, |
| { |
| "epoch": 0.065, |
| "grad_norm": 4.65625, |
| "learning_rate": 4.948216455490039e-05, |
| "loss": 0.3568, |
| "step": 9750 |
| }, |
| { |
| "epoch": 0.06506666666666666, |
| "grad_norm": 3.203125, |
| "learning_rate": 4.948110373367828e-05, |
| "loss": 0.3702, |
| "step": 9760 |
| }, |
| { |
| "epoch": 0.06513333333333333, |
| "grad_norm": 5.0, |
| "learning_rate": 4.9480041838380004e-05, |
| "loss": 0.3388, |
| "step": 9770 |
| }, |
| { |
| "epoch": 0.0652, |
| "grad_norm": 8.6875, |
| "learning_rate": 4.9478978869052136e-05, |
| "loss": 0.4027, |
| "step": 9780 |
| }, |
| { |
| "epoch": 0.06526666666666667, |
| "grad_norm": 4.03125, |
| "learning_rate": 4.9477914825741325e-05, |
| "loss": 0.3622, |
| "step": 9790 |
| }, |
| { |
| "epoch": 0.06533333333333333, |
| "grad_norm": 5.28125, |
| "learning_rate": 4.9476849708494245e-05, |
| "loss": 0.357, |
| "step": 9800 |
| }, |
| { |
| "epoch": 0.0654, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.947578351735762e-05, |
| "loss": 0.3535, |
| "step": 9810 |
| }, |
| { |
| "epoch": 0.06546666666666667, |
| "grad_norm": 4.0625, |
| "learning_rate": 4.947471625237825e-05, |
| "loss": 0.3715, |
| "step": 9820 |
| }, |
| { |
| "epoch": 0.06553333333333333, |
| "grad_norm": 5.03125, |
| "learning_rate": 4.947364791360295e-05, |
| "loss": 0.3675, |
| "step": 9830 |
| }, |
| { |
| "epoch": 0.0656, |
| "grad_norm": 3.609375, |
| "learning_rate": 4.947257850107858e-05, |
| "loss": 0.3452, |
| "step": 9840 |
| }, |
| { |
| "epoch": 0.06566666666666666, |
| "grad_norm": 4.90625, |
| "learning_rate": 4.9471508014852076e-05, |
| "loss": 0.3739, |
| "step": 9850 |
| }, |
| { |
| "epoch": 0.06573333333333334, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.947043645497039e-05, |
| "loss": 0.3897, |
| "step": 9860 |
| }, |
| { |
| "epoch": 0.0658, |
| "grad_norm": 4.0, |
| "learning_rate": 4.9469363821480555e-05, |
| "loss": 0.3091, |
| "step": 9870 |
| }, |
| { |
| "epoch": 0.06586666666666667, |
| "grad_norm": 4.8125, |
| "learning_rate": 4.9468290114429606e-05, |
| "loss": 0.3609, |
| "step": 9880 |
| }, |
| { |
| "epoch": 0.06593333333333333, |
| "grad_norm": 4.875, |
| "learning_rate": 4.946721533386467e-05, |
| "loss": 0.3995, |
| "step": 9890 |
| }, |
| { |
| "epoch": 0.066, |
| "grad_norm": 5.15625, |
| "learning_rate": 4.946613947983289e-05, |
| "loss": 0.3457, |
| "step": 9900 |
| }, |
| { |
| "epoch": 0.06606666666666666, |
| "grad_norm": 5.21875, |
| "learning_rate": 4.9465062552381475e-05, |
| "loss": 0.3271, |
| "step": 9910 |
| }, |
| { |
| "epoch": 0.06613333333333334, |
| "grad_norm": 4.28125, |
| "learning_rate": 4.9463984551557676e-05, |
| "loss": 0.3519, |
| "step": 9920 |
| }, |
| { |
| "epoch": 0.0662, |
| "grad_norm": 3.546875, |
| "learning_rate": 4.946290547740877e-05, |
| "loss": 0.3591, |
| "step": 9930 |
| }, |
| { |
| "epoch": 0.06626666666666667, |
| "grad_norm": 4.40625, |
| "learning_rate": 4.9461825329982125e-05, |
| "loss": 0.3911, |
| "step": 9940 |
| }, |
| { |
| "epoch": 0.06633333333333333, |
| "grad_norm": 4.125, |
| "learning_rate": 4.946074410932512e-05, |
| "loss": 0.3705, |
| "step": 9950 |
| }, |
| { |
| "epoch": 0.0664, |
| "grad_norm": 4.125, |
| "learning_rate": 4.9459661815485195e-05, |
| "loss": 0.363, |
| "step": 9960 |
| }, |
| { |
| "epoch": 0.06646666666666666, |
| "grad_norm": 4.59375, |
| "learning_rate": 4.9458578448509815e-05, |
| "loss": 0.3545, |
| "step": 9970 |
| }, |
| { |
| "epoch": 0.06653333333333333, |
| "grad_norm": 4.53125, |
| "learning_rate": 4.945749400844655e-05, |
| "loss": 0.3595, |
| "step": 9980 |
| }, |
| { |
| "epoch": 0.0666, |
| "grad_norm": 3.75, |
| "learning_rate": 4.9456408495342935e-05, |
| "loss": 0.3651, |
| "step": 9990 |
| }, |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 4.25, |
| "learning_rate": 4.9455321909246634e-05, |
| "loss": 0.3761, |
| "step": 10000 |
| } |
| ], |
| "logging_steps": 10, |
| "max_steps": 150000, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 1, |
| "save_steps": 10000, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": false |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 1.339457760395264e+18, |
| "train_batch_size": 1, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
