| { | |
| "best_global_step": null, | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 29.0, | |
| "eval_steps": 500, | |
| "global_step": 4350, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 15.9375, | |
| "learning_rate": 8e-05, | |
| "loss": 2.8175, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 9.9375, | |
| "learning_rate": 8e-05, | |
| "loss": 1.5892, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 8.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 1.5829, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 23.875, | |
| "learning_rate": 8e-05, | |
| "loss": 1.2536, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 8.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 1.3342, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 19.875, | |
| "learning_rate": 8e-05, | |
| "loss": 1.0698, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.4666666666666667, | |
| "grad_norm": 7.46875, | |
| "learning_rate": 8e-05, | |
| "loss": 1.2566, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 18.375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.896, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 8.125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.9531, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 7.40625, | |
| "learning_rate": 8e-05, | |
| "loss": 1.404, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.7333333333333333, | |
| "grad_norm": 18.375, | |
| "learning_rate": 8e-05, | |
| "loss": 1.1784, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 7.0625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.8687, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.8666666666666667, | |
| "grad_norm": 7.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 1.0304, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 7.40625, | |
| "learning_rate": 8e-05, | |
| "loss": 1.0099, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 7.25, | |
| "learning_rate": 8e-05, | |
| "loss": 1.0077, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 1.0666666666666667, | |
| "grad_norm": 7.21875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.6739, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 1.1333333333333333, | |
| "grad_norm": 12.6875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.7994, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 9.25, | |
| "learning_rate": 8e-05, | |
| "loss": 0.7404, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 1.2666666666666666, | |
| "grad_norm": 7.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.6783, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 15.5, | |
| "learning_rate": 8e-05, | |
| "loss": 0.7047, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 8.125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.9323, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 1.4666666666666668, | |
| "grad_norm": 14.0, | |
| "learning_rate": 8e-05, | |
| "loss": 0.6844, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 1.5333333333333332, | |
| "grad_norm": 9.6875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.754, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 14.8125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.7832, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 7.5625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.7787, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 1.7333333333333334, | |
| "grad_norm": 16.125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.7757, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 6.75, | |
| "learning_rate": 8e-05, | |
| "loss": 0.7071, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 1.8666666666666667, | |
| "grad_norm": 7.125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.6846, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 1.9333333333333333, | |
| "grad_norm": 8.0625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.6798, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 8.0, | |
| "learning_rate": 8e-05, | |
| "loss": 0.6156, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 2.066666666666667, | |
| "grad_norm": 7.875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5637, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 2.1333333333333333, | |
| "grad_norm": 7.59375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5648, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 2.2, | |
| "grad_norm": 7.15625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.557, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 2.2666666666666666, | |
| "grad_norm": 14.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.6649, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 2.3333333333333335, | |
| "grad_norm": 13.875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5828, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 7.21875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.6511, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 2.466666666666667, | |
| "grad_norm": 6.875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.6143, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 2.533333333333333, | |
| "grad_norm": 7.09375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5279, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 2.6, | |
| "grad_norm": 7.78125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5958, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 7.90625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5939, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 2.7333333333333334, | |
| "grad_norm": 6.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.6436, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 14.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5914, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 2.8666666666666667, | |
| "grad_norm": 6.53125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.6224, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 2.9333333333333336, | |
| "grad_norm": 9.0625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.6307, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 7.375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5725, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 3.066666666666667, | |
| "grad_norm": 7.71875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.4453, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 3.1333333333333333, | |
| "grad_norm": 14.375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5641, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 3.2, | |
| "grad_norm": 6.5625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.4988, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 3.2666666666666666, | |
| "grad_norm": 6.46875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.445, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 3.3333333333333335, | |
| "grad_norm": 6.78125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.4262, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 3.3333333333333335, | |
| "eval_loss": 6.109757423400879, | |
| "eval_runtime": 7.8689, | |
| "eval_samples_per_second": 63.541, | |
| "eval_steps_per_second": 63.541, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 3.4, | |
| "grad_norm": 6.96875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5602, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 3.466666666666667, | |
| "grad_norm": 6.34375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.4888, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 3.533333333333333, | |
| "grad_norm": 8.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5043, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 3.6, | |
| "grad_norm": 6.78125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.4985, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 3.6666666666666665, | |
| "grad_norm": 7.6875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.4768, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 3.7333333333333334, | |
| "grad_norm": 6.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5858, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 3.8, | |
| "grad_norm": 14.9375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5109, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 3.8666666666666667, | |
| "grad_norm": 6.34375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5463, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 3.9333333333333336, | |
| "grad_norm": 6.0625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5145, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "grad_norm": 7.59375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.5981, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 4.066666666666666, | |
| "grad_norm": 7.6875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3908, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 4.133333333333334, | |
| "grad_norm": 5.78125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3538, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 4.2, | |
| "grad_norm": 12.8125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.4148, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 4.266666666666667, | |
| "grad_norm": 6.21875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.35, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 4.333333333333333, | |
| "grad_norm": 7.84375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.4307, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 4.4, | |
| "grad_norm": 6.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.4137, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 4.466666666666667, | |
| "grad_norm": 6.25, | |
| "learning_rate": 8e-05, | |
| "loss": 0.422, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 4.533333333333333, | |
| "grad_norm": 6.59375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3558, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 4.6, | |
| "grad_norm": 6.03125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.4403, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 4.666666666666667, | |
| "grad_norm": 10.75, | |
| "learning_rate": 8e-05, | |
| "loss": 0.4268, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 4.733333333333333, | |
| "grad_norm": 12.5, | |
| "learning_rate": 8e-05, | |
| "loss": 0.4346, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 4.8, | |
| "grad_norm": 12.6875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.4415, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 4.866666666666667, | |
| "grad_norm": 5.9375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.378, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 4.933333333333334, | |
| "grad_norm": 6.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.4326, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "grad_norm": 16.25, | |
| "learning_rate": 8e-05, | |
| "loss": 0.4478, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 5.066666666666666, | |
| "grad_norm": 5.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2861, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 5.133333333333334, | |
| "grad_norm": 7.5, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3786, | |
| "step": 770 | |
| }, | |
| { | |
| "epoch": 5.2, | |
| "grad_norm": 14.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.375, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 5.266666666666667, | |
| "grad_norm": 5.5625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3023, | |
| "step": 790 | |
| }, | |
| { | |
| "epoch": 5.333333333333333, | |
| "grad_norm": 3.921875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2609, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 5.4, | |
| "grad_norm": 8.0, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3727, | |
| "step": 810 | |
| }, | |
| { | |
| "epoch": 5.466666666666667, | |
| "grad_norm": 4.8125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3947, | |
| "step": 820 | |
| }, | |
| { | |
| "epoch": 5.533333333333333, | |
| "grad_norm": 10.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2972, | |
| "step": 830 | |
| }, | |
| { | |
| "epoch": 5.6, | |
| "grad_norm": 16.0, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3201, | |
| "step": 840 | |
| }, | |
| { | |
| "epoch": 5.666666666666667, | |
| "grad_norm": 5.25, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3632, | |
| "step": 850 | |
| }, | |
| { | |
| "epoch": 5.733333333333333, | |
| "grad_norm": 6.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.319, | |
| "step": 860 | |
| }, | |
| { | |
| "epoch": 5.8, | |
| "grad_norm": 6.125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3574, | |
| "step": 870 | |
| }, | |
| { | |
| "epoch": 5.866666666666667, | |
| "grad_norm": 11.875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3044, | |
| "step": 880 | |
| }, | |
| { | |
| "epoch": 5.933333333333334, | |
| "grad_norm": 11.875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3496, | |
| "step": 890 | |
| }, | |
| { | |
| "epoch": 6.0, | |
| "grad_norm": 9.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3685, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 6.066666666666666, | |
| "grad_norm": 4.0625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2858, | |
| "step": 910 | |
| }, | |
| { | |
| "epoch": 6.133333333333334, | |
| "grad_norm": 14.0625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3342, | |
| "step": 920 | |
| }, | |
| { | |
| "epoch": 6.2, | |
| "grad_norm": 2.953125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2725, | |
| "step": 930 | |
| }, | |
| { | |
| "epoch": 6.266666666666667, | |
| "grad_norm": 2.28125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2163, | |
| "step": 940 | |
| }, | |
| { | |
| "epoch": 6.333333333333333, | |
| "grad_norm": 8.0625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3371, | |
| "step": 950 | |
| }, | |
| { | |
| "epoch": 6.4, | |
| "grad_norm": 4.5, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2089, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 6.466666666666667, | |
| "grad_norm": 3.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3131, | |
| "step": 970 | |
| }, | |
| { | |
| "epoch": 6.533333333333333, | |
| "grad_norm": 6.5, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3484, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 6.6, | |
| "grad_norm": 4.34375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3022, | |
| "step": 990 | |
| }, | |
| { | |
| "epoch": 6.666666666666667, | |
| "grad_norm": 13.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2383, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 6.666666666666667, | |
| "eval_loss": 6.251327037811279, | |
| "eval_runtime": 7.784, | |
| "eval_samples_per_second": 64.234, | |
| "eval_steps_per_second": 64.234, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 6.733333333333333, | |
| "grad_norm": 12.9375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.324, | |
| "step": 1010 | |
| }, | |
| { | |
| "epoch": 6.8, | |
| "grad_norm": 7.71875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3079, | |
| "step": 1020 | |
| }, | |
| { | |
| "epoch": 6.866666666666667, | |
| "grad_norm": 3.34375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2946, | |
| "step": 1030 | |
| }, | |
| { | |
| "epoch": 6.933333333333334, | |
| "grad_norm": 3.265625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2924, | |
| "step": 1040 | |
| }, | |
| { | |
| "epoch": 7.0, | |
| "grad_norm": 5.90625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.298, | |
| "step": 1050 | |
| }, | |
| { | |
| "epoch": 7.066666666666666, | |
| "grad_norm": 7.6875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3063, | |
| "step": 1060 | |
| }, | |
| { | |
| "epoch": 7.133333333333334, | |
| "grad_norm": 11.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2847, | |
| "step": 1070 | |
| }, | |
| { | |
| "epoch": 7.2, | |
| "grad_norm": 2.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2374, | |
| "step": 1080 | |
| }, | |
| { | |
| "epoch": 7.266666666666667, | |
| "grad_norm": 7.0, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3054, | |
| "step": 1090 | |
| }, | |
| { | |
| "epoch": 7.333333333333333, | |
| "grad_norm": 6.15625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2396, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 7.4, | |
| "grad_norm": 1.9921875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2339, | |
| "step": 1110 | |
| }, | |
| { | |
| "epoch": 7.466666666666667, | |
| "grad_norm": 13.5625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2142, | |
| "step": 1120 | |
| }, | |
| { | |
| "epoch": 7.533333333333333, | |
| "grad_norm": 13.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2455, | |
| "step": 1130 | |
| }, | |
| { | |
| "epoch": 7.6, | |
| "grad_norm": 12.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2673, | |
| "step": 1140 | |
| }, | |
| { | |
| "epoch": 7.666666666666667, | |
| "grad_norm": 13.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3539, | |
| "step": 1150 | |
| }, | |
| { | |
| "epoch": 7.733333333333333, | |
| "grad_norm": 12.5625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2764, | |
| "step": 1160 | |
| }, | |
| { | |
| "epoch": 7.8, | |
| "grad_norm": 14.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3384, | |
| "step": 1170 | |
| }, | |
| { | |
| "epoch": 7.866666666666667, | |
| "grad_norm": 1.765625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2586, | |
| "step": 1180 | |
| }, | |
| { | |
| "epoch": 7.933333333333334, | |
| "grad_norm": 4.46875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1642, | |
| "step": 1190 | |
| }, | |
| { | |
| "epoch": 8.0, | |
| "grad_norm": 13.5, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1933, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 8.066666666666666, | |
| "grad_norm": 2.46875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2673, | |
| "step": 1210 | |
| }, | |
| { | |
| "epoch": 8.133333333333333, | |
| "grad_norm": 2.890625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2862, | |
| "step": 1220 | |
| }, | |
| { | |
| "epoch": 8.2, | |
| "grad_norm": 6.21875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.258, | |
| "step": 1230 | |
| }, | |
| { | |
| "epoch": 8.266666666666667, | |
| "grad_norm": 3.671875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2841, | |
| "step": 1240 | |
| }, | |
| { | |
| "epoch": 8.333333333333334, | |
| "grad_norm": 13.25, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2572, | |
| "step": 1250 | |
| }, | |
| { | |
| "epoch": 8.4, | |
| "grad_norm": 11.0625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.221, | |
| "step": 1260 | |
| }, | |
| { | |
| "epoch": 8.466666666666667, | |
| "grad_norm": 2.859375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2339, | |
| "step": 1270 | |
| }, | |
| { | |
| "epoch": 8.533333333333333, | |
| "grad_norm": 10.25, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1708, | |
| "step": 1280 | |
| }, | |
| { | |
| "epoch": 8.6, | |
| "grad_norm": 3.40625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2703, | |
| "step": 1290 | |
| }, | |
| { | |
| "epoch": 8.666666666666666, | |
| "grad_norm": 2.875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1167, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 8.733333333333333, | |
| "grad_norm": 13.375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2557, | |
| "step": 1310 | |
| }, | |
| { | |
| "epoch": 8.8, | |
| "grad_norm": 13.8125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3136, | |
| "step": 1320 | |
| }, | |
| { | |
| "epoch": 8.866666666666667, | |
| "grad_norm": 5.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2367, | |
| "step": 1330 | |
| }, | |
| { | |
| "epoch": 8.933333333333334, | |
| "grad_norm": 11.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2864, | |
| "step": 1340 | |
| }, | |
| { | |
| "epoch": 9.0, | |
| "grad_norm": 6.03125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2822, | |
| "step": 1350 | |
| }, | |
| { | |
| "epoch": 9.066666666666666, | |
| "grad_norm": 1.1796875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2529, | |
| "step": 1360 | |
| }, | |
| { | |
| "epoch": 9.133333333333333, | |
| "grad_norm": 1.71875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2378, | |
| "step": 1370 | |
| }, | |
| { | |
| "epoch": 9.2, | |
| "grad_norm": 1.578125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2066, | |
| "step": 1380 | |
| }, | |
| { | |
| "epoch": 9.266666666666667, | |
| "grad_norm": 2.09375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1917, | |
| "step": 1390 | |
| }, | |
| { | |
| "epoch": 9.333333333333334, | |
| "grad_norm": 5.59375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1699, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 9.4, | |
| "grad_norm": 12.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2749, | |
| "step": 1410 | |
| }, | |
| { | |
| "epoch": 9.466666666666667, | |
| "grad_norm": 13.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2402, | |
| "step": 1420 | |
| }, | |
| { | |
| "epoch": 9.533333333333333, | |
| "grad_norm": 12.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3195, | |
| "step": 1430 | |
| }, | |
| { | |
| "epoch": 9.6, | |
| "grad_norm": 13.6875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2936, | |
| "step": 1440 | |
| }, | |
| { | |
| "epoch": 9.666666666666666, | |
| "grad_norm": 14.5, | |
| "learning_rate": 8e-05, | |
| "loss": 0.209, | |
| "step": 1450 | |
| }, | |
| { | |
| "epoch": 9.733333333333333, | |
| "grad_norm": 2.078125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2456, | |
| "step": 1460 | |
| }, | |
| { | |
| "epoch": 9.8, | |
| "grad_norm": 2.828125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1185, | |
| "step": 1470 | |
| }, | |
| { | |
| "epoch": 9.866666666666667, | |
| "grad_norm": 2.296875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1885, | |
| "step": 1480 | |
| }, | |
| { | |
| "epoch": 9.933333333333334, | |
| "grad_norm": 2.96875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2708, | |
| "step": 1490 | |
| }, | |
| { | |
| "epoch": 10.0, | |
| "grad_norm": 4.03125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2339, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 10.0, | |
| "eval_loss": 6.87812614440918, | |
| "eval_runtime": 7.7864, | |
| "eval_samples_per_second": 64.215, | |
| "eval_steps_per_second": 64.215, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 10.066666666666666, | |
| "grad_norm": 1.0234375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2093, | |
| "step": 1510 | |
| }, | |
| { | |
| "epoch": 10.133333333333333, | |
| "grad_norm": 11.25, | |
| "learning_rate": 8e-05, | |
| "loss": 0.285, | |
| "step": 1520 | |
| }, | |
| { | |
| "epoch": 10.2, | |
| "grad_norm": 1.421875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2634, | |
| "step": 1530 | |
| }, | |
| { | |
| "epoch": 10.266666666666667, | |
| "grad_norm": 2.375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.135, | |
| "step": 1540 | |
| }, | |
| { | |
| "epoch": 10.333333333333334, | |
| "grad_norm": 3.109375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2416, | |
| "step": 1550 | |
| }, | |
| { | |
| "epoch": 10.4, | |
| "grad_norm": 3.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1869, | |
| "step": 1560 | |
| }, | |
| { | |
| "epoch": 10.466666666666667, | |
| "grad_norm": 2.46875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2586, | |
| "step": 1570 | |
| }, | |
| { | |
| "epoch": 10.533333333333333, | |
| "grad_norm": 2.9375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2595, | |
| "step": 1580 | |
| }, | |
| { | |
| "epoch": 10.6, | |
| "grad_norm": 1.7109375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1743, | |
| "step": 1590 | |
| }, | |
| { | |
| "epoch": 10.666666666666666, | |
| "grad_norm": 2.09375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1545, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 10.733333333333333, | |
| "grad_norm": 12.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2211, | |
| "step": 1610 | |
| }, | |
| { | |
| "epoch": 10.8, | |
| "grad_norm": 2.421875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2071, | |
| "step": 1620 | |
| }, | |
| { | |
| "epoch": 10.866666666666667, | |
| "grad_norm": 12.75, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2075, | |
| "step": 1630 | |
| }, | |
| { | |
| "epoch": 10.933333333333334, | |
| "grad_norm": 3.96875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2148, | |
| "step": 1640 | |
| }, | |
| { | |
| "epoch": 11.0, | |
| "grad_norm": 4.09375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2453, | |
| "step": 1650 | |
| }, | |
| { | |
| "epoch": 11.066666666666666, | |
| "grad_norm": 1.21875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2078, | |
| "step": 1660 | |
| }, | |
| { | |
| "epoch": 11.133333333333333, | |
| "grad_norm": 0.96875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1529, | |
| "step": 1670 | |
| }, | |
| { | |
| "epoch": 11.2, | |
| "grad_norm": 2.609375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2401, | |
| "step": 1680 | |
| }, | |
| { | |
| "epoch": 11.266666666666667, | |
| "grad_norm": 3.078125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2061, | |
| "step": 1690 | |
| }, | |
| { | |
| "epoch": 11.333333333333334, | |
| "grad_norm": 15.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2112, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 11.4, | |
| "grad_norm": 2.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2624, | |
| "step": 1710 | |
| }, | |
| { | |
| "epoch": 11.466666666666667, | |
| "grad_norm": 2.109375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1534, | |
| "step": 1720 | |
| }, | |
| { | |
| "epoch": 11.533333333333333, | |
| "grad_norm": 1.34375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1726, | |
| "step": 1730 | |
| }, | |
| { | |
| "epoch": 11.6, | |
| "grad_norm": 11.5, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2686, | |
| "step": 1740 | |
| }, | |
| { | |
| "epoch": 11.666666666666666, | |
| "grad_norm": 14.125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2905, | |
| "step": 1750 | |
| }, | |
| { | |
| "epoch": 11.733333333333333, | |
| "grad_norm": 10.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1711, | |
| "step": 1760 | |
| }, | |
| { | |
| "epoch": 11.8, | |
| "grad_norm": 3.234375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2368, | |
| "step": 1770 | |
| }, | |
| { | |
| "epoch": 11.866666666666667, | |
| "grad_norm": 11.125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.216, | |
| "step": 1780 | |
| }, | |
| { | |
| "epoch": 11.933333333333334, | |
| "grad_norm": 3.0, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1541, | |
| "step": 1790 | |
| }, | |
| { | |
| "epoch": 12.0, | |
| "grad_norm": 13.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.266, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 12.066666666666666, | |
| "grad_norm": 2.328125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1817, | |
| "step": 1810 | |
| }, | |
| { | |
| "epoch": 12.133333333333333, | |
| "grad_norm": 12.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1165, | |
| "step": 1820 | |
| }, | |
| { | |
| "epoch": 12.2, | |
| "grad_norm": 3.90625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1518, | |
| "step": 1830 | |
| }, | |
| { | |
| "epoch": 12.266666666666667, | |
| "grad_norm": 2.40625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.291, | |
| "step": 1840 | |
| }, | |
| { | |
| "epoch": 12.333333333333334, | |
| "grad_norm": 1.2734375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.142, | |
| "step": 1850 | |
| }, | |
| { | |
| "epoch": 12.4, | |
| "grad_norm": 13.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2334, | |
| "step": 1860 | |
| }, | |
| { | |
| "epoch": 12.466666666666667, | |
| "grad_norm": 2.078125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1905, | |
| "step": 1870 | |
| }, | |
| { | |
| "epoch": 12.533333333333333, | |
| "grad_norm": 1.3046875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.256, | |
| "step": 1880 | |
| }, | |
| { | |
| "epoch": 12.6, | |
| "grad_norm": 13.0625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2645, | |
| "step": 1890 | |
| }, | |
| { | |
| "epoch": 12.666666666666666, | |
| "grad_norm": 1.4921875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1756, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 12.733333333333333, | |
| "grad_norm": 1.546875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.19, | |
| "step": 1910 | |
| }, | |
| { | |
| "epoch": 12.8, | |
| "grad_norm": 2.046875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2056, | |
| "step": 1920 | |
| }, | |
| { | |
| "epoch": 12.866666666666667, | |
| "grad_norm": 2.78125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2508, | |
| "step": 1930 | |
| }, | |
| { | |
| "epoch": 12.933333333333334, | |
| "grad_norm": 3.6875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.259, | |
| "step": 1940 | |
| }, | |
| { | |
| "epoch": 13.0, | |
| "grad_norm": 12.8125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2509, | |
| "step": 1950 | |
| }, | |
| { | |
| "epoch": 13.066666666666666, | |
| "grad_norm": 10.5625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.145, | |
| "step": 1960 | |
| }, | |
| { | |
| "epoch": 13.133333333333333, | |
| "grad_norm": 13.375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2302, | |
| "step": 1970 | |
| }, | |
| { | |
| "epoch": 13.2, | |
| "grad_norm": 2.921875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1894, | |
| "step": 1980 | |
| }, | |
| { | |
| "epoch": 13.266666666666667, | |
| "grad_norm": 2.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2469, | |
| "step": 1990 | |
| }, | |
| { | |
| "epoch": 13.333333333333334, | |
| "grad_norm": 12.375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2853, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 13.333333333333334, | |
| "eval_loss": 7.610803127288818, | |
| "eval_runtime": 7.8397, | |
| "eval_samples_per_second": 63.778, | |
| "eval_steps_per_second": 63.778, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 13.4, | |
| "grad_norm": 14.5625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2293, | |
| "step": 2010 | |
| }, | |
| { | |
| "epoch": 13.466666666666667, | |
| "grad_norm": 2.484375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1749, | |
| "step": 2020 | |
| }, | |
| { | |
| "epoch": 13.533333333333333, | |
| "grad_norm": 4.15625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.14, | |
| "step": 2030 | |
| }, | |
| { | |
| "epoch": 13.6, | |
| "grad_norm": 2.59375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1266, | |
| "step": 2040 | |
| }, | |
| { | |
| "epoch": 13.666666666666666, | |
| "grad_norm": 1.4140625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3235, | |
| "step": 2050 | |
| }, | |
| { | |
| "epoch": 13.733333333333333, | |
| "grad_norm": 10.875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2866, | |
| "step": 2060 | |
| }, | |
| { | |
| "epoch": 13.8, | |
| "grad_norm": 14.5, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1776, | |
| "step": 2070 | |
| }, | |
| { | |
| "epoch": 13.866666666666667, | |
| "grad_norm": 1.3984375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2415, | |
| "step": 2080 | |
| }, | |
| { | |
| "epoch": 13.933333333333334, | |
| "grad_norm": 2.46875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1669, | |
| "step": 2090 | |
| }, | |
| { | |
| "epoch": 14.0, | |
| "grad_norm": 1.8203125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1981, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 14.066666666666666, | |
| "grad_norm": 2.296875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1161, | |
| "step": 2110 | |
| }, | |
| { | |
| "epoch": 14.133333333333333, | |
| "grad_norm": 1.359375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1564, | |
| "step": 2120 | |
| }, | |
| { | |
| "epoch": 14.2, | |
| "grad_norm": 13.5, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2145, | |
| "step": 2130 | |
| }, | |
| { | |
| "epoch": 14.266666666666667, | |
| "grad_norm": 12.0625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2712, | |
| "step": 2140 | |
| }, | |
| { | |
| "epoch": 14.333333333333334, | |
| "grad_norm": 4.34375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1336, | |
| "step": 2150 | |
| }, | |
| { | |
| "epoch": 14.4, | |
| "grad_norm": 1.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1991, | |
| "step": 2160 | |
| }, | |
| { | |
| "epoch": 14.466666666666667, | |
| "grad_norm": 10.0625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.173, | |
| "step": 2170 | |
| }, | |
| { | |
| "epoch": 14.533333333333333, | |
| "grad_norm": 9.8125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2384, | |
| "step": 2180 | |
| }, | |
| { | |
| "epoch": 14.6, | |
| "grad_norm": 11.9375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2454, | |
| "step": 2190 | |
| }, | |
| { | |
| "epoch": 14.666666666666666, | |
| "grad_norm": 11.9375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2116, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 14.733333333333333, | |
| "grad_norm": 1.15625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1642, | |
| "step": 2210 | |
| }, | |
| { | |
| "epoch": 14.8, | |
| "grad_norm": 12.0, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2193, | |
| "step": 2220 | |
| }, | |
| { | |
| "epoch": 14.866666666666667, | |
| "grad_norm": 4.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1157, | |
| "step": 2230 | |
| }, | |
| { | |
| "epoch": 14.933333333333334, | |
| "grad_norm": 1.9140625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2401, | |
| "step": 2240 | |
| }, | |
| { | |
| "epoch": 15.0, | |
| "grad_norm": 1.0859375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2521, | |
| "step": 2250 | |
| }, | |
| { | |
| "epoch": 15.066666666666666, | |
| "grad_norm": 12.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2709, | |
| "step": 2260 | |
| }, | |
| { | |
| "epoch": 15.133333333333333, | |
| "grad_norm": 1.3515625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1026, | |
| "step": 2270 | |
| }, | |
| { | |
| "epoch": 15.2, | |
| "grad_norm": 12.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1849, | |
| "step": 2280 | |
| }, | |
| { | |
| "epoch": 15.266666666666667, | |
| "grad_norm": 0.76953125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1076, | |
| "step": 2290 | |
| }, | |
| { | |
| "epoch": 15.333333333333334, | |
| "grad_norm": 10.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.168, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 15.4, | |
| "grad_norm": 13.25, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2293, | |
| "step": 2310 | |
| }, | |
| { | |
| "epoch": 15.466666666666667, | |
| "grad_norm": 4.09375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2168, | |
| "step": 2320 | |
| }, | |
| { | |
| "epoch": 15.533333333333333, | |
| "grad_norm": 4.40625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1555, | |
| "step": 2330 | |
| }, | |
| { | |
| "epoch": 15.6, | |
| "grad_norm": 2.9375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1093, | |
| "step": 2340 | |
| }, | |
| { | |
| "epoch": 15.666666666666666, | |
| "grad_norm": 10.375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3299, | |
| "step": 2350 | |
| }, | |
| { | |
| "epoch": 15.733333333333333, | |
| "grad_norm": 1.453125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2806, | |
| "step": 2360 | |
| }, | |
| { | |
| "epoch": 15.8, | |
| "grad_norm": 0.84375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1587, | |
| "step": 2370 | |
| }, | |
| { | |
| "epoch": 15.866666666666667, | |
| "grad_norm": 2.046875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2126, | |
| "step": 2380 | |
| }, | |
| { | |
| "epoch": 15.933333333333334, | |
| "grad_norm": 13.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2729, | |
| "step": 2390 | |
| }, | |
| { | |
| "epoch": 16.0, | |
| "grad_norm": 1.3359375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1771, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 16.066666666666666, | |
| "grad_norm": 10.25, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2151, | |
| "step": 2410 | |
| }, | |
| { | |
| "epoch": 16.133333333333333, | |
| "grad_norm": 0.9453125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1061, | |
| "step": 2420 | |
| }, | |
| { | |
| "epoch": 16.2, | |
| "grad_norm": 0.98828125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.0821, | |
| "step": 2430 | |
| }, | |
| { | |
| "epoch": 16.266666666666666, | |
| "grad_norm": 12.125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3271, | |
| "step": 2440 | |
| }, | |
| { | |
| "epoch": 16.333333333333332, | |
| "grad_norm": 14.6875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1863, | |
| "step": 2450 | |
| }, | |
| { | |
| "epoch": 16.4, | |
| "grad_norm": 2.21875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1893, | |
| "step": 2460 | |
| }, | |
| { | |
| "epoch": 16.466666666666665, | |
| "grad_norm": 11.5625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3338, | |
| "step": 2470 | |
| }, | |
| { | |
| "epoch": 16.533333333333335, | |
| "grad_norm": 13.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.163, | |
| "step": 2480 | |
| }, | |
| { | |
| "epoch": 16.6, | |
| "grad_norm": 1.578125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1617, | |
| "step": 2490 | |
| }, | |
| { | |
| "epoch": 16.666666666666668, | |
| "grad_norm": 12.5, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2145, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 16.666666666666668, | |
| "eval_loss": 8.240596771240234, | |
| "eval_runtime": 7.824, | |
| "eval_samples_per_second": 63.906, | |
| "eval_steps_per_second": 63.906, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 16.733333333333334, | |
| "grad_norm": 2.359375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2422, | |
| "step": 2510 | |
| }, | |
| { | |
| "epoch": 16.8, | |
| "grad_norm": 3.46875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1993, | |
| "step": 2520 | |
| }, | |
| { | |
| "epoch": 16.866666666666667, | |
| "grad_norm": 2.25, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1625, | |
| "step": 2530 | |
| }, | |
| { | |
| "epoch": 16.933333333333334, | |
| "grad_norm": 1.390625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2006, | |
| "step": 2540 | |
| }, | |
| { | |
| "epoch": 17.0, | |
| "grad_norm": 1.09375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2824, | |
| "step": 2550 | |
| }, | |
| { | |
| "epoch": 17.066666666666666, | |
| "grad_norm": 3.0, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1538, | |
| "step": 2560 | |
| }, | |
| { | |
| "epoch": 17.133333333333333, | |
| "grad_norm": 1.0703125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.156, | |
| "step": 2570 | |
| }, | |
| { | |
| "epoch": 17.2, | |
| "grad_norm": 12.75, | |
| "learning_rate": 8e-05, | |
| "loss": 0.18, | |
| "step": 2580 | |
| }, | |
| { | |
| "epoch": 17.266666666666666, | |
| "grad_norm": 1.03125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1922, | |
| "step": 2590 | |
| }, | |
| { | |
| "epoch": 17.333333333333332, | |
| "grad_norm": 12.5625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1587, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 17.4, | |
| "grad_norm": 12.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1888, | |
| "step": 2610 | |
| }, | |
| { | |
| "epoch": 17.466666666666665, | |
| "grad_norm": 13.6875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2003, | |
| "step": 2620 | |
| }, | |
| { | |
| "epoch": 17.533333333333335, | |
| "grad_norm": 2.234375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2414, | |
| "step": 2630 | |
| }, | |
| { | |
| "epoch": 17.6, | |
| "grad_norm": 12.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3025, | |
| "step": 2640 | |
| }, | |
| { | |
| "epoch": 17.666666666666668, | |
| "grad_norm": 1.21875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1932, | |
| "step": 2650 | |
| }, | |
| { | |
| "epoch": 17.733333333333334, | |
| "grad_norm": 12.125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2497, | |
| "step": 2660 | |
| }, | |
| { | |
| "epoch": 17.8, | |
| "grad_norm": 1.2421875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1785, | |
| "step": 2670 | |
| }, | |
| { | |
| "epoch": 17.866666666666667, | |
| "grad_norm": 1.7421875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1876, | |
| "step": 2680 | |
| }, | |
| { | |
| "epoch": 17.933333333333334, | |
| "grad_norm": 2.25, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1544, | |
| "step": 2690 | |
| }, | |
| { | |
| "epoch": 18.0, | |
| "grad_norm": 1.328125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1671, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 18.066666666666666, | |
| "grad_norm": 10.875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1831, | |
| "step": 2710 | |
| }, | |
| { | |
| "epoch": 18.133333333333333, | |
| "grad_norm": 10.9375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2211, | |
| "step": 2720 | |
| }, | |
| { | |
| "epoch": 18.2, | |
| "grad_norm": 13.0, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2536, | |
| "step": 2730 | |
| }, | |
| { | |
| "epoch": 18.266666666666666, | |
| "grad_norm": 1.3515625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1876, | |
| "step": 2740 | |
| }, | |
| { | |
| "epoch": 18.333333333333332, | |
| "grad_norm": 2.921875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2089, | |
| "step": 2750 | |
| }, | |
| { | |
| "epoch": 18.4, | |
| "grad_norm": 12.5625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2764, | |
| "step": 2760 | |
| }, | |
| { | |
| "epoch": 18.466666666666665, | |
| "grad_norm": 1.3359375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2012, | |
| "step": 2770 | |
| }, | |
| { | |
| "epoch": 18.533333333333335, | |
| "grad_norm": 11.5625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2265, | |
| "step": 2780 | |
| }, | |
| { | |
| "epoch": 18.6, | |
| "grad_norm": 1.2109375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1727, | |
| "step": 2790 | |
| }, | |
| { | |
| "epoch": 18.666666666666668, | |
| "grad_norm": 0.94140625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.0805, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 18.733333333333334, | |
| "grad_norm": 1.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1877, | |
| "step": 2810 | |
| }, | |
| { | |
| "epoch": 18.8, | |
| "grad_norm": 1.59375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1893, | |
| "step": 2820 | |
| }, | |
| { | |
| "epoch": 18.866666666666667, | |
| "grad_norm": 1.34375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1652, | |
| "step": 2830 | |
| }, | |
| { | |
| "epoch": 18.933333333333334, | |
| "grad_norm": 11.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.139, | |
| "step": 2840 | |
| }, | |
| { | |
| "epoch": 19.0, | |
| "grad_norm": 0.9765625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2359, | |
| "step": 2850 | |
| }, | |
| { | |
| "epoch": 19.066666666666666, | |
| "grad_norm": 12.8125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.214, | |
| "step": 2860 | |
| }, | |
| { | |
| "epoch": 19.133333333333333, | |
| "grad_norm": 3.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2669, | |
| "step": 2870 | |
| }, | |
| { | |
| "epoch": 19.2, | |
| "grad_norm": 1.421875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1555, | |
| "step": 2880 | |
| }, | |
| { | |
| "epoch": 19.266666666666666, | |
| "grad_norm": 10.5, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2098, | |
| "step": 2890 | |
| }, | |
| { | |
| "epoch": 19.333333333333332, | |
| "grad_norm": 13.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2219, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 19.4, | |
| "grad_norm": 1.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.0923, | |
| "step": 2910 | |
| }, | |
| { | |
| "epoch": 19.466666666666665, | |
| "grad_norm": 3.109375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2357, | |
| "step": 2920 | |
| }, | |
| { | |
| "epoch": 19.533333333333335, | |
| "grad_norm": 13.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1905, | |
| "step": 2930 | |
| }, | |
| { | |
| "epoch": 19.6, | |
| "grad_norm": 12.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1566, | |
| "step": 2940 | |
| }, | |
| { | |
| "epoch": 19.666666666666668, | |
| "grad_norm": 0.86328125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.0815, | |
| "step": 2950 | |
| }, | |
| { | |
| "epoch": 19.733333333333334, | |
| "grad_norm": 0.859375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1554, | |
| "step": 2960 | |
| }, | |
| { | |
| "epoch": 19.8, | |
| "grad_norm": 11.0625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2029, | |
| "step": 2970 | |
| }, | |
| { | |
| "epoch": 19.866666666666667, | |
| "grad_norm": 12.8125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2656, | |
| "step": 2980 | |
| }, | |
| { | |
| "epoch": 19.933333333333334, | |
| "grad_norm": 1.0390625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.219, | |
| "step": 2990 | |
| }, | |
| { | |
| "epoch": 20.0, | |
| "grad_norm": 13.5, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2561, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 20.0, | |
| "eval_loss": 8.65807056427002, | |
| "eval_runtime": 7.7454, | |
| "eval_samples_per_second": 64.555, | |
| "eval_steps_per_second": 64.555, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 20.066666666666666, | |
| "grad_norm": 1.9296875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1922, | |
| "step": 3010 | |
| }, | |
| { | |
| "epoch": 20.133333333333333, | |
| "grad_norm": 1.6015625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.0922, | |
| "step": 3020 | |
| }, | |
| { | |
| "epoch": 20.2, | |
| "grad_norm": 1.3828125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2161, | |
| "step": 3030 | |
| }, | |
| { | |
| "epoch": 20.266666666666666, | |
| "grad_norm": 1.0234375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1797, | |
| "step": 3040 | |
| }, | |
| { | |
| "epoch": 20.333333333333332, | |
| "grad_norm": 1.09375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1347, | |
| "step": 3050 | |
| }, | |
| { | |
| "epoch": 20.4, | |
| "grad_norm": 1.5625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2369, | |
| "step": 3060 | |
| }, | |
| { | |
| "epoch": 20.466666666666665, | |
| "grad_norm": 0.921875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.0949, | |
| "step": 3070 | |
| }, | |
| { | |
| "epoch": 20.533333333333335, | |
| "grad_norm": 2.046875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2827, | |
| "step": 3080 | |
| }, | |
| { | |
| "epoch": 20.6, | |
| "grad_norm": 13.75, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2074, | |
| "step": 3090 | |
| }, | |
| { | |
| "epoch": 20.666666666666668, | |
| "grad_norm": 1.1953125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1481, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 20.733333333333334, | |
| "grad_norm": 2.703125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1398, | |
| "step": 3110 | |
| }, | |
| { | |
| "epoch": 20.8, | |
| "grad_norm": 2.40625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1725, | |
| "step": 3120 | |
| }, | |
| { | |
| "epoch": 20.866666666666667, | |
| "grad_norm": 13.0625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2702, | |
| "step": 3130 | |
| }, | |
| { | |
| "epoch": 20.933333333333334, | |
| "grad_norm": 1.6953125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2094, | |
| "step": 3140 | |
| }, | |
| { | |
| "epoch": 21.0, | |
| "grad_norm": 13.375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.26, | |
| "step": 3150 | |
| }, | |
| { | |
| "epoch": 21.066666666666666, | |
| "grad_norm": 0.96484375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2089, | |
| "step": 3160 | |
| }, | |
| { | |
| "epoch": 21.133333333333333, | |
| "grad_norm": 10.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1632, | |
| "step": 3170 | |
| }, | |
| { | |
| "epoch": 21.2, | |
| "grad_norm": 12.25, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1572, | |
| "step": 3180 | |
| }, | |
| { | |
| "epoch": 21.266666666666666, | |
| "grad_norm": 1.6171875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.126, | |
| "step": 3190 | |
| }, | |
| { | |
| "epoch": 21.333333333333332, | |
| "grad_norm": 2.078125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1827, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 21.4, | |
| "grad_norm": 11.6875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2749, | |
| "step": 3210 | |
| }, | |
| { | |
| "epoch": 21.466666666666665, | |
| "grad_norm": 2.71875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.187, | |
| "step": 3220 | |
| }, | |
| { | |
| "epoch": 21.533333333333335, | |
| "grad_norm": 9.9375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1404, | |
| "step": 3230 | |
| }, | |
| { | |
| "epoch": 21.6, | |
| "grad_norm": 1.2734375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2873, | |
| "step": 3240 | |
| }, | |
| { | |
| "epoch": 21.666666666666668, | |
| "grad_norm": 3.25, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1517, | |
| "step": 3250 | |
| }, | |
| { | |
| "epoch": 21.733333333333334, | |
| "grad_norm": 0.9609375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2063, | |
| "step": 3260 | |
| }, | |
| { | |
| "epoch": 21.8, | |
| "grad_norm": 3.109375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2222, | |
| "step": 3270 | |
| }, | |
| { | |
| "epoch": 21.866666666666667, | |
| "grad_norm": 1.6328125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2082, | |
| "step": 3280 | |
| }, | |
| { | |
| "epoch": 21.933333333333334, | |
| "grad_norm": 1.3828125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1211, | |
| "step": 3290 | |
| }, | |
| { | |
| "epoch": 22.0, | |
| "grad_norm": 1.1640625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2319, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 22.066666666666666, | |
| "grad_norm": 2.546875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1599, | |
| "step": 3310 | |
| }, | |
| { | |
| "epoch": 22.133333333333333, | |
| "grad_norm": 12.5625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2909, | |
| "step": 3320 | |
| }, | |
| { | |
| "epoch": 22.2, | |
| "grad_norm": 11.5625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2778, | |
| "step": 3330 | |
| }, | |
| { | |
| "epoch": 22.266666666666666, | |
| "grad_norm": 1.390625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.134, | |
| "step": 3340 | |
| }, | |
| { | |
| "epoch": 22.333333333333332, | |
| "grad_norm": 1.6328125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1636, | |
| "step": 3350 | |
| }, | |
| { | |
| "epoch": 22.4, | |
| "grad_norm": 1.296875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.0656, | |
| "step": 3360 | |
| }, | |
| { | |
| "epoch": 22.466666666666665, | |
| "grad_norm": 13.875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1659, | |
| "step": 3370 | |
| }, | |
| { | |
| "epoch": 22.533333333333335, | |
| "grad_norm": 1.7578125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1885, | |
| "step": 3380 | |
| }, | |
| { | |
| "epoch": 22.6, | |
| "grad_norm": 1.0234375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1616, | |
| "step": 3390 | |
| }, | |
| { | |
| "epoch": 22.666666666666668, | |
| "grad_norm": 4.71875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2285, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 22.733333333333334, | |
| "grad_norm": 11.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2638, | |
| "step": 3410 | |
| }, | |
| { | |
| "epoch": 22.8, | |
| "grad_norm": 0.8984375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1763, | |
| "step": 3420 | |
| }, | |
| { | |
| "epoch": 22.866666666666667, | |
| "grad_norm": 1.046875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1571, | |
| "step": 3430 | |
| }, | |
| { | |
| "epoch": 22.933333333333334, | |
| "grad_norm": 11.0625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2391, | |
| "step": 3440 | |
| }, | |
| { | |
| "epoch": 23.0, | |
| "grad_norm": 13.875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1476, | |
| "step": 3450 | |
| }, | |
| { | |
| "epoch": 23.066666666666666, | |
| "grad_norm": 1.0234375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2053, | |
| "step": 3460 | |
| }, | |
| { | |
| "epoch": 23.133333333333333, | |
| "grad_norm": 0.96484375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1709, | |
| "step": 3470 | |
| }, | |
| { | |
| "epoch": 23.2, | |
| "grad_norm": 1.125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.0837, | |
| "step": 3480 | |
| }, | |
| { | |
| "epoch": 23.266666666666666, | |
| "grad_norm": 1.03125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1987, | |
| "step": 3490 | |
| }, | |
| { | |
| "epoch": 23.333333333333332, | |
| "grad_norm": 11.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2621, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 23.333333333333332, | |
| "eval_loss": 8.179243087768555, | |
| "eval_runtime": 7.7535, | |
| "eval_samples_per_second": 64.487, | |
| "eval_steps_per_second": 64.487, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 23.4, | |
| "grad_norm": 12.125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1975, | |
| "step": 3510 | |
| }, | |
| { | |
| "epoch": 23.466666666666665, | |
| "grad_norm": 11.875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1351, | |
| "step": 3520 | |
| }, | |
| { | |
| "epoch": 23.533333333333335, | |
| "grad_norm": 12.6875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1795, | |
| "step": 3530 | |
| }, | |
| { | |
| "epoch": 23.6, | |
| "grad_norm": 10.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2213, | |
| "step": 3540 | |
| }, | |
| { | |
| "epoch": 23.666666666666668, | |
| "grad_norm": 1.0859375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1925, | |
| "step": 3550 | |
| }, | |
| { | |
| "epoch": 23.733333333333334, | |
| "grad_norm": 12.5, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2318, | |
| "step": 3560 | |
| }, | |
| { | |
| "epoch": 23.8, | |
| "grad_norm": 1.2265625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2271, | |
| "step": 3570 | |
| }, | |
| { | |
| "epoch": 23.866666666666667, | |
| "grad_norm": 1.9296875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1647, | |
| "step": 3580 | |
| }, | |
| { | |
| "epoch": 23.933333333333334, | |
| "grad_norm": 1.7890625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2188, | |
| "step": 3590 | |
| }, | |
| { | |
| "epoch": 24.0, | |
| "grad_norm": 0.76953125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1456, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 24.066666666666666, | |
| "grad_norm": 1.0390625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.128, | |
| "step": 3610 | |
| }, | |
| { | |
| "epoch": 24.133333333333333, | |
| "grad_norm": 13.125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2309, | |
| "step": 3620 | |
| }, | |
| { | |
| "epoch": 24.2, | |
| "grad_norm": 2.046875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2051, | |
| "step": 3630 | |
| }, | |
| { | |
| "epoch": 24.266666666666666, | |
| "grad_norm": 10.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2166, | |
| "step": 3640 | |
| }, | |
| { | |
| "epoch": 24.333333333333332, | |
| "grad_norm": 0.9609375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1872, | |
| "step": 3650 | |
| }, | |
| { | |
| "epoch": 24.4, | |
| "grad_norm": 14.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2188, | |
| "step": 3660 | |
| }, | |
| { | |
| "epoch": 24.466666666666665, | |
| "grad_norm": 14.0, | |
| "learning_rate": 8e-05, | |
| "loss": 0.273, | |
| "step": 3670 | |
| }, | |
| { | |
| "epoch": 24.533333333333335, | |
| "grad_norm": 1.1171875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1198, | |
| "step": 3680 | |
| }, | |
| { | |
| "epoch": 24.6, | |
| "grad_norm": 1.703125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1773, | |
| "step": 3690 | |
| }, | |
| { | |
| "epoch": 24.666666666666668, | |
| "grad_norm": 1.609375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1433, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 24.733333333333334, | |
| "grad_norm": 13.0, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2368, | |
| "step": 3710 | |
| }, | |
| { | |
| "epoch": 24.8, | |
| "grad_norm": 2.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.145, | |
| "step": 3720 | |
| }, | |
| { | |
| "epoch": 24.866666666666667, | |
| "grad_norm": 1.5390625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.137, | |
| "step": 3730 | |
| }, | |
| { | |
| "epoch": 24.933333333333334, | |
| "grad_norm": 1.84375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1954, | |
| "step": 3740 | |
| }, | |
| { | |
| "epoch": 25.0, | |
| "grad_norm": 1.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1693, | |
| "step": 3750 | |
| }, | |
| { | |
| "epoch": 25.066666666666666, | |
| "grad_norm": 0.9609375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1242, | |
| "step": 3760 | |
| }, | |
| { | |
| "epoch": 25.133333333333333, | |
| "grad_norm": 2.5, | |
| "learning_rate": 8e-05, | |
| "loss": 0.259, | |
| "step": 3770 | |
| }, | |
| { | |
| "epoch": 25.2, | |
| "grad_norm": 14.0, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3121, | |
| "step": 3780 | |
| }, | |
| { | |
| "epoch": 25.266666666666666, | |
| "grad_norm": 1.234375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1946, | |
| "step": 3790 | |
| }, | |
| { | |
| "epoch": 25.333333333333332, | |
| "grad_norm": 1.3671875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.0759, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 25.4, | |
| "grad_norm": 14.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1557, | |
| "step": 3810 | |
| }, | |
| { | |
| "epoch": 25.466666666666665, | |
| "grad_norm": 1.859375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1272, | |
| "step": 3820 | |
| }, | |
| { | |
| "epoch": 25.533333333333335, | |
| "grad_norm": 1.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1476, | |
| "step": 3830 | |
| }, | |
| { | |
| "epoch": 25.6, | |
| "grad_norm": 1.125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1963, | |
| "step": 3840 | |
| }, | |
| { | |
| "epoch": 25.666666666666668, | |
| "grad_norm": 0.734375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1274, | |
| "step": 3850 | |
| }, | |
| { | |
| "epoch": 25.733333333333334, | |
| "grad_norm": 1.6015625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1694, | |
| "step": 3860 | |
| }, | |
| { | |
| "epoch": 25.8, | |
| "grad_norm": 1.734375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2305, | |
| "step": 3870 | |
| }, | |
| { | |
| "epoch": 25.866666666666667, | |
| "grad_norm": 13.375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3054, | |
| "step": 3880 | |
| }, | |
| { | |
| "epoch": 25.933333333333334, | |
| "grad_norm": 1.7421875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2326, | |
| "step": 3890 | |
| }, | |
| { | |
| "epoch": 26.0, | |
| "grad_norm": 10.0625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1475, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 26.066666666666666, | |
| "grad_norm": 1.3046875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2401, | |
| "step": 3910 | |
| }, | |
| { | |
| "epoch": 26.133333333333333, | |
| "grad_norm": 13.125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1774, | |
| "step": 3920 | |
| }, | |
| { | |
| "epoch": 26.2, | |
| "grad_norm": 0.7578125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1464, | |
| "step": 3930 | |
| }, | |
| { | |
| "epoch": 26.266666666666666, | |
| "grad_norm": 13.375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2798, | |
| "step": 3940 | |
| }, | |
| { | |
| "epoch": 26.333333333333332, | |
| "grad_norm": 1.6484375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2206, | |
| "step": 3950 | |
| }, | |
| { | |
| "epoch": 26.4, | |
| "grad_norm": 12.0, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1767, | |
| "step": 3960 | |
| }, | |
| { | |
| "epoch": 26.466666666666665, | |
| "grad_norm": 1.515625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1849, | |
| "step": 3970 | |
| }, | |
| { | |
| "epoch": 26.533333333333335, | |
| "grad_norm": 1.09375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1829, | |
| "step": 3980 | |
| }, | |
| { | |
| "epoch": 26.6, | |
| "grad_norm": 12.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2366, | |
| "step": 3990 | |
| }, | |
| { | |
| "epoch": 26.666666666666668, | |
| "grad_norm": 12.6875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2435, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 26.666666666666668, | |
| "eval_loss": 8.891166687011719, | |
| "eval_runtime": 7.8049, | |
| "eval_samples_per_second": 64.062, | |
| "eval_steps_per_second": 64.062, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 26.733333333333334, | |
| "grad_norm": 3.203125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1292, | |
| "step": 4010 | |
| }, | |
| { | |
| "epoch": 26.8, | |
| "grad_norm": 1.203125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1686, | |
| "step": 4020 | |
| }, | |
| { | |
| "epoch": 26.866666666666667, | |
| "grad_norm": 0.8203125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1742, | |
| "step": 4030 | |
| }, | |
| { | |
| "epoch": 26.933333333333334, | |
| "grad_norm": 2.65625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1045, | |
| "step": 4040 | |
| }, | |
| { | |
| "epoch": 27.0, | |
| "grad_norm": 13.1875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1601, | |
| "step": 4050 | |
| }, | |
| { | |
| "epoch": 27.066666666666666, | |
| "grad_norm": 12.375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2477, | |
| "step": 4060 | |
| }, | |
| { | |
| "epoch": 27.133333333333333, | |
| "grad_norm": 13.9375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2307, | |
| "step": 4070 | |
| }, | |
| { | |
| "epoch": 27.2, | |
| "grad_norm": 12.625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1566, | |
| "step": 4080 | |
| }, | |
| { | |
| "epoch": 27.266666666666666, | |
| "grad_norm": 12.4375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.128, | |
| "step": 4090 | |
| }, | |
| { | |
| "epoch": 27.333333333333332, | |
| "grad_norm": 13.0, | |
| "learning_rate": 8e-05, | |
| "loss": 0.109, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 27.4, | |
| "grad_norm": 2.640625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.151, | |
| "step": 4110 | |
| }, | |
| { | |
| "epoch": 27.466666666666665, | |
| "grad_norm": 1.5078125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2058, | |
| "step": 4120 | |
| }, | |
| { | |
| "epoch": 27.533333333333335, | |
| "grad_norm": 1.0, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2685, | |
| "step": 4130 | |
| }, | |
| { | |
| "epoch": 27.6, | |
| "grad_norm": 0.98828125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1506, | |
| "step": 4140 | |
| }, | |
| { | |
| "epoch": 27.666666666666668, | |
| "grad_norm": 1.015625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2383, | |
| "step": 4150 | |
| }, | |
| { | |
| "epoch": 27.733333333333334, | |
| "grad_norm": 0.9453125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1436, | |
| "step": 4160 | |
| }, | |
| { | |
| "epoch": 27.8, | |
| "grad_norm": 0.94921875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1859, | |
| "step": 4170 | |
| }, | |
| { | |
| "epoch": 27.866666666666667, | |
| "grad_norm": 1.0078125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1458, | |
| "step": 4180 | |
| }, | |
| { | |
| "epoch": 27.933333333333334, | |
| "grad_norm": 13.5625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2307, | |
| "step": 4190 | |
| }, | |
| { | |
| "epoch": 28.0, | |
| "grad_norm": 1.390625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.187, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 28.066666666666666, | |
| "grad_norm": 0.9140625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1826, | |
| "step": 4210 | |
| }, | |
| { | |
| "epoch": 28.133333333333333, | |
| "grad_norm": 0.94140625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2449, | |
| "step": 4220 | |
| }, | |
| { | |
| "epoch": 28.2, | |
| "grad_norm": 1.015625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2098, | |
| "step": 4230 | |
| }, | |
| { | |
| "epoch": 28.266666666666666, | |
| "grad_norm": 1.3203125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1535, | |
| "step": 4240 | |
| }, | |
| { | |
| "epoch": 28.333333333333332, | |
| "grad_norm": 1.2109375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2762, | |
| "step": 4250 | |
| }, | |
| { | |
| "epoch": 28.4, | |
| "grad_norm": 11.875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1802, | |
| "step": 4260 | |
| }, | |
| { | |
| "epoch": 28.466666666666665, | |
| "grad_norm": 10.375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1865, | |
| "step": 4270 | |
| }, | |
| { | |
| "epoch": 28.533333333333335, | |
| "grad_norm": 2.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2058, | |
| "step": 4280 | |
| }, | |
| { | |
| "epoch": 28.6, | |
| "grad_norm": 1.984375, | |
| "learning_rate": 8e-05, | |
| "loss": 0.2828, | |
| "step": 4290 | |
| }, | |
| { | |
| "epoch": 28.666666666666668, | |
| "grad_norm": 2.03125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.149, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 28.733333333333334, | |
| "grad_norm": 3.265625, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1068, | |
| "step": 4310 | |
| }, | |
| { | |
| "epoch": 28.8, | |
| "grad_norm": 12.75, | |
| "learning_rate": 8e-05, | |
| "loss": 0.3354, | |
| "step": 4320 | |
| }, | |
| { | |
| "epoch": 28.866666666666667, | |
| "grad_norm": 1.9453125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1231, | |
| "step": 4330 | |
| }, | |
| { | |
| "epoch": 28.933333333333334, | |
| "grad_norm": 13.3125, | |
| "learning_rate": 8e-05, | |
| "loss": 0.1967, | |
| "step": 4340 | |
| }, | |
| { | |
| "epoch": 29.0, | |
| "grad_norm": 1.46875, | |
| "learning_rate": 8e-05, | |
| "loss": 0.108, | |
| "step": 4350 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 6000, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 40, | |
| "save_steps": 150, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 3157700820369408.0, | |
| "train_batch_size": 1, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |