| { | |
| "best_global_step": null, | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 5.0, | |
| "eval_steps": 500, | |
| "global_step": 3000, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.016666666666666666, | |
| "grad_norm": 10.703851699829102, | |
| "learning_rate": 6e-05, | |
| "loss": 3.5809, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.03333333333333333, | |
| "grad_norm": 9.010990142822266, | |
| "learning_rate": 6e-05, | |
| "loss": 4.1028, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.05, | |
| "grad_norm": 0.4640412926673889, | |
| "learning_rate": 6e-05, | |
| "loss": 2.7331, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 0.40382930636405945, | |
| "learning_rate": 6e-05, | |
| "loss": 2.635, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.08333333333333333, | |
| "grad_norm": 7.262911319732666, | |
| "learning_rate": 6e-05, | |
| "loss": 2.6556, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "grad_norm": 7.516252517700195, | |
| "learning_rate": 6e-05, | |
| "loss": 2.8074, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.11666666666666667, | |
| "grad_norm": 8.345893859863281, | |
| "learning_rate": 6e-05, | |
| "loss": 2.1682, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 7.116228103637695, | |
| "learning_rate": 6e-05, | |
| "loss": 2.6552, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.15, | |
| "grad_norm": 0.25409743189811707, | |
| "learning_rate": 6e-05, | |
| "loss": 1.5267, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.16666666666666666, | |
| "grad_norm": 6.783801078796387, | |
| "learning_rate": 6e-05, | |
| "loss": 2.4341, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.18333333333333332, | |
| "grad_norm": 6.402846336364746, | |
| "learning_rate": 6e-05, | |
| "loss": 2.0065, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 6.791121482849121, | |
| "learning_rate": 6e-05, | |
| "loss": 2.4757, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.21666666666666667, | |
| "grad_norm": 7.472052097320557, | |
| "learning_rate": 6e-05, | |
| "loss": 1.9719, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.23333333333333334, | |
| "grad_norm": 5.28980016708374, | |
| "learning_rate": 6e-05, | |
| "loss": 2.089, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.25, | |
| "grad_norm": 0.40812844038009644, | |
| "learning_rate": 6e-05, | |
| "loss": 1.8537, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 5.137466907501221, | |
| "learning_rate": 6e-05, | |
| "loss": 2.0893, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.2833333333333333, | |
| "grad_norm": 6.415058612823486, | |
| "learning_rate": 6e-05, | |
| "loss": 1.9046, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "grad_norm": 7.6264753341674805, | |
| "learning_rate": 6e-05, | |
| "loss": 2.0007, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.31666666666666665, | |
| "grad_norm": 6.1691765785217285, | |
| "learning_rate": 6e-05, | |
| "loss": 2.2492, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 5.937539100646973, | |
| "learning_rate": 6e-05, | |
| "loss": 2.1349, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.35, | |
| "grad_norm": 6.423492431640625, | |
| "learning_rate": 6e-05, | |
| "loss": 2.048, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 0.36666666666666664, | |
| "grad_norm": 6.774343967437744, | |
| "learning_rate": 6e-05, | |
| "loss": 1.8919, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.38333333333333336, | |
| "grad_norm": 5.691762924194336, | |
| "learning_rate": 6e-05, | |
| "loss": 1.9033, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 7.342959403991699, | |
| "learning_rate": 6e-05, | |
| "loss": 2.2315, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.4166666666666667, | |
| "grad_norm": 5.247499942779541, | |
| "learning_rate": 6e-05, | |
| "loss": 1.8042, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 0.43333333333333335, | |
| "grad_norm": 6.325520038604736, | |
| "learning_rate": 6e-05, | |
| "loss": 2.1246, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.45, | |
| "grad_norm": 2.3726272583007812, | |
| "learning_rate": 6e-05, | |
| "loss": 1.5076, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 0.4666666666666667, | |
| "grad_norm": 6.017224311828613, | |
| "learning_rate": 6e-05, | |
| "loss": 1.764, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.48333333333333334, | |
| "grad_norm": 4.901077747344971, | |
| "learning_rate": 6e-05, | |
| "loss": 1.6628, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 7.2030510902404785, | |
| "learning_rate": 6e-05, | |
| "loss": 1.7808, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.5166666666666667, | |
| "grad_norm": 5.495202541351318, | |
| "learning_rate": 6e-05, | |
| "loss": 1.6903, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 0.6111641526222229, | |
| "learning_rate": 6e-05, | |
| "loss": 1.4164, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.55, | |
| "grad_norm": 6.868555068969727, | |
| "learning_rate": 6e-05, | |
| "loss": 1.7884, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 0.5666666666666667, | |
| "grad_norm": 6.836994171142578, | |
| "learning_rate": 6e-05, | |
| "loss": 1.3815, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.5833333333333334, | |
| "grad_norm": 6.605521202087402, | |
| "learning_rate": 6e-05, | |
| "loss": 1.6225, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 6.448966026306152, | |
| "learning_rate": 6e-05, | |
| "loss": 1.6297, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.6166666666666667, | |
| "grad_norm": 1.6773345470428467, | |
| "learning_rate": 6e-05, | |
| "loss": 1.2301, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 0.6333333333333333, | |
| "grad_norm": 8.547723770141602, | |
| "learning_rate": 6e-05, | |
| "loss": 1.3002, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 0.65, | |
| "grad_norm": 6.548554420471191, | |
| "learning_rate": 6e-05, | |
| "loss": 1.6245, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 5.273251056671143, | |
| "learning_rate": 6e-05, | |
| "loss": 0.9837, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.6833333333333333, | |
| "grad_norm": 6.646450996398926, | |
| "learning_rate": 6e-05, | |
| "loss": 1.8153, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 0.7, | |
| "grad_norm": 5.423939228057861, | |
| "learning_rate": 6e-05, | |
| "loss": 1.9836, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 0.7166666666666667, | |
| "grad_norm": 0.4030410647392273, | |
| "learning_rate": 6e-05, | |
| "loss": 1.4232, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 0.7333333333333333, | |
| "grad_norm": 5.671832084655762, | |
| "learning_rate": 6e-05, | |
| "loss": 1.2539, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 0.75, | |
| "grad_norm": 0.46332189440727234, | |
| "learning_rate": 6e-05, | |
| "loss": 1.274, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 0.7666666666666667, | |
| "grad_norm": 5.149694442749023, | |
| "learning_rate": 6e-05, | |
| "loss": 1.7947, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 0.7833333333333333, | |
| "grad_norm": 5.663171291351318, | |
| "learning_rate": 6e-05, | |
| "loss": 1.9633, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.381251722574234, | |
| "learning_rate": 6e-05, | |
| "loss": 1.4174, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 0.8166666666666667, | |
| "grad_norm": 0.19283317029476166, | |
| "learning_rate": 6e-05, | |
| "loss": 1.0728, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 0.8333333333333334, | |
| "grad_norm": 0.4119759202003479, | |
| "learning_rate": 6e-05, | |
| "loss": 1.3529, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.85, | |
| "grad_norm": 0.2680724561214447, | |
| "learning_rate": 6e-05, | |
| "loss": 1.1574, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 0.8666666666666667, | |
| "grad_norm": 5.186441898345947, | |
| "learning_rate": 6e-05, | |
| "loss": 1.2883, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 0.8833333333333333, | |
| "grad_norm": 4.495696544647217, | |
| "learning_rate": 6e-05, | |
| "loss": 1.5091, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 0.9, | |
| "grad_norm": 5.313083648681641, | |
| "learning_rate": 6e-05, | |
| "loss": 1.3197, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 0.9166666666666666, | |
| "grad_norm": 6.222965240478516, | |
| "learning_rate": 6e-05, | |
| "loss": 1.383, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 6.012535572052002, | |
| "learning_rate": 6e-05, | |
| "loss": 1.2556, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 0.95, | |
| "grad_norm": 5.561924457550049, | |
| "learning_rate": 6e-05, | |
| "loss": 1.1323, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 0.9666666666666667, | |
| "grad_norm": 5.748950481414795, | |
| "learning_rate": 6e-05, | |
| "loss": 1.7314, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 0.9833333333333333, | |
| "grad_norm": 0.15047785639762878, | |
| "learning_rate": 6e-05, | |
| "loss": 1.3275, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 5.575499534606934, | |
| "learning_rate": 6e-05, | |
| "loss": 1.4724, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 1.0166666666666666, | |
| "grad_norm": 4.932738304138184, | |
| "learning_rate": 6e-05, | |
| "loss": 0.7532, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 1.0333333333333334, | |
| "grad_norm": 3.8792576789855957, | |
| "learning_rate": 6e-05, | |
| "loss": 0.6494, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 1.05, | |
| "grad_norm": 5.445838928222656, | |
| "learning_rate": 6e-05, | |
| "loss": 0.991, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 1.0666666666666667, | |
| "grad_norm": 4.8129167556762695, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8244, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 1.0833333333333333, | |
| "grad_norm": 4.41573429107666, | |
| "learning_rate": 6e-05, | |
| "loss": 0.5964, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 1.1, | |
| "grad_norm": 3.3888678550720215, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8012, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 1.1166666666666667, | |
| "grad_norm": 0.7532545328140259, | |
| "learning_rate": 6e-05, | |
| "loss": 0.6736, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 1.1333333333333333, | |
| "grad_norm": 0.27038031816482544, | |
| "learning_rate": 6e-05, | |
| "loss": 0.7941, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 1.15, | |
| "grad_norm": 4.434571743011475, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8876, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 1.1666666666666667, | |
| "grad_norm": 4.428005695343018, | |
| "learning_rate": 6e-05, | |
| "loss": 0.6717, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 1.1833333333333333, | |
| "grad_norm": 0.5096133947372437, | |
| "learning_rate": 6e-05, | |
| "loss": 0.5377, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 5.27114200592041, | |
| "learning_rate": 6e-05, | |
| "loss": 0.7766, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 1.2166666666666668, | |
| "grad_norm": 4.663687229156494, | |
| "learning_rate": 6e-05, | |
| "loss": 0.6546, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 1.2333333333333334, | |
| "grad_norm": 4.901218414306641, | |
| "learning_rate": 6e-05, | |
| "loss": 0.7818, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 1.25, | |
| "grad_norm": 5.071630954742432, | |
| "learning_rate": 6e-05, | |
| "loss": 0.7394, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 1.2666666666666666, | |
| "grad_norm": 5.074912071228027, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8252, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 1.2833333333333332, | |
| "grad_norm": 4.21773624420166, | |
| "learning_rate": 6e-05, | |
| "loss": 0.5797, | |
| "step": 770 | |
| }, | |
| { | |
| "epoch": 1.3, | |
| "grad_norm": 4.840847969055176, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8711, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 1.3166666666666667, | |
| "grad_norm": 5.415622711181641, | |
| "learning_rate": 6e-05, | |
| "loss": 0.5938, | |
| "step": 790 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 3.996609687805176, | |
| "learning_rate": 6e-05, | |
| "loss": 0.7922, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 1.35, | |
| "grad_norm": 3.9247679710388184, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8988, | |
| "step": 810 | |
| }, | |
| { | |
| "epoch": 1.3666666666666667, | |
| "grad_norm": 5.879762172698975, | |
| "learning_rate": 6e-05, | |
| "loss": 0.889, | |
| "step": 820 | |
| }, | |
| { | |
| "epoch": 1.3833333333333333, | |
| "grad_norm": 4.452793598175049, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8907, | |
| "step": 830 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 3.865884304046631, | |
| "learning_rate": 6e-05, | |
| "loss": 0.7832, | |
| "step": 840 | |
| }, | |
| { | |
| "epoch": 1.4166666666666667, | |
| "grad_norm": 4.453603744506836, | |
| "learning_rate": 6e-05, | |
| "loss": 0.6698, | |
| "step": 850 | |
| }, | |
| { | |
| "epoch": 1.4333333333333333, | |
| "grad_norm": 5.071674346923828, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8312, | |
| "step": 860 | |
| }, | |
| { | |
| "epoch": 1.45, | |
| "grad_norm": 4.874762058258057, | |
| "learning_rate": 6e-05, | |
| "loss": 0.7881, | |
| "step": 870 | |
| }, | |
| { | |
| "epoch": 1.4666666666666668, | |
| "grad_norm": 6.171636581420898, | |
| "learning_rate": 6e-05, | |
| "loss": 0.6317, | |
| "step": 880 | |
| }, | |
| { | |
| "epoch": 1.4833333333333334, | |
| "grad_norm": 0.1519613116979599, | |
| "learning_rate": 6e-05, | |
| "loss": 0.678, | |
| "step": 890 | |
| }, | |
| { | |
| "epoch": 1.5, | |
| "grad_norm": 4.693779468536377, | |
| "learning_rate": 6e-05, | |
| "loss": 0.9057, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 1.5166666666666666, | |
| "grad_norm": 5.344676971435547, | |
| "learning_rate": 6e-05, | |
| "loss": 0.9361, | |
| "step": 910 | |
| }, | |
| { | |
| "epoch": 1.5333333333333332, | |
| "grad_norm": 4.404393672943115, | |
| "learning_rate": 6e-05, | |
| "loss": 0.7425, | |
| "step": 920 | |
| }, | |
| { | |
| "epoch": 1.55, | |
| "grad_norm": 4.830576419830322, | |
| "learning_rate": 6e-05, | |
| "loss": 0.6441, | |
| "step": 930 | |
| }, | |
| { | |
| "epoch": 1.5666666666666667, | |
| "grad_norm": 4.55125093460083, | |
| "learning_rate": 6e-05, | |
| "loss": 0.6135, | |
| "step": 940 | |
| }, | |
| { | |
| "epoch": 1.5833333333333335, | |
| "grad_norm": 4.87325382232666, | |
| "learning_rate": 6e-05, | |
| "loss": 0.7472, | |
| "step": 950 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 6.2401018142700195, | |
| "learning_rate": 6e-05, | |
| "loss": 0.9263, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 1.6166666666666667, | |
| "grad_norm": 6.200912952423096, | |
| "learning_rate": 6e-05, | |
| "loss": 0.7221, | |
| "step": 970 | |
| }, | |
| { | |
| "epoch": 1.6333333333333333, | |
| "grad_norm": 5.115511417388916, | |
| "learning_rate": 6e-05, | |
| "loss": 0.9509, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 1.65, | |
| "grad_norm": 4.796250343322754, | |
| "learning_rate": 6e-05, | |
| "loss": 0.7218, | |
| "step": 990 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 5.361080646514893, | |
| "learning_rate": 6e-05, | |
| "loss": 0.6932, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 1.6833333333333333, | |
| "grad_norm": 5.650583267211914, | |
| "learning_rate": 6e-05, | |
| "loss": 0.6287, | |
| "step": 1010 | |
| }, | |
| { | |
| "epoch": 1.7, | |
| "grad_norm": 4.547042369842529, | |
| "learning_rate": 6e-05, | |
| "loss": 1.0174, | |
| "step": 1020 | |
| }, | |
| { | |
| "epoch": 1.7166666666666668, | |
| "grad_norm": 4.448911190032959, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8802, | |
| "step": 1030 | |
| }, | |
| { | |
| "epoch": 1.7333333333333334, | |
| "grad_norm": 6.258235931396484, | |
| "learning_rate": 6e-05, | |
| "loss": 1.054, | |
| "step": 1040 | |
| }, | |
| { | |
| "epoch": 1.75, | |
| "grad_norm": 5.210239410400391, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8474, | |
| "step": 1050 | |
| }, | |
| { | |
| "epoch": 1.7666666666666666, | |
| "grad_norm": 5.42786169052124, | |
| "learning_rate": 6e-05, | |
| "loss": 0.793, | |
| "step": 1060 | |
| }, | |
| { | |
| "epoch": 1.7833333333333332, | |
| "grad_norm": 5.1035542488098145, | |
| "learning_rate": 6e-05, | |
| "loss": 0.7974, | |
| "step": 1070 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 4.6277360916137695, | |
| "learning_rate": 6e-05, | |
| "loss": 0.653, | |
| "step": 1080 | |
| }, | |
| { | |
| "epoch": 1.8166666666666667, | |
| "grad_norm": 4.298365592956543, | |
| "learning_rate": 6e-05, | |
| "loss": 0.5854, | |
| "step": 1090 | |
| }, | |
| { | |
| "epoch": 1.8333333333333335, | |
| "grad_norm": 4.338704586029053, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8766, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 1.85, | |
| "grad_norm": 5.199752330780029, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8654, | |
| "step": 1110 | |
| }, | |
| { | |
| "epoch": 1.8666666666666667, | |
| "grad_norm": 4.3180155754089355, | |
| "learning_rate": 6e-05, | |
| "loss": 0.7358, | |
| "step": 1120 | |
| }, | |
| { | |
| "epoch": 1.8833333333333333, | |
| "grad_norm": 4.966156959533691, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8197, | |
| "step": 1130 | |
| }, | |
| { | |
| "epoch": 1.9, | |
| "grad_norm": 5.525106906890869, | |
| "learning_rate": 6e-05, | |
| "loss": 0.957, | |
| "step": 1140 | |
| }, | |
| { | |
| "epoch": 1.9166666666666665, | |
| "grad_norm": 0.13840217888355255, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8325, | |
| "step": 1150 | |
| }, | |
| { | |
| "epoch": 1.9333333333333333, | |
| "grad_norm": 5.809091091156006, | |
| "learning_rate": 6e-05, | |
| "loss": 0.8118, | |
| "step": 1160 | |
| }, | |
| { | |
| "epoch": 1.95, | |
| "grad_norm": 4.521309852600098, | |
| "learning_rate": 6e-05, | |
| "loss": 0.6954, | |
| "step": 1170 | |
| }, | |
| { | |
| "epoch": 1.9666666666666668, | |
| "grad_norm": 4.356025218963623, | |
| "learning_rate": 6e-05, | |
| "loss": 0.6431, | |
| "step": 1180 | |
| }, | |
| { | |
| "epoch": 1.9833333333333334, | |
| "grad_norm": 0.13557185232639313, | |
| "learning_rate": 6e-05, | |
| "loss": 0.7289, | |
| "step": 1190 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 4.720485210418701, | |
| "learning_rate": 6e-05, | |
| "loss": 1.0819, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 2.0166666666666666, | |
| "grad_norm": 3.2669432163238525, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3797, | |
| "step": 1210 | |
| }, | |
| { | |
| "epoch": 2.033333333333333, | |
| "grad_norm": 0.17037688195705414, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2225, | |
| "step": 1220 | |
| }, | |
| { | |
| "epoch": 2.05, | |
| "grad_norm": 3.6591694355010986, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2646, | |
| "step": 1230 | |
| }, | |
| { | |
| "epoch": 2.066666666666667, | |
| "grad_norm": 2.3325705528259277, | |
| "learning_rate": 6e-05, | |
| "loss": 0.26, | |
| "step": 1240 | |
| }, | |
| { | |
| "epoch": 2.0833333333333335, | |
| "grad_norm": 4.064724922180176, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3003, | |
| "step": 1250 | |
| }, | |
| { | |
| "epoch": 2.1, | |
| "grad_norm": 3.6678476333618164, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3679, | |
| "step": 1260 | |
| }, | |
| { | |
| "epoch": 2.1166666666666667, | |
| "grad_norm": 2.6063060760498047, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4071, | |
| "step": 1270 | |
| }, | |
| { | |
| "epoch": 2.1333333333333333, | |
| "grad_norm": 3.941904306411743, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3231, | |
| "step": 1280 | |
| }, | |
| { | |
| "epoch": 2.15, | |
| "grad_norm": 3.9452853202819824, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3727, | |
| "step": 1290 | |
| }, | |
| { | |
| "epoch": 2.1666666666666665, | |
| "grad_norm": 3.6511361598968506, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3185, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 2.183333333333333, | |
| "grad_norm": 3.691957950592041, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3636, | |
| "step": 1310 | |
| }, | |
| { | |
| "epoch": 2.2, | |
| "grad_norm": 4.021413326263428, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4376, | |
| "step": 1320 | |
| }, | |
| { | |
| "epoch": 2.216666666666667, | |
| "grad_norm": 3.6001434326171875, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3629, | |
| "step": 1330 | |
| }, | |
| { | |
| "epoch": 2.2333333333333334, | |
| "grad_norm": 0.5142948627471924, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2886, | |
| "step": 1340 | |
| }, | |
| { | |
| "epoch": 2.25, | |
| "grad_norm": 3.5616300106048584, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2015, | |
| "step": 1350 | |
| }, | |
| { | |
| "epoch": 2.2666666666666666, | |
| "grad_norm": 3.838143825531006, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3771, | |
| "step": 1360 | |
| }, | |
| { | |
| "epoch": 2.283333333333333, | |
| "grad_norm": 0.7198929190635681, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2267, | |
| "step": 1370 | |
| }, | |
| { | |
| "epoch": 2.3, | |
| "grad_norm": 3.8044233322143555, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3893, | |
| "step": 1380 | |
| }, | |
| { | |
| "epoch": 2.3166666666666664, | |
| "grad_norm": 4.568807125091553, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3944, | |
| "step": 1390 | |
| }, | |
| { | |
| "epoch": 2.3333333333333335, | |
| "grad_norm": 3.0277106761932373, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3638, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 2.35, | |
| "grad_norm": 5.164194583892822, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2852, | |
| "step": 1410 | |
| }, | |
| { | |
| "epoch": 2.3666666666666667, | |
| "grad_norm": 3.660222053527832, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4463, | |
| "step": 1420 | |
| }, | |
| { | |
| "epoch": 2.3833333333333333, | |
| "grad_norm": 3.504351854324341, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4109, | |
| "step": 1430 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 3.345865249633789, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2865, | |
| "step": 1440 | |
| }, | |
| { | |
| "epoch": 2.4166666666666665, | |
| "grad_norm": 4.124192714691162, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4237, | |
| "step": 1450 | |
| }, | |
| { | |
| "epoch": 2.4333333333333336, | |
| "grad_norm": 3.9281630516052246, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3977, | |
| "step": 1460 | |
| }, | |
| { | |
| "epoch": 2.45, | |
| "grad_norm": 2.1908838748931885, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3427, | |
| "step": 1470 | |
| }, | |
| { | |
| "epoch": 2.466666666666667, | |
| "grad_norm": 3.6517841815948486, | |
| "learning_rate": 6e-05, | |
| "loss": 0.504, | |
| "step": 1480 | |
| }, | |
| { | |
| "epoch": 2.4833333333333334, | |
| "grad_norm": 3.4024455547332764, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4642, | |
| "step": 1490 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 3.4409215450286865, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3455, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 2.5166666666666666, | |
| "grad_norm": 3.032893657684326, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4484, | |
| "step": 1510 | |
| }, | |
| { | |
| "epoch": 2.533333333333333, | |
| "grad_norm": 3.7264816761016846, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3302, | |
| "step": 1520 | |
| }, | |
| { | |
| "epoch": 2.55, | |
| "grad_norm": 3.6933608055114746, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3702, | |
| "step": 1530 | |
| }, | |
| { | |
| "epoch": 2.5666666666666664, | |
| "grad_norm": 2.9598522186279297, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4242, | |
| "step": 1540 | |
| }, | |
| { | |
| "epoch": 2.5833333333333335, | |
| "grad_norm": 3.513723134994507, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4282, | |
| "step": 1550 | |
| }, | |
| { | |
| "epoch": 2.6, | |
| "grad_norm": 3.879558801651001, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3995, | |
| "step": 1560 | |
| }, | |
| { | |
| "epoch": 2.6166666666666667, | |
| "grad_norm": 4.050871849060059, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4017, | |
| "step": 1570 | |
| }, | |
| { | |
| "epoch": 2.6333333333333333, | |
| "grad_norm": 4.572554588317871, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3516, | |
| "step": 1580 | |
| }, | |
| { | |
| "epoch": 2.65, | |
| "grad_norm": 3.9929027557373047, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3355, | |
| "step": 1590 | |
| }, | |
| { | |
| "epoch": 2.6666666666666665, | |
| "grad_norm": 3.7209622859954834, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4174, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 2.6833333333333336, | |
| "grad_norm": 3.0389342308044434, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3055, | |
| "step": 1610 | |
| }, | |
| { | |
| "epoch": 2.7, | |
| "grad_norm": 5.1168107986450195, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4527, | |
| "step": 1620 | |
| }, | |
| { | |
| "epoch": 2.716666666666667, | |
| "grad_norm": 4.153924942016602, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3446, | |
| "step": 1630 | |
| }, | |
| { | |
| "epoch": 2.7333333333333334, | |
| "grad_norm": 4.225288391113281, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4465, | |
| "step": 1640 | |
| }, | |
| { | |
| "epoch": 2.75, | |
| "grad_norm": 4.301046848297119, | |
| "learning_rate": 6e-05, | |
| "loss": 0.442, | |
| "step": 1650 | |
| }, | |
| { | |
| "epoch": 2.7666666666666666, | |
| "grad_norm": 4.556142330169678, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4765, | |
| "step": 1660 | |
| }, | |
| { | |
| "epoch": 2.783333333333333, | |
| "grad_norm": 4.66525411605835, | |
| "learning_rate": 6e-05, | |
| "loss": 0.382, | |
| "step": 1670 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 4.70958137512207, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4223, | |
| "step": 1680 | |
| }, | |
| { | |
| "epoch": 2.8166666666666664, | |
| "grad_norm": 0.44127559661865234, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3066, | |
| "step": 1690 | |
| }, | |
| { | |
| "epoch": 2.8333333333333335, | |
| "grad_norm": 3.6719629764556885, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3594, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 2.85, | |
| "grad_norm": 3.9847443103790283, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3505, | |
| "step": 1710 | |
| }, | |
| { | |
| "epoch": 2.8666666666666667, | |
| "grad_norm": 3.461280107498169, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3128, | |
| "step": 1720 | |
| }, | |
| { | |
| "epoch": 2.8833333333333333, | |
| "grad_norm": 0.1220584511756897, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4126, | |
| "step": 1730 | |
| }, | |
| { | |
| "epoch": 2.9, | |
| "grad_norm": 4.743860721588135, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3259, | |
| "step": 1740 | |
| }, | |
| { | |
| "epoch": 2.9166666666666665, | |
| "grad_norm": 5.149531364440918, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4288, | |
| "step": 1750 | |
| }, | |
| { | |
| "epoch": 2.9333333333333336, | |
| "grad_norm": 4.007344722747803, | |
| "learning_rate": 6e-05, | |
| "loss": 0.41, | |
| "step": 1760 | |
| }, | |
| { | |
| "epoch": 2.95, | |
| "grad_norm": 5.342319965362549, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3972, | |
| "step": 1770 | |
| }, | |
| { | |
| "epoch": 2.966666666666667, | |
| "grad_norm": 4.395218372344971, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4081, | |
| "step": 1780 | |
| }, | |
| { | |
| "epoch": 2.9833333333333334, | |
| "grad_norm": 0.33678194880485535, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3378, | |
| "step": 1790 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 0.15446363389492035, | |
| "learning_rate": 6e-05, | |
| "loss": 0.4422, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 3.0166666666666666, | |
| "grad_norm": 2.3997697830200195, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2181, | |
| "step": 1810 | |
| }, | |
| { | |
| "epoch": 3.033333333333333, | |
| "grad_norm": 3.0938475131988525, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2542, | |
| "step": 1820 | |
| }, | |
| { | |
| "epoch": 3.05, | |
| "grad_norm": 1.814798355102539, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2232, | |
| "step": 1830 | |
| }, | |
| { | |
| "epoch": 3.066666666666667, | |
| "grad_norm": 2.5803914070129395, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2299, | |
| "step": 1840 | |
| }, | |
| { | |
| "epoch": 3.0833333333333335, | |
| "grad_norm": 3.005800247192383, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2398, | |
| "step": 1850 | |
| }, | |
| { | |
| "epoch": 3.1, | |
| "grad_norm": 2.262218475341797, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1979, | |
| "step": 1860 | |
| }, | |
| { | |
| "epoch": 3.1166666666666667, | |
| "grad_norm": 3.306082010269165, | |
| "learning_rate": 6e-05, | |
| "loss": 0.226, | |
| "step": 1870 | |
| }, | |
| { | |
| "epoch": 3.1333333333333333, | |
| "grad_norm": 3.4587149620056152, | |
| "learning_rate": 6e-05, | |
| "loss": 0.227, | |
| "step": 1880 | |
| }, | |
| { | |
| "epoch": 3.15, | |
| "grad_norm": 0.2009311467409134, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1759, | |
| "step": 1890 | |
| }, | |
| { | |
| "epoch": 3.1666666666666665, | |
| "grad_norm": 2.4600870609283447, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2167, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 3.183333333333333, | |
| "grad_norm": 2.9948713779449463, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2604, | |
| "step": 1910 | |
| }, | |
| { | |
| "epoch": 3.2, | |
| "grad_norm": 2.7967138290405273, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2194, | |
| "step": 1920 | |
| }, | |
| { | |
| "epoch": 3.216666666666667, | |
| "grad_norm": 2.8515281677246094, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2799, | |
| "step": 1930 | |
| }, | |
| { | |
| "epoch": 3.2333333333333334, | |
| "grad_norm": 3.460983991622925, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2161, | |
| "step": 1940 | |
| }, | |
| { | |
| "epoch": 3.25, | |
| "grad_norm": 2.8532299995422363, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2536, | |
| "step": 1950 | |
| }, | |
| { | |
| "epoch": 3.2666666666666666, | |
| "grad_norm": 3.8065881729125977, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2204, | |
| "step": 1960 | |
| }, | |
| { | |
| "epoch": 3.283333333333333, | |
| "grad_norm": 3.129713773727417, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2769, | |
| "step": 1970 | |
| }, | |
| { | |
| "epoch": 3.3, | |
| "grad_norm": 3.304546594619751, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2326, | |
| "step": 1980 | |
| }, | |
| { | |
| "epoch": 3.3166666666666664, | |
| "grad_norm": 0.15800362825393677, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2194, | |
| "step": 1990 | |
| }, | |
| { | |
| "epoch": 3.3333333333333335, | |
| "grad_norm": 0.26382309198379517, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2061, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 3.35, | |
| "grad_norm": 2.9462838172912598, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2684, | |
| "step": 2010 | |
| }, | |
| { | |
| "epoch": 3.3666666666666667, | |
| "grad_norm": 0.3118344247341156, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1455, | |
| "step": 2020 | |
| }, | |
| { | |
| "epoch": 3.3833333333333333, | |
| "grad_norm": 2.9293630123138428, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2255, | |
| "step": 2030 | |
| }, | |
| { | |
| "epoch": 3.4, | |
| "grad_norm": 4.438231945037842, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1766, | |
| "step": 2040 | |
| }, | |
| { | |
| "epoch": 3.4166666666666665, | |
| "grad_norm": 2.60629940032959, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2255, | |
| "step": 2050 | |
| }, | |
| { | |
| "epoch": 3.4333333333333336, | |
| "grad_norm": 2.9785244464874268, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1989, | |
| "step": 2060 | |
| }, | |
| { | |
| "epoch": 3.45, | |
| "grad_norm": 4.8749470710754395, | |
| "learning_rate": 6e-05, | |
| "loss": 0.229, | |
| "step": 2070 | |
| }, | |
| { | |
| "epoch": 3.466666666666667, | |
| "grad_norm": 3.1652307510375977, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2372, | |
| "step": 2080 | |
| }, | |
| { | |
| "epoch": 3.4833333333333334, | |
| "grad_norm": 3.376352310180664, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2676, | |
| "step": 2090 | |
| }, | |
| { | |
| "epoch": 3.5, | |
| "grad_norm": 2.0354526042938232, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1975, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 3.5166666666666666, | |
| "grad_norm": 2.502779245376587, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2717, | |
| "step": 2110 | |
| }, | |
| { | |
| "epoch": 3.533333333333333, | |
| "grad_norm": 3.152454376220703, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2084, | |
| "step": 2120 | |
| }, | |
| { | |
| "epoch": 3.55, | |
| "grad_norm": 3.6308553218841553, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1997, | |
| "step": 2130 | |
| }, | |
| { | |
| "epoch": 3.5666666666666664, | |
| "grad_norm": 4.039753437042236, | |
| "learning_rate": 6e-05, | |
| "loss": 0.29, | |
| "step": 2140 | |
| }, | |
| { | |
| "epoch": 3.5833333333333335, | |
| "grad_norm": 0.14417864382266998, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1399, | |
| "step": 2150 | |
| }, | |
| { | |
| "epoch": 3.6, | |
| "grad_norm": 3.9490373134613037, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2906, | |
| "step": 2160 | |
| }, | |
| { | |
| "epoch": 3.6166666666666667, | |
| "grad_norm": 3.4485721588134766, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2491, | |
| "step": 2170 | |
| }, | |
| { | |
| "epoch": 3.6333333333333333, | |
| "grad_norm": 2.690387725830078, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2072, | |
| "step": 2180 | |
| }, | |
| { | |
| "epoch": 3.65, | |
| "grad_norm": 2.7408242225646973, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2745, | |
| "step": 2190 | |
| }, | |
| { | |
| "epoch": 3.6666666666666665, | |
| "grad_norm": 3.5158913135528564, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2564, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 3.6833333333333336, | |
| "grad_norm": 3.5961549282073975, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2585, | |
| "step": 2210 | |
| }, | |
| { | |
| "epoch": 3.7, | |
| "grad_norm": 3.4621024131774902, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2186, | |
| "step": 2220 | |
| }, | |
| { | |
| "epoch": 3.716666666666667, | |
| "grad_norm": 0.41269171237945557, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1915, | |
| "step": 2230 | |
| }, | |
| { | |
| "epoch": 3.7333333333333334, | |
| "grad_norm": 3.990701198577881, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3078, | |
| "step": 2240 | |
| }, | |
| { | |
| "epoch": 3.75, | |
| "grad_norm": 3.4844603538513184, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1983, | |
| "step": 2250 | |
| }, | |
| { | |
| "epoch": 3.7666666666666666, | |
| "grad_norm": 3.6646134853363037, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2419, | |
| "step": 2260 | |
| }, | |
| { | |
| "epoch": 3.783333333333333, | |
| "grad_norm": 2.806572914123535, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2177, | |
| "step": 2270 | |
| }, | |
| { | |
| "epoch": 3.8, | |
| "grad_norm": 3.793297529220581, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2701, | |
| "step": 2280 | |
| }, | |
| { | |
| "epoch": 3.8166666666666664, | |
| "grad_norm": 0.344463974237442, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1895, | |
| "step": 2290 | |
| }, | |
| { | |
| "epoch": 3.8333333333333335, | |
| "grad_norm": 3.686999797821045, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3189, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 3.85, | |
| "grad_norm": 4.062050819396973, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2981, | |
| "step": 2310 | |
| }, | |
| { | |
| "epoch": 3.8666666666666667, | |
| "grad_norm": 0.21654778718948364, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2291, | |
| "step": 2320 | |
| }, | |
| { | |
| "epoch": 3.8833333333333333, | |
| "grad_norm": 2.6975693702697754, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2567, | |
| "step": 2330 | |
| }, | |
| { | |
| "epoch": 3.9, | |
| "grad_norm": 3.628133773803711, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2504, | |
| "step": 2340 | |
| }, | |
| { | |
| "epoch": 3.9166666666666665, | |
| "grad_norm": 2.9604740142822266, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2565, | |
| "step": 2350 | |
| }, | |
| { | |
| "epoch": 3.9333333333333336, | |
| "grad_norm": 2.7440686225891113, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2892, | |
| "step": 2360 | |
| }, | |
| { | |
| "epoch": 3.95, | |
| "grad_norm": 4.119467735290527, | |
| "learning_rate": 6e-05, | |
| "loss": 0.3138, | |
| "step": 2370 | |
| }, | |
| { | |
| "epoch": 3.966666666666667, | |
| "grad_norm": 0.3667405843734741, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2056, | |
| "step": 2380 | |
| }, | |
| { | |
| "epoch": 3.9833333333333334, | |
| "grad_norm": 0.21370373666286469, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2319, | |
| "step": 2390 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "grad_norm": 0.27621129155158997, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2819, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 4.016666666666667, | |
| "grad_norm": 0.2601078450679779, | |
| "learning_rate": 6e-05, | |
| "loss": 0.0668, | |
| "step": 2410 | |
| }, | |
| { | |
| "epoch": 4.033333333333333, | |
| "grad_norm": 2.601001739501953, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1459, | |
| "step": 2420 | |
| }, | |
| { | |
| "epoch": 4.05, | |
| "grad_norm": 2.978012800216675, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1617, | |
| "step": 2430 | |
| }, | |
| { | |
| "epoch": 4.066666666666666, | |
| "grad_norm": 2.706773042678833, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1566, | |
| "step": 2440 | |
| }, | |
| { | |
| "epoch": 4.083333333333333, | |
| "grad_norm": 2.1703953742980957, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1395, | |
| "step": 2450 | |
| }, | |
| { | |
| "epoch": 4.1, | |
| "grad_norm": 2.7196877002716064, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1356, | |
| "step": 2460 | |
| }, | |
| { | |
| "epoch": 4.116666666666666, | |
| "grad_norm": 2.476644515991211, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1283, | |
| "step": 2470 | |
| }, | |
| { | |
| "epoch": 4.133333333333334, | |
| "grad_norm": 2.7379016876220703, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1644, | |
| "step": 2480 | |
| }, | |
| { | |
| "epoch": 4.15, | |
| "grad_norm": 2.475417375564575, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1435, | |
| "step": 2490 | |
| }, | |
| { | |
| "epoch": 4.166666666666667, | |
| "grad_norm": 2.585655927658081, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1552, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 4.183333333333334, | |
| "grad_norm": 2.5455079078674316, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1341, | |
| "step": 2510 | |
| }, | |
| { | |
| "epoch": 4.2, | |
| "grad_norm": 2.8059678077697754, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1757, | |
| "step": 2520 | |
| }, | |
| { | |
| "epoch": 4.216666666666667, | |
| "grad_norm": 3.026569366455078, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1453, | |
| "step": 2530 | |
| }, | |
| { | |
| "epoch": 4.233333333333333, | |
| "grad_norm": 3.697197198867798, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2065, | |
| "step": 2540 | |
| }, | |
| { | |
| "epoch": 4.25, | |
| "grad_norm": 2.749521493911743, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1979, | |
| "step": 2550 | |
| }, | |
| { | |
| "epoch": 4.266666666666667, | |
| "grad_norm": 2.407289505004883, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1705, | |
| "step": 2560 | |
| }, | |
| { | |
| "epoch": 4.283333333333333, | |
| "grad_norm": 2.2994043827056885, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1987, | |
| "step": 2570 | |
| }, | |
| { | |
| "epoch": 4.3, | |
| "grad_norm": 2.825793504714966, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2049, | |
| "step": 2580 | |
| }, | |
| { | |
| "epoch": 4.316666666666666, | |
| "grad_norm": 3.146655559539795, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1631, | |
| "step": 2590 | |
| }, | |
| { | |
| "epoch": 4.333333333333333, | |
| "grad_norm": 3.627413272857666, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1663, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 4.35, | |
| "grad_norm": 2.486799955368042, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1656, | |
| "step": 2610 | |
| }, | |
| { | |
| "epoch": 4.366666666666666, | |
| "grad_norm": 2.66225004196167, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2015, | |
| "step": 2620 | |
| }, | |
| { | |
| "epoch": 4.383333333333334, | |
| "grad_norm": 1.8728996515274048, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1456, | |
| "step": 2630 | |
| }, | |
| { | |
| "epoch": 4.4, | |
| "grad_norm": 1.8968769311904907, | |
| "learning_rate": 6e-05, | |
| "loss": 0.177, | |
| "step": 2640 | |
| }, | |
| { | |
| "epoch": 4.416666666666667, | |
| "grad_norm": 2.131192445755005, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1726, | |
| "step": 2650 | |
| }, | |
| { | |
| "epoch": 4.433333333333334, | |
| "grad_norm": 3.002971649169922, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2024, | |
| "step": 2660 | |
| }, | |
| { | |
| "epoch": 4.45, | |
| "grad_norm": 1.9647564888000488, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1234, | |
| "step": 2670 | |
| }, | |
| { | |
| "epoch": 4.466666666666667, | |
| "grad_norm": 2.4197781085968018, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1951, | |
| "step": 2680 | |
| }, | |
| { | |
| "epoch": 4.483333333333333, | |
| "grad_norm": 0.3836650550365448, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1858, | |
| "step": 2690 | |
| }, | |
| { | |
| "epoch": 4.5, | |
| "grad_norm": 2.9778201580047607, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1519, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 4.516666666666667, | |
| "grad_norm": 3.017817974090576, | |
| "learning_rate": 6e-05, | |
| "loss": 0.14, | |
| "step": 2710 | |
| }, | |
| { | |
| "epoch": 4.533333333333333, | |
| "grad_norm": 2.9049501419067383, | |
| "learning_rate": 6e-05, | |
| "loss": 0.164, | |
| "step": 2720 | |
| }, | |
| { | |
| "epoch": 4.55, | |
| "grad_norm": 2.994102954864502, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1845, | |
| "step": 2730 | |
| }, | |
| { | |
| "epoch": 4.566666666666666, | |
| "grad_norm": 0.561627984046936, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1391, | |
| "step": 2740 | |
| }, | |
| { | |
| "epoch": 4.583333333333333, | |
| "grad_norm": 0.3637841045856476, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1399, | |
| "step": 2750 | |
| }, | |
| { | |
| "epoch": 4.6, | |
| "grad_norm": 3.896254062652588, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1733, | |
| "step": 2760 | |
| }, | |
| { | |
| "epoch": 4.616666666666667, | |
| "grad_norm": 3.0532054901123047, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1841, | |
| "step": 2770 | |
| }, | |
| { | |
| "epoch": 4.633333333333333, | |
| "grad_norm": 0.17377278208732605, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1335, | |
| "step": 2780 | |
| }, | |
| { | |
| "epoch": 4.65, | |
| "grad_norm": 2.6079516410827637, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2155, | |
| "step": 2790 | |
| }, | |
| { | |
| "epoch": 4.666666666666667, | |
| "grad_norm": 3.1814558506011963, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1756, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 4.683333333333334, | |
| "grad_norm": 2.817502498626709, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2132, | |
| "step": 2810 | |
| }, | |
| { | |
| "epoch": 4.7, | |
| "grad_norm": 2.9159436225891113, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1554, | |
| "step": 2820 | |
| }, | |
| { | |
| "epoch": 4.716666666666667, | |
| "grad_norm": 2.2177484035491943, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1444, | |
| "step": 2830 | |
| }, | |
| { | |
| "epoch": 4.733333333333333, | |
| "grad_norm": 2.7805840969085693, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1846, | |
| "step": 2840 | |
| }, | |
| { | |
| "epoch": 4.75, | |
| "grad_norm": 0.42572301626205444, | |
| "learning_rate": 6e-05, | |
| "loss": 0.0996, | |
| "step": 2850 | |
| }, | |
| { | |
| "epoch": 4.766666666666667, | |
| "grad_norm": 3.1008942127227783, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1874, | |
| "step": 2860 | |
| }, | |
| { | |
| "epoch": 4.783333333333333, | |
| "grad_norm": 3.3096964359283447, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1647, | |
| "step": 2870 | |
| }, | |
| { | |
| "epoch": 4.8, | |
| "grad_norm": 3.6535398960113525, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2166, | |
| "step": 2880 | |
| }, | |
| { | |
| "epoch": 4.816666666666666, | |
| "grad_norm": 3.683121919631958, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1996, | |
| "step": 2890 | |
| }, | |
| { | |
| "epoch": 4.833333333333333, | |
| "grad_norm": 3.2300024032592773, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2484, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 4.85, | |
| "grad_norm": 2.4410159587860107, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1557, | |
| "step": 2910 | |
| }, | |
| { | |
| "epoch": 4.866666666666667, | |
| "grad_norm": 2.7031428813934326, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2037, | |
| "step": 2920 | |
| }, | |
| { | |
| "epoch": 4.883333333333333, | |
| "grad_norm": 2.98870849609375, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2186, | |
| "step": 2930 | |
| }, | |
| { | |
| "epoch": 4.9, | |
| "grad_norm": 3.133185625076294, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1544, | |
| "step": 2940 | |
| }, | |
| { | |
| "epoch": 4.916666666666667, | |
| "grad_norm": 2.4746387004852295, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1899, | |
| "step": 2950 | |
| }, | |
| { | |
| "epoch": 4.933333333333334, | |
| "grad_norm": 2.8714611530303955, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1711, | |
| "step": 2960 | |
| }, | |
| { | |
| "epoch": 4.95, | |
| "grad_norm": 2.7047958374023438, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2281, | |
| "step": 2970 | |
| }, | |
| { | |
| "epoch": 4.966666666666667, | |
| "grad_norm": 3.2620973587036133, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1831, | |
| "step": 2980 | |
| }, | |
| { | |
| "epoch": 4.983333333333333, | |
| "grad_norm": 2.3760015964508057, | |
| "learning_rate": 6e-05, | |
| "loss": 0.2164, | |
| "step": 2990 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "grad_norm": 2.1301817893981934, | |
| "learning_rate": 6e-05, | |
| "loss": 0.1964, | |
| "step": 3000 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 3000, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 5, | |
| "save_steps": 600, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 2.2039789989888e+16, | |
| "train_batch_size": 1, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |