| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 1.0, |
| "eval_steps": 500, |
| "global_step": 1875, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.0026666666666666666, |
| "grad_norm": 111.42095184326172, |
| "learning_rate": 8.000000000000001e-06, |
| "loss": 3.8364429473876953, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.005333333333333333, |
| "grad_norm": 109.14442443847656, |
| "learning_rate": 1.8e-05, |
| "loss": 3.9926475524902343, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.008, |
| "grad_norm": 101.42647552490234, |
| "learning_rate": 2.8000000000000003e-05, |
| "loss": 3.995504379272461, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.010666666666666666, |
| "grad_norm": 109.83303833007812, |
| "learning_rate": 3.8e-05, |
| "loss": 4.018572235107422, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.013333333333333334, |
| "grad_norm": 112.08419036865234, |
| "learning_rate": 4.8e-05, |
| "loss": 3.755289840698242, |
| "step": 25 |
| }, |
| { |
| "epoch": 0.016, |
| "grad_norm": 100.94216918945312, |
| "learning_rate": 5.8e-05, |
| "loss": 4.246578598022461, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.018666666666666668, |
| "grad_norm": 105.94002532958984, |
| "learning_rate": 6.800000000000001e-05, |
| "loss": 4.087727355957031, |
| "step": 35 |
| }, |
| { |
| "epoch": 0.021333333333333333, |
| "grad_norm": 105.70794677734375, |
| "learning_rate": 7.800000000000001e-05, |
| "loss": 4.1905662536621096, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.024, |
| "grad_norm": 98.27630615234375, |
| "learning_rate": 8.800000000000001e-05, |
| "loss": 4.242923736572266, |
| "step": 45 |
| }, |
| { |
| "epoch": 0.02666666666666667, |
| "grad_norm": 96.04302215576172, |
| "learning_rate": 9.8e-05, |
| "loss": 3.6260860443115233, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.029333333333333333, |
| "grad_norm": 92.48601531982422, |
| "learning_rate": 0.00010800000000000001, |
| "loss": 3.8905006408691407, |
| "step": 55 |
| }, |
| { |
| "epoch": 0.032, |
| "grad_norm": 79.16095733642578, |
| "learning_rate": 0.000118, |
| "loss": 3.976701354980469, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.034666666666666665, |
| "grad_norm": 49.770843505859375, |
| "learning_rate": 0.00012800000000000002, |
| "loss": 3.3022926330566404, |
| "step": 65 |
| }, |
| { |
| "epoch": 0.037333333333333336, |
| "grad_norm": 35.14606857299805, |
| "learning_rate": 0.000138, |
| "loss": 3.0480682373046877, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.04, |
| "grad_norm": 17.989023208618164, |
| "learning_rate": 0.000148, |
| "loss": 2.969354820251465, |
| "step": 75 |
| }, |
| { |
| "epoch": 0.042666666666666665, |
| "grad_norm": 10.208930015563965, |
| "learning_rate": 0.00015800000000000002, |
| "loss": 2.754788398742676, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.04533333333333334, |
| "grad_norm": 7.91585636138916, |
| "learning_rate": 0.000168, |
| "loss": 2.7410520553588866, |
| "step": 85 |
| }, |
| { |
| "epoch": 0.048, |
| "grad_norm": 11.388216018676758, |
| "learning_rate": 0.00017800000000000002, |
| "loss": 2.634347915649414, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.050666666666666665, |
| "grad_norm": 13.314560890197754, |
| "learning_rate": 0.000188, |
| "loss": 2.7689334869384767, |
| "step": 95 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 8.856882095336914, |
| "learning_rate": 0.00019800000000000002, |
| "loss": 2.4870817184448244, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.056, |
| "grad_norm": 9.047578811645508, |
| "learning_rate": 0.0001995492957746479, |
| "loss": 2.6626506805419923, |
| "step": 105 |
| }, |
| { |
| "epoch": 0.058666666666666666, |
| "grad_norm": 14.89815902709961, |
| "learning_rate": 0.00019898591549295775, |
| "loss": 2.4955657958984374, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.06133333333333333, |
| "grad_norm": 11.615093231201172, |
| "learning_rate": 0.0001984225352112676, |
| "loss": 2.4722850799560545, |
| "step": 115 |
| }, |
| { |
| "epoch": 0.064, |
| "grad_norm": 7.831632137298584, |
| "learning_rate": 0.00019785915492957749, |
| "loss": 2.478262710571289, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 11.921890258789062, |
| "learning_rate": 0.00019729577464788734, |
| "loss": 2.618533134460449, |
| "step": 125 |
| }, |
| { |
| "epoch": 0.06933333333333333, |
| "grad_norm": 14.859938621520996, |
| "learning_rate": 0.0001967323943661972, |
| "loss": 2.3821949005126952, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.072, |
| "grad_norm": 9.261709213256836, |
| "learning_rate": 0.00019616901408450705, |
| "loss": 2.3455177307128907, |
| "step": 135 |
| }, |
| { |
| "epoch": 0.07466666666666667, |
| "grad_norm": 10.13550090789795, |
| "learning_rate": 0.0001956056338028169, |
| "loss": 2.214771270751953, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.07733333333333334, |
| "grad_norm": 17.88613510131836, |
| "learning_rate": 0.00019504225352112676, |
| "loss": 2.4231706619262696, |
| "step": 145 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 12.118648529052734, |
| "learning_rate": 0.00019447887323943664, |
| "loss": 2.2237390518188476, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.08266666666666667, |
| "grad_norm": 7.8988237380981445, |
| "learning_rate": 0.0001939154929577465, |
| "loss": 2.3514604568481445, |
| "step": 155 |
| }, |
| { |
| "epoch": 0.08533333333333333, |
| "grad_norm": 10.741722106933594, |
| "learning_rate": 0.00019335211267605635, |
| "loss": 2.2051753997802734, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.088, |
| "grad_norm": 26.805442810058594, |
| "learning_rate": 0.0001927887323943662, |
| "loss": 2.3654811859130858, |
| "step": 165 |
| }, |
| { |
| "epoch": 0.09066666666666667, |
| "grad_norm": 12.131038665771484, |
| "learning_rate": 0.00019222535211267606, |
| "loss": 2.1395811080932616, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.09333333333333334, |
| "grad_norm": 17.024158477783203, |
| "learning_rate": 0.00019166197183098592, |
| "loss": 2.2801307678222655, |
| "step": 175 |
| }, |
| { |
| "epoch": 0.096, |
| "grad_norm": 12.311001777648926, |
| "learning_rate": 0.0001910985915492958, |
| "loss": 2.2027219772338866, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.09866666666666667, |
| "grad_norm": 10.584918022155762, |
| "learning_rate": 0.00019053521126760565, |
| "loss": 2.1023969650268555, |
| "step": 185 |
| }, |
| { |
| "epoch": 0.10133333333333333, |
| "grad_norm": 9.735937118530273, |
| "learning_rate": 0.0001899718309859155, |
| "loss": 2.1271486282348633, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.104, |
| "grad_norm": 10.524523735046387, |
| "learning_rate": 0.00018940845070422536, |
| "loss": 1.98572998046875, |
| "step": 195 |
| }, |
| { |
| "epoch": 0.10666666666666667, |
| "grad_norm": 22.287979125976562, |
| "learning_rate": 0.00018884507042253522, |
| "loss": 2.1280967712402346, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.10933333333333334, |
| "grad_norm": 12.949265480041504, |
| "learning_rate": 0.00018828169014084508, |
| "loss": 2.35632438659668, |
| "step": 205 |
| }, |
| { |
| "epoch": 0.112, |
| "grad_norm": 12.248553276062012, |
| "learning_rate": 0.00018771830985915493, |
| "loss": 2.108376312255859, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.11466666666666667, |
| "grad_norm": 20.717639923095703, |
| "learning_rate": 0.00018715492957746479, |
| "loss": 2.234812545776367, |
| "step": 215 |
| }, |
| { |
| "epoch": 0.11733333333333333, |
| "grad_norm": 16.17305564880371, |
| "learning_rate": 0.00018659154929577464, |
| "loss": 2.0656204223632812, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.12, |
| "grad_norm": 8.19717788696289, |
| "learning_rate": 0.0001860281690140845, |
| "loss": 2.0712602615356444, |
| "step": 225 |
| }, |
| { |
| "epoch": 0.12266666666666666, |
| "grad_norm": 12.941885948181152, |
| "learning_rate": 0.00018546478873239438, |
| "loss": 2.0772335052490236, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.12533333333333332, |
| "grad_norm": 10.803686141967773, |
| "learning_rate": 0.00018490140845070423, |
| "loss": 2.1897953033447264, |
| "step": 235 |
| }, |
| { |
| "epoch": 0.128, |
| "grad_norm": 14.808187484741211, |
| "learning_rate": 0.0001843380281690141, |
| "loss": 1.918899154663086, |
| "step": 240 |
| }, |
| { |
| "epoch": 0.13066666666666665, |
| "grad_norm": 8.39094352722168, |
| "learning_rate": 0.00018377464788732394, |
| "loss": 1.8229557037353517, |
| "step": 245 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 12.167826652526855, |
| "learning_rate": 0.0001832112676056338, |
| "loss": 1.938387680053711, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.136, |
| "grad_norm": 12.469399452209473, |
| "learning_rate": 0.00018264788732394368, |
| "loss": 2.0133317947387694, |
| "step": 255 |
| }, |
| { |
| "epoch": 0.13866666666666666, |
| "grad_norm": 11.071825981140137, |
| "learning_rate": 0.00018208450704225353, |
| "loss": 2.0019498825073243, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.14133333333333334, |
| "grad_norm": 7.247564792633057, |
| "learning_rate": 0.0001815211267605634, |
| "loss": 1.8427227020263672, |
| "step": 265 |
| }, |
| { |
| "epoch": 0.144, |
| "grad_norm": 8.006746292114258, |
| "learning_rate": 0.00018095774647887324, |
| "loss": 1.7452852249145507, |
| "step": 270 |
| }, |
| { |
| "epoch": 0.14666666666666667, |
| "grad_norm": 14.407325744628906, |
| "learning_rate": 0.0001803943661971831, |
| "loss": 2.0053468704223634, |
| "step": 275 |
| }, |
| { |
| "epoch": 0.14933333333333335, |
| "grad_norm": 10.286742210388184, |
| "learning_rate": 0.00017983098591549295, |
| "loss": 1.7834600448608398, |
| "step": 280 |
| }, |
| { |
| "epoch": 0.152, |
| "grad_norm": 9.0601167678833, |
| "learning_rate": 0.00017926760563380284, |
| "loss": 2.0129535675048826, |
| "step": 285 |
| }, |
| { |
| "epoch": 0.15466666666666667, |
| "grad_norm": 10.650718688964844, |
| "learning_rate": 0.0001787042253521127, |
| "loss": 1.9546815872192382, |
| "step": 290 |
| }, |
| { |
| "epoch": 0.15733333333333333, |
| "grad_norm": 11.976932525634766, |
| "learning_rate": 0.00017814084507042255, |
| "loss": 1.7800857543945312, |
| "step": 295 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 12.129305839538574, |
| "learning_rate": 0.0001775774647887324, |
| "loss": 1.9225830078125, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.16266666666666665, |
| "grad_norm": 7.160472869873047, |
| "learning_rate": 0.00017701408450704226, |
| "loss": 2.11226806640625, |
| "step": 305 |
| }, |
| { |
| "epoch": 0.16533333333333333, |
| "grad_norm": 7.345422267913818, |
| "learning_rate": 0.00017645070422535214, |
| "loss": 1.6668367385864258, |
| "step": 310 |
| }, |
| { |
| "epoch": 0.168, |
| "grad_norm": 11.568793296813965, |
| "learning_rate": 0.000175887323943662, |
| "loss": 2.177800941467285, |
| "step": 315 |
| }, |
| { |
| "epoch": 0.17066666666666666, |
| "grad_norm": 10.568408966064453, |
| "learning_rate": 0.00017532394366197185, |
| "loss": 1.6589248657226563, |
| "step": 320 |
| }, |
| { |
| "epoch": 0.17333333333333334, |
| "grad_norm": 12.5291748046875, |
| "learning_rate": 0.0001747605633802817, |
| "loss": 2.021794891357422, |
| "step": 325 |
| }, |
| { |
| "epoch": 0.176, |
| "grad_norm": 9.078185081481934, |
| "learning_rate": 0.00017419718309859156, |
| "loss": 1.8950891494750977, |
| "step": 330 |
| }, |
| { |
| "epoch": 0.17866666666666667, |
| "grad_norm": 11.55624771118164, |
| "learning_rate": 0.0001736338028169014, |
| "loss": 1.74400634765625, |
| "step": 335 |
| }, |
| { |
| "epoch": 0.18133333333333335, |
| "grad_norm": 18.240102767944336, |
| "learning_rate": 0.0001730704225352113, |
| "loss": 1.9026069641113281, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.184, |
| "grad_norm": 11.563017845153809, |
| "learning_rate": 0.00017250704225352115, |
| "loss": 1.7250774383544922, |
| "step": 345 |
| }, |
| { |
| "epoch": 0.18666666666666668, |
| "grad_norm": 11.15317153930664, |
| "learning_rate": 0.000171943661971831, |
| "loss": 1.7776386260986328, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.18933333333333333, |
| "grad_norm": 9.991138458251953, |
| "learning_rate": 0.00017138028169014083, |
| "loss": 1.8309949874877929, |
| "step": 355 |
| }, |
| { |
| "epoch": 0.192, |
| "grad_norm": 10.5128812789917, |
| "learning_rate": 0.00017081690140845072, |
| "loss": 1.781858253479004, |
| "step": 360 |
| }, |
| { |
| "epoch": 0.19466666666666665, |
| "grad_norm": 9.632908821105957, |
| "learning_rate": 0.00017025352112676057, |
| "loss": 1.6298736572265624, |
| "step": 365 |
| }, |
| { |
| "epoch": 0.19733333333333333, |
| "grad_norm": 13.075124740600586, |
| "learning_rate": 0.00016969014084507043, |
| "loss": 1.8063199996948243, |
| "step": 370 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 12.443954467773438, |
| "learning_rate": 0.00016912676056338028, |
| "loss": 1.8022855758666991, |
| "step": 375 |
| }, |
| { |
| "epoch": 0.20266666666666666, |
| "grad_norm": 6.060068607330322, |
| "learning_rate": 0.00016856338028169014, |
| "loss": 1.8483312606811524, |
| "step": 380 |
| }, |
| { |
| "epoch": 0.20533333333333334, |
| "grad_norm": 6.94767427444458, |
| "learning_rate": 0.000168, |
| "loss": 1.576484489440918, |
| "step": 385 |
| }, |
| { |
| "epoch": 0.208, |
| "grad_norm": 12.666653633117676, |
| "learning_rate": 0.00016743661971830987, |
| "loss": 1.7100191116333008, |
| "step": 390 |
| }, |
| { |
| "epoch": 0.21066666666666667, |
| "grad_norm": 14.472047805786133, |
| "learning_rate": 0.00016687323943661973, |
| "loss": 1.8619709014892578, |
| "step": 395 |
| }, |
| { |
| "epoch": 0.21333333333333335, |
| "grad_norm": 7.539713382720947, |
| "learning_rate": 0.00016630985915492958, |
| "loss": 1.6018537521362304, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.216, |
| "grad_norm": 13.27442741394043, |
| "learning_rate": 0.00016574647887323944, |
| "loss": 1.7947893142700195, |
| "step": 405 |
| }, |
| { |
| "epoch": 0.21866666666666668, |
| "grad_norm": 9.306031227111816, |
| "learning_rate": 0.0001651830985915493, |
| "loss": 1.5350324630737304, |
| "step": 410 |
| }, |
| { |
| "epoch": 0.22133333333333333, |
| "grad_norm": 9.19575309753418, |
| "learning_rate": 0.00016461971830985915, |
| "loss": 1.3080059051513673, |
| "step": 415 |
| }, |
| { |
| "epoch": 0.224, |
| "grad_norm": 11.85124683380127, |
| "learning_rate": 0.00016405633802816903, |
| "loss": 1.5168281555175782, |
| "step": 420 |
| }, |
| { |
| "epoch": 0.22666666666666666, |
| "grad_norm": 17.644533157348633, |
| "learning_rate": 0.00016349295774647888, |
| "loss": 1.8149856567382812, |
| "step": 425 |
| }, |
| { |
| "epoch": 0.22933333333333333, |
| "grad_norm": 9.317895889282227, |
| "learning_rate": 0.00016292957746478874, |
| "loss": 1.5829595565795898, |
| "step": 430 |
| }, |
| { |
| "epoch": 0.232, |
| "grad_norm": 8.898033142089844, |
| "learning_rate": 0.0001623661971830986, |
| "loss": 1.6538114547729492, |
| "step": 435 |
| }, |
| { |
| "epoch": 0.23466666666666666, |
| "grad_norm": 11.282074928283691, |
| "learning_rate": 0.00016180281690140845, |
| "loss": 1.528157615661621, |
| "step": 440 |
| }, |
| { |
| "epoch": 0.23733333333333334, |
| "grad_norm": 16.48333740234375, |
| "learning_rate": 0.00016123943661971833, |
| "loss": 1.5374095916748047, |
| "step": 445 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 12.109912872314453, |
| "learning_rate": 0.0001606760563380282, |
| "loss": 1.386121654510498, |
| "step": 450 |
| }, |
| { |
| "epoch": 0.24266666666666667, |
| "grad_norm": 10.904478073120117, |
| "learning_rate": 0.00016011267605633804, |
| "loss": 1.668480682373047, |
| "step": 455 |
| }, |
| { |
| "epoch": 0.24533333333333332, |
| "grad_norm": 6.372141361236572, |
| "learning_rate": 0.0001595492957746479, |
| "loss": 1.4787811279296874, |
| "step": 460 |
| }, |
| { |
| "epoch": 0.248, |
| "grad_norm": 13.91859245300293, |
| "learning_rate": 0.00015898591549295775, |
| "loss": 1.6651067733764648, |
| "step": 465 |
| }, |
| { |
| "epoch": 0.25066666666666665, |
| "grad_norm": 12.036635398864746, |
| "learning_rate": 0.0001584225352112676, |
| "loss": 1.5556697845458984, |
| "step": 470 |
| }, |
| { |
| "epoch": 0.25333333333333335, |
| "grad_norm": 12.638498306274414, |
| "learning_rate": 0.0001578591549295775, |
| "loss": 1.5949674606323243, |
| "step": 475 |
| }, |
| { |
| "epoch": 0.256, |
| "grad_norm": 14.810049057006836, |
| "learning_rate": 0.00015729577464788734, |
| "loss": 1.5545027732849122, |
| "step": 480 |
| }, |
| { |
| "epoch": 0.25866666666666666, |
| "grad_norm": 12.008495330810547, |
| "learning_rate": 0.0001567323943661972, |
| "loss": 1.532095718383789, |
| "step": 485 |
| }, |
| { |
| "epoch": 0.2613333333333333, |
| "grad_norm": 11.929539680480957, |
| "learning_rate": 0.00015616901408450705, |
| "loss": 1.528535747528076, |
| "step": 490 |
| }, |
| { |
| "epoch": 0.264, |
| "grad_norm": 14.860784530639648, |
| "learning_rate": 0.0001556056338028169, |
| "loss": 1.3496550559997558, |
| "step": 495 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 20.984825134277344, |
| "learning_rate": 0.0001550422535211268, |
| "loss": 1.6677631378173827, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.2693333333333333, |
| "grad_norm": 10.00810718536377, |
| "learning_rate": 0.00015447887323943662, |
| "loss": 1.6271722793579102, |
| "step": 505 |
| }, |
| { |
| "epoch": 0.272, |
| "grad_norm": 10.55704402923584, |
| "learning_rate": 0.00015391549295774647, |
| "loss": 1.5874053955078125, |
| "step": 510 |
| }, |
| { |
| "epoch": 0.27466666666666667, |
| "grad_norm": 9.05455207824707, |
| "learning_rate": 0.00015335211267605633, |
| "loss": 1.4935919761657714, |
| "step": 515 |
| }, |
| { |
| "epoch": 0.2773333333333333, |
| "grad_norm": 9.206930160522461, |
| "learning_rate": 0.00015278873239436618, |
| "loss": 1.2563257217407227, |
| "step": 520 |
| }, |
| { |
| "epoch": 0.28, |
| "grad_norm": 16.945716857910156, |
| "learning_rate": 0.00015222535211267607, |
| "loss": 1.9246967315673829, |
| "step": 525 |
| }, |
| { |
| "epoch": 0.2826666666666667, |
| "grad_norm": 16.999794006347656, |
| "learning_rate": 0.00015166197183098592, |
| "loss": 1.601163101196289, |
| "step": 530 |
| }, |
| { |
| "epoch": 0.2853333333333333, |
| "grad_norm": 11.50149154663086, |
| "learning_rate": 0.00015109859154929578, |
| "loss": 1.2732219696044922, |
| "step": 535 |
| }, |
| { |
| "epoch": 0.288, |
| "grad_norm": 9.570863723754883, |
| "learning_rate": 0.00015053521126760563, |
| "loss": 1.5544628143310546, |
| "step": 540 |
| }, |
| { |
| "epoch": 0.2906666666666667, |
| "grad_norm": 19.93174934387207, |
| "learning_rate": 0.00014997183098591549, |
| "loss": 1.430725383758545, |
| "step": 545 |
| }, |
| { |
| "epoch": 0.29333333333333333, |
| "grad_norm": 14.150125503540039, |
| "learning_rate": 0.00014940845070422537, |
| "loss": 1.5130680084228516, |
| "step": 550 |
| }, |
| { |
| "epoch": 0.296, |
| "grad_norm": 7.9988017082214355, |
| "learning_rate": 0.00014884507042253522, |
| "loss": 1.355179214477539, |
| "step": 555 |
| }, |
| { |
| "epoch": 0.2986666666666667, |
| "grad_norm": 14.685370445251465, |
| "learning_rate": 0.00014828169014084508, |
| "loss": 1.3353240966796875, |
| "step": 560 |
| }, |
| { |
| "epoch": 0.30133333333333334, |
| "grad_norm": 11.790184020996094, |
| "learning_rate": 0.00014771830985915493, |
| "loss": 1.4299575805664062, |
| "step": 565 |
| }, |
| { |
| "epoch": 0.304, |
| "grad_norm": 14.97231388092041, |
| "learning_rate": 0.0001471549295774648, |
| "loss": 1.5219791412353516, |
| "step": 570 |
| }, |
| { |
| "epoch": 0.30666666666666664, |
| "grad_norm": 19.304960250854492, |
| "learning_rate": 0.00014659154929577464, |
| "loss": 1.5997358322143556, |
| "step": 575 |
| }, |
| { |
| "epoch": 0.30933333333333335, |
| "grad_norm": 7.980342864990234, |
| "learning_rate": 0.00014602816901408453, |
| "loss": 1.6459079742431642, |
| "step": 580 |
| }, |
| { |
| "epoch": 0.312, |
| "grad_norm": 8.21890926361084, |
| "learning_rate": 0.00014546478873239438, |
| "loss": 1.384648609161377, |
| "step": 585 |
| }, |
| { |
| "epoch": 0.31466666666666665, |
| "grad_norm": 19.46270751953125, |
| "learning_rate": 0.00014490140845070424, |
| "loss": 1.348591423034668, |
| "step": 590 |
| }, |
| { |
| "epoch": 0.31733333333333336, |
| "grad_norm": 15.35805892944336, |
| "learning_rate": 0.0001443380281690141, |
| "loss": 1.388819122314453, |
| "step": 595 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 11.9105806350708, |
| "learning_rate": 0.00014377464788732395, |
| "loss": 1.5539608955383302, |
| "step": 600 |
| }, |
| { |
| "epoch": 0.32266666666666666, |
| "grad_norm": 13.5405855178833, |
| "learning_rate": 0.00014321126760563383, |
| "loss": 1.4897932052612304, |
| "step": 605 |
| }, |
| { |
| "epoch": 0.3253333333333333, |
| "grad_norm": 10.101329803466797, |
| "learning_rate": 0.00014264788732394368, |
| "loss": 1.2876506805419923, |
| "step": 610 |
| }, |
| { |
| "epoch": 0.328, |
| "grad_norm": 15.316314697265625, |
| "learning_rate": 0.00014208450704225354, |
| "loss": 1.3048943519592284, |
| "step": 615 |
| }, |
| { |
| "epoch": 0.33066666666666666, |
| "grad_norm": 15.9734468460083, |
| "learning_rate": 0.0001415211267605634, |
| "loss": 1.3341278076171874, |
| "step": 620 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 11.087525367736816, |
| "learning_rate": 0.00014095774647887325, |
| "loss": 1.4293962478637696, |
| "step": 625 |
| }, |
| { |
| "epoch": 0.336, |
| "grad_norm": 9.48952579498291, |
| "learning_rate": 0.0001403943661971831, |
| "loss": 1.6734546661376952, |
| "step": 630 |
| }, |
| { |
| "epoch": 0.33866666666666667, |
| "grad_norm": 10.6030912399292, |
| "learning_rate": 0.00013983098591549298, |
| "loss": 1.4673904418945312, |
| "step": 635 |
| }, |
| { |
| "epoch": 0.3413333333333333, |
| "grad_norm": 8.771355628967285, |
| "learning_rate": 0.00013926760563380284, |
| "loss": 1.636158561706543, |
| "step": 640 |
| }, |
| { |
| "epoch": 0.344, |
| "grad_norm": 8.74921989440918, |
| "learning_rate": 0.0001387042253521127, |
| "loss": 1.3190750122070312, |
| "step": 645 |
| }, |
| { |
| "epoch": 0.3466666666666667, |
| "grad_norm": 13.284067153930664, |
| "learning_rate": 0.00013814084507042252, |
| "loss": 1.456781768798828, |
| "step": 650 |
| }, |
| { |
| "epoch": 0.34933333333333333, |
| "grad_norm": 12.833295822143555, |
| "learning_rate": 0.00013757746478873238, |
| "loss": 1.2625598907470703, |
| "step": 655 |
| }, |
| { |
| "epoch": 0.352, |
| "grad_norm": 8.977511405944824, |
| "learning_rate": 0.00013701408450704226, |
| "loss": 1.421074104309082, |
| "step": 660 |
| }, |
| { |
| "epoch": 0.3546666666666667, |
| "grad_norm": 14.199395179748535, |
| "learning_rate": 0.00013645070422535211, |
| "loss": 1.6143177032470704, |
| "step": 665 |
| }, |
| { |
| "epoch": 0.35733333333333334, |
| "grad_norm": 12.90284538269043, |
| "learning_rate": 0.00013588732394366197, |
| "loss": 1.4177433967590332, |
| "step": 670 |
| }, |
| { |
| "epoch": 0.36, |
| "grad_norm": 12.17825698852539, |
| "learning_rate": 0.00013532394366197182, |
| "loss": 1.3354944229125976, |
| "step": 675 |
| }, |
| { |
| "epoch": 0.3626666666666667, |
| "grad_norm": 14.036163330078125, |
| "learning_rate": 0.00013476056338028168, |
| "loss": 1.3644773483276367, |
| "step": 680 |
| }, |
| { |
| "epoch": 0.36533333333333334, |
| "grad_norm": 20.567636489868164, |
| "learning_rate": 0.00013419718309859156, |
| "loss": 1.3656501770019531, |
| "step": 685 |
| }, |
| { |
| "epoch": 0.368, |
| "grad_norm": 14.631959915161133, |
| "learning_rate": 0.00013363380281690142, |
| "loss": 1.1601862907409668, |
| "step": 690 |
| }, |
| { |
| "epoch": 0.37066666666666664, |
| "grad_norm": 20.778545379638672, |
| "learning_rate": 0.00013307042253521127, |
| "loss": 1.4343491554260255, |
| "step": 695 |
| }, |
| { |
| "epoch": 0.37333333333333335, |
| "grad_norm": 15.387961387634277, |
| "learning_rate": 0.00013250704225352113, |
| "loss": 1.5348882675170898, |
| "step": 700 |
| }, |
| { |
| "epoch": 0.376, |
| "grad_norm": 12.003610610961914, |
| "learning_rate": 0.00013194366197183098, |
| "loss": 1.5257287979125977, |
| "step": 705 |
| }, |
| { |
| "epoch": 0.37866666666666665, |
| "grad_norm": 10.2384614944458, |
| "learning_rate": 0.00013138028169014084, |
| "loss": 1.194979763031006, |
| "step": 710 |
| }, |
| { |
| "epoch": 0.38133333333333336, |
| "grad_norm": 13.865598678588867, |
| "learning_rate": 0.00013081690140845072, |
| "loss": 1.3585129737854005, |
| "step": 715 |
| }, |
| { |
| "epoch": 0.384, |
| "grad_norm": 10.222328186035156, |
| "learning_rate": 0.00013025352112676057, |
| "loss": 1.1794193267822266, |
| "step": 720 |
| }, |
| { |
| "epoch": 0.38666666666666666, |
| "grad_norm": 17.701696395874023, |
| "learning_rate": 0.00012969014084507043, |
| "loss": 1.1500323295593262, |
| "step": 725 |
| }, |
| { |
| "epoch": 0.3893333333333333, |
| "grad_norm": 17.17775535583496, |
| "learning_rate": 0.00012912676056338028, |
| "loss": 1.3181532859802245, |
| "step": 730 |
| }, |
| { |
| "epoch": 0.392, |
| "grad_norm": 10.679163932800293, |
| "learning_rate": 0.00012856338028169014, |
| "loss": 1.7033679962158204, |
| "step": 735 |
| }, |
| { |
| "epoch": 0.39466666666666667, |
| "grad_norm": 9.340590476989746, |
| "learning_rate": 0.00012800000000000002, |
| "loss": 1.3019798278808594, |
| "step": 740 |
| }, |
| { |
| "epoch": 0.3973333333333333, |
| "grad_norm": 13.229374885559082, |
| "learning_rate": 0.00012743661971830988, |
| "loss": 1.335837173461914, |
| "step": 745 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 11.435072898864746, |
| "learning_rate": 0.00012687323943661973, |
| "loss": 1.2970674514770508, |
| "step": 750 |
| }, |
| { |
| "epoch": 0.4026666666666667, |
| "grad_norm": 17.41055679321289, |
| "learning_rate": 0.00012630985915492959, |
| "loss": 1.1411434173583985, |
| "step": 755 |
| }, |
| { |
| "epoch": 0.4053333333333333, |
| "grad_norm": 14.012968063354492, |
| "learning_rate": 0.00012574647887323944, |
| "loss": 1.2636231422424316, |
| "step": 760 |
| }, |
| { |
| "epoch": 0.408, |
| "grad_norm": 8.152549743652344, |
| "learning_rate": 0.0001251830985915493, |
| "loss": 1.2594858169555665, |
| "step": 765 |
| }, |
| { |
| "epoch": 0.4106666666666667, |
| "grad_norm": 9.20104694366455, |
| "learning_rate": 0.00012461971830985918, |
| "loss": 1.2612009048461914, |
| "step": 770 |
| }, |
| { |
| "epoch": 0.41333333333333333, |
| "grad_norm": 11.505044937133789, |
| "learning_rate": 0.00012405633802816903, |
| "loss": 1.331658172607422, |
| "step": 775 |
| }, |
| { |
| "epoch": 0.416, |
| "grad_norm": 9.846095085144043, |
| "learning_rate": 0.0001234929577464789, |
| "loss": 1.3054898262023926, |
| "step": 780 |
| }, |
| { |
| "epoch": 0.4186666666666667, |
| "grad_norm": 9.809595108032227, |
| "learning_rate": 0.00012292957746478874, |
| "loss": 1.1530959129333496, |
| "step": 785 |
| }, |
| { |
| "epoch": 0.42133333333333334, |
| "grad_norm": 11.386530876159668, |
| "learning_rate": 0.0001223661971830986, |
| "loss": 1.268353271484375, |
| "step": 790 |
| }, |
| { |
| "epoch": 0.424, |
| "grad_norm": 14.313374519348145, |
| "learning_rate": 0.00012180281690140847, |
| "loss": 0.9667896270751953, |
| "step": 795 |
| }, |
| { |
| "epoch": 0.4266666666666667, |
| "grad_norm": 25.00824737548828, |
| "learning_rate": 0.00012123943661971831, |
| "loss": 1.0513657569885253, |
| "step": 800 |
| }, |
| { |
| "epoch": 0.42933333333333334, |
| "grad_norm": 15.341448783874512, |
| "learning_rate": 0.00012067605633802816, |
| "loss": 1.4102449417114258, |
| "step": 805 |
| }, |
| { |
| "epoch": 0.432, |
| "grad_norm": 22.345888137817383, |
| "learning_rate": 0.00012011267605633802, |
| "loss": 1.2195436477661132, |
| "step": 810 |
| }, |
| { |
| "epoch": 0.43466666666666665, |
| "grad_norm": 12.229551315307617, |
| "learning_rate": 0.00011954929577464789, |
| "loss": 1.2522453308105468, |
| "step": 815 |
| }, |
| { |
| "epoch": 0.43733333333333335, |
| "grad_norm": 12.3463134765625, |
| "learning_rate": 0.00011898591549295774, |
| "loss": 1.230642318725586, |
| "step": 820 |
| }, |
| { |
| "epoch": 0.44, |
| "grad_norm": 10.814689636230469, |
| "learning_rate": 0.00011842253521126761, |
| "loss": 1.2064233779907227, |
| "step": 825 |
| }, |
| { |
| "epoch": 0.44266666666666665, |
| "grad_norm": 14.333885192871094, |
| "learning_rate": 0.00011785915492957747, |
| "loss": 1.390138816833496, |
| "step": 830 |
| }, |
| { |
| "epoch": 0.44533333333333336, |
| "grad_norm": 13.482339859008789, |
| "learning_rate": 0.00011729577464788732, |
| "loss": 1.4206034660339355, |
| "step": 835 |
| }, |
| { |
| "epoch": 0.448, |
| "grad_norm": 9.737178802490234, |
| "learning_rate": 0.00011673239436619719, |
| "loss": 1.3141879081726073, |
| "step": 840 |
| }, |
| { |
| "epoch": 0.45066666666666666, |
| "grad_norm": 9.014653205871582, |
| "learning_rate": 0.00011616901408450704, |
| "loss": 0.9352978706359864, |
| "step": 845 |
| }, |
| { |
| "epoch": 0.4533333333333333, |
| "grad_norm": 17.233123779296875, |
| "learning_rate": 0.0001156056338028169, |
| "loss": 1.5230918884277345, |
| "step": 850 |
| }, |
| { |
| "epoch": 0.456, |
| "grad_norm": 7.727634906768799, |
| "learning_rate": 0.00011504225352112677, |
| "loss": 1.2139328002929688, |
| "step": 855 |
| }, |
| { |
| "epoch": 0.45866666666666667, |
| "grad_norm": 8.102723121643066, |
| "learning_rate": 0.00011447887323943662, |
| "loss": 1.206319522857666, |
| "step": 860 |
| }, |
| { |
| "epoch": 0.4613333333333333, |
| "grad_norm": 14.462896347045898, |
| "learning_rate": 0.00011391549295774648, |
| "loss": 1.2146257400512694, |
| "step": 865 |
| }, |
| { |
| "epoch": 0.464, |
| "grad_norm": 26.912517547607422, |
| "learning_rate": 0.00011335211267605635, |
| "loss": 1.6198184967041016, |
| "step": 870 |
| }, |
| { |
| "epoch": 0.4666666666666667, |
| "grad_norm": 12.520406723022461, |
| "learning_rate": 0.0001127887323943662, |
| "loss": 1.2894514083862305, |
| "step": 875 |
| }, |
| { |
| "epoch": 0.4693333333333333, |
| "grad_norm": 13.460532188415527, |
| "learning_rate": 0.00011222535211267607, |
| "loss": 1.1767005920410156, |
| "step": 880 |
| }, |
| { |
| "epoch": 0.472, |
| "grad_norm": 16.371057510375977, |
| "learning_rate": 0.00011166197183098592, |
| "loss": 1.2162860870361327, |
| "step": 885 |
| }, |
| { |
| "epoch": 0.4746666666666667, |
| "grad_norm": 9.483402252197266, |
| "learning_rate": 0.00011109859154929578, |
| "loss": 0.971930980682373, |
| "step": 890 |
| }, |
| { |
| "epoch": 0.47733333333333333, |
| "grad_norm": 14.55411434173584, |
| "learning_rate": 0.00011053521126760565, |
| "loss": 1.364369010925293, |
| "step": 895 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 11.537001609802246, |
| "learning_rate": 0.0001099718309859155, |
| "loss": 1.4056188583374023, |
| "step": 900 |
| }, |
| { |
| "epoch": 0.4826666666666667, |
| "grad_norm": 9.466048240661621, |
| "learning_rate": 0.00010940845070422536, |
| "loss": 0.9447125434875489, |
| "step": 905 |
| }, |
| { |
| "epoch": 0.48533333333333334, |
| "grad_norm": 14.304491996765137, |
| "learning_rate": 0.00010884507042253523, |
| "loss": 1.0246928215026856, |
| "step": 910 |
| }, |
| { |
| "epoch": 0.488, |
| "grad_norm": 20.34856605529785, |
| "learning_rate": 0.00010828169014084508, |
| "loss": 1.3922534942626954, |
| "step": 915 |
| }, |
| { |
| "epoch": 0.49066666666666664, |
| "grad_norm": 16.395771026611328, |
| "learning_rate": 0.00010771830985915494, |
| "loss": 1.1523797988891602, |
| "step": 920 |
| }, |
| { |
| "epoch": 0.49333333333333335, |
| "grad_norm": 19.27910804748535, |
| "learning_rate": 0.0001071549295774648, |
| "loss": 1.0734041213989258, |
| "step": 925 |
| }, |
| { |
| "epoch": 0.496, |
| "grad_norm": 13.505451202392578, |
| "learning_rate": 0.00010659154929577466, |
| "loss": 0.9535470008850098, |
| "step": 930 |
| }, |
| { |
| "epoch": 0.49866666666666665, |
| "grad_norm": 13.49181079864502, |
| "learning_rate": 0.00010602816901408452, |
| "loss": 1.033437442779541, |
| "step": 935 |
| }, |
| { |
| "epoch": 0.5013333333333333, |
| "grad_norm": 12.860846519470215, |
| "learning_rate": 0.00010546478873239438, |
| "loss": 1.224847412109375, |
| "step": 940 |
| }, |
| { |
| "epoch": 0.504, |
| "grad_norm": 19.469518661499023, |
| "learning_rate": 0.00010490140845070423, |
| "loss": 1.146999454498291, |
| "step": 945 |
| }, |
| { |
| "epoch": 0.5066666666666667, |
| "grad_norm": 28.637062072753906, |
| "learning_rate": 0.00010433802816901408, |
| "loss": 1.1394700050354003, |
| "step": 950 |
| }, |
| { |
| "epoch": 0.5093333333333333, |
| "grad_norm": 10.001830101013184, |
| "learning_rate": 0.00010377464788732394, |
| "loss": 1.2364796638488769, |
| "step": 955 |
| }, |
| { |
| "epoch": 0.512, |
| "grad_norm": 14.869203567504883, |
| "learning_rate": 0.0001032112676056338, |
| "loss": 1.0928597450256348, |
| "step": 960 |
| }, |
| { |
| "epoch": 0.5146666666666667, |
| "grad_norm": 21.60698127746582, |
| "learning_rate": 0.00010264788732394366, |
| "loss": 1.1428895950317384, |
| "step": 965 |
| }, |
| { |
| "epoch": 0.5173333333333333, |
| "grad_norm": 15.12488079071045, |
| "learning_rate": 0.00010208450704225351, |
| "loss": 1.082827377319336, |
| "step": 970 |
| }, |
| { |
| "epoch": 0.52, |
| "grad_norm": 16.708810806274414, |
| "learning_rate": 0.00010152112676056338, |
| "loss": 1.209788990020752, |
| "step": 975 |
| }, |
| { |
| "epoch": 0.5226666666666666, |
| "grad_norm": 14.290752410888672, |
| "learning_rate": 0.00010095774647887324, |
| "loss": 0.9754375457763672, |
| "step": 980 |
| }, |
| { |
| "epoch": 0.5253333333333333, |
| "grad_norm": 14.824275016784668, |
| "learning_rate": 0.00010039436619718309, |
| "loss": 0.9656963348388672, |
| "step": 985 |
| }, |
| { |
| "epoch": 0.528, |
| "grad_norm": 20.584383010864258, |
| "learning_rate": 9.983098591549296e-05, |
| "loss": 1.084117603302002, |
| "step": 990 |
| }, |
| { |
| "epoch": 0.5306666666666666, |
| "grad_norm": 13.401692390441895, |
| "learning_rate": 9.926760563380282e-05, |
| "loss": 1.1031304359436036, |
| "step": 995 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 13.891364097595215, |
| "learning_rate": 9.870422535211267e-05, |
| "loss": 0.816834831237793, |
| "step": 1000 |
| }, |
| { |
| "epoch": 0.536, |
| "grad_norm": 11.123870849609375, |
| "learning_rate": 9.814084507042254e-05, |
| "loss": 0.8152318954467773, |
| "step": 1005 |
| }, |
| { |
| "epoch": 0.5386666666666666, |
| "grad_norm": 25.87432098388672, |
| "learning_rate": 9.75774647887324e-05, |
| "loss": 0.9588987350463867, |
| "step": 1010 |
| }, |
| { |
| "epoch": 0.5413333333333333, |
| "grad_norm": 20.340354919433594, |
| "learning_rate": 9.701408450704226e-05, |
| "loss": 1.0968738555908204, |
| "step": 1015 |
| }, |
| { |
| "epoch": 0.544, |
| "grad_norm": 19.68161964416504, |
| "learning_rate": 9.645070422535212e-05, |
| "loss": 1.1878189086914062, |
| "step": 1020 |
| }, |
| { |
| "epoch": 0.5466666666666666, |
| "grad_norm": 9.03043270111084, |
| "learning_rate": 9.588732394366197e-05, |
| "loss": 0.826905345916748, |
| "step": 1025 |
| }, |
| { |
| "epoch": 0.5493333333333333, |
| "grad_norm": 22.94878578186035, |
| "learning_rate": 9.532394366197184e-05, |
| "loss": 1.6063104629516602, |
| "step": 1030 |
| }, |
| { |
| "epoch": 0.552, |
| "grad_norm": 9.159972190856934, |
| "learning_rate": 9.47605633802817e-05, |
| "loss": 1.243835735321045, |
| "step": 1035 |
| }, |
| { |
| "epoch": 0.5546666666666666, |
| "grad_norm": 14.085321426391602, |
| "learning_rate": 9.419718309859155e-05, |
| "loss": 0.8413570404052735, |
| "step": 1040 |
| }, |
| { |
| "epoch": 0.5573333333333333, |
| "grad_norm": 13.26931095123291, |
| "learning_rate": 9.363380281690142e-05, |
| "loss": 0.976986026763916, |
| "step": 1045 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 13.833252906799316, |
| "learning_rate": 9.307042253521128e-05, |
| "loss": 1.0997989654541016, |
| "step": 1050 |
| }, |
| { |
| "epoch": 0.5626666666666666, |
| "grad_norm": 16.277999877929688, |
| "learning_rate": 9.250704225352113e-05, |
| "loss": 0.9721799850463867, |
| "step": 1055 |
| }, |
| { |
| "epoch": 0.5653333333333334, |
| "grad_norm": 20.761966705322266, |
| "learning_rate": 9.194366197183099e-05, |
| "loss": 0.9841132164001465, |
| "step": 1060 |
| }, |
| { |
| "epoch": 0.568, |
| "grad_norm": 11.584941864013672, |
| "learning_rate": 9.138028169014084e-05, |
| "loss": 0.8127043724060059, |
| "step": 1065 |
| }, |
| { |
| "epoch": 0.5706666666666667, |
| "grad_norm": 18.548738479614258, |
| "learning_rate": 9.081690140845071e-05, |
| "loss": 1.3868444442749024, |
| "step": 1070 |
| }, |
| { |
| "epoch": 0.5733333333333334, |
| "grad_norm": 16.279085159301758, |
| "learning_rate": 9.025352112676056e-05, |
| "loss": 1.0625202178955078, |
| "step": 1075 |
| }, |
| { |
| "epoch": 0.576, |
| "grad_norm": 9.50605583190918, |
| "learning_rate": 8.969014084507042e-05, |
| "loss": 0.9510531425476074, |
| "step": 1080 |
| }, |
| { |
| "epoch": 0.5786666666666667, |
| "grad_norm": 14.936691284179688, |
| "learning_rate": 8.912676056338029e-05, |
| "loss": 1.1408159255981445, |
| "step": 1085 |
| }, |
| { |
| "epoch": 0.5813333333333334, |
| "grad_norm": 13.016457557678223, |
| "learning_rate": 8.856338028169014e-05, |
| "loss": 0.7949912548065186, |
| "step": 1090 |
| }, |
| { |
| "epoch": 0.584, |
| "grad_norm": 11.177969932556152, |
| "learning_rate": 8.800000000000001e-05, |
| "loss": 1.1032251358032226, |
| "step": 1095 |
| }, |
| { |
| "epoch": 0.5866666666666667, |
| "grad_norm": 9.565118789672852, |
| "learning_rate": 8.743661971830987e-05, |
| "loss": 1.1028918266296386, |
| "step": 1100 |
| }, |
| { |
| "epoch": 0.5893333333333334, |
| "grad_norm": 17.4985294342041, |
| "learning_rate": 8.687323943661972e-05, |
| "loss": 0.9876574516296387, |
| "step": 1105 |
| }, |
| { |
| "epoch": 0.592, |
| "grad_norm": 11.867959976196289, |
| "learning_rate": 8.630985915492959e-05, |
| "loss": 0.6008494853973388, |
| "step": 1110 |
| }, |
| { |
| "epoch": 0.5946666666666667, |
| "grad_norm": 10.74477481842041, |
| "learning_rate": 8.574647887323944e-05, |
| "loss": 0.8852216720581054, |
| "step": 1115 |
| }, |
| { |
| "epoch": 0.5973333333333334, |
| "grad_norm": 20.49726104736328, |
| "learning_rate": 8.51830985915493e-05, |
| "loss": 1.2387124061584474, |
| "step": 1120 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 19.781417846679688, |
| "learning_rate": 8.461971830985917e-05, |
| "loss": 1.3470808029174806, |
| "step": 1125 |
| }, |
| { |
| "epoch": 0.6026666666666667, |
| "grad_norm": 20.8956356048584, |
| "learning_rate": 8.405633802816901e-05, |
| "loss": 1.0286130905151367, |
| "step": 1130 |
| }, |
| { |
| "epoch": 0.6053333333333333, |
| "grad_norm": 10.401113510131836, |
| "learning_rate": 8.349295774647888e-05, |
| "loss": 0.8110701560974121, |
| "step": 1135 |
| }, |
| { |
| "epoch": 0.608, |
| "grad_norm": 9.76196575164795, |
| "learning_rate": 8.292957746478873e-05, |
| "loss": 1.1098026275634765, |
| "step": 1140 |
| }, |
| { |
| "epoch": 0.6106666666666667, |
| "grad_norm": 9.565091133117676, |
| "learning_rate": 8.236619718309859e-05, |
| "loss": 1.0178056716918946, |
| "step": 1145 |
| }, |
| { |
| "epoch": 0.6133333333333333, |
| "grad_norm": 9.76402759552002, |
| "learning_rate": 8.180281690140846e-05, |
| "loss": 0.9441360473632813, |
| "step": 1150 |
| }, |
| { |
| "epoch": 0.616, |
| "grad_norm": 17.173063278198242, |
| "learning_rate": 8.123943661971831e-05, |
| "loss": 0.899685287475586, |
| "step": 1155 |
| }, |
| { |
| "epoch": 0.6186666666666667, |
| "grad_norm": 10.734676361083984, |
| "learning_rate": 8.067605633802817e-05, |
| "loss": 0.9201848030090332, |
| "step": 1160 |
| }, |
| { |
| "epoch": 0.6213333333333333, |
| "grad_norm": 22.0380802154541, |
| "learning_rate": 8.011267605633804e-05, |
| "loss": 1.027822208404541, |
| "step": 1165 |
| }, |
| { |
| "epoch": 0.624, |
| "grad_norm": 15.89146614074707, |
| "learning_rate": 7.954929577464789e-05, |
| "loss": 1.0512222290039062, |
| "step": 1170 |
| }, |
| { |
| "epoch": 0.6266666666666667, |
| "grad_norm": 11.83669662475586, |
| "learning_rate": 7.898591549295775e-05, |
| "loss": 1.0372687339782716, |
| "step": 1175 |
| }, |
| { |
| "epoch": 0.6293333333333333, |
| "grad_norm": 15.131078720092773, |
| "learning_rate": 7.842253521126761e-05, |
| "loss": 0.8796402931213378, |
| "step": 1180 |
| }, |
| { |
| "epoch": 0.632, |
| "grad_norm": 8.866487503051758, |
| "learning_rate": 7.785915492957747e-05, |
| "loss": 0.9567805290222168, |
| "step": 1185 |
| }, |
| { |
| "epoch": 0.6346666666666667, |
| "grad_norm": 10.498095512390137, |
| "learning_rate": 7.729577464788734e-05, |
| "loss": 1.0777140617370606, |
| "step": 1190 |
| }, |
| { |
| "epoch": 0.6373333333333333, |
| "grad_norm": 14.497345924377441, |
| "learning_rate": 7.673239436619719e-05, |
| "loss": 0.8498645782470703, |
| "step": 1195 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 12.432170867919922, |
| "learning_rate": 7.616901408450705e-05, |
| "loss": 0.9739762306213379, |
| "step": 1200 |
| }, |
| { |
| "epoch": 0.6426666666666667, |
| "grad_norm": 15.773965835571289, |
| "learning_rate": 7.56056338028169e-05, |
| "loss": 0.8198501586914062, |
| "step": 1205 |
| }, |
| { |
| "epoch": 0.6453333333333333, |
| "grad_norm": 9.523857116699219, |
| "learning_rate": 7.504225352112676e-05, |
| "loss": 0.7660105705261231, |
| "step": 1210 |
| }, |
| { |
| "epoch": 0.648, |
| "grad_norm": 14.207717895507812, |
| "learning_rate": 7.447887323943663e-05, |
| "loss": 0.9811992645263672, |
| "step": 1215 |
| }, |
| { |
| "epoch": 0.6506666666666666, |
| "grad_norm": 17.390621185302734, |
| "learning_rate": 7.391549295774648e-05, |
| "loss": 1.216018009185791, |
| "step": 1220 |
| }, |
| { |
| "epoch": 0.6533333333333333, |
| "grad_norm": 13.297640800476074, |
| "learning_rate": 7.335211267605634e-05, |
| "loss": 0.9281745910644531, |
| "step": 1225 |
| }, |
| { |
| "epoch": 0.656, |
| "grad_norm": 15.898597717285156, |
| "learning_rate": 7.27887323943662e-05, |
| "loss": 0.8819568634033204, |
| "step": 1230 |
| }, |
| { |
| "epoch": 0.6586666666666666, |
| "grad_norm": 9.780725479125977, |
| "learning_rate": 7.222535211267606e-05, |
| "loss": 0.8015809059143066, |
| "step": 1235 |
| }, |
| { |
| "epoch": 0.6613333333333333, |
| "grad_norm": 20.154296875, |
| "learning_rate": 7.166197183098591e-05, |
| "loss": 0.9563629150390625, |
| "step": 1240 |
| }, |
| { |
| "epoch": 0.664, |
| "grad_norm": 21.29193687438965, |
| "learning_rate": 7.109859154929578e-05, |
| "loss": 0.8515168190002441, |
| "step": 1245 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 17.525287628173828, |
| "learning_rate": 7.053521126760564e-05, |
| "loss": 0.9831605911254883, |
| "step": 1250 |
| }, |
| { |
| "epoch": 0.6693333333333333, |
| "grad_norm": 12.530348777770996, |
| "learning_rate": 6.99718309859155e-05, |
| "loss": 0.895012092590332, |
| "step": 1255 |
| }, |
| { |
| "epoch": 0.672, |
| "grad_norm": 14.069324493408203, |
| "learning_rate": 6.940845070422536e-05, |
| "loss": 1.1415173530578613, |
| "step": 1260 |
| }, |
| { |
| "epoch": 0.6746666666666666, |
| "grad_norm": 12.581381797790527, |
| "learning_rate": 6.884507042253522e-05, |
| "loss": 0.8772600173950196, |
| "step": 1265 |
| }, |
| { |
| "epoch": 0.6773333333333333, |
| "grad_norm": 17.823015213012695, |
| "learning_rate": 6.828169014084507e-05, |
| "loss": 1.038935089111328, |
| "step": 1270 |
| }, |
| { |
| "epoch": 0.68, |
| "grad_norm": 14.541642189025879, |
| "learning_rate": 6.771830985915494e-05, |
| "loss": 1.0479074478149415, |
| "step": 1275 |
| }, |
| { |
| "epoch": 0.6826666666666666, |
| "grad_norm": 12.310887336730957, |
| "learning_rate": 6.715492957746478e-05, |
| "loss": 0.8854532241821289, |
| "step": 1280 |
| }, |
| { |
| "epoch": 0.6853333333333333, |
| "grad_norm": 14.129690170288086, |
| "learning_rate": 6.659154929577465e-05, |
| "loss": 1.2202173233032227, |
| "step": 1285 |
| }, |
| { |
| "epoch": 0.688, |
| "grad_norm": 13.904383659362793, |
| "learning_rate": 6.60281690140845e-05, |
| "loss": 0.8993009567260742, |
| "step": 1290 |
| }, |
| { |
| "epoch": 0.6906666666666667, |
| "grad_norm": 10.860990524291992, |
| "learning_rate": 6.546478873239436e-05, |
| "loss": 0.7343950271606445, |
| "step": 1295 |
| }, |
| { |
| "epoch": 0.6933333333333334, |
| "grad_norm": 25.38591957092285, |
| "learning_rate": 6.490140845070423e-05, |
| "loss": 1.0468032836914063, |
| "step": 1300 |
| }, |
| { |
| "epoch": 0.696, |
| "grad_norm": 12.922870635986328, |
| "learning_rate": 6.433802816901408e-05, |
| "loss": 1.0598531723022462, |
| "step": 1305 |
| }, |
| { |
| "epoch": 0.6986666666666667, |
| "grad_norm": 11.476264953613281, |
| "learning_rate": 6.377464788732395e-05, |
| "loss": 0.856201171875, |
| "step": 1310 |
| }, |
| { |
| "epoch": 0.7013333333333334, |
| "grad_norm": 14.336483001708984, |
| "learning_rate": 6.321126760563381e-05, |
| "loss": 0.8292901039123535, |
| "step": 1315 |
| }, |
| { |
| "epoch": 0.704, |
| "grad_norm": 19.561649322509766, |
| "learning_rate": 6.264788732394366e-05, |
| "loss": 0.8379043579101563, |
| "step": 1320 |
| }, |
| { |
| "epoch": 0.7066666666666667, |
| "grad_norm": 13.40998363494873, |
| "learning_rate": 6.208450704225353e-05, |
| "loss": 1.0291654586791992, |
| "step": 1325 |
| }, |
| { |
| "epoch": 0.7093333333333334, |
| "grad_norm": 22.80845069885254, |
| "learning_rate": 6.152112676056339e-05, |
| "loss": 1.177057933807373, |
| "step": 1330 |
| }, |
| { |
| "epoch": 0.712, |
| "grad_norm": 21.09535789489746, |
| "learning_rate": 6.095774647887325e-05, |
| "loss": 1.1629014968872071, |
| "step": 1335 |
| }, |
| { |
| "epoch": 0.7146666666666667, |
| "grad_norm": 20.199729919433594, |
| "learning_rate": 6.03943661971831e-05, |
| "loss": 0.8523022651672363, |
| "step": 1340 |
| }, |
| { |
| "epoch": 0.7173333333333334, |
| "grad_norm": 15.14588451385498, |
| "learning_rate": 5.9830985915492965e-05, |
| "loss": 0.9984970092773438, |
| "step": 1345 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 13.1979398727417, |
| "learning_rate": 5.9267605633802827e-05, |
| "loss": 1.093438720703125, |
| "step": 1350 |
| }, |
| { |
| "epoch": 0.7226666666666667, |
| "grad_norm": 8.743319511413574, |
| "learning_rate": 5.8704225352112675e-05, |
| "loss": 0.7706329345703125, |
| "step": 1355 |
| }, |
| { |
| "epoch": 0.7253333333333334, |
| "grad_norm": 15.252840995788574, |
| "learning_rate": 5.8140845070422537e-05, |
| "loss": 1.070857334136963, |
| "step": 1360 |
| }, |
| { |
| "epoch": 0.728, |
| "grad_norm": 17.094482421875, |
| "learning_rate": 5.757746478873239e-05, |
| "loss": 0.8949590682983398, |
| "step": 1365 |
| }, |
| { |
| "epoch": 0.7306666666666667, |
| "grad_norm": 12.703916549682617, |
| "learning_rate": 5.701408450704225e-05, |
| "loss": 0.8990466117858886, |
| "step": 1370 |
| }, |
| { |
| "epoch": 0.7333333333333333, |
| "grad_norm": 9.848785400390625, |
| "learning_rate": 5.6450704225352115e-05, |
| "loss": 0.8244762420654297, |
| "step": 1375 |
| }, |
| { |
| "epoch": 0.736, |
| "grad_norm": 7.74479866027832, |
| "learning_rate": 5.588732394366197e-05, |
| "loss": 0.9082975387573242, |
| "step": 1380 |
| }, |
| { |
| "epoch": 0.7386666666666667, |
| "grad_norm": 14.771506309509277, |
| "learning_rate": 5.532394366197183e-05, |
| "loss": 1.0020447731018067, |
| "step": 1385 |
| }, |
| { |
| "epoch": 0.7413333333333333, |
| "grad_norm": 14.539424896240234, |
| "learning_rate": 5.4760563380281694e-05, |
| "loss": 1.0820822715759277, |
| "step": 1390 |
| }, |
| { |
| "epoch": 0.744, |
| "grad_norm": 15.38449478149414, |
| "learning_rate": 5.4197183098591556e-05, |
| "loss": 0.8620599746704102, |
| "step": 1395 |
| }, |
| { |
| "epoch": 0.7466666666666667, |
| "grad_norm": 16.059545516967773, |
| "learning_rate": 5.363380281690141e-05, |
| "loss": 0.9627724647521972, |
| "step": 1400 |
| }, |
| { |
| "epoch": 0.7493333333333333, |
| "grad_norm": 15.914315223693848, |
| "learning_rate": 5.307042253521127e-05, |
| "loss": 0.8405929565429687, |
| "step": 1405 |
| }, |
| { |
| "epoch": 0.752, |
| "grad_norm": 17.568416595458984, |
| "learning_rate": 5.2507042253521134e-05, |
| "loss": 0.7667024612426758, |
| "step": 1410 |
| }, |
| { |
| "epoch": 0.7546666666666667, |
| "grad_norm": 13.681654930114746, |
| "learning_rate": 5.1943661971830996e-05, |
| "loss": 0.9687021255493165, |
| "step": 1415 |
| }, |
| { |
| "epoch": 0.7573333333333333, |
| "grad_norm": 13.63232135772705, |
| "learning_rate": 5.138028169014085e-05, |
| "loss": 1.0848865509033203, |
| "step": 1420 |
| }, |
| { |
| "epoch": 0.76, |
| "grad_norm": 9.816920280456543, |
| "learning_rate": 5.08169014084507e-05, |
| "loss": 0.7380032062530517, |
| "step": 1425 |
| }, |
| { |
| "epoch": 0.7626666666666667, |
| "grad_norm": 14.642255783081055, |
| "learning_rate": 5.025352112676056e-05, |
| "loss": 1.0167881011962892, |
| "step": 1430 |
| }, |
| { |
| "epoch": 0.7653333333333333, |
| "grad_norm": 15.029377937316895, |
| "learning_rate": 4.969014084507043e-05, |
| "loss": 0.7467215061187744, |
| "step": 1435 |
| }, |
| { |
| "epoch": 0.768, |
| "grad_norm": 12.792193412780762, |
| "learning_rate": 4.9126760563380284e-05, |
| "loss": 1.0474912643432617, |
| "step": 1440 |
| }, |
| { |
| "epoch": 0.7706666666666667, |
| "grad_norm": 17.54759407043457, |
| "learning_rate": 4.856338028169014e-05, |
| "loss": 0.8720900535583496, |
| "step": 1445 |
| }, |
| { |
| "epoch": 0.7733333333333333, |
| "grad_norm": 15.774946212768555, |
| "learning_rate": 4.8e-05, |
| "loss": 1.0439233779907227, |
| "step": 1450 |
| }, |
| { |
| "epoch": 0.776, |
| "grad_norm": 11.803065299987793, |
| "learning_rate": 4.743661971830986e-05, |
| "loss": 0.8135843276977539, |
| "step": 1455 |
| }, |
| { |
| "epoch": 0.7786666666666666, |
| "grad_norm": 10.398380279541016, |
| "learning_rate": 4.687323943661972e-05, |
| "loss": 0.9753213882446289, |
| "step": 1460 |
| }, |
| { |
| "epoch": 0.7813333333333333, |
| "grad_norm": 13.671342849731445, |
| "learning_rate": 4.630985915492958e-05, |
| "loss": 0.787489938735962, |
| "step": 1465 |
| }, |
| { |
| "epoch": 0.784, |
| "grad_norm": 6.04373025894165, |
| "learning_rate": 4.574647887323944e-05, |
| "loss": 0.7826869010925293, |
| "step": 1470 |
| }, |
| { |
| "epoch": 0.7866666666666666, |
| "grad_norm": 18.103078842163086, |
| "learning_rate": 4.5183098591549297e-05, |
| "loss": 0.7870226383209229, |
| "step": 1475 |
| }, |
| { |
| "epoch": 0.7893333333333333, |
| "grad_norm": 21.879423141479492, |
| "learning_rate": 4.461971830985916e-05, |
| "loss": 1.0700525283813476, |
| "step": 1480 |
| }, |
| { |
| "epoch": 0.792, |
| "grad_norm": 17.141613006591797, |
| "learning_rate": 4.405633802816901e-05, |
| "loss": 1.0236069679260253, |
| "step": 1485 |
| }, |
| { |
| "epoch": 0.7946666666666666, |
| "grad_norm": 18.699905395507812, |
| "learning_rate": 4.3492957746478875e-05, |
| "loss": 1.0140624046325684, |
| "step": 1490 |
| }, |
| { |
| "epoch": 0.7973333333333333, |
| "grad_norm": 12.515463829040527, |
| "learning_rate": 4.292957746478874e-05, |
| "loss": 1.0575544357299804, |
| "step": 1495 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 17.791908264160156, |
| "learning_rate": 4.236619718309859e-05, |
| "loss": 0.903339958190918, |
| "step": 1500 |
| }, |
| { |
| "epoch": 0.8026666666666666, |
| "grad_norm": 12.577202796936035, |
| "learning_rate": 4.1802816901408454e-05, |
| "loss": 0.8581426620483399, |
| "step": 1505 |
| }, |
| { |
| "epoch": 0.8053333333333333, |
| "grad_norm": 13.092626571655273, |
| "learning_rate": 4.1239436619718315e-05, |
| "loss": 0.5728759765625, |
| "step": 1510 |
| }, |
| { |
| "epoch": 0.808, |
| "grad_norm": 14.69212818145752, |
| "learning_rate": 4.067605633802817e-05, |
| "loss": 0.8817619323730469, |
| "step": 1515 |
| }, |
| { |
| "epoch": 0.8106666666666666, |
| "grad_norm": 14.82973575592041, |
| "learning_rate": 4.0112676056338025e-05, |
| "loss": 0.9013817787170411, |
| "step": 1520 |
| }, |
| { |
| "epoch": 0.8133333333333334, |
| "grad_norm": 14.093798637390137, |
| "learning_rate": 3.954929577464789e-05, |
| "loss": 0.9989309310913086, |
| "step": 1525 |
| }, |
| { |
| "epoch": 0.816, |
| "grad_norm": 12.758882522583008, |
| "learning_rate": 3.898591549295775e-05, |
| "loss": 0.8488927841186523, |
| "step": 1530 |
| }, |
| { |
| "epoch": 0.8186666666666667, |
| "grad_norm": 13.375788688659668, |
| "learning_rate": 3.8422535211267604e-05, |
| "loss": 0.8079510688781738, |
| "step": 1535 |
| }, |
| { |
| "epoch": 0.8213333333333334, |
| "grad_norm": 14.266255378723145, |
| "learning_rate": 3.7859154929577466e-05, |
| "loss": 1.0262347221374513, |
| "step": 1540 |
| }, |
| { |
| "epoch": 0.824, |
| "grad_norm": 14.619465827941895, |
| "learning_rate": 3.729577464788733e-05, |
| "loss": 0.8827358245849609, |
| "step": 1545 |
| }, |
| { |
| "epoch": 0.8266666666666667, |
| "grad_norm": 16.26333236694336, |
| "learning_rate": 3.673239436619719e-05, |
| "loss": 0.9646097183227539, |
| "step": 1550 |
| }, |
| { |
| "epoch": 0.8293333333333334, |
| "grad_norm": 11.935120582580566, |
| "learning_rate": 3.6169014084507044e-05, |
| "loss": 0.7390913963317871, |
| "step": 1555 |
| }, |
| { |
| "epoch": 0.832, |
| "grad_norm": 16.843807220458984, |
| "learning_rate": 3.56056338028169e-05, |
| "loss": 0.8806550979614258, |
| "step": 1560 |
| }, |
| { |
| "epoch": 0.8346666666666667, |
| "grad_norm": 10.661538124084473, |
| "learning_rate": 3.504225352112676e-05, |
| "loss": 0.6919212341308594, |
| "step": 1565 |
| }, |
| { |
| "epoch": 0.8373333333333334, |
| "grad_norm": 15.085012435913086, |
| "learning_rate": 3.447887323943662e-05, |
| "loss": 0.6683915615081787, |
| "step": 1570 |
| }, |
| { |
| "epoch": 0.84, |
| "grad_norm": 15.049718856811523, |
| "learning_rate": 3.391549295774648e-05, |
| "loss": 0.7674442291259765, |
| "step": 1575 |
| }, |
| { |
| "epoch": 0.8426666666666667, |
| "grad_norm": 13.923637390136719, |
| "learning_rate": 3.335211267605634e-05, |
| "loss": 0.9300168037414551, |
| "step": 1580 |
| }, |
| { |
| "epoch": 0.8453333333333334, |
| "grad_norm": 16.75052833557129, |
| "learning_rate": 3.27887323943662e-05, |
| "loss": 1.0560007095336914, |
| "step": 1585 |
| }, |
| { |
| "epoch": 0.848, |
| "grad_norm": 8.197928428649902, |
| "learning_rate": 3.222535211267606e-05, |
| "loss": 1.0378225326538086, |
| "step": 1590 |
| }, |
| { |
| "epoch": 0.8506666666666667, |
| "grad_norm": 8.855152130126953, |
| "learning_rate": 3.166197183098591e-05, |
| "loss": 1.0333752632141113, |
| "step": 1595 |
| }, |
| { |
| "epoch": 0.8533333333333334, |
| "grad_norm": 10.662955284118652, |
| "learning_rate": 3.109859154929577e-05, |
| "loss": 0.977938175201416, |
| "step": 1600 |
| }, |
| { |
| "epoch": 0.856, |
| "grad_norm": 17.445756912231445, |
| "learning_rate": 3.0535211267605635e-05, |
| "loss": 0.6427709102630615, |
| "step": 1605 |
| }, |
| { |
| "epoch": 0.8586666666666667, |
| "grad_norm": 13.900308609008789, |
| "learning_rate": 2.9971830985915494e-05, |
| "loss": 0.824468994140625, |
| "step": 1610 |
| }, |
| { |
| "epoch": 0.8613333333333333, |
| "grad_norm": 18.600433349609375, |
| "learning_rate": 2.9408450704225355e-05, |
| "loss": 0.8357826232910156, |
| "step": 1615 |
| }, |
| { |
| "epoch": 0.864, |
| "grad_norm": 7.859604358673096, |
| "learning_rate": 2.8845070422535214e-05, |
| "loss": 0.7399312019348144, |
| "step": 1620 |
| }, |
| { |
| "epoch": 0.8666666666666667, |
| "grad_norm": 14.363836288452148, |
| "learning_rate": 2.8281690140845075e-05, |
| "loss": 0.9124371528625488, |
| "step": 1625 |
| }, |
| { |
| "epoch": 0.8693333333333333, |
| "grad_norm": 17.32538414001465, |
| "learning_rate": 2.7718309859154927e-05, |
| "loss": 0.8096609115600586, |
| "step": 1630 |
| }, |
| { |
| "epoch": 0.872, |
| "grad_norm": 19.805953979492188, |
| "learning_rate": 2.715492957746479e-05, |
| "loss": 0.961555290222168, |
| "step": 1635 |
| }, |
| { |
| "epoch": 0.8746666666666667, |
| "grad_norm": 17.760648727416992, |
| "learning_rate": 2.6591549295774647e-05, |
| "loss": 1.0311641693115234, |
| "step": 1640 |
| }, |
| { |
| "epoch": 0.8773333333333333, |
| "grad_norm": 8.935237884521484, |
| "learning_rate": 2.602816901408451e-05, |
| "loss": 0.7099412441253662, |
| "step": 1645 |
| }, |
| { |
| "epoch": 0.88, |
| "grad_norm": 15.16008186340332, |
| "learning_rate": 2.5464788732394367e-05, |
| "loss": 0.7797249794006348, |
| "step": 1650 |
| }, |
| { |
| "epoch": 0.8826666666666667, |
| "grad_norm": 10.203882217407227, |
| "learning_rate": 2.490140845070423e-05, |
| "loss": 0.5587462902069091, |
| "step": 1655 |
| }, |
| { |
| "epoch": 0.8853333333333333, |
| "grad_norm": 10.797262191772461, |
| "learning_rate": 2.4338028169014084e-05, |
| "loss": 0.7344427585601807, |
| "step": 1660 |
| }, |
| { |
| "epoch": 0.888, |
| "grad_norm": 10.679549217224121, |
| "learning_rate": 2.3774647887323946e-05, |
| "loss": 0.9067963600158692, |
| "step": 1665 |
| }, |
| { |
| "epoch": 0.8906666666666667, |
| "grad_norm": 13.83531665802002, |
| "learning_rate": 2.3211267605633804e-05, |
| "loss": 0.8581069946289063, |
| "step": 1670 |
| }, |
| { |
| "epoch": 0.8933333333333333, |
| "grad_norm": 19.637571334838867, |
| "learning_rate": 2.2647887323943663e-05, |
| "loss": 0.7693851470947266, |
| "step": 1675 |
| }, |
| { |
| "epoch": 0.896, |
| "grad_norm": 10.168420791625977, |
| "learning_rate": 2.208450704225352e-05, |
| "loss": 0.9181459426879883, |
| "step": 1680 |
| }, |
| { |
| "epoch": 0.8986666666666666, |
| "grad_norm": 9.159933090209961, |
| "learning_rate": 2.1521126760563383e-05, |
| "loss": 1.0267245292663574, |
| "step": 1685 |
| }, |
| { |
| "epoch": 0.9013333333333333, |
| "grad_norm": 12.77058219909668, |
| "learning_rate": 2.095774647887324e-05, |
| "loss": 0.7762954235076904, |
| "step": 1690 |
| }, |
| { |
| "epoch": 0.904, |
| "grad_norm": 10.468652725219727, |
| "learning_rate": 2.03943661971831e-05, |
| "loss": 0.7383725643157959, |
| "step": 1695 |
| }, |
| { |
| "epoch": 0.9066666666666666, |
| "grad_norm": 10.291525840759277, |
| "learning_rate": 1.9830985915492958e-05, |
| "loss": 0.8733257293701172, |
| "step": 1700 |
| }, |
| { |
| "epoch": 0.9093333333333333, |
| "grad_norm": 16.963106155395508, |
| "learning_rate": 1.926760563380282e-05, |
| "loss": 0.9532564163208008, |
| "step": 1705 |
| }, |
| { |
| "epoch": 0.912, |
| "grad_norm": 12.970492362976074, |
| "learning_rate": 1.870422535211268e-05, |
| "loss": 0.8566391944885254, |
| "step": 1710 |
| }, |
| { |
| "epoch": 0.9146666666666666, |
| "grad_norm": 18.952754974365234, |
| "learning_rate": 1.8140845070422537e-05, |
| "loss": 0.7218540191650391, |
| "step": 1715 |
| }, |
| { |
| "epoch": 0.9173333333333333, |
| "grad_norm": 17.35648536682129, |
| "learning_rate": 1.7577464788732395e-05, |
| "loss": 0.8458446502685547, |
| "step": 1720 |
| }, |
| { |
| "epoch": 0.92, |
| "grad_norm": 12.212597846984863, |
| "learning_rate": 1.7014084507042253e-05, |
| "loss": 0.739855146408081, |
| "step": 1725 |
| }, |
| { |
| "epoch": 0.9226666666666666, |
| "grad_norm": 13.862800598144531, |
| "learning_rate": 1.6450704225352112e-05, |
| "loss": 0.8825209617614747, |
| "step": 1730 |
| }, |
| { |
| "epoch": 0.9253333333333333, |
| "grad_norm": 15.820411682128906, |
| "learning_rate": 1.588732394366197e-05, |
| "loss": 0.8479454040527343, |
| "step": 1735 |
| }, |
| { |
| "epoch": 0.928, |
| "grad_norm": 18.70723533630371, |
| "learning_rate": 1.5323943661971832e-05, |
| "loss": 0.7951144218444824, |
| "step": 1740 |
| }, |
| { |
| "epoch": 0.9306666666666666, |
| "grad_norm": 15.519759178161621, |
| "learning_rate": 1.4760563380281692e-05, |
| "loss": 0.8283003807067871, |
| "step": 1745 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 16.416074752807617, |
| "learning_rate": 1.4197183098591549e-05, |
| "loss": 1.0900680541992187, |
| "step": 1750 |
| }, |
| { |
| "epoch": 0.936, |
| "grad_norm": 16.49802017211914, |
| "learning_rate": 1.3633802816901409e-05, |
| "loss": 0.7120608806610107, |
| "step": 1755 |
| }, |
| { |
| "epoch": 0.9386666666666666, |
| "grad_norm": 13.894171714782715, |
| "learning_rate": 1.3070422535211269e-05, |
| "loss": 0.694558572769165, |
| "step": 1760 |
| }, |
| { |
| "epoch": 0.9413333333333334, |
| "grad_norm": 23.735326766967773, |
| "learning_rate": 1.2507042253521129e-05, |
| "loss": 0.9606260299682617, |
| "step": 1765 |
| }, |
| { |
| "epoch": 0.944, |
| "grad_norm": 15.684523582458496, |
| "learning_rate": 1.1943661971830987e-05, |
| "loss": 0.8573785781860351, |
| "step": 1770 |
| }, |
| { |
| "epoch": 0.9466666666666667, |
| "grad_norm": 12.543280601501465, |
| "learning_rate": 1.1380281690140846e-05, |
| "loss": 0.595298957824707, |
| "step": 1775 |
| }, |
| { |
| "epoch": 0.9493333333333334, |
| "grad_norm": 16.33648109436035, |
| "learning_rate": 1.0816901408450706e-05, |
| "loss": 0.8555801391601563, |
| "step": 1780 |
| }, |
| { |
| "epoch": 0.952, |
| "grad_norm": 16.919790267944336, |
| "learning_rate": 1.0253521126760564e-05, |
| "loss": 0.7615976810455323, |
| "step": 1785 |
| }, |
| { |
| "epoch": 0.9546666666666667, |
| "grad_norm": 16.819063186645508, |
| "learning_rate": 9.690140845070424e-06, |
| "loss": 0.9251697540283204, |
| "step": 1790 |
| }, |
| { |
| "epoch": 0.9573333333333334, |
| "grad_norm": 11.041075706481934, |
| "learning_rate": 9.126760563380283e-06, |
| "loss": 0.8104904174804688, |
| "step": 1795 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 24.30575942993164, |
| "learning_rate": 8.563380281690141e-06, |
| "loss": 1.0034709930419923, |
| "step": 1800 |
| }, |
| { |
| "epoch": 0.9626666666666667, |
| "grad_norm": 19.704416275024414, |
| "learning_rate": 8.000000000000001e-06, |
| "loss": 0.7715695381164551, |
| "step": 1805 |
| }, |
| { |
| "epoch": 0.9653333333333334, |
| "grad_norm": 9.600106239318848, |
| "learning_rate": 7.436619718309859e-06, |
| "loss": 0.6620649337768555, |
| "step": 1810 |
| }, |
| { |
| "epoch": 0.968, |
| "grad_norm": 15.256562232971191, |
| "learning_rate": 6.873239436619719e-06, |
| "loss": 0.704839038848877, |
| "step": 1815 |
| }, |
| { |
| "epoch": 0.9706666666666667, |
| "grad_norm": 11.678616523742676, |
| "learning_rate": 6.309859154929577e-06, |
| "loss": 0.68502779006958, |
| "step": 1820 |
| }, |
| { |
| "epoch": 0.9733333333333334, |
| "grad_norm": 10.754752159118652, |
| "learning_rate": 5.746478873239437e-06, |
| "loss": 0.7562795162200928, |
| "step": 1825 |
| }, |
| { |
| "epoch": 0.976, |
| "grad_norm": 13.374924659729004, |
| "learning_rate": 5.183098591549296e-06, |
| "loss": 0.8530323028564453, |
| "step": 1830 |
| }, |
| { |
| "epoch": 0.9786666666666667, |
| "grad_norm": 9.693758010864258, |
| "learning_rate": 4.619718309859155e-06, |
| "loss": 0.6800795078277588, |
| "step": 1835 |
| }, |
| { |
| "epoch": 0.9813333333333333, |
| "grad_norm": 16.72907829284668, |
| "learning_rate": 4.056338028169014e-06, |
| "loss": 0.7294739723205567, |
| "step": 1840 |
| }, |
| { |
| "epoch": 0.984, |
| "grad_norm": 15.313898086547852, |
| "learning_rate": 3.492957746478873e-06, |
| "loss": 0.855219841003418, |
| "step": 1845 |
| }, |
| { |
| "epoch": 0.9866666666666667, |
| "grad_norm": 13.609386444091797, |
| "learning_rate": 2.9295774647887324e-06, |
| "loss": 0.6717154026031494, |
| "step": 1850 |
| }, |
| { |
| "epoch": 0.9893333333333333, |
| "grad_norm": 16.878602981567383, |
| "learning_rate": 2.3661971830985916e-06, |
| "loss": 0.8576285362243652, |
| "step": 1855 |
| }, |
| { |
| "epoch": 0.992, |
| "grad_norm": 11.00202465057373, |
| "learning_rate": 1.8028169014084509e-06, |
| "loss": 0.6212804317474365, |
| "step": 1860 |
| }, |
| { |
| "epoch": 0.9946666666666667, |
| "grad_norm": 15.252646446228027, |
| "learning_rate": 1.2394366197183099e-06, |
| "loss": 0.7742465496063232, |
| "step": 1865 |
| }, |
| { |
| "epoch": 0.9973333333333333, |
| "grad_norm": 7.922449111938477, |
| "learning_rate": 6.760563380281691e-07, |
| "loss": 0.7666064262390136, |
| "step": 1870 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 21.231048583984375, |
| "learning_rate": 1.1267605633802818e-07, |
| "loss": 0.6064828872680664, |
| "step": 1875 |
| } |
| ], |
| "logging_steps": 5, |
| "max_steps": 1875, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 1, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 0.0, |
| "train_batch_size": 16, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
