| { | |
| "best_global_step": null, | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 0.4666666666666667, | |
| "eval_steps": 500, | |
| "global_step": 1400, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.006666666666666667, | |
| "grad_norm": 3.3801944255828857, | |
| "learning_rate": 9.5e-06, | |
| "loss": 3.710173416137695, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.013333333333333334, | |
| "grad_norm": 2.4231245517730713, | |
| "learning_rate": 1.9500000000000003e-05, | |
| "loss": 3.2622753143310548, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.02, | |
| "grad_norm": 2.0525474548339844, | |
| "learning_rate": 2.95e-05, | |
| "loss": 2.287516975402832, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 1.2226288318634033, | |
| "learning_rate": 3.9500000000000005e-05, | |
| "loss": 1.6385210037231446, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.03333333333333333, | |
| "grad_norm": 2.2779319286346436, | |
| "learning_rate": 4.9500000000000004e-05, | |
| "loss": 1.4153234481811523, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.04, | |
| "grad_norm": 1.5858861207962036, | |
| "learning_rate": 4.9994704516344666e-05, | |
| "loss": 1.4460668563842773, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.04666666666666667, | |
| "grad_norm": 1.251664161682129, | |
| "learning_rate": 4.99776910887808e-05, | |
| "loss": 1.5103114128112793, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 2.4487648010253906, | |
| "learning_rate": 4.9948953034032466e-05, | |
| "loss": 1.3196531295776368, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.06, | |
| "grad_norm": 1.276078701019287, | |
| "learning_rate": 4.990850384185648e-05, | |
| "loss": 1.3049612045288086, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 1.4780528545379639, | |
| "learning_rate": 4.985636249926392e-05, | |
| "loss": 1.164187526702881, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.07333333333333333, | |
| "grad_norm": 1.1906464099884033, | |
| "learning_rate": 4.979255348160766e-05, | |
| "loss": 1.418909740447998, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 1.3630824089050293, | |
| "learning_rate": 4.9717106741093454e-05, | |
| "loss": 1.0971190452575683, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.08666666666666667, | |
| "grad_norm": 1.3592742681503296, | |
| "learning_rate": 4.96300576927203e-05, | |
| "loss": 1.358650016784668, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.09333333333333334, | |
| "grad_norm": 1.215366244316101, | |
| "learning_rate": 4.953144719765649e-05, | |
| "loss": 1.3464448928833008, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "grad_norm": 1.00632643699646, | |
| "learning_rate": 4.942132154405919e-05, | |
| "loss": 0.925452709197998, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 1.3117424249649048, | |
| "learning_rate": 4.9299732425346626e-05, | |
| "loss": 1.4749733924865722, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.11333333333333333, | |
| "grad_norm": 1.153543472290039, | |
| "learning_rate": 4.9166736915933e-05, | |
| "loss": 1.339738368988037, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.12, | |
| "grad_norm": 1.147539496421814, | |
| "learning_rate": 4.9022397444437495e-05, | |
| "loss": 1.1870535850524901, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.12666666666666668, | |
| "grad_norm": 1.023755431175232, | |
| "learning_rate": 4.886678176438004e-05, | |
| "loss": 0.9843617439270019, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 0.9747999906539917, | |
| "learning_rate": 4.869996292237757e-05, | |
| "loss": 0.9861419677734375, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 0.14, | |
| "grad_norm": 0.9171973466873169, | |
| "learning_rate": 4.852201922385564e-05, | |
| "loss": 1.001624870300293, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 0.14666666666666667, | |
| "grad_norm": 0.7914513945579529, | |
| "learning_rate": 4.8333034196291516e-05, | |
| "loss": 0.9351105690002441, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 0.15333333333333332, | |
| "grad_norm": 0.8947938680648804, | |
| "learning_rate": 4.8133096550006096e-05, | |
| "loss": 1.0424003601074219, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 0.7379234433174133, | |
| "learning_rate": 4.7922300136522914e-05, | |
| "loss": 0.9020758628845215, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 0.16666666666666666, | |
| "grad_norm": 0.720455527305603, | |
| "learning_rate": 4.7700743904513836e-05, | |
| "loss": 0.8897322654724121, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.17333333333333334, | |
| "grad_norm": 1.3379108905792236, | |
| "learning_rate": 4.746853185335221e-05, | |
| "loss": 0.9499833106994628, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 0.18, | |
| "grad_norm": 0.9506772756576538, | |
| "learning_rate": 4.722577298429512e-05, | |
| "loss": 1.4986319541931152, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 1.5777019262313843, | |
| "learning_rate": 4.697258124931776e-05, | |
| "loss": 1.3104500770568848, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 0.19333333333333333, | |
| "grad_norm": 1.2068767547607422, | |
| "learning_rate": 4.670907549762392e-05, | |
| "loss": 0.9996993064880371, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 1.3350718021392822, | |
| "learning_rate": 4.643537941985775e-05, | |
| "loss": 1.0175305366516114, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 0.20666666666666667, | |
| "grad_norm": 1.7439497709274292, | |
| "learning_rate": 4.6151621490042805e-05, | |
| "loss": 1.0757975578308105, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 1.2179644107818604, | |
| "learning_rate": 4.5857934905275895e-05, | |
| "loss": 1.1192784309387207, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 0.22, | |
| "grad_norm": 1.1882299184799194, | |
| "learning_rate": 4.555445752320379e-05, | |
| "loss": 0.9488797187805176, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 0.22666666666666666, | |
| "grad_norm": 1.0356523990631104, | |
| "learning_rate": 4.524133179731231e-05, | |
| "loss": 0.3407599449157715, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 0.23333333333333334, | |
| "grad_norm": 1.4150390625, | |
| "learning_rate": 4.491870471005814e-05, | |
| "loss": 0.9790312767028808, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 1.3073979616165161, | |
| "learning_rate": 4.4586727703874606e-05, | |
| "loss": 1.325801467895508, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 0.24666666666666667, | |
| "grad_norm": 1.2574576139450073, | |
| "learning_rate": 4.424555661008406e-05, | |
| "loss": 1.1854475021362305, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 0.25333333333333335, | |
| "grad_norm": 1.4099619388580322, | |
| "learning_rate": 4.389535157574998e-05, | |
| "loss": 1.0839804649353026, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 0.26, | |
| "grad_norm": 1.2009291648864746, | |
| "learning_rate": 4.3536276988503366e-05, | |
| "loss": 1.030893611907959, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 1.0084775686264038, | |
| "learning_rate": 4.316850139937849e-05, | |
| "loss": 0.9282444000244141, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 0.2733333333333333, | |
| "grad_norm": 1.166970133781433, | |
| "learning_rate": 4.27921974436944e-05, | |
| "loss": 0.9386281967163086, | |
| "step": 820 | |
| }, | |
| { | |
| "epoch": 0.28, | |
| "grad_norm": 1.1025112867355347, | |
| "learning_rate": 4.24075417600192e-05, | |
| "loss": 1.0037524223327636, | |
| "step": 840 | |
| }, | |
| { | |
| "epoch": 0.2866666666666667, | |
| "grad_norm": 1.2833219766616821, | |
| "learning_rate": 4.20147149072552e-05, | |
| "loss": 0.7834305763244629, | |
| "step": 860 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 1.5375336408615112, | |
| "learning_rate": 4.1613901279883885e-05, | |
| "loss": 1.0162606239318848, | |
| "step": 880 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "grad_norm": 1.2366664409637451, | |
| "learning_rate": 4.120528902141038e-05, | |
| "loss": 1.101635456085205, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 0.30666666666666664, | |
| "grad_norm": 1.1046019792556763, | |
| "learning_rate": 4.0789069936048135e-05, | |
| "loss": 1.0482959747314453, | |
| "step": 920 | |
| }, | |
| { | |
| "epoch": 0.31333333333333335, | |
| "grad_norm": 1.8129781484603882, | |
| "learning_rate": 4.036543939868533e-05, | |
| "loss": 1.2192636489868165, | |
| "step": 940 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 0.8395664691925049, | |
| "learning_rate": 3.993459626317506e-05, | |
| "loss": 0.8940506935119629, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 0.32666666666666666, | |
| "grad_norm": 1.2955873012542725, | |
| "learning_rate": 3.949674276899257e-05, | |
| "loss": 0.7923289775848389, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 1.2329128980636597, | |
| "learning_rate": 3.905208444630327e-05, | |
| "loss": 0.6925106525421143, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.34, | |
| "grad_norm": 1.7410433292388916, | |
| "learning_rate": 3.8600830019486013e-05, | |
| "loss": 1.0536805152893067, | |
| "step": 1020 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 1.0676844120025635, | |
| "learning_rate": 3.814319130915709e-05, | |
| "loss": 1.2916886329650878, | |
| "step": 1040 | |
| }, | |
| { | |
| "epoch": 0.35333333333333333, | |
| "grad_norm": 1.0247275829315186, | |
| "learning_rate": 3.7679383132740767e-05, | |
| "loss": 1.041970157623291, | |
| "step": 1060 | |
| }, | |
| { | |
| "epoch": 0.36, | |
| "grad_norm": 1.2280709743499756, | |
| "learning_rate": 3.720962320363313e-05, | |
| "loss": 0.7665971755981446, | |
| "step": 1080 | |
| }, | |
| { | |
| "epoch": 0.36666666666666664, | |
| "grad_norm": 1.792985200881958, | |
| "learning_rate": 3.673413202900659e-05, | |
| "loss": 0.9495917320251465, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 0.9368265867233276, | |
| "learning_rate": 3.6253132806302895e-05, | |
| "loss": 0.7774296283721924, | |
| "step": 1120 | |
| }, | |
| { | |
| "epoch": 0.38, | |
| "grad_norm": 1.2027090787887573, | |
| "learning_rate": 3.576685131846339e-05, | |
| "loss": 0.9888124465942383, | |
| "step": 1140 | |
| }, | |
| { | |
| "epoch": 0.38666666666666666, | |
| "grad_norm": 1.8240844011306763, | |
| "learning_rate": 3.5275515827945635e-05, | |
| "loss": 1.134997844696045, | |
| "step": 1160 | |
| }, | |
| { | |
| "epoch": 0.3933333333333333, | |
| "grad_norm": 0.8984581828117371, | |
| "learning_rate": 3.4779356969576044e-05, | |
| "loss": 0.6457856655120849, | |
| "step": 1180 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.8814728260040283, | |
| "learning_rate": 3.427860764228903e-05, | |
| "loss": 0.8272159576416016, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 0.4066666666666667, | |
| "grad_norm": 1.533231496810913, | |
| "learning_rate": 3.377350289980331e-05, | |
| "loss": 0.7864272117614746, | |
| "step": 1220 | |
| }, | |
| { | |
| "epoch": 0.41333333333333333, | |
| "grad_norm": 1.4076637029647827, | |
| "learning_rate": 3.326427984028675e-05, | |
| "loss": 0.9194063186645508, | |
| "step": 1240 | |
| }, | |
| { | |
| "epoch": 0.42, | |
| "grad_norm": 1.770647406578064, | |
| "learning_rate": 3.275117749506156e-05, | |
| "loss": 1.0757792472839356, | |
| "step": 1260 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 1.488553524017334, | |
| "learning_rate": 3.2234436716402025e-05, | |
| "loss": 1.0499624252319335, | |
| "step": 1280 | |
| }, | |
| { | |
| "epoch": 0.43333333333333335, | |
| "grad_norm": 0.9816551804542542, | |
| "learning_rate": 3.171430006447751e-05, | |
| "loss": 1.106693172454834, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 0.44, | |
| "grad_norm": 0.9064175486564636, | |
| "learning_rate": 3.119101169349374e-05, | |
| "loss": 0.692702341079712, | |
| "step": 1320 | |
| }, | |
| { | |
| "epoch": 0.44666666666666666, | |
| "grad_norm": 0.8113229870796204, | |
| "learning_rate": 3.066481723708587e-05, | |
| "loss": 0.41944007873535155, | |
| "step": 1340 | |
| }, | |
| { | |
| "epoch": 0.4533333333333333, | |
| "grad_norm": 0.6801184415817261, | |
| "learning_rate": 3.013596369301706e-05, | |
| "loss": 0.26016736030578613, | |
| "step": 1360 | |
| }, | |
| { | |
| "epoch": 0.46, | |
| "grad_norm": 0.9605411887168884, | |
| "learning_rate": 2.9604699307236765e-05, | |
| "loss": 0.47470459938049314, | |
| "step": 1380 | |
| }, | |
| { | |
| "epoch": 0.4666666666666667, | |
| "grad_norm": 1.1666914224624634, | |
| "learning_rate": 2.9071273457353082e-05, | |
| "loss": 0.5180130481719971, | |
| "step": 1400 | |
| } | |
| ], | |
| "logging_steps": 20, | |
| "max_steps": 3000, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 9223372036854775807, | |
| "save_steps": 200, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 2926523606630400.0, | |
| "train_batch_size": 4, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |