| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 4.0, |
| "eval_steps": 19, |
| "global_step": 96, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.041666666666666664, |
| "grad_norm": 0.8793060183525085, |
| "learning_rate": 0.0, |
| "loss": 1.1922607421875, |
| "step": 1 |
| }, |
| { |
| "epoch": 0.08333333333333333, |
| "grad_norm": 0.9236243367195129, |
| "learning_rate": 0.0001, |
| "loss": 1.1376953125, |
| "step": 2 |
| }, |
| { |
| "epoch": 0.125, |
| "grad_norm": 0.2843455970287323, |
| "learning_rate": 9.997539658034168e-05, |
| "loss": 0.7738800048828125, |
| "step": 3 |
| }, |
| { |
| "epoch": 0.16666666666666666, |
| "grad_norm": 0.26448318362236023, |
| "learning_rate": 9.990161322484486e-05, |
| "loss": 0.9853973388671875, |
| "step": 4 |
| }, |
| { |
| "epoch": 0.20833333333333334, |
| "grad_norm": 0.11444772034883499, |
| "learning_rate": 9.977873061452552e-05, |
| "loss": 0.9564609527587891, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.25, |
| "grad_norm": 0.147213876247406, |
| "learning_rate": 9.96068831197139e-05, |
| "loss": 0.93408203125, |
| "step": 6 |
| }, |
| { |
| "epoch": 0.2916666666666667, |
| "grad_norm": 0.1659262478351593, |
| "learning_rate": 9.938625865312251e-05, |
| "loss": 0.9327259063720703, |
| "step": 7 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 0.14943991601467133, |
| "learning_rate": 9.911709846436641e-05, |
| "loss": 1.0107307434082031, |
| "step": 8 |
| }, |
| { |
| "epoch": 0.375, |
| "grad_norm": 0.10237906128168106, |
| "learning_rate": 9.879969687616027e-05, |
| "loss": 0.9565887451171875, |
| "step": 9 |
| }, |
| { |
| "epoch": 0.4166666666666667, |
| "grad_norm": 0.08303987234830856, |
| "learning_rate": 9.84344009624807e-05, |
| "loss": 0.8689174652099609, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.4583333333333333, |
| "grad_norm": 0.06906509399414062, |
| "learning_rate": 9.80216101690461e-05, |
| "loss": 0.8139371871948242, |
| "step": 11 |
| }, |
| { |
| "epoch": 0.5, |
| "grad_norm": 0.0893741250038147, |
| "learning_rate": 9.756177587652856e-05, |
| "loss": 0.9046802520751953, |
| "step": 12 |
| }, |
| { |
| "epoch": 0.5416666666666666, |
| "grad_norm": 0.0950048640370369, |
| "learning_rate": 9.705540090697575e-05, |
| "loss": 0.9661464691162109, |
| "step": 13 |
| }, |
| { |
| "epoch": 0.5833333333333334, |
| "grad_norm": 0.09773612767457962, |
| "learning_rate": 9.650303897398232e-05, |
| "loss": 0.9238529205322266, |
| "step": 14 |
| }, |
| { |
| "epoch": 0.625, |
| "grad_norm": 0.07399343699216843, |
| "learning_rate": 9.590529407721231e-05, |
| "loss": 0.9286479949951172, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 0.08683284372091293, |
| "learning_rate": 9.526281984193436e-05, |
| "loss": 0.8059654235839844, |
| "step": 16 |
| }, |
| { |
| "epoch": 0.7083333333333334, |
| "grad_norm": 0.08106762170791626, |
| "learning_rate": 9.4576318804292e-05, |
| "loss": 0.8695812225341797, |
| "step": 17 |
| }, |
| { |
| "epoch": 0.75, |
| "grad_norm": 0.07135742902755737, |
| "learning_rate": 9.384654164309083e-05, |
| "loss": 0.8596839904785156, |
| "step": 18 |
| }, |
| { |
| "epoch": 0.7916666666666666, |
| "grad_norm": 0.07224518060684204, |
| "learning_rate": 9.30742863589421e-05, |
| "loss": 0.8866386413574219, |
| "step": 19 |
| }, |
| { |
| "epoch": 0.8333333333333334, |
| "grad_norm": 0.049965087324380875, |
| "learning_rate": 9.226039740166091e-05, |
| "loss": 0.8490200042724609, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.8333333333333334, |
| "eval_loss": 0.70703125, |
| "eval_runtime": 2.2447, |
| "eval_samples_per_second": 2.228, |
| "eval_steps_per_second": 0.446, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.875, |
| "grad_norm": 0.08873027563095093, |
| "learning_rate": 9.140576474687264e-05, |
| "loss": 0.7799034118652344, |
| "step": 21 |
| }, |
| { |
| "epoch": 0.9166666666666666, |
| "grad_norm": 0.06065167486667633, |
| "learning_rate": 9.051132292283771e-05, |
| "loss": 0.8547039031982422, |
| "step": 22 |
| }, |
| { |
| "epoch": 0.9583333333333334, |
| "grad_norm": 0.07170149683952332, |
| "learning_rate": 8.957804998855866e-05, |
| "loss": 0.9889545440673828, |
| "step": 23 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 0.06963331997394562, |
| "learning_rate": 8.860696646428693e-05, |
| "loss": 0.8532295227050781, |
| "step": 24 |
| }, |
| { |
| "epoch": 1.0416666666666667, |
| "grad_norm": 0.06944938749074936, |
| "learning_rate": 8.759913421559902e-05, |
| "loss": 0.8123455047607422, |
| "step": 25 |
| }, |
| { |
| "epoch": 1.0833333333333333, |
| "grad_norm": 0.05863318592309952, |
| "learning_rate": 8.655565529226198e-05, |
| "loss": 0.7635040283203125, |
| "step": 26 |
| }, |
| { |
| "epoch": 1.125, |
| "grad_norm": 0.04687070474028587, |
| "learning_rate": 8.547767072315835e-05, |
| "loss": 0.626739501953125, |
| "step": 27 |
| }, |
| { |
| "epoch": 1.1666666666666667, |
| "grad_norm": 0.09054134786128998, |
| "learning_rate": 8.436635926858759e-05, |
| "loss": 0.8233604431152344, |
| "step": 28 |
| }, |
| { |
| "epoch": 1.2083333333333333, |
| "grad_norm": 0.052699826657772064, |
| "learning_rate": 8.322293613130917e-05, |
| "loss": 0.8357448577880859, |
| "step": 29 |
| }, |
| { |
| "epoch": 1.25, |
| "grad_norm": 0.047030121088027954, |
| "learning_rate": 8.204865162773613e-05, |
| "loss": 0.81787109375, |
| "step": 30 |
| }, |
| { |
| "epoch": 1.2916666666666667, |
| "grad_norm": 0.052900541573762894, |
| "learning_rate": 8.084478982073247e-05, |
| "loss": 0.8191127777099609, |
| "step": 31 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "grad_norm": 0.06003842130303383, |
| "learning_rate": 7.961266711550922e-05, |
| "loss": 0.8995933532714844, |
| "step": 32 |
| }, |
| { |
| "epoch": 1.375, |
| "grad_norm": 0.059103600680828094, |
| "learning_rate": 7.835363082015468e-05, |
| "loss": 0.8704128265380859, |
| "step": 33 |
| }, |
| { |
| "epoch": 1.4166666666666667, |
| "grad_norm": 0.058741144835948944, |
| "learning_rate": 7.706905767237288e-05, |
| "loss": 0.800018310546875, |
| "step": 34 |
| }, |
| { |
| "epoch": 1.4583333333333333, |
| "grad_norm": 0.0494692288339138, |
| "learning_rate": 7.576035233404096e-05, |
| "loss": 0.7496585845947266, |
| "step": 35 |
| }, |
| { |
| "epoch": 1.5, |
| "grad_norm": 0.07651121914386749, |
| "learning_rate": 7.442894585523218e-05, |
| "loss": 0.8236103057861328, |
| "step": 36 |
| }, |
| { |
| "epoch": 1.5416666666666665, |
| "grad_norm": 0.07268194854259491, |
| "learning_rate": 7.307629410938363e-05, |
| "loss": 0.8843345642089844, |
| "step": 37 |
| }, |
| { |
| "epoch": 1.5833333333333335, |
| "grad_norm": 0.06088404729962349, |
| "learning_rate": 7.170387620131993e-05, |
| "loss": 0.8448820114135742, |
| "step": 38 |
| }, |
| { |
| "epoch": 1.625, |
| "grad_norm": 0.04881656914949417, |
| "learning_rate": 7.031319284987394e-05, |
| "loss": 0.8646316528320312, |
| "step": 39 |
| }, |
| { |
| "epoch": 1.625, |
| "eval_loss": 0.677978515625, |
| "eval_runtime": 2.2474, |
| "eval_samples_per_second": 2.225, |
| "eval_steps_per_second": 0.445, |
| "step": 39 |
| }, |
| { |
| "epoch": 1.6666666666666665, |
| "grad_norm": 0.06063127890229225, |
| "learning_rate": 6.890576474687263e-05, |
| "loss": 0.7459278106689453, |
| "step": 40 |
| }, |
| { |
| "epoch": 1.7083333333333335, |
| "grad_norm": 0.06719189882278442, |
| "learning_rate": 6.7483130894283e-05, |
| "loss": 0.8032417297363281, |
| "step": 41 |
| }, |
| { |
| "epoch": 1.75, |
| "grad_norm": 0.05449753254652023, |
| "learning_rate": 6.604684692133597e-05, |
| "loss": 0.8038978576660156, |
| "step": 42 |
| }, |
| { |
| "epoch": 1.7916666666666665, |
| "grad_norm": 0.06328374147415161, |
| "learning_rate": 6.459848338346861e-05, |
| "loss": 0.8226470947265625, |
| "step": 43 |
| }, |
| { |
| "epoch": 1.8333333333333335, |
| "grad_norm": 0.04831730201840401, |
| "learning_rate": 6.313962404494496e-05, |
| "loss": 0.8016071319580078, |
| "step": 44 |
| }, |
| { |
| "epoch": 1.875, |
| "grad_norm": 0.0738108828663826, |
| "learning_rate": 6.167186414703289e-05, |
| "loss": 0.7264728546142578, |
| "step": 45 |
| }, |
| { |
| "epoch": 1.9166666666666665, |
| "grad_norm": 0.05554795265197754, |
| "learning_rate": 6.019680866363139e-05, |
| "loss": 0.8036289215087891, |
| "step": 46 |
| }, |
| { |
| "epoch": 1.9583333333333335, |
| "grad_norm": 0.06595105677843094, |
| "learning_rate": 5.8716070546254966e-05, |
| "loss": 0.9345455169677734, |
| "step": 47 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 0.06640685349702835, |
| "learning_rate": 5.7231268960295e-05, |
| "loss": 0.795257568359375, |
| "step": 48 |
| }, |
| { |
| "epoch": 2.0416666666666665, |
| "grad_norm": 0.06418655812740326, |
| "learning_rate": 5.574402751448614e-05, |
| "loss": 0.7591991424560547, |
| "step": 49 |
| }, |
| { |
| "epoch": 2.0833333333333335, |
| "grad_norm": 0.06147291138768196, |
| "learning_rate": 5.425597248551387e-05, |
| "loss": 0.7209262847900391, |
| "step": 50 |
| }, |
| { |
| "epoch": 2.125, |
| "grad_norm": 0.04414745047688484, |
| "learning_rate": 5.2768731039705e-05, |
| "loss": 0.5957622528076172, |
| "step": 51 |
| }, |
| { |
| "epoch": 2.1666666666666665, |
| "grad_norm": 0.07838333398103714, |
| "learning_rate": 5.128392945374505e-05, |
| "loss": 0.765411376953125, |
| "step": 52 |
| }, |
| { |
| "epoch": 2.2083333333333335, |
| "grad_norm": 0.05295613780617714, |
| "learning_rate": 4.980319133636863e-05, |
| "loss": 0.8023247718811035, |
| "step": 53 |
| }, |
| { |
| "epoch": 2.25, |
| "grad_norm": 0.0547562837600708, |
| "learning_rate": 4.83281358529671e-05, |
| "loss": 0.789794921875, |
| "step": 54 |
| }, |
| { |
| "epoch": 2.2916666666666665, |
| "grad_norm": 0.0593954473733902, |
| "learning_rate": 4.686037595505507e-05, |
| "loss": 0.7842569351196289, |
| "step": 55 |
| }, |
| { |
| "epoch": 2.3333333333333335, |
| "grad_norm": 0.06293150037527084, |
| "learning_rate": 4.54015166165314e-05, |
| "loss": 0.8622207641601562, |
| "step": 56 |
| }, |
| { |
| "epoch": 2.375, |
| "grad_norm": 0.06123076751828194, |
| "learning_rate": 4.395315307866405e-05, |
| "loss": 0.8332023620605469, |
| "step": 57 |
| }, |
| { |
| "epoch": 2.4166666666666665, |
| "grad_norm": 0.05895160138607025, |
| "learning_rate": 4.2516869105717004e-05, |
| "loss": 0.7705469131469727, |
| "step": 58 |
| }, |
| { |
| "epoch": 2.4166666666666665, |
| "eval_loss": 0.669921875, |
| "eval_runtime": 2.2514, |
| "eval_samples_per_second": 2.221, |
| "eval_steps_per_second": 0.444, |
| "step": 58 |
| }, |
| { |
| "epoch": 2.4583333333333335, |
| "grad_norm": 0.051167454570531845, |
| "learning_rate": 4.109423525312738e-05, |
| "loss": 0.7212095260620117, |
| "step": 59 |
| }, |
| { |
| "epoch": 2.5, |
| "grad_norm": 0.08035021275281906, |
| "learning_rate": 3.968680715012606e-05, |
| "loss": 0.7839260101318359, |
| "step": 60 |
| }, |
| { |
| "epoch": 2.5416666666666665, |
| "grad_norm": 0.07387541979551315, |
| "learning_rate": 3.829612379868006e-05, |
| "loss": 0.8469581604003906, |
| "step": 61 |
| }, |
| { |
| "epoch": 2.5833333333333335, |
| "grad_norm": 0.06478056311607361, |
| "learning_rate": 3.692370589061639e-05, |
| "loss": 0.8108558654785156, |
| "step": 62 |
| }, |
| { |
| "epoch": 2.625, |
| "grad_norm": 0.054633643478155136, |
| "learning_rate": 3.557105414476782e-05, |
| "loss": 0.841090202331543, |
| "step": 63 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "grad_norm": 0.06919875741004944, |
| "learning_rate": 3.423964766595906e-05, |
| "loss": 0.7162876129150391, |
| "step": 64 |
| }, |
| { |
| "epoch": 2.7083333333333335, |
| "grad_norm": 0.06721208989620209, |
| "learning_rate": 3.293094232762715e-05, |
| "loss": 0.7694759368896484, |
| "step": 65 |
| }, |
| { |
| "epoch": 2.75, |
| "grad_norm": 0.0583014115691185, |
| "learning_rate": 3.164636917984534e-05, |
| "loss": 0.7788715362548828, |
| "step": 66 |
| }, |
| { |
| "epoch": 2.7916666666666665, |
| "grad_norm": 0.06786876916885376, |
| "learning_rate": 3.0387332884490805e-05, |
| "loss": 0.7926368713378906, |
| "step": 67 |
| }, |
| { |
| "epoch": 2.8333333333333335, |
| "grad_norm": 0.0554044283926487, |
| "learning_rate": 2.9155210179267546e-05, |
| "loss": 0.7786502838134766, |
| "step": 68 |
| }, |
| { |
| "epoch": 2.875, |
| "grad_norm": 0.08045743405818939, |
| "learning_rate": 2.7951348372263875e-05, |
| "loss": 0.6959114074707031, |
| "step": 69 |
| }, |
| { |
| "epoch": 2.9166666666666665, |
| "grad_norm": 0.06203767657279968, |
| "learning_rate": 2.677706386869083e-05, |
| "loss": 0.7776670455932617, |
| "step": 70 |
| }, |
| { |
| "epoch": 2.9583333333333335, |
| "grad_norm": 0.07093246281147003, |
| "learning_rate": 2.5633640731412412e-05, |
| "loss": 0.9026947021484375, |
| "step": 71 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 0.07025361061096191, |
| "learning_rate": 2.4522329276841663e-05, |
| "loss": 0.7677774429321289, |
| "step": 72 |
| }, |
| { |
| "epoch": 3.0416666666666665, |
| "grad_norm": 0.0708354264497757, |
| "learning_rate": 2.3444344707738015e-05, |
| "loss": 0.7287693023681641, |
| "step": 73 |
| }, |
| { |
| "epoch": 3.0833333333333335, |
| "grad_norm": 0.06829249858856201, |
| "learning_rate": 2.2400865784401e-05, |
| "loss": 0.6977443695068359, |
| "step": 74 |
| }, |
| { |
| "epoch": 3.125, |
| "grad_norm": 0.04968668892979622, |
| "learning_rate": 2.1393033535713093e-05, |
| "loss": 0.5820121765136719, |
| "step": 75 |
| }, |
| { |
| "epoch": 3.1666666666666665, |
| "grad_norm": 0.08538515865802765, |
| "learning_rate": 2.0421950011441354e-05, |
| "loss": 0.7337074279785156, |
| "step": 76 |
| }, |
| { |
| "epoch": 3.2083333333333335, |
| "grad_norm": 0.057816021144390106, |
| "learning_rate": 1.9488677077162295e-05, |
| "loss": 0.7847037315368652, |
| "step": 77 |
| }, |
| { |
| "epoch": 3.2083333333333335, |
| "eval_loss": 0.666259765625, |
| "eval_runtime": 2.2514, |
| "eval_samples_per_second": 2.221, |
| "eval_steps_per_second": 0.444, |
| "step": 77 |
| }, |
| { |
| "epoch": 3.25, |
| "grad_norm": 0.05465561896562576, |
| "learning_rate": 1.8594235253127375e-05, |
| "loss": 0.7744140625, |
| "step": 78 |
| }, |
| { |
| "epoch": 3.2916666666666665, |
| "grad_norm": 0.06246788054704666, |
| "learning_rate": 1.77396025983391e-05, |
| "loss": 0.7656393051147461, |
| "step": 79 |
| }, |
| { |
| "epoch": 3.3333333333333335, |
| "grad_norm": 0.06507856398820877, |
| "learning_rate": 1.6925713641057904e-05, |
| "loss": 0.8431224822998047, |
| "step": 80 |
| }, |
| { |
| "epoch": 3.375, |
| "grad_norm": 0.06495018303394318, |
| "learning_rate": 1.6153458356909176e-05, |
| "loss": 0.8185300827026367, |
| "step": 81 |
| }, |
| { |
| "epoch": 3.4166666666666665, |
| "grad_norm": 0.06756020337343216, |
| "learning_rate": 1.5423681195707997e-05, |
| "loss": 0.7545089721679688, |
| "step": 82 |
| }, |
| { |
| "epoch": 3.4583333333333335, |
| "grad_norm": 0.05611558258533478, |
| "learning_rate": 1.4737180158065644e-05, |
| "loss": 0.7109222412109375, |
| "step": 83 |
| }, |
| { |
| "epoch": 3.5, |
| "grad_norm": 0.08344320207834244, |
| "learning_rate": 1.4094705922787687e-05, |
| "loss": 0.7583560943603516, |
| "step": 84 |
| }, |
| { |
| "epoch": 3.5416666666666665, |
| "grad_norm": 0.06930051743984222, |
| "learning_rate": 1.3496961026017687e-05, |
| "loss": 0.8253993988037109, |
| "step": 85 |
| }, |
| { |
| "epoch": 3.5833333333333335, |
| "grad_norm": 0.06819939613342285, |
| "learning_rate": 1.2944599093024267e-05, |
| "loss": 0.7947092056274414, |
| "step": 86 |
| }, |
| { |
| "epoch": 3.625, |
| "grad_norm": 0.05748283118009567, |
| "learning_rate": 1.2438224123471442e-05, |
| "loss": 0.8298521041870117, |
| "step": 87 |
| }, |
| { |
| "epoch": 3.6666666666666665, |
| "grad_norm": 0.06575058400630951, |
| "learning_rate": 1.1978389830953907e-05, |
| "loss": 0.7025308609008789, |
| "step": 88 |
| }, |
| { |
| "epoch": 3.7083333333333335, |
| "grad_norm": 0.06751663237810135, |
| "learning_rate": 1.1565599037519316e-05, |
| "loss": 0.7523231506347656, |
| "step": 89 |
| }, |
| { |
| "epoch": 3.75, |
| "grad_norm": 0.05522964894771576, |
| "learning_rate": 1.1200303123839742e-05, |
| "loss": 0.7666292190551758, |
| "step": 90 |
| }, |
| { |
| "epoch": 3.7916666666666665, |
| "grad_norm": 0.06846830993890762, |
| "learning_rate": 1.088290153563358e-05, |
| "loss": 0.7798595428466797, |
| "step": 91 |
| }, |
| { |
| "epoch": 3.8333333333333335, |
| "grad_norm": 0.050051383674144745, |
| "learning_rate": 1.0613741346877497e-05, |
| "loss": 0.7688732147216797, |
| "step": 92 |
| }, |
| { |
| "epoch": 3.875, |
| "grad_norm": 0.0775798112154007, |
| "learning_rate": 1.0393116880286118e-05, |
| "loss": 0.6811847686767578, |
| "step": 93 |
| }, |
| { |
| "epoch": 3.9166666666666665, |
| "grad_norm": 0.0615241639316082, |
| "learning_rate": 1.0221269385474488e-05, |
| "loss": 0.7659130096435547, |
| "step": 94 |
| }, |
| { |
| "epoch": 3.9583333333333335, |
| "grad_norm": 0.07225687056779861, |
| "learning_rate": 1.0098386775155147e-05, |
| "loss": 0.8869800567626953, |
| "step": 95 |
| }, |
| { |
| "epoch": 4.0, |
| "grad_norm": 0.06342313438653946, |
| "learning_rate": 1.0024603419658329e-05, |
| "loss": 0.7511405944824219, |
| "step": 96 |
| }, |
| { |
| "epoch": 4.0, |
| "eval_loss": 0.662353515625, |
| "eval_runtime": 2.227, |
| "eval_samples_per_second": 2.245, |
| "eval_steps_per_second": 0.449, |
| "step": 96 |
| } |
| ], |
| "logging_steps": 1.0, |
| "max_steps": 96, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 4, |
| "save_steps": 0, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 3.592497924128375e+18, |
| "train_batch_size": 1, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
