| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 1.0000333333333333, |
| "eval_steps": 500, |
| "global_step": 30001, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.0033333333333333335, |
| "grad_norm": 2.432770013809204, |
| "learning_rate": 4.950000000000001e-06, |
| "loss": 4.4748, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.006666666666666667, |
| "grad_norm": 3.0658187866210938, |
| "learning_rate": 9.950000000000001e-06, |
| "loss": 4.5848, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.01, |
| "grad_norm": 3.668822765350342, |
| "learning_rate": 1.4950000000000001e-05, |
| "loss": 4.5434, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.013333333333333334, |
| "grad_norm": 3.464035749435425, |
| "learning_rate": 1.995e-05, |
| "loss": 4.5642, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.016666666666666666, |
| "grad_norm": 3.431352376937866, |
| "learning_rate": 2.495e-05, |
| "loss": 4.6208, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.02, |
| "grad_norm": 3.2728869915008545, |
| "learning_rate": 2.995e-05, |
| "loss": 4.5531, |
| "step": 600 |
| }, |
| { |
| "epoch": 0.023333333333333334, |
| "grad_norm": 3.092519760131836, |
| "learning_rate": 3.495e-05, |
| "loss": 4.9349, |
| "step": 700 |
| }, |
| { |
| "epoch": 0.02666666666666667, |
| "grad_norm": 3.0196480751037598, |
| "learning_rate": 3.995e-05, |
| "loss": 4.98, |
| "step": 800 |
| }, |
| { |
| "epoch": 0.03, |
| "grad_norm": 3.531619071960449, |
| "learning_rate": 4.495e-05, |
| "loss": 4.963, |
| "step": 900 |
| }, |
| { |
| "epoch": 0.03333333333333333, |
| "grad_norm": 3.0364348888397217, |
| "learning_rate": 4.995e-05, |
| "loss": 4.9439, |
| "step": 1000 |
| }, |
| { |
| "epoch": 0.03666666666666667, |
| "grad_norm": 2.966171979904175, |
| "learning_rate": 4.982931034482759e-05, |
| "loss": 4.9424, |
| "step": 1100 |
| }, |
| { |
| "epoch": 0.04, |
| "grad_norm": 2.858612060546875, |
| "learning_rate": 4.9656896551724144e-05, |
| "loss": 4.9295, |
| "step": 1200 |
| }, |
| { |
| "epoch": 0.043333333333333335, |
| "grad_norm": 2.722503900527954, |
| "learning_rate": 4.948448275862069e-05, |
| "loss": 4.9062, |
| "step": 1300 |
| }, |
| { |
| "epoch": 0.04666666666666667, |
| "grad_norm": 2.561314344406128, |
| "learning_rate": 4.931206896551724e-05, |
| "loss": 4.8918, |
| "step": 1400 |
| }, |
| { |
| "epoch": 0.05, |
| "grad_norm": 3.596597671508789, |
| "learning_rate": 4.91396551724138e-05, |
| "loss": 4.9177, |
| "step": 1500 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 2.5951080322265625, |
| "learning_rate": 4.8967241379310346e-05, |
| "loss": 4.8658, |
| "step": 1600 |
| }, |
| { |
| "epoch": 0.056666666666666664, |
| "grad_norm": 2.546725034713745, |
| "learning_rate": 4.87948275862069e-05, |
| "loss": 4.847, |
| "step": 1700 |
| }, |
| { |
| "epoch": 0.06, |
| "grad_norm": 2.793475866317749, |
| "learning_rate": 4.862241379310345e-05, |
| "loss": 4.8603, |
| "step": 1800 |
| }, |
| { |
| "epoch": 0.06333333333333334, |
| "grad_norm": 2.6936521530151367, |
| "learning_rate": 4.845e-05, |
| "loss": 4.8574, |
| "step": 1900 |
| }, |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 2.6505532264709473, |
| "learning_rate": 4.8277586206896554e-05, |
| "loss": 4.8192, |
| "step": 2000 |
| }, |
| { |
| "epoch": 0.07, |
| "grad_norm": 2.7143611907958984, |
| "learning_rate": 4.81051724137931e-05, |
| "loss": 4.8301, |
| "step": 2100 |
| }, |
| { |
| "epoch": 0.07333333333333333, |
| "grad_norm": 2.251673460006714, |
| "learning_rate": 4.793275862068966e-05, |
| "loss": 4.8221, |
| "step": 2200 |
| }, |
| { |
| "epoch": 0.07666666666666666, |
| "grad_norm": 2.6628541946411133, |
| "learning_rate": 4.776034482758621e-05, |
| "loss": 4.8107, |
| "step": 2300 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 2.4569995403289795, |
| "learning_rate": 4.758793103448276e-05, |
| "loss": 4.794, |
| "step": 2400 |
| }, |
| { |
| "epoch": 0.08333333333333333, |
| "grad_norm": 2.386894702911377, |
| "learning_rate": 4.741551724137932e-05, |
| "loss": 4.7992, |
| "step": 2500 |
| }, |
| { |
| "epoch": 0.08666666666666667, |
| "grad_norm": 2.4557945728302, |
| "learning_rate": 4.724310344827587e-05, |
| "loss": 4.7774, |
| "step": 2600 |
| }, |
| { |
| "epoch": 0.09, |
| "grad_norm": 2.6066713333129883, |
| "learning_rate": 4.7070689655172415e-05, |
| "loss": 4.7684, |
| "step": 2700 |
| }, |
| { |
| "epoch": 0.09333333333333334, |
| "grad_norm": 2.1568965911865234, |
| "learning_rate": 4.689827586206897e-05, |
| "loss": 4.8058, |
| "step": 2800 |
| }, |
| { |
| "epoch": 0.09666666666666666, |
| "grad_norm": 2.782592535018921, |
| "learning_rate": 4.672586206896552e-05, |
| "loss": 4.7507, |
| "step": 2900 |
| }, |
| { |
| "epoch": 0.1, |
| "grad_norm": 2.0947823524475098, |
| "learning_rate": 4.655344827586207e-05, |
| "loss": 4.7529, |
| "step": 3000 |
| }, |
| { |
| "epoch": 0.10333333333333333, |
| "grad_norm": 2.939363956451416, |
| "learning_rate": 4.6381034482758624e-05, |
| "loss": 4.7397, |
| "step": 3100 |
| }, |
| { |
| "epoch": 0.10666666666666667, |
| "grad_norm": 2.1280272006988525, |
| "learning_rate": 4.620862068965517e-05, |
| "loss": 4.7205, |
| "step": 3200 |
| }, |
| { |
| "epoch": 0.11, |
| "grad_norm": 2.5565991401672363, |
| "learning_rate": 4.603620689655173e-05, |
| "loss": 4.7345, |
| "step": 3300 |
| }, |
| { |
| "epoch": 0.11333333333333333, |
| "grad_norm": 2.393437147140503, |
| "learning_rate": 4.5863793103448277e-05, |
| "loss": 4.7259, |
| "step": 3400 |
| }, |
| { |
| "epoch": 0.11666666666666667, |
| "grad_norm": 2.3334264755249023, |
| "learning_rate": 4.5691379310344825e-05, |
| "loss": 4.7246, |
| "step": 3500 |
| }, |
| { |
| "epoch": 0.12, |
| "grad_norm": 2.3572139739990234, |
| "learning_rate": 4.551896551724138e-05, |
| "loss": 4.7418, |
| "step": 3600 |
| }, |
| { |
| "epoch": 0.12333333333333334, |
| "grad_norm": 2.216188907623291, |
| "learning_rate": 4.534655172413793e-05, |
| "loss": 4.7028, |
| "step": 3700 |
| }, |
| { |
| "epoch": 0.12666666666666668, |
| "grad_norm": 2.218505859375, |
| "learning_rate": 4.5174137931034485e-05, |
| "loss": 4.7195, |
| "step": 3800 |
| }, |
| { |
| "epoch": 0.13, |
| "grad_norm": 2.278543710708618, |
| "learning_rate": 4.5001724137931034e-05, |
| "loss": 4.713, |
| "step": 3900 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 2.791719913482666, |
| "learning_rate": 4.482931034482759e-05, |
| "loss": 4.7183, |
| "step": 4000 |
| }, |
| { |
| "epoch": 0.13666666666666666, |
| "grad_norm": 2.6032369136810303, |
| "learning_rate": 4.4656896551724145e-05, |
| "loss": 4.6735, |
| "step": 4100 |
| }, |
| { |
| "epoch": 0.14, |
| "grad_norm": 2.133446216583252, |
| "learning_rate": 4.448448275862069e-05, |
| "loss": 4.7103, |
| "step": 4200 |
| }, |
| { |
| "epoch": 0.14333333333333334, |
| "grad_norm": 2.0948398113250732, |
| "learning_rate": 4.431206896551724e-05, |
| "loss": 4.7108, |
| "step": 4300 |
| }, |
| { |
| "epoch": 0.14666666666666667, |
| "grad_norm": 2.1138408184051514, |
| "learning_rate": 4.41396551724138e-05, |
| "loss": 4.7027, |
| "step": 4400 |
| }, |
| { |
| "epoch": 0.15, |
| "grad_norm": 2.366734743118286, |
| "learning_rate": 4.3967241379310346e-05, |
| "loss": 4.6546, |
| "step": 4500 |
| }, |
| { |
| "epoch": 0.15333333333333332, |
| "grad_norm": 2.615391254425049, |
| "learning_rate": 4.37948275862069e-05, |
| "loss": 4.6963, |
| "step": 4600 |
| }, |
| { |
| "epoch": 0.15666666666666668, |
| "grad_norm": 2.0809595584869385, |
| "learning_rate": 4.362241379310345e-05, |
| "loss": 4.6004, |
| "step": 4700 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 2.1302947998046875, |
| "learning_rate": 4.345e-05, |
| "loss": 4.6918, |
| "step": 4800 |
| }, |
| { |
| "epoch": 0.16333333333333333, |
| "grad_norm": 2.247417449951172, |
| "learning_rate": 4.3277586206896555e-05, |
| "loss": 4.6564, |
| "step": 4900 |
| }, |
| { |
| "epoch": 0.16666666666666666, |
| "grad_norm": 2.05452561378479, |
| "learning_rate": 4.31051724137931e-05, |
| "loss": 4.6742, |
| "step": 5000 |
| }, |
| { |
| "epoch": 0.17, |
| "grad_norm": 2.0982797145843506, |
| "learning_rate": 4.293275862068966e-05, |
| "loss": 4.6391, |
| "step": 5100 |
| }, |
| { |
| "epoch": 0.17333333333333334, |
| "grad_norm": 2.3988752365112305, |
| "learning_rate": 4.276034482758621e-05, |
| "loss": 4.6858, |
| "step": 5200 |
| }, |
| { |
| "epoch": 0.17666666666666667, |
| "grad_norm": 2.203742265701294, |
| "learning_rate": 4.2587931034482756e-05, |
| "loss": 4.6463, |
| "step": 5300 |
| }, |
| { |
| "epoch": 0.18, |
| "grad_norm": 2.1824591159820557, |
| "learning_rate": 4.241551724137931e-05, |
| "loss": 4.6393, |
| "step": 5400 |
| }, |
| { |
| "epoch": 0.18333333333333332, |
| "grad_norm": 2.5369467735290527, |
| "learning_rate": 4.224310344827586e-05, |
| "loss": 4.6091, |
| "step": 5500 |
| }, |
| { |
| "epoch": 0.18666666666666668, |
| "grad_norm": 2.1592929363250732, |
| "learning_rate": 4.2070689655172416e-05, |
| "loss": 4.6441, |
| "step": 5600 |
| }, |
| { |
| "epoch": 0.19, |
| "grad_norm": 2.350390672683716, |
| "learning_rate": 4.189827586206897e-05, |
| "loss": 4.604, |
| "step": 5700 |
| }, |
| { |
| "epoch": 0.19333333333333333, |
| "grad_norm": 2.2912168502807617, |
| "learning_rate": 4.172586206896552e-05, |
| "loss": 4.6515, |
| "step": 5800 |
| }, |
| { |
| "epoch": 0.19666666666666666, |
| "grad_norm": 2.186971664428711, |
| "learning_rate": 4.1553448275862075e-05, |
| "loss": 4.6237, |
| "step": 5900 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 2.28682804107666, |
| "learning_rate": 4.1381034482758624e-05, |
| "loss": 4.6443, |
| "step": 6000 |
| }, |
| { |
| "epoch": 0.20333333333333334, |
| "grad_norm": 2.299591064453125, |
| "learning_rate": 4.120862068965517e-05, |
| "loss": 4.6224, |
| "step": 6100 |
| }, |
| { |
| "epoch": 0.20666666666666667, |
| "grad_norm": 2.407121181488037, |
| "learning_rate": 4.103620689655173e-05, |
| "loss": 4.6194, |
| "step": 6200 |
| }, |
| { |
| "epoch": 0.21, |
| "grad_norm": 2.0112767219543457, |
| "learning_rate": 4.086379310344828e-05, |
| "loss": 4.6089, |
| "step": 6300 |
| }, |
| { |
| "epoch": 0.21333333333333335, |
| "grad_norm": 2.166243076324463, |
| "learning_rate": 4.069137931034483e-05, |
| "loss": 4.6085, |
| "step": 6400 |
| }, |
| { |
| "epoch": 0.21666666666666667, |
| "grad_norm": 2.0218312740325928, |
| "learning_rate": 4.051896551724138e-05, |
| "loss": 4.6101, |
| "step": 6500 |
| }, |
| { |
| "epoch": 0.22, |
| "grad_norm": 2.7403626441955566, |
| "learning_rate": 4.034655172413793e-05, |
| "loss": 4.6245, |
| "step": 6600 |
| }, |
| { |
| "epoch": 0.22333333333333333, |
| "grad_norm": 2.2210118770599365, |
| "learning_rate": 4.0174137931034485e-05, |
| "loss": 4.5907, |
| "step": 6700 |
| }, |
| { |
| "epoch": 0.22666666666666666, |
| "grad_norm": 2.169027090072632, |
| "learning_rate": 4.0001724137931034e-05, |
| "loss": 4.5893, |
| "step": 6800 |
| }, |
| { |
| "epoch": 0.23, |
| "grad_norm": 2.4303510189056396, |
| "learning_rate": 3.982931034482759e-05, |
| "loss": 4.6107, |
| "step": 6900 |
| }, |
| { |
| "epoch": 0.23333333333333334, |
| "grad_norm": 2.163461446762085, |
| "learning_rate": 3.965689655172414e-05, |
| "loss": 4.5775, |
| "step": 7000 |
| }, |
| { |
| "epoch": 0.23666666666666666, |
| "grad_norm": 2.205695390701294, |
| "learning_rate": 3.948448275862069e-05, |
| "loss": 4.5853, |
| "step": 7100 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 2.0187084674835205, |
| "learning_rate": 3.931206896551725e-05, |
| "loss": 4.5793, |
| "step": 7200 |
| }, |
| { |
| "epoch": 0.24333333333333335, |
| "grad_norm": 1.859401822090149, |
| "learning_rate": 3.91396551724138e-05, |
| "loss": 4.6034, |
| "step": 7300 |
| }, |
| { |
| "epoch": 0.24666666666666667, |
| "grad_norm": 2.290074586868286, |
| "learning_rate": 3.8967241379310347e-05, |
| "loss": 4.5672, |
| "step": 7400 |
| }, |
| { |
| "epoch": 0.25, |
| "grad_norm": 2.1642653942108154, |
| "learning_rate": 3.87948275862069e-05, |
| "loss": 4.5999, |
| "step": 7500 |
| }, |
| { |
| "epoch": 0.25333333333333335, |
| "grad_norm": 2.244406223297119, |
| "learning_rate": 3.862241379310345e-05, |
| "loss": 4.5578, |
| "step": 7600 |
| }, |
| { |
| "epoch": 0.25666666666666665, |
| "grad_norm": 1.9028890132904053, |
| "learning_rate": 3.845e-05, |
| "loss": 4.5886, |
| "step": 7700 |
| }, |
| { |
| "epoch": 0.26, |
| "grad_norm": 2.019014835357666, |
| "learning_rate": 3.8277586206896555e-05, |
| "loss": 4.5244, |
| "step": 7800 |
| }, |
| { |
| "epoch": 0.2633333333333333, |
| "grad_norm": 2.1580286026000977, |
| "learning_rate": 3.8105172413793104e-05, |
| "loss": 4.6004, |
| "step": 7900 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 2.341559410095215, |
| "learning_rate": 3.793275862068966e-05, |
| "loss": 4.5605, |
| "step": 8000 |
| }, |
| { |
| "epoch": 0.27, |
| "grad_norm": 2.279217481613159, |
| "learning_rate": 3.776034482758621e-05, |
| "loss": 4.5713, |
| "step": 8100 |
| }, |
| { |
| "epoch": 0.2733333333333333, |
| "grad_norm": 1.8367992639541626, |
| "learning_rate": 3.7587931034482757e-05, |
| "loss": 4.5318, |
| "step": 8200 |
| }, |
| { |
| "epoch": 0.27666666666666667, |
| "grad_norm": 2.3710546493530273, |
| "learning_rate": 3.741724137931035e-05, |
| "loss": 4.5687, |
| "step": 8300 |
| }, |
| { |
| "epoch": 0.28, |
| "grad_norm": 2.3335001468658447, |
| "learning_rate": 3.72448275862069e-05, |
| "loss": 4.5419, |
| "step": 8400 |
| }, |
| { |
| "epoch": 0.2833333333333333, |
| "grad_norm": 2.4355528354644775, |
| "learning_rate": 3.707241379310345e-05, |
| "loss": 4.5668, |
| "step": 8500 |
| }, |
| { |
| "epoch": 0.2866666666666667, |
| "grad_norm": 2.0626087188720703, |
| "learning_rate": 3.69e-05, |
| "loss": 4.5458, |
| "step": 8600 |
| }, |
| { |
| "epoch": 0.29, |
| "grad_norm": 2.086386203765869, |
| "learning_rate": 3.672758620689655e-05, |
| "loss": 4.5494, |
| "step": 8700 |
| }, |
| { |
| "epoch": 0.29333333333333333, |
| "grad_norm": 2.0059709548950195, |
| "learning_rate": 3.655517241379311e-05, |
| "loss": 4.5051, |
| "step": 8800 |
| }, |
| { |
| "epoch": 0.2966666666666667, |
| "grad_norm": 2.086092233657837, |
| "learning_rate": 3.6382758620689655e-05, |
| "loss": 4.5408, |
| "step": 8900 |
| }, |
| { |
| "epoch": 0.3, |
| "grad_norm": 2.6836307048797607, |
| "learning_rate": 3.6210344827586204e-05, |
| "loss": 4.5253, |
| "step": 9000 |
| }, |
| { |
| "epoch": 0.30333333333333334, |
| "grad_norm": 1.8528039455413818, |
| "learning_rate": 3.603793103448276e-05, |
| "loss": 4.5349, |
| "step": 9100 |
| }, |
| { |
| "epoch": 0.30666666666666664, |
| "grad_norm": 2.2291455268859863, |
| "learning_rate": 3.586551724137931e-05, |
| "loss": 4.5132, |
| "step": 9200 |
| }, |
| { |
| "epoch": 0.31, |
| "grad_norm": 1.973479151725769, |
| "learning_rate": 3.5693103448275864e-05, |
| "loss": 4.5369, |
| "step": 9300 |
| }, |
| { |
| "epoch": 0.31333333333333335, |
| "grad_norm": 2.169776201248169, |
| "learning_rate": 3.552068965517242e-05, |
| "loss": 4.5442, |
| "step": 9400 |
| }, |
| { |
| "epoch": 0.31666666666666665, |
| "grad_norm": 2.312795877456665, |
| "learning_rate": 3.534827586206897e-05, |
| "loss": 4.548, |
| "step": 9500 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 1.946328043937683, |
| "learning_rate": 3.517586206896552e-05, |
| "loss": 4.512, |
| "step": 9600 |
| }, |
| { |
| "epoch": 0.3233333333333333, |
| "grad_norm": 2.379603147506714, |
| "learning_rate": 3.500344827586207e-05, |
| "loss": 4.5191, |
| "step": 9700 |
| }, |
| { |
| "epoch": 0.32666666666666666, |
| "grad_norm": 2.1291146278381348, |
| "learning_rate": 3.483103448275862e-05, |
| "loss": 4.5521, |
| "step": 9800 |
| }, |
| { |
| "epoch": 0.33, |
| "grad_norm": 2.242424488067627, |
| "learning_rate": 3.4658620689655176e-05, |
| "loss": 4.4897, |
| "step": 9900 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 2.0109705924987793, |
| "learning_rate": 3.448793103448276e-05, |
| "loss": 4.5254, |
| "step": 10000 |
| }, |
| { |
| "epoch": 0.33666666666666667, |
| "grad_norm": 2.0069398880004883, |
| "learning_rate": 3.431551724137931e-05, |
| "loss": 4.4718, |
| "step": 10100 |
| }, |
| { |
| "epoch": 0.34, |
| "grad_norm": 2.110619306564331, |
| "learning_rate": 3.414310344827587e-05, |
| "loss": 4.5204, |
| "step": 10200 |
| }, |
| { |
| "epoch": 0.3433333333333333, |
| "grad_norm": 2.287642478942871, |
| "learning_rate": 3.3970689655172415e-05, |
| "loss": 4.5132, |
| "step": 10300 |
| }, |
| { |
| "epoch": 0.3466666666666667, |
| "grad_norm": 2.430785655975342, |
| "learning_rate": 3.379827586206897e-05, |
| "loss": 4.5419, |
| "step": 10400 |
| }, |
| { |
| "epoch": 0.35, |
| "grad_norm": 2.0009684562683105, |
| "learning_rate": 3.362586206896552e-05, |
| "loss": 4.4966, |
| "step": 10500 |
| }, |
| { |
| "epoch": 0.35333333333333333, |
| "grad_norm": 2.163966417312622, |
| "learning_rate": 3.345344827586207e-05, |
| "loss": 4.5212, |
| "step": 10600 |
| }, |
| { |
| "epoch": 0.3566666666666667, |
| "grad_norm": 2.0159249305725098, |
| "learning_rate": 3.3281034482758624e-05, |
| "loss": 4.4934, |
| "step": 10700 |
| }, |
| { |
| "epoch": 0.36, |
| "grad_norm": 2.01526141166687, |
| "learning_rate": 3.310862068965517e-05, |
| "loss": 4.5503, |
| "step": 10800 |
| }, |
| { |
| "epoch": 0.36333333333333334, |
| "grad_norm": 2.336897850036621, |
| "learning_rate": 3.293620689655173e-05, |
| "loss": 4.4682, |
| "step": 10900 |
| }, |
| { |
| "epoch": 0.36666666666666664, |
| "grad_norm": 2.1598005294799805, |
| "learning_rate": 3.276379310344828e-05, |
| "loss": 4.5306, |
| "step": 11000 |
| }, |
| { |
| "epoch": 0.37, |
| "grad_norm": 2.5167276859283447, |
| "learning_rate": 3.2591379310344825e-05, |
| "loss": 4.4721, |
| "step": 11100 |
| }, |
| { |
| "epoch": 0.37333333333333335, |
| "grad_norm": 1.98994779586792, |
| "learning_rate": 3.241896551724138e-05, |
| "loss": 4.4932, |
| "step": 11200 |
| }, |
| { |
| "epoch": 0.37666666666666665, |
| "grad_norm": 2.22099232673645, |
| "learning_rate": 3.224655172413793e-05, |
| "loss": 4.475, |
| "step": 11300 |
| }, |
| { |
| "epoch": 0.38, |
| "grad_norm": 1.780299186706543, |
| "learning_rate": 3.2074137931034485e-05, |
| "loss": 4.5303, |
| "step": 11400 |
| }, |
| { |
| "epoch": 0.38333333333333336, |
| "grad_norm": 2.1039958000183105, |
| "learning_rate": 3.190172413793104e-05, |
| "loss": 4.4876, |
| "step": 11500 |
| }, |
| { |
| "epoch": 0.38666666666666666, |
| "grad_norm": 2.0175621509552, |
| "learning_rate": 3.172931034482759e-05, |
| "loss": 4.5166, |
| "step": 11600 |
| }, |
| { |
| "epoch": 0.39, |
| "grad_norm": 2.2640490531921387, |
| "learning_rate": 3.155689655172414e-05, |
| "loss": 4.4593, |
| "step": 11700 |
| }, |
| { |
| "epoch": 0.3933333333333333, |
| "grad_norm": 2.259965181350708, |
| "learning_rate": 3.138448275862069e-05, |
| "loss": 4.5223, |
| "step": 11800 |
| }, |
| { |
| "epoch": 0.39666666666666667, |
| "grad_norm": 2.384817600250244, |
| "learning_rate": 3.121206896551724e-05, |
| "loss": 4.493, |
| "step": 11900 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 1.9847548007965088, |
| "learning_rate": 3.10396551724138e-05, |
| "loss": 4.4944, |
| "step": 12000 |
| }, |
| { |
| "epoch": 0.4033333333333333, |
| "grad_norm": 2.0270016193389893, |
| "learning_rate": 3.0867241379310346e-05, |
| "loss": 4.4925, |
| "step": 12100 |
| }, |
| { |
| "epoch": 0.4066666666666667, |
| "grad_norm": 2.279428482055664, |
| "learning_rate": 3.069655172413793e-05, |
| "loss": 4.4995, |
| "step": 12200 |
| }, |
| { |
| "epoch": 0.41, |
| "grad_norm": 2.1263952255249023, |
| "learning_rate": 3.052413793103449e-05, |
| "loss": 4.4687, |
| "step": 12300 |
| }, |
| { |
| "epoch": 0.41333333333333333, |
| "grad_norm": 2.1277477741241455, |
| "learning_rate": 3.0351724137931037e-05, |
| "loss": 4.4833, |
| "step": 12400 |
| }, |
| { |
| "epoch": 0.4166666666666667, |
| "grad_norm": 1.9847360849380493, |
| "learning_rate": 3.017931034482759e-05, |
| "loss": 4.4832, |
| "step": 12500 |
| }, |
| { |
| "epoch": 0.42, |
| "grad_norm": 1.7778632640838623, |
| "learning_rate": 3.000689655172414e-05, |
| "loss": 4.4682, |
| "step": 12600 |
| }, |
| { |
| "epoch": 0.42333333333333334, |
| "grad_norm": 2.1409926414489746, |
| "learning_rate": 2.983448275862069e-05, |
| "loss": 4.5006, |
| "step": 12700 |
| }, |
| { |
| "epoch": 0.4266666666666667, |
| "grad_norm": 2.5149056911468506, |
| "learning_rate": 2.966206896551724e-05, |
| "loss": 4.4466, |
| "step": 12800 |
| }, |
| { |
| "epoch": 0.43, |
| "grad_norm": 2.458773612976074, |
| "learning_rate": 2.9489655172413794e-05, |
| "loss": 4.4996, |
| "step": 12900 |
| }, |
| { |
| "epoch": 0.43333333333333335, |
| "grad_norm": 1.972216248512268, |
| "learning_rate": 2.9317241379310346e-05, |
| "loss": 4.4611, |
| "step": 13000 |
| }, |
| { |
| "epoch": 0.43666666666666665, |
| "grad_norm": 2.464979887008667, |
| "learning_rate": 2.9144827586206898e-05, |
| "loss": 4.5022, |
| "step": 13100 |
| }, |
| { |
| "epoch": 0.44, |
| "grad_norm": 2.4846181869506836, |
| "learning_rate": 2.8972413793103447e-05, |
| "loss": 4.4629, |
| "step": 13200 |
| }, |
| { |
| "epoch": 0.44333333333333336, |
| "grad_norm": 2.5245821475982666, |
| "learning_rate": 2.88e-05, |
| "loss": 4.4802, |
| "step": 13300 |
| }, |
| { |
| "epoch": 0.44666666666666666, |
| "grad_norm": 2.218487024307251, |
| "learning_rate": 2.862758620689655e-05, |
| "loss": 4.4598, |
| "step": 13400 |
| }, |
| { |
| "epoch": 0.45, |
| "grad_norm": 1.7457364797592163, |
| "learning_rate": 2.8455172413793106e-05, |
| "loss": 4.487, |
| "step": 13500 |
| }, |
| { |
| "epoch": 0.4533333333333333, |
| "grad_norm": 2.262539863586426, |
| "learning_rate": 2.828275862068966e-05, |
| "loss": 4.4315, |
| "step": 13600 |
| }, |
| { |
| "epoch": 0.45666666666666667, |
| "grad_norm": 2.005768299102783, |
| "learning_rate": 2.811034482758621e-05, |
| "loss": 4.4736, |
| "step": 13700 |
| }, |
| { |
| "epoch": 0.46, |
| "grad_norm": 1.9539450407028198, |
| "learning_rate": 2.7937931034482763e-05, |
| "loss": 4.4243, |
| "step": 13800 |
| }, |
| { |
| "epoch": 0.4633333333333333, |
| "grad_norm": 2.2052249908447266, |
| "learning_rate": 2.7765517241379315e-05, |
| "loss": 4.4758, |
| "step": 13900 |
| }, |
| { |
| "epoch": 0.4666666666666667, |
| "grad_norm": 2.210599184036255, |
| "learning_rate": 2.7593103448275863e-05, |
| "loss": 4.4682, |
| "step": 14000 |
| }, |
| { |
| "epoch": 0.47, |
| "grad_norm": 1.977975845336914, |
| "learning_rate": 2.7420689655172415e-05, |
| "loss": 4.4722, |
| "step": 14100 |
| }, |
| { |
| "epoch": 0.47333333333333333, |
| "grad_norm": 2.3111207485198975, |
| "learning_rate": 2.7248275862068968e-05, |
| "loss": 4.4341, |
| "step": 14200 |
| }, |
| { |
| "epoch": 0.4766666666666667, |
| "grad_norm": 2.1010982990264893, |
| "learning_rate": 2.707586206896552e-05, |
| "loss": 4.4488, |
| "step": 14300 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 2.0630757808685303, |
| "learning_rate": 2.6903448275862068e-05, |
| "loss": 4.4477, |
| "step": 14400 |
| }, |
| { |
| "epoch": 0.48333333333333334, |
| "grad_norm": 1.975195288658142, |
| "learning_rate": 2.673103448275862e-05, |
| "loss": 4.4461, |
| "step": 14500 |
| }, |
| { |
| "epoch": 0.4866666666666667, |
| "grad_norm": 2.149717330932617, |
| "learning_rate": 2.6558620689655172e-05, |
| "loss": 4.46, |
| "step": 14600 |
| }, |
| { |
| "epoch": 0.49, |
| "grad_norm": 2.3318910598754883, |
| "learning_rate": 2.638793103448276e-05, |
| "loss": 4.433, |
| "step": 14700 |
| }, |
| { |
| "epoch": 0.49333333333333335, |
| "grad_norm": 2.138505220413208, |
| "learning_rate": 2.621551724137931e-05, |
| "loss": 4.4408, |
| "step": 14800 |
| }, |
| { |
| "epoch": 0.49666666666666665, |
| "grad_norm": 1.8805365562438965, |
| "learning_rate": 2.6043103448275863e-05, |
| "loss": 4.4495, |
| "step": 14900 |
| }, |
| { |
| "epoch": 0.5, |
| "grad_norm": 2.2338950634002686, |
| "learning_rate": 2.5870689655172415e-05, |
| "loss": 4.4754, |
| "step": 15000 |
| }, |
| { |
| "epoch": 0.5033333333333333, |
| "grad_norm": 2.114830255508423, |
| "learning_rate": 2.5698275862068967e-05, |
| "loss": 4.4402, |
| "step": 15100 |
| }, |
| { |
| "epoch": 0.5066666666666667, |
| "grad_norm": 2.1137115955352783, |
| "learning_rate": 2.5525862068965516e-05, |
| "loss": 4.4754, |
| "step": 15200 |
| }, |
| { |
| "epoch": 0.51, |
| "grad_norm": 2.3145370483398438, |
| "learning_rate": 2.5353448275862068e-05, |
| "loss": 4.4133, |
| "step": 15300 |
| }, |
| { |
| "epoch": 0.5133333333333333, |
| "grad_norm": 1.9466785192489624, |
| "learning_rate": 2.518103448275862e-05, |
| "loss": 4.4558, |
| "step": 15400 |
| }, |
| { |
| "epoch": 0.5166666666666667, |
| "grad_norm": 2.052103042602539, |
| "learning_rate": 2.5008620689655172e-05, |
| "loss": 4.4199, |
| "step": 15500 |
| }, |
| { |
| "epoch": 0.52, |
| "grad_norm": 2.0328545570373535, |
| "learning_rate": 2.4836206896551724e-05, |
| "loss": 4.4633, |
| "step": 15600 |
| }, |
| { |
| "epoch": 0.5233333333333333, |
| "grad_norm": 1.8531575202941895, |
| "learning_rate": 2.4665517241379314e-05, |
| "loss": 4.4161, |
| "step": 15700 |
| }, |
| { |
| "epoch": 0.5266666666666666, |
| "grad_norm": 2.1167118549346924, |
| "learning_rate": 2.4493103448275866e-05, |
| "loss": 4.4631, |
| "step": 15800 |
| }, |
| { |
| "epoch": 0.53, |
| "grad_norm": 2.288839101791382, |
| "learning_rate": 2.4320689655172415e-05, |
| "loss": 4.4275, |
| "step": 15900 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 2.267571449279785, |
| "learning_rate": 2.4148275862068967e-05, |
| "loss": 4.4367, |
| "step": 16000 |
| }, |
| { |
| "epoch": 0.5366666666666666, |
| "grad_norm": 2.238534927368164, |
| "learning_rate": 2.397586206896552e-05, |
| "loss": 4.4161, |
| "step": 16100 |
| }, |
| { |
| "epoch": 0.54, |
| "grad_norm": 1.891422986984253, |
| "learning_rate": 2.380344827586207e-05, |
| "loss": 4.4454, |
| "step": 16200 |
| }, |
| { |
| "epoch": 0.5433333333333333, |
| "grad_norm": 2.3173861503601074, |
| "learning_rate": 2.363103448275862e-05, |
| "loss": 4.4087, |
| "step": 16300 |
| }, |
| { |
| "epoch": 0.5466666666666666, |
| "grad_norm": 1.741228461265564, |
| "learning_rate": 2.345862068965517e-05, |
| "loss": 4.4441, |
| "step": 16400 |
| }, |
| { |
| "epoch": 0.55, |
| "grad_norm": 2.76397442817688, |
| "learning_rate": 2.3286206896551727e-05, |
| "loss": 4.4192, |
| "step": 16500 |
| }, |
| { |
| "epoch": 0.5533333333333333, |
| "grad_norm": 2.1828739643096924, |
| "learning_rate": 2.311379310344828e-05, |
| "loss": 4.4073, |
| "step": 16600 |
| }, |
| { |
| "epoch": 0.5566666666666666, |
| "grad_norm": 1.968559741973877, |
| "learning_rate": 2.2941379310344828e-05, |
| "loss": 4.4374, |
| "step": 16700 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 2.170126438140869, |
| "learning_rate": 2.276896551724138e-05, |
| "loss": 4.4077, |
| "step": 16800 |
| }, |
| { |
| "epoch": 0.5633333333333334, |
| "grad_norm": 2.200995922088623, |
| "learning_rate": 2.2596551724137932e-05, |
| "loss": 4.4115, |
| "step": 16900 |
| }, |
| { |
| "epoch": 0.5666666666666667, |
| "grad_norm": 2.0842859745025635, |
| "learning_rate": 2.2424137931034484e-05, |
| "loss": 4.3951, |
| "step": 17000 |
| }, |
| { |
| "epoch": 0.57, |
| "grad_norm": 2.1672942638397217, |
| "learning_rate": 2.2251724137931036e-05, |
| "loss": 4.4495, |
| "step": 17100 |
| }, |
| { |
| "epoch": 0.5733333333333334, |
| "grad_norm": 2.1524171829223633, |
| "learning_rate": 2.2079310344827585e-05, |
| "loss": 4.4148, |
| "step": 17200 |
| }, |
| { |
| "epoch": 0.5766666666666667, |
| "grad_norm": 2.0464670658111572, |
| "learning_rate": 2.190689655172414e-05, |
| "loss": 4.4217, |
| "step": 17300 |
| }, |
| { |
| "epoch": 0.58, |
| "grad_norm": 2.345148801803589, |
| "learning_rate": 2.1734482758620693e-05, |
| "loss": 4.3839, |
| "step": 17400 |
| }, |
| { |
| "epoch": 0.5833333333333334, |
| "grad_norm": 2.089466094970703, |
| "learning_rate": 2.1562068965517245e-05, |
| "loss": 4.4422, |
| "step": 17500 |
| }, |
| { |
| "epoch": 0.5866666666666667, |
| "grad_norm": 2.0062997341156006, |
| "learning_rate": 2.1389655172413793e-05, |
| "loss": 4.383, |
| "step": 17600 |
| }, |
| { |
| "epoch": 0.59, |
| "grad_norm": 1.9194973707199097, |
| "learning_rate": 2.1217241379310345e-05, |
| "loss": 4.4357, |
| "step": 17700 |
| }, |
| { |
| "epoch": 0.5933333333333334, |
| "grad_norm": 2.143671989440918, |
| "learning_rate": 2.1044827586206898e-05, |
| "loss": 4.4016, |
| "step": 17800 |
| }, |
| { |
| "epoch": 0.5966666666666667, |
| "grad_norm": 2.0662789344787598, |
| "learning_rate": 2.087241379310345e-05, |
| "loss": 4.4194, |
| "step": 17900 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 2.1098804473876953, |
| "learning_rate": 2.07e-05, |
| "loss": 4.3904, |
| "step": 18000 |
| }, |
| { |
| "epoch": 0.6033333333333334, |
| "grad_norm": 2.246016502380371, |
| "learning_rate": 2.0527586206896554e-05, |
| "loss": 4.407, |
| "step": 18100 |
| }, |
| { |
| "epoch": 0.6066666666666667, |
| "grad_norm": 2.139479637145996, |
| "learning_rate": 2.0355172413793106e-05, |
| "loss": 4.4069, |
| "step": 18200 |
| }, |
| { |
| "epoch": 0.61, |
| "grad_norm": 2.2395882606506348, |
| "learning_rate": 2.0182758620689658e-05, |
| "loss": 4.4317, |
| "step": 18300 |
| }, |
| { |
| "epoch": 0.6133333333333333, |
| "grad_norm": 2.2215514183044434, |
| "learning_rate": 2.0010344827586207e-05, |
| "loss": 4.4087, |
| "step": 18400 |
| }, |
| { |
| "epoch": 0.6166666666666667, |
| "grad_norm": 2.2115671634674072, |
| "learning_rate": 1.983793103448276e-05, |
| "loss": 4.4261, |
| "step": 18500 |
| }, |
| { |
| "epoch": 0.62, |
| "grad_norm": 2.1851704120635986, |
| "learning_rate": 1.966551724137931e-05, |
| "loss": 4.428, |
| "step": 18600 |
| }, |
| { |
| "epoch": 0.6233333333333333, |
| "grad_norm": 2.017883539199829, |
| "learning_rate": 1.9493103448275863e-05, |
| "loss": 4.3821, |
| "step": 18700 |
| }, |
| { |
| "epoch": 0.6266666666666667, |
| "grad_norm": 1.912879228591919, |
| "learning_rate": 1.9320689655172415e-05, |
| "loss": 4.4048, |
| "step": 18800 |
| }, |
| { |
| "epoch": 0.63, |
| "grad_norm": 2.136014699935913, |
| "learning_rate": 1.9148275862068964e-05, |
| "loss": 4.3849, |
| "step": 18900 |
| }, |
| { |
| "epoch": 0.6333333333333333, |
| "grad_norm": 1.9832309484481812, |
| "learning_rate": 1.897586206896552e-05, |
| "loss": 4.4062, |
| "step": 19000 |
| }, |
| { |
| "epoch": 0.6366666666666667, |
| "grad_norm": 1.8475227355957031, |
| "learning_rate": 1.880344827586207e-05, |
| "loss": 4.3949, |
| "step": 19100 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 2.476745367050171, |
| "learning_rate": 1.8631034482758623e-05, |
| "loss": 4.416, |
| "step": 19200 |
| }, |
| { |
| "epoch": 0.6433333333333333, |
| "grad_norm": 2.201724052429199, |
| "learning_rate": 1.8458620689655172e-05, |
| "loss": 4.3844, |
| "step": 19300 |
| }, |
| { |
| "epoch": 0.6466666666666666, |
| "grad_norm": 1.9169152975082397, |
| "learning_rate": 1.8286206896551724e-05, |
| "loss": 4.4169, |
| "step": 19400 |
| }, |
| { |
| "epoch": 0.65, |
| "grad_norm": 1.8896160125732422, |
| "learning_rate": 1.8113793103448276e-05, |
| "loss": 4.4032, |
| "step": 19500 |
| }, |
| { |
| "epoch": 0.6533333333333333, |
| "grad_norm": 1.9147884845733643, |
| "learning_rate": 1.794137931034483e-05, |
| "loss": 4.4098, |
| "step": 19600 |
| }, |
| { |
| "epoch": 0.6566666666666666, |
| "grad_norm": 2.461538076400757, |
| "learning_rate": 1.776896551724138e-05, |
| "loss": 4.4274, |
| "step": 19700 |
| }, |
| { |
| "epoch": 0.66, |
| "grad_norm": 2.043869733810425, |
| "learning_rate": 1.7596551724137933e-05, |
| "loss": 4.3963, |
| "step": 19800 |
| }, |
| { |
| "epoch": 0.6633333333333333, |
| "grad_norm": 2.003953218460083, |
| "learning_rate": 1.7424137931034485e-05, |
| "loss": 4.4025, |
| "step": 19900 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 2.514071464538574, |
| "learning_rate": 1.7251724137931037e-05, |
| "loss": 4.3973, |
| "step": 20000 |
| }, |
| { |
| "epoch": 0.67, |
| "grad_norm": 2.3290865421295166, |
| "learning_rate": 1.7079310344827585e-05, |
| "loss": 4.3999, |
| "step": 20100 |
| }, |
| { |
| "epoch": 0.6733333333333333, |
| "grad_norm": 1.8519926071166992, |
| "learning_rate": 1.6906896551724138e-05, |
| "loss": 4.4046, |
| "step": 20200 |
| }, |
| { |
| "epoch": 0.6766666666666666, |
| "grad_norm": 2.53118896484375, |
| "learning_rate": 1.673448275862069e-05, |
| "loss": 4.3959, |
| "step": 20300 |
| }, |
| { |
| "epoch": 0.68, |
| "grad_norm": 1.9727709293365479, |
| "learning_rate": 1.6562068965517242e-05, |
| "loss": 4.4176, |
| "step": 20400 |
| }, |
| { |
| "epoch": 0.6833333333333333, |
| "grad_norm": 1.9265756607055664, |
| "learning_rate": 1.6389655172413794e-05, |
| "loss": 4.3849, |
| "step": 20500 |
| }, |
| { |
| "epoch": 0.6866666666666666, |
| "grad_norm": 2.2798376083374023, |
| "learning_rate": 1.6217241379310346e-05, |
| "loss": 4.4101, |
| "step": 20600 |
| }, |
| { |
| "epoch": 0.69, |
| "grad_norm": 2.1076509952545166, |
| "learning_rate": 1.6044827586206898e-05, |
| "loss": 4.3888, |
| "step": 20700 |
| }, |
| { |
| "epoch": 0.6933333333333334, |
| "grad_norm": 2.338351011276245, |
| "learning_rate": 1.587241379310345e-05, |
| "loss": 4.3772, |
| "step": 20800 |
| }, |
| { |
| "epoch": 0.6966666666666667, |
| "grad_norm": 2.0186917781829834, |
| "learning_rate": 1.5700000000000002e-05, |
| "loss": 4.4018, |
| "step": 20900 |
| }, |
| { |
| "epoch": 0.7, |
| "grad_norm": 2.1765296459198, |
| "learning_rate": 1.552758620689655e-05, |
| "loss": 4.4103, |
| "step": 21000 |
| }, |
| { |
| "epoch": 0.7033333333333334, |
| "grad_norm": 2.109718084335327, |
| "learning_rate": 1.5355172413793103e-05, |
| "loss": 4.3969, |
| "step": 21100 |
| }, |
| { |
| "epoch": 0.7066666666666667, |
| "grad_norm": 2.078711748123169, |
| "learning_rate": 1.5182758620689655e-05, |
| "loss": 4.4051, |
| "step": 21200 |
| }, |
| { |
| "epoch": 0.71, |
| "grad_norm": 2.2366254329681396, |
| "learning_rate": 1.5010344827586207e-05, |
| "loss": 4.377, |
| "step": 21300 |
| }, |
| { |
| "epoch": 0.7133333333333334, |
| "grad_norm": 2.2516391277313232, |
| "learning_rate": 1.4837931034482761e-05, |
| "loss": 4.4015, |
| "step": 21400 |
| }, |
| { |
| "epoch": 0.7166666666666667, |
| "grad_norm": 2.1501176357269287, |
| "learning_rate": 1.4665517241379311e-05, |
| "loss": 4.3737, |
| "step": 21500 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 1.8726160526275635, |
| "learning_rate": 1.4493103448275863e-05, |
| "loss": 4.3776, |
| "step": 21600 |
| }, |
| { |
| "epoch": 0.7233333333333334, |
| "grad_norm": 2.260007381439209, |
| "learning_rate": 1.4320689655172414e-05, |
| "loss": 4.3961, |
| "step": 21700 |
| }, |
| { |
| "epoch": 0.7266666666666667, |
| "grad_norm": 1.9862884283065796, |
| "learning_rate": 1.415e-05, |
| "loss": 4.3974, |
| "step": 21800 |
| }, |
| { |
| "epoch": 0.73, |
| "grad_norm": 2.1817476749420166, |
| "learning_rate": 1.3977586206896554e-05, |
| "loss": 4.4077, |
| "step": 21900 |
| }, |
| { |
| "epoch": 0.7333333333333333, |
| "grad_norm": 2.2883946895599365, |
| "learning_rate": 1.3805172413793104e-05, |
| "loss": 4.3457, |
| "step": 22000 |
| }, |
| { |
| "epoch": 0.7366666666666667, |
| "grad_norm": 2.1526737213134766, |
| "learning_rate": 1.3632758620689656e-05, |
| "loss": 4.4059, |
| "step": 22100 |
| }, |
| { |
| "epoch": 0.74, |
| "grad_norm": 2.2343320846557617, |
| "learning_rate": 1.3460344827586208e-05, |
| "loss": 4.3799, |
| "step": 22200 |
| }, |
| { |
| "epoch": 0.7433333333333333, |
| "grad_norm": 2.1139650344848633, |
| "learning_rate": 1.3289655172413793e-05, |
| "loss": 4.3759, |
| "step": 22300 |
| }, |
| { |
| "epoch": 0.7466666666666667, |
| "grad_norm": 2.2490551471710205, |
| "learning_rate": 1.3117241379310347e-05, |
| "loss": 4.3726, |
| "step": 22400 |
| }, |
| { |
| "epoch": 0.75, |
| "grad_norm": 2.03560209274292, |
| "learning_rate": 1.2944827586206897e-05, |
| "loss": 4.3795, |
| "step": 22500 |
| }, |
| { |
| "epoch": 0.7533333333333333, |
| "grad_norm": 2.175682783126831, |
| "learning_rate": 1.277241379310345e-05, |
| "loss": 4.3911, |
| "step": 22600 |
| }, |
| { |
| "epoch": 0.7566666666666667, |
| "grad_norm": 2.171412467956543, |
| "learning_rate": 1.2600000000000001e-05, |
| "loss": 4.3755, |
| "step": 22700 |
| }, |
| { |
| "epoch": 0.76, |
| "grad_norm": 2.1491260528564453, |
| "learning_rate": 1.2427586206896552e-05, |
| "loss": 4.3995, |
| "step": 22800 |
| }, |
| { |
| "epoch": 0.7633333333333333, |
| "grad_norm": 2.0756146907806396, |
| "learning_rate": 1.2255172413793104e-05, |
| "loss": 4.3824, |
| "step": 22900 |
| }, |
| { |
| "epoch": 0.7666666666666667, |
| "grad_norm": 1.9129120111465454, |
| "learning_rate": 1.2082758620689656e-05, |
| "loss": 4.379, |
| "step": 23000 |
| }, |
| { |
| "epoch": 0.77, |
| "grad_norm": 2.1584272384643555, |
| "learning_rate": 1.1910344827586208e-05, |
| "loss": 4.393, |
| "step": 23100 |
| }, |
| { |
| "epoch": 0.7733333333333333, |
| "grad_norm": 2.1815624237060547, |
| "learning_rate": 1.1737931034482758e-05, |
| "loss": 4.3407, |
| "step": 23200 |
| }, |
| { |
| "epoch": 0.7766666666666666, |
| "grad_norm": 2.2393853664398193, |
| "learning_rate": 1.156551724137931e-05, |
| "loss": 4.3876, |
| "step": 23300 |
| }, |
| { |
| "epoch": 0.78, |
| "grad_norm": 2.191389560699463, |
| "learning_rate": 1.1393103448275863e-05, |
| "loss": 4.3888, |
| "step": 23400 |
| }, |
| { |
| "epoch": 0.7833333333333333, |
| "grad_norm": 1.861325740814209, |
| "learning_rate": 1.1220689655172415e-05, |
| "loss": 4.3659, |
| "step": 23500 |
| }, |
| { |
| "epoch": 0.7866666666666666, |
| "grad_norm": 2.1595823764801025, |
| "learning_rate": 1.1048275862068965e-05, |
| "loss": 4.374, |
| "step": 23600 |
| }, |
| { |
| "epoch": 0.79, |
| "grad_norm": 2.048743963241577, |
| "learning_rate": 1.0875862068965517e-05, |
| "loss": 4.3554, |
| "step": 23700 |
| }, |
| { |
| "epoch": 0.7933333333333333, |
| "grad_norm": 1.8800294399261475, |
| "learning_rate": 1.070344827586207e-05, |
| "loss": 4.3815, |
| "step": 23800 |
| }, |
| { |
| "epoch": 0.7966666666666666, |
| "grad_norm": 2.2559168338775635, |
| "learning_rate": 1.0531034482758621e-05, |
| "loss": 4.3809, |
| "step": 23900 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 2.2554898262023926, |
| "learning_rate": 1.0358620689655173e-05, |
| "loss": 4.3688, |
| "step": 24000 |
| }, |
| { |
| "epoch": 0.8033333333333333, |
| "grad_norm": 2.4968557357788086, |
| "learning_rate": 1.0186206896551724e-05, |
| "loss": 4.3834, |
| "step": 24100 |
| }, |
| { |
| "epoch": 0.8066666666666666, |
| "grad_norm": 2.2546260356903076, |
| "learning_rate": 1.0013793103448278e-05, |
| "loss": 4.3671, |
| "step": 24200 |
| }, |
| { |
| "epoch": 0.81, |
| "grad_norm": 2.0959572792053223, |
| "learning_rate": 9.841379310344828e-06, |
| "loss": 4.4036, |
| "step": 24300 |
| }, |
| { |
| "epoch": 0.8133333333333334, |
| "grad_norm": 2.429842472076416, |
| "learning_rate": 9.66896551724138e-06, |
| "loss": 4.3778, |
| "step": 24400 |
| }, |
| { |
| "epoch": 0.8166666666666667, |
| "grad_norm": 1.9144500494003296, |
| "learning_rate": 9.49655172413793e-06, |
| "loss": 4.3597, |
| "step": 24500 |
| }, |
| { |
| "epoch": 0.82, |
| "grad_norm": 2.014716863632202, |
| "learning_rate": 9.324137931034484e-06, |
| "loss": 4.3398, |
| "step": 24600 |
| }, |
| { |
| "epoch": 0.8233333333333334, |
| "grad_norm": 2.0111021995544434, |
| "learning_rate": 9.151724137931035e-06, |
| "loss": 4.3688, |
| "step": 24700 |
| }, |
| { |
| "epoch": 0.8266666666666667, |
| "grad_norm": 2.206125259399414, |
| "learning_rate": 8.979310344827587e-06, |
| "loss": 4.4069, |
| "step": 24800 |
| }, |
| { |
| "epoch": 0.83, |
| "grad_norm": 1.9322938919067383, |
| "learning_rate": 8.806896551724137e-06, |
| "loss": 4.3585, |
| "step": 24900 |
| }, |
| { |
| "epoch": 0.8333333333333334, |
| "grad_norm": 2.382385492324829, |
| "learning_rate": 8.634482758620691e-06, |
| "loss": 4.379, |
| "step": 25000 |
| }, |
| { |
| "epoch": 0.8366666666666667, |
| "grad_norm": 2.0957460403442383, |
| "learning_rate": 8.462068965517241e-06, |
| "loss": 4.3633, |
| "step": 25100 |
| }, |
| { |
| "epoch": 0.84, |
| "grad_norm": 2.191102981567383, |
| "learning_rate": 8.289655172413793e-06, |
| "loss": 4.3723, |
| "step": 25200 |
| }, |
| { |
| "epoch": 0.8433333333333334, |
| "grad_norm": 2.186511993408203, |
| "learning_rate": 8.117241379310346e-06, |
| "loss": 4.396, |
| "step": 25300 |
| }, |
| { |
| "epoch": 0.8466666666666667, |
| "grad_norm": 2.2075576782226562, |
| "learning_rate": 7.944827586206898e-06, |
| "loss": 4.3534, |
| "step": 25400 |
| }, |
| { |
| "epoch": 0.85, |
| "grad_norm": 2.1940252780914307, |
| "learning_rate": 7.772413793103448e-06, |
| "loss": 4.3564, |
| "step": 25500 |
| }, |
| { |
| "epoch": 0.8533333333333334, |
| "grad_norm": 1.975804090499878, |
| "learning_rate": 7.6e-06, |
| "loss": 4.3497, |
| "step": 25600 |
| }, |
| { |
| "epoch": 0.8566666666666667, |
| "grad_norm": 2.2161664962768555, |
| "learning_rate": 7.427586206896551e-06, |
| "loss": 4.3383, |
| "step": 25700 |
| }, |
| { |
| "epoch": 0.86, |
| "grad_norm": 2.422048807144165, |
| "learning_rate": 7.255172413793104e-06, |
| "loss": 4.381, |
| "step": 25800 |
| }, |
| { |
| "epoch": 0.8633333333333333, |
| "grad_norm": 2.26328444480896, |
| "learning_rate": 7.0827586206896555e-06, |
| "loss": 4.337, |
| "step": 25900 |
| }, |
| { |
| "epoch": 0.8666666666666667, |
| "grad_norm": 2.0234344005584717, |
| "learning_rate": 6.912068965517242e-06, |
| "loss": 4.3614, |
| "step": 26000 |
| }, |
| { |
| "epoch": 0.87, |
| "grad_norm": 2.1131584644317627, |
| "learning_rate": 6.739655172413793e-06, |
| "loss": 4.3512, |
| "step": 26100 |
| }, |
| { |
| "epoch": 0.8733333333333333, |
| "grad_norm": 2.498945713043213, |
| "learning_rate": 6.567241379310344e-06, |
| "loss": 4.3559, |
| "step": 26200 |
| }, |
| { |
| "epoch": 0.8766666666666667, |
| "grad_norm": 2.271238327026367, |
| "learning_rate": 6.394827586206897e-06, |
| "loss": 4.3568, |
| "step": 26300 |
| }, |
| { |
| "epoch": 0.88, |
| "grad_norm": 2.2349765300750732, |
| "learning_rate": 6.2224137931034484e-06, |
| "loss": 4.3303, |
| "step": 26400 |
| }, |
| { |
| "epoch": 0.8833333333333333, |
| "grad_norm": 2.2044858932495117, |
| "learning_rate": 6.0500000000000005e-06, |
| "loss": 4.3573, |
| "step": 26500 |
| }, |
| { |
| "epoch": 0.8866666666666667, |
| "grad_norm": 2.143218994140625, |
| "learning_rate": 5.877586206896552e-06, |
| "loss": 4.3548, |
| "step": 26600 |
| }, |
| { |
| "epoch": 0.89, |
| "grad_norm": 2.3432939052581787, |
| "learning_rate": 5.705172413793104e-06, |
| "loss": 4.3687, |
| "step": 26700 |
| }, |
| { |
| "epoch": 0.8933333333333333, |
| "grad_norm": 1.8604556322097778, |
| "learning_rate": 5.532758620689656e-06, |
| "loss": 4.3866, |
| "step": 26800 |
| }, |
| { |
| "epoch": 0.8966666666666666, |
| "grad_norm": 2.41178560256958, |
| "learning_rate": 5.360344827586207e-06, |
| "loss": 4.3309, |
| "step": 26900 |
| }, |
| { |
| "epoch": 0.9, |
| "grad_norm": 2.5105397701263428, |
| "learning_rate": 5.187931034482759e-06, |
| "loss": 4.3829, |
| "step": 27000 |
| }, |
| { |
| "epoch": 0.9033333333333333, |
| "grad_norm": 2.303903102874756, |
| "learning_rate": 5.0155172413793105e-06, |
| "loss": 4.3343, |
| "step": 27100 |
| }, |
| { |
| "epoch": 0.9066666666666666, |
| "grad_norm": 2.1825873851776123, |
| "learning_rate": 4.843103448275863e-06, |
| "loss": 4.3467, |
| "step": 27200 |
| }, |
| { |
| "epoch": 0.91, |
| "grad_norm": 2.1242332458496094, |
| "learning_rate": 4.670689655172414e-06, |
| "loss": 4.3591, |
| "step": 27300 |
| }, |
| { |
| "epoch": 0.9133333333333333, |
| "grad_norm": 2.355365037918091, |
| "learning_rate": 4.498275862068966e-06, |
| "loss": 4.3175, |
| "step": 27400 |
| }, |
| { |
| "epoch": 0.9166666666666666, |
| "grad_norm": 2.075387954711914, |
| "learning_rate": 4.325862068965517e-06, |
| "loss": 4.3861, |
| "step": 27500 |
| }, |
| { |
| "epoch": 0.92, |
| "grad_norm": 2.1146600246429443, |
| "learning_rate": 4.153448275862069e-06, |
| "loss": 4.355, |
| "step": 27600 |
| }, |
| { |
| "epoch": 0.9233333333333333, |
| "grad_norm": 1.9889869689941406, |
| "learning_rate": 3.9810344827586205e-06, |
| "loss": 4.3627, |
| "step": 27700 |
| }, |
| { |
| "epoch": 0.9266666666666666, |
| "grad_norm": 2.166405200958252, |
| "learning_rate": 3.8086206896551726e-06, |
| "loss": 4.3459, |
| "step": 27800 |
| }, |
| { |
| "epoch": 0.93, |
| "grad_norm": 2.054823160171509, |
| "learning_rate": 3.6362068965517243e-06, |
| "loss": 4.3174, |
| "step": 27900 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 2.1031033992767334, |
| "learning_rate": 3.4637931034482764e-06, |
| "loss": 4.358, |
| "step": 28000 |
| }, |
| { |
| "epoch": 0.9366666666666666, |
| "grad_norm": 2.0477893352508545, |
| "learning_rate": 3.2913793103448276e-06, |
| "loss": 4.341, |
| "step": 28100 |
| }, |
| { |
| "epoch": 0.94, |
| "grad_norm": 2.4143428802490234, |
| "learning_rate": 3.1189655172413793e-06, |
| "loss": 4.355, |
| "step": 28200 |
| }, |
| { |
| "epoch": 0.9433333333333334, |
| "grad_norm": 1.8853615522384644, |
| "learning_rate": 2.946551724137931e-06, |
| "loss": 4.3365, |
| "step": 28300 |
| }, |
| { |
| "epoch": 0.9466666666666667, |
| "grad_norm": 2.3704171180725098, |
| "learning_rate": 2.7741379310344826e-06, |
| "loss": 4.3356, |
| "step": 28400 |
| }, |
| { |
| "epoch": 0.95, |
| "grad_norm": 2.3981566429138184, |
| "learning_rate": 2.6017241379310343e-06, |
| "loss": 4.3553, |
| "step": 28500 |
| }, |
| { |
| "epoch": 0.9533333333333334, |
| "grad_norm": 2.259207010269165, |
| "learning_rate": 2.4310344827586205e-06, |
| "loss": 4.3363, |
| "step": 28600 |
| }, |
| { |
| "epoch": 0.9566666666666667, |
| "grad_norm": 2.0507473945617676, |
| "learning_rate": 2.258620689655172e-06, |
| "loss": 4.3574, |
| "step": 28700 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 2.1110222339630127, |
| "learning_rate": 2.0862068965517243e-06, |
| "loss": 4.3434, |
| "step": 28800 |
| }, |
| { |
| "epoch": 0.9633333333333334, |
| "grad_norm": 2.7897815704345703, |
| "learning_rate": 1.913793103448276e-06, |
| "loss": 4.3536, |
| "step": 28900 |
| }, |
| { |
| "epoch": 0.9666666666666667, |
| "grad_norm": 2.439835548400879, |
| "learning_rate": 1.7413793103448276e-06, |
| "loss": 4.353, |
| "step": 29000 |
| }, |
| { |
| "epoch": 0.97, |
| "grad_norm": 2.11780047416687, |
| "learning_rate": 1.5689655172413793e-06, |
| "loss": 4.3291, |
| "step": 29100 |
| }, |
| { |
| "epoch": 0.9733333333333334, |
| "grad_norm": 2.232104539871216, |
| "learning_rate": 1.3965517241379312e-06, |
| "loss": 4.3563, |
| "step": 29200 |
| }, |
| { |
| "epoch": 0.9766666666666667, |
| "grad_norm": 2.321014404296875, |
| "learning_rate": 1.2241379310344828e-06, |
| "loss": 4.3352, |
| "step": 29300 |
| }, |
| { |
| "epoch": 0.98, |
| "grad_norm": 2.1317617893218994, |
| "learning_rate": 1.0517241379310345e-06, |
| "loss": 4.3548, |
| "step": 29400 |
| }, |
| { |
| "epoch": 0.9833333333333333, |
| "grad_norm": 2.2252442836761475, |
| "learning_rate": 8.793103448275863e-07, |
| "loss": 4.3548, |
| "step": 29500 |
| }, |
| { |
| "epoch": 0.9866666666666667, |
| "grad_norm": 2.241938829421997, |
| "learning_rate": 7.068965517241379e-07, |
| "loss": 4.3312, |
| "step": 29600 |
| }, |
| { |
| "epoch": 0.99, |
| "grad_norm": 2.1634891033172607, |
| "learning_rate": 5.344827586206897e-07, |
| "loss": 4.3697, |
| "step": 29700 |
| }, |
| { |
| "epoch": 0.9933333333333333, |
| "grad_norm": 2.746436357498169, |
| "learning_rate": 3.6206896551724143e-07, |
| "loss": 4.3528, |
| "step": 29800 |
| }, |
| { |
| "epoch": 0.9966666666666667, |
| "grad_norm": 2.436894178390503, |
| "learning_rate": 1.8965517241379312e-07, |
| "loss": 4.34, |
| "step": 29900 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 2.4377429485321045, |
| "learning_rate": 1.896551724137931e-08, |
| "loss": 4.3691, |
| "step": 30000 |
| }, |
| { |
| "epoch": 1.0000333333333333, |
| "step": 30001, |
| "total_flos": 4.0981544802503885e+17, |
| "train_loss": 0.00044824120156077804, |
| "train_runtime": 24.4073, |
| "train_samples_per_second": 19666.274, |
| "train_steps_per_second": 1229.142 |
| } |
| ], |
| "logging_steps": 100, |
| "max_steps": 30000, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 9223372036854775807, |
| "save_steps": 2000, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 4.0981544802503885e+17, |
| "train_batch_size": 4, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
