| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 3.0, |
| "eval_steps": 50, |
| "global_step": 225, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 3.3095102310180664, |
| "learning_rate": 3.3333333333333335e-05, |
| "loss": 3.553193283081055, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 3.525651454925537, |
| "learning_rate": 7.500000000000001e-05, |
| "loss": 2.196733856201172, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 1.8955384492874146, |
| "learning_rate": 9.997824750657585e-05, |
| "loss": 0.5981613159179687, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 0.9316425919532776, |
| "learning_rate": 9.973374926646116e-05, |
| "loss": 0.25100862979888916, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 0.470761775970459, |
| "learning_rate": 9.921889571113628e-05, |
| "loss": 0.21380953788757323, |
| "step": 25 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 0.24911896884441376, |
| "learning_rate": 9.843648561200475e-05, |
| "loss": 0.19729268550872803, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.4666666666666667, |
| "grad_norm": 0.1331823319196701, |
| "learning_rate": 9.73907721921212e-05, |
| "loss": 0.19206844568252562, |
| "step": 35 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 0.3001701235771179, |
| "learning_rate": 9.608744000544392e-05, |
| "loss": 0.1841310977935791, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 0.025193708017468452, |
| "learning_rate": 9.453357403529609e-05, |
| "loss": 0.16237072944641112, |
| "step": 45 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 0.01090251188725233, |
| "learning_rate": 9.273762118001837e-05, |
| "loss": 0.1566811203956604, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "eval_loss": 0.15606221556663513, |
| "eval_runtime": 0.812, |
| "eval_samples_per_second": 307.886, |
| "eval_steps_per_second": 9.852, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.7333333333333333, |
| "grad_norm": 0.00922091118991375, |
| "learning_rate": 9.070934433517873e-05, |
| "loss": 0.15580005645751954, |
| "step": 55 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 0.0077132065780460835, |
| "learning_rate": 8.845976932195103e-05, |
| "loss": 0.1553624153137207, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.8666666666666667, |
| "grad_norm": 0.007066451478749514, |
| "learning_rate": 8.600112495016288e-05, |
| "loss": 0.15475208759307862, |
| "step": 65 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 0.005823033396154642, |
| "learning_rate": 8.334677654183254e-05, |
| "loss": 0.15437995195388793, |
| "step": 70 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 0.005354343447834253, |
| "learning_rate": 8.051115327656538e-05, |
| "loss": 0.1542748212814331, |
| "step": 75 |
| }, |
| { |
| "epoch": 1.0666666666666667, |
| "grad_norm": 0.005110330879688263, |
| "learning_rate": 7.750966975376328e-05, |
| "loss": 0.15384273529052733, |
| "step": 80 |
| }, |
| { |
| "epoch": 1.1333333333333333, |
| "grad_norm": 0.004773593507707119, |
| "learning_rate": 7.435864219803983e-05, |
| "loss": 0.153655743598938, |
| "step": 85 |
| }, |
| { |
| "epoch": 1.2, |
| "grad_norm": 0.004483514931052923, |
| "learning_rate": 7.10751997633524e-05, |
| "loss": 0.15383241176605225, |
| "step": 90 |
| }, |
| { |
| "epoch": 1.2666666666666666, |
| "grad_norm": 0.004061458632349968, |
| "learning_rate": 6.767719141800717e-05, |
| "loss": 0.1533586263656616, |
| "step": 95 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "grad_norm": 0.0037068487145006657, |
| "learning_rate": 6.418308891671484e-05, |
| "loss": 0.1532520055770874, |
| "step": 100 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "eval_loss": 0.15319058299064636, |
| "eval_runtime": 0.7898, |
| "eval_samples_per_second": 316.544, |
| "eval_steps_per_second": 10.129, |
| "step": 100 |
| }, |
| { |
| "epoch": 1.4, |
| "grad_norm": 0.0036922406870871782, |
| "learning_rate": 6.0611886387146156e-05, |
| "loss": 0.15315526723861694, |
| "step": 105 |
| }, |
| { |
| "epoch": 1.4666666666666668, |
| "grad_norm": 0.003276499453932047, |
| "learning_rate": 5.6982997076840306e-05, |
| "loss": 0.15307013988494872, |
| "step": 110 |
| }, |
| { |
| "epoch": 1.5333333333333332, |
| "grad_norm": 0.0030743591487407684, |
| "learning_rate": 5.3316147821755205e-05, |
| "loss": 0.15306075811386108, |
| "step": 115 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 0.002890027826651931, |
| "learning_rate": 4.963127181013438e-05, |
| "loss": 0.15295226573944093, |
| "step": 120 |
| }, |
| { |
| "epoch": 1.6666666666666665, |
| "grad_norm": 0.002783812815323472, |
| "learning_rate": 4.5948400224632e-05, |
| "loss": 0.15291054248809816, |
| "step": 125 |
| }, |
| { |
| "epoch": 1.7333333333333334, |
| "grad_norm": 0.0026604756712913513, |
| "learning_rate": 4.228755335173488e-05, |
| "loss": 0.15286383628845215, |
| "step": 130 |
| }, |
| { |
| "epoch": 1.8, |
| "grad_norm": 0.002499212510883808, |
| "learning_rate": 3.866863175041666e-05, |
| "loss": 0.15282795429229737, |
| "step": 135 |
| }, |
| { |
| "epoch": 1.8666666666666667, |
| "grad_norm": 0.0029253114480525255, |
| "learning_rate": 3.511130807163724e-05, |
| "loss": 0.1527980923652649, |
| "step": 140 |
| }, |
| { |
| "epoch": 1.9333333333333333, |
| "grad_norm": 0.0025290725752711296, |
| "learning_rate": 3.1634920116762176e-05, |
| "loss": 0.15277599096298217, |
| "step": 145 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 0.002358167665079236, |
| "learning_rate": 2.825836571624254e-05, |
| "loss": 0.15276691913604737, |
| "step": 150 |
| }, |
| { |
| "epoch": 2.0, |
| "eval_loss": 0.15274152159690857, |
| "eval_runtime": 0.7897, |
| "eval_samples_per_second": 316.557, |
| "eval_steps_per_second": 10.13, |
| "step": 150 |
| }, |
| { |
| "epoch": 2.066666666666667, |
| "grad_norm": 0.002371756825596094, |
| "learning_rate": 2.500000000000001e-05, |
| "loss": 0.1527329206466675, |
| "step": 155 |
| }, |
| { |
| "epoch": 2.1333333333333333, |
| "grad_norm": 0.002244981937110424, |
| "learning_rate": 2.187753561796097e-05, |
| "loss": 0.15271611213684083, |
| "step": 160 |
| }, |
| { |
| "epoch": 2.2, |
| "grad_norm": 0.002219752175733447, |
| "learning_rate": 1.890794645314633e-05, |
| "loss": 0.152712082862854, |
| "step": 165 |
| }, |
| { |
| "epoch": 2.2666666666666666, |
| "grad_norm": 0.0022663031704723835, |
| "learning_rate": 1.6107375350737437e-05, |
| "loss": 0.1527017116546631, |
| "step": 170 |
| }, |
| { |
| "epoch": 2.3333333333333335, |
| "grad_norm": 0.0020821872167289257, |
| "learning_rate": 1.3491046364708293e-05, |
| "loss": 0.15268385410308838, |
| "step": 175 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 0.002131885616108775, |
| "learning_rate": 1.1073181999055538e-05, |
| "loss": 0.15267916917800903, |
| "step": 180 |
| }, |
| { |
| "epoch": 2.466666666666667, |
| "grad_norm": 0.0020295437425374985, |
| "learning_rate": 8.866925893507805e-06, |
| "loss": 0.152678918838501, |
| "step": 185 |
| }, |
| { |
| "epoch": 2.533333333333333, |
| "grad_norm": 0.002005334012210369, |
| "learning_rate": 6.8842713739986075e-06, |
| "loss": 0.15267302989959716, |
| "step": 190 |
| }, |
| { |
| "epoch": 2.6, |
| "grad_norm": 0.0021423636935651302, |
| "learning_rate": 5.135996256306619e-06, |
| "loss": 0.15266704559326172, |
| "step": 195 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "grad_norm": 0.001974227372556925, |
| "learning_rate": 3.631604257273774e-06, |
| "loss": 0.15267045497894288, |
| "step": 200 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "eval_loss": 0.15265707671642303, |
| "eval_runtime": 0.7886, |
| "eval_samples_per_second": 317.034, |
| "eval_steps_per_second": 10.145, |
| "step": 200 |
| }, |
| { |
| "epoch": 2.7333333333333334, |
| "grad_norm": 0.0023210777435451746, |
| "learning_rate": 2.3792733320934346e-06, |
| "loss": 0.15267107486724854, |
| "step": 205 |
| }, |
| { |
| "epoch": 2.8, |
| "grad_norm": 0.0020230039954185486, |
| "learning_rate": 1.3858112185094418e-06, |
| "loss": 0.1526672959327698, |
| "step": 210 |
| }, |
| { |
| "epoch": 2.8666666666666667, |
| "grad_norm": 0.0019893497228622437, |
| "learning_rate": 6.566184295904776e-07, |
| "loss": 0.1526732087135315, |
| "step": 215 |
| }, |
| { |
| "epoch": 2.9333333333333336, |
| "grad_norm": 0.0020170097704976797, |
| "learning_rate": 1.9565889625275946e-07, |
| "loss": 0.15266685485839843, |
| "step": 220 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 0.001985270995646715, |
| "learning_rate": 5.438419120062932e-09, |
| "loss": 0.15266673564910888, |
| "step": 225 |
| }, |
| { |
| "epoch": 3.0, |
| "eval_loss": 0.1526603251695633, |
| "eval_runtime": 0.7874, |
| "eval_samples_per_second": 317.482, |
| "eval_steps_per_second": 10.159, |
| "step": 225 |
| }, |
| { |
| "epoch": 3.0, |
| "step": 225, |
| "total_flos": 9.49777223122944e+16, |
| "train_loss": 0.29038675096299915, |
| "train_runtime": 174.0086, |
| "train_samples_per_second": 81.892, |
| "train_steps_per_second": 1.293 |
| } |
| ], |
| "logging_steps": 5, |
| "max_steps": 225, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 3, |
| "save_steps": 50, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 9.49777223122944e+16, |
| "train_batch_size": 8, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
