| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 3.0, |
| "eval_steps": 500, |
| "global_step": 60, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.05, |
| "grad_norm": 80.66175842285156, |
| "learning_rate": 1e-05, |
| "loss": 0.9514020681381226, |
| "step": 1 |
| }, |
| { |
| "epoch": 0.1, |
| "grad_norm": 1.0970385074615479, |
| "learning_rate": 9.833333333333333e-06, |
| "loss": 0.09131709486246109, |
| "step": 2 |
| }, |
| { |
| "epoch": 0.15, |
| "grad_norm": 1.4831246137619019, |
| "learning_rate": 9.666666666666667e-06, |
| "loss": 0.05175395309925079, |
| "step": 3 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 0.4043860137462616, |
| "learning_rate": 9.5e-06, |
| "loss": 0.05738525092601776, |
| "step": 4 |
| }, |
| { |
| "epoch": 0.25, |
| "grad_norm": 0.5729227662086487, |
| "learning_rate": 9.333333333333334e-06, |
| "loss": 0.06390652805566788, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.3, |
| "grad_norm": 5.622867584228516, |
| "learning_rate": 9.166666666666666e-06, |
| "loss": 0.1478271484375, |
| "step": 6 |
| }, |
| { |
| "epoch": 0.35, |
| "grad_norm": 0.5776848793029785, |
| "learning_rate": 9e-06, |
| "loss": 0.09983852505683899, |
| "step": 7 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 0.43680715560913086, |
| "learning_rate": 8.833333333333334e-06, |
| "loss": 0.059296298772096634, |
| "step": 8 |
| }, |
| { |
| "epoch": 0.45, |
| "grad_norm": 46.00102996826172, |
| "learning_rate": 8.666666666666668e-06, |
| "loss": 0.7365288138389587, |
| "step": 9 |
| }, |
| { |
| "epoch": 0.5, |
| "grad_norm": 0.6660211086273193, |
| "learning_rate": 8.5e-06, |
| "loss": 0.06760607659816742, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.55, |
| "grad_norm": 1.43808913230896, |
| "learning_rate": 8.333333333333334e-06, |
| "loss": 0.10728767514228821, |
| "step": 11 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 0.9973806738853455, |
| "learning_rate": 8.166666666666668e-06, |
| "loss": 0.05660431459546089, |
| "step": 12 |
| }, |
| { |
| "epoch": 0.65, |
| "grad_norm": 0.3046686053276062, |
| "learning_rate": 8.000000000000001e-06, |
| "loss": 0.044479940086603165, |
| "step": 13 |
| }, |
| { |
| "epoch": 0.7, |
| "grad_norm": 0.7218084931373596, |
| "learning_rate": 7.833333333333333e-06, |
| "loss": 0.042200710624456406, |
| "step": 14 |
| }, |
| { |
| "epoch": 0.75, |
| "grad_norm": 0.1966221034526825, |
| "learning_rate": 7.666666666666667e-06, |
| "loss": 0.023948058485984802, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 0.8716944456100464, |
| "learning_rate": 7.500000000000001e-06, |
| "loss": 0.0382695272564888, |
| "step": 16 |
| }, |
| { |
| "epoch": 0.85, |
| "grad_norm": 0.5911157131195068, |
| "learning_rate": 7.333333333333333e-06, |
| "loss": 0.062288615852594376, |
| "step": 17 |
| }, |
| { |
| "epoch": 0.9, |
| "grad_norm": 0.43314868211746216, |
| "learning_rate": 7.166666666666667e-06, |
| "loss": 0.04647224396467209, |
| "step": 18 |
| }, |
| { |
| "epoch": 0.95, |
| "grad_norm": 0.8574214577674866, |
| "learning_rate": 7e-06, |
| "loss": 0.042329005897045135, |
| "step": 19 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 10.950118064880371, |
| "learning_rate": 6.833333333333334e-06, |
| "loss": 0.1870317906141281, |
| "step": 20 |
| }, |
| { |
| "epoch": 1.0, |
| "eval_runtime": 2.6377, |
| "eval_samples_per_second": 3.791, |
| "eval_steps_per_second": 0.758, |
| "step": 20 |
| }, |
| { |
| "epoch": 1.05, |
| "grad_norm": 0.8204501271247864, |
| "learning_rate": 6.666666666666667e-06, |
| "loss": 0.05340619385242462, |
| "step": 21 |
| }, |
| { |
| "epoch": 1.1, |
| "grad_norm": 0.5917221903800964, |
| "learning_rate": 6.5000000000000004e-06, |
| "loss": 0.056082937866449356, |
| "step": 22 |
| }, |
| { |
| "epoch": 1.15, |
| "grad_norm": 0.5863246917724609, |
| "learning_rate": 6.333333333333333e-06, |
| "loss": 0.10380353778600693, |
| "step": 23 |
| }, |
| { |
| "epoch": 1.2, |
| "grad_norm": 7.119871139526367, |
| "learning_rate": 6.166666666666667e-06, |
| "loss": 0.14635853469371796, |
| "step": 24 |
| }, |
| { |
| "epoch": 1.25, |
| "grad_norm": 0.9423809051513672, |
| "learning_rate": 6e-06, |
| "loss": 0.07679787278175354, |
| "step": 25 |
| }, |
| { |
| "epoch": 1.3, |
| "grad_norm": 0.18080978095531464, |
| "learning_rate": 5.833333333333334e-06, |
| "loss": 0.023336485028266907, |
| "step": 26 |
| }, |
| { |
| "epoch": 1.35, |
| "grad_norm": 0.3494769036769867, |
| "learning_rate": 5.666666666666667e-06, |
| "loss": 0.034139227122068405, |
| "step": 27 |
| }, |
| { |
| "epoch": 1.4, |
| "grad_norm": 0.5736404657363892, |
| "learning_rate": 5.500000000000001e-06, |
| "loss": 0.08314322680234909, |
| "step": 28 |
| }, |
| { |
| "epoch": 1.45, |
| "grad_norm": 0.8389893770217896, |
| "learning_rate": 5.333333333333334e-06, |
| "loss": 0.05007806792855263, |
| "step": 29 |
| }, |
| { |
| "epoch": 1.5, |
| "grad_norm": 0.2783434987068176, |
| "learning_rate": 5.1666666666666675e-06, |
| "loss": 0.033981189131736755, |
| "step": 30 |
| }, |
| { |
| "epoch": 1.55, |
| "grad_norm": 0.4732959568500519, |
| "learning_rate": 5e-06, |
| "loss": 0.07412292808294296, |
| "step": 31 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 8.075728416442871, |
| "learning_rate": 4.833333333333333e-06, |
| "loss": 0.15882469713687897, |
| "step": 32 |
| }, |
| { |
| "epoch": 1.65, |
| "grad_norm": 0.48422616720199585, |
| "learning_rate": 4.666666666666667e-06, |
| "loss": 0.052029840648174286, |
| "step": 33 |
| }, |
| { |
| "epoch": 1.7, |
| "grad_norm": 2.465470552444458, |
| "learning_rate": 4.5e-06, |
| "loss": 0.07288476824760437, |
| "step": 34 |
| }, |
| { |
| "epoch": 1.75, |
| "grad_norm": 11.539995193481445, |
| "learning_rate": 4.333333333333334e-06, |
| "loss": 0.310392826795578, |
| "step": 35 |
| }, |
| { |
| "epoch": 1.8, |
| "grad_norm": 0.2481738030910492, |
| "learning_rate": 4.166666666666667e-06, |
| "loss": 0.025094840675592422, |
| "step": 36 |
| }, |
| { |
| "epoch": 1.85, |
| "grad_norm": 0.5106479525566101, |
| "learning_rate": 4.000000000000001e-06, |
| "loss": 0.05186538025736809, |
| "step": 37 |
| }, |
| { |
| "epoch": 1.9, |
| "grad_norm": 0.44623053073883057, |
| "learning_rate": 3.833333333333334e-06, |
| "loss": 0.03503677248954773, |
| "step": 38 |
| }, |
| { |
| "epoch": 1.95, |
| "grad_norm": 0.3891591429710388, |
| "learning_rate": 3.6666666666666666e-06, |
| "loss": 0.043012455105781555, |
| "step": 39 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 0.371051549911499, |
| "learning_rate": 3.5e-06, |
| "loss": 0.0669751688838005, |
| "step": 40 |
| }, |
| { |
| "epoch": 2.0, |
| "eval_runtime": 2.5441, |
| "eval_samples_per_second": 3.931, |
| "eval_steps_per_second": 0.786, |
| "step": 40 |
| }, |
| { |
| "epoch": 2.05, |
| "grad_norm": 0.5221340656280518, |
| "learning_rate": 3.3333333333333333e-06, |
| "loss": 0.036052167415618896, |
| "step": 41 |
| }, |
| { |
| "epoch": 2.1, |
| "grad_norm": 1.7948740720748901, |
| "learning_rate": 3.1666666666666667e-06, |
| "loss": 0.07165749371051788, |
| "step": 42 |
| }, |
| { |
| "epoch": 2.15, |
| "grad_norm": 0.471672922372818, |
| "learning_rate": 3e-06, |
| "loss": 0.0900936871767044, |
| "step": 43 |
| }, |
| { |
| "epoch": 2.2, |
| "grad_norm": 0.3813475966453552, |
| "learning_rate": 2.8333333333333335e-06, |
| "loss": 0.05730854719877243, |
| "step": 44 |
| }, |
| { |
| "epoch": 2.25, |
| "grad_norm": 0.4367018938064575, |
| "learning_rate": 2.666666666666667e-06, |
| "loss": 0.03898408263921738, |
| "step": 45 |
| }, |
| { |
| "epoch": 2.3, |
| "grad_norm": 0.47735583782196045, |
| "learning_rate": 2.5e-06, |
| "loss": 0.03324731066823006, |
| "step": 46 |
| }, |
| { |
| "epoch": 2.35, |
| "grad_norm": 0.23128260672092438, |
| "learning_rate": 2.3333333333333336e-06, |
| "loss": 0.030829114839434624, |
| "step": 47 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 0.2810693681240082, |
| "learning_rate": 2.166666666666667e-06, |
| "loss": 0.0344812273979187, |
| "step": 48 |
| }, |
| { |
| "epoch": 2.45, |
| "grad_norm": 0.38415780663490295, |
| "learning_rate": 2.0000000000000003e-06, |
| "loss": 0.04820952191948891, |
| "step": 49 |
| }, |
| { |
| "epoch": 2.5, |
| "grad_norm": 0.7231897115707397, |
| "learning_rate": 1.8333333333333333e-06, |
| "loss": 0.04816216602921486, |
| "step": 50 |
| }, |
| { |
| "epoch": 2.55, |
| "grad_norm": 1.9508253335952759, |
| "learning_rate": 1.6666666666666667e-06, |
| "loss": 0.08683215081691742, |
| "step": 51 |
| }, |
| { |
| "epoch": 2.6, |
| "grad_norm": 0.572750985622406, |
| "learning_rate": 1.5e-06, |
| "loss": 0.06372465193271637, |
| "step": 52 |
| }, |
| { |
| "epoch": 2.65, |
| "grad_norm": 6.391871929168701, |
| "learning_rate": 1.3333333333333334e-06, |
| "loss": 0.2571479082107544, |
| "step": 53 |
| }, |
| { |
| "epoch": 2.7, |
| "grad_norm": 0.5570456385612488, |
| "learning_rate": 1.1666666666666668e-06, |
| "loss": 0.05919321998953819, |
| "step": 54 |
| }, |
| { |
| "epoch": 2.75, |
| "grad_norm": 0.3638634979724884, |
| "learning_rate": 1.0000000000000002e-06, |
| "loss": 0.02889050915837288, |
| "step": 55 |
| }, |
| { |
| "epoch": 2.8, |
| "grad_norm": 4.380442142486572, |
| "learning_rate": 8.333333333333333e-07, |
| "loss": 0.10856954753398895, |
| "step": 56 |
| }, |
| { |
| "epoch": 2.85, |
| "grad_norm": 0.2996605932712555, |
| "learning_rate": 6.666666666666667e-07, |
| "loss": 0.045043427497148514, |
| "step": 57 |
| }, |
| { |
| "epoch": 2.9, |
| "grad_norm": 0.4659450948238373, |
| "learning_rate": 5.000000000000001e-07, |
| "loss": 0.03289908915758133, |
| "step": 58 |
| }, |
| { |
| "epoch": 2.95, |
| "grad_norm": 0.6830220222473145, |
| "learning_rate": 3.3333333333333335e-07, |
| "loss": 0.12241096049547195, |
| "step": 59 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 0.7173300981521606, |
| "learning_rate": 1.6666666666666668e-07, |
| "loss": 0.0505666509270668, |
| "step": 60 |
| }, |
| { |
| "epoch": 3.0, |
| "eval_runtime": 2.5029, |
| "eval_samples_per_second": 3.995, |
| "eval_steps_per_second": 0.799, |
| "step": 60 |
| }, |
| { |
| "epoch": 3.0, |
| "step": 60, |
| "total_flos": 8.72799962923008e+16, |
| "train_loss": 0.0978907337722679, |
| "train_runtime": 50.492, |
| "train_samples_per_second": 2.377, |
| "train_steps_per_second": 1.188 |
| } |
| ], |
| "logging_steps": 1.0, |
| "max_steps": 60, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 3, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 8.72799962923008e+16, |
| "train_batch_size": 2, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
