| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 1.0, | |
| "eval_steps": 10, | |
| "global_step": 375, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.02666666666666667, | |
| "grad_norm": 0.5340253710746765, | |
| "learning_rate": 9.982464296247522e-05, | |
| "loss": 1.8708, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.02666666666666667, | |
| "eval_loss": 1.7566570043563843, | |
| "eval_runtime": 40.6232, | |
| "eval_samples_per_second": 24.616, | |
| "eval_steps_per_second": 1.034, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "grad_norm": 0.46823400259017944, | |
| "learning_rate": 9.929980185352526e-05, | |
| "loss": 1.7168, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.05333333333333334, | |
| "eval_loss": 1.6883971691131592, | |
| "eval_runtime": 40.8967, | |
| "eval_samples_per_second": 24.452, | |
| "eval_steps_per_second": 1.027, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 0.48029762506484985, | |
| "learning_rate": 9.842915805643155e-05, | |
| "loss": 1.6815, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "eval_loss": 1.649947166442871, | |
| "eval_runtime": 40.9204, | |
| "eval_samples_per_second": 24.438, | |
| "eval_steps_per_second": 1.026, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "grad_norm": 0.513595461845398, | |
| "learning_rate": 9.721881851187406e-05, | |
| "loss": 1.6333, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.10666666666666667, | |
| "eval_loss": 1.6236332654953003, | |
| "eval_runtime": 40.9211, | |
| "eval_samples_per_second": 24.437, | |
| "eval_steps_per_second": 1.026, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 0.5335163474082947, | |
| "learning_rate": 9.567727288213005e-05, | |
| "loss": 1.6028, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "eval_loss": 1.6038854122161865, | |
| "eval_runtime": 40.9229, | |
| "eval_samples_per_second": 24.436, | |
| "eval_steps_per_second": 1.026, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 0.5755225419998169, | |
| "learning_rate": 9.381533400219318e-05, | |
| "loss": 1.5665, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "eval_loss": 1.5894596576690674, | |
| "eval_runtime": 40.9428, | |
| "eval_samples_per_second": 24.424, | |
| "eval_steps_per_second": 1.026, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "grad_norm": 0.6105771064758301, | |
| "learning_rate": 9.164606203550497e-05, | |
| "loss": 1.574, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.18666666666666668, | |
| "eval_loss": 1.5772351026535034, | |
| "eval_runtime": 40.9088, | |
| "eval_samples_per_second": 24.445, | |
| "eval_steps_per_second": 1.027, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "grad_norm": 0.5320121645927429, | |
| "learning_rate": 8.9184672866292e-05, | |
| "loss": 1.5862, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.21333333333333335, | |
| "eval_loss": 1.5647927522659302, | |
| "eval_runtime": 40.91, | |
| "eval_samples_per_second": 24.444, | |
| "eval_steps_per_second": 1.027, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 0.6106515526771545, | |
| "learning_rate": 8.644843137107059e-05, | |
| "loss": 1.5218, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "eval_loss": 1.556412696838379, | |
| "eval_runtime": 40.9173, | |
| "eval_samples_per_second": 24.44, | |
| "eval_steps_per_second": 1.026, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 0.6353921294212341, | |
| "learning_rate": 8.345653031794292e-05, | |
| "loss": 1.5451, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "eval_loss": 1.5465766191482544, | |
| "eval_runtime": 40.9266, | |
| "eval_samples_per_second": 24.434, | |
| "eval_steps_per_second": 1.026, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "grad_norm": 0.6259240508079529, | |
| "learning_rate": 8.022995574311876e-05, | |
| "loss": 1.5011, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.29333333333333333, | |
| "eval_loss": 1.5382152795791626, | |
| "eval_runtime": 40.9229, | |
| "eval_samples_per_second": 24.436, | |
| "eval_steps_per_second": 1.026, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 0.6570677757263184, | |
| "learning_rate": 7.679133974894983e-05, | |
| "loss": 1.5182, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "eval_loss": 1.5328434705734253, | |
| "eval_runtime": 40.9156, | |
| "eval_samples_per_second": 24.441, | |
| "eval_steps_per_second": 1.027, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "grad_norm": 0.6687456965446472, | |
| "learning_rate": 7.316480175599309e-05, | |
| "loss": 1.5331, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.3466666666666667, | |
| "eval_loss": 1.524049997329712, | |
| "eval_runtime": 40.941, | |
| "eval_samples_per_second": 24.425, | |
| "eval_steps_per_second": 1.026, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "grad_norm": 0.6614110469818115, | |
| "learning_rate": 6.937577932260515e-05, | |
| "loss": 1.5096, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.37333333333333335, | |
| "eval_loss": 1.5180366039276123, | |
| "eval_runtime": 40.9405, | |
| "eval_samples_per_second": 24.426, | |
| "eval_steps_per_second": 1.026, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.6763365268707275, | |
| "learning_rate": 6.545084971874738e-05, | |
| "loss": 1.5433, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "eval_loss": 1.5124986171722412, | |
| "eval_runtime": 40.8923, | |
| "eval_samples_per_second": 24.454, | |
| "eval_steps_per_second": 1.027, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "grad_norm": 0.6982234120368958, | |
| "learning_rate": 6.141754350553279e-05, | |
| "loss": 1.4919, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.4266666666666667, | |
| "eval_loss": 1.5082223415374756, | |
| "eval_runtime": 40.9169, | |
| "eval_samples_per_second": 24.44, | |
| "eval_steps_per_second": 1.026, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.4533333333333333, | |
| "grad_norm": 0.6387989521026611, | |
| "learning_rate": 5.730415142812059e-05, | |
| "loss": 1.5119, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.4533333333333333, | |
| "eval_loss": 1.5036897659301758, | |
| "eval_runtime": 40.911, | |
| "eval_samples_per_second": 24.443, | |
| "eval_steps_per_second": 1.027, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 0.7412083148956299, | |
| "learning_rate": 5.313952597646568e-05, | |
| "loss": 1.4898, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "eval_loss": 1.4962352514266968, | |
| "eval_runtime": 40.9474, | |
| "eval_samples_per_second": 24.422, | |
| "eval_steps_per_second": 1.026, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.5066666666666667, | |
| "grad_norm": 0.7846696972846985, | |
| "learning_rate": 4.895287900583216e-05, | |
| "loss": 1.4879, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.5066666666666667, | |
| "eval_loss": 1.4909743070602417, | |
| "eval_runtime": 40.9215, | |
| "eval_samples_per_second": 24.437, | |
| "eval_steps_per_second": 1.026, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 0.7460240721702576, | |
| "learning_rate": 4.477357683661734e-05, | |
| "loss": 1.4813, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "eval_loss": 1.48694908618927, | |
| "eval_runtime": 40.9298, | |
| "eval_samples_per_second": 24.432, | |
| "eval_steps_per_second": 1.026, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 0.7955345511436462, | |
| "learning_rate": 4.063093427071376e-05, | |
| "loss": 1.4776, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "eval_loss": 1.482069730758667, | |
| "eval_runtime": 40.9128, | |
| "eval_samples_per_second": 24.442, | |
| "eval_steps_per_second": 1.027, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "grad_norm": 0.7951104640960693, | |
| "learning_rate": 3.655400896923672e-05, | |
| "loss": 1.4786, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.5866666666666667, | |
| "eval_loss": 1.4782707691192627, | |
| "eval_runtime": 40.9129, | |
| "eval_samples_per_second": 24.442, | |
| "eval_steps_per_second": 1.027, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.6133333333333333, | |
| "grad_norm": 0.7635497450828552, | |
| "learning_rate": 3.257139763390925e-05, | |
| "loss": 1.4825, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 0.6133333333333333, | |
| "eval_loss": 1.4740064144134521, | |
| "eval_runtime": 40.9001, | |
| "eval_samples_per_second": 24.45, | |
| "eval_steps_per_second": 1.027, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 0.7378778457641602, | |
| "learning_rate": 2.8711035421746367e-05, | |
| "loss": 1.4525, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "eval_loss": 1.47102689743042, | |
| "eval_runtime": 40.8895, | |
| "eval_samples_per_second": 24.456, | |
| "eval_steps_per_second": 1.027, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 0.7468525767326355, | |
| "learning_rate": 2.500000000000001e-05, | |
| "loss": 1.4794, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "eval_loss": 1.4680323600769043, | |
| "eval_runtime": 40.9012, | |
| "eval_samples_per_second": 24.449, | |
| "eval_steps_per_second": 1.027, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "grad_norm": 0.8616533279418945, | |
| "learning_rate": 2.1464321615778422e-05, | |
| "loss": 1.4785, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.6933333333333334, | |
| "eval_loss": 1.46550714969635, | |
| "eval_runtime": 40.8983, | |
| "eval_samples_per_second": 24.451, | |
| "eval_steps_per_second": 1.027, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 0.7652505040168762, | |
| "learning_rate": 1.8128800512565513e-05, | |
| "loss": 1.4523, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "eval_loss": 1.462823748588562, | |
| "eval_runtime": 40.9083, | |
| "eval_samples_per_second": 24.445, | |
| "eval_steps_per_second": 1.027, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "grad_norm": 0.7889844179153442, | |
| "learning_rate": 1.5016832974331724e-05, | |
| "loss": 1.4618, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.7466666666666667, | |
| "eval_loss": 1.4604686498641968, | |
| "eval_runtime": 40.9235, | |
| "eval_samples_per_second": 24.436, | |
| "eval_steps_per_second": 1.026, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 0.7733333333333333, | |
| "grad_norm": 0.827470600605011, | |
| "learning_rate": 1.2150247217412186e-05, | |
| "loss": 1.4751, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 0.7733333333333333, | |
| "eval_loss": 1.4580776691436768, | |
| "eval_runtime": 40.9236, | |
| "eval_samples_per_second": 24.436, | |
| "eval_steps_per_second": 1.026, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.8822526931762695, | |
| "learning_rate": 9.549150281252633e-06, | |
| "loss": 1.4263, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "eval_loss": 1.4561147689819336, | |
| "eval_runtime": 40.9076, | |
| "eval_samples_per_second": 24.445, | |
| "eval_steps_per_second": 1.027, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 0.8266666666666667, | |
| "grad_norm": 0.822908341884613, | |
| "learning_rate": 7.2317869919746705e-06, | |
| "loss": 1.4421, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 0.8266666666666667, | |
| "eval_loss": 1.4547889232635498, | |
| "eval_runtime": 40.9178, | |
| "eval_samples_per_second": 24.439, | |
| "eval_steps_per_second": 1.026, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "grad_norm": 0.8340728282928467, | |
| "learning_rate": 5.214411988029355e-06, | |
| "loss": 1.4824, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.8533333333333334, | |
| "eval_loss": 1.4539330005645752, | |
| "eval_runtime": 40.9245, | |
| "eval_samples_per_second": 24.435, | |
| "eval_steps_per_second": 1.026, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 0.7951428890228271, | |
| "learning_rate": 3.511175705587433e-06, | |
| "loss": 1.4675, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "eval_loss": 1.4530839920043945, | |
| "eval_runtime": 40.9067, | |
| "eval_samples_per_second": 24.446, | |
| "eval_steps_per_second": 1.027, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "grad_norm": 0.8414791226387024, | |
| "learning_rate": 2.134025123396638e-06, | |
| "loss": 1.4891, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.9066666666666666, | |
| "eval_loss": 1.452470302581787, | |
| "eval_runtime": 40.9315, | |
| "eval_samples_per_second": 24.431, | |
| "eval_steps_per_second": 1.026, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 0.8219658136367798, | |
| "learning_rate": 1.0926199633097157e-06, | |
| "loss": 1.4617, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "eval_loss": 1.4520126581192017, | |
| "eval_runtime": 40.9086, | |
| "eval_samples_per_second": 24.445, | |
| "eval_steps_per_second": 1.027, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 0.858593761920929, | |
| "learning_rate": 3.9426493427611177e-07, | |
| "loss": 1.4404, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "eval_loss": 1.4521235227584839, | |
| "eval_runtime": 40.9089, | |
| "eval_samples_per_second": 24.445, | |
| "eval_steps_per_second": 1.027, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 0.9866666666666667, | |
| "grad_norm": 0.805996298789978, | |
| "learning_rate": 4.385849505708084e-08, | |
| "loss": 1.44, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 0.9866666666666667, | |
| "eval_loss": 1.4519704580307007, | |
| "eval_runtime": 40.9006, | |
| "eval_samples_per_second": 24.449, | |
| "eval_steps_per_second": 1.027, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "step": 375, | |
| "total_flos": 2.6848736980657766e+17, | |
| "train_loss": 1.518934777577718, | |
| "train_runtime": 2685.9049, | |
| "train_samples_per_second": 3.351, | |
| "train_steps_per_second": 0.14 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 375, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 1, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 2.6848736980657766e+17, | |
| "train_batch_size": 12, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |