{ "best_global_step": 7000, "best_metric": 0.7255222279017829, "best_model_checkpoint": "twitter-roberta-base-sentiment/checkpoint-7000", "epoch": 2.0, "eval_steps": 1000, "global_step": 7500, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.13333333333333333, "grad_norm": 20.965015411376953, "learning_rate": 4.667333333333333e-05, "loss": 1.1819219970703125, "step": 500 }, { "epoch": 0.26666666666666666, "grad_norm": 11.917593955993652, "learning_rate": 4.334e-05, "loss": 0.9337052612304687, "step": 1000 }, { "epoch": 0.26666666666666666, "eval_accuracy": 0.6273213164100924, "eval_loss": 0.8398480415344238, "eval_macro_f1": 0.6322141639272949, "eval_macro_precision": 0.6576877598252542, "eval_macro_recall": 0.6722547096342347, "eval_runtime": 2.6744, "eval_samples_per_second": 747.836, "eval_steps_per_second": 93.479, "step": 1000 }, { "epoch": 0.4, "grad_norm": 23.177780151367188, "learning_rate": 4.000666666666667e-05, "loss": 0.8868782958984375, "step": 1500 }, { "epoch": 0.5333333333333333, "grad_norm": 17.591394424438477, "learning_rate": 3.667333333333334e-05, "loss": 0.8100706787109375, "step": 2000 }, { "epoch": 0.5333333333333333, "eval_accuracy": 0.6780436354155557, "eval_loss": 0.7525765299797058, "eval_macro_f1": 0.6850892519024188, "eval_macro_precision": 0.6598085660723552, "eval_macro_recall": 0.7405740499588241, "eval_runtime": 2.8793, "eval_samples_per_second": 694.617, "eval_steps_per_second": 86.827, "step": 2000 }, { "epoch": 0.6666666666666666, "grad_norm": 6.08801794052124, "learning_rate": 3.3339999999999996e-05, "loss": 0.794907470703125, "step": 2500 }, { "epoch": 0.8, "grad_norm": 27.144378662109375, "learning_rate": 3.0006666666666665e-05, "loss": 0.7096878051757812, "step": 3000 }, { "epoch": 0.8, "eval_accuracy": 0.7068060345338406, "eval_loss": 0.8074902296066284, "eval_macro_f1": 0.708147924027848, "eval_macro_precision": 0.6852926476250705, "eval_macro_recall": 0.7515385913092318, "eval_runtime": 2.799, "eval_samples_per_second": 714.547, "eval_steps_per_second": 89.318, "step": 3000 }, { "epoch": 0.9333333333333333, "grad_norm": 7.97494649887085, "learning_rate": 2.6673333333333334e-05, "loss": 0.6882199096679688, "step": 3500 }, { "epoch": 1.0666666666666667, "grad_norm": 72.2275390625, "learning_rate": 2.334e-05, "loss": 0.5513282470703125, "step": 4000 }, { "epoch": 1.0666666666666667, "eval_accuracy": 0.711297566987829, "eval_loss": 0.8309856057167053, "eval_macro_f1": 0.7134614559753025, "eval_macro_precision": 0.7006789171121683, "eval_macro_recall": 0.7316354136257511, "eval_runtime": 2.5074, "eval_samples_per_second": 797.653, "eval_steps_per_second": 99.707, "step": 4000 }, { "epoch": 1.2, "grad_norm": 15.840924263000488, "learning_rate": 2.000666666666667e-05, "loss": 0.4512594604492188, "step": 4500 }, { "epoch": 1.3333333333333333, "grad_norm": 34.06888198852539, "learning_rate": 1.6673333333333335e-05, "loss": 0.4367816467285156, "step": 5000 }, { "epoch": 1.3333333333333333, "eval_accuracy": 0.7153980161410745, "eval_loss": 0.8999603390693665, "eval_macro_f1": 0.7192265335473144, "eval_macro_precision": 0.7001483151030682, "eval_macro_recall": 0.7486556335663106, "eval_runtime": 2.9021, "eval_samples_per_second": 689.149, "eval_steps_per_second": 86.144, "step": 5000 }, { "epoch": 1.4666666666666668, "grad_norm": 22.8697566986084, "learning_rate": 1.334e-05, "loss": 0.425781982421875, "step": 5500 }, { "epoch": 1.6, "grad_norm": 35.891910552978516, "learning_rate": 1.0006666666666667e-05, "loss": 0.4083564758300781, "step": 6000 }, { "epoch": 1.6, "eval_accuracy": 0.7154217181593012, "eval_loss": 0.9041675925254822, "eval_macro_f1": 0.7193968139053373, "eval_macro_precision": 0.7035302903092748, "eval_macro_recall": 0.7413119746935019, "eval_runtime": 2.9992, "eval_samples_per_second": 666.84, "eval_steps_per_second": 83.355, "step": 6000 }, { "epoch": 1.7333333333333334, "grad_norm": 13.511373519897461, "learning_rate": 6.673333333333334e-06, "loss": 0.37453250122070314, "step": 6500 }, { "epoch": 1.8666666666666667, "grad_norm": 16.5288143157959, "learning_rate": 3.34e-06, "loss": 0.3480953063964844, "step": 7000 }, { "epoch": 1.8666666666666667, "eval_accuracy": 0.7246418032495467, "eval_loss": 0.9867857694625854, "eval_macro_f1": 0.7255222279017829, "eval_macro_precision": 0.7121027408660254, "eval_macro_recall": 0.7441490247498834, "eval_runtime": 2.8965, "eval_samples_per_second": 690.481, "eval_steps_per_second": 86.31, "step": 7000 }, { "epoch": 2.0, "grad_norm": 23.222797393798828, "learning_rate": 6.666666666666668e-09, "loss": 0.36932818603515627, "step": 7500 }, { "epoch": 2.0, "eval_accuracy": 0.7222123463812944, "eval_loss": 0.9462353587150574, "eval_macro_f1": 0.7245504652984988, "eval_macro_precision": 0.706780387937829, "eval_macro_recall": 0.7490801491029597, "eval_runtime": 2.4998, "eval_samples_per_second": 800.072, "eval_steps_per_second": 100.009, "step": 7500 }, { "epoch": 2.0, "step": 7500, "total_flos": 4142208946914480.0, "train_loss": 0.624723681640625, "train_runtime": 564.9504, "train_samples_per_second": 212.408, "train_steps_per_second": 13.276 } ], "logging_steps": 500, "max_steps": 7500, "num_input_tokens_seen": 0, "num_train_epochs": 2, "save_steps": 1000, "stateful_callbacks": { "TrainerControl": { "args": { "should_epoch_stop": false, "should_evaluate": false, "should_log": false, "should_save": true, "should_training_stop": true }, "attributes": {} } }, "total_flos": 4142208946914480.0, "train_batch_size": 8, "trial_name": null, "trial_params": null }