{ "best_global_step": 600, "best_metric": 2.805308247942214, "best_model_checkpoint": "./SALAMA_C7/checkpoint-600", "epoch": 10.0, "eval_steps": 200, "global_step": 960, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.20833333333333334, "grad_norm": 2.567998170852661, "learning_rate": 1.9000000000000002e-06, "loss": 0.1774, "step": 20 }, { "epoch": 0.4166666666666667, "grad_norm": 3.8020272254943848, "learning_rate": 3.900000000000001e-06, "loss": 0.1662, "step": 40 }, { "epoch": 0.625, "grad_norm": 2.032432794570923, "learning_rate": 5.9e-06, "loss": 0.1198, "step": 60 }, { "epoch": 0.8333333333333334, "grad_norm": 1.15700101852417, "learning_rate": 7.9e-06, "loss": 0.109, "step": 80 }, { "epoch": 1.0416666666666667, "grad_norm": 3.478109121322632, "learning_rate": 9.9e-06, "loss": 0.0838, "step": 100 }, { "epoch": 1.25, "grad_norm": 1.5184258222579956, "learning_rate": 9.779069767441862e-06, "loss": 0.0669, "step": 120 }, { "epoch": 1.4583333333333333, "grad_norm": 4.6623759269714355, "learning_rate": 9.546511627906978e-06, "loss": 0.0833, "step": 140 }, { "epoch": 1.6666666666666665, "grad_norm": 3.8098835945129395, "learning_rate": 9.313953488372095e-06, "loss": 0.0915, "step": 160 }, { "epoch": 1.875, "grad_norm": 2.154282331466675, "learning_rate": 9.08139534883721e-06, "loss": 0.0876, "step": 180 }, { "epoch": 2.0833333333333335, "grad_norm": 2.825495719909668, "learning_rate": 8.848837209302326e-06, "loss": 0.1009, "step": 200 }, { "epoch": 2.0833333333333335, "eval_loss": 0.08810210227966309, "eval_runtime": 266.2349, "eval_samples_per_second": 2.881, "eval_steps_per_second": 0.361, "eval_wer": 6.366537880060474, "step": 200 }, { "epoch": 2.2916666666666665, "grad_norm": 2.1308014392852783, "learning_rate": 8.616279069767443e-06, "loss": 0.0388, "step": 220 }, { "epoch": 2.5, "grad_norm": 3.1350250244140625, "learning_rate": 8.383720930232559e-06, "loss": 0.0438, "step": 240 }, { "epoch": 2.7083333333333335, "grad_norm": 2.3798017501831055, "learning_rate": 8.151162790697676e-06, "loss": 0.038, "step": 260 }, { "epoch": 2.9166666666666665, "grad_norm": 2.5995683670043945, "learning_rate": 7.918604651162792e-06, "loss": 0.0352, "step": 280 }, { "epoch": 3.125, "grad_norm": 0.5472909212112427, "learning_rate": 7.686046511627909e-06, "loss": 0.0239, "step": 300 }, { "epoch": 3.3333333333333335, "grad_norm": 1.4134125709533691, "learning_rate": 7.453488372093024e-06, "loss": 0.0168, "step": 320 }, { "epoch": 3.5416666666666665, "grad_norm": 0.483494371175766, "learning_rate": 7.22093023255814e-06, "loss": 0.0138, "step": 340 }, { "epoch": 3.75, "grad_norm": 1.7438899278640747, "learning_rate": 6.988372093023257e-06, "loss": 0.0169, "step": 360 }, { "epoch": 3.9583333333333335, "grad_norm": 2.4661247730255127, "learning_rate": 6.755813953488373e-06, "loss": 0.0166, "step": 380 }, { "epoch": 4.166666666666667, "grad_norm": 1.0261869430541992, "learning_rate": 6.5232558139534885e-06, "loss": 0.014, "step": 400 }, { "epoch": 4.166666666666667, "eval_loss": 0.0717792809009552, "eval_runtime": 266.6355, "eval_samples_per_second": 2.877, "eval_steps_per_second": 0.36, "eval_wer": 3.376448849319671, "step": 400 }, { "epoch": 4.375, "grad_norm": 3.9566986560821533, "learning_rate": 6.290697674418606e-06, "loss": 0.0093, "step": 420 }, { "epoch": 4.583333333333333, "grad_norm": 0.1707661747932434, "learning_rate": 6.0581395348837215e-06, "loss": 0.0044, "step": 440 }, { "epoch": 4.791666666666667, "grad_norm": 1.1894892454147339, "learning_rate": 5.825581395348837e-06, "loss": 0.0078, "step": 460 }, { "epoch": 5.0, "grad_norm": 0.5132602453231812, "learning_rate": 5.5930232558139544e-06, "loss": 0.0067, "step": 480 }, { "epoch": 5.208333333333333, "grad_norm": 0.06318831443786621, "learning_rate": 5.36046511627907e-06, "loss": 0.0038, "step": 500 }, { "epoch": 5.416666666666667, "grad_norm": 0.09762592613697052, "learning_rate": 5.127906976744187e-06, "loss": 0.0034, "step": 520 }, { "epoch": 5.625, "grad_norm": 0.9855716228485107, "learning_rate": 4.895348837209303e-06, "loss": 0.0039, "step": 540 }, { "epoch": 5.833333333333333, "grad_norm": 0.20474685728549957, "learning_rate": 4.66279069767442e-06, "loss": 0.004, "step": 560 }, { "epoch": 6.041666666666667, "grad_norm": 0.29130417108535767, "learning_rate": 4.430232558139535e-06, "loss": 0.004, "step": 580 }, { "epoch": 6.25, "grad_norm": 0.03812503069639206, "learning_rate": 4.197674418604652e-06, "loss": 0.002, "step": 600 }, { "epoch": 6.25, "eval_loss": 0.07055042684078217, "eval_runtime": 268.98, "eval_samples_per_second": 2.852, "eval_steps_per_second": 0.357, "eval_wer": 2.805308247942214, "step": 600 }, { "epoch": 6.458333333333333, "grad_norm": 0.08943450450897217, "learning_rate": 3.965116279069768e-06, "loss": 0.0027, "step": 620 }, { "epoch": 6.666666666666667, "grad_norm": 0.054003749042749405, "learning_rate": 3.7325581395348843e-06, "loss": 0.0015, "step": 640 }, { "epoch": 6.875, "grad_norm": 0.06470151990652084, "learning_rate": 3.5e-06, "loss": 0.0016, "step": 660 }, { "epoch": 7.083333333333333, "grad_norm": 0.07824280112981796, "learning_rate": 3.2674418604651164e-06, "loss": 0.0013, "step": 680 }, { "epoch": 7.291666666666667, "grad_norm": 0.046555448323488235, "learning_rate": 3.034883720930233e-06, "loss": 0.0013, "step": 700 }, { "epoch": 7.5, "grad_norm": 0.05061202868819237, "learning_rate": 2.8023255813953494e-06, "loss": 0.0013, "step": 720 }, { "epoch": 7.708333333333333, "grad_norm": 0.0654650554060936, "learning_rate": 2.569767441860465e-06, "loss": 0.001, "step": 740 }, { "epoch": 7.916666666666667, "grad_norm": 0.05059083551168442, "learning_rate": 2.3372093023255816e-06, "loss": 0.0012, "step": 760 }, { "epoch": 8.125, "grad_norm": 0.02596529945731163, "learning_rate": 2.104651162790698e-06, "loss": 0.001, "step": 780 }, { "epoch": 8.333333333333334, "grad_norm": 0.0450519435107708, "learning_rate": 1.872093023255814e-06, "loss": 0.0007, "step": 800 }, { "epoch": 8.333333333333334, "eval_loss": 0.07169603556394577, "eval_runtime": 270.8925, "eval_samples_per_second": 2.831, "eval_steps_per_second": 0.354, "eval_wer": 2.805308247942214, "step": 800 }, { "epoch": 8.541666666666666, "grad_norm": 0.037937335669994354, "learning_rate": 1.6395348837209304e-06, "loss": 0.0008, "step": 820 }, { "epoch": 8.75, "grad_norm": 0.0565955713391304, "learning_rate": 1.4069767441860465e-06, "loss": 0.0009, "step": 840 }, { "epoch": 8.958333333333334, "grad_norm": 0.0349685437977314, "learning_rate": 1.1744186046511628e-06, "loss": 0.0011, "step": 860 }, { "epoch": 9.166666666666666, "grad_norm": 0.04857677221298218, "learning_rate": 9.418604651162791e-07, "loss": 0.0007, "step": 880 }, { "epoch": 9.375, "grad_norm": 0.036536794155836105, "learning_rate": 7.093023255813954e-07, "loss": 0.0008, "step": 900 }, { "epoch": 9.583333333333334, "grad_norm": 0.030051253736019135, "learning_rate": 4.767441860465117e-07, "loss": 0.0008, "step": 920 }, { "epoch": 9.791666666666666, "grad_norm": 0.047050781548023224, "learning_rate": 2.4418604651162793e-07, "loss": 0.0009, "step": 940 }, { "epoch": 10.0, "grad_norm": 0.03254499286413193, "learning_rate": 1.1627906976744186e-08, "loss": 0.0007, "step": 960 } ], "logging_steps": 20, "max_steps": 960, "num_input_tokens_seen": 0, "num_train_epochs": 10, "save_steps": 200, "stateful_callbacks": { "TrainerControl": { "args": { "should_epoch_stop": false, "should_evaluate": false, "should_log": false, "should_save": true, "should_training_stop": true }, "attributes": {} } }, "total_flos": 8.8538000818176e+18, "train_batch_size": 16, "trial_name": null, "trial_params": null }