| { | |
| "best_metric": 0.6938519447929736, | |
| "best_model_checkpoint": "./cross_model/checkpoint-750", | |
| "epoch": 3.0, | |
| "eval_steps": 500, | |
| "global_step": 750, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.04, | |
| "grad_norm": 4.621185302734375, | |
| "learning_rate": 1.9733333333333336e-05, | |
| "loss": 0.5495, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 7.315733432769775, | |
| "learning_rate": 1.9466666666666668e-05, | |
| "loss": 0.4217, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.12, | |
| "grad_norm": 10.082784652709961, | |
| "learning_rate": 1.9200000000000003e-05, | |
| "loss": 0.4187, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 7.201661586761475, | |
| "learning_rate": 1.8933333333333334e-05, | |
| "loss": 0.4052, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 7.919988632202148, | |
| "learning_rate": 1.866666666666667e-05, | |
| "loss": 0.3889, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 6.306133270263672, | |
| "learning_rate": 1.8400000000000003e-05, | |
| "loss": 0.4116, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.28, | |
| "grad_norm": 4.72291898727417, | |
| "learning_rate": 1.8133333333333335e-05, | |
| "loss": 0.4361, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 5.184553623199463, | |
| "learning_rate": 1.7866666666666666e-05, | |
| "loss": 0.3679, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.36, | |
| "grad_norm": 4.326004505157471, | |
| "learning_rate": 1.76e-05, | |
| "loss": 0.348, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 4.188964366912842, | |
| "learning_rate": 1.7333333333333336e-05, | |
| "loss": 0.3535, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.44, | |
| "grad_norm": 5.74317741394043, | |
| "learning_rate": 1.706666666666667e-05, | |
| "loss": 0.3657, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 3.690436601638794, | |
| "learning_rate": 1.6800000000000002e-05, | |
| "loss": 0.3469, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.52, | |
| "grad_norm": 4.88950777053833, | |
| "learning_rate": 1.6533333333333333e-05, | |
| "loss": 0.3602, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 4.723867893218994, | |
| "learning_rate": 1.6266666666666668e-05, | |
| "loss": 0.345, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 5.998863220214844, | |
| "learning_rate": 1.6000000000000003e-05, | |
| "loss": 0.3626, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 4.20477294921875, | |
| "learning_rate": 1.5733333333333334e-05, | |
| "loss": 0.3206, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.68, | |
| "grad_norm": 4.5307393074035645, | |
| "learning_rate": 1.546666666666667e-05, | |
| "loss": 0.3464, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 4.0125346183776855, | |
| "learning_rate": 1.5200000000000002e-05, | |
| "loss": 0.3185, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.76, | |
| "grad_norm": 4.484776973724365, | |
| "learning_rate": 1.4933333333333335e-05, | |
| "loss": 0.3461, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 3.4307217597961426, | |
| "learning_rate": 1.4666666666666666e-05, | |
| "loss": 0.3479, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.84, | |
| "grad_norm": 5.240167617797852, | |
| "learning_rate": 1.4400000000000001e-05, | |
| "loss": 0.3715, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 2.886160135269165, | |
| "learning_rate": 1.4133333333333334e-05, | |
| "loss": 0.3124, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.92, | |
| "grad_norm": 4.466599941253662, | |
| "learning_rate": 1.3866666666666669e-05, | |
| "loss": 0.2993, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 4.929280757904053, | |
| "learning_rate": 1.3600000000000002e-05, | |
| "loss": 0.3084, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 4.057522296905518, | |
| "learning_rate": 1.3333333333333333e-05, | |
| "loss": 0.3358, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_accuracy": 0.7225, | |
| "eval_f1": 0.6666666666666666, | |
| "eval_loss": 0.3222484886646271, | |
| "eval_runtime": 28.1257, | |
| "eval_samples_per_second": 71.109, | |
| "eval_steps_per_second": 2.24, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 1.04, | |
| "grad_norm": 5.787376880645752, | |
| "learning_rate": 1.3066666666666668e-05, | |
| "loss": 0.2991, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 1.08, | |
| "grad_norm": 3.769404888153076, | |
| "learning_rate": 1.2800000000000001e-05, | |
| "loss": 0.2526, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 1.12, | |
| "grad_norm": 4.429054260253906, | |
| "learning_rate": 1.2533333333333336e-05, | |
| "loss": 0.2848, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 1.16, | |
| "grad_norm": 4.183646202087402, | |
| "learning_rate": 1.2266666666666667e-05, | |
| "loss": 0.2715, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 4.93619966506958, | |
| "learning_rate": 1.2e-05, | |
| "loss": 0.2792, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 1.24, | |
| "grad_norm": 4.4197797775268555, | |
| "learning_rate": 1.1733333333333335e-05, | |
| "loss": 0.2909, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 1.28, | |
| "grad_norm": 3.6629374027252197, | |
| "learning_rate": 1.1466666666666668e-05, | |
| "loss": 0.2865, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 1.32, | |
| "grad_norm": 3.467376470565796, | |
| "learning_rate": 1.1200000000000001e-05, | |
| "loss": 0.2714, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 1.3599999999999999, | |
| "grad_norm": 4.11966609954834, | |
| "learning_rate": 1.0933333333333334e-05, | |
| "loss": 0.2773, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 5.030832767486572, | |
| "learning_rate": 1.0666666666666667e-05, | |
| "loss": 0.2616, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 1.44, | |
| "grad_norm": 4.5266218185424805, | |
| "learning_rate": 1.04e-05, | |
| "loss": 0.2866, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 1.48, | |
| "grad_norm": 5.1902642250061035, | |
| "learning_rate": 1.0133333333333335e-05, | |
| "loss": 0.2773, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 1.52, | |
| "grad_norm": 5.378920555114746, | |
| "learning_rate": 9.866666666666668e-06, | |
| "loss": 0.2676, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 1.56, | |
| "grad_norm": 4.477860927581787, | |
| "learning_rate": 9.600000000000001e-06, | |
| "loss": 0.2763, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 3.9741079807281494, | |
| "learning_rate": 9.333333333333334e-06, | |
| "loss": 0.284, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 1.6400000000000001, | |
| "grad_norm": 5.580012798309326, | |
| "learning_rate": 9.066666666666667e-06, | |
| "loss": 0.2629, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 1.6800000000000002, | |
| "grad_norm": 4.81321907043457, | |
| "learning_rate": 8.8e-06, | |
| "loss": 0.2804, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 1.72, | |
| "grad_norm": 2.417365312576294, | |
| "learning_rate": 8.533333333333335e-06, | |
| "loss": 0.2557, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 1.76, | |
| "grad_norm": 4.028536796569824, | |
| "learning_rate": 8.266666666666667e-06, | |
| "loss": 0.288, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 4.11631441116333, | |
| "learning_rate": 8.000000000000001e-06, | |
| "loss": 0.2851, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 1.8399999999999999, | |
| "grad_norm": 4.985356330871582, | |
| "learning_rate": 7.733333333333334e-06, | |
| "loss": 0.2837, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 1.88, | |
| "grad_norm": 4.092059135437012, | |
| "learning_rate": 7.4666666666666675e-06, | |
| "loss": 0.2674, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 1.92, | |
| "grad_norm": 3.8963027000427246, | |
| "learning_rate": 7.2000000000000005e-06, | |
| "loss": 0.278, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 1.96, | |
| "grad_norm": 3.4413774013519287, | |
| "learning_rate": 6.9333333333333344e-06, | |
| "loss": 0.2782, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 3.885063409805298, | |
| "learning_rate": 6.666666666666667e-06, | |
| "loss": 0.2743, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_accuracy": 0.753, | |
| "eval_f1": 0.6837387964148528, | |
| "eval_loss": 0.30443182587623596, | |
| "eval_runtime": 27.5258, | |
| "eval_samples_per_second": 72.659, | |
| "eval_steps_per_second": 2.289, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 2.04, | |
| "grad_norm": 3.1803503036499023, | |
| "learning_rate": 6.4000000000000006e-06, | |
| "loss": 0.2168, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 2.08, | |
| "grad_norm": 3.2935233116149902, | |
| "learning_rate": 6.133333333333334e-06, | |
| "loss": 0.2026, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 2.12, | |
| "grad_norm": 3.377007246017456, | |
| "learning_rate": 5.8666666666666675e-06, | |
| "loss": 0.2147, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 2.16, | |
| "grad_norm": 4.20032262802124, | |
| "learning_rate": 5.600000000000001e-06, | |
| "loss": 0.2435, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 2.2, | |
| "grad_norm": 3.5491278171539307, | |
| "learning_rate": 5.333333333333334e-06, | |
| "loss": 0.2182, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 2.24, | |
| "grad_norm": 4.759445667266846, | |
| "learning_rate": 5.0666666666666676e-06, | |
| "loss": 0.2129, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 2.2800000000000002, | |
| "grad_norm": 4.133965015411377, | |
| "learning_rate": 4.800000000000001e-06, | |
| "loss": 0.2093, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 2.32, | |
| "grad_norm": 4.971557140350342, | |
| "learning_rate": 4.533333333333334e-06, | |
| "loss": 0.2211, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 2.36, | |
| "grad_norm": 5.01218318939209, | |
| "learning_rate": 4.266666666666668e-06, | |
| "loss": 0.2337, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 4.194180488586426, | |
| "learning_rate": 4.000000000000001e-06, | |
| "loss": 0.2267, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 2.44, | |
| "grad_norm": 4.087610244750977, | |
| "learning_rate": 3.7333333333333337e-06, | |
| "loss": 0.229, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 2.48, | |
| "grad_norm": 3.7367076873779297, | |
| "learning_rate": 3.4666666666666672e-06, | |
| "loss": 0.2013, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 2.52, | |
| "grad_norm": 5.138487815856934, | |
| "learning_rate": 3.2000000000000003e-06, | |
| "loss": 0.2337, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 2.56, | |
| "grad_norm": 4.656822204589844, | |
| "learning_rate": 2.9333333333333338e-06, | |
| "loss": 0.2326, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 2.6, | |
| "grad_norm": 8.537863731384277, | |
| "learning_rate": 2.666666666666667e-06, | |
| "loss": 0.228, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 2.64, | |
| "grad_norm": 3.865704298019409, | |
| "learning_rate": 2.4000000000000003e-06, | |
| "loss": 0.209, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 2.68, | |
| "grad_norm": 4.158779144287109, | |
| "learning_rate": 2.133333333333334e-06, | |
| "loss": 0.2242, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 2.7199999999999998, | |
| "grad_norm": 5.243821620941162, | |
| "learning_rate": 1.8666666666666669e-06, | |
| "loss": 0.22, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 2.76, | |
| "grad_norm": 3.385223150253296, | |
| "learning_rate": 1.6000000000000001e-06, | |
| "loss": 0.2117, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 5.11998176574707, | |
| "learning_rate": 1.3333333333333334e-06, | |
| "loss": 0.2119, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 2.84, | |
| "grad_norm": 3.675009250640869, | |
| "learning_rate": 1.066666666666667e-06, | |
| "loss": 0.2189, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 2.88, | |
| "grad_norm": 4.690437316894531, | |
| "learning_rate": 8.000000000000001e-07, | |
| "loss": 0.2157, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 2.92, | |
| "grad_norm": 4.617395401000977, | |
| "learning_rate": 5.333333333333335e-07, | |
| "loss": 0.2282, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 2.96, | |
| "grad_norm": 4.951357364654541, | |
| "learning_rate": 2.666666666666667e-07, | |
| "loss": 0.2304, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 4.78200101852417, | |
| "learning_rate": 0.0, | |
| "loss": 0.2126, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "eval_accuracy": 0.756, | |
| "eval_f1": 0.6938519447929736, | |
| "eval_loss": 0.3008686602115631, | |
| "eval_runtime": 27.753, | |
| "eval_samples_per_second": 72.064, | |
| "eval_steps_per_second": 2.27, | |
| "step": 750 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 750, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 3157275967488000.0, | |
| "train_batch_size": 32, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |