| { |
| "best_metric": 0.8834278512917454, |
| "best_model_checkpoint": "./cross_model/checkpoint-500", |
| "epoch": 3.0, |
| "eval_steps": 500, |
| "global_step": 750, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.04, |
| "grad_norm": 3.587153196334839, |
| "learning_rate": 1.9733333333333336e-05, |
| "loss": 0.2189, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 8.068642616271973, |
| "learning_rate": 1.9466666666666668e-05, |
| "loss": 0.1429, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.12, |
| "grad_norm": 2.3745944499969482, |
| "learning_rate": 1.9200000000000003e-05, |
| "loss": 0.1295, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 4.03312873840332, |
| "learning_rate": 1.8933333333333334e-05, |
| "loss": 0.1522, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 6.1072096824646, |
| "learning_rate": 1.866666666666667e-05, |
| "loss": 0.1474, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 2.798470973968506, |
| "learning_rate": 1.8400000000000003e-05, |
| "loss": 0.1497, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.28, |
| "grad_norm": 4.119973659515381, |
| "learning_rate": 1.8133333333333335e-05, |
| "loss": 0.1115, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 4.903057098388672, |
| "learning_rate": 1.7866666666666666e-05, |
| "loss": 0.1412, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.36, |
| "grad_norm": 3.684621572494507, |
| "learning_rate": 1.76e-05, |
| "loss": 0.1243, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 3.0029337406158447, |
| "learning_rate": 1.7333333333333336e-05, |
| "loss": 0.1281, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.44, |
| "grad_norm": 4.088342666625977, |
| "learning_rate": 1.706666666666667e-05, |
| "loss": 0.1002, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 3.3101696968078613, |
| "learning_rate": 1.6800000000000002e-05, |
| "loss": 0.1023, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.52, |
| "grad_norm": 4.011994361877441, |
| "learning_rate": 1.6533333333333333e-05, |
| "loss": 0.115, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 2.911710739135742, |
| "learning_rate": 1.6266666666666668e-05, |
| "loss": 0.1059, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 3.220271110534668, |
| "learning_rate": 1.6000000000000003e-05, |
| "loss": 0.0967, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 2.7656359672546387, |
| "learning_rate": 1.5733333333333334e-05, |
| "loss": 0.1103, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.68, |
| "grad_norm": 3.294504404067993, |
| "learning_rate": 1.546666666666667e-05, |
| "loss": 0.097, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 3.5036723613739014, |
| "learning_rate": 1.5200000000000002e-05, |
| "loss": 0.1287, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.76, |
| "grad_norm": 3.393803358078003, |
| "learning_rate": 1.4933333333333335e-05, |
| "loss": 0.1168, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 3.1736063957214355, |
| "learning_rate": 1.4666666666666666e-05, |
| "loss": 0.1078, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.84, |
| "grad_norm": 4.033181190490723, |
| "learning_rate": 1.4400000000000001e-05, |
| "loss": 0.1231, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.88, |
| "grad_norm": 5.750831127166748, |
| "learning_rate": 1.4133333333333334e-05, |
| "loss": 0.1111, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.92, |
| "grad_norm": 3.354498863220215, |
| "learning_rate": 1.3866666666666669e-05, |
| "loss": 0.1148, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 3.4198360443115234, |
| "learning_rate": 1.3600000000000002e-05, |
| "loss": 0.116, |
| "step": 240 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 3.5251994132995605, |
| "learning_rate": 1.3333333333333333e-05, |
| "loss": 0.1215, |
| "step": 250 |
| }, |
| { |
| "epoch": 1.0, |
| "eval_accuracy": 0.884, |
| "eval_f1": 0.8533501896333755, |
| "eval_loss": 0.08191736042499542, |
| "eval_runtime": 13.5887, |
| "eval_samples_per_second": 147.182, |
| "eval_steps_per_second": 4.636, |
| "step": 250 |
| }, |
| { |
| "epoch": 1.04, |
| "grad_norm": 3.0015034675598145, |
| "learning_rate": 1.3066666666666668e-05, |
| "loss": 0.0678, |
| "step": 260 |
| }, |
| { |
| "epoch": 1.08, |
| "grad_norm": 5.99824857711792, |
| "learning_rate": 1.2800000000000001e-05, |
| "loss": 0.1006, |
| "step": 270 |
| }, |
| { |
| "epoch": 1.12, |
| "grad_norm": 4.348204135894775, |
| "learning_rate": 1.2533333333333336e-05, |
| "loss": 0.0767, |
| "step": 280 |
| }, |
| { |
| "epoch": 1.16, |
| "grad_norm": 3.0136260986328125, |
| "learning_rate": 1.2266666666666667e-05, |
| "loss": 0.0847, |
| "step": 290 |
| }, |
| { |
| "epoch": 1.2, |
| "grad_norm": 2.5074853897094727, |
| "learning_rate": 1.2e-05, |
| "loss": 0.0603, |
| "step": 300 |
| }, |
| { |
| "epoch": 1.24, |
| "grad_norm": 4.737915515899658, |
| "learning_rate": 1.1733333333333335e-05, |
| "loss": 0.0959, |
| "step": 310 |
| }, |
| { |
| "epoch": 1.28, |
| "grad_norm": 3.832700490951538, |
| "learning_rate": 1.1466666666666668e-05, |
| "loss": 0.0726, |
| "step": 320 |
| }, |
| { |
| "epoch": 1.32, |
| "grad_norm": 5.207417964935303, |
| "learning_rate": 1.1200000000000001e-05, |
| "loss": 0.0771, |
| "step": 330 |
| }, |
| { |
| "epoch": 1.3599999999999999, |
| "grad_norm": 5.966342926025391, |
| "learning_rate": 1.0933333333333334e-05, |
| "loss": 0.0877, |
| "step": 340 |
| }, |
| { |
| "epoch": 1.4, |
| "grad_norm": 2.3566043376922607, |
| "learning_rate": 1.0666666666666667e-05, |
| "loss": 0.0839, |
| "step": 350 |
| }, |
| { |
| "epoch": 1.44, |
| "grad_norm": 2.3571956157684326, |
| "learning_rate": 1.04e-05, |
| "loss": 0.06, |
| "step": 360 |
| }, |
| { |
| "epoch": 1.48, |
| "grad_norm": 3.328866481781006, |
| "learning_rate": 1.0133333333333335e-05, |
| "loss": 0.0755, |
| "step": 370 |
| }, |
| { |
| "epoch": 1.52, |
| "grad_norm": 3.781169891357422, |
| "learning_rate": 9.866666666666668e-06, |
| "loss": 0.1011, |
| "step": 380 |
| }, |
| { |
| "epoch": 1.56, |
| "grad_norm": 4.331399440765381, |
| "learning_rate": 9.600000000000001e-06, |
| "loss": 0.0815, |
| "step": 390 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 6.299002170562744, |
| "learning_rate": 9.333333333333334e-06, |
| "loss": 0.0777, |
| "step": 400 |
| }, |
| { |
| "epoch": 1.6400000000000001, |
| "grad_norm": 3.556992769241333, |
| "learning_rate": 9.066666666666667e-06, |
| "loss": 0.0716, |
| "step": 410 |
| }, |
| { |
| "epoch": 1.6800000000000002, |
| "grad_norm": 4.8897199630737305, |
| "learning_rate": 8.8e-06, |
| "loss": 0.0828, |
| "step": 420 |
| }, |
| { |
| "epoch": 1.72, |
| "grad_norm": 4.4951252937316895, |
| "learning_rate": 8.533333333333335e-06, |
| "loss": 0.0908, |
| "step": 430 |
| }, |
| { |
| "epoch": 1.76, |
| "grad_norm": 4.911419868469238, |
| "learning_rate": 8.266666666666667e-06, |
| "loss": 0.0634, |
| "step": 440 |
| }, |
| { |
| "epoch": 1.8, |
| "grad_norm": 4.039019584655762, |
| "learning_rate": 8.000000000000001e-06, |
| "loss": 0.0871, |
| "step": 450 |
| }, |
| { |
| "epoch": 1.8399999999999999, |
| "grad_norm": 2.400594711303711, |
| "learning_rate": 7.733333333333334e-06, |
| "loss": 0.0776, |
| "step": 460 |
| }, |
| { |
| "epoch": 1.88, |
| "grad_norm": 4.01978874206543, |
| "learning_rate": 7.4666666666666675e-06, |
| "loss": 0.066, |
| "step": 470 |
| }, |
| { |
| "epoch": 1.92, |
| "grad_norm": 1.9407459497451782, |
| "learning_rate": 7.2000000000000005e-06, |
| "loss": 0.0693, |
| "step": 480 |
| }, |
| { |
| "epoch": 1.96, |
| "grad_norm": 3.274040699005127, |
| "learning_rate": 6.9333333333333344e-06, |
| "loss": 0.0678, |
| "step": 490 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 1.839362621307373, |
| "learning_rate": 6.666666666666667e-06, |
| "loss": 0.0684, |
| "step": 500 |
| }, |
| { |
| "epoch": 2.0, |
| "eval_accuracy": 0.9075, |
| "eval_f1": 0.8834278512917454, |
| "eval_loss": 0.07041633874177933, |
| "eval_runtime": 13.5354, |
| "eval_samples_per_second": 147.761, |
| "eval_steps_per_second": 4.654, |
| "step": 500 |
| }, |
| { |
| "epoch": 2.04, |
| "grad_norm": 3.2240612506866455, |
| "learning_rate": 6.4000000000000006e-06, |
| "loss": 0.0713, |
| "step": 510 |
| }, |
| { |
| "epoch": 2.08, |
| "grad_norm": 2.9065613746643066, |
| "learning_rate": 6.133333333333334e-06, |
| "loss": 0.0578, |
| "step": 520 |
| }, |
| { |
| "epoch": 2.12, |
| "grad_norm": 3.5056040287017822, |
| "learning_rate": 5.8666666666666675e-06, |
| "loss": 0.059, |
| "step": 530 |
| }, |
| { |
| "epoch": 2.16, |
| "grad_norm": 3.6150124073028564, |
| "learning_rate": 5.600000000000001e-06, |
| "loss": 0.0555, |
| "step": 540 |
| }, |
| { |
| "epoch": 2.2, |
| "grad_norm": 3.7402098178863525, |
| "learning_rate": 5.333333333333334e-06, |
| "loss": 0.0536, |
| "step": 550 |
| }, |
| { |
| "epoch": 2.24, |
| "grad_norm": 0.799008846282959, |
| "learning_rate": 5.0666666666666676e-06, |
| "loss": 0.0478, |
| "step": 560 |
| }, |
| { |
| "epoch": 2.2800000000000002, |
| "grad_norm": 3.1152563095092773, |
| "learning_rate": 4.800000000000001e-06, |
| "loss": 0.0494, |
| "step": 570 |
| }, |
| { |
| "epoch": 2.32, |
| "grad_norm": 3.7301833629608154, |
| "learning_rate": 4.533333333333334e-06, |
| "loss": 0.052, |
| "step": 580 |
| }, |
| { |
| "epoch": 2.36, |
| "grad_norm": 2.854012966156006, |
| "learning_rate": 4.266666666666668e-06, |
| "loss": 0.0692, |
| "step": 590 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 2.457371711730957, |
| "learning_rate": 4.000000000000001e-06, |
| "loss": 0.0512, |
| "step": 600 |
| }, |
| { |
| "epoch": 2.44, |
| "grad_norm": 1.4365702867507935, |
| "learning_rate": 3.7333333333333337e-06, |
| "loss": 0.0501, |
| "step": 610 |
| }, |
| { |
| "epoch": 2.48, |
| "grad_norm": 3.187758207321167, |
| "learning_rate": 3.4666666666666672e-06, |
| "loss": 0.0542, |
| "step": 620 |
| }, |
| { |
| "epoch": 2.52, |
| "grad_norm": 2.548494338989258, |
| "learning_rate": 3.2000000000000003e-06, |
| "loss": 0.0504, |
| "step": 630 |
| }, |
| { |
| "epoch": 2.56, |
| "grad_norm": 2.512789726257324, |
| "learning_rate": 2.9333333333333338e-06, |
| "loss": 0.0514, |
| "step": 640 |
| }, |
| { |
| "epoch": 2.6, |
| "grad_norm": 1.3147974014282227, |
| "learning_rate": 2.666666666666667e-06, |
| "loss": 0.0558, |
| "step": 650 |
| }, |
| { |
| "epoch": 2.64, |
| "grad_norm": 3.3347392082214355, |
| "learning_rate": 2.4000000000000003e-06, |
| "loss": 0.0474, |
| "step": 660 |
| }, |
| { |
| "epoch": 2.68, |
| "grad_norm": 1.7860777378082275, |
| "learning_rate": 2.133333333333334e-06, |
| "loss": 0.0563, |
| "step": 670 |
| }, |
| { |
| "epoch": 2.7199999999999998, |
| "grad_norm": 3.884028673171997, |
| "learning_rate": 1.8666666666666669e-06, |
| "loss": 0.0412, |
| "step": 680 |
| }, |
| { |
| "epoch": 2.76, |
| "grad_norm": 0.921798825263977, |
| "learning_rate": 1.6000000000000001e-06, |
| "loss": 0.0574, |
| "step": 690 |
| }, |
| { |
| "epoch": 2.8, |
| "grad_norm": 3.1643545627593994, |
| "learning_rate": 1.3333333333333334e-06, |
| "loss": 0.0481, |
| "step": 700 |
| }, |
| { |
| "epoch": 2.84, |
| "grad_norm": 3.6976540088653564, |
| "learning_rate": 1.066666666666667e-06, |
| "loss": 0.0495, |
| "step": 710 |
| }, |
| { |
| "epoch": 2.88, |
| "grad_norm": 4.01380729675293, |
| "learning_rate": 8.000000000000001e-07, |
| "loss": 0.048, |
| "step": 720 |
| }, |
| { |
| "epoch": 2.92, |
| "grad_norm": 4.325397491455078, |
| "learning_rate": 5.333333333333335e-07, |
| "loss": 0.0526, |
| "step": 730 |
| }, |
| { |
| "epoch": 2.96, |
| "grad_norm": 3.237252950668335, |
| "learning_rate": 2.666666666666667e-07, |
| "loss": 0.0454, |
| "step": 740 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 1.8121014833450317, |
| "learning_rate": 0.0, |
| "loss": 0.0452, |
| "step": 750 |
| }, |
| { |
| "epoch": 3.0, |
| "eval_accuracy": 0.9085, |
| "eval_f1": 0.8832163369495852, |
| "eval_loss": 0.07593175768852234, |
| "eval_runtime": 13.5424, |
| "eval_samples_per_second": 147.685, |
| "eval_steps_per_second": 4.652, |
| "step": 750 |
| } |
| ], |
| "logging_steps": 10, |
| "max_steps": 750, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 3, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 1554265270970304.0, |
| "train_batch_size": 32, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
