| { |
| "best_global_step": 1000, |
| "best_metric": 0.9613078781032101, |
| "best_model_checkpoint": "taskA-unixcoder-focal/checkpoint-1000", |
| "epoch": 0.064, |
| "eval_steps": 500, |
| "global_step": 1000, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.00064, |
| "grad_norm": 3.3732223510742188, |
| "learning_rate": 9.6e-08, |
| "loss": 0.2065, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.00128, |
| "grad_norm": 2.8028833866119385, |
| "learning_rate": 2.0266666666666668e-07, |
| "loss": 0.2003, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.00192, |
| "grad_norm": 3.137962818145752, |
| "learning_rate": 3.0933333333333335e-07, |
| "loss": 0.2119, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.00256, |
| "grad_norm": 2.2841057777404785, |
| "learning_rate": 4.16e-07, |
| "loss": 0.1858, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.0032, |
| "grad_norm": 2.4040842056274414, |
| "learning_rate": 5.226666666666667e-07, |
| "loss": 0.1755, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.00384, |
| "grad_norm": 2.1078808307647705, |
| "learning_rate": 6.293333333333334e-07, |
| "loss": 0.1836, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.00448, |
| "grad_norm": 2.1723551750183105, |
| "learning_rate": 7.36e-07, |
| "loss": 0.182, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.00512, |
| "grad_norm": 3.8697516918182373, |
| "learning_rate": 8.426666666666668e-07, |
| "loss": 0.1893, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.00576, |
| "grad_norm": 2.2711849212646484, |
| "learning_rate": 9.493333333333334e-07, |
| "loss": 0.1645, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.0064, |
| "grad_norm": 2.9138245582580566, |
| "learning_rate": 1.0560000000000001e-06, |
| "loss": 0.1753, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.00704, |
| "grad_norm": 2.136301279067993, |
| "learning_rate": 1.1626666666666667e-06, |
| "loss": 0.1639, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.00768, |
| "grad_norm": 3.216343641281128, |
| "learning_rate": 1.2693333333333335e-06, |
| "loss": 0.1623, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.00832, |
| "grad_norm": 3.192094326019287, |
| "learning_rate": 1.376e-06, |
| "loss": 0.1607, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.00896, |
| "grad_norm": 4.722238540649414, |
| "learning_rate": 1.4826666666666666e-06, |
| "loss": 0.1653, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.0096, |
| "grad_norm": 4.088972568511963, |
| "learning_rate": 1.5893333333333336e-06, |
| "loss": 0.1557, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.01024, |
| "grad_norm": 2.2773237228393555, |
| "learning_rate": 1.6960000000000002e-06, |
| "loss": 0.1634, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.01088, |
| "grad_norm": 2.53987193107605, |
| "learning_rate": 1.8026666666666667e-06, |
| "loss": 0.1435, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.01152, |
| "grad_norm": 3.688382387161255, |
| "learning_rate": 1.9093333333333335e-06, |
| "loss": 0.1396, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.01216, |
| "grad_norm": 1.8855538368225098, |
| "learning_rate": 2.0160000000000003e-06, |
| "loss": 0.1476, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.0128, |
| "grad_norm": 2.2272040843963623, |
| "learning_rate": 2.1226666666666666e-06, |
| "loss": 0.144, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.01344, |
| "grad_norm": 3.505934476852417, |
| "learning_rate": 2.229333333333334e-06, |
| "loss": 0.1306, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.01408, |
| "grad_norm": 1.8632491827011108, |
| "learning_rate": 2.336e-06, |
| "loss": 0.1504, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.01472, |
| "grad_norm": 2.191713333129883, |
| "learning_rate": 2.442666666666667e-06, |
| "loss": 0.1346, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.01536, |
| "grad_norm": 1.9042261838912964, |
| "learning_rate": 2.5493333333333337e-06, |
| "loss": 0.135, |
| "step": 240 |
| }, |
| { |
| "epoch": 0.016, |
| "grad_norm": 2.266148090362549, |
| "learning_rate": 2.656e-06, |
| "loss": 0.1356, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.01664, |
| "grad_norm": 2.4776418209075928, |
| "learning_rate": 2.762666666666667e-06, |
| "loss": 0.129, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.01728, |
| "grad_norm": 2.340693712234497, |
| "learning_rate": 2.8693333333333336e-06, |
| "loss": 0.1236, |
| "step": 270 |
| }, |
| { |
| "epoch": 0.01792, |
| "grad_norm": 1.6849262714385986, |
| "learning_rate": 2.976e-06, |
| "loss": 0.1152, |
| "step": 280 |
| }, |
| { |
| "epoch": 0.01856, |
| "grad_norm": 3.5535154342651367, |
| "learning_rate": 3.082666666666667e-06, |
| "loss": 0.1335, |
| "step": 290 |
| }, |
| { |
| "epoch": 0.0192, |
| "grad_norm": 2.9307031631469727, |
| "learning_rate": 3.1893333333333335e-06, |
| "loss": 0.1136, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.01984, |
| "grad_norm": 3.0100226402282715, |
| "learning_rate": 3.2960000000000003e-06, |
| "loss": 0.1186, |
| "step": 310 |
| }, |
| { |
| "epoch": 0.02048, |
| "grad_norm": 2.088911771774292, |
| "learning_rate": 3.402666666666667e-06, |
| "loss": 0.1051, |
| "step": 320 |
| }, |
| { |
| "epoch": 0.02112, |
| "grad_norm": 4.332556247711182, |
| "learning_rate": 3.5093333333333334e-06, |
| "loss": 0.1075, |
| "step": 330 |
| }, |
| { |
| "epoch": 0.02176, |
| "grad_norm": 2.954036235809326, |
| "learning_rate": 3.616e-06, |
| "loss": 0.11, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.0224, |
| "grad_norm": 2.262308359146118, |
| "learning_rate": 3.7226666666666674e-06, |
| "loss": 0.1057, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.02304, |
| "grad_norm": 1.5145989656448364, |
| "learning_rate": 3.829333333333334e-06, |
| "loss": 0.1049, |
| "step": 360 |
| }, |
| { |
| "epoch": 0.02368, |
| "grad_norm": 1.740663766860962, |
| "learning_rate": 3.936e-06, |
| "loss": 0.0964, |
| "step": 370 |
| }, |
| { |
| "epoch": 0.02432, |
| "grad_norm": 1.7438851594924927, |
| "learning_rate": 4.042666666666667e-06, |
| "loss": 0.0936, |
| "step": 380 |
| }, |
| { |
| "epoch": 0.02496, |
| "grad_norm": 3.946115493774414, |
| "learning_rate": 4.149333333333334e-06, |
| "loss": 0.1038, |
| "step": 390 |
| }, |
| { |
| "epoch": 0.0256, |
| "grad_norm": 5.289428234100342, |
| "learning_rate": 4.256e-06, |
| "loss": 0.1015, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.02624, |
| "grad_norm": 1.9344863891601562, |
| "learning_rate": 4.362666666666667e-06, |
| "loss": 0.0855, |
| "step": 410 |
| }, |
| { |
| "epoch": 0.02688, |
| "grad_norm": 7.482412338256836, |
| "learning_rate": 4.469333333333334e-06, |
| "loss": 0.1031, |
| "step": 420 |
| }, |
| { |
| "epoch": 0.02752, |
| "grad_norm": 2.5646328926086426, |
| "learning_rate": 4.576000000000001e-06, |
| "loss": 0.0777, |
| "step": 430 |
| }, |
| { |
| "epoch": 0.02816, |
| "grad_norm": 1.473496437072754, |
| "learning_rate": 4.682666666666667e-06, |
| "loss": 0.0854, |
| "step": 440 |
| }, |
| { |
| "epoch": 0.0288, |
| "grad_norm": 2.204341411590576, |
| "learning_rate": 4.7893333333333334e-06, |
| "loss": 0.0739, |
| "step": 450 |
| }, |
| { |
| "epoch": 0.02944, |
| "grad_norm": 3.1363987922668457, |
| "learning_rate": 4.896e-06, |
| "loss": 0.0886, |
| "step": 460 |
| }, |
| { |
| "epoch": 0.03008, |
| "grad_norm": 2.0473029613494873, |
| "learning_rate": 5.002666666666667e-06, |
| "loss": 0.0794, |
| "step": 470 |
| }, |
| { |
| "epoch": 0.03072, |
| "grad_norm": 1.6088207960128784, |
| "learning_rate": 5.109333333333334e-06, |
| "loss": 0.0604, |
| "step": 480 |
| }, |
| { |
| "epoch": 0.03136, |
| "grad_norm": 2.974717617034912, |
| "learning_rate": 5.216e-06, |
| "loss": 0.0827, |
| "step": 490 |
| }, |
| { |
| "epoch": 0.032, |
| "grad_norm": 6.114630699157715, |
| "learning_rate": 5.322666666666667e-06, |
| "loss": 0.0631, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.032, |
| "eval_accuracy": 0.88603, |
| "eval_f1_weighted": 0.8857328199768308, |
| "eval_loss": 0.08366190642118454, |
| "eval_macro_f1": 0.8859061279979327, |
| "eval_precision": 0.8966428429175579, |
| "eval_recall": 0.88603, |
| "eval_runtime": 1629.6546, |
| "eval_samples_per_second": 61.363, |
| "eval_steps_per_second": 0.959, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.03264, |
| "grad_norm": 1.4639947414398193, |
| "learning_rate": 5.429333333333334e-06, |
| "loss": 0.0724, |
| "step": 510 |
| }, |
| { |
| "epoch": 0.03328, |
| "grad_norm": 4.234114646911621, |
| "learning_rate": 5.536e-06, |
| "loss": 0.0737, |
| "step": 520 |
| }, |
| { |
| "epoch": 0.03392, |
| "grad_norm": 1.9391822814941406, |
| "learning_rate": 5.642666666666668e-06, |
| "loss": 0.0875, |
| "step": 530 |
| }, |
| { |
| "epoch": 0.03456, |
| "grad_norm": 2.0388095378875732, |
| "learning_rate": 5.7493333333333336e-06, |
| "loss": 0.0661, |
| "step": 540 |
| }, |
| { |
| "epoch": 0.0352, |
| "grad_norm": 1.9697074890136719, |
| "learning_rate": 5.856e-06, |
| "loss": 0.0647, |
| "step": 550 |
| }, |
| { |
| "epoch": 0.03584, |
| "grad_norm": 3.9906229972839355, |
| "learning_rate": 5.962666666666666e-06, |
| "loss": 0.0696, |
| "step": 560 |
| }, |
| { |
| "epoch": 0.03648, |
| "grad_norm": 1.5516153573989868, |
| "learning_rate": 6.069333333333334e-06, |
| "loss": 0.0576, |
| "step": 570 |
| }, |
| { |
| "epoch": 0.03712, |
| "grad_norm": 3.5216825008392334, |
| "learning_rate": 6.176000000000001e-06, |
| "loss": 0.0793, |
| "step": 580 |
| }, |
| { |
| "epoch": 0.03776, |
| "grad_norm": 6.22791051864624, |
| "learning_rate": 6.282666666666667e-06, |
| "loss": 0.0757, |
| "step": 590 |
| }, |
| { |
| "epoch": 0.0384, |
| "grad_norm": 1.8255369663238525, |
| "learning_rate": 6.389333333333334e-06, |
| "loss": 0.0602, |
| "step": 600 |
| }, |
| { |
| "epoch": 0.03904, |
| "grad_norm": 2.506188154220581, |
| "learning_rate": 6.496e-06, |
| "loss": 0.0643, |
| "step": 610 |
| }, |
| { |
| "epoch": 0.03968, |
| "grad_norm": 1.5877528190612793, |
| "learning_rate": 6.602666666666667e-06, |
| "loss": 0.0501, |
| "step": 620 |
| }, |
| { |
| "epoch": 0.04032, |
| "grad_norm": 2.1468632221221924, |
| "learning_rate": 6.7093333333333345e-06, |
| "loss": 0.0521, |
| "step": 630 |
| }, |
| { |
| "epoch": 0.04096, |
| "grad_norm": 2.6225597858428955, |
| "learning_rate": 6.8160000000000005e-06, |
| "loss": 0.068, |
| "step": 640 |
| }, |
| { |
| "epoch": 0.0416, |
| "grad_norm": 3.1171772480010986, |
| "learning_rate": 6.922666666666667e-06, |
| "loss": 0.0644, |
| "step": 650 |
| }, |
| { |
| "epoch": 0.04224, |
| "grad_norm": 2.7589240074157715, |
| "learning_rate": 7.029333333333333e-06, |
| "loss": 0.0763, |
| "step": 660 |
| }, |
| { |
| "epoch": 0.04288, |
| "grad_norm": 2.3155124187469482, |
| "learning_rate": 7.136000000000001e-06, |
| "loss": 0.0451, |
| "step": 670 |
| }, |
| { |
| "epoch": 0.04352, |
| "grad_norm": 0.9795209169387817, |
| "learning_rate": 7.242666666666667e-06, |
| "loss": 0.0552, |
| "step": 680 |
| }, |
| { |
| "epoch": 0.04416, |
| "grad_norm": 6.224135398864746, |
| "learning_rate": 7.3493333333333335e-06, |
| "loss": 0.0614, |
| "step": 690 |
| }, |
| { |
| "epoch": 0.0448, |
| "grad_norm": 1.9188823699951172, |
| "learning_rate": 7.456000000000001e-06, |
| "loss": 0.0539, |
| "step": 700 |
| }, |
| { |
| "epoch": 0.04544, |
| "grad_norm": 2.0834364891052246, |
| "learning_rate": 7.562666666666667e-06, |
| "loss": 0.0545, |
| "step": 710 |
| }, |
| { |
| "epoch": 0.04608, |
| "grad_norm": 2.081609010696411, |
| "learning_rate": 7.669333333333335e-06, |
| "loss": 0.0563, |
| "step": 720 |
| }, |
| { |
| "epoch": 0.04672, |
| "grad_norm": 1.461228370666504, |
| "learning_rate": 7.776e-06, |
| "loss": 0.0495, |
| "step": 730 |
| }, |
| { |
| "epoch": 0.04736, |
| "grad_norm": 2.7746951580047607, |
| "learning_rate": 7.882666666666667e-06, |
| "loss": 0.0517, |
| "step": 740 |
| }, |
| { |
| "epoch": 0.048, |
| "grad_norm": 1.2801299095153809, |
| "learning_rate": 7.989333333333335e-06, |
| "loss": 0.034, |
| "step": 750 |
| }, |
| { |
| "epoch": 0.04864, |
| "grad_norm": 3.921491861343384, |
| "learning_rate": 8.096e-06, |
| "loss": 0.0537, |
| "step": 760 |
| }, |
| { |
| "epoch": 0.04928, |
| "grad_norm": 1.9986109733581543, |
| "learning_rate": 8.202666666666667e-06, |
| "loss": 0.0444, |
| "step": 770 |
| }, |
| { |
| "epoch": 0.04992, |
| "grad_norm": 4.678001403808594, |
| "learning_rate": 8.309333333333334e-06, |
| "loss": 0.0589, |
| "step": 780 |
| }, |
| { |
| "epoch": 0.05056, |
| "grad_norm": 1.7302327156066895, |
| "learning_rate": 8.416e-06, |
| "loss": 0.043, |
| "step": 790 |
| }, |
| { |
| "epoch": 0.0512, |
| "grad_norm": 2.5643601417541504, |
| "learning_rate": 8.522666666666667e-06, |
| "loss": 0.0671, |
| "step": 800 |
| }, |
| { |
| "epoch": 0.05184, |
| "grad_norm": 2.8869082927703857, |
| "learning_rate": 8.629333333333334e-06, |
| "loss": 0.0565, |
| "step": 810 |
| }, |
| { |
| "epoch": 0.05248, |
| "grad_norm": 3.723088264465332, |
| "learning_rate": 8.736e-06, |
| "loss": 0.0428, |
| "step": 820 |
| }, |
| { |
| "epoch": 0.05312, |
| "grad_norm": 4.387404441833496, |
| "learning_rate": 8.842666666666667e-06, |
| "loss": 0.0559, |
| "step": 830 |
| }, |
| { |
| "epoch": 0.05376, |
| "grad_norm": 1.889413833618164, |
| "learning_rate": 8.949333333333334e-06, |
| "loss": 0.0405, |
| "step": 840 |
| }, |
| { |
| "epoch": 0.0544, |
| "grad_norm": 1.4773402214050293, |
| "learning_rate": 9.056000000000001e-06, |
| "loss": 0.0414, |
| "step": 850 |
| }, |
| { |
| "epoch": 0.05504, |
| "grad_norm": 0.4495583176612854, |
| "learning_rate": 9.162666666666668e-06, |
| "loss": 0.0446, |
| "step": 860 |
| }, |
| { |
| "epoch": 0.05568, |
| "grad_norm": 1.158181071281433, |
| "learning_rate": 9.269333333333335e-06, |
| "loss": 0.0432, |
| "step": 870 |
| }, |
| { |
| "epoch": 0.05632, |
| "grad_norm": 2.434063196182251, |
| "learning_rate": 9.376000000000001e-06, |
| "loss": 0.0502, |
| "step": 880 |
| }, |
| { |
| "epoch": 0.05696, |
| "grad_norm": 1.2009385824203491, |
| "learning_rate": 9.482666666666668e-06, |
| "loss": 0.0473, |
| "step": 890 |
| }, |
| { |
| "epoch": 0.0576, |
| "grad_norm": 3.9361023902893066, |
| "learning_rate": 9.589333333333333e-06, |
| "loss": 0.046, |
| "step": 900 |
| }, |
| { |
| "epoch": 0.05824, |
| "grad_norm": 2.926988124847412, |
| "learning_rate": 9.696000000000002e-06, |
| "loss": 0.0464, |
| "step": 910 |
| }, |
| { |
| "epoch": 0.05888, |
| "grad_norm": 2.215726375579834, |
| "learning_rate": 9.802666666666667e-06, |
| "loss": 0.0471, |
| "step": 920 |
| }, |
| { |
| "epoch": 0.05952, |
| "grad_norm": 2.4104645252227783, |
| "learning_rate": 9.909333333333334e-06, |
| "loss": 0.0482, |
| "step": 930 |
| }, |
| { |
| "epoch": 0.06016, |
| "grad_norm": 5.664385795593262, |
| "learning_rate": 1.0016000000000002e-05, |
| "loss": 0.044, |
| "step": 940 |
| }, |
| { |
| "epoch": 0.0608, |
| "grad_norm": 1.7977851629257202, |
| "learning_rate": 1.0122666666666667e-05, |
| "loss": 0.0429, |
| "step": 950 |
| }, |
| { |
| "epoch": 0.06144, |
| "grad_norm": 2.953789472579956, |
| "learning_rate": 1.0229333333333334e-05, |
| "loss": 0.0533, |
| "step": 960 |
| }, |
| { |
| "epoch": 0.06208, |
| "grad_norm": 1.6272608041763306, |
| "learning_rate": 1.0336000000000002e-05, |
| "loss": 0.0307, |
| "step": 970 |
| }, |
| { |
| "epoch": 0.06272, |
| "grad_norm": 2.8621678352355957, |
| "learning_rate": 1.0442666666666667e-05, |
| "loss": 0.0461, |
| "step": 980 |
| }, |
| { |
| "epoch": 0.06336, |
| "grad_norm": 3.70019793510437, |
| "learning_rate": 1.0549333333333334e-05, |
| "loss": 0.0546, |
| "step": 990 |
| }, |
| { |
| "epoch": 0.064, |
| "grad_norm": 1.1777608394622803, |
| "learning_rate": 1.0656000000000003e-05, |
| "loss": 0.0508, |
| "step": 1000 |
| }, |
| { |
| "epoch": 0.064, |
| "eval_accuracy": 0.96139, |
| "eval_f1_weighted": 0.9613900534763816, |
| "eval_loss": 0.031560152769088745, |
| "eval_macro_f1": 0.9613078781032101, |
| "eval_precision": 0.9613901086866451, |
| "eval_recall": 0.96139, |
| "eval_runtime": 1630.3285, |
| "eval_samples_per_second": 61.337, |
| "eval_steps_per_second": 0.959, |
| "step": 1000 |
| } |
| ], |
| "logging_steps": 10, |
| "max_steps": 15625, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 1, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "EarlyStoppingCallback": { |
| "args": { |
| "early_stopping_patience": 3, |
| "early_stopping_threshold": 0.0 |
| }, |
| "attributes": { |
| "early_stopping_patience_counter": 0 |
| } |
| }, |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": false |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 8415459105720960.0, |
| "train_batch_size": 32, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
