{ "best_global_step": 2000, "best_metric": 0.970164263786433, "best_model_checkpoint": "taskA-unixcoder-focal/checkpoint-2000", "epoch": 0.128, "eval_steps": 500, "global_step": 2000, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.00064, "grad_norm": 3.3732223510742188, "learning_rate": 9.6e-08, "loss": 0.2065, "step": 10 }, { "epoch": 0.00128, "grad_norm": 2.8028833866119385, "learning_rate": 2.0266666666666668e-07, "loss": 0.2003, "step": 20 }, { "epoch": 0.00192, "grad_norm": 3.137962818145752, "learning_rate": 3.0933333333333335e-07, "loss": 0.2119, "step": 30 }, { "epoch": 0.00256, "grad_norm": 2.2841057777404785, "learning_rate": 4.16e-07, "loss": 0.1858, "step": 40 }, { "epoch": 0.0032, "grad_norm": 2.4040842056274414, "learning_rate": 5.226666666666667e-07, "loss": 0.1755, "step": 50 }, { "epoch": 0.00384, "grad_norm": 2.1078808307647705, "learning_rate": 6.293333333333334e-07, "loss": 0.1836, "step": 60 }, { "epoch": 0.00448, "grad_norm": 2.1723551750183105, "learning_rate": 7.36e-07, "loss": 0.182, "step": 70 }, { "epoch": 0.00512, "grad_norm": 3.8697516918182373, "learning_rate": 8.426666666666668e-07, "loss": 0.1893, "step": 80 }, { "epoch": 0.00576, "grad_norm": 2.2711849212646484, "learning_rate": 9.493333333333334e-07, "loss": 0.1645, "step": 90 }, { "epoch": 0.0064, "grad_norm": 2.9138245582580566, "learning_rate": 1.0560000000000001e-06, "loss": 0.1753, "step": 100 }, { "epoch": 0.00704, "grad_norm": 2.136301279067993, "learning_rate": 1.1626666666666667e-06, "loss": 0.1639, "step": 110 }, { "epoch": 0.00768, "grad_norm": 3.216343641281128, "learning_rate": 1.2693333333333335e-06, "loss": 0.1623, "step": 120 }, { "epoch": 0.00832, "grad_norm": 3.192094326019287, "learning_rate": 1.376e-06, "loss": 0.1607, "step": 130 }, { "epoch": 0.00896, "grad_norm": 4.722238540649414, "learning_rate": 1.4826666666666666e-06, "loss": 0.1653, "step": 140 }, { "epoch": 0.0096, "grad_norm": 4.088972568511963, "learning_rate": 1.5893333333333336e-06, "loss": 0.1557, "step": 150 }, { "epoch": 0.01024, "grad_norm": 2.2773237228393555, "learning_rate": 1.6960000000000002e-06, "loss": 0.1634, "step": 160 }, { "epoch": 0.01088, "grad_norm": 2.53987193107605, "learning_rate": 1.8026666666666667e-06, "loss": 0.1435, "step": 170 }, { "epoch": 0.01152, "grad_norm": 3.688382387161255, "learning_rate": 1.9093333333333335e-06, "loss": 0.1396, "step": 180 }, { "epoch": 0.01216, "grad_norm": 1.8855538368225098, "learning_rate": 2.0160000000000003e-06, "loss": 0.1476, "step": 190 }, { "epoch": 0.0128, "grad_norm": 2.2272040843963623, "learning_rate": 2.1226666666666666e-06, "loss": 0.144, "step": 200 }, { "epoch": 0.01344, "grad_norm": 3.505934476852417, "learning_rate": 2.229333333333334e-06, "loss": 0.1306, "step": 210 }, { "epoch": 0.01408, "grad_norm": 1.8632491827011108, "learning_rate": 2.336e-06, "loss": 0.1504, "step": 220 }, { "epoch": 0.01472, "grad_norm": 2.191713333129883, "learning_rate": 2.442666666666667e-06, "loss": 0.1346, "step": 230 }, { "epoch": 0.01536, "grad_norm": 1.9042261838912964, "learning_rate": 2.5493333333333337e-06, "loss": 0.135, "step": 240 }, { "epoch": 0.016, "grad_norm": 2.266148090362549, "learning_rate": 2.656e-06, "loss": 0.1356, "step": 250 }, { "epoch": 0.01664, "grad_norm": 2.4776418209075928, "learning_rate": 2.762666666666667e-06, "loss": 0.129, "step": 260 }, { "epoch": 0.01728, "grad_norm": 2.340693712234497, "learning_rate": 2.8693333333333336e-06, "loss": 0.1236, "step": 270 }, { "epoch": 0.01792, "grad_norm": 1.6849262714385986, "learning_rate": 2.976e-06, "loss": 0.1152, "step": 280 }, { "epoch": 0.01856, "grad_norm": 3.5535154342651367, "learning_rate": 3.082666666666667e-06, "loss": 0.1335, "step": 290 }, { "epoch": 0.0192, "grad_norm": 2.9307031631469727, "learning_rate": 3.1893333333333335e-06, "loss": 0.1136, "step": 300 }, { "epoch": 0.01984, "grad_norm": 3.0100226402282715, "learning_rate": 3.2960000000000003e-06, "loss": 0.1186, "step": 310 }, { "epoch": 0.02048, "grad_norm": 2.088911771774292, "learning_rate": 3.402666666666667e-06, "loss": 0.1051, "step": 320 }, { "epoch": 0.02112, "grad_norm": 4.332556247711182, "learning_rate": 3.5093333333333334e-06, "loss": 0.1075, "step": 330 }, { "epoch": 0.02176, "grad_norm": 2.954036235809326, "learning_rate": 3.616e-06, "loss": 0.11, "step": 340 }, { "epoch": 0.0224, "grad_norm": 2.262308359146118, "learning_rate": 3.7226666666666674e-06, "loss": 0.1057, "step": 350 }, { "epoch": 0.02304, "grad_norm": 1.5145989656448364, "learning_rate": 3.829333333333334e-06, "loss": 0.1049, "step": 360 }, { "epoch": 0.02368, "grad_norm": 1.740663766860962, "learning_rate": 3.936e-06, "loss": 0.0964, "step": 370 }, { "epoch": 0.02432, "grad_norm": 1.7438851594924927, "learning_rate": 4.042666666666667e-06, "loss": 0.0936, "step": 380 }, { "epoch": 0.02496, "grad_norm": 3.946115493774414, "learning_rate": 4.149333333333334e-06, "loss": 0.1038, "step": 390 }, { "epoch": 0.0256, "grad_norm": 5.289428234100342, "learning_rate": 4.256e-06, "loss": 0.1015, "step": 400 }, { "epoch": 0.02624, "grad_norm": 1.9344863891601562, "learning_rate": 4.362666666666667e-06, "loss": 0.0855, "step": 410 }, { "epoch": 0.02688, "grad_norm": 7.482412338256836, "learning_rate": 4.469333333333334e-06, "loss": 0.1031, "step": 420 }, { "epoch": 0.02752, "grad_norm": 2.5646328926086426, "learning_rate": 4.576000000000001e-06, "loss": 0.0777, "step": 430 }, { "epoch": 0.02816, "grad_norm": 1.473496437072754, "learning_rate": 4.682666666666667e-06, "loss": 0.0854, "step": 440 }, { "epoch": 0.0288, "grad_norm": 2.204341411590576, "learning_rate": 4.7893333333333334e-06, "loss": 0.0739, "step": 450 }, { "epoch": 0.02944, "grad_norm": 3.1363987922668457, "learning_rate": 4.896e-06, "loss": 0.0886, "step": 460 }, { "epoch": 0.03008, "grad_norm": 2.0473029613494873, "learning_rate": 5.002666666666667e-06, "loss": 0.0794, "step": 470 }, { "epoch": 0.03072, "grad_norm": 1.6088207960128784, "learning_rate": 5.109333333333334e-06, "loss": 0.0604, "step": 480 }, { "epoch": 0.03136, "grad_norm": 2.974717617034912, "learning_rate": 5.216e-06, "loss": 0.0827, "step": 490 }, { "epoch": 0.032, "grad_norm": 6.114630699157715, "learning_rate": 5.322666666666667e-06, "loss": 0.0631, "step": 500 }, { "epoch": 0.032, "eval_accuracy": 0.88603, "eval_f1_weighted": 0.8857328199768308, "eval_loss": 0.08366190642118454, "eval_macro_f1": 0.8859061279979327, "eval_precision": 0.8966428429175579, "eval_recall": 0.88603, "eval_runtime": 1629.6546, "eval_samples_per_second": 61.363, "eval_steps_per_second": 0.959, "step": 500 }, { "epoch": 0.03264, "grad_norm": 1.4639947414398193, "learning_rate": 5.429333333333334e-06, "loss": 0.0724, "step": 510 }, { "epoch": 0.03328, "grad_norm": 4.234114646911621, "learning_rate": 5.536e-06, "loss": 0.0737, "step": 520 }, { "epoch": 0.03392, "grad_norm": 1.9391822814941406, "learning_rate": 5.642666666666668e-06, "loss": 0.0875, "step": 530 }, { "epoch": 0.03456, "grad_norm": 2.0388095378875732, "learning_rate": 5.7493333333333336e-06, "loss": 0.0661, "step": 540 }, { "epoch": 0.0352, "grad_norm": 1.9697074890136719, "learning_rate": 5.856e-06, "loss": 0.0647, "step": 550 }, { "epoch": 0.03584, "grad_norm": 3.9906229972839355, "learning_rate": 5.962666666666666e-06, "loss": 0.0696, "step": 560 }, { "epoch": 0.03648, "grad_norm": 1.5516153573989868, "learning_rate": 6.069333333333334e-06, "loss": 0.0576, "step": 570 }, { "epoch": 0.03712, "grad_norm": 3.5216825008392334, "learning_rate": 6.176000000000001e-06, "loss": 0.0793, "step": 580 }, { "epoch": 0.03776, "grad_norm": 6.22791051864624, "learning_rate": 6.282666666666667e-06, "loss": 0.0757, "step": 590 }, { "epoch": 0.0384, "grad_norm": 1.8255369663238525, "learning_rate": 6.389333333333334e-06, "loss": 0.0602, "step": 600 }, { "epoch": 0.03904, "grad_norm": 2.506188154220581, "learning_rate": 6.496e-06, "loss": 0.0643, "step": 610 }, { "epoch": 0.03968, "grad_norm": 1.5877528190612793, "learning_rate": 6.602666666666667e-06, "loss": 0.0501, "step": 620 }, { "epoch": 0.04032, "grad_norm": 2.1468632221221924, "learning_rate": 6.7093333333333345e-06, "loss": 0.0521, "step": 630 }, { "epoch": 0.04096, "grad_norm": 2.6225597858428955, "learning_rate": 6.8160000000000005e-06, "loss": 0.068, "step": 640 }, { "epoch": 0.0416, "grad_norm": 3.1171772480010986, "learning_rate": 6.922666666666667e-06, "loss": 0.0644, "step": 650 }, { "epoch": 0.04224, "grad_norm": 2.7589240074157715, "learning_rate": 7.029333333333333e-06, "loss": 0.0763, "step": 660 }, { "epoch": 0.04288, "grad_norm": 2.3155124187469482, "learning_rate": 7.136000000000001e-06, "loss": 0.0451, "step": 670 }, { "epoch": 0.04352, "grad_norm": 0.9795209169387817, "learning_rate": 7.242666666666667e-06, "loss": 0.0552, "step": 680 }, { "epoch": 0.04416, "grad_norm": 6.224135398864746, "learning_rate": 7.3493333333333335e-06, "loss": 0.0614, "step": 690 }, { "epoch": 0.0448, "grad_norm": 1.9188823699951172, "learning_rate": 7.456000000000001e-06, "loss": 0.0539, "step": 700 }, { "epoch": 0.04544, "grad_norm": 2.0834364891052246, "learning_rate": 7.562666666666667e-06, "loss": 0.0545, "step": 710 }, { "epoch": 0.04608, "grad_norm": 2.081609010696411, "learning_rate": 7.669333333333335e-06, "loss": 0.0563, "step": 720 }, { "epoch": 0.04672, "grad_norm": 1.461228370666504, "learning_rate": 7.776e-06, "loss": 0.0495, "step": 730 }, { "epoch": 0.04736, "grad_norm": 2.7746951580047607, "learning_rate": 7.882666666666667e-06, "loss": 0.0517, "step": 740 }, { "epoch": 0.048, "grad_norm": 1.2801299095153809, "learning_rate": 7.989333333333335e-06, "loss": 0.034, "step": 750 }, { "epoch": 0.04864, "grad_norm": 3.921491861343384, "learning_rate": 8.096e-06, "loss": 0.0537, "step": 760 }, { "epoch": 0.04928, "grad_norm": 1.9986109733581543, "learning_rate": 8.202666666666667e-06, "loss": 0.0444, "step": 770 }, { "epoch": 0.04992, "grad_norm": 4.678001403808594, "learning_rate": 8.309333333333334e-06, "loss": 0.0589, "step": 780 }, { "epoch": 0.05056, "grad_norm": 1.7302327156066895, "learning_rate": 8.416e-06, "loss": 0.043, "step": 790 }, { "epoch": 0.0512, "grad_norm": 2.5643601417541504, "learning_rate": 8.522666666666667e-06, "loss": 0.0671, "step": 800 }, { "epoch": 0.05184, "grad_norm": 2.8869082927703857, "learning_rate": 8.629333333333334e-06, "loss": 0.0565, "step": 810 }, { "epoch": 0.05248, "grad_norm": 3.723088264465332, "learning_rate": 8.736e-06, "loss": 0.0428, "step": 820 }, { "epoch": 0.05312, "grad_norm": 4.387404441833496, "learning_rate": 8.842666666666667e-06, "loss": 0.0559, "step": 830 }, { "epoch": 0.05376, "grad_norm": 1.889413833618164, "learning_rate": 8.949333333333334e-06, "loss": 0.0405, "step": 840 }, { "epoch": 0.0544, "grad_norm": 1.4773402214050293, "learning_rate": 9.056000000000001e-06, "loss": 0.0414, "step": 850 }, { "epoch": 0.05504, "grad_norm": 0.4495583176612854, "learning_rate": 9.162666666666668e-06, "loss": 0.0446, "step": 860 }, { "epoch": 0.05568, "grad_norm": 1.158181071281433, "learning_rate": 9.269333333333335e-06, "loss": 0.0432, "step": 870 }, { "epoch": 0.05632, "grad_norm": 2.434063196182251, "learning_rate": 9.376000000000001e-06, "loss": 0.0502, "step": 880 }, { "epoch": 0.05696, "grad_norm": 1.2009385824203491, "learning_rate": 9.482666666666668e-06, "loss": 0.0473, "step": 890 }, { "epoch": 0.0576, "grad_norm": 3.9361023902893066, "learning_rate": 9.589333333333333e-06, "loss": 0.046, "step": 900 }, { "epoch": 0.05824, "grad_norm": 2.926988124847412, "learning_rate": 9.696000000000002e-06, "loss": 0.0464, "step": 910 }, { "epoch": 0.05888, "grad_norm": 2.215726375579834, "learning_rate": 9.802666666666667e-06, "loss": 0.0471, "step": 920 }, { "epoch": 0.05952, "grad_norm": 2.4104645252227783, "learning_rate": 9.909333333333334e-06, "loss": 0.0482, "step": 930 }, { "epoch": 0.06016, "grad_norm": 5.664385795593262, "learning_rate": 1.0016000000000002e-05, "loss": 0.044, "step": 940 }, { "epoch": 0.0608, "grad_norm": 1.7977851629257202, "learning_rate": 1.0122666666666667e-05, "loss": 0.0429, "step": 950 }, { "epoch": 0.06144, "grad_norm": 2.953789472579956, "learning_rate": 1.0229333333333334e-05, "loss": 0.0533, "step": 960 }, { "epoch": 0.06208, "grad_norm": 1.6272608041763306, "learning_rate": 1.0336000000000002e-05, "loss": 0.0307, "step": 970 }, { "epoch": 0.06272, "grad_norm": 2.8621678352355957, "learning_rate": 1.0442666666666667e-05, "loss": 0.0461, "step": 980 }, { "epoch": 0.06336, "grad_norm": 3.70019793510437, "learning_rate": 1.0549333333333334e-05, "loss": 0.0546, "step": 990 }, { "epoch": 0.064, "grad_norm": 1.1777608394622803, "learning_rate": 1.0656000000000003e-05, "loss": 0.0508, "step": 1000 }, { "epoch": 0.064, "eval_accuracy": 0.96139, "eval_f1_weighted": 0.9613900534763816, "eval_loss": 0.031560152769088745, "eval_macro_f1": 0.9613078781032101, "eval_precision": 0.9613901086866451, "eval_recall": 0.96139, "eval_runtime": 1630.3285, "eval_samples_per_second": 61.337, "eval_steps_per_second": 0.959, "step": 1000 }, { "epoch": 0.06464, "grad_norm": 1.070363163948059, "learning_rate": 1.0762666666666668e-05, "loss": 0.0383, "step": 1010 }, { "epoch": 0.06528, "grad_norm": 1.6929458379745483, "learning_rate": 1.0869333333333335e-05, "loss": 0.0411, "step": 1020 }, { "epoch": 0.06592, "grad_norm": 3.4057459831237793, "learning_rate": 1.0976e-05, "loss": 0.0366, "step": 1030 }, { "epoch": 0.06656, "grad_norm": 4.279348850250244, "learning_rate": 1.1082666666666668e-05, "loss": 0.0518, "step": 1040 }, { "epoch": 0.0672, "grad_norm": 2.8239481449127197, "learning_rate": 1.1189333333333335e-05, "loss": 0.0628, "step": 1050 }, { "epoch": 0.06784, "grad_norm": 0.6896284222602844, "learning_rate": 1.1296e-05, "loss": 0.0326, "step": 1060 }, { "epoch": 0.06848, "grad_norm": 2.390023946762085, "learning_rate": 1.1402666666666668e-05, "loss": 0.023, "step": 1070 }, { "epoch": 0.06912, "grad_norm": 4.928287506103516, "learning_rate": 1.1509333333333335e-05, "loss": 0.054, "step": 1080 }, { "epoch": 0.06976, "grad_norm": 0.56038498878479, "learning_rate": 1.1616e-05, "loss": 0.0455, "step": 1090 }, { "epoch": 0.0704, "grad_norm": 1.9952913522720337, "learning_rate": 1.1722666666666667e-05, "loss": 0.0498, "step": 1100 }, { "epoch": 0.07104, "grad_norm": 3.672297239303589, "learning_rate": 1.1829333333333335e-05, "loss": 0.0316, "step": 1110 }, { "epoch": 0.07168, "grad_norm": 1.2902151346206665, "learning_rate": 1.1936e-05, "loss": 0.0307, "step": 1120 }, { "epoch": 0.07232, "grad_norm": 3.4965603351593018, "learning_rate": 1.2042666666666667e-05, "loss": 0.0276, "step": 1130 }, { "epoch": 0.07296, "grad_norm": 2.104722261428833, "learning_rate": 1.2149333333333336e-05, "loss": 0.0418, "step": 1140 }, { "epoch": 0.0736, "grad_norm": 3.112037420272827, "learning_rate": 1.2256000000000001e-05, "loss": 0.0273, "step": 1150 }, { "epoch": 0.07424, "grad_norm": 3.404317855834961, "learning_rate": 1.2362666666666668e-05, "loss": 0.05, "step": 1160 }, { "epoch": 0.07488, "grad_norm": 3.429887056350708, "learning_rate": 1.2469333333333333e-05, "loss": 0.0373, "step": 1170 }, { "epoch": 0.07552, "grad_norm": 3.0430426597595215, "learning_rate": 1.2576000000000001e-05, "loss": 0.0416, "step": 1180 }, { "epoch": 0.07616, "grad_norm": 0.9473117589950562, "learning_rate": 1.2682666666666668e-05, "loss": 0.0386, "step": 1190 }, { "epoch": 0.0768, "grad_norm": 3.2402405738830566, "learning_rate": 1.2789333333333333e-05, "loss": 0.0483, "step": 1200 }, { "epoch": 0.07744, "grad_norm": 0.6574758291244507, "learning_rate": 1.2896000000000002e-05, "loss": 0.0325, "step": 1210 }, { "epoch": 0.07808, "grad_norm": 1.2989708185195923, "learning_rate": 1.3002666666666668e-05, "loss": 0.0317, "step": 1220 }, { "epoch": 0.07872, "grad_norm": 2.3091909885406494, "learning_rate": 1.3109333333333333e-05, "loss": 0.0333, "step": 1230 }, { "epoch": 0.07936, "grad_norm": 1.9569207429885864, "learning_rate": 1.3216000000000002e-05, "loss": 0.0551, "step": 1240 }, { "epoch": 0.08, "grad_norm": 1.9818898439407349, "learning_rate": 1.3322666666666669e-05, "loss": 0.0456, "step": 1250 }, { "epoch": 0.08064, "grad_norm": 1.6688885688781738, "learning_rate": 1.3429333333333334e-05, "loss": 0.0282, "step": 1260 }, { "epoch": 0.08128, "grad_norm": 3.399576425552368, "learning_rate": 1.3536e-05, "loss": 0.0272, "step": 1270 }, { "epoch": 0.08192, "grad_norm": 1.1946886777877808, "learning_rate": 1.3642666666666669e-05, "loss": 0.0286, "step": 1280 }, { "epoch": 0.08256, "grad_norm": 0.6542123556137085, "learning_rate": 1.3749333333333334e-05, "loss": 0.0402, "step": 1290 }, { "epoch": 0.0832, "grad_norm": 0.3911895453929901, "learning_rate": 1.3856e-05, "loss": 0.0233, "step": 1300 }, { "epoch": 0.08384, "grad_norm": 2.623258352279663, "learning_rate": 1.396266666666667e-05, "loss": 0.032, "step": 1310 }, { "epoch": 0.08448, "grad_norm": 0.648289144039154, "learning_rate": 1.4069333333333334e-05, "loss": 0.0228, "step": 1320 }, { "epoch": 0.08512, "grad_norm": 3.750211000442505, "learning_rate": 1.4176000000000001e-05, "loss": 0.0502, "step": 1330 }, { "epoch": 0.08576, "grad_norm": 2.802426815032959, "learning_rate": 1.4282666666666666e-05, "loss": 0.0287, "step": 1340 }, { "epoch": 0.0864, "grad_norm": 1.0664188861846924, "learning_rate": 1.4389333333333335e-05, "loss": 0.0385, "step": 1350 }, { "epoch": 0.08704, "grad_norm": 3.218820571899414, "learning_rate": 1.4496000000000001e-05, "loss": 0.0515, "step": 1360 }, { "epoch": 0.08768, "grad_norm": 1.9482243061065674, "learning_rate": 1.4602666666666667e-05, "loss": 0.0258, "step": 1370 }, { "epoch": 0.08832, "grad_norm": 0.695675253868103, "learning_rate": 1.4709333333333335e-05, "loss": 0.0422, "step": 1380 }, { "epoch": 0.08896, "grad_norm": 0.9671708941459656, "learning_rate": 1.4816000000000002e-05, "loss": 0.0319, "step": 1390 }, { "epoch": 0.0896, "grad_norm": 0.8047491908073425, "learning_rate": 1.4922666666666667e-05, "loss": 0.0423, "step": 1400 }, { "epoch": 0.09024, "grad_norm": 1.894417643547058, "learning_rate": 1.5029333333333334e-05, "loss": 0.0327, "step": 1410 }, { "epoch": 0.09088, "grad_norm": 3.023747444152832, "learning_rate": 1.5136000000000002e-05, "loss": 0.0356, "step": 1420 }, { "epoch": 0.09152, "grad_norm": 1.0697004795074463, "learning_rate": 1.5242666666666667e-05, "loss": 0.038, "step": 1430 }, { "epoch": 0.09216, "grad_norm": 1.0740805864334106, "learning_rate": 1.5349333333333332e-05, "loss": 0.037, "step": 1440 }, { "epoch": 0.0928, "grad_norm": 1.7463656663894653, "learning_rate": 1.5456000000000002e-05, "loss": 0.0277, "step": 1450 }, { "epoch": 0.09344, "grad_norm": 0.6604284644126892, "learning_rate": 1.556266666666667e-05, "loss": 0.0259, "step": 1460 }, { "epoch": 0.09408, "grad_norm": 2.2307727336883545, "learning_rate": 1.5669333333333333e-05, "loss": 0.0311, "step": 1470 }, { "epoch": 0.09472, "grad_norm": 0.47977620363235474, "learning_rate": 1.5776e-05, "loss": 0.0184, "step": 1480 }, { "epoch": 0.09536, "grad_norm": 1.1453766822814941, "learning_rate": 1.588266666666667e-05, "loss": 0.0303, "step": 1490 }, { "epoch": 0.096, "grad_norm": 2.8183929920196533, "learning_rate": 1.5989333333333333e-05, "loss": 0.0498, "step": 1500 }, { "epoch": 0.096, "eval_accuracy": 0.96992, "eval_f1_weighted": 0.9699323760484765, "eval_loss": 0.029355797916650772, "eval_macro_f1": 0.9698851462608304, "eval_precision": 0.9702279455514112, "eval_recall": 0.96992, "eval_runtime": 1629.7849, "eval_samples_per_second": 61.358, "eval_steps_per_second": 0.959, "step": 1500 }, { "epoch": 0.09664, "grad_norm": 2.631521224975586, "learning_rate": 1.6096e-05, "loss": 0.0309, "step": 1510 }, { "epoch": 0.09728, "grad_norm": 4.332648277282715, "learning_rate": 1.620266666666667e-05, "loss": 0.0265, "step": 1520 }, { "epoch": 0.09792, "grad_norm": 2.661992311477661, "learning_rate": 1.6309333333333333e-05, "loss": 0.0333, "step": 1530 }, { "epoch": 0.09856, "grad_norm": 4.480170726776123, "learning_rate": 1.6416e-05, "loss": 0.0164, "step": 1540 }, { "epoch": 0.0992, "grad_norm": 3.6200265884399414, "learning_rate": 1.652266666666667e-05, "loss": 0.0496, "step": 1550 }, { "epoch": 0.09984, "grad_norm": 0.8664556741714478, "learning_rate": 1.6629333333333334e-05, "loss": 0.0405, "step": 1560 }, { "epoch": 0.10048, "grad_norm": 0.4059486985206604, "learning_rate": 1.6736e-05, "loss": 0.0204, "step": 1570 }, { "epoch": 0.10112, "grad_norm": 6.29810094833374, "learning_rate": 1.6842666666666667e-05, "loss": 0.0373, "step": 1580 }, { "epoch": 0.10176, "grad_norm": 0.3921312987804413, "learning_rate": 1.6949333333333334e-05, "loss": 0.0296, "step": 1590 }, { "epoch": 0.1024, "grad_norm": 0.5871056318283081, "learning_rate": 1.7056e-05, "loss": 0.0272, "step": 1600 }, { "epoch": 0.10304, "grad_norm": 0.8386616706848145, "learning_rate": 1.7162666666666667e-05, "loss": 0.0268, "step": 1610 }, { "epoch": 0.10368, "grad_norm": 0.24483710527420044, "learning_rate": 1.7269333333333334e-05, "loss": 0.026, "step": 1620 }, { "epoch": 0.10432, "grad_norm": 1.1107805967330933, "learning_rate": 1.7376e-05, "loss": 0.0212, "step": 1630 }, { "epoch": 0.10496, "grad_norm": 2.1698811054229736, "learning_rate": 1.7482666666666668e-05, "loss": 0.034, "step": 1640 }, { "epoch": 0.1056, "grad_norm": 0.20654629170894623, "learning_rate": 1.7589333333333335e-05, "loss": 0.0341, "step": 1650 }, { "epoch": 0.10624, "grad_norm": 1.9759390354156494, "learning_rate": 1.7696e-05, "loss": 0.0185, "step": 1660 }, { "epoch": 0.10688, "grad_norm": 3.4848012924194336, "learning_rate": 1.7802666666666668e-05, "loss": 0.0353, "step": 1670 }, { "epoch": 0.10752, "grad_norm": 0.2271997630596161, "learning_rate": 1.7909333333333335e-05, "loss": 0.0394, "step": 1680 }, { "epoch": 0.10816, "grad_norm": 2.6998696327209473, "learning_rate": 1.8016e-05, "loss": 0.05, "step": 1690 }, { "epoch": 0.1088, "grad_norm": 0.7117211222648621, "learning_rate": 1.812266666666667e-05, "loss": 0.0221, "step": 1700 }, { "epoch": 0.10944, "grad_norm": 1.4605228900909424, "learning_rate": 1.8229333333333335e-05, "loss": 0.0225, "step": 1710 }, { "epoch": 0.11008, "grad_norm": 0.8530828952789307, "learning_rate": 1.8336000000000002e-05, "loss": 0.0227, "step": 1720 }, { "epoch": 0.11072, "grad_norm": 1.9308661222457886, "learning_rate": 1.844266666666667e-05, "loss": 0.0331, "step": 1730 }, { "epoch": 0.11136, "grad_norm": 0.4266184866428375, "learning_rate": 1.8549333333333336e-05, "loss": 0.0269, "step": 1740 }, { "epoch": 0.112, "grad_norm": 0.24159789085388184, "learning_rate": 1.8656000000000002e-05, "loss": 0.016, "step": 1750 }, { "epoch": 0.11264, "grad_norm": 2.9888405799865723, "learning_rate": 1.876266666666667e-05, "loss": 0.0183, "step": 1760 }, { "epoch": 0.11328, "grad_norm": 0.3445536494255066, "learning_rate": 1.8869333333333336e-05, "loss": 0.0275, "step": 1770 }, { "epoch": 0.11392, "grad_norm": 0.8499478101730347, "learning_rate": 1.8976000000000003e-05, "loss": 0.0279, "step": 1780 }, { "epoch": 0.11456, "grad_norm": 0.6538372039794922, "learning_rate": 1.908266666666667e-05, "loss": 0.0386, "step": 1790 }, { "epoch": 0.1152, "grad_norm": 1.7591469287872314, "learning_rate": 1.9189333333333336e-05, "loss": 0.0295, "step": 1800 }, { "epoch": 0.11584, "grad_norm": 3.075883150100708, "learning_rate": 1.9296000000000003e-05, "loss": 0.0261, "step": 1810 }, { "epoch": 0.11648, "grad_norm": 0.967818021774292, "learning_rate": 1.9402666666666666e-05, "loss": 0.0324, "step": 1820 }, { "epoch": 0.11712, "grad_norm": 3.656330108642578, "learning_rate": 1.9509333333333337e-05, "loss": 0.0319, "step": 1830 }, { "epoch": 0.11776, "grad_norm": 1.274255394935608, "learning_rate": 1.9616000000000003e-05, "loss": 0.0348, "step": 1840 }, { "epoch": 0.1184, "grad_norm": 1.348671793937683, "learning_rate": 1.9722666666666667e-05, "loss": 0.0268, "step": 1850 }, { "epoch": 0.11904, "grad_norm": 2.5715315341949463, "learning_rate": 1.9829333333333337e-05, "loss": 0.0484, "step": 1860 }, { "epoch": 0.11968, "grad_norm": 1.6529572010040283, "learning_rate": 1.9936000000000004e-05, "loss": 0.0288, "step": 1870 }, { "epoch": 0.12032, "grad_norm": 0.4880078136920929, "learning_rate": 1.999999582377099e-05, "loss": 0.0166, "step": 1880 }, { "epoch": 0.12096, "grad_norm": 0.04303014650940895, "learning_rate": 1.9999948841234694e-05, "loss": 0.0328, "step": 1890 }, { "epoch": 0.1216, "grad_norm": 1.308612585067749, "learning_rate": 1.999984965612191e-05, "loss": 0.0188, "step": 1900 }, { "epoch": 0.12224, "grad_norm": 0.04864171892404556, "learning_rate": 1.999969826895043e-05, "loss": 0.0138, "step": 1910 }, { "epoch": 0.12288, "grad_norm": 3.7564399242401123, "learning_rate": 1.999949468051052e-05, "loss": 0.0332, "step": 1920 }, { "epoch": 0.12352, "grad_norm": 0.5204304456710815, "learning_rate": 1.999923889186498e-05, "loss": 0.0262, "step": 1930 }, { "epoch": 0.12416, "grad_norm": 1.1759312152862549, "learning_rate": 1.9998930904349093e-05, "loss": 0.0437, "step": 1940 }, { "epoch": 0.1248, "grad_norm": 1.0756793022155762, "learning_rate": 1.999857071957065e-05, "loss": 0.0268, "step": 1950 }, { "epoch": 0.12544, "grad_norm": 2.0290422439575195, "learning_rate": 1.999815833940991e-05, "loss": 0.0167, "step": 1960 }, { "epoch": 0.12608, "grad_norm": 2.2367708683013916, "learning_rate": 1.999769376601962e-05, "loss": 0.0291, "step": 1970 }, { "epoch": 0.12672, "grad_norm": 1.9560596942901611, "learning_rate": 1.999717700182498e-05, "loss": 0.0322, "step": 1980 }, { "epoch": 0.12736, "grad_norm": 0.5732283592224121, "learning_rate": 1.9996608049523648e-05, "loss": 0.0288, "step": 1990 }, { "epoch": 0.128, "grad_norm": 3.124932050704956, "learning_rate": 1.9995986912085723e-05, "loss": 0.03, "step": 2000 }, { "epoch": 0.128, "eval_accuracy": 0.97019, "eval_f1_weighted": 0.9702046600903295, "eval_loss": 0.030205972492694855, "eval_macro_f1": 0.970164263786433, "eval_precision": 0.9707624849401539, "eval_recall": 0.97019, "eval_runtime": 1729.5857, "eval_samples_per_second": 57.817, "eval_steps_per_second": 0.904, "step": 2000 } ], "logging_steps": 10, "max_steps": 15625, "num_input_tokens_seen": 0, "num_train_epochs": 1, "save_steps": 500, "stateful_callbacks": { "EarlyStoppingCallback": { "args": { "early_stopping_patience": 3, "early_stopping_threshold": 0.0 }, "attributes": { "early_stopping_patience_counter": 0 } }, "TrainerControl": { "args": { "should_epoch_stop": false, "should_evaluate": false, "should_log": false, "should_save": true, "should_training_stop": false }, "attributes": {} } }, "total_flos": 1.68312142113792e+16, "train_batch_size": 32, "trial_name": null, "trial_params": null }