Label Weights: tensor([3.2524, 3.8706, 4.2848, 3.8079, 3.6225, 4.6619, 4.4253, 3.9345, 5.2005,
        4.5028, 4.0189, 4.9842, 5.9577, 4.9098, 5.2744, 3.7283, 7.3329, 4.3637,
        3.9862, 6.5748, 4.2755, 6.9664, 4.6404, 6.6445, 5.3650, 4.4575, 4.6877,
        1.7193])


Epoch 1 | Step 0 | TRAIN  Loss: 0.7576
  7%|████████████████▏                                                                                                                                                                                                             | 99/1357 [00:44<02:03, 10.18it/s]Step 100 | Avg Logits: -0.1289
 11%|████████████████████████▎                                                                                                                                                                                                    | 149/1357 [00:49<01:59, 10.11it/s]Epoch 1 | Step 150 | TRAIN  Loss: 0.6624
 15%|████████████████████████████████▌                                                                                                                                                                                            | 200/1357 [00:54<01:59,  9.67it/s]Step 200 | Avg Logits: -0.5848
 22%|████████████████████████████████████████████████▊                                                                                                                                                                            | 300/1357 [01:05<01:42, 10.29it/s]Step 300 | Avg Logits: -1.7436
Epoch 1 | Step 300 | TRAIN  Loss: 0.3553
 29%|█████████████████████████████████████████████████████████████████▏                                                                                                                                                           | 400/1357 [01:16<01:45,  9.05it/s]Step 400 | Avg Logits: -2.5360
 33%|█████████████████████████████████████████████████████████████████████████▎                                                                                                                                                   | 450/1357 [01:21<01:34,  9.64it/s]Epoch 1 | Step 450 | TRAIN  Loss: 0.3651
 37%|█████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                           | 499/1357 [01:26<01:31,  9.37it/s]Unfreezing encoder weights
Step 500 | Avg Logits: -2.1546
 44%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                           | 600/1357 [01:53<03:54,  3.23it/s]Step 600 | Avg Logits: -2.2382
Epoch 1 | Step 600 | TRAIN  Loss: 0.3282
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                           | 700/1357 [02:20<02:42,  4.05it/s]Step 700 | Avg Logits: -2.3596
 55%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                  | 750/1357 [02:35<02:47,  3.63it/s]Epoch 1 | Step 750 | TRAIN  Loss: 0.3615
 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                          | 800/1357 [02:49<02:48,  3.31it/s]Step 800 | Avg Logits: -2.4556
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                          | 900/1357 [03:17<02:18,  3.31it/s]Step 900 | Avg Logits: -2.4075
Epoch 1 | Step 900 | TRAIN  Loss: 0.3065
 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                          | 1000/1357 [03:46<01:43,  3.45it/s]Step 1000 | Avg Logits: -2.4079
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                 | 1050/1357 [03:59<01:23,  3.66it/s]Epoch 1 | Step 1050 | TRAIN  Loss: 0.3560
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                         | 1100/1357 [04:13<01:08,  3.77it/s]Step 1100 | Avg Logits: -2.6674
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 1200/1357 [04:41<00:41,  3.78it/s]Step 1200 | Avg Logits: -2.6561
Epoch 1 | Step 1200 | TRAIN  Loss: 0.3694
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 1300/1357 [05:08<00:16,  3.53it/s]Step 1300 | Avg Logits: -2.7167
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1350/1357 [05:22<00:01,  3.54it/s]Epoch 1 | Step 1350 | TRAIN  Loss: 0.3163
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1357/1357 [05:25<00:00,  4.17it/s]
{'f1_macro': 0.19094998452785217, 'f1_micro': 0.4076115952338609, 'roc_auc': 0.7783624901227515}
FINISH EPOCH 1 | TRAIN Loss: 0.2883 | Eval Loss: 0.3145
  0%|                                                                                                                                                                                                                                       | 0/1357 [00:00<?, ?it/s]Step 0 | Avg Logits: -2.6611
Epoch 2 | Step 0 | TRAIN  Loss: 0.2936
  7%|████████████████▎                                                                                                                                                                                                            | 100/1357 [00:58<05:50,  3.59it/s]Step 100 | Avg Logits: -2.7454
 11%|████████████████████████▍                                                                                                                                                                                                    | 150/1357 [01:12<05:59,  3.36it/s]Epoch 2 | Step 150 | TRAIN  Loss: 0.3464
 15%|████████████████████████████████▌                                                                                                                                                                                            | 200/1357 [01:26<05:27,  3.54it/s]Step 200 | Avg Logits: -2.6421
 22%|████████████████████████████████████████████████▊                                                                                                                                                                            | 300/1357 [01:53<04:56,  3.56it/s]Step 300 | Avg Logits: -2.8390
Epoch 2 | Step 300 | TRAIN  Loss: 0.3094
 29%|█████████████████████████████████████████████████████████████████▏                                                                                                                                                           | 400/1357 [02:21<04:50,  3.29it/s]Step 400 | Avg Logits: -2.7806
 33%|█████████████████████████████████████████████████████████████████████████▎                                                                                                                                                   | 450/1357 [02:35<04:03,  3.73it/s]Epoch 2 | Step 450 | TRAIN  Loss: 0.2864
 37%|█████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 500/1357 [02:49<03:57,  3.61it/s]Step 500 | Avg Logits: -2.6895
 44%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                           | 600/1357 [03:18<03:37,  3.47it/s]Step 600 | Avg Logits: -3.0752
Epoch 2 | Step 600 | TRAIN  Loss: 0.2598
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                           | 700/1357 [03:46<02:56,  3.71it/s]Step 700 | Avg Logits: -2.9025
 55%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                  | 750/1357 [03:59<02:57,  3.42it/s]Epoch 2 | Step 750 | TRAIN  Loss: 0.2890
 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                          | 800/1357 [04:14<02:39,  3.49it/s]Step 800 | Avg Logits: -2.8531
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                          | 900/1357 [04:42<02:03,  3.70it/s]Step 900 | Avg Logits: -3.0243
Epoch 2 | Step 900 | TRAIN  Loss: 0.2894
 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                          | 1000/1357 [05:10<01:39,  3.57it/s]Step 1000 | Avg Logits: -3.0913
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                 | 1050/1357 [05:24<01:27,  3.50it/s]Epoch 2 | Step 1050 | TRAIN  Loss: 0.2833
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                         | 1100/1357 [05:37<01:08,  3.75it/s]Step 1100 | Avg Logits: -2.9679
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 1200/1357 [06:06<00:43,  3.62it/s]Step 1200 | Avg Logits: -2.9563
Epoch 2 | Step 1200 | TRAIN  Loss: 0.3194
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 1300/1357 [06:34<00:15,  3.67it/s]Step 1300 | Avg Logits: -2.9804
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1350/1357 [06:48<00:02,  3.42it/s]Epoch 2 | Step 1350 | TRAIN  Loss: 0.2762
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1357/1357 [06:51<00:00,  3.30it/s]
{'f1_macro': 0.30727143270954504, 'f1_micro': 0.49843014128728413, 'roc_auc': 0.8438549765819532}
FINISH EPOCH 2 | TRAIN Loss: 0.2725 | Eval Loss: 0.2693
  0%|                                                                                                                                                                                                                                       | 0/1357 [00:00<?, ?it/s]Step 0 | Avg Logits: -2.9850
Epoch 3 | Step 0 | TRAIN  Loss: 0.2424
  7%|████████████████▎                                                                                                                                                                                                            | 100/1357 [00:57<05:22,  3.90it/s]Step 100 | Avg Logits: -3.3645
 11%|████████████████████████▍                                                                                                                                                                                                    | 150/1357 [01:11<05:44,  3.50it/s]Epoch 3 | Step 150 | TRAIN  Loss: 0.2824
 15%|████████████████████████████████▌                                                                                                                                                                                            | 200/1357 [01:24<05:17,  3.65it/s]Step 200 | Avg Logits: -3.1856
 22%|████████████████████████████████████████████████▊                                                                                                                                                                            | 300/1357 [01:52<05:10,  3.41it/s]Step 300 | Avg Logits: -3.2891
Epoch 3 | Step 300 | TRAIN  Loss: 0.2637
 29%|█████████████████████████████████████████████████████████████████▏                                                                                                                                                           | 400/1357 [02:20<04:17,  3.72it/s]Step 400 | Avg Logits: -3.1778
 33%|█████████████████████████████████████████████████████████████████████████▎                                                                                                                                                   | 450/1357 [02:34<03:57,  3.83it/s]Epoch 3 | Step 450 | TRAIN  Loss: 0.2541
 37%|█████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 500/1357 [02:48<03:48,  3.75it/s]Step 500 | Avg Logits: -3.1877
 44%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                           | 600/1357 [03:16<03:39,  3.45it/s]Step 600 | Avg Logits: -3.2562
Epoch 3 | Step 600 | TRAIN  Loss: 0.2870
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                           | 700/1357 [03:44<03:03,  3.57it/s]Step 700 | Avg Logits: -3.1152
 55%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                  | 750/1357 [03:58<02:49,  3.58it/s]Epoch 3 | Step 750 | TRAIN  Loss: 0.1822
 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                          | 800/1357 [04:12<02:35,  3.59it/s]Step 800 | Avg Logits: -3.3294
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                          | 900/1357 [04:41<02:14,  3.40it/s]Step 900 | Avg Logits: -3.2281
Epoch 3 | Step 900 | TRAIN  Loss: 0.2687
 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                          | 1000/1357 [05:08<01:43,  3.45it/s]Step 1000 | Avg Logits: -3.2295
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                 | 1050/1357 [05:22<01:23,  3.66it/s]Epoch 3 | Step 1050 | TRAIN  Loss: 0.3021
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                         | 1100/1357 [05:36<01:15,  3.41it/s]Step 1100 | Avg Logits: -3.7448
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 1200/1357 [06:05<00:40,  3.84it/s]Step 1200 | Avg Logits: -3.4276
Epoch 3 | Step 1200 | TRAIN  Loss: 0.2297
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 1300/1357 [06:34<00:15,  3.64it/s]Step 1300 | Avg Logits: -3.3012
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1350/1357 [06:48<00:01,  3.79it/s]Epoch 3 | Step 1350 | TRAIN  Loss: 0.2483
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1357/1357 [06:51<00:00,  3.30it/s]
{'f1_macro': 0.3987757684006331, 'f1_micro': 0.522319753920024, 'roc_auc': 0.8676641214762102}
FINISH EPOCH 3 | TRAIN Loss: 0.2106 | Eval Loss: 0.2506
  0%|                                                                                                                                                                                                                                       | 0/1357 [00:00<?, ?it/s]Step 0 | Avg Logits: -3.3305
Epoch 4 | Step 0 | TRAIN  Loss: 0.2621
  7%|████████████████▎                                                                                                                                                                                                            | 100/1357 [00:57<05:29,  3.81it/s]Step 100 | Avg Logits: -3.4575
 11%|████████████████████████▍                                                                                                                                                                                                    | 150/1357 [01:11<05:36,  3.59it/s]Epoch 4 | Step 150 | TRAIN  Loss: 0.2858
 15%|████████████████████████████████▌                                                                                                                                                                                            | 200/1357 [01:24<05:00,  3.85it/s]Step 200 | Avg Logits: -3.3518
 22%|████████████████████████████████████████████████▊                                                                                                                                                                            | 300/1357 [01:52<05:08,  3.43it/s]Step 300 | Avg Logits: -3.5619
Epoch 4 | Step 300 | TRAIN  Loss: 0.1984
 29%|█████████████████████████████████████████████████████████████████▏                                                                                                                                                           | 400/1357 [02:20<04:51,  3.28it/s]Step 400 | Avg Logits: -3.5102
 33%|█████████████████████████████████████████████████████████████████████████▎                                                                                                                                                   | 450/1357 [02:35<04:14,  3.56it/s]Epoch 4 | Step 450 | TRAIN  Loss: 0.2666
 37%|█████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 500/1357 [02:49<04:21,  3.27it/s]Step 500 | Avg Logits: -3.4704
 44%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                           | 600/1357 [03:18<03:45,  3.36it/s]Step 600 | Avg Logits: -3.7739
Epoch 4 | Step 600 | TRAIN  Loss: 0.2261
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                           | 700/1357 [03:46<03:10,  3.44it/s]Step 700 | Avg Logits: -3.4403
 55%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                  | 750/1357 [04:00<02:55,  3.46it/s]Epoch 4 | Step 750 | TRAIN  Loss: 0.2508
 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                          | 800/1357 [04:14<02:36,  3.56it/s]Step 800 | Avg Logits: -3.4136
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                          | 900/1357 [04:42<02:03,  3.70it/s]Step 900 | Avg Logits: -3.6005
Epoch 4 | Step 900 | TRAIN  Loss: 0.2325
 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                          | 1000/1357 [05:10<01:40,  3.55it/s]Step 1000 | Avg Logits: -3.4127
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                 | 1050/1357 [05:24<01:21,  3.76it/s]Epoch 4 | Step 1050 | TRAIN  Loss: 0.2731
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                         | 1100/1357 [05:39<01:11,  3.58it/s]Step 1100 | Avg Logits: -3.6966
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 1200/1357 [06:06<00:41,  3.74it/s]Step 1200 | Avg Logits: -3.6075
Epoch 4 | Step 1200 | TRAIN  Loss: 0.1503
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 1300/1357 [06:34<00:15,  3.72it/s]Step 1300 | Avg Logits: -3.5931
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1350/1357 [06:47<00:01,  3.57it/s]Epoch 4 | Step 1350 | TRAIN  Loss: 0.2063
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1357/1357 [06:50<00:00,  3.30it/s]
{'f1_macro': 0.4351387040044417, 'f1_micro': 0.5433846602933664, 'roc_auc': 0.8813745583644838}
FINISH EPOCH 4 | TRAIN Loss: 0.2246 | Eval Loss: 0.2403
  0%|                                                                                                                                                                                                                                       | 0/1357 [00:00<?, ?it/s]Step 0 | Avg Logits: -3.5053
Epoch 5 | Step 0 | TRAIN  Loss: 0.2047
  7%|████████████████▎                                                                                                                                                                                                            | 100/1357 [00:57<05:36,  3.73it/s]Step 100 | Avg Logits: -3.5789
 11%|████████████████████████▍                                                                                                                                                                                                    | 150/1357 [01:10<05:29,  3.66it/s]Epoch 5 | Step 150 | TRAIN  Loss: 0.1837
 15%|████████████████████████████████▌                                                                                                                                                                                            | 200/1357 [01:25<05:50,  3.30it/s]Step 200 | Avg Logits: -3.4740
 22%|████████████████████████████████████████████████▊                                                                                                                                                                            | 300/1357 [01:53<04:41,  3.76it/s]Step 300 | Avg Logits: -3.8157
Epoch 5 | Step 300 | TRAIN  Loss: 0.2097
 29%|█████████████████████████████████████████████████████████████████▏                                                                                                                                                           | 400/1357 [02:21<04:40,  3.41it/s]Step 400 | Avg Logits: -3.6625
 33%|█████████████████████████████████████████████████████████████████████████▎                                                                                                                                                   | 450/1357 [02:35<04:03,  3.72it/s]Epoch 5 | Step 450 | TRAIN  Loss: 0.1967
 37%|█████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 500/1357 [02:49<03:43,  3.83it/s]Step 500 | Avg Logits: -3.7923
 44%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                           | 600/1357 [03:18<03:30,  3.59it/s]Step 600 | Avg Logits: -3.8777
Epoch 5 | Step 600 | TRAIN  Loss: 0.3050
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                           | 700/1357 [03:45<02:51,  3.83it/s]Step 700 | Avg Logits: -3.9116
 55%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                  | 750/1357 [03:59<02:58,  3.39it/s]Epoch 5 | Step 750 | TRAIN  Loss: 0.1915
 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                          | 800/1357 [04:13<02:30,  3.71it/s]Step 800 | Avg Logits: -3.5539
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                          | 900/1357 [04:41<02:01,  3.77it/s]Step 900 | Avg Logits: -3.8632
Epoch 5 | Step 900 | TRAIN  Loss: 0.2990
 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                          | 1000/1357 [05:10<01:38,  3.62it/s]Step 1000 | Avg Logits: -3.7023
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                 | 1050/1357 [05:24<01:28,  3.45it/s]Epoch 5 | Step 1050 | TRAIN  Loss: 0.2221
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                         | 1100/1357 [05:38<01:19,  3.25it/s]Step 1100 | Avg Logits: -3.5172
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 1200/1357 [06:06<00:44,  3.52it/s]Step 1200 | Avg Logits: -3.8750
Epoch 5 | Step 1200 | TRAIN  Loss: 0.1792
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 1300/1357 [06:34<00:17,  3.33it/s]Step 1300 | Avg Logits: -3.9860
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1350/1357 [06:48<00:02,  3.44it/s]Epoch 5 | Step 1350 | TRAIN  Loss: 0.2253
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1357/1357 [06:51<00:00,  3.30it/s]
{'f1_macro': 0.4463302209987123, 'f1_micro': 0.5379129675447533, 'roc_auc': 0.8885554942642017}
FINISH EPOCH 5 | TRAIN Loss: 0.2553 | Eval Loss: 0.2359
  0%|                                                                                                                                                                                                                                       | 0/1357 [00:00<?, ?it/s]Step 0 | Avg Logits: -3.7157
Epoch 6 | Step 0 | TRAIN  Loss: 0.1954
  7%|████████████████▎                                                                                                                                                                                                            | 100/1357 [00:59<06:10,  3.39it/s]Step 100 | Avg Logits: -3.9641
 11%|████████████████████████▍                                                                                                                                                                                                    | 150/1357 [01:13<05:52,  3.42it/s]Epoch 6 | Step 150 | TRAIN  Loss: 0.2457
 15%|████████████████████████████████▌                                                                                                                                                                                            | 200/1357 [01:26<05:52,  3.28it/s]Step 200 | Avg Logits: -3.7485
 22%|████████████████████████████████████████████████▊                                                                                                                                                                            | 300/1357 [01:54<05:03,  3.48it/s]Step 300 | Avg Logits: -3.8812
Epoch 6 | Step 300 | TRAIN  Loss: 0.1851
 29%|█████████████████████████████████████████████████████████████████▏                                                                                                                                                           | 400/1357 [02:23<04:34,  3.49it/s]Step 400 | Avg Logits: -3.8767
 33%|█████████████████████████████████████████████████████████████████████████▎                                                                                                                                                   | 450/1357 [02:37<04:17,  3.52it/s]Epoch 6 | Step 450 | TRAIN  Loss: 0.1949
 37%|█████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 500/1357 [02:51<04:06,  3.48it/s]Step 500 | Avg Logits: -3.4974
 44%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                           | 600/1357 [03:19<03:38,  3.47it/s]Step 600 | Avg Logits: -3.8743
Epoch 6 | Step 600 | TRAIN  Loss: 0.1989
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                           | 700/1357 [03:48<03:02,  3.61it/s]Step 700 | Avg Logits: -3.9158
 55%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                  | 750/1357 [04:02<03:19,  3.05it/s]Epoch 6 | Step 750 | TRAIN  Loss: 0.2461
 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                          | 800/1357 [04:16<02:29,  3.71it/s]Step 800 | Avg Logits: -3.5646
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                          | 900/1357 [04:44<01:57,  3.88it/s]Step 900 | Avg Logits: -4.0551
Epoch 6 | Step 900 | TRAIN  Loss: 0.1881
 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                          | 1000/1357 [05:11<01:39,  3.59it/s]Step 1000 | Avg Logits: -3.7210
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                 | 1050/1357 [05:25<01:25,  3.58it/s]Epoch 6 | Step 1050 | TRAIN  Loss: 0.1961
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                         | 1100/1357 [05:39<01:08,  3.74it/s]Step 1100 | Avg Logits: -3.6798
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 1200/1357 [06:07<00:42,  3.66it/s]Step 1200 | Avg Logits: -3.9214
Epoch 6 | Step 1200 | TRAIN  Loss: 0.2045
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 1300/1357 [06:36<00:15,  3.62it/s]Step 1300 | Avg Logits: -3.9823
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1350/1357 [06:50<00:02,  3.29it/s]Epoch 6 | Step 1350 | TRAIN  Loss: 0.2284
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1357/1357 [06:53<00:00,  3.28it/s]
{'f1_macro': 0.44818634380897154, 'f1_micro': 0.5434922450146523, 'roc_auc': 0.8913378206046765}
FINISH EPOCH 6 | TRAIN Loss: 0.2421 | Eval Loss: 0.2340
  0%|                                                                                                                                                                                                                                       | 0/1357 [00:00<?, ?it/s]Step 0 | Avg Logits: -3.7901
Epoch 7 | Step 0 | TRAIN  Loss: 0.2062
  7%|████████████████▎                                                                                                                                                                                                            | 100/1357 [00:57<05:29,  3.82it/s]Step 100 | Avg Logits: -3.7671
 11%|████████████████████████▍                                                                                                                                                                                                    | 150/1357 [01:10<05:17,  3.80it/s]Epoch 7 | Step 150 | TRAIN  Loss: 0.2499
 15%|████████████████████████████████▌                                                                                                                                                                                            | 200/1357 [01:24<05:31,  3.50it/s]Step 200 | Avg Logits: -4.0264
 22%|████████████████████████████████████████████████▊                                                                                                                                                                            | 300/1357 [01:53<05:33,  3.17it/s]Step 300 | Avg Logits: -3.9286
Epoch 7 | Step 300 | TRAIN  Loss: 0.2396
 29%|█████████████████████████████████████████████████████████████████▏                                                                                                                                                           | 400/1357 [02:22<04:52,  3.27it/s]Step 400 | Avg Logits: -4.1853
 33%|█████████████████████████████████████████████████████████████████████████▎                                                                                                                                                   | 450/1357 [02:36<03:57,  3.81it/s]Epoch 7 | Step 450 | TRAIN  Loss: 0.2265
 37%|█████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 500/1357 [02:50<03:46,  3.78it/s]Step 500 | Avg Logits: -3.7865
 44%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                           | 600/1357 [03:18<03:44,  3.37it/s]Step 600 | Avg Logits: -3.9777
Epoch 7 | Step 600 | TRAIN  Loss: 0.1751
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                           | 700/1357 [03:45<03:00,  3.64it/s]Step 700 | Avg Logits: -3.9516
 55%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                  | 750/1357 [03:59<02:48,  3.61it/s]Epoch 7 | Step 750 | TRAIN  Loss: 0.2137
 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                          | 800/1357 [04:13<02:51,  3.24it/s]Step 800 | Avg Logits: -3.9434
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                          | 900/1357 [04:41<02:04,  3.67it/s]Step 900 | Avg Logits: -3.6445
Epoch 7 | Step 900 | TRAIN  Loss: 0.2278
 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                          | 1000/1357 [05:10<01:44,  3.40it/s]Step 1000 | Avg Logits: -4.0391
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                 | 1050/1357 [05:24<01:55,  2.67it/s]Epoch 7 | Step 1050 | TRAIN  Loss: 0.2303
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                         | 1100/1357 [05:38<01:10,  3.62it/s]Step 1100 | Avg Logits: -3.7704
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 1200/1357 [06:06<00:42,  3.71it/s]Step 1200 | Avg Logits: -3.8086
Epoch 7 | Step 1200 | TRAIN  Loss: 0.2097
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 1300/1357 [06:35<00:15,  3.58it/s]Step 1300 | Avg Logits: -3.7597
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1350/1357 [06:48<00:01,  3.50it/s]Epoch 7 | Step 1350 | TRAIN  Loss: 0.1869
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1357/1357 [06:51<00:00,  3.30it/s]
{'f1_macro': 0.45653183330167774, 'f1_micro': 0.5422298505327898, 'roc_auc': 0.8944889360010523}
FINISH EPOCH 7 | TRAIN Loss: 0.1798 | Eval Loss: 0.2334
  0%|                                                                                                                                                                                                                                       | 0/1357 [00:00<?, ?it/s]Step 0 | Avg Logits: -4.0179
Epoch 8 | Step 0 | TRAIN  Loss: 0.1726
  7%|████████████████▎                                                                                                                                                                                                            | 100/1357 [00:57<05:20,  3.92it/s]Step 100 | Avg Logits: -3.8947
 11%|████████████████████████▍                                                                                                                                                                                                    | 150/1357 [01:11<05:28,  3.68it/s]Epoch 8 | Step 150 | TRAIN  Loss: 0.1801
 15%|████████████████████████████████▌                                                                                                                                                                                            | 200/1357 [01:25<04:58,  3.88it/s]Step 200 | Avg Logits: -3.8464
 22%|████████████████████████████████████████████████▊                                                                                                                                                                            | 300/1357 [01:53<05:14,  3.36it/s]Step 300 | Avg Logits: -3.9108
Epoch 8 | Step 300 | TRAIN  Loss: 0.2352
 29%|█████████████████████████████████████████████████████████████████▏                                                                                                                                                           | 400/1357 [02:22<04:23,  3.64it/s]Step 400 | Avg Logits: -3.9928
 33%|█████████████████████████████████████████████████████████████████████████▎                                                                                                                                                   | 450/1357 [02:36<04:21,  3.47it/s]Epoch 8 | Step 450 | TRAIN  Loss: 0.1891
 37%|█████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 500/1357 [02:51<04:16,  3.35it/s]Step 500 | Avg Logits: -3.8468
 44%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                           | 600/1357 [03:19<03:31,  3.58it/s]Step 600 | Avg Logits: -4.0569
Epoch 8 | Step 600 | TRAIN  Loss: 0.1344
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                           | 700/1357 [03:47<03:20,  3.27it/s]Step 700 | Avg Logits: -3.9366
 55%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                  | 750/1357 [04:01<02:49,  3.58it/s]Epoch 8 | Step 750 | TRAIN  Loss: 0.2033
 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                          | 800/1357 [04:15<02:30,  3.70it/s]Step 800 | Avg Logits: -4.0539
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                          | 900/1357 [04:43<02:04,  3.68it/s]Step 900 | Avg Logits: -4.0387
Epoch 8 | Step 900 | TRAIN  Loss: 0.1940
 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                          | 1000/1357 [05:10<01:46,  3.35it/s]Step 1000 | Avg Logits: -3.9586
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                 | 1050/1357 [05:24<01:23,  3.67it/s]Epoch 8 | Step 1050 | TRAIN  Loss: 0.1727
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                         | 1100/1357 [05:38<01:12,  3.54it/s]Step 1100 | Avg Logits: -3.8974
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 1200/1357 [06:05<00:42,  3.65it/s]Step 1200 | Avg Logits: -3.9851
Epoch 8 | Step 1200 | TRAIN  Loss: 0.2096
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 1300/1357 [06:33<00:16,  3.35it/s]Step 1300 | Avg Logits: -3.9795
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1350/1357 [06:47<00:01,  3.71it/s]Epoch 8 | Step 1350 | TRAIN  Loss: 0.1987
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1357/1357 [06:50<00:00,  3.31it/s]
{'f1_macro': 0.45811692218743333, 'f1_micro': 0.5451036454610436, 'roc_auc': 0.8946245547204089}
FINISH EPOCH 8 | TRAIN Loss: 0.2103 | Eval Loss: 0.2329
  0%|                                                                                                                                                                                                                                       | 0/1357 [00:00<?, ?it/s]Step 0 | Avg Logits: -4.1561
Epoch 9 | Step 0 | TRAIN  Loss: 0.1926
  7%|████████████████▎                                                                                                                                                                                                            | 100/1357 [00:58<05:37,  3.73it/s]Step 100 | Avg Logits: -4.0532
 11%|████████████████████████▍                                                                                                                                                                                                    | 150/1357 [01:12<05:19,  3.77it/s]Epoch 9 | Step 150 | TRAIN  Loss: 0.1643
 15%|████████████████████████████████▌                                                                                                                                                                                            | 200/1357 [01:25<05:10,  3.73it/s]Step 200 | Avg Logits: -4.1449
 22%|████████████████████████████████████████████████▊                                                                                                                                                                            | 300/1357 [01:53<04:50,  3.63it/s]Step 300 | Avg Logits: -4.1886
Epoch 9 | Step 300 | TRAIN  Loss: 0.1832
 29%|█████████████████████████████████████████████████████████████████▏                                                                                                                                                           | 400/1357 [02:21<04:31,  3.53it/s]Step 400 | Avg Logits: -4.2281
 33%|█████████████████████████████████████████████████████████████████████████▎                                                                                                                                                   | 450/1357 [02:35<04:20,  3.48it/s]Epoch 9 | Step 450 | TRAIN  Loss: 0.1708
 37%|█████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 500/1357 [02:50<04:07,  3.46it/s]Step 500 | Avg Logits: -4.1193
 44%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                           | 600/1357 [03:17<03:17,  3.84it/s]Step 600 | Avg Logits: -4.2024
Epoch 9 | Step 600 | TRAIN  Loss: 0.2451
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                           | 700/1357 [03:45<03:08,  3.49it/s]Step 700 | Avg Logits: -4.0087
 55%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                  | 750/1357 [03:59<02:49,  3.59it/s]Epoch 9 | Step 750 | TRAIN  Loss: 0.1817
 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                          | 800/1357 [04:13<02:31,  3.67it/s]Step 800 | Avg Logits: -3.8754
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                          | 900/1357 [04:41<02:05,  3.65it/s]Step 900 | Avg Logits: -3.8789
Epoch 9 | Step 900 | TRAIN  Loss: 0.1715
 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                          | 1000/1357 [05:09<01:37,  3.66it/s]Step 1000 | Avg Logits: -4.0404
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                 | 1050/1357 [05:23<01:29,  3.42it/s]Epoch 9 | Step 1050 | TRAIN  Loss: 0.2192
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                         | 1100/1357 [05:37<01:08,  3.74it/s]Step 1100 | Avg Logits: -4.0845
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 1200/1357 [06:05<00:43,  3.61it/s]Step 1200 | Avg Logits: -3.9371
Epoch 9 | Step 1200 | TRAIN  Loss: 0.1648
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 1300/1357 [06:33<00:15,  3.71it/s]Step 1300 | Avg Logits: -4.0470
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1350/1357 [06:46<00:01,  3.71it/s]Epoch 9 | Step 1350 | TRAIN  Loss: 0.2818
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1357/1357 [06:49<00:00,  3.31it/s]
{'f1_macro': 0.4575825134022605, 'f1_micro': 0.5438898450946644, 'roc_auc': 0.8950886433195483}
FINISH EPOCH 9 | TRAIN Loss: 0.2474 | Eval Loss: 0.2331
  0%|                                                                                                                                                                                                                                       | 0/1357 [00:00<?, ?it/s]Step 0 | Avg Logits: -4.0122
Epoch 10 | Step 0 | TRAIN  Loss: 0.2120
  7%|████████████████▎                                                                                                                                                                                                            | 100/1357 [01:07<05:53,  3.56it/s]Step 100 | Avg Logits: -3.8161
 11%|████████████████████████▍                                                                                                                                                                                                    | 150/1357 [01:20<05:27,  3.69it/s]Epoch 10 | Step 150 | TRAIN  Loss: 0.2220
 15%|████████████████████████████████▌                                                                                                                                                                                            | 200/1357 [01:34<05:29,  3.51it/s]Step 200 | Avg Logits: -3.8438
 22%|████████████████████████████████████████████████▊                                                                                                                                                                            | 300/1357 [02:01<04:46,  3.69it/s]Step 300 | Avg Logits: -4.0102
Epoch 10 | Step 300 | TRAIN  Loss: 0.2373
 29%|█████████████████████████████████████████████████████████████████▏                                                                                                                                                           | 400/1357 [02:29<04:38,  3.44it/s]Step 400 | Avg Logits: -4.2097
 33%|█████████████████████████████████████████████████████████████████████████▎                                                                                                                                                   | 450/1357 [02:43<04:02,  3.73it/s]Epoch 10 | Step 450 | TRAIN  Loss: 0.1720
 37%|█████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                           | 500/1357 [02:57<03:52,  3.69it/s]Step 500 | Avg Logits: -3.8728
 44%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                           | 600/1357 [03:26<03:30,  3.60it/s]Step 600 | Avg Logits: -4.0353
Epoch 10 | Step 600 | TRAIN  Loss: 0.1964
 52%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                           | 700/1357 [03:54<03:08,  3.48it/s]Step 700 | Avg Logits: -4.1814
 55%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                  | 750/1357 [04:08<03:07,  3.24it/s]Epoch 10 | Step 750 | TRAIN  Loss: 0.1735
 59%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                          | 800/1357 [04:21<02:34,  3.61it/s]Step 800 | Avg Logits: -4.0053
 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                          | 900/1357 [04:51<02:09,  3.53it/s]Step 900 | Avg Logits: -4.1065
Epoch 10 | Step 900 | TRAIN  Loss: 0.2288
 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                          | 1000/1357 [05:19<01:38,  3.64it/s]Step 1000 | Avg Logits: -4.0978
 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                 | 1050/1357 [05:33<01:24,  3.65it/s]Epoch 10 | Step 1050 | TRAIN  Loss: 0.2428
 81%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                         | 1100/1357 [05:47<01:11,  3.59it/s]Step 1100 | Avg Logits: -3.9982
 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 1200/1357 [06:15<00:43,  3.63it/s]Step 1200 | Avg Logits: -3.9924
Epoch 10 | Step 1200 | TRAIN  Loss: 0.2106
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 1300/1357 [06:44<00:15,  3.72it/s]Step 1300 | Avg Logits: -4.0067
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1350/1357 [06:57<00:01,  3.64it/s]Epoch 10 | Step 1350 | TRAIN  Loss: 0.2204
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1357/1357 [07:00<00:00,  3.23it/s]
{'f1_macro': 0.4595713505282336, 'f1_micro': 0.5463540546354054, 'roc_auc': 0.895136100364802}
FINISH EPOCH 10 | TRAIN Loss: 0.2642 | Eval Loss: 0.2328