| ======================================================================== |
| Post-Training Evaluation — Turkic LoRA |
| ======================================================================== |
| [INFO] Loading base model: google/gemma-2-9b |
| [INFO] Loading adapter from: ./output_ky_bf16_r16_lr2e4_3ep/final_adapter |
| [transformers] `torch_dtype` is deprecated! Use `dtype` instead! |
|
Loading weights: 0%| | 0/464 [00:00<?, ?it/s]
Loading weights: 0%|▏ | 1/464 [00:00<03:52, 1.99it/s]/venv/main/lib/python3.12/site-packages/bitsandbytes/backends/cuda/ops.py:213: FutureWarning: _check_is_size will be removed in a future PyTorch release along with guard_size_oblivious. Use _check(i >= 0) instead. |
| torch._check_is_size(blocksize) |
|
Loading weights: 1%|▊ | 4/464 [00:00<00:58, 7.91it/s]
Loading weights: 3%|██▉ | 14/464 [00:00<00:15, 28.40it/s]
Loading weights: 5%|████▋ | 22/464 [00:00<00:10, 40.56it/s]
Loading weights: 6%|█████▉ | 28/464 [00:00<00:10, 41.99it/s]
Loading weights: 8%|████████ | 38/464 [00:01<00:08, 50.22it/s]
Loading weights: 10%|██████████▏ | 48/464 [00:01<00:06, 60.63it/s]
Loading weights: 13%|████████████▌ | 59/464 [00:01<00:05, 68.55it/s]
Loading weights: 15%|██████████████▉ | 70/464 [00:01<00:05, 74.20it/s]
Loading weights: 17%|█████████████████ | 80/464 [00:01<00:05, 72.65it/s]
Loading weights: 20%|███████████████████▍ | 91/464 [00:01<00:04, 77.35it/s]
Loading weights: 21%|█████████████████████ | 99/464 [00:01<00:04, 75.34it/s]
Loading weights: 23%|██████████████████████▌ | 107/464 [00:01<00:04, 72.84it/s]
Loading weights: 25%|████████████████████████▎ | 115/464 [00:02<00:05, 67.17it/s]
Loading weights: 27%|██████████████████████████▍ | 125/464 [00:02<00:04, 72.08it/s]
Loading weights: 29%|████████████████████████████▋ | 136/464 [00:02<00:04, 76.84it/s]
Loading weights: 31%|██████████████████████████████▊ | 146/464 [00:02<00:04, 73.17it/s]
Loading weights: 34%|█████████████████████████████████▏ | 157/464 [00:02<00:03, 77.61it/s]
Loading weights: 36%|██████████████████████████████████▊ | 165/464 [00:02<00:03, 78.05it/s]
Loading weights: 37%|████████████████████████████████████▌ | 173/464 [00:02<00:03, 73.29it/s]
Loading weights: 39%|██████████████████████████████████████▏ | 181/464 [00:03<00:04, 65.58it/s]
Loading weights: 41%|████████████████████████████████████████▎ | 191/464 [00:03<00:03, 71.97it/s]
Loading weights: 43%|██████████████████████████████████████████▍ | 201/464 [00:03<00:03, 78.37it/s]
Loading weights: 45%|████████████████████████████████████████████▎ | 210/464 [00:03<00:03, 79.61it/s]
Loading weights: 47%|██████████████████████████████████████████████▎ | 219/464 [00:03<00:03, 73.91it/s]
Loading weights: 49%|███████████████████████████████████████████████▉ | 227/464 [00:03<00:03, 66.76it/s]
Loading weights: 51%|█████████████████████████████████████████████████▊ | 236/464 [00:03<00:03, 70.23it/s]
Loading weights: 53%|███████████████████████████████████████████████████▉ | 246/464 [00:03<00:02, 76.71it/s]
Loading weights: 55%|██████████████████████████████████████████████████████▎ | 257/464 [00:04<00:02, 74.72it/s]
Loading weights: 58%|████████████████████████████████████████████████████████▌ | 268/464 [00:04<00:02, 80.12it/s]
Loading weights: 60%|██████████████████████████████████████████████████████████▉ | 279/464 [00:04<00:02, 82.81it/s]
Loading weights: 62%|█████████████████████████████████████████████████████████████▎ | 290/464 [00:04<00:01, 87.59it/s]
Loading weights: 65%|███████████████████████████████████████████████████████████████▎ | 300/464 [00:04<00:02, 79.91it/s]
Loading weights: 67%|█████████████████████████████████████████████████████████████████▋ | 311/464 [00:04<00:01, 82.72it/s]
Loading weights: 69%|███████████████████████████████████████████████████████████████████▌ | 320/464 [00:04<00:01, 82.70it/s]
Loading weights: 71%|█████████████████████████████████████████████████████████████████████▍ | 329/464 [00:04<00:01, 77.08it/s]
Loading weights: 73%|███████████████████████████████████████████████████████████████████████▏ | 337/464 [00:05<00:01, 67.87it/s]
Loading weights: 75%|█████████████████████████████████████████████████████████████████████████ | 346/464 [00:05<00:01, 71.66it/s]
Loading weights: 77%|███████████████████████████████████████████████████████████████████████████▍ | 357/464 [00:05<00:01, 75.78it/s]
Loading weights: 79%|█████████████████████████████████████████████████████████████████████████████▌ | 367/464 [00:05<00:01, 73.92it/s]
Loading weights: 81%|███████████████████████████████████████████████████████████████████████████████▋ | 377/464 [00:05<00:01, 79.92it/s]
Loading weights: 83%|█████████████████████████████████████████████████████████████████████████████████▌ | 386/464 [00:05<00:00, 80.21it/s]
Loading weights: 85%|███████████████████████████████████████████████████████████████████████████████████▍ | 395/464 [00:05<00:00, 78.71it/s]
Loading weights: 87%|█████████████████████████████████████████████████████████████████████████████████████ | 403/464 [00:05<00:00, 74.65it/s]
Loading weights: 89%|███████████████████████████████████████████████████████████████████████████████████████ | 412/464 [00:06<00:00, 70.21it/s]
Loading weights: 91%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 422/464 [00:06<00:00, 77.12it/s]
Loading weights: 93%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 432/464 [00:06<00:00, 82.76it/s]
Loading weights: 95%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 441/464 [00:06<00:00, 83.47it/s]
Loading weights: 97%|███████████████████████████████████████████████████████████████████████████████████████████████ | 450/464 [00:06<00:00, 76.74it/s]
Loading weights: 99%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 458/464 [00:06<00:00, 64.60it/s]
Loading weights: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 464/464 [00:06<00:00, 69.47it/s] |
| [INFO] Parameters: 5,133,925,888 total, 0 trainable (0.00%) |
|
|
| ──────────────────────────────────────────────────────────── |
| PERPLEXITY EVALUATION |
| ──────────────────────────────────────────────────────────── |
|
Generating train split: 0 examples [00:00, ? examples/s]
Generating train split: 1626 examples [00:00, 12650.22 examples/s]
Generating train split: 3837 examples [00:00, 17454.85 examples/s]
Generating train split: 6513 examples [00:00, 19332.65 examples/s]
Generating train split: 9104 examples [00:00, 19837.70 examples/s]
Generating train split: 12367 examples [00:00, 23008.83 examples/s]
Generating train split: 20270 examples [00:00, 32282.48 examples/s]
Generating train split: 28798 examples [00:00, 37387.21 examples/s]
Generating train split: 33588 examples [00:01, 39010.99 examples/s]
Generating train split: 44566 examples [00:01, 47870.34 examples/s]
Generating train split: 57845 examples [00:01, 57449.85 examples/s]
Generating train split: 61879 examples [00:01, 40853.87 examples/s] |
|
Generating train split: 0 examples [00:00, ? examples/s]
Generating train split: 1150 examples [00:00, 9981.38 examples/s]
Generating train split: 2295 examples [00:00, 9220.59 examples/s]
Generating train split: 4576 examples [00:00, 11206.99 examples/s]
Generating train split: 5707 examples [00:00, 11070.60 examples/s]
Generating train split: 6848 examples [00:00, 10666.74 examples/s]
Generating train split: 7985 examples [00:00, 10127.30 examples/s]
Generating train split: 10269 examples [00:00, 10519.59 examples/s]
Generating train split: 11415 examples [00:01, 10046.33 examples/s]
Generating train split: 13709 examples [00:01, 10471.00 examples/s]
Generating train split: 15803 examples [00:01, 12140.60 examples/s]
Generating train split: 18451 examples [00:01, 14576.53 examples/s]
Generating train split: 21242 examples [00:01, 16573.13 examples/s]
Generating train split: 21242 examples [00:01, 12582.24 examples/s] |
|
Tokenizing (num_proc=30): 0%| | 0/100481 [00:00<?, ? examples/s]
Tokenizing (num_proc=30): 1%|▊ | 1000/100481 [00:08<14:14, 116.48 examples/s]
Tokenizing (num_proc=30): 2%|█▌ | 2000/100481 [00:09<07:06, 230.65 examples/s]
Tokenizing (num_proc=30): 3%|██▎ | 3000/100481 [00:11<04:50, 335.84 examples/s]
Tokenizing (num_proc=30): 3%|██▌ | 3350/100481 [00:11<04:26, 364.98 examples/s]
Tokenizing (num_proc=30): 4%|███▎ | 4350/100481 [00:14<04:09, 385.85 examples/s]
Tokenizing (num_proc=30): 5%|████ | 5350/100481 [00:15<03:26, 459.91 examples/s]
Tokenizing (num_proc=30): 6%|████▊ | 6350/100481 [00:17<03:00, 521.49 examples/s]
Tokenizing (num_proc=30): 7%|█████▏ | 6700/100481 [00:17<02:55, 534.18 examples/s]
Tokenizing (num_proc=30): 8%|█████▉ | 7700/100481 [00:19<03:02, 509.40 examples/s]
Tokenizing (num_proc=30): 9%|██████▋ | 8700/100481 [00:21<02:42, 563.23 examples/s]
Tokenizing (num_proc=30): 10%|███████▍ | 9700/100481 [00:22<02:32, 593.74 examples/s]
Tokenizing (num_proc=30): 10%|███████▌ | 10050/100481 [00:23<02:30, 600.86 examples/s]
Tokenizing (num_proc=30): 11%|████████▎ | 11050/100481 [00:25<02:43, 546.76 examples/s]
Tokenizing (num_proc=30): 12%|█████████ | 12050/100481 [00:26<02:31, 583.37 examples/s]
Tokenizing (num_proc=30): 13%|█████████▊ | 13050/100481 [00:28<02:37, 554.74 examples/s]
Tokenizing (num_proc=30): 13%|██████████▏ | 13400/100481 [00:29<02:36, 555.64 examples/s]
Tokenizing (num_proc=30): 14%|██████████▉ | 14400/100481 [00:30<02:12, 652.07 examples/s]
Tokenizing (num_proc=30): 15%|███████████▋ | 15400/100481 [00:32<02:05, 676.18 examples/s]
Tokenizing (num_proc=30): 16%|████████████▍ | 16400/100481 [00:33<02:04, 677.25 examples/s]
Tokenizing (num_proc=30): 17%|████████████▋ | 16750/100481 [00:33<02:01, 689.11 examples/s]
Tokenizing (num_proc=30): 18%|█████████████▍ | 17750/100481 [00:36<02:37, 525.11 examples/s]
Tokenizing (num_proc=30): 19%|██████████████▏ | 18750/100481 [00:38<02:24, 567.00 examples/s]
Tokenizing (num_proc=30): 20%|██████████████▉ | 19750/100481 [00:39<02:15, 595.05 examples/s]
Tokenizing (num_proc=30): 20%|███████████████▏ | 20100/100481 [00:40<02:13, 600.79 examples/s]
Tokenizing (num_proc=30): 21%|███████████████▉ | 21100/100481 [00:41<02:12, 600.73 examples/s]
Tokenizing (num_proc=30): 22%|████████████████▋ | 22100/100481 [00:43<02:02, 641.71 examples/s]
Tokenizing (num_proc=30): 23%|█████████████████▍ | 23100/100481 [00:44<01:55, 671.69 examples/s]
Tokenizing (num_proc=30): 23%|█████████████████▋ | 23450/100481 [00:45<01:55, 667.12 examples/s]
Tokenizing (num_proc=30): 24%|██████████████████▍ | 24450/100481 [00:47<02:21, 539.00 examples/s]
Tokenizing (num_proc=30): 25%|███████████████████▏ | 25450/100481 [00:49<02:08, 582.32 examples/s]
Tokenizing (num_proc=30): 26%|████████████████████ | 26450/100481 [00:50<02:00, 614.55 examples/s]
Tokenizing (num_proc=30): 27%|████████████████████▎ | 26800/100481 [00:51<01:58, 619.45 examples/s]
Tokenizing (num_proc=30): 28%|█████████████████████ | 27800/100481 [00:52<02:03, 587.41 examples/s]
Tokenizing (num_proc=30): 29%|█████████████████████▊ | 28800/100481 [00:54<01:57, 608.63 examples/s]
Tokenizing (num_proc=30): 30%|██████████████████████▌ | 29800/100481 [00:55<01:51, 636.37 examples/s]
Tokenizing (num_proc=30): 30%|██████████████████████▊ | 30150/100481 [00:56<01:50, 634.21 examples/s]
Tokenizing (num_proc=30): 31%|███████████████████████▌ | 31150/100481 [00:58<01:55, 601.15 examples/s]
Tokenizing (num_proc=30): 32%|████████████████████████▎ | 32150/100481 [00:59<01:50, 618.03 examples/s]
Tokenizing (num_proc=30): 33%|█████████████████████████ | 33150/100481 [01:01<01:45, 640.17 examples/s]
Tokenizing (num_proc=30): 33%|█████████████████████████▎ | 33500/100481 [01:01<01:45, 636.51 examples/s]
Tokenizing (num_proc=30): 34%|██████████████████████████ | 34500/100481 [01:03<01:55, 572.34 examples/s]
Tokenizing (num_proc=30): 35%|██████████████████████████▊ | 35500/100481 [01:05<01:48, 599.52 examples/s]
Tokenizing (num_proc=30): 36%|███████████████████████████▌ | 36500/100481 [01:06<01:41, 628.96 examples/s]
Tokenizing (num_proc=30): 37%|███████████████████████████▊ | 36850/100481 [01:07<01:41, 629.46 examples/s]
Tokenizing (num_proc=30): 38%|████████████████████████████▋ | 37850/100481 [01:09<01:42, 608.71 examples/s]
Tokenizing (num_proc=30): 39%|█████████████████████████████▍ | 38850/100481 [01:10<01:37, 630.41 examples/s]
Tokenizing (num_proc=30): 40%|██████████████████████████████▏ | 39850/100481 [01:11<01:33, 649.93 examples/s]
Tokenizing (num_proc=30): 40%|██████████████████████████████▍ | 40199/100481 [01:12<01:34, 635.41 examples/s]
Tokenizing (num_proc=30): 41%|███████████████████████████████▏ | 41199/100481 [01:14<01:31, 650.62 examples/s]
Tokenizing (num_proc=30): 42%|███████████████████████████████▉ | 42199/100481 [01:15<01:26, 672.92 examples/s]
Tokenizing (num_proc=30): 43%|████████████████████████████████▋ | 43199/100481 [01:16<01:23, 686.47 examples/s]
Tokenizing (num_proc=30): 43%|████████████████████████████████▉ | 43548/100481 [01:17<01:24, 676.44 examples/s]
Tokenizing (num_proc=30): 44%|█████████████████████████████████▋ | 44548/100481 [01:20<01:46, 526.19 examples/s]
Tokenizing (num_proc=30): 45%|██████████████████████████████████▍ | 45548/100481 [01:21<01:34, 578.26 examples/s]
Tokenizing (num_proc=30): 46%|███████████████████████████████████▏ | 46548/100481 [01:22<01:28, 607.46 examples/s]
Tokenizing (num_proc=30): 47%|███████████████████████████████████▍ | 46897/100481 [01:23<01:27, 611.31 examples/s]
Tokenizing (num_proc=30): 48%|████████████████████████████████████▏ | 47897/100481 [01:25<01:33, 559.64 examples/s]
Tokenizing (num_proc=30): 49%|████████████████████████████████████▉ | 48897/100481 [01:27<01:26, 596.87 examples/s]
Tokenizing (num_proc=30): 50%|█████████████████████████████████████▋ | 49897/100481 [01:28<01:21, 620.47 examples/s]
Tokenizing (num_proc=30): 50%|██████████████████████████████████████ | 50246/100481 [01:29<01:22, 610.15 examples/s]
Tokenizing (num_proc=30): 51%|██████████████████████████████████████▊ | 51246/100481 [01:31<01:27, 560.92 examples/s]
Tokenizing (num_proc=30): 52%|███████████████████████████████████████▌ | 52246/100481 [01:32<01:21, 593.40 examples/s]
Tokenizing (num_proc=30): 53%|████████████████████████████████████████▎ | 53246/100481 [01:34<01:15, 628.86 examples/s]
Tokenizing (num_proc=30): 53%|████████████████████████████████████████▌ | 53595/100481 [01:34<01:15, 617.70 examples/s]
Tokenizing (num_proc=30): 54%|█████████████████████████████████████████▎ | 54595/100481 [01:36<01:19, 574.15 examples/s]
Tokenizing (num_proc=30): 55%|██████████████████████████████████████████ | 55595/100481 [01:38<01:14, 601.26 examples/s]
Tokenizing (num_proc=30): 56%|██████████████████████████████████████████▊ | 56595/100481 [01:39<01:10, 626.25 examples/s]
Tokenizing (num_proc=30): 57%|███████████████████████████████████████████ | 56944/100481 [01:40<01:09, 628.50 examples/s]
Tokenizing (num_proc=30): 58%|███████████████████████████████████████████▊ | 57944/100481 [01:42<01:17, 545.54 examples/s]
Tokenizing (num_proc=30): 59%|████████████████████████████████████████████▌ | 58944/100481 [01:43<01:11, 580.83 examples/s]
Tokenizing (num_proc=30): 60%|█████████████████████████████████████████████▎ | 59944/100481 [01:45<01:06, 611.76 examples/s]
Tokenizing (num_proc=30): 60%|█████████████████████████████████████████████▌ | 60293/100481 [01:45<01:06, 607.46 examples/s]
Tokenizing (num_proc=30): 61%|██████████████████████████████████████████████▎ | 61293/100481 [01:48<01:12, 537.71 examples/s]
Tokenizing (num_proc=30): 62%|███████████████████████████████████████████████ | 62293/100481 [01:49<01:05, 581.09 examples/s]
Tokenizing (num_proc=30): 63%|███████████████████████████████████████████████▊ | 63293/100481 [01:51<01:00, 617.45 examples/s]
Tokenizing (num_proc=30): 63%|████████████████████████████████████████████████▏ | 63642/100481 [01:51<00:59, 619.16 examples/s]
Tokenizing (num_proc=30): 64%|████████████████████████████████████████████████▉ | 64642/100481 [01:53<01:05, 546.46 examples/s]
Tokenizing (num_proc=30): 65%|█████████████████████████████████████████████████▋ | 65642/100481 [01:55<00:59, 584.87 examples/s]
Tokenizing (num_proc=30): 66%|██████████████████████████████████████████████████▍ | 66642/100481 [01:56<00:55, 615.10 examples/s]
Tokenizing (num_proc=30): 67%|██████████████████████████████████████████████████▋ | 66991/100481 [01:57<00:54, 618.50 examples/s]
Tokenizing (num_proc=30): 68%|███████████████████████████████████████████████████▍ | 67991/100481 [01:59<00:56, 571.14 examples/s]
Tokenizing (num_proc=30): 69%|████████████████████████████████████████████████████▏ | 68991/100481 [02:00<00:52, 600.98 examples/s]
Tokenizing (num_proc=30): 70%|████████████████████████████████████████████████████▉ | 69991/100481 [02:02<00:48, 624.76 examples/s]
Tokenizing (num_proc=30): 70%|█████████████████████████████████████████████████████▏ | 70340/100481 [02:02<00:48, 623.43 examples/s]
Tokenizing (num_proc=30): 71%|█████████████████████████████████████████████████████▉ | 71340/100481 [02:04<00:48, 594.87 examples/s]
Tokenizing (num_proc=30): 72%|██████████████████████████████████████████████████████▋ | 72340/100481 [02:06<00:44, 626.13 examples/s]
Tokenizing (num_proc=30): 73%|███████████████████████████████████████████████████████▍ | 73340/100481 [02:07<00:42, 637.74 examples/s]
Tokenizing (num_proc=30): 73%|███████████████████████████████████████████████████████▋ | 73689/100481 [02:08<00:41, 641.67 examples/s]
Tokenizing (num_proc=30): 74%|████████████████████████████████████████████████████████▍ | 74689/100481 [02:10<00:44, 584.33 examples/s]
Tokenizing (num_proc=30): 75%|█████████████████████████████████████████████████████████▏ | 75689/100481 [02:11<00:40, 619.31 examples/s]
Tokenizing (num_proc=30): 76%|██████████████████████████████████████████████████████████ | 76689/100481 [02:12<00:36, 647.50 examples/s]
Tokenizing (num_proc=30): 77%|██████████████████████████████████████████████████████████▎ | 77038/100481 [02:13<00:35, 655.76 examples/s]
Tokenizing (num_proc=30): 78%|███████████████████████████████████████████████████████████ | 78038/100481 [02:15<00:39, 574.99 examples/s]
Tokenizing (num_proc=30): 79%|███████████████████████████████████████████████████████████▊ | 79038/100481 [02:16<00:35, 610.17 examples/s]
Tokenizing (num_proc=30): 80%|████████████████████████████████████████████████████████████▌ | 80038/100481 [02:18<00:32, 634.16 examples/s]
Tokenizing (num_proc=30): 80%|████████████████████████████████████████████████████████████▊ | 80387/100481 [02:18<00:32, 627.17 examples/s]
Tokenizing (num_proc=30): 81%|█████████████████████████████████████████████████████████████▌ | 81387/100481 [02:20<00:32, 585.98 examples/s]
Tokenizing (num_proc=30): 82%|██████████████████████████████████████████████████████████████▎ | 82387/100481 [02:22<00:29, 615.09 examples/s]
Tokenizing (num_proc=30): 83%|███████████████████████████████████████████████████████████████ | 83387/100481 [02:23<00:26, 642.68 examples/s]
Tokenizing (num_proc=30): 83%|███████████████████████████████████████████████████████████████▎ | 83736/100481 [02:24<00:26, 641.17 examples/s]
Tokenizing (num_proc=30): 84%|████████████████████████████████████████████████████████████████ | 84736/100481 [02:26<00:26, 590.63 examples/s]
Tokenizing (num_proc=30): 85%|████████████████████████████████████████████████████████████████▊ | 85736/100481 [02:27<00:23, 618.23 examples/s]
Tokenizing (num_proc=30): 86%|█████████████████████████████████████████████████████████████████▌ | 86736/100481 [02:29<00:21, 636.20 examples/s]
Tokenizing (num_proc=30): 87%|█████████████████████████████████████████████████████████████████▊ | 87085/100481 [02:29<00:20, 638.34 examples/s]
Tokenizing (num_proc=30): 88%|██████████████████████████████████████████████████████████████████▌ | 88085/100481 [02:31<00:20, 593.25 examples/s]
Tokenizing (num_proc=30): 89%|███████████████████████████████████████████████████████████████████▍ | 89085/100481 [02:33<00:18, 617.03 examples/s]
Tokenizing (num_proc=30): 90%|████████████████████████████████████████████████████████████████████▏ | 90085/100481 [02:34<00:16, 640.25 examples/s]
Tokenizing (num_proc=30): 90%|████████████████████████████████████████████████████████████████████▍ | 90434/100481 [02:35<00:15, 633.80 examples/s]
Tokenizing (num_proc=30): 91%|█████████████████████████████████████████████████████████████████████▏ | 91434/100481 [02:36<00:14, 637.55 examples/s]
Tokenizing (num_proc=30): 92%|█████████████████████████████████████████████████████████████████████▉ | 92434/100481 [02:38<00:11, 673.26 examples/s]
Tokenizing (num_proc=30): 93%|██████████████████████████████████████████████████████████████████████▋ | 93434/100481 [02:39<00:10, 693.92 examples/s]
Tokenizing (num_proc=30): 93%|██████████████████████████████████████████████████████████████████████▉ | 93783/100481 [02:39<00:09, 692.18 examples/s]
Tokenizing (num_proc=30): 94%|███████████████████████████████████████████████████████████████████████▋ | 94783/100481 [02:42<00:10, 527.05 examples/s]
Tokenizing (num_proc=30): 95%|████████████████████████████████████████████████████████████████████████▍ | 95783/100481 [02:44<00:08, 568.73 examples/s]
Tokenizing (num_proc=30): 96%|█████████████████████████████████████████████████████████████████████████▏ | 96783/100481 [02:45<00:06, 603.90 examples/s]
Tokenizing (num_proc=30): 97%|█████████████████████████████████████████████████████████████████████████▍ | 97132/100481 [02:46<00:05, 608.98 examples/s]
Tokenizing (num_proc=30): 98%|██████████████████████████████████████████████████████████████████████████▏ | 98132/100481 [02:47<00:03, 595.22 examples/s]
Tokenizing (num_proc=30): 99%|██████████████████████████████████████████████████████████████████████████▉ | 99132/100481 [02:49<00:02, 622.76 examples/s]
Tokenizing (num_proc=30): 100%|██████████████████████████████████████████████████████████████████████████▋| 100132/100481 [02:50<00:00, 636.52 examples/s]
Tokenizing (num_proc=30): 100%|███████████████████████████████████████████████████████████████████████████| 100481/100481 [02:51<00:00, 638.03 examples/s]
Tokenizing (num_proc=30): 100%|███████████████████████████████████████████████████████████████████████████| 100481/100481 [02:52<00:00, 582.35 examples/s] |
| Val set size: 10,049 |
|
Filter: 0%| | 0/10049 [00:00<?, ? examples/s]
Filter: 10%|█████████▍ | 1000/10049 [00:00<00:02, 3733.69 examples/s]
Filter: 20%|██████████████████▉ | 2000/10049 [00:00<00:02, 3973.66 examples/s]
Filter: 30%|████████████████████████████▎ | 3000/10049 [00:00<00:01, 4100.03 examples/s]
Filter: 40%|█████████████████████████████████████▊ | 4000/10049 [00:00<00:01, 4157.50 examples/s]
Filter: 50%|███████████████████████████████████████████████▎ | 5000/10049 [00:01<00:01, 4194.84 examples/s]
Filter: 60%|████████████████████████████████████████████████████████▋ | 6000/10049 [00:01<00:00, 4175.02 examples/s]
Filter: 70%|██████████████████████████████████████████████████████████████████▏ | 7000/10049 [00:01<00:00, 4203.24 examples/s]
Filter: 80%|███████████████████████████████████████████████████████████████████████████▋ | 8000/10049 [00:01<00:00, 4235.79 examples/s]
Filter: 90%|█████████████████████████████████████████████████████████████████████████████████████ | 9000/10049 [00:02<00:00, 4243.84 examples/s]
Filter: 100%|█████████████████████████████████████████████████████████████████████████████████████████████▌| 10000/10049 [00:02<00:00, 4261.66 examples/s]
Filter: 100%|██████████████████████████████████████████████████████████████████████████████████████████████| 10049/10049 [00:02<00:00, 4182.27 examples/s] |
| [ky] loss=1.6071 ppl=4.99 (500 samples, 128,000 tokens) |
|
Filter: 0%| | 0/10049 [00:00<?, ? examples/s]
Filter: 10%|█████████▍ | 1000/10049 [00:00<00:02, 4025.80 examples/s]
Filter: 20%|██████████████████▉ | 2000/10049 [00:00<00:01, 4145.04 examples/s]
Filter: 30%|████████████████████████████▎ | 3000/10049 [00:00<00:01, 4203.59 examples/s]
Filter: 40%|█████████████████████████████████████▊ | 4000/10049 [00:00<00:01, 4221.11 examples/s]
Filter: 50%|███████████████████████████████████████████████▎ | 5000/10049 [00:01<00:01, 4236.54 examples/s]
Filter: 60%|████████████████████████████████████████████████████████▋ | 6000/10049 [00:01<00:00, 4175.64 examples/s]
Filter: 70%|██████████████████████████████████████████████████████████████████▏ | 7000/10049 [00:01<00:00, 4195.01 examples/s]
Filter: 80%|███████████████████████████████████████████████████████████████████████████▋ | 8000/10049 [00:01<00:00, 4202.56 examples/s]
Filter: 90%|█████████████████████████████████████████████████████████████████████████████████████ | 9000/10049 [00:02<00:00, 4228.32 examples/s]
Filter: 100%|█████████████████████████████████████████████████████████████████████████████████████████████▌| 10000/10049 [00:02<00:00, 4235.06 examples/s]
Filter: 100%|██████████████████████████████████████████████████████████████████████████████████████████████| 10049/10049 [00:02<00:00, 4202.59 examples/s] |
| [kz] loss=3.7835 ppl=43.97 (500 samples, 113,336 tokens) |
|
Filter: 0%| | 0/10049 [00:00<?, ? examples/s]
Filter: 10%|█████████▍ | 1000/10049 [00:00<00:02, 3937.82 examples/s]
Filter: 20%|██████████████████▉ | 2000/10049 [00:00<00:01, 4119.20 examples/s]
Filter: 30%|████████████████████████████▎ | 3000/10049 [00:00<00:01, 4182.84 examples/s]
Filter: 40%|█████████████████████████████████████▊ | 4000/10049 [00:00<00:01, 4202.84 examples/s]
Filter: 50%|███████████████████████████████████████████████▎ | 5000/10049 [00:01<00:01, 4222.60 examples/s]
Filter: 60%|████████████████████████████████████████████████████████▋ | 6000/10049 [00:01<00:00, 4210.93 examples/s]
Filter: 70%|██████████████████████████████████████████████████████████████████▏ | 7000/10049 [00:01<00:00, 4223.28 examples/s]
Filter: 80%|███████████████████████████████████████████████████████████████████████████▋ | 8000/10049 [00:01<00:00, 4234.02 examples/s]
Filter: 90%|█████████████████████████████████████████████████████████████████████████████████████ | 9000/10049 [00:02<00:00, 4235.90 examples/s]
Filter: 100%|█████████████████████████████████████████████████████████████████████████████████████████████▌| 10000/10049 [00:02<00:00, 4242.52 examples/s]
Filter: 100%|██████████████████████████████████████████████████████████████████████████████████████████████| 10049/10049 [00:02<00:00, 4206.19 examples/s] |
| [uz] loss=4.0779 ppl=59.02 (500 samples, 127,308 tokens) |
|
|
| ──────────────────────────────────────────────────────────── |
| NER EVALUATION (WikiANN, few-shot prompting) |
| ──────────────────────────────────────────────────────────── |
|
|
| [ky] Loading WikiANN (ky)... |
|
Generating validation split: 0%| | 0/100 [00:00<?, ? examples/s]
Generating validation split: 100%|█████████████████████████████████████████████████████████████████████████████| 100/100 [00:00<00:00, 5555.00 examples/s] |
|
Generating test split: 0%| | 0/100 [00:00<?, ? examples/s]
Generating test split: 100%|██████████████████████████████████████████████████████████████████████████████████| 100/100 [00:00<00:00, 20996.72 examples/s] |
|
Generating train split: 0%| | 0/100 [00:00<?, ? examples/s]
Generating train split: 100%|█████████████████████████████████████████████████████████████████████████████████| 100/100 [00:00<00:00, 21993.10 examples/s] |
| [ky] Evaluating on 100 test examples... |
| /venv/main/lib/python3.12/site-packages/bitsandbytes/backends/cuda/ops.py:468: FutureWarning: _check_is_size will be removed in a future PyTorch release along with guard_size_oblivious. Use _check(i >= 0) instead. |
| torch._check_is_size(blocksize) |
| [ky] P=0.109 R=0.333 F1=0.164 (parse_fail=0/100) |
|
|
| [kz] Loading WikiANN (kk)... |
|
Generating validation split: 0%| | 0/1000 [00:00<?, ? examples/s]
Generating validation split: 100%|█████████████████████████████████████████████████████████████████████████| 1000/1000 [00:00<00:00, 128442.93 examples/s] |
|
Generating test split: 0%| | 0/1000 [00:00<?, ? examples/s]
Generating test split: 100%|███████████████████████████████████████████████████████████████████████████████| 1000/1000 [00:00<00:00, 156346.37 examples/s] |
|
Generating train split: 0%| | 0/1000 [00:00<?, ? examples/s]
Generating train split: 100%|██████████████████████████████████████████████████████████████████████████████| 1000/1000 [00:00<00:00, 148987.78 examples/s] |
| [kz] Evaluating on 100 test examples... |
| [kz] P=0.132 R=0.375 F1=0.195 (parse_fail=0/100) |
|
|
| [uz] Loading WikiANN (uz)... |
|
Generating validation split: 0%| | 0/1000 [00:00<?, ? examples/s]
Generating validation split: 100%|█████████████████████████████████████████████████████████████████████████| 1000/1000 [00:00<00:00, 146648.86 examples/s] |
|
Generating test split: 0%| | 0/1000 [00:00<?, ? examples/s]
Generating test split: 100%|███████████████████████████████████████████████████████████████████████████████| 1000/1000 [00:00<00:00, 175626.16 examples/s] |
|
Generating train split: 0%| | 0/1000 [00:00<?, ? examples/s]
Generating train split: 100%|██████████████████████████████████████████████████████████████████████████████| 1000/1000 [00:00<00:00, 172832.70 examples/s] |
| [uz] Evaluating on 100 test examples... |
| [uz] P=0.220 R=0.563 F1=0.316 (parse_fail=0/100) |
|
|
| ──────────────────────────────────────────────────────────── |
| NER EVALUATION (log-likelihood span typing) |
| ──────────────────────────────────────────────────────────── |
|
|
| [ky] Loading WikiANN (ky)... |
| [ky] Classifying spans from 100 examples... |
| [ky] type_acc=0.586 macro_F1=0.485 (n_spans=111) |
|
|
| [kz] Loading WikiANN (kk)... |
| [kz] Classifying spans from 100 examples... |
| [kz] type_acc=0.705 macro_F1=0.543 (n_spans=112) |
|
|
| [uz] Loading WikiANN (uz)... |
| [uz] Classifying spans from 100 examples... |
| [uz] type_acc=0.641 macro_F1=0.506 (n_spans=103) |
|
|
| ──────────────────────────────────────────────────────────── |
| TUMLU QA EVALUATION (log-likelihood) |
| ──────────────────────────────────────────────────────────── |
|
|
| [kz] Loading TUMLU-mini (kazakh)... |
|
Generating dev split: 0%| | 0/40 [00:00<?, ? examples/s]
Generating dev split: 100%|██████████████████████████████████████████████████████████████████████████████████████| 40/40 [00:00<00:00, 6489.97 examples/s] |
|
Generating test split: 0%| | 0/799 [00:00<?, ? examples/s]
Generating test split: 100%|█████████████████████████████████████████████████████████████████████████████████| 799/799 [00:00<00:00, 141265.81 examples/s] |
| [kz] Evaluating 794 questions (5-shot)... |
|
|
