Training in progress, step 650

adapter_model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:60386a110c5da6cd59224e304aefe44532d5ad503dd4fbadfc15c421de39dad3
+oid sha256:4d68bc707a05cca8ae2c2626ec3f737a75c8d55c58bfa4b9be5436dc56f81ef8
 size 6299896

debug.log

@@ -1729,3 +1729,121 @@ trainable params: 1,572,864 || all params: 3,837,594,624 || trainable%: 0.0410
 
 92%|█████████████████████████████████████████████████████▌    | 600/650 [1:34:08<06:57,  8.35s/it]
 
 
                                                                                                   [2026-01-24 14:59:41,336] [INFO] [axolotl.core.trainers.base._save:721] [PID:9359] Saving model checkpoint to ./phi4_african_history_lora_out/checkpoint-600
+
 92%|█████████████████████████████████████████████████████▋    | 601/650 [1:34:17<20:15, 24.81s/it]
 93%|█████████████████████████████████████████████████████▋    | 602/650 [1:34:25<15:52, 19.85s/it]
 93%|█████████████████████████████████████████████████████▊    | 603/650 [1:34:33<12:49, 16.37s/it]
 93%|█████████████████████████████████████████████████████▉    | 604/650 [1:34:42<10:40, 13.93s/it]
 93%|█████████████████████████████████████████████████████▉    | 605/650 [1:34:49<08:57, 11.95s/it]
                                                                                                   
+
 93%|█████████████████████████████████████████████████████▉    | 605/650 [1:34:49<08:57, 11.95s/it]
 93%|██████████████████████████████████████████████████████    | 606/650 [1:34:57<07:57, 10.84s/it]
 93%|██████████████████████████████████████████████████████▏   | 607/650 [1:35:06<07:13, 10.07s/it]
 94%|██████████████████████████████████████████████████████▎   | 608/650 [1:35:14<06:40,  9.53s/it]
 94%|██████████████████████████████████████████████████████▎   | 609/650 [1:35:22<06:15,  9.15s/it]
 94%|██████████████████████████████████████████████████████▍   | 610/650 [1:35:30<05:55,  8.88s/it]
                                                                                                   
+
 94%|██████████████████████████████████████████████████████▍   | 610/650 [1:35:30<05:55,  8.88s/it]
 94%|██████████████████████████████████████████████████████▌   | 611/650 [1:35:37<05:15,  8.10s/it]
 94%|██████████████████████████████████████████████████████▌   | 612/650 [1:35:47<05:32,  8.76s/it]
 94%|██████████████████████████████████████████████████████▋   | 613/650 [1:35:55<05:18,  8.60s/it]
 94%|██████████████████████████████████████████████████████▊   | 614/650 [1:36:03<05:05,  8.50s/it]
 95%|████████████████████████████���█████████████████████████▉   | 615/650 [1:36:12<04:54,  8.42s/it]
                                                                                                   
+
 95%|██████████████████████████████████████████████████████▉   | 615/650 [1:36:12<04:54,  8.42s/it]
 95%|██████████████████████████████████████████████████████▉   | 616/650 [1:36:20<04:44,  8.37s/it]
 95%|███████████████████████████████████████████████████████   | 617/650 [1:36:28<04:35,  8.33s/it]
 95%|███████████████████████████████████████████████████████▏  | 618/650 [1:36:36<04:25,  8.31s/it]
 95%|███████████████████████████████████████████████████████▏  | 619/650 [1:36:45<04:17,  8.29s/it]
 95%|███████████████████████████████████████████████████████▎  | 620/650 [1:36:53<04:08,  8.29s/it]
                                                                                                   
+
 95%|███████████████████████████████████████████████████████▎  | 620/650 [1:36:53<04:08,  8.29s/it]
 96%|███████████████████████████████████████████████████████▍  | 621/650 [1:37:01<03:59,  8.27s/it]
 96%|███████████████████████████████████████████████████████▌  | 622/650 [1:37:09<03:51,  8.27s/it]
 96%|███████████████████████████████████████████████████████▌  | 623/650 [1:37:18<03:43,  8.26s/it]
 96%|███████████████████████████████████████████████████████▋  | 624/650 [1:37:24<03:19,  7.66s/it]
 96%|███████████████████████████████████████████████████████▊  | 625/650 [1:37:34<03:29,  8.38s/it]
                                                                                                   
+
 96%|███████████████████████████████████████████████████████▊  | 625/650 [1:37:34<03:29,  8.38s/it]
 96%|███████████████████████████████████████████████████████▊  | 626/650 [1:37:42<03:20,  8.34s/it]
 96%|███████████████████████████████████████████████████████▉  | 627/650 [1:37:50<03:11,  8.31s/it]
 97%|████████████████████████████████████████████████████████  | 628/650 [1:37:59<03:02,  8.29s/it]
 97%|████████████████████████████████████████████████████████▏ | 629/650 [1:38:07<02:53,  8.28s/it]
 97%|███████████████████████��████████████████████████████████▏ | 630/650 [1:38:15<02:45,  8.27s/it]
                                                                                                   
+
 97%|████████████████████████████████████████████████████████▏ | 630/650 [1:38:15<02:45,  8.27s/it]
 97%|████████████████████████████████████████████████████████▎ | 631/650 [1:38:23<02:37,  8.26s/it]
 97%|████████████████████████████████████████████████████████▍ | 632/650 [1:38:32<02:28,  8.26s/it]
 97%|████████████████████████████████████████████████████████▍ | 633/650 [1:38:40<02:20,  8.25s/it]
 98%|████████████████████████████████████████████████████████▌ | 634/650 [1:38:48<02:12,  8.25s/it]
 98%|████████████████████████████████████████████████████████▋ | 635/650 [1:38:56<02:03,  8.25s/it]
                                                                                                   
+
 98%|████████████████████████████████████████████████████████▋ | 635/650 [1:38:56<02:03,  8.25s/it]
 98%|████████████████████████████████████████████████████████▊ | 636/650 [1:39:05<01:55,  8.25s/it]
 98%|████████████████████████████████████████████████████████▊ | 637/650 [1:39:11<01:39,  7.65s/it]
 98%|████████████████████████████████████████████████████████▉ | 638/650 [1:39:21<01:40,  8.39s/it]
 98%|█████████████████████████████████████████████████████████ | 639/650 [1:39:29<01:31,  8.34s/it]
 98%|█████████████████████████████████████████████████████████ | 640/650 [1:39:38<01:23,  8.31s/it]
                                                                                                   
+
 98%|█████████████████████████████████████████████████████████ | 640/650 [1:39:38<01:23,  8.31s/it]
 99%|█████████████████████████████████████████████████████████▏| 641/650 [1:39:46<01:14,  8.30s/it]
 99%|█████████████████████████████████████████████████████████▎| 642/650 [1:39:54<01:06,  8.28s/it]
 99%|█████████████████████████████████████████████████████████▍| 643/650 [1:40:02<00:57,  8.28s/it]
 99%|█████████████████████████████████████████████████████████▍| 644/650 [1:40:11<00:49,  8.27s/it]
 99%|██��██████████████████████████████████████████████████████▌| 645/650 [1:40:19<00:41,  8.27s/it]
                                                                                                   
+
 99%|█████████████████████████████████████████████████████████▌| 645/650 [1:40:19<00:41,  8.27s/it]
 99%|█████████████████████████████████████████████████████████▋| 646/650 [1:40:27<00:33,  8.27s/it]
                                                                                                   
+
+
+
  0%|                                                                      | 0/100 [00:00<?, ?it/s]
+
  2%|█▏                                                            | 2/100 [00:00<00:25,  3.84it/s]
+
  3%|█▊                                                            | 3/100 [00:01<00:35,  2.71it/s]
+
  4%|██▍                                                           | 4/100 [00:01<00:40,  2.34it/s]
+
  5%|███                                                           | 5/100 [00:02<00:54,  1.74it/s]
+
  6%|███▋                                                          | 6/100 [00:02<00:52,  1.79it/s]
+
  7%|████▎                                                         | 7/100 [00:03<00:50,  1.83it/s]
+
  8%|████▉                                                         | 8/100 [00:03<00:49,  1.85it/s]
+
  9%|█████▌                                                        | 9/100 [00:04<00:49,  1.82it/s]
+
 10%|██████                                                       | 10/100 [00:05<00:48,  1.85it/s]
+
 11%|██████▋                                                      | 11/100 [00:05<00:47,  1.87it/s]
+
 12%|███████▎                                                     | 12/100 [00:06<00:46,  1.88it/s]
+
 13%|███████▉                                                     | 13/100 [00:06<00:47,  1.85it/s]
+
 14%|████████▌                                                    | 14/100 [00:07<00:45,  1.87it/s]
+
 15%|█████████▏                                                   | 15/100 [00:07<00:45,  1.88it/s]
+
 16%|█████████▊                                                   | 16/100 [00:08<00:44,  1.89it/s]
+
 17%|██████████▎                                                  | 17/100 [00:08<00:44,  1.86it/s]
+
 18%|██████████▉                                                  | 18/100 [00:09<00:43,  1.88it/s]
+
 19%|███████████▌                                                 | 19/100 [00:09<00:42,  1.89it/s]
+
 20%|████████████▏                                                | 20/100 [00:10<00:42,  1.90it/s]
+
 21%|██████████���█▊                                                | 21/100 [00:10<00:42,  1.86it/s]
+
 22%|█████████████▍                                               | 22/100 [00:11<00:41,  1.88it/s]
+
 23%|██████████████                                               | 23/100 [00:11<00:40,  1.89it/s]
+
 24%|██████████████▋                                              | 24/100 [00:12<00:40,  1.90it/s]
+
 25%|███████████████▎                                             | 25/100 [00:13<00:40,  1.86it/s]
+
 26%|███████████████▊                                             | 26/100 [00:13<00:39,  1.88it/s]
+
 27%|████████████████▍                                            | 27/100 [00:14<00:38,  1.89it/s]
+
 28%|█████████████████                                            | 28/100 [00:14<00:37,  1.90it/s]
+
 29%|█████████████████▋                                           | 29/100 [00:15<00:38,  1.86it/s]
+
 30%|██████████████████▎                                          | 30/100 [00:15<00:37,  1.88it/s]
+
 31%|██████████████████▉                                          | 31/100 [00:16<00:36,  1.89it/s]
+
 32%|███████████████████▌                                         | 32/100 [00:16<00:35,  1.90it/s]
+
 33%|████████████████████▏                                        | 33/100 [00:17<00:36,  1.86it/s]
+
 34%|████████████████████▋                                        | 34/100 [00:17<00:35,  1.88it/s]
+
 35%|█████████████████████▎                                       | 35/100 [00:18<00:34,  1.89it/s]
+
 36%|█████████████████████▉                                       | 36/100 [00:18<00:33,  1.90it/s]
+
 37%|██████████████████████▌                                      | 37/100 [00:19<00:33,  1.86it/s]
+
 38%|███████████████████████▏                                     | 38/100 [00:19<00:32,  1.88it/s]
+
 39%|███████████████████████▊                                     | 39/100 [00:20<00:32,  1.89it/s]
+
 40%|████████████████████████▍                                    | 40/100 [00:21<00:31,  1.90it/s]
+
 41%|█████████████████████████                                    | 41/100 [00:21<00:31,  1.86it/s]
+
 42%|█████████████████████████▌                                   | 42/100 [00:22<00:30,  1.88it/s]
+
 43%|██████████████████████████▏                                  | 43/100 [00:22<00:30,  1.89it/s]
+
 44%|██████████████████████████▊                                  | 44/100 [00:23<00:29,  1.90it/s]
+
 45%|███████████████████████████▍                                 | 45/100 [00:23<00:29,  1.86it/s]
+
 46%|████████████████████████████                                 | 46/100 [00:24<00:28,  1.88it/s]
+
 47%|████████████████████████████▋                                | 47/100 [00:24<00:28,  1.89it/s]
+
 48%|█████████████████████████████▎                               | 48/100 [00:25<00:27,  1.90it/s]
+
 49%|█████████████████████████████▉                               | 49/100 [00:25<00:27,  1.86it/s]
+
 50%|██████████████████████████████▌                              | 50/100 [00:26<00:26,  1.88it/s]
+
 51%|███████████████████████████████                              | 51/100 [00:26<00:25,  1.89it/s]
+
 52%|███████████████████████████████▋                             | 52/100 [00:27<00:25,  1.90it/s]
+
 53%|████████████████████████████████▎                            | 53/100 [00:27<00:25,  1.86it/s]
+
 54%|████████████████████████████████▉                            | 54/100 [00:28<00:24,  1.88it/s]
+
 55%|���████████████████████████████████▌                           | 55/100 [00:29<00:23,  1.89it/s]
+
 56%|██████████████████████████████████▏                          | 56/100 [00:29<00:23,  1.90it/s]
+
 57%|██████████████████████████████████▊                          | 57/100 [00:30<00:23,  1.86it/s]
+
 58%|███████████████████████████████████▍                         | 58/100 [00:30<00:22,  1.88it/s]
+
 59%|███████████████████████████████████▉                         | 59/100 [00:31<00:21,  1.89it/s]
+
 60%|████████████████████████████████████▌                        | 60/100 [00:31<00:21,  1.89it/s]
+
 61%|█████████████████████████████████████▏                       | 61/100 [00:32<00:21,  1.86it/s]
+
 62%|█████████████████████████████████████▊                       | 62/100 [00:32<00:20,  1.88it/s]
+
 63%|██████████████████████████████████████▍                      | 63/100 [00:33<00:19,  1.89it/s]
+
 64%|███████████████████████████████████████                      | 64/100 [00:33<00:19,  1.89it/s]
+
 65%|███████████████████████████████████████▋                     | 65/100 [00:34<00:18,  1.86it/s]
+
 66%|████████████████████████████████████████▎                    | 66/100 [00:34<00:18,  1.88it/s]
+
 67%|████████████████████████████████████████▊                    | 67/100 [00:35<00:17,  1.89it/s]
+
 68%|█████████████████████████████████████████▍                   | 68/100 [00:35<00:16,  1.90it/s]
+
 69%|██████████████████████████████████████████                   | 69/100 [00:36<00:16,  1.86it/s]
+
 70%|██████████████████████████████████████████▋                  | 70/100 [00:36<00:15,  1.88it/s]
+
 71%|███████████████████████████████████████████▎                 | 71/100 [00:37<00:15,  1.89it/s]
+
 72%|███████████████████████████████████████████▉                 | 72/100 [00:38<00:14,  1.90it/s]
+
 73%|████████████████████████████████████████████▌                | 73/100 [00:38<00:14,  1.86it/s]
+
 74%|█████████████████████████████████████████████▏               | 74/100 [00:39<00:13,  1.88it/s]
+
 75%|█████████████████████████████████████████████▊               | 75/100 [00:39<00:13,  1.89it/s]
+
 76%|██████████████████████████████████████████████▎              | 76/100 [00:40<00:12,  1.89it/s]
+
 77%|██████████████████████████████████████████████▉              | 77/100 [00:40<00:12,  1.86it/s]
+
 78%|███████████████████████████████████████████████▌             | 78/100 [00:41<00:11,  1.88it/s]
+
 79%|████████████████████████████████████████████████▏            | 79/100 [00:41<00:11,  1.89it/s]
+
 80%|████████████████████████████████████████████████▊            | 80/100 [00:42<00:10,  1.89it/s]
+
 81%|█████████████████████████████████████████████████▍           | 81/100 [00:42<00:10,  1.86it/s]
+
 82%|██████████████████████████████████████████████████           | 82/100 [00:43<00:09,  1.88it/s]
+
 83%|██████████████████████████████████████████████████▋          | 83/100 [00:43<00:09,  1.89it/s]
+
 84%|███████████████████████████████████████████████████▏         | 84/100 [00:44<00:08,  1.90it/s]
+
 85%|███████████████████████████████████████████████████▊         | 85/100 [00:44<00:08,  1.86it/s]
+
 86%|████████████████████████████████████████████████████▍        | 86/100 [00:45<00:07,  1.88it/s]
+
 87%|█████████████████████████████████████████████████████        | 87/100 [00:46<00:06,  1.89it/s]
+
 88%|█████████████████████████████████████████████████████▋       | 88/100 [00:46<00:06,  1.90it/s]
+
 89%|██████████████████████████████████████████████████████▎      | 89/100 [00:47<00:05,  1.85it/s]
+
 90%|██████████████████████████████████████████████████████▉      | 90/100 [00:47<00:05,  1.88it/s]
+
 91%|███████████████████████████████████████████████████████▌     | 91/100 [00:48<00:04,  1.89it/s]
+
 92%|████████████████████████████████████████████████████████     | 92/100 [00:48<00:04,  1.90it/s]
+
 93%|████████████████████████████████████████████████████████▋    | 93/100 [00:49<00:03,  1.86it/s]
+
 94%|█████████████████████████████████████████████████████████▎   | 94/100 [00:49<00:03,  1.88it/s]
+
 95%|█████████████████████████████████████████████████████████▉   | 95/100 [00:50<00:02,  1.89it/s]
+
 96%|██████████████████████████████████████████████████████████▌  | 96/100 [00:50<00:02,  1.89it/s]
+
 97%|███████████████████████████████████████████████████████████▏ | 97/100 [00:51<00:01,  1.86it/s]
+
 98%|███████████████████████████████████████████████████████████▊ | 98/100 [00:51<00:01,  1.88it/s]
+
 99%|████████████████████████████████████████████████████████████▍| 99/100 [00:52<00:00,  1.89it/s]
+
                                                                                                   
+
                                                                                                   
+
+
+
                                                                                                   [2026-01-24 15:07:25,861] [INFO] [axolotl.core.trainers.base._save:721] [PID:9359] Saving model checkpoint to ./phi4_african_history_lora_out/checkpoint-650
+
                                                                                                   
+