[2026-03-10 09:21:08,376] [INFO] [axolotl.utils.data.sft._load_raw_datasets:320] [PID:2542054] Loading raw datasets...
[2026-03-10 09:21:08,520] [INFO] [axolotl.utils.data.wrappers.get_dataset_wrapper:87] [PID:2542054] Loading dataset: data/1b/all.jsonl with base_type: completion and prompt_style: None

Dropping Invalid Sequences (<None or >2048) (num_proc=96):   0%|                                                                                                                    | 0/3150 [00:00<?, ? examples/s]
Dropping Invalid Sequences (<None or >2048) (num_proc=96):   1%|█                                                                                                          | 33/3150 [00:01<03:05, 16.84 examples/s]
Dropping Invalid Sequences (<None or >2048) (num_proc=96):   8%|████████▊                                                                                                | 264/3150 [00:02<00:17, 161.07 examples/s]
Dropping Invalid Sequences (<None or >2048) (num_proc=96):  15%|███████████████▍                                                                                         | 462/3150 [00:02<00:08, 307.72 examples/s]
Dropping Invalid Sequences (<None or >2048) (num_proc=96): 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████| 3150/3150 [00:02<00:00, 1210.02 examples/s]

Drop Samples with Zero Trainable Tokens (num_proc=96):   0%|                                                                                                                        | 0/3150 [00:00<?, ? examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=96):   1%|█▏                                                                                                             | 33/3150 [00:01<03:01, 17.20 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=96):   6%|██████▊                                                                                                      | 198/3150 [00:02<00:22, 128.58 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=96):  10%|███████████▍                                                                                                 | 330/3150 [00:02<00:12, 234.46 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=96):  17%|██████████████████▎                                                                                          | 528/3150 [00:02<00:06, 415.89 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=96):  22%|███████████████████████▉                                                                                     | 693/3150 [00:02<00:04, 579.04 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=96):  27%|█████████████████████████████▋                                                                               | 858/3150 [00:02<00:03, 742.71 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=96):  32%|███████████████████████████████████                                                                         | 1023/3150 [00:02<00:02, 895.88 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=96): 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 3150/3150 [00:02<00:00, 1087.78 examples/s]

Add position_id column (Sample Packing) (num_proc=96):   0%|                                                                                                                        | 0/3150 [00:00<?, ? examples/s]
Add position_id column (Sample Packing) (num_proc=96):   1%|█▏                                                                                                             | 33/3150 [00:02<03:11, 16.30 examples/s]
Add position_id column (Sample Packing) (num_proc=96):   9%|██████████▎                                                                                                  | 297/3150 [00:02<00:17, 163.06 examples/s]
Add position_id column (Sample Packing) (num_proc=96):  73%|██████████████████████████████████████████████████████████████████████████████▍                            | 2310/3150 [00:02<00:00, 1661.54 examples/s]
Add position_id column (Sample Packing) (num_proc=96): 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 3150/3150 [00:02<00:00, 1156.24 examples/s]

Saving the dataset (0/12 shards):   0%|                                                                                                                                             | 0/3150 [00:00<?, ? examples/s]
Saving the dataset (0/12 shards):   8%|██████████▊                                                                                                                       | 263/3150 [00:00<00:04, 682.65 examples/s]
Saving the dataset (1/12 shards):   8%|██████████▊                                                                                                                       | 263/3150 [00:00<00:04, 682.65 examples/s]
Saving the dataset (2/12 shards):  17%|█████████████████████▋                                                                                                            | 526/3150 [00:00<00:03, 682.65 examples/s]
Saving the dataset (3/12 shards):  25%|████████████████████████████████▌                                                                                                 | 789/3150 [00:00<00:03, 682.65 examples/s]
Saving the dataset (4/12 shards):  33%|███████████████████████████████████████████                                                                                      | 1052/3150 [00:00<00:03, 682.65 examples/s]
Saving the dataset (5/12 shards):  42%|█████████████████████████████████████████████████████▊                                                                           | 1315/3150 [00:00<00:02, 682.65 examples/s]
Saving the dataset (6/12 shards):  50%|████████████████████████████████████████████████████████████████▌                                                                | 1578/3150 [00:00<00:02, 682.65 examples/s]
Saving the dataset (7/12 shards):  58%|███████████████████████████████████████████████████████████████████████████▎                                                     | 1840/3150 [00:00<00:01, 682.65 examples/s]
Saving the dataset (8/12 shards):  67%|██████████████████████████████████████████████████████████████████████████████████████                                           | 2102/3150 [00:00<00:01, 682.65 examples/s]
Saving the dataset (9/12 shards):  75%|████████████████████████████████████████████████████████████████████████████████████████████████▊                                | 2364/3150 [00:00<00:01, 682.65 examples/s]
Saving the dataset (10/12 shards):  83%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋                     | 2626/3150 [00:00<00:00, 682.65 examples/s]
Saving the dataset (11/12 shards):  92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 2888/3150 [00:00<00:00, 682.65 examples/s]
Saving the dataset (12/12 shards): 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3150/3150 [00:00<00:00, 682.65 examples/s]
Saving the dataset (12/12 shards): 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3150/3150 [00:00<00:00, 6414.30 examples/s]

Loading weights:   0%|                                                                                                                                                                      | 0/355 [00:00<?, ?it/s]
Loading weights:   0%|▍                                                                                                                                                             | 1/355 [00:00<00:42,  8.25it/s]
Loading weights:   1%|▉                                                                                                                                                             | 2/355 [00:00<01:03,  5.58it/s]
Loading weights:   4%|█████▋                                                                                                                                                       | 13/355 [00:00<00:08, 38.03it/s]
Loading weights:   7%|██████████▌                                                                                                                                                  | 24/355 [00:00<00:05, 59.35it/s]
Loading weights:  10%|███████████████▍                                                                                                                                             | 35/355 [00:00<00:04, 73.07it/s]
Loading weights:  13%|███████████████████▉                                                                                                                                         | 45/355 [00:00<00:03, 80.14it/s]
Loading weights:  15%|███████████████████████▉                                                                                                                                     | 54/355 [00:00<00:03, 80.27it/s]
Loading weights:  18%|████████████████████████████▎                                                                                                                                | 64/355 [00:00<00:03, 80.50it/s]
Loading weights:  21%|████████████████████████████████▎                                                                                                                            | 73/355 [00:01<00:03, 82.26it/s]
Loading weights:  23%|████████████████████████████████████▎                                                                                                                        | 82/355 [00:01<00:03, 81.25it/s]
Loading weights:  26%|█████████████████████████████████████████▏                                                                                                                   | 93/355 [00:01<00:03, 86.12it/s]
Loading weights:  29%|█████████████████████████████████████████████▋                                                                                                              | 104/355 [00:01<00:02, 89.73it/s]
Loading weights:  32%|██████████████████████████████████████████████████▌                                                                                                         | 115/355 [00:01<00:02, 90.21it/s]
Loading weights:  35%|███████████████████████████████████████████████████████▎                                                                                                    | 126/355 [00:01<00:02, 94.40it/s]
Loading weights:  39%|████████████████████████████████████████████████████████████▏                                                                                               | 137/355 [00:01<00:02, 94.91it/s]
Loading weights:  42%|█████████████████████████████████████████████████████████████████                                                                                           | 148/355 [00:01<00:02, 96.13it/s]
Loading weights:  45%|█████████████████████████████████████████████████████████████████████▊                                                                                      | 159/355 [00:02<00:02, 96.60it/s]
Loading weights:  48%|██████████████████████████████████████████████████████████████████████████▋                                                                                 | 170/355 [00:02<00:01, 95.71it/s]
Loading weights:  51%|███████████████████████████████████████████████████████████████████████████████▌                                                                            | 181/355 [00:02<00:01, 96.71it/s]
Loading weights:  54%|████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 192/355 [00:02<00:01, 96.25it/s]
Loading weights:  57%|█████████████████████████████████████████████████████████████████████████████████████████▏                                                                  | 203/355 [00:02<00:01, 95.92it/s]
Loading weights:  60%|██████████████████████████████████████████████████████████████████████████████████████████████                                                              | 214/355 [00:02<00:01, 96.33it/s]
Loading weights:  63%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                                                         | 225/355 [00:02<00:01, 96.60it/s]
Loading weights:  66%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                    | 236/355 [00:02<00:01, 98.07it/s]
Loading weights:  70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                               | 247/355 [00:02<00:01, 100.82it/s]
Loading weights:  74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                        | 262/355 [00:03<00:00, 111.85it/s]
Loading weights:  77%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                   | 274/355 [00:03<00:00, 109.61it/s]
Loading weights:  81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                             | 288/355 [00:03<00:00, 115.60it/s]
Loading weights:  85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                        | 300/355 [00:03<00:00, 110.81it/s]
Loading weights:  88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 312/355 [00:03<00:00, 109.12it/s]
Loading weights:  91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 324/355 [00:03<00:00, 108.06it/s]
Loading weights:  95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████       | 339/355 [00:03<00:00, 115.02it/s]
Loading weights: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 355/355 [00:03<00:00, 93.64it/s]