File size: 82,331 Bytes
29f1451 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 | [2025-11-25 02:20:44,846] [DEBUG] [axolotl.utils.config.resolve_dtype:66] [PID:3847] bf16 support detected, enabling for this configuration.
[2025-11-25 02:20:44,921] [DEBUG] [axolotl.utils.config.log_gpu_memory_usage:127] [PID:3847] baseline 0.000GB ()
[2025-11-25 02:20:44,921] [INFO] [axolotl.cli.config.load_cfg:248] [PID:3847] config:
{
"activation_offloading": false,
"adapter": "lora",
"axolotl_config_path": "config.yaml",
"base_model": "meta-llama/Llama-3.1-8B-Instruct",
"base_model_config": "meta-llama/Llama-3.1-8B-Instruct",
"batch_size": 8,
"bf16": true,
"capabilities": {
"bf16": true,
"compute_capability": "sm_90",
"fp8": false,
"n_gpu": 1,
"n_node": 1
},
"context_parallel_size": 1,
"dataloader_num_workers": 1,
"dataloader_pin_memory": true,
"dataloader_prefetch_factor": 256,
"dataset_prepared_path": "last_run_prepared",
"dataset_processes": 24,
"datasets": [
{
"data_files": "*formatted.jsonl",
"message_property_mappings": {
"content": "content",
"role": "role"
},
"path": "AIPixelMedia/astrid-dataset",
"trust_remote_code": false,
"type": "alpaca"
}
],
"ddp": false,
"device": "cuda:0",
"dion_rank_fraction": 1.0,
"dion_rank_multiple_of": 1,
"early_stopping_patience": 2,
"env_capabilities": {
"torch_version": "2.7.1"
},
"eval_batch_size": 2,
"eval_causal_lm_metrics": [
"sacrebleu",
"comet",
"ter",
"chrf"
],
"eval_max_new_tokens": 128,
"eval_sample_packing": false,
"eval_steps": 5,
"eval_table_size": 0,
"experimental_skip_move_to_device": true,
"flash_attention": true,
"fp16": false,
"gradient_accumulation_steps": 4,
"gradient_checkpointing": true,
"gradient_checkpointing_kwargs": {
"use_reentrant": false
},
"group_by_length": true,
"include_tkps": true,
"is_llama_derived_model": true,
"learning_rate": 2e-05,
"lisa_layers_attribute": "model.layers",
"load_best_model_at_end": false,
"load_in_4bit": true,
"load_in_8bit": false,
"local_rank": 0,
"logging_steps": 5,
"lora_alpha": 32,
"lora_dropout": 0.2,
"lora_modules_to_save": [
"lm_head"
],
"lora_r": 16,
"lora_target_modules": [
"q_proj",
"k_proj",
"v_proj",
"o_proj",
"gate_proj",
"up_proj",
"down_proj"
],
"loraplus_lr_embedding": 1e-06,
"lr_scheduler": "cosine",
"mean_resizing_embeddings": false,
"merge_lora": false,
"micro_batch_size": 2,
"model_config_type": "llama",
"num_epochs": 20.0,
"optimizer": "paged_adamw_32bit",
"output_dir": "./outputs/astrid-llama-8b",
"pad_to_sequence_len": true,
"pretrain_multipack_attn": true,
"profiler_steps_start": 0,
"qlora_sharded_model_loading": false,
"ray_num_workers": 1,
"remove_unused_columns": false,
"resources_per_worker": {
"GPU": 1
},
"sample_packing": true,
"sample_packing_bin_size": 200,
"sample_packing_group_size": 100000,
"save_only_model": false,
"save_safetensors": true,
"save_steps": 100,
"seed": 35,
"sequence_len": 2048,
"shuffle_before_merging_datasets": false,
"shuffle_merged_datasets": true,
"skip_prepare_dataset": false,
"special_tokens": {
"pad_token": "<|end_of_text|>"
},
"streaming_multipack_buffer_size": 10000,
"strict": false,
"tensor_parallel_size": 1,
"tf32": false,
"tiled_mlp_use_original_mlp": true,
"tokenizer_config": "meta-llama/Llama-3.1-8B-Instruct",
"tokenizer_save_jinja_files": true,
"torch_dtype": "torch.bfloat16",
"train_on_inputs": false,
"trl": {
"log_completions": false,
"mask_truncated_completions": false,
"ref_model_mixup_alpha": 0.9,
"ref_model_sync_steps": 64,
"scale_rewards": true,
"sync_ref_model": false,
"use_vllm": false,
"vllm_server_host": "0.0.0.0",
"vllm_server_port": 8000
},
"use_ray": false,
"val_set_size": 0.1,
"vllm": {
"device": "auto",
"dtype": "auto",
"gpu_memory_utilization": 0.9,
"host": "0.0.0.0",
"port": 8000
},
"warmup_steps": 10,
"weight_decay": 0.01,
"world_size": 1
}
[2025-11-25 02:20:45,359] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:278] [PID:3847] EOS: 128009 / <|eot_id|>
[2025-11-25 02:20:45,359] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:279] [PID:3847] BOS: 128000 / <|begin_of_text|>
[2025-11-25 02:20:45,360] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:280] [PID:3847] PAD: 128001 / <|end_of_text|>
[2025-11-25 02:20:45,360] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:281] [PID:3847] UNK: None / None
[2025-11-25 02:20:45,361] [INFO] [axolotl.utils.data.shared.load_preprocessed_dataset:476] [PID:3847] Unable to find prepared dataset in last_run_prepared/d6f798814894ac4627709b4d3b576758
[2025-11-25 02:20:45,361] [INFO] [axolotl.utils.data.sft._load_raw_datasets:320] [PID:3847] Loading raw datasets...
[2025-11-25 02:20:45,361] [WARNING] [axolotl.utils.data.sft._load_raw_datasets:322] [PID:3847] Processing datasets during training can lead to VRAM instability. Please pre-process your dataset using `axolotl preprocess path/to/config.yml`.
README.md: 0%| | 0.00/29.0 [00:00<?, ?B/s]
README.md: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 29.0/29.0 [00:00<00:00, 306kB/s]
astrid_alpaca_formatted.jsonl: 0%| | 0.00/146k [00:00<?, ?B/s]
astrid_alpaca_formatted.jsonl: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 146k/146k [00:00<00:00, 10.4MB/s]
Generating train split: 0 examples [00:00, ? examples/s]
Generating train split: 216 examples [00:00, 40791.07 examples/s]
[2025-11-25 02:20:46,223] [INFO] [axolotl.utils.data.wrappers.get_dataset_wrapper:87] [PID:3847] Loading dataset: AIPixelMedia/astrid-dataset with base_type: alpaca and prompt_style: None
Tokenizing Prompts (num_proc=24): 0%| | 0/216 [00:00<?, ? examples/s]
Tokenizing Prompts (num_proc=24): 4%|███▍ | 9/216 [00:00<00:18, 10.95 examples/s]
Tokenizing Prompts (num_proc=24): 12%|██████████▏ | 27/216 [00:01<00:05, 31.66 examples/s]
Tokenizing Prompts (num_proc=24): 21%|████████████████▉ | 45/216 [00:01<00:03, 48.00 examples/s]
Tokenizing Prompts (num_proc=24): 29%|███████████████████████▋ | 63/216 [00:01<00:02, 60.48 examples/s]
Tokenizing Prompts (num_proc=24): 33%|███████████████████████████ | 72/216 [00:01<00:02, 56.56 examples/s]
Tokenizing Prompts (num_proc=24): 46%|█████████████████████████████████████▏ | 99/216 [00:01<00:01, 80.38 examples/s]
Tokenizing Prompts (num_proc=24): 54%|███████████████████████████████████████████▎ | 117/216 [00:01<00:01, 83.98 examples/s]
Tokenizing Prompts (num_proc=24): 62%|██████████████████████████████████████████████████ | 135/216 [00:02<00:00, 86.69 examples/s]
Tokenizing Prompts (num_proc=24): 71%|████████████████████████████████████████████████████████▋ | 153/216 [00:02<00:00, 88.97 examples/s]
Tokenizing Prompts (num_proc=24): 79%|███████████████████████████████████████████████████████████████▎ | 171/216 [00:02<00:00, 89.92 examples/s]
Tokenizing Prompts (num_proc=24): 88%|██████████████████████████████████████████████████████████████████████ | 189/216 [00:02<00:00, 93.36 examples/s]
Tokenizing Prompts (num_proc=24): 96%|████████████████████████████████████████████████████████████████████████████▋ | 207/216 [00:02<00:00, 95.13 examples/s]
Tokenizing Prompts (num_proc=24): 100%|████████████████████████████████████████████████████████████████████████████████| 216/216 [00:03<00:00, 68.48 examples/s]
[2025-11-25 02:20:49,511] [INFO] [axolotl.utils.data.utils.handle_long_seq_in_dataset:218] [PID:3847] min_input_len: 164
[2025-11-25 02:20:49,514] [INFO] [axolotl.utils.data.utils.handle_long_seq_in_dataset:220] [PID:3847] max_input_len: 195
Dropping Long Sequences (>2048) (num_proc=24): 0%| | 0/216 [00:00<?, ? examples/s]
Dropping Long Sequences (>2048) (num_proc=24): 4%|██▉ | 9/216 [00:00<00:06, 33.18 examples/s]
Dropping Long Sequences (>2048) (num_proc=24): 100%|██████████████████████████████████████████████████████████████████| 216/216 [00:00<00:00, 500.79 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=24): 0%| | 0/216 [00:00<?, ? examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=24): 4%|██▌ | 9/216 [00:00<00:06, 33.91 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=24): 96%|███████████████████████████████████████████████████████▌ | 207/216 [00:00<00:00, 655.33 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=24): 100%|██████████████████████████████████████████████████████████| 216/216 [00:00<00:00, 435.73 examples/s]
Group By Length (num_proc=24): 0%| | 0/216 [00:00<?, ? examples/s]
Group By Length (num_proc=24): 4%|███▌ | 9/216 [00:00<00:06, 33.25 examples/s]
Group By Length (num_proc=24): 100%|██████████████████████████████████████████████████████████████████████████████████| 216/216 [00:00<00:00, 497.91 examples/s]
Add position_id column (Sample Packing) (num_proc=24): 0%| | 0/216 [00:00<?, ? examples/s]
Add position_id column (Sample Packing) (num_proc=24): 4%|██▌ | 9/216 [00:00<00:05, 40.42 examples/s]
Add position_id column (Sample Packing) (num_proc=24): 100%|██████████████████████████████████████████████████████████| 216/216 [00:00<00:00, 583.79 examples/s]
Saving the dataset (0/1 shards): 0%| | 0/216 [00:00<?, ? examples/s]
Saving the dataset (1/1 shards): 100%|██████████████████████████████████████████████████████████████████████████████| 216/216 [00:00<00:00, 33062.17 examples/s]
Saving the dataset (1/1 shards): 100%|██████████████████████████████████████████████████████████████████████████████| 216/216 [00:00<00:00, 31571.29 examples/s]
[2025-11-25 02:20:51,464] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:404] [PID:3847] total_num_tokens: 34_394
[2025-11-25 02:20:51,466] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:422] [PID:3847] `total_supervised_tokens: 4_111`
[2025-11-25 02:20:52,510] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:3847] generate_batches time: 0.4545629024505615
[2025-11-25 02:20:52,977] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:3847] generate_batches time: 0.46656036376953125
[2025-11-25 02:20:53,454] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:3847] generate_batches time: 0.47722506523132324
[2025-11-25 02:20:53,916] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:3847] generate_batches time: 0.46124815940856934
[2025-11-25 02:20:53,940] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:434] [PID:3847] gather_len_batches: [9]
[2025-11-25 02:20:53,940] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:481] [PID:3847] data_loader_len: 2
[2025-11-25 02:20:53,940] [INFO] [axolotl.utils.trainer.calc_sample_packing_eff_est:497] [PID:3847] sample_packing_eff_est across ranks: [0.9329969618055556]
[2025-11-25 02:20:53,940] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:509] [PID:3847] sample_packing_eff_est: 0.94
[2025-11-25 02:20:53,941] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:520] [PID:3847] total_num_steps: 40
[2025-11-25 02:20:53,941] [INFO] [axolotl.utils.data.sft._prepare_standard_dataset:121] [PID:3847] Maximum number of steps set at 40
[2025-11-25 02:20:53,975] [DEBUG] [axolotl.train.setup_model_and_tokenizer:65] [PID:3847] Loading tokenizer... meta-llama/Llama-3.1-8B-Instruct
[2025-11-25 02:20:54,362] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:278] [PID:3847] EOS: 128009 / <|eot_id|>
[2025-11-25 02:20:54,363] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:279] [PID:3847] BOS: 128000 / <|begin_of_text|>
[2025-11-25 02:20:54,363] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:280] [PID:3847] PAD: 128001 / <|end_of_text|>
[2025-11-25 02:20:54,363] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:281] [PID:3847] UNK: None / None
[2025-11-25 02:20:54,363] [DEBUG] [axolotl.train.setup_model_and_tokenizer:74] [PID:3847] Loading model
[2025-11-25 02:20:54,401] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_evaluation_loop:87] [PID:3847] Patched Trainer.evaluation_loop with nanmean loss calculation
[2025-11-25 02:20:54,404] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_maybe_log_save_evaluate:138] [PID:3847] Patched Trainer._maybe_log_save_evaluate with nanmean loss calculation
[2025-11-25 02:20:54,405] [INFO] [axolotl.loaders.patch_manager._apply_multipack_patches:301] [PID:3847] Applying multipack dataloader patch for sample packing...
Loading checkpoint shards: 0%| | 0/4 [00:00<?, ?it/s]
Loading checkpoint shards: 25%|████████████████████████▌ | 1/4 [00:07<00:22, 7.52s/it]
Loading checkpoint shards: 50%|█████████████████████████████████████████████████ | 2/4 [00:15<00:15, 7.81s/it]
Loading checkpoint shards: 75%|█████████████████████████████████████████████████████████████████████████▌ | 3/4 [00:23<00:07, 7.98s/it]
Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:24<00:00, 5.33s/it]
Loading checkpoint shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:24<00:00, 6.25s/it]
[2025-11-25 02:21:19,888] [INFO] [axolotl.loaders.model._prepare_model_for_quantization:863] [PID:3847] converting PEFT model w/ prepare_model_for_kbit_training
[2025-11-25 02:21:19,891] [INFO] [axolotl.loaders.model._configure_embedding_dtypes:345] [PID:3847] Converting modules to torch.bfloat16
[2025-11-25 02:21:19,894] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:3847] Memory usage after model load 8.657GB (+8.657GB allocated, +9.924GB reserved)
trainable params: 567,279,616 || all params: 8,597,540,864 || trainable%: 6.5982
[2025-11-25 02:21:20,327] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:3847] after adapters 6.813GB (+6.813GB allocated, +10.080GB reserved)
[2025-11-25 02:21:25,049] [INFO] [axolotl.train.save_initial_configs:398] [PID:3847] Pre-saving adapter config to ./outputs/astrid-llama-8b...
[2025-11-25 02:21:25,053] [INFO] [axolotl.train.save_initial_configs:402] [PID:3847] Pre-saving tokenizer to ./outputs/astrid-llama-8b...
[2025-11-25 02:21:25,237] [INFO] [axolotl.train.save_initial_configs:407] [PID:3847] Pre-saving model config to ./outputs/astrid-llama-8b...
[2025-11-25 02:21:25,242] [INFO] [axolotl.train.execute_training:196] [PID:3847] Starting trainer...
[2025-11-25 02:21:26,800] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:3847] generate_batches time: 0.6591596603393555
[2025-11-25 02:21:27,432] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:3847] generate_batches time: 0.6290566921234131
[2025-11-25 02:21:28,054] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:3847] generate_batches time: 0.6219644546508789
[2025-11-25 02:21:28,676] [DEBUG] [axolotl.utils.samplers.multipack.__len__:458] [PID:3847] generate_batches time: 0.6212875843048096
[2025-11-25 02:21:28,677] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:434] [PID:3847] gather_len_batches: [9]
0%| | 0/40 [00:00<?, ?it/s][2025-11-25 02:21:28,737] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:3847] Running evaluation step...
0%| | 0/11 [00:00<?, ?it/s][A
18%|██████████████████████▌ | 2/11 [00:00<00:00, 12.47it/s][A
36%|█████████████████████████████████████████████ | 4/11 [00:00<00:01, 6.28it/s][A
45%|████████████████████████████████████████████████████████▎ | 5/11 [00:00<00:01, 5.34it/s][A
55%|███████████████████████████████████████████████████████████████████▋ | 6/11 [00:01<00:00, 5.23it/s][A
64%|██████████████████████████████████████████████████████████████████████████████▉ | 7/11 [00:01<00:00, 5.04it/s][A
73%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 8/11 [00:01<00:00, 4.92it/s][A
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 9/11 [00:01<00:00, 4.59it/s][A
91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 10/11 [00:01<00:00, 4.70it/s][A
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.45it/s][A
[A{'eval_loss': 3.2546439170837402, 'eval_runtime': 3.0517, 'eval_samples_per_second': 7.209, 'eval_steps_per_second': 3.605, 'memory/max_active (GiB)': 11.95, 'memory/max_allocated (GiB)': 11.95, 'memory/device_reserved (GiB)': 12.15, 'epoch': 0}
0%| | 0/40 [00:03<?, ?it/s]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.45it/s][A
[A
2%|███ | 1/40 [00:07<04:56, 7.60s/it]
5%|██████▏ | 2/40 [00:10<03:01, 4.77s/it]
8%|█████████▎ | 3/40 [00:10<01:44, 2.83s/it]
10%|████████████▍ | 4/40 [00:15<02:03, 3.42s/it]
12%|███████████████▌ | 5/40 [00:18<01:51, 3.19s/it]
{'loss': 3.1725, 'grad_norm': 9.879115104675293, 'learning_rate': 8.000000000000001e-06, 'memory/max_active (GiB)': 15.28, 'memory/max_allocated (GiB)': 15.28, 'memory/device_reserved (GiB)': 17.46, 'tokens_per_second_per_gpu': 606.65, 'epoch': 1.89}
12%|███████████████▌ | 5/40 [00:18<01:51, 3.19s/it][2025-11-25 02:21:46,751] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:3847] Running evaluation step...
0%| | 0/11 [00:00<?, ?it/s][A
18%|██████████████████████▌ | 2/11 [00:00<00:00, 9.38it/s][A
27%|█████████████████████████████████▊ | 3/11 [00:00<00:01, 6.59it/s][A
36%|█████████████████████████████████████████████ | 4/11 [00:00<00:01, 5.70it/s][A
45%|████████████████████████████████████████████████████████▎ | 5/11 [00:00<00:01, 4.69it/s][A
55%|███████████████████████████████████████████████████████████████████▋ | 6/11 [00:01<00:01, 4.81it/s][A
64%|██████████████████████████████████████████████████████████████████████████████▉ | 7/11 [00:01<00:00, 4.76it/s][A
73%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 8/11 [00:01<00:00, 4.72it/s][A
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 9/11 [00:01<00:00, 4.43it/s][A
91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 10/11 [00:02<00:00, 4.60it/s][A
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.42it/s][A
[A{'eval_loss': 3.214911460876465, 'eval_runtime': 2.571, 'eval_samples_per_second': 8.557, 'eval_steps_per_second': 4.278, 'memory/max_active (GiB)': 12.13, 'memory/max_allocated (GiB)': 12.13, 'memory/device_reserved (GiB)': 17.46, 'epoch': 1.89}
12%|███████████████▌ | 5/40 [00:20<01:51, 3.19s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.42it/s][A
[A
15%|██████████████████▌ | 6/40 [00:21<01:50, 3.24s/it]
18%|█████████████████████▋ | 7/40 [00:25<01:58, 3.58s/it]
20%|████████████████████████▊ | 8/40 [00:28<01:46, 3.34s/it]
22%|███████████████████████████▉ | 9/40 [00:28<01:15, 2.45s/it]
25%|██████████████████████████████▊ | 10/40 [00:33<01:31, 3.07s/it]
{'loss': 3.1171, 'grad_norm': 8.826162338256836, 'learning_rate': 1.8e-05, 'memory/max_active (GiB)': 15.28, 'memory/max_allocated (GiB)': 15.28, 'memory/device_reserved (GiB)': 16.52, 'tokens_per_second_per_gpu': 453.74, 'epoch': 3.44}
25%|██████████████████████████████▊ | 10/40 [00:33<01:31, 3.07s/it][2025-11-25 02:22:02,136] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:3847] Running evaluation step...
0%| | 0/11 [00:00<?, ?it/s][A
18%|██████████████████████▌ | 2/11 [00:00<00:00, 9.35it/s][A
27%|█████████████████████████████████▊ | 3/11 [00:00<00:01, 6.57it/s][A
36%|█████████████████████████████████████████████ | 4/11 [00:00<00:01, 5.70it/s][A
45%|████████████████████████████████████████████████████████▎ | 5/11 [00:00<00:01, 4.74it/s][A
55%|███████████████████████████████████████████████████████████████████▋ | 6/11 [00:01<00:01, 4.84it/s][A
64%|██████████████████████████████████████████████████████████████████████████████▉ | 7/11 [00:01<00:00, 4.78it/s][A
73%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 8/11 [00:01<00:00, 4.74it/s][A
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 9/11 [00:01<00:00, 4.44it/s][A
91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 10/11 [00:02<00:00, 4.61it/s][A
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.46it/s][A
[A{'eval_loss': 2.9428627490997314, 'eval_runtime': 2.5614, 'eval_samples_per_second': 8.589, 'eval_steps_per_second': 4.295, 'memory/max_active (GiB)': 12.13, 'memory/max_allocated (GiB)': 12.13, 'memory/device_reserved (GiB)': 16.52, 'epoch': 3.44}
25%|██████████████████████████████▊ | 10/40 [00:35<01:31, 3.07s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.46it/s][A
[A
28%|█████████████████████████████████▊ | 11/40 [00:38<01:49, 3.77s/it]
30%|████████████████████████████████████▉ | 12/40 [00:39<01:19, 2.85s/it]
32%|███████████████████████████████████████▉ | 13/40 [00:43<01:28, 3.28s/it]
35%|███████████████████████████████████████████ | 14/40 [00:46<01:21, 3.13s/it]
38%|██████████████████████████████████████████████▏ | 15/40 [00:47<00:58, 2.34s/it]
{'loss': 2.6355, 'grad_norm': 9.603759765625, 'learning_rate': 1.913545457642601e-05, 'memory/max_active (GiB)': 15.28, 'memory/max_allocated (GiB)': 15.28, 'memory/device_reserved (GiB)': 16.52, 'tokens_per_second_per_gpu': 2687.33, 'epoch': 5.0}
38%|██████████████████████████████████████████████▏ | 15/40 [00:47<00:58, 2.34s/it][2025-11-25 02:22:15,792] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:3847] Running evaluation step...
0%| | 0/11 [00:00<?, ?it/s][A
18%|██████████████████████▌ | 2/11 [00:00<00:00, 9.36it/s][A
27%|█████████████████████████████████▊ | 3/11 [00:00<00:01, 6.59it/s][A
36%|█████████████████████████████████████████████ | 4/11 [00:00<00:01, 5.69it/s][A
45%|████████████████████████████████████████████████████████▎ | 5/11 [00:00<00:01, 4.73it/s][A
55%|███████████████████████████████████████████████████████████████████▋ | 6/11 [00:01<00:01, 4.83it/s][A
64%|██████████████████████████████████████████████████████████████████████████████▉ | 7/11 [00:01<00:00, 4.77it/s][A
73%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 8/11 [00:01<00:00, 4.73it/s][A
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 9/11 [00:01<00:00, 4.44it/s][A
91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 10/11 [00:02<00:00, 4.61it/s][A
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.44it/s][A
[A{'eval_loss': 2.639833688735962, 'eval_runtime': 2.5641, 'eval_samples_per_second': 8.58, 'eval_steps_per_second': 4.29, 'memory/max_active (GiB)': 12.13, 'memory/max_allocated (GiB)': 12.13, 'memory/device_reserved (GiB)': 16.52, 'epoch': 5.0}
38%|██████████████████████████████████████████████▏ | 15/40 [00:49<00:58, 2.34s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.44it/s][A
[A
40%|█████████████████████████████████████████████████▏ | 16/40 [00:53<01:29, 3.72s/it]
42%|████████████████████████████████████████████████████▎ | 17/40 [00:56<01:19, 3.44s/it]
45%|███████████████████████████████████████████████████████▎ | 18/40 [00:57<00:56, 2.55s/it]
48%|██████████████████████████████████████████████████████████▍ | 19/40 [01:01<01:04, 3.07s/it]
50%|█████████████████████████████████████████████████████████████▌ | 20/40 [01:04<00:59, 2.98s/it]
{'loss': 2.3752, 'grad_norm': 4.490882873535156, 'learning_rate': 1.5877852522924733e-05, 'memory/max_active (GiB)': 15.28, 'memory/max_allocated (GiB)': 15.28, 'memory/device_reserved (GiB)': 16.52, 'tokens_per_second_per_gpu': 575.3, 'epoch': 6.89}
50%|█████████████████████████████████████████████████████████████▌ | 20/40 [01:04<00:59, 2.98s/it][2025-11-25 02:22:33,042] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:3847] Running evaluation step...
0%| | 0/11 [00:00<?, ?it/s][A
18%|██████████████████████▌ | 2/11 [00:00<00:00, 9.37it/s][A
27%|█████████████████████████████████▊ | 3/11 [00:00<00:01, 6.59it/s][A
36%|█████████████████████████████████████████████ | 4/11 [00:00<00:01, 5.70it/s][A
45%|████████████████████████████████████████████████████████▎ | 5/11 [00:00<00:01, 4.73it/s][A
55%|███████████████████████████████████████████████████████████████████▋ | 6/11 [00:01<00:01, 4.83it/s][A
64%|██████████████████████████████████████████████████████████████████████████████▉ | 7/11 [00:01<00:00, 4.77it/s][A
73%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 8/11 [00:01<00:00, 4.73it/s][A
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 9/11 [00:01<00:00, 4.44it/s][A
91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 10/11 [00:02<00:00, 4.61it/s][A
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.45it/s][A
[A{'eval_loss': 2.5206339359283447, 'eval_runtime': 2.5709, 'eval_samples_per_second': 8.557, 'eval_steps_per_second': 4.279, 'memory/max_active (GiB)': 12.13, 'memory/max_allocated (GiB)': 12.13, 'memory/device_reserved (GiB)': 16.52, 'epoch': 6.89}
50%|█████████████████████████████████████████████████████████████▌ | 20/40 [01:06<00:59, 2.98s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.45it/s][A
[A
52%|████████████████████████████████████████████████████████████████▌ | 21/40 [01:07<00:57, 3.01s/it]
55%|███████████████████████████████████████████████████████████████████▋ | 22/40 [01:11<01:00, 3.38s/it]
57%|██████████████████████████████████████████████████████████████████████▋ | 23/40 [01:14<00:54, 3.20s/it]
60%|█████████████████████████████████████████████████████████████████████████▊ | 24/40 [01:15<00:39, 2.47s/it]
62%|████████████████████████████████████████████████████████████████████████████▉ | 25/40 [01:19<00:45, 3.00s/it]
{'loss': 2.1869, 'grad_norm': 3.118549346923828, 'learning_rate': 1.1045284632676535e-05, 'memory/max_active (GiB)': 15.28, 'memory/max_allocated (GiB)': 15.28, 'memory/device_reserved (GiB)': 16.52, 'tokens_per_second_per_gpu': 447.65, 'epoch': 8.44}
62%|████████████████████████████████████████████████████████████████████████████▉ | 25/40 [01:19<00:45, 3.00s/it][2025-11-25 02:22:48,145] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:3847] Running evaluation step...
0%| | 0/11 [00:00<?, ?it/s][A
18%|██████████████████████▌ | 2/11 [00:00<00:00, 9.37it/s][A
27%|█████████████████████████████████▊ | 3/11 [00:00<00:01, 6.59it/s][A
36%|█████████████████████████████████████████████ | 4/11 [00:00<00:01, 5.70it/s][A
45%|████████████████████████████████████████████████████████▎ | 5/11 [00:00<00:01, 4.72it/s][A
55%|███████████████████████████████████████████████████████████████████▋ | 6/11 [00:01<00:01, 4.82it/s][A
64%|██████████████████████████████████████████████████████████████████████████████▉ | 7/11 [00:01<00:00, 4.76it/s][A
73%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 8/11 [00:01<00:00, 4.73it/s][A
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 9/11 [00:01<00:00, 4.44it/s][A
91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 10/11 [00:02<00:00, 4.61it/s][A
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.44it/s][A
[A{'eval_loss': 2.446424961090088, 'eval_runtime': 2.572, 'eval_samples_per_second': 8.554, 'eval_steps_per_second': 4.277, 'memory/max_active (GiB)': 12.13, 'memory/max_allocated (GiB)': 12.13, 'memory/device_reserved (GiB)': 16.52, 'epoch': 8.44}
62%|████████████████████████████████████████████████████████████████████████████▉ | 25/40 [01:21<00:45, 3.00s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.44it/s][A
[A
65%|███████████████████████████████████████████████████████████████████████████████▉ | 26/40 [01:24<00:52, 3.74s/it]
68%|███████████████████████████████████████████████████████████████████████████████████ | 27/40 [01:25<00:35, 2.77s/it]
70%|██████████████████████████████████████████████████████████████████████████████████████ | 28/40 [01:29<00:38, 3.24s/it]
72%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 29/40 [01:32<00:34, 3.10s/it]
75%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/40 [01:33<00:23, 2.32s/it]
{'loss': 2.0751, 'grad_norm': 7.509883880615234, 'learning_rate': 5.932633569242e-06, 'memory/max_active (GiB)': 15.28, 'memory/max_allocated (GiB)': 15.28, 'memory/device_reserved (GiB)': 16.52, 'tokens_per_second_per_gpu': 2704.46, 'epoch': 10.0}
75%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/40 [01:33<00:23, 2.32s/it][2025-11-25 02:23:01,739] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:3847] Running evaluation step...
0%| | 0/11 [00:00<?, ?it/s][A
18%|██████████████████████▌ | 2/11 [00:00<00:00, 9.37it/s][A
27%|█████████████████████████████████▊ | 3/11 [00:00<00:01, 6.58it/s][A
36%|█████████████████████████████████████████████ | 4/11 [00:00<00:01, 5.69it/s][A
45%|████████████████████████████████████████████████████████▎ | 5/11 [00:00<00:01, 4.75it/s][A
55%|███████████████████████████████████████████████████████████████████▋ | 6/11 [00:01<00:01, 4.84it/s][A
64%|██████████████████████████████████████████████████████████████████████████████▉ | 7/11 [00:01<00:00, 4.78it/s][A
73%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 8/11 [00:01<00:00, 4.74it/s][A
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 9/11 [00:01<00:00, 4.42it/s][A
91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 10/11 [00:02<00:00, 4.61it/s][A
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.42it/s][A
[A{'eval_loss': 2.41866397857666, 'eval_runtime': 2.5749, 'eval_samples_per_second': 8.544, 'eval_steps_per_second': 4.272, 'memory/max_active (GiB)': 12.13, 'memory/max_allocated (GiB)': 12.13, 'memory/device_reserved (GiB)': 16.52, 'epoch': 10.0}
75%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 30/40 [01:35<00:23, 2.32s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.42it/s][A
[A
78%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 31/40 [01:39<00:33, 3.68s/it]
80%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 32/40 [01:42<00:27, 3.42s/it]
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 33/40 [01:43<00:17, 2.54s/it]
85%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 34/40 [01:47<00:18, 3.06s/it]
88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/40 [01:50<00:14, 2.98s/it]
{'loss': 2.0616, 'grad_norm': 3.0285682678222656, 'learning_rate': 1.9098300562505266e-06, 'memory/max_active (GiB)': 15.28, 'memory/max_allocated (GiB)': 15.28, 'memory/device_reserved (GiB)': 16.52, 'tokens_per_second_per_gpu': 575.33, 'epoch': 11.89}
88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/40 [01:50<00:14, 2.98s/it][2025-11-25 02:23:18,936] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:3847] Running evaluation step...
0%| | 0/11 [00:00<?, ?it/s][A
18%|██████████████████████▌ | 2/11 [00:00<00:00, 9.34it/s][A
27%|█████████████████████████████████▊ | 3/11 [00:00<00:01, 6.57it/s][A
36%|█████████████████████████████████████████████ | 4/11 [00:00<00:01, 5.70it/s][A
45%|████████████████████████████████████████████████████████▎ | 5/11 [00:00<00:01, 4.73it/s][A
55%|███████████████████████████████████████████████████████████████████▋ | 6/11 [00:01<00:01, 4.84it/s][A
64%|██████████████████████████████████████████████████████████████████████████████▉ | 7/11 [00:01<00:00, 4.78it/s][A
73%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 8/11 [00:01<00:00, 4.73it/s][A
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 9/11 [00:01<00:00, 4.45it/s][A
91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 10/11 [00:02<00:00, 4.61it/s][A
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.45it/s][A
[A{'eval_loss': 2.40836238861084, 'eval_runtime': 2.5669, 'eval_samples_per_second': 8.571, 'eval_steps_per_second': 4.285, 'memory/max_active (GiB)': 12.13, 'memory/max_allocated (GiB)': 12.13, 'memory/device_reserved (GiB)': 16.52, 'epoch': 11.89}
88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 35/40 [01:52<00:14, 2.98s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.45it/s][A
[A
90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 36/40 [01:53<00:12, 3.01s/it]
92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 37/40 [01:57<00:10, 3.38s/it]
95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 38/40 [02:00<00:06, 3.20s/it]
98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 39/40 [02:00<00:02, 2.39s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [02:05<00:00, 2.94s/it]
{'loss': 2.0263, 'grad_norm': 3.364469528198242, 'learning_rate': 5.4781046317267103e-08, 'memory/max_active (GiB)': 15.28, 'memory/max_allocated (GiB)': 15.28, 'memory/device_reserved (GiB)': 16.52, 'tokens_per_second_per_gpu': 447.5, 'epoch': 13.44}
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [02:05<00:00, 2.94s/it][2025-11-25 02:23:33,780] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:3847] Running evaluation step...
0%| | 0/11 [00:00<?, ?it/s][A
18%|██████████████████████▌ | 2/11 [00:00<00:00, 9.37it/s][A
27%|█████████████████████████████████▊ | 3/11 [00:00<00:01, 6.59it/s][A
36%|█████████████████████████████████████████████ | 4/11 [00:00<00:01, 5.71it/s][A
45%|████████████████████████████████████████████████████████▎ | 5/11 [00:00<00:01, 4.75it/s][A
55%|███████████████████████████████████████████████████████████████████▋ | 6/11 [00:01<00:01, 4.84it/s][A
64%|██████████████████████████████████████████████████████████████████████████████▉ | 7/11 [00:01<00:00, 4.78it/s][A
73%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 8/11 [00:01<00:00, 4.74it/s][A
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 9/11 [00:01<00:00, 4.45it/s][A
91%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 10/11 [00:02<00:00, 4.62it/s][A
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.45it/s][A
[A{'eval_loss': 2.39176344871521, 'eval_runtime': 2.5947, 'eval_samples_per_second': 8.479, 'eval_steps_per_second': 4.239, 'memory/max_active (GiB)': 12.13, 'memory/max_allocated (GiB)': 12.13, 'memory/device_reserved (GiB)': 16.52, 'epoch': 13.44}
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [02:07<00:00, 2.94s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11/11 [00:02<00:00, 4.45it/s][A
[A[2025-11-25 02:23:36,386] [INFO] [axolotl.core.trainers.base._save:671] [PID:3847] Saving model checkpoint to ./outputs/astrid-llama-8b/checkpoint-40
{'train_runtime': 201.3407, 'train_samples_per_second': 1.589, 'train_steps_per_second': 0.199, 'train_loss': 2.4562901735305784, 'memory/max_active (GiB)': 8.18, 'memory/max_allocated (GiB)': 8.18, 'memory/device_reserved (GiB)': 13.22, 'epoch': 13.44}
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [03:21<00:00, 2.94s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 40/40 [03:21<00:00, 5.03s/it]
[2025-11-25 02:24:50,146] [INFO] [axolotl.train.save_trained_model:218] [PID:3847] Training completed! Saving trained model to ./outputs/astrid-llama-8b.
[2025-11-25 02:24:52,766] [INFO] [axolotl.train.save_trained_model:336] [PID:3847] Model successfully saved to ./outputs/astrid-llama-8b
|