File size: 139,835 Bytes
97e1511 57e808e 97e1511 7fc9dfd 97e1511 57e808e 97e1511 57e808e 97e1511 57e808e 97e1511 57e808e 97e1511 57e808e 7fc9dfd 57e808e 97e1511 57e808e 97e1511 57e808e 97e1511 57e808e 97e1511 7fc9dfd 97e1511 7fc9dfd 97e1511 7fc9dfd 97e1511 7fc9dfd 97e1511 57e808e 97e1511 57e808e 7fc9dfd 97e1511 57e808e 97e1511 57e808e 97e1511 7fc9dfd 97e1511 7fc9dfd 97e1511 7fc9dfd 97e1511 7fc9dfd 97e1511 7fc9dfd 57e808e 97e1511 57e808e 97e1511 57e808e 97e1511 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 | [2025-12-27 21:18:07,941] [DEBUG] [axolotl.utils.config.resolve_dtype:66] [PID:122677] bf16 support detected, enabling for this configuration.
config.json: 0.00B [00:00, ?B/s]
config.json: 1.54kB [00:00, 6.02MB/s]
[2025-12-27 21:18:08,103] [DEBUG] [axolotl.utils.config.log_gpu_memory_usage:127] [PID:122677] baseline 0.000GB ()
[2025-12-27 21:18:08,106] [INFO] [axolotl.cli.config.load_cfg:248] [PID:122677] config:
{
"activation_offloading": false,
"adapter": "lora",
"axolotl_config_path": "config.yaml",
"base_model": "BKM1804/affine-he-CIVICbeatPORSCHE",
"base_model_config": "BKM1804/affine-he-CIVICbeatPORSCHE",
"batch_size": 128,
"bf16": true,
"capabilities": {
"bf16": true,
"compute_capability": "sm_90",
"fp8": false,
"n_gpu": 1,
"n_node": 1
},
"context_parallel_size": 1,
"dataloader_num_workers": 1,
"dataloader_pin_memory": true,
"dataloader_prefetch_factor": 256,
"dataset_processes": 18,
"datasets": [
{
"chat_template": "tokenizer_default",
"field_messages": "messages",
"message_property_mappings": {
"content": "content",
"role": "role"
},
"path": "/workspace/fine-tuning/dataset/train_qwen3_lgc.jsonl",
"split": "train",
"trust_remote_code": false,
"type": "chat_template"
}
],
"ddp": false,
"device": "cuda:0",
"dion_rank_fraction": 1.0,
"dion_rank_multiple_of": 1,
"env_capabilities": {
"torch_version": "2.7.1"
},
"eval_batch_size": 2,
"eval_causal_lm_metrics": [
"sacrebleu",
"comet",
"ter",
"chrf"
],
"eval_max_new_tokens": 128,
"eval_table_size": 0,
"experimental_skip_move_to_device": true,
"fp16": false,
"gradient_accumulation_steps": 64,
"gradient_checkpointing": false,
"include_tkps": true,
"learning_rate": 2e-06,
"lisa_layers_attribute": "model.layers",
"load_best_model_at_end": false,
"load_in_4bit": false,
"load_in_8bit": true,
"local_rank": 0,
"lora_alpha": 64,
"lora_dropout": 0.05,
"lora_r": 32,
"lora_target_modules": [
"q_proj",
"v_proj",
"k_proj",
"o_proj",
"gate_proj",
"down_proj",
"up_proj"
],
"loraplus_lr_embedding": 1e-06,
"lr_scheduler": "cosine",
"mean_resizing_embeddings": false,
"micro_batch_size": 2,
"model_config_type": "qwen3",
"num_epochs": 3.0,
"optimizer": "adamw_bnb_8bit",
"output_dir": "./outputs/mymodel",
"pretrain_multipack_attn": true,
"profiler_steps_start": 0,
"qlora_sharded_model_loading": false,
"ray_num_workers": 1,
"resources_per_worker": {
"GPU": 1
},
"sample_packing_bin_size": 200,
"sample_packing_group_size": 100000,
"save_only_model": false,
"save_safetensors": true,
"sequence_len": 4096,
"shuffle_before_merging_datasets": false,
"shuffle_merged_datasets": true,
"skip_prepare_dataset": false,
"streaming_multipack_buffer_size": 10000,
"strict": false,
"tensor_parallel_size": 1,
"tiled_mlp_use_original_mlp": true,
"tokenizer_config": "BKM1804/affine-he-CIVICbeatPORSCHE",
"tokenizer_save_jinja_files": true,
"torch_dtype": "torch.bfloat16",
"train_on_inputs": false,
"trl": {
"log_completions": false,
"mask_truncated_completions": false,
"ref_model_mixup_alpha": 0.9,
"ref_model_sync_steps": 64,
"scale_rewards": true,
"sync_ref_model": false,
"use_vllm": false,
"vllm_server_host": "0.0.0.0",
"vllm_server_port": 8000
},
"use_ray": false,
"val_set_size": 0.0,
"vllm": {
"device": "auto",
"dtype": "auto",
"gpu_memory_utilization": 0.9,
"host": "0.0.0.0",
"port": 8000
},
"weight_decay": 0.0,
"world_size": 1
}
tokenizer_config.json: 0.00B [00:00, ?B/s]
tokenizer_config.json: 5.40kB [00:00, 22.8MB/s]
vocab.json: 0.00B [00:00, ?B/s]
vocab.json: 32.8kB [00:00, 297kB/s]
vocab.json: 1.66MB [00:00, 7.30MB/s]
vocab.json: 2.78MB [00:00, 10.2MB/s]
merges.txt: 0.00B [00:00, ?B/s]
merges.txt: 43.4kB [00:00, 357kB/s]
merges.txt: 1.67MB [00:00, 8.66MB/s]
tokenizer.json: 0%| | 0.00/11.4M [00:00<?, ?B/s]
tokenizer.json: 3%|███▎ | 329k/11.4M [00:00<00:16, 682kB/s]
tokenizer.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11.4M/11.4M [00:00<00:00, 25.0MB/s]
tokenizer.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 11.4M/11.4M [00:00<00:00, 19.1MB/s]
added_tokens.json: 0%| | 0.00/707 [00:00<?, ?B/s]
added_tokens.json: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 707/707 [00:00<00:00, 5.99MB/s]
special_tokens_map.json: 0%| | 0.00/613 [00:00<?, ?B/s]
special_tokens_map.json: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 613/613 [00:00<00:00, 4.94MB/s]
chat_template.jinja: 0.00B [00:00, ?B/s]
chat_template.jinja: 4.93kB [00:00, 23.1MB/s]
[2025-12-27 21:18:10,826] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:278] [PID:122677] EOS: 151645 / <|im_end|>
[2025-12-27 21:18:10,827] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:279] [PID:122677] BOS: None / None
[2025-12-27 21:18:10,828] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:280] [PID:122677] PAD: 151643 / <|endoftext|>
[2025-12-27 21:18:10,828] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:281] [PID:122677] UNK: None / None
[2025-12-27 21:18:10,829] [INFO] [axolotl.utils.data.shared.load_preprocessed_dataset:476] [PID:122677] Unable to find prepared dataset in last_run_prepared/f6b60198703671e2d2150636511428c1
[2025-12-27 21:18:10,829] [INFO] [axolotl.utils.data.sft._load_raw_datasets:320] [PID:122677] Loading raw datasets...
[2025-12-27 21:18:10,829] [WARNING] [axolotl.utils.data.sft._load_raw_datasets:322] [PID:122677] Processing datasets during training can lead to VRAM instability. Please pre-process your dataset using `axolotl preprocess path/to/config.yml`.
[2025-12-27 21:18:10,933] [INFO] [axolotl.utils.data.wrappers.get_dataset_wrapper:87] [PID:122677] Loading dataset: /workspace/fine-tuning/dataset/train_qwen3_lgc.jsonl with base_type: chat_template and prompt_style: None
[2025-12-27 21:18:10,935] [INFO] [axolotl.prompt_strategies.chat_template.__call__:969] [PID:122677] Using chat template:
---
{%- set ns = namespace(last_query_index=-1) %}
{%- for message in messages %}
{%- if message.role == "user" %}
{%- set ns.last_query_index = loop.index0 %}
{%- endif %}
{%- endfor %}
{%- if tools %}
{{- '<|im_start|>system\n' }}
{%- if messages[0].role == 'system' %}
{{- messages[0].content + '\n\n' }}
{%- endif %}
{{- "# Tools\n\nYou may call one or more functions to assist with the user query.\n\nYou are provided with function signatures within <tools></tools> XML tags:\n<tools>" }}
{%- for tool in tools %}
{{- "\n" }}
{{- tool | tojson }}
{%- endfor %}
{{- "\n</tools>\n\nFor each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:\n<tool_call>\n{\"name\": <function-name>, \"arguments\": <args-json-object>}\n</tool_call><|im_end|>\n" }}
{%- else %}
{%- if messages[0].role == 'system' %}
{{- '<|im_start|>system\n' + messages[0].content + '<|im_end|>\n' }}
{%- endif %}
{%- endif %}
{%- for message in messages %}
{%- if message.content is string %}
{%- set content = message.content %}
{%- else %}
{%- set content = '' %}
{%- endif %}
{%- if (message.role == "user") or (message.role == "system" and not loop.first) %}
{{- '<|im_start|>' + message.role + '\n' + content + '<|im_end|>' + '\n' }}
{%- elif message.role == "assistant" %}
{%- set has_loss = (message.loss is defined and message.loss) %}
{%- set reasoning_content = '' %}
{%- if message.reasoning_content is string %}
{%- set reasoning_content = message.reasoning_content %}
{%- else %}
{%- if '</think>' in content %}
{%- set reasoning_content = content.split('</think>')[0].rstrip('\n').split('<think>')[-1].lstrip('\n') %}
{%- set content = content.split('</think>')[-1].lstrip('\n') %}
{%- endif %}
{%- endif %}
{{- '<|im_start|>' + message.role + '\n' }}
{%- if has_loss -%}
{%- generation -%}
{%- if loop.index0 > ns.last_query_index and reasoning_content %}
{{- '<think>\n' + reasoning_content.strip('\n') + '\n</think>\n\n' + content.lstrip('\n') }}
{%- else %}
{{- content }}
{%- endif %}
{%- if message.tool_calls %}
{%- for tool_call in message.tool_calls %}
{%- if (loop.first and content) or (not loop.first) %}
{{- '\n' }}
{%- endif %}
{%- if tool_call.function %}
{%- set tool_call = tool_call.function %}
{%- endif %}
{{- '<tool_call>\n{"name": "' }}
{{- tool_call.name }}
{{- '", "arguments": ' }}
{%- if tool_call.arguments is string %}
{{- tool_call.arguments }}
{%- else %}
{{- tool_call.arguments | tojson }}
{%- endif %}
{{- '}\n</tool_call>' }}
{%- endfor %}
{%- endif %}
{{- '<|im_end|>' }}
{%- endgeneration -%}
{{- '\n' }}
{%- else -%}
{%- if loop.index0 > ns.last_query_index and reasoning_content %}
{{- '<think>\n' + reasoning_content.strip('\n') + '\n</think>\n\n' + content.lstrip('\n') }}
{%- else %}
{{- content }}
{%- endif %}
{%- if message.tool_calls %}
{%- for tool_call in message.tool_calls %}
{%- if (loop.first and content) or (not loop.first) %}
{{- '\n' }}
{%- endif %}
{%- if tool_call.function %}
{%- set tool_call = tool_call.function %}
{%- endif %}
{{- '<tool_call>\n{"name": "' }}
{{- tool_call.name }}
{{- '", "arguments": ' }}
{%- if tool_call.arguments is string %}
{{- tool_call.arguments }}
{%- else %}
{{- tool_call.arguments | tojson }}
{%- endif %}
{{- '}\n</tool_call>' }}
{%- endfor %}
{%- endif %}
{{- '<|im_end|>\n' }}
{%- endif %}
{%- elif message.role == "tool" %}
{%- if loop.first or (messages[loop.index0 - 1].role != "tool") %}
{{- '<|im_start|>user' }}
{%- endif %}
{{- '\n<tool_response>\n' }}
{{- content }}
{{- '\n</tool_response>' }}
{%- if loop.last or (messages[loop.index0 + 1].role != "tool") %}
{{- '<|im_end|>\n' }}
{%- endif %}
{%- endif %}
{%- endfor %}
{%- if add_generation_prompt %}
{{- '<|im_start|>assistant\n' }}
{%- endif %}
---
Tokenizing Prompts (num_proc=18): 0%| | 0/3494 [00:00<?, ? examples/s]
Tokenizing Prompts (num_proc=18): 6%|████▊ | 195/3494 [00:01<00:18, 179.32 examples/s]
Tokenizing Prompts (num_proc=18): 11%|█████████▋ | 390/3494 [00:01<00:08, 380.73 examples/s]
Tokenizing Prompts (num_proc=18): 17%|██████████████▌ | 584/3494 [00:01<00:04, 583.45 examples/s]
Tokenizing Prompts (num_proc=18): 28%|███████████████████████▉ | 972/3494 [00:01<00:02, 1112.10 examples/s]
Tokenizing Prompts (num_proc=18): 39%|█████████████████████████████████ | 1360/3494 [00:01<00:01, 1564.38 examples/s]
Tokenizing Prompts (num_proc=18): 50%|██████████████████████████████████████████▌ | 1748/3494 [00:01<00:00, 2022.08 examples/s]
Tokenizing Prompts (num_proc=18): 61%|███████████████████████████████████████████████████▉ | 2136/3494 [00:01<00:00, 1942.13 examples/s]
Tokenizing Prompts (num_proc=18): 89%|███████████████████████████████████████████████████████████████████████████▌ | 3106/3494 [00:02<00:00, 3193.48 examples/s]
Tokenizing Prompts (num_proc=18): 100%|█████████████████████████████████████████████████████████████████████████████████████| 3494/3494 [00:02<00:00, 2646.33 examples/s]
Tokenizing Prompts (num_proc=18): 100%|█████████████████████████████████████████████████████████████████████████████████████| 3494/3494 [00:02<00:00, 1446.93 examples/s]
[2025-12-27 21:18:13,494] [INFO] [axolotl.utils.data.utils.handle_long_seq_in_dataset:218] [PID:122677] min_input_len: 64
[2025-12-27 21:18:13,494] [INFO] [axolotl.utils.data.utils.handle_long_seq_in_dataset:220] [PID:122677] max_input_len: 24840
Dropping Long Sequences (>4096) (num_proc=18): 0%| | 0/3494 [00:00<?, ? examples/s]
Dropping Long Sequences (>4096) (num_proc=18): 6%|████▏ | 195/3494 [00:00<00:05, 564.88 examples/s]
Dropping Long Sequences (>4096) (num_proc=18): 100%|████████████████████████████████████████████████████████████████████████| 3494/3494 [00:00<00:00, 6342.01 examples/s]
[2025-12-27 21:18:14,100] [WARNING] [axolotl.utils.data.utils.handle_long_seq_in_dataset:260] [PID:122677] Dropped 49 samples from dataset
Saving the dataset (0/13 shards): 0%| | 0/3445 [00:00<?, ? examples/s]
Saving the dataset (0/13 shards): 8%|██████▋ | 265/3445 [00:00<00:03, 901.51 examples/s]
Saving the dataset (1/13 shards): 8%|██████▋ | 265/3445 [00:00<00:03, 901.51 examples/s]
Saving the dataset (2/13 shards): 15%|█████████████▍ | 530/3445 [00:00<00:03, 901.51 examples/s]
Saving the dataset (3/13 shards): 23%|████████████████████ | 795/3445 [00:00<00:02, 901.51 examples/s]
Saving the dataset (4/13 shards): 31%|██████████████████████████▍ | 1060/3445 [00:00<00:02, 901.51 examples/s]
Saving the dataset (5/13 shards): 38%|█████████████████████████████████ | 1325/3445 [00:00<00:02, 901.51 examples/s]
Saving the dataset (6/13 shards): 46%|███████████████████████████████████████▋ | 1590/3445 [00:00<00:02, 901.51 examples/s]
Saving the dataset (7/13 shards): 54%|██████████████████████████████████████████████▎ | 1855/3445 [00:00<00:01, 901.51 examples/s]
Saving the dataset (8/13 shards): 62%|████████████████████████████████████████████████████▉ | 2120/3445 [00:00<00:01, 901.51 examples/s]
Saving the dataset (9/13 shards): 69%|███████████████████████████████████████████████████████████▌ | 2385/3445 [00:00<00:01, 901.51 examples/s]
Saving the dataset (10/13 shards): 77%|█████████████████████████████████████████████████████████████████▍ | 2650/3445 [00:00<00:00, 901.51 examples/s]
Saving the dataset (11/13 shards): 85%|███████████████████████████████████████████████████████████████████████▉ | 2915/3445 [00:00<00:00, 901.51 examples/s]
Saving the dataset (12/13 shards): 92%|██████████████████████████████████████████████████████████████████████████████▍ | 3180/3445 [00:00<00:00, 901.51 examples/s]
Saving the dataset (13/13 shards): 100%|█████████████████████████████████████████████████████████████████████████████████████| 3445/3445 [00:00<00:00, 901.51 examples/s]
Saving the dataset (13/13 shards): 100%|████████████████████████████████████████████████████████████████████████████████████| 3445/3445 [00:00<00:00, 8496.02 examples/s]
[2025-12-27 21:18:14,663] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:404] [PID:122677] total_num_tokens: 1_863_059
[2025-12-27 21:18:14,695] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:422] [PID:122677] `total_supervised_tokens: 888_884`
[2025-12-27 21:18:14,695] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:520] [PID:122677] total_num_steps: 81
[2025-12-27 21:18:14,696] [INFO] [axolotl.utils.data.sft._prepare_standard_dataset:121] [PID:122677] Maximum number of steps set at 81
[2025-12-27 21:18:14,722] [DEBUG] [axolotl.train.setup_model_and_tokenizer:65] [PID:122677] Loading tokenizer... BKM1804/affine-he-CIVICbeatPORSCHE
[2025-12-27 21:18:15,206] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:278] [PID:122677] EOS: 151645 / <|im_end|>
[2025-12-27 21:18:15,207] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:279] [PID:122677] BOS: None / None
[2025-12-27 21:18:15,207] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:280] [PID:122677] PAD: 151643 / <|endoftext|>
[2025-12-27 21:18:15,207] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:281] [PID:122677] UNK: None / None
[2025-12-27 21:18:15,208] [DEBUG] [axolotl.train.setup_model_and_tokenizer:74] [PID:122677] Loading model
[2025-12-27 21:18:15,257] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_evaluation_loop:87] [PID:122677] Patched Trainer.evaluation_loop with nanmean loss calculation
[2025-12-27 21:18:15,258] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_maybe_log_save_evaluate:138] [PID:122677] Patched Trainer._maybe_log_save_evaluate with nanmean loss calculation
model.safetensors.index.json: 0.00B [00:00, ?B/s]
model.safetensors.index.json: 32.9kB [00:00, 88.3MB/s]
model-00001-of-00002.safetensors: 0%| | 0.00/4.97G [00:00<?, ?B/s]
model-00001-of-00002.safetensors: 0%| | 680k/4.97G [00:00<2:00:53, 685kB/s]
model-00001-of-00002.safetensors: 0%| | 2.84M/4.97G [00:01<39:57, 2.07MB/s]
model-00001-of-00002.safetensors: 1%|█▎ | 70.5M/4.97G [00:01<01:22, 59.1MB/s]
model-00001-of-00002.safetensors: 3%|██▌ | 138M/4.97G [00:02<00:49, 98.0MB/s]
model-00001-of-00002.safetensors: 4%|███▉ | 205M/4.97G [00:02<00:33, 141MB/s]
model-00001-of-00002.safetensors: 5%|█████▏ | 272M/4.97G [00:02<00:25, 185MB/s]
model-00001-of-00002.safetensors: 7%|██████▍ | 339M/4.97G [00:02<00:20, 222MB/s]
model-00001-of-00002.safetensors: 8%|███████▊ | 406M/4.97G [00:03<00:19, 235MB/s]
model-00001-of-00002.safetensors: 10%|█████████ | 473M/4.97G [00:03<00:20, 225MB/s]
model-00001-of-00002.safetensors: 11%|██████████▎ | 540M/4.97G [00:03<00:20, 215MB/s]
model-00001-of-00002.safetensors: 12%|███████████▌ | 607M/4.97G [00:04<00:20, 210MB/s]
model-00001-of-00002.safetensors: 14%|████████████▉ | 674M/4.97G [00:04<00:20, 209MB/s]
model-00001-of-00002.safetensors: 15%|██████████████▏ | 741M/4.97G [00:04<00:17, 237MB/s]
model-00001-of-00002.safetensors: 16%|███████████████▍ | 808M/4.97G [00:04<00:15, 262MB/s]
model-00001-of-00002.safetensors: 18%|████████████████▋ | 875M/4.97G [00:04<00:14, 286MB/s]
model-00001-of-00002.safetensors: 19%|██████████████████ | 942M/4.97G [00:05<00:13, 294MB/s]
model-00001-of-00002.safetensors: 20%|███████████████████ | 1.01G/4.97G [00:05<00:15, 260MB/s]
model-00001-of-00002.safetensors: 22%|████████████████████▎ | 1.08G/4.97G [00:05<00:16, 237MB/s]
model-00001-of-00002.safetensors: 23%|█████████████████████▋ | 1.14G/4.97G [00:06<00:15, 251MB/s]
model-00001-of-00002.safetensors: 24%|██████████████████████▉ | 1.21G/4.97G [00:06<00:14, 262MB/s]
model-00001-of-00002.safetensors: 26%|████████████████████████▏ | 1.28G/4.97G [00:06<00:12, 289MB/s]
model-00001-of-00002.safetensors: 27%|█████████████████████████▍ | 1.34G/4.97G [00:06<00:12, 283MB/s]
model-00001-of-00002.safetensors: 28%|██████████████████████████▋ | 1.41G/4.97G [00:06<00:11, 298MB/s]
model-00001-of-00002.safetensors: 30%|███████████████████████████▉ | 1.48G/4.97G [00:07<00:10, 334MB/s]
model-00001-of-00002.safetensors: 31%|█████████████████████████████▎ | 1.55G/4.97G [00:07<00:10, 318MB/s]
model-00001-of-00002.safetensors: 32%|██████████████████████████████▌ | 1.61G/4.97G [00:07<00:12, 265MB/s]
model-00001-of-00002.safetensors: 34%|███████████████████████████████▊ | 1.68G/4.97G [00:07<00:11, 287MB/s]
model-00001-of-00002.safetensors: 35%|█████████████████████████████████ | 1.75G/4.97G [00:08<00:11, 291MB/s]
model-00001-of-00002.safetensors: 36%|██████████████████████████████████▎ | 1.81G/4.97G [00:08<00:10, 290MB/s]
model-00001-of-00002.safetensors: 38%|███████████████████████████████████▌ | 1.88G/4.97G [00:08<00:10, 301MB/s]
model-00001-of-00002.safetensors: 39%|████████████████████████████████████▊ | 1.95G/4.97G [00:08<00:09, 305MB/s]
model-00001-of-00002.safetensors: 41%|██████████████████████████████████████ | 2.01G/4.97G [00:08<00:08, 333MB/s]
model-00001-of-00002.safetensors: 42%|███████████████████████████████████████▍ | 2.08G/4.97G [00:09<00:08, 346MB/s]
model-00001-of-00002.safetensors: 43%|████████████████████████████████████████▋ | 2.15G/4.97G [00:09<00:07, 353MB/s]
model-00001-of-00002.safetensors: 45%|█████████████████████████████████████████▉ | 2.22G/4.97G [00:09<00:07, 356MB/s]
model-00001-of-00002.safetensors: 46%|███████████████████████████████████████████▏ | 2.28G/4.97G [00:09<00:07, 343MB/s]
model-00001-of-00002.safetensors: 47%|████████████████████████████████████████████▍ | 2.35G/4.97G [00:09<00:07, 340MB/s]
model-00001-of-00002.safetensors: 49%|█████████████████████████████████████████████▋ | 2.42G/4.97G [00:10<00:07, 320MB/s]
model-00001-of-00002.safetensors: 50%|██████████████████████████████████████████████▉ | 2.48G/4.97G [00:10<00:07, 336MB/s]
model-00001-of-00002.safetensors: 51%|████████████████████████████████████████████████▎ | 2.55G/4.97G [00:10<00:07, 335MB/s]
model-00001-of-00002.safetensors: 53%|█████████████████████████████████████████████████▌ | 2.62G/4.97G [00:10<00:07, 295MB/s]
model-00001-of-00002.safetensors: 54%|██████████████████████████████████████████████████▊ | 2.68G/4.97G [00:10<00:07, 310MB/s]
model-00001-of-00002.safetensors: 55%|████████████████████████████████████████████████████ | 2.75G/4.97G [00:11<00:07, 309MB/s]
model-00001-of-00002.safetensors: 57%|█████████████████████████████████████████████████████▎ | 2.82G/4.97G [00:11<00:06, 308MB/s]
model-00001-of-00002.safetensors: 58%|██████████████████████████████████████████████████████▌ | 2.89G/4.97G [00:11<00:06, 330MB/s]
model-00001-of-00002.safetensors: 59%|███████████████████████████████████████████████████████▉ | 2.95G/4.97G [00:11<00:05, 344MB/s]
model-00001-of-00002.safetensors: 61%|█████████████████████████████████████████████████████████▏ | 3.02G/4.97G [00:11<00:05, 355MB/s]
model-00001-of-00002.safetensors: 62%|██████████████████████████████████████████████████████████▍ | 3.09G/4.97G [00:12<00:05, 360MB/s]
model-00001-of-00002.safetensors: 64%|███████████████████████████████████████████████████████████▋ | 3.15G/4.97G [00:12<00:06, 282MB/s]
model-00001-of-00002.safetensors: 65%|████████████████████████████████████████████████████████████▉ | 3.22G/4.97G [00:12<00:05, 312MB/s]
model-00001-of-00002.safetensors: 66%|██████████████████████████████████████████████████████████████▏ | 3.29G/4.97G [00:12<00:05, 334MB/s]
model-00001-of-00002.safetensors: 68%|███████████████████████████████████████████████████████████████▌ | 3.36G/4.97G [00:13<00:06, 253MB/s]
model-00001-of-00002.safetensors: 69%|████████████████████████████████████████████████████████████████▊ | 3.43G/4.97G [00:13<00:05, 259MB/s]
model-00001-of-00002.safetensors: 70%|██████████████████████████████████████████████████████████████████ | 3.49G/4.97G [00:13<00:05, 264MB/s]
model-00001-of-00002.safetensors: 72%|███████████████████████████████████████████████████████████████████▍ | 3.56G/4.97G [00:13<00:05, 274MB/s]
model-00001-of-00002.safetensors: 73%|████████████████████████████████████████████████████████████████████▋ | 3.63G/4.97G [00:14<00:05, 260MB/s]
model-00001-of-00002.safetensors: 74%|█████████████████████████████████████████████████████████████████████▉ | 3.70G/4.97G [00:14<00:04, 256MB/s]
model-00001-of-00002.safetensors: 76%|███████████████████████████████████████████████████████████████████████▎ | 3.77G/4.97G [00:14<00:04, 274MB/s]
model-00001-of-00002.safetensors: 77%|████████████████████████████████████████████████████████████████████████▍ | 3.83G/4.97G [00:14<00:03, 296MB/s]
model-00001-of-00002.safetensors: 78%|█████████████████████████████████████████████████████████████████████████▊ | 3.90G/4.97G [00:15<00:03, 317MB/s]
model-00001-of-00002.safetensors: 80%|███████████████████████████████████████████████████████████████████████████ | 3.96G/4.97G [00:15<00:03, 319MB/s]
model-00001-of-00002.safetensors: 81%|████████████████████████████████████████████████████████████████████████████▎ | 4.03G/4.97G [00:15<00:02, 324MB/s]
model-00001-of-00002.safetensors: 83%|█████████████████████████████████████████████████████████████████████████████▌ | 4.10G/4.97G [00:15<00:02, 335MB/s]
model-00001-of-00002.safetensors: 84%|██████████████████████████████████████████████████████████████████████████████▊ | 4.17G/4.97G [00:15<00:02, 321MB/s]
model-00001-of-00002.safetensors: 85%|████████████████████████████████████████████████████████████████████████████████ | 4.23G/4.97G [00:16<00:02, 313MB/s]
model-00001-of-00002.safetensors: 87%|█████████████████████████████████████████████████████████████████████████████████▎ | 4.30G/4.97G [00:16<00:02, 311MB/s]
model-00001-of-00002.safetensors: 88%|██████████████████████████████████████████████████████████████████████████████████▋ | 4.37G/4.97G [00:16<00:02, 299MB/s]
model-00001-of-00002.safetensors: 89%|███████████████████████████████████████████████████████████████████████████████████▉ | 4.43G/4.97G [00:16<00:01, 322MB/s]
model-00001-of-00002.safetensors: 91%|█████████████████████████████████████████████████████████████████████████████████████▏ | 4.50G/4.97G [00:16<00:01, 294MB/s]
model-00001-of-00002.safetensors: 92%|██████████████████████████████████████████████████████████████████████████████████████▍ | 4.57G/4.97G [00:17<00:01, 313MB/s]
model-00001-of-00002.safetensors: 93%|███████████████████████████████████████████████████████████████████████████████████████▋ | 4.63G/4.97G [00:17<00:01, 311MB/s]
model-00001-of-00002.safetensors: 95%|████████████████████████████████████████████████████████████████████████████████████████▉ | 4.70G/4.97G [00:17<00:00, 320MB/s]
model-00001-of-00002.safetensors: 96%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 4.77G/4.97G [00:17<00:00, 328MB/s]
model-00001-of-00002.safetensors: 97%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 4.83G/4.97G [00:17<00:00, 326MB/s]
model-00001-of-00002.safetensors: 99%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 4.90G/4.97G [00:18<00:00, 346MB/s]
model-00001-of-00002.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████| 4.97G/4.97G [00:18<00:00, 290MB/s]
model-00001-of-00002.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████| 4.97G/4.97G [00:18<00:00, 269MB/s]
model-00002-of-00002.safetensors: 0%| | 0.00/3.08G [00:00<?, ?B/s]
model-00002-of-00002.safetensors: 0%| | 547k/3.08G [00:00<1:11:35, 716kB/s]
model-00002-of-00002.safetensors: 0%| | 1.87M/3.08G [00:01<25:07, 2.04MB/s]
model-00002-of-00002.safetensors: 2%|██ | 68.4M/3.08G [00:01<00:48, 62.3MB/s]
model-00002-of-00002.safetensors: 4%|████▏ | 135M/3.08G [00:01<00:28, 102MB/s]
model-00002-of-00002.safetensors: 7%|██████▎ | 203M/3.08G [00:02<00:20, 142MB/s]
model-00002-of-00002.safetensors: 9%|████████▎ | 270M/3.08G [00:02<00:17, 162MB/s]
model-00002-of-00002.safetensors: 11%|██████████▍ | 337M/3.08G [00:02<00:16, 165MB/s]
model-00002-of-00002.safetensors: 13%|████████████▍ | 404M/3.08G [00:03<00:13, 200MB/s]
model-00002-of-00002.safetensors: 15%|██████████████▌ | 471M/3.08G [00:03<00:15, 167MB/s]
model-00002-of-00002.safetensors: 17%|████████████████▌ | 538M/3.08G [00:04<00:15, 168MB/s]
model-00002-of-00002.safetensors: 20%|██████████████████▋ | 605M/3.08G [00:04<00:16, 154MB/s]
model-00002-of-00002.safetensors: 22%|████████████████████▋ | 672M/3.08G [00:04<00:13, 182MB/s]
model-00002-of-00002.safetensors: 24%|██████████████████████▊ | 739M/3.08G [00:04<00:11, 210MB/s]
model-00002-of-00002.safetensors: 26%|████████████████████████▉ | 806M/3.08G [00:05<00:11, 198MB/s]
model-00002-of-00002.safetensors: 28%|██████████████████████████▉ | 873M/3.08G [00:05<00:10, 216MB/s]
model-00002-of-00002.safetensors: 31%|█████████████████████████████ | 940M/3.08G [00:05<00:08, 245MB/s]
model-00002-of-00002.safetensors: 33%|██████████████████████████████▊ | 1.01G/3.08G [00:05<00:07, 272MB/s]
model-00002-of-00002.safetensors: 35%|████████████████████████████████▊ | 1.07G/3.08G [00:06<00:07, 280MB/s]
model-00002-of-00002.safetensors: 37%|██████████████████████████████████▊ | 1.14G/3.08G [00:06<00:06, 295MB/s]
model-00002-of-00002.safetensors: 39%|████████████████████████████████████▉ | 1.21G/3.08G [00:06<00:05, 315MB/s]
model-00002-of-00002.safetensors: 41%|██████████████████████████████████████▉ | 1.28G/3.08G [00:06<00:06, 292MB/s]
model-00002-of-00002.safetensors: 44%|████████████████████████████████████████▉ | 1.34G/3.08G [00:07<00:05, 302MB/s]
model-00002-of-00002.safetensors: 46%|███████████████████████████████████████████ | 1.41G/3.08G [00:07<00:05, 303MB/s]
model-00002-of-00002.safetensors: 48%|█████████████████████████████████████████████ | 1.48G/3.08G [00:07<00:05, 319MB/s]
model-00002-of-00002.safetensors: 50%|███████████████████████████████████████████████ | 1.54G/3.08G [00:07<00:04, 318MB/s]
model-00002-of-00002.safetensors: 52%|█████████████████████████████████████████████████▏ | 1.61G/3.08G [00:07<00:04, 339MB/s]
model-00002-of-00002.safetensors: 54%|███████████████████████████████████████████████████▏ | 1.68G/3.08G [00:08<00:04, 337MB/s]
model-00002-of-00002.safetensors: 57%|█████████████████████████████████████████████████████▎ | 1.74G/3.08G [00:08<00:04, 315MB/s]
model-00002-of-00002.safetensors: 59%|███████████████████████████████████████████████████████▎ | 1.81G/3.08G [00:08<00:04, 291MB/s]
model-00002-of-00002.safetensors: 61%|█████████████████████████████████████████████████████████▎ | 1.88G/3.08G [00:08<00:03, 314MB/s]
model-00002-of-00002.safetensors: 63%|███████████████████████████████████████████████████████████▍ | 1.95G/3.08G [00:08<00:03, 320MB/s]
model-00002-of-00002.safetensors: 65%|█████████████████████████████████████████████████████████████▏ | 2.00G/3.08G [00:09<00:03, 311MB/s]
model-00002-of-00002.safetensors: 67%|███████████████████████████████████████████████████████████████▎ | 2.07G/3.08G [00:09<00:03, 299MB/s]
model-00002-of-00002.safetensors: 70%|█████████████████████████████████████████████████████████████████▎ | 2.14G/3.08G [00:09<00:02, 320MB/s]
model-00002-of-00002.safetensors: 72%|███████████████████████████████████████████████████████████████████▍ | 2.21G/3.08G [00:09<00:02, 343MB/s]
model-00002-of-00002.safetensors: 74%|█████████████████████████████████████████████████████████████████████▍ | 2.27G/3.08G [00:09<00:02, 355MB/s]
model-00002-of-00002.safetensors: 76%|███████████████████████████████████████████████████████████████████████▍ | 2.34G/3.08G [00:10<00:02, 364MB/s]
model-00002-of-00002.safetensors: 78%|█████████████████████████████████████████████████████████████████████████▌ | 2.41G/3.08G [00:10<00:01, 367MB/s]
model-00002-of-00002.safetensors: 80%|███████████████████████████████████████████████████████████████████████████▌ | 2.47G/3.08G [00:10<00:01, 383MB/s]
model-00002-of-00002.safetensors: 83%|█████████████████████████████████████████████████████████████████████████████▌ | 2.54G/3.08G [00:10<00:01, 380MB/s]
model-00002-of-00002.safetensors: 85%|███████████████████████████████████████████████████████████████████████████████▋ | 2.61G/3.08G [00:10<00:01, 304MB/s]
model-00002-of-00002.safetensors: 87%|█████████████████████████████████████████████████████████████████████████████████▋ | 2.68G/3.08G [00:11<00:01, 281MB/s]
model-00002-of-00002.safetensors: 89%|███████████████████████████████████████████████████████████████████████████████████▊ | 2.74G/3.08G [00:11<00:01, 306MB/s]
model-00002-of-00002.safetensors: 91%|█████████████████████████████████████████████████████████████████████████████████████▊ | 2.81G/3.08G [00:11<00:01, 259MB/s]
model-00002-of-00002.safetensors: 93%|███████████████████████████████████████████████████████████████████████████████████████▊ | 2.88G/3.08G [00:11<00:00, 288MB/s]
model-00002-of-00002.safetensors: 96%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 2.94G/3.08G [00:12<00:00, 299MB/s]
model-00002-of-00002.safetensors: 98%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 3.01G/3.08G [00:12<00:00, 251MB/s]
model-00002-of-00002.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████| 3.08G/3.08G [00:12<00:00, 281MB/s]
model-00002-of-00002.safetensors: 100%|██████████████████████████████████████████████████████████████████████████████████████████████| 3.08G/3.08G [00:12<00:00, 244MB/s]
Loading checkpoint shards: 0%| | 0/2 [00:00<?, ?it/s]
Loading checkpoint shards: 50%|█████████████████████████████████████████████████████▌ | 1/2 [00:06<00:06, 6.04s/it]
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:10<00:00, 5.01s/it]
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:10<00:00, 5.16s/it]
generation_config.json: 0%| | 0.00/188 [00:00<?, ?B/s]
generation_config.json: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 188/188 [00:00<00:00, 2.83MB/s]
[2025-12-27 21:18:58,111] [INFO] [axolotl.loaders.model._prepare_model_for_quantization:863] [PID:122677] converting PEFT model w/ prepare_model_for_kbit_training
[2025-12-27 21:18:58,113] [INFO] [axolotl.loaders.model._configure_embedding_dtypes:345] [PID:122677] Converting modules to torch.bfloat16
[2025-12-27 21:18:58,117] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:122677] Memory usage after model load 5.665GB (+5.665GB allocated, +5.826GB reserved)
trainable params: 66,060,288 || all params: 4,088,528,384 || trainable%: 1.6157
[2025-12-27 21:18:58,545] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:122677] after adapters 4.411GB (+4.411GB allocated, +5.947GB reserved)
[2025-12-27 21:19:03,382] [INFO] [axolotl.train.save_initial_configs:398] [PID:122677] Pre-saving adapter config to ./outputs/mymodel...
[2025-12-27 21:19:03,388] [INFO] [axolotl.train.save_initial_configs:402] [PID:122677] Pre-saving tokenizer to ./outputs/mymodel...
[2025-12-27 21:19:03,587] [INFO] [axolotl.train.save_initial_configs:407] [PID:122677] Pre-saving model config to ./outputs/mymodel...
[2025-12-27 21:19:03,594] [INFO] [axolotl.train.execute_training:196] [PID:122677] Starting trainer...
0%| | 0/81 [00:00<?, ?it/s][2025-12-27 21:19:05,215] [WARNING] [py.warnings._showwarnmsg:110] [PID:122677] /root/miniconda3/envs/py3.11/lib/python3.11/site-packages/bitsandbytes/autograd/_functions.py:186: UserWarning: MatMul8bitLt: inputs will be cast from torch.bfloat16 to float16 during quantization
warnings.warn(f"MatMul8bitLt: inputs will be cast from {A.dtype} to float16 during quantization")
1%|█▋ | 1/81 [00:26<34:57, 26.22s/it]
{'loss': 0.7532, 'grad_norm': 0.6496106386184692, 'learning_rate': 0.0, 'memory/max_active (GiB)': 76.91, 'memory/max_allocated (GiB)': 76.91, 'memory/device_reserved (GiB)': 79.86, 'tokens_per_second_per_gpu': 877.99, 'epoch': 0.04}
1%|█▋ | 1/81 [00:26<34:57, 26.22s/it]
2%|███▎ | 2/81 [00:48<31:41, 24.06s/it]
{'loss': 0.6528, 'grad_norm': 0.46730196475982666, 'learning_rate': 1e-06, 'memory/max_active (GiB)': 46.79, 'memory/max_allocated (GiB)': 46.79, 'memory/device_reserved (GiB)': 79.98, 'tokens_per_second_per_gpu': 754.12, 'epoch': 0.07}
2%|███▎ | 2/81 [00:48<31:41, 24.06s/it]
4%|████▉ | 3/81 [01:14<32:03, 24.66s/it]
{'loss': 2.2564, 'grad_norm': 0.6027721762657166, 'learning_rate': 2e-06, 'memory/max_active (GiB)': 57.88, 'memory/max_allocated (GiB)': 57.88, 'memory/device_reserved (GiB)': 79.98, 'tokens_per_second_per_gpu': 861.03, 'epoch': 0.11}
4%|████▉ | 3/81 [01:14<32:03, 24.66s/it]
5%|██████▌ | 4/81 [01:38<31:33, 24.59s/it]
{'loss': 2.3578, 'grad_norm': 1.7880005836486816, 'learning_rate': 1.9992093972273017e-06, 'memory/max_active (GiB)': 69.34, 'memory/max_allocated (GiB)': 69.34, 'memory/device_reserved (GiB)': 79.98, 'tokens_per_second_per_gpu': 879.33, 'epoch': 0.15}
5%|██████▌ | 4/81 [01:38<31:33, 24.59s/it]
6%|████████▏ | 5/81 [02:02<30:38, 24.18s/it]
{'loss': 0.9175, 'grad_norm': 0.5934199690818787, 'learning_rate': 1.9968388390146957e-06, 'memory/max_active (GiB)': 57.81, 'memory/max_allocated (GiB)': 57.81, 'memory/device_reserved (GiB)': 79.98, 'tokens_per_second_per_gpu': 759.41, 'epoch': 0.19}
6%|████████▏ | 5/81 [02:02<30:38, 24.18s/it]
7%|█████████▊ | 6/81 [02:25<29:58, 23.97s/it]
{'loss': 1.6229, 'grad_norm': 1.5621187686920166, 'learning_rate': 1.992892073701973e-06, 'memory/max_active (GiB)': 68.44, 'memory/max_allocated (GiB)': 68.44, 'memory/device_reserved (GiB)': 79.98, 'tokens_per_second_per_gpu': 949.82, 'epoch': 0.22}
7%|█████████▊ | 6/81 [02:25<29:58, 23.97s/it]
9%|███████████▍ | 7/81 [02:51<30:10, 24.47s/it]
{'loss': 2.9604, 'grad_norm': 1.206151008605957, 'learning_rate': 1.987375341936333e-06, 'memory/max_active (GiB)': 60.61, 'memory/max_allocated (GiB)': 60.61, 'memory/device_reserved (GiB)': 79.98, 'tokens_per_second_per_gpu': 862.01, 'epoch': 0.26}
9%|███████████▍ | 7/81 [02:51<30:10, 24.47s/it]
10%|█████████████▏ | 8/81 [03:15<29:40, 24.39s/it]
{'loss': 0.8612, 'grad_norm': 0.6299921870231628, 'learning_rate': 1.9802973668046363e-06, 'memory/max_active (GiB)': 44.43, 'memory/max_allocated (GiB)': 44.43, 'memory/device_reserved (GiB)': 79.98, 'tokens_per_second_per_gpu': 861.47, 'epoch': 0.3}
10%|█████████████▏ | 8/81 [03:15<29:40, 24.39s/it]
11%|██████████████▊ | 9/81 [03:41<30:02, 25.03s/it]
{'loss': 1.2738, 'grad_norm': 1.1461963653564453, 'learning_rate': 1.9716693400404097e-06, 'memory/max_active (GiB)': 88.86, 'memory/max_allocated (GiB)': 88.86, 'memory/device_reserved (GiB)': 92.14, 'tokens_per_second_per_gpu': 900.2, 'epoch': 0.33}
11%|██████████████▊ | 9/81 [03:41<30:02, 25.03s/it]
12%|████████████████▎ | 10/81 [04:06<29:20, 24.80s/it]
{'loss': 0.9472, 'grad_norm': 0.4421791732311249, 'learning_rate': 1.9615049043274204e-06, 'memory/max_active (GiB)': 84.65, 'memory/max_allocated (GiB)': 84.65, 'memory/device_reserved (GiB)': 92.14, 'tokens_per_second_per_gpu': 819.72, 'epoch': 0.37}
12%|████████████████▎ | 10/81 [04:06<29:20, 24.80s/it]
14%|█████████████████▉ | 11/81 [04:32<29:37, 25.40s/it]
{'loss': 1.3682, 'grad_norm': 1.287254810333252, 'learning_rate': 1.949820131727783e-06, 'memory/max_active (GiB)': 86.21, 'memory/max_allocated (GiB)': 86.21, 'memory/device_reserved (GiB)': 92.14, 'tokens_per_second_per_gpu': 1004.54, 'epoch': 0.41}
14%|█████████████████▉ | 11/81 [04:32<29:37, 25.40s/it]
15%|███████████████████▌ | 12/81 [04:55<28:20, 24.65s/it]
{'loss': 1.3094, 'grad_norm': 0.8032840490341187, 'learning_rate': 1.936633498268728e-06, 'memory/max_active (GiB)': 60.39, 'memory/max_allocated (GiB)': 60.39, 'memory/device_reserved (GiB)': 92.14, 'tokens_per_second_per_gpu': 900.54, 'epoch': 0.45}
15%|███████████████████▌ | 12/81 [04:55<28:20, 24.65s/it]
16%|█████████████████████▏ | 13/81 [05:19<27:30, 24.27s/it]
{'loss': 1.7079, 'grad_norm': 0.835660457611084, 'learning_rate': 1.9219658547282065e-06, 'memory/max_active (GiB)': 58.53, 'memory/max_allocated (GiB)': 58.53, 'memory/device_reserved (GiB)': 92.14, 'tokens_per_second_per_gpu': 804.11, 'epoch': 0.48}
16%|█████████████████████▏ | 13/81 [05:19<27:30, 24.27s/it]
17%|██████████████████████▊ | 14/81 [05:43<27:02, 24.21s/it]
{'loss': 1.4821, 'grad_norm': 0.7599063515663147, 'learning_rate': 1.9058403936655232e-06, 'memory/max_active (GiB)': 56.2, 'memory/max_allocated (GiB)': 56.2, 'memory/device_reserved (GiB)': 92.14, 'tokens_per_second_per_gpu': 771.26, 'epoch': 0.52}
17%|██████████████████████▊ | 14/81 [05:43<27:02, 24.21s/it]
19%|████████████████████████▍ | 15/81 [06:09<27:17, 24.81s/it]
{'loss': 1.1628, 'grad_norm': 0.43679726123809814, 'learning_rate': 1.8882826127491318e-06, 'memory/max_active (GiB)': 79.08, 'memory/max_allocated (GiB)': 79.08, 'memory/device_reserved (GiB)': 92.14, 'tokens_per_second_per_gpu': 897.62, 'epoch': 0.56}
19%|████████████████████████▍ | 15/81 [06:09<27:17, 24.81s/it]
20%|██████████████████████████ | 16/81 [06:34<26:55, 24.85s/it]
{'loss': 2.6527, 'grad_norm': 0.6629171967506409, 'learning_rate': 1.8693202744395827e-06, 'memory/max_active (GiB)': 56.2, 'memory/max_allocated (GiB)': 56.2, 'memory/device_reserved (GiB)': 92.14, 'tokens_per_second_per_gpu': 881.06, 'epoch': 0.59}
20%|██████████████████████████ | 16/81 [06:34<26:55, 24.85s/it]
21%|███████████████████████████▋ | 17/81 [06:59<26:31, 24.86s/it]
{'loss': 1.5066, 'grad_norm': 0.6648272275924683, 'learning_rate': 1.848983362091364e-06, 'memory/max_active (GiB)': 85.82, 'memory/max_allocated (GiB)': 85.82, 'memory/device_reserved (GiB)': 92.14, 'tokens_per_second_per_gpu': 1008.98, 'epoch': 0.63}
21%|███████████████████████████▋ | 17/81 [06:59<26:31, 24.86s/it]
22%|█████████████████████████████▎ | 18/81 [07:24<26:10, 24.93s/it]
{'loss': 2.1366, 'grad_norm': 1.9141907691955566, 'learning_rate': 1.8273040325430573e-06, 'memory/max_active (GiB)': 58.11, 'memory/max_allocated (GiB)': 58.11, 'memory/device_reserved (GiB)': 92.14, 'tokens_per_second_per_gpu': 996.41, 'epoch': 0.67}
22%|█████████████████████████████▎ | 18/81 [07:24<26:10, 24.93s/it]
23%|██████████████████████████████▉ | 19/81 [07:49<25:42, 24.88s/it]
{'loss': 1.7062, 'grad_norm': 1.0429956912994385, 'learning_rate': 1.8043165652707648e-06, 'memory/max_active (GiB)': 69.3, 'memory/max_allocated (GiB)': 69.3, 'memory/device_reserved (GiB)': 92.14, 'tokens_per_second_per_gpu': 839.76, 'epoch': 0.71}
23%|██████████████████████████████▉ | 19/81 [07:49<25:42, 24.88s/it]
25%|████████████████████████████████▌ | 20/81 [08:16<26:07, 25.69s/it]
{'loss': 1.7071, 'grad_norm': 0.8590395450592041, 'learning_rate': 1.780057308185212e-06, 'memory/max_active (GiB)': 89.48, 'memory/max_allocated (GiB)': 89.48, 'memory/device_reserved (GiB)': 92.15, 'tokens_per_second_per_gpu': 951.25, 'epoch': 0.74}
25%|████████████████████████████████▌ | 20/81 [08:16<26:07, 25.69s/it]
26%|██████████████████████████████████▏ | 21/81 [08:42<25:35, 25.60s/it]
{'loss': 1.4588, 'grad_norm': 0.7291064858436584, 'learning_rate': 1.75456462015823e-06, 'memory/max_active (GiB)': 89.39, 'memory/max_allocated (GiB)': 89.39, 'memory/device_reserved (GiB)': 90.38, 'tokens_per_second_per_gpu': 828.05, 'epoch': 0.78}
26%|██████████████████████████████████▏ | 21/81 [08:42<25:35, 25.60s/it]
27%|███████████████████████████████████▊ | 22/81 [09:08<25:26, 25.87s/it]
{'loss': 1.8362, 'grad_norm': 1.2527186870574951, 'learning_rate': 1.7278788103694942e-06, 'memory/max_active (GiB)': 68.62, 'memory/max_allocated (GiB)': 68.62, 'memory/device_reserved (GiB)': 90.38, 'tokens_per_second_per_gpu': 817.67, 'epoch': 0.82}
27%|███████████████████████████████████▊ | 22/81 [09:08<25:26, 25.87s/it]
28%|█████████████████████████████████████▍ | 23/81 [09:34<24:59, 25.86s/it]
{'loss': 1.5874, 'grad_norm': 1.3045358657836914, 'learning_rate': 1.7000420745694253e-06, 'memory/max_active (GiB)': 78.8, 'memory/max_allocated (GiB)': 78.8, 'memory/device_reserved (GiB)': 90.38, 'tokens_per_second_per_gpu': 864.14, 'epoch': 0.85}
28%|█████████████████████████████████████▍ | 23/81 [09:34<24:59, 25.86s/it]
30%|███████████████████████████████████████ | 24/81 [10:00<24:31, 25.82s/it]
{'loss': 2.1574, 'grad_norm': 1.6913419961929321, 'learning_rate': 1.6710984283590367e-06, 'memory/max_active (GiB)': 81.59, 'memory/max_allocated (GiB)': 81.59, 'memory/device_reserved (GiB)': 90.38, 'tokens_per_second_per_gpu': 897.53, 'epoch': 0.89}
30%|███████████████████████████████████████ | 24/81 [10:00<24:31, 25.82s/it]
31%|████████████████████████████████████████▋ | 25/81 [10:24<23:40, 25.37s/it]
{'loss': 1.058, 'grad_norm': 0.7722698450088501, 'learning_rate': 1.64109363759222e-06, 'memory/max_active (GiB)': 61.45, 'memory/max_allocated (GiB)': 61.45, 'memory/device_reserved (GiB)': 90.38, 'tokens_per_second_per_gpu': 942.84, 'epoch': 0.93}
31%|████████████████████████████████████████▋ | 25/81 [10:24<23:40, 25.37s/it]
32%|██████████████████████████████████████████▎ | 26/81 [10:50<23:33, 25.70s/it]
{'loss': 0.9906, 'grad_norm': 0.9898315072059631, 'learning_rate': 1.6100751460105243e-06, 'memory/max_active (GiB)': 86.27, 'memory/max_allocated (GiB)': 86.27, 'memory/device_reserved (GiB)': 90.38, 'tokens_per_second_per_gpu': 910.63, 'epoch': 0.97}
32%|██████████████████████████████████████████▎ | 26/81 [10:50<23:33, 25.70s/it]
33%|████████████████████████████████████████████ | 27/81 [11:11<21:51, 24.28s/it]
{'loss': 0.716, 'grad_norm': 0.5236030220985413, 'learning_rate': 1.5780920002248483e-06, 'memory/max_active (GiB)': 45.08, 'memory/max_allocated (GiB)': 45.08, 'memory/device_reserved (GiB)': 90.6, 'tokens_per_second_per_gpu': 793.15, 'epoch': 1.0}
33%|████████████████████████████████████████████ | 27/81 [11:11<21:51, 24.28s/it][2025-12-27 21:30:15,957] [INFO] [axolotl.core.trainers.base._save:671] [PID:122677] Saving model checkpoint to ./outputs/mymodel/checkpoint-27
[2025-12-27 21:30:18,782] [WARNING] [py.warnings._showwarnmsg:110] [PID:122677] /root/miniconda3/envs/py3.11/lib/python3.11/site-packages/bitsandbytes/autograd/_functions.py:186: UserWarning: MatMul8bitLt: inputs will be cast from torch.bfloat16 to float16 during quantization
warnings.warn(f"MatMul8bitLt: inputs will be cast from {A.dtype} to float16 during quantization")
35%|█████████████████████████████████████████████▋ | 28/81 [11:37<21:44, 24.62s/it]
{'loss': 1.4101, 'grad_norm': 0.6720283031463623, 'learning_rate': 1.5451947721626675e-06, 'memory/max_active (GiB)': 49.49, 'memory/max_allocated (GiB)': 49.49, 'memory/device_reserved (GiB)': 90.6, 'tokens_per_second_per_gpu': 713.64, 'epoch': 1.04}
35%|█████████████████████████████████████████████▋ | 28/81 [11:37<21:44, 24.62s/it]
36%|███████████████████████████████████████████████▎ | 29/81 [12:01<21:16, 24.55s/it]
{'loss': 2.9962, 'grad_norm': 2.1970348358154297, 'learning_rate': 1.5114354791034222e-06, 'memory/max_active (GiB)': 68.78, 'memory/max_allocated (GiB)': 68.78, 'memory/device_reserved (GiB)': 90.6, 'tokens_per_second_per_gpu': 887.43, 'epoch': 1.07}
36%|███████████████████████████████████████████████▎ | 29/81 [12:01<21:16, 24.55s/it]
37%|████████████████████████████████████████████████▉ | 30/81 [12:24<20:17, 23.88s/it]
{'loss': 0.6654, 'grad_norm': 0.5169208645820618, 'learning_rate': 1.476867501428506e-06, 'memory/max_active (GiB)': 69.25, 'memory/max_allocated (GiB)': 69.25, 'memory/device_reserved (GiB)': 90.6, 'tokens_per_second_per_gpu': 837.12, 'epoch': 1.11}
37%|████████████████████████████████████████████████▉ | 30/81 [12:24<20:17, 23.88s/it]
38%|██████████████████████████████████████████████████▌ | 31/81 [12:50<20:28, 24.58s/it]
{'loss': 2.3111, 'grad_norm': 1.6675411462783813, 'learning_rate': 1.4415454982159118e-06, 'memory/max_active (GiB)': 84.87, 'memory/max_allocated (GiB)': 84.87, 'memory/device_reserved (GiB)': 90.6, 'tokens_per_second_per_gpu': 893.34, 'epoch': 1.15}
38%|██████████████████████████████████████████████████▌ | 31/81 [12:50<20:28, 24.58s/it]
40%|████████████████████████████████████████████████████▏ | 32/81 [13:13<19:47, 24.24s/it]
{'loss': 1.454, 'grad_norm': 0.8987345695495605, 'learning_rate': 1.4055253208129937e-06, 'memory/max_active (GiB)': 54.96, 'memory/max_allocated (GiB)': 54.96, 'memory/device_reserved (GiB)': 90.6, 'tokens_per_second_per_gpu': 747.48, 'epoch': 1.19}
40%|████████████████████████████████████████████████████▏ | 32/81 [13:13<19:47, 24.24s/it]
41%|█████████████████████████████████████████████████████▊ | 33/81 [13:39<19:45, 24.71s/it]
{'loss': 2.1194, 'grad_norm': 2.0316708087921143, 'learning_rate': 1.3688639245240078e-06, 'memory/max_active (GiB)': 69.41, 'memory/max_allocated (GiB)': 69.41, 'memory/device_reserved (GiB)': 90.6, 'tokens_per_second_per_gpu': 880.1, 'epoch': 1.22}
41%|█████████████████████████████████████████████████████▊ | 33/81 [13:39<19:45, 24.71s/it]
42%|███████████████████████████████████████████████████████▍ | 34/81 [14:05<19:37, 25.04s/it]
{'loss': 1.3693, 'grad_norm': 0.9677668213844299, 'learning_rate': 1.3316192785520678e-06, 'memory/max_active (GiB)': 52.15, 'memory/max_allocated (GiB)': 52.15, 'memory/device_reserved (GiB)': 90.6, 'tokens_per_second_per_gpu': 903.2, 'epoch': 1.26}
42%|███████████████████████████████████████████████████████▍ | 34/81 [14:05<19:37, 25.04s/it]
43%|█████████████████████████████████████████████████████████ | 35/81 [14:32<19:46, 25.80s/it]
{'loss': 1.5613, 'grad_norm': 1.5035587549209595, 'learning_rate': 1.2938502743379209e-06, 'memory/max_active (GiB)': 89.55, 'memory/max_allocated (GiB)': 89.55, 'memory/device_reserved (GiB)': 90.6, 'tokens_per_second_per_gpu': 1018.31, 'epoch': 1.3}
43%|█████████████████████████████████████████████████████████ | 35/81 [14:32<19:46, 25.80s/it]
44%|██████████████████████████████████████████████████████████▋ | 36/81 [14:56<18:53, 25.18s/it]
{'loss': 1.6472, 'grad_norm': 1.0176411867141724, 'learning_rate': 1.2556166324404746e-06, 'memory/max_active (GiB)': 89.41, 'memory/max_allocated (GiB)': 89.41, 'memory/device_reserved (GiB)': 90.5, 'tokens_per_second_per_gpu': 935.17, 'epoch': 1.33}
44%|██████████████████████████████████████████████████████████▋ | 36/81 [14:56<18:53, 25.18s/it]
46%|████████████████████████████████████████████████████████████▎ | 37/81 [15:21<18:23, 25.08s/it]
{'loss': 2.048, 'grad_norm': 1.1598583459854126, 'learning_rate': 1.2169788081063178e-06, 'memory/max_active (GiB)': 76.99, 'memory/max_allocated (GiB)': 76.99, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 848.84, 'epoch': 1.37}
46%|████████████████████████████████████████████████████████████▎ | 37/81 [15:21<18:23, 25.08s/it]
47%|█████████████████████████████████████████████████████████████▉ | 38/81 [15:47<18:07, 25.30s/it]
{'loss': 1.4693, 'grad_norm': 1.03346848487854, 'learning_rate': 1.1779978956775504e-06, 'memory/max_active (GiB)': 81.33, 'memory/max_allocated (GiB)': 81.33, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 864.18, 'epoch': 1.41}
47%|█████████████████████████████████████████████████████████████▉ | 38/81 [15:47<18:07, 25.30s/it]
48%|███████████████████████████████████████████████████████████████▌ | 39/81 [16:09<17:02, 24.35s/it]
{'loss': 0.629, 'grad_norm': 0.5300745964050293, 'learning_rate': 1.1387355319890683e-06, 'memory/max_active (GiB)': 38.13, 'memory/max_allocated (GiB)': 38.13, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 660.81, 'epoch': 1.45}
48%|███████████████████████████████████████████████████████████████▌ | 39/81 [16:09<17:02, 24.35s/it]
49%|█████████████████████████████████████████████████████████████████▏ | 40/81 [16:35<17:04, 24.98s/it]
{'loss': 1.354, 'grad_norm': 0.45447468757629395, 'learning_rate': 1.0992537989080618e-06, 'memory/max_active (GiB)': 68.52, 'memory/max_allocated (GiB)': 68.52, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 953.46, 'epoch': 1.48}
49%|█████████████████████████████████████████████████████████████████▏ | 40/81 [16:35<17:04, 24.98s/it]
51%|██████████████████████████████████████████████████████████████████▊ | 41/81 [17:00<16:39, 25.00s/it]
{'loss': 0.7253, 'grad_norm': 0.3777391314506531, 'learning_rate': 1.0596151251698198e-06, 'memory/max_active (GiB)': 86.09, 'memory/max_allocated (GiB)': 86.09, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 994.9, 'epoch': 1.52}
51%|██████████████████████████████████████████████████████████████████▊ | 41/81 [17:00<16:39, 25.00s/it]
52%|██████████████████████████████ | 42/81 [17:25<16:14, 25.00s/it]
{'loss': 0.5797, 'grad_norm': 0.4444688856601715, 'learning_rate': 1.01988218766507e-06, 'memory/max_active (GiB)': 67.08, 'memory/max_allocated (GiB)': 67.08, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 768.21, 'epoch': 1.56}
52%|██████████████████████████████ | 42/81 [17:25<16:14, 25.00s/it]
53%|██████████████████████████████▊ | 43/81 [17:52<16:13, 25.61s/it]
{'loss': 1.7366, 'grad_norm': 0.8071985244750977, 'learning_rate': 9.801178123349297e-07, 'memory/max_active (GiB)': 84.78, 'memory/max_allocated (GiB)': 84.78, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 1054.07, 'epoch': 1.59}
53%|██████████████████████████████▊ | 43/81 [17:52<16:13, 25.61s/it]
54%|███████████████████████████████▌ | 44/81 [18:17<15:33, 25.23s/it]
{'loss': 0.8716, 'grad_norm': 0.7125491499900818, 'learning_rate': 9.403848748301802e-07, 'memory/max_active (GiB)': 62.62, 'memory/max_allocated (GiB)': 62.62, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 829.41, 'epoch': 1.63}
54%|███████████████████████████████▌ | 44/81 [18:17<15:33, 25.23s/it]
56%|████████████████████████████████▏ | 45/81 [18:43<15:15, 25.42s/it]
{'loss': 3.5353, 'grad_norm': 1.353916883468628, 'learning_rate': 9.007462010919385e-07, 'memory/max_active (GiB)': 69.41, 'memory/max_allocated (GiB)': 69.41, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 878.82, 'epoch': 1.67}
56%|████████████████████████████████▏ | 45/81 [18:43<15:15, 25.42s/it]
57%|████████████████████████████████▉ | 46/81 [19:06<14:29, 24.85s/it]
{'loss': 1.3489, 'grad_norm': 1.1499241590499878, 'learning_rate': 8.612644680109318e-07, 'memory/max_active (GiB)': 79.0, 'memory/max_allocated (GiB)': 79.0, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 868.24, 'epoch': 1.71}
57%|████████████████████████████████▉ | 46/81 [19:06<14:29, 24.85s/it]
58%|█████████████████████████████████▋ | 47/81 [19:31<14:08, 24.96s/it]
{'loss': 1.543, 'grad_norm': 1.5999720096588135, 'learning_rate': 8.220021043224499e-07, 'memory/max_active (GiB)': 61.32, 'memory/max_allocated (GiB)': 61.32, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 935.5, 'epoch': 1.74}
58%|█████████████████████████████████▋ | 47/81 [19:31<14:08, 24.96s/it]
59%|██████████████████████████████████▎ | 48/81 [19:56<13:39, 24.84s/it]
{'loss': 1.2282, 'grad_norm': 0.930808961391449, 'learning_rate': 7.830211918936819e-07, 'memory/max_active (GiB)': 44.35, 'memory/max_allocated (GiB)': 44.35, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 827.33, 'epoch': 1.78}
59%|██████████████████████████████████▎ | 48/81 [19:56<13:39, 24.84s/it]
60%|███████████████████████████████████ | 49/81 [20:19<12:56, 24.27s/it]
{'loss': 3.0884, 'grad_norm': 1.004947543144226, 'learning_rate': 7.443833675595253e-07, 'memory/max_active (GiB)': 56.28, 'memory/max_allocated (GiB)': 56.28, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 782.62, 'epoch': 1.82}
60%|███████████████████████████████████ | 49/81 [20:19<12:56, 24.27s/it]
62%|███████████████████████████████████▊ | 50/81 [20:44<12:37, 24.44s/it]
{'loss': 1.0819, 'grad_norm': 0.8130286335945129, 'learning_rate': 7.061497256620792e-07, 'memory/max_active (GiB)': 49.75, 'memory/max_allocated (GiB)': 49.75, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 915.1, 'epoch': 1.85}
62%|███████████████████████████████████▊ | 50/81 [20:44<12:37, 24.44s/it]
63%|████████████████████████████████████▌ | 51/81 [21:11<12:40, 25.36s/it]
{'loss': 1.6019, 'grad_norm': 0.8784174919128418, 'learning_rate': 6.683807214479323e-07, 'memory/max_active (GiB)': 75.17, 'memory/max_allocated (GiB)': 75.17, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 988.63, 'epoch': 1.89}
63%|████████████████████████████████████▌ | 51/81 [21:11<12:40, 25.36s/it]
64%|█████████████████████████████████████▏ | 52/81 [21:38<12:30, 25.88s/it]
{'loss': 1.3716, 'grad_norm': 1.0731853246688843, 'learning_rate': 6.311360754759923e-07, 'memory/max_active (GiB)': 88.84, 'memory/max_allocated (GiB)': 88.84, 'memory/device_reserved (GiB)': 90.42, 'tokens_per_second_per_gpu': 865.92, 'epoch': 1.93}
64%|█████████████████████████████████████▏ | 52/81 [21:38<12:30, 25.88s/it]
65%|█████████████████████████████████████▉ | 53/81 [22:03<11:54, 25.53s/it]
{'loss': 0.4119, 'grad_norm': 0.340857595205307, 'learning_rate': 5.944746791870061e-07, 'memory/max_active (GiB)': 86.43, 'memory/max_allocated (GiB)': 86.43, 'memory/device_reserved (GiB)': 89.76, 'tokens_per_second_per_gpu': 873.98, 'epoch': 1.97}
65%|█████████████████████████████████████▉ | 53/81 [22:03<11:54, 25.53s/it]
67%|██████████████████████████████████████▋ | 54/81 [22:25<11:04, 24.60s/it]
{'loss': 0.7065, 'grad_norm': 0.48797884583473206, 'learning_rate': 5.584545017840885e-07, 'memory/max_active (GiB)': 86.08, 'memory/max_allocated (GiB)': 86.08, 'memory/device_reserved (GiB)': 89.97, 'tokens_per_second_per_gpu': 844.64, 'epoch': 2.0}
67%|██████████████████████████████████████▋ | 54/81 [22:25<11:04, 24.60s/it][2025-12-27 21:41:29,979] [INFO] [axolotl.core.trainers.base._save:671] [PID:122677] Saving model checkpoint to ./outputs/mymodel/checkpoint-54
[2025-12-27 21:41:32,641] [WARNING] [py.warnings._showwarnmsg:110] [PID:122677] /root/miniconda3/envs/py3.11/lib/python3.11/site-packages/bitsandbytes/autograd/_functions.py:186: UserWarning: MatMul8bitLt: inputs will be cast from torch.bfloat16 to float16 during quantization
warnings.warn(f"MatMul8bitLt: inputs will be cast from {A.dtype} to float16 during quantization")
68%|███████████████████████████████████████▍ | 55/81 [22:54<11:09, 25.76s/it]
{'loss': 2.1499, 'grad_norm': 1.208370566368103, 'learning_rate': 5.231324985714941e-07, 'memory/max_active (GiB)': 81.46, 'memory/max_allocated (GiB)': 81.46, 'memory/device_reserved (GiB)': 89.97, 'tokens_per_second_per_gpu': 850.71, 'epoch': 2.04}
68%|███████████████████████████████████████▍ | 55/81 [22:54<11:09, 25.76s/it]
69%|████████████████████████████████████████ | 56/81 [23:17<10:24, 24.99s/it]
{'loss': 0.8085, 'grad_norm': 0.6215103268623352, 'learning_rate': 4.885645208965778e-07, 'memory/max_active (GiB)': 45.1, 'memory/max_allocated (GiB)': 45.1, 'memory/device_reserved (GiB)': 89.97, 'tokens_per_second_per_gpu': 825.2, 'epoch': 2.07}
69%|████████████████████████████████████████ | 56/81 [23:17<10:24, 24.99s/it]
70%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 57/81 [23:42<10:00, 25.02s/it]
{'loss': 1.8707, 'grad_norm': 1.5340229272842407, 'learning_rate': 4.5480522783733265e-07, 'memory/max_active (GiB)': 74.01, 'memory/max_allocated (GiB)': 74.01, 'memory/device_reserved (GiB)': 89.97, 'tokens_per_second_per_gpu': 974.6, 'epoch': 2.11}
70%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 57/81 [23:42<10:00, 25.02s/it]
72%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 58/81 [24:06<09:27, 24.66s/it]
{'loss': 1.289, 'grad_norm': 0.5400649309158325, 'learning_rate': 4.2190799977515145e-07, 'memory/max_active (GiB)': 68.43, 'memory/max_allocated (GiB)': 68.43, 'memory/device_reserved (GiB)': 89.97, 'tokens_per_second_per_gpu': 871.48, 'epoch': 2.15}
72%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 58/81 [24:06<09:27, 24.66s/it]
73%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 59/81 [24:32<09:11, 25.05s/it]
{'loss': 0.8458, 'grad_norm': 0.4076080322265625, 'learning_rate': 3.8992485398947563e-07, 'memory/max_active (GiB)': 62.83, 'memory/max_allocated (GiB)': 62.83, 'memory/device_reserved (GiB)': 89.97, 'tokens_per_second_per_gpu': 1008.98, 'epoch': 2.19}
73%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 59/81 [24:32<09:11, 25.05s/it]
74%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 60/81 [24:56<08:39, 24.73s/it]
{'loss': 1.7388, 'grad_norm': 0.8173409700393677, 'learning_rate': 3.5890636240778015e-07, 'memory/max_active (GiB)': 51.13, 'memory/max_allocated (GiB)': 51.13, 'memory/device_reserved (GiB)': 89.97, 'tokens_per_second_per_gpu': 880.54, 'epoch': 2.22}
74%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 60/81 [24:56<08:39, 24.73s/it]
75%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 61/81 [25:19<08:04, 24.21s/it]
{'loss': 0.7868, 'grad_norm': 0.6387739181518555, 'learning_rate': 3.289015716409631e-07, 'memory/max_active (GiB)': 41.57, 'memory/max_allocated (GiB)': 41.57, 'memory/device_reserved (GiB)': 89.97, 'tokens_per_second_per_gpu': 740.08, 'epoch': 2.26}
75%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 61/81 [25:19<08:04, 24.21s/it]
77%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 62/81 [25:45<07:49, 24.70s/it]
{'loss': 0.8116, 'grad_norm': 0.691184401512146, 'learning_rate': 2.9995792543057473e-07, 'memory/max_active (GiB)': 71.73, 'memory/max_allocated (GiB)': 71.73, 'memory/device_reserved (GiB)': 89.97, 'tokens_per_second_per_gpu': 889.11, 'epoch': 2.3}
77%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 62/81 [25:45<07:49, 24.70s/it]
78%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 63/81 [26:09<07:22, 24.58s/it]
{'loss': 0.6392, 'grad_norm': 0.492448627948761, 'learning_rate': 2.721211896305059e-07, 'memory/max_active (GiB)': 66.99, 'memory/max_allocated (GiB)': 66.99, 'memory/device_reserved (GiB)': 89.97, 'tokens_per_second_per_gpu': 779.69, 'epoch': 2.33}
78%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 63/81 [26:09<07:22, 24.58s/it]
79%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 64/81 [26:33<06:56, 24.47s/it]
{'loss': 0.7128, 'grad_norm': 0.5834090709686279, 'learning_rate': 2.454353798417698e-07, 'memory/max_active (GiB)': 79.01, 'memory/max_allocated (GiB)': 79.01, 'memory/device_reserved (GiB)': 89.97, 'tokens_per_second_per_gpu': 821.37, 'epoch': 2.37}
79%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 64/81 [26:33<06:56, 24.47s/it]
80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 65/81 [26:56<06:24, 24.04s/it]
{'loss': 0.8861, 'grad_norm': 0.6599698662757874, 'learning_rate': 2.1994269181478798e-07, 'memory/max_active (GiB)': 47.26, 'memory/max_allocated (GiB)': 47.26, 'memory/device_reserved (GiB)': 89.97, 'tokens_per_second_per_gpu': 811.24, 'epoch': 2.41}
80%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 65/81 [26:56<06:24, 24.04s/it]
81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 66/81 [27:23<06:10, 24.71s/it]
{'loss': 2.1615, 'grad_norm': 0.7803909778594971, 'learning_rate': 1.956834347292352e-07, 'memory/max_active (GiB)': 89.03, 'memory/max_allocated (GiB)': 89.03, 'memory/device_reserved (GiB)': 90.54, 'tokens_per_second_per_gpu': 882.58, 'epoch': 2.45}
81%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 66/81 [27:23<06:10, 24.71s/it]
83%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 67/81 [27:49<05:51, 25.11s/it]
{'loss': 0.9951, 'grad_norm': 0.558167576789856, 'learning_rate': 1.7269596745694292e-07, 'memory/max_active (GiB)': 89.47, 'memory/max_allocated (GiB)': 89.47, 'memory/device_reserved (GiB)': 90.54, 'tokens_per_second_per_gpu': 948.51, 'epoch': 2.48}
83%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 67/81 [27:49<05:51, 25.11s/it]
84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 68/81 [28:16<05:34, 25.73s/it]
{'loss': 2.4148, 'grad_norm': 1.3278695344924927, 'learning_rate': 1.5101663790863595e-07, 'memory/max_active (GiB)': 89.46, 'memory/max_allocated (GiB)': 89.46, 'memory/device_reserved (GiB)': 90.68, 'tokens_per_second_per_gpu': 944.43, 'epoch': 2.52}
84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 68/81 [28:16<05:34, 25.73s/it]
85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 69/81 [28:40<05:01, 25.12s/it]
{'loss': 1.4344, 'grad_norm': 1.1428226232528687, 'learning_rate': 1.306797255604175e-07, 'memory/max_active (GiB)': 51.65, 'memory/max_allocated (GiB)': 51.65, 'memory/device_reserved (GiB)': 90.68, 'tokens_per_second_per_gpu': 852.22, 'epoch': 2.56}
85%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 69/81 [28:40<05:01, 25.12s/it]
86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 70/81 [29:03<04:30, 24.60s/it]
{'loss': 1.6188, 'grad_norm': 1.5298364162445068, 'learning_rate': 1.1171738725086832e-07, 'memory/max_active (GiB)': 68.56, 'memory/max_allocated (GiB)': 68.56, 'memory/device_reserved (GiB)': 90.68, 'tokens_per_second_per_gpu': 861.71, 'epoch': 2.59}
86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 70/81 [29:03<04:30, 24.60s/it]
88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 71/81 [29:29<04:09, 24.94s/it]
{'loss': 0.6562, 'grad_norm': 0.5825881361961365, 'learning_rate': 9.415960633447673e-08, 'memory/max_active (GiB)': 86.4, 'memory/max_allocated (GiB)': 86.4, 'memory/device_reserved (GiB)': 90.68, 'tokens_per_second_per_gpu': 991.35, 'epoch': 2.63}
88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 71/81 [29:29<04:09, 24.94s/it]
89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 72/81 [29:52<03:40, 24.49s/it]
{'loss': 3.4467, 'grad_norm': 1.508130669593811, 'learning_rate': 7.803414527179342e-08, 'memory/max_active (GiB)': 56.32, 'memory/max_allocated (GiB)': 56.32, 'memory/device_reserved (GiB)': 90.68, 'tokens_per_second_per_gpu': 757.41, 'epoch': 2.67}
89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 72/81 [29:52<03:40, 24.49s/it]
90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 73/81 [30:17<03:15, 24.48s/it]
{'loss': 3.2649, 'grad_norm': 1.0750031471252441, 'learning_rate': 6.336650173127223e-08, 'memory/max_active (GiB)': 56.28, 'memory/max_allocated (GiB)': 56.28, 'memory/device_reserved (GiB)': 90.68, 'tokens_per_second_per_gpu': 793.48, 'epoch': 2.71}
90%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 73/81 [30:17<03:15, 24.48s/it]
91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 74/81 [30:40<02:48, 24.07s/it]
{'loss': 2.3341, 'grad_norm': 2.035534381866455, 'learning_rate': 5.017986827221732e-08, 'memory/max_active (GiB)': 58.54, 'memory/max_allocated (GiB)': 58.54, 'memory/device_reserved (GiB)': 90.68, 'tokens_per_second_per_gpu': 766.33, 'epoch': 2.74}
91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 74/81 [30:40<02:48, 24.07s/it]
93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 75/81 [31:04<02:24, 24.10s/it]
{'loss': 1.6347, 'grad_norm': 1.792739748954773, 'learning_rate': 3.849509567257958e-08, 'memory/max_active (GiB)': 69.34, 'memory/max_allocated (GiB)': 69.34, 'memory/device_reserved (GiB)': 90.68, 'tokens_per_second_per_gpu': 786.7, 'epoch': 2.78}
93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 75/81 [31:04<02:24, 24.10s/it]
94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 76/81 [31:32<02:06, 25.35s/it]
{'loss': 1.4495, 'grad_norm': 1.2769355773925781, 'learning_rate': 2.8330659959589942e-08, 'memory/max_active (GiB)': 86.1, 'memory/max_allocated (GiB)': 86.1, 'memory/device_reserved (GiB)': 90.68, 'tokens_per_second_per_gpu': 1065.84, 'epoch': 2.82}
94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 76/81 [31:32<02:06, 25.35s/it]
95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 77/81 [31:56<01:39, 24.82s/it]
{'loss': 2.2957, 'grad_norm': 1.664533257484436, 'learning_rate': 1.9702633195363917e-08, 'memory/max_active (GiB)': 60.57, 'memory/max_allocated (GiB)': 60.57, 'memory/device_reserved (GiB)': 90.68, 'tokens_per_second_per_gpu': 865.29, 'epoch': 2.85}
95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 77/81 [31:56<01:39, 24.82s/it]
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 78/81 [32:24<01:17, 25.73s/it]
{'loss': 1.8847, 'grad_norm': 1.805460810661316, 'learning_rate': 1.2624658063666638e-08, 'memory/max_active (GiB)': 84.93, 'memory/max_allocated (GiB)': 84.93, 'memory/device_reserved (GiB)': 90.68, 'tokens_per_second_per_gpu': 789.11, 'epoch': 2.89}
96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 78/81 [32:24<01:17, 25.73s/it]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 79/81 [32:49<00:51, 25.71s/it]
{'loss': 0.6906, 'grad_norm': 0.49316051602363586, 'learning_rate': 7.10792629802659e-09, 'memory/max_active (GiB)': 79.04, 'memory/max_allocated (GiB)': 79.04, 'memory/device_reserved (GiB)': 90.68, 'tokens_per_second_per_gpu': 1009.91, 'epoch': 2.93}
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 79/81 [32:49<00:51, 25.71s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 80/81 [33:16<00:26, 26.12s/it]
{'loss': 1.9236, 'grad_norm': 1.247730016708374, 'learning_rate': 3.1611609853041676e-09, 'memory/max_active (GiB)': 81.45, 'memory/max_allocated (GiB)': 81.45, 'memory/device_reserved (GiB)': 90.68, 'tokens_per_second_per_gpu': 944.97, 'epoch': 2.97}
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 80/81 [33:16<00:26, 26.12s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 81/81 [33:40<00:00, 25.25s/it]
{'loss': 0.9602, 'grad_norm': 0.6849121451377869, 'learning_rate': 7.906027726981567e-10, 'memory/max_active (GiB)': 76.78, 'memory/max_allocated (GiB)': 76.78, 'memory/device_reserved (GiB)': 90.68, 'tokens_per_second_per_gpu': 870.01, 'epoch': 3.0}
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 81/81 [33:40<00:00, 25.25s/it][2025-12-27 21:52:44,059] [INFO] [axolotl.core.trainers.base._save:671] [PID:122677] Saving model checkpoint to ./outputs/mymodel/checkpoint-81
{'train_runtime': 2021.9142, 'train_samples_per_second': 5.128, 'train_steps_per_second': 0.04, 'train_loss': 1.5273678048893258, 'memory/max_active (GiB)': 4.6, 'memory/max_allocated (GiB)': 4.6, 'memory/device_reserved (GiB)': 90.68, 'epoch': 3.0}
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 81/81 [33:41<00:00, 25.25s/it]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 81/81 [33:41<00:00, 24.96s/it]
[2025-12-27 21:52:46,295] [INFO] [axolotl.train.save_trained_model:218] [PID:122677] Training completed! Saving trained model to ./outputs/mymodel.
[2025-12-27 21:52:47,133] [INFO] [axolotl.train.save_trained_model:336] [PID:122677] Model successfully saved to ./outputs/mymodel
|