File size: 431,198 Bytes
f159ea4 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 | [2026-03-15 11:07:02,974] [DEBUG] [axolotl.utils.config.log_gpu_memory_usage:127] [PID:38782] baseline 0.000GB ()
[2026-03-15 11:07:02,974] [INFO] [axolotl.cli.config.load_cfg:340] [PID:38782] config:
{
"activation_offloading": false,
"adapter": "qlora",
"axolotl_config_path": "/workspace/kgpt_config.yaml",
"base_model": "Qwen/Qwen2.5-7B",
"base_model_config": "Qwen/Qwen2.5-7B",
"batch_size": 16,
"bf16": true,
"capabilities": {
"bf16": true,
"compute_capability": "sm_89",
"fp8": false,
"n_gpu": 1,
"n_node": 1
},
"context_parallel_size": 1,
"dataloader_num_workers": 1,
"dataloader_pin_memory": true,
"dataloader_prefetch_factor": 256,
"dataset_num_proc": 32,
"datasets": [
{
"ds_type": "json",
"message_property_mappings": {
"content": "content",
"role": "role"
},
"path": "/workspace/kgpt_combined.jsonl",
"trust_remote_code": false,
"type": "alpaca"
}
],
"ddp": false,
"device": "cuda:0",
"device_map": "auto",
"dion_rank_fraction": 1.0,
"dion_rank_multiple_of": 1,
"eaft_alpha": 1.0,
"eaft_k": 20,
"env_capabilities": {
"torch_version": "2.8.0"
},
"eval_batch_size": 1,
"eval_causal_lm_metrics": [
"sacrebleu",
"comet",
"ter",
"chrf"
],
"eval_max_new_tokens": 128,
"eval_sample_packing": true,
"eval_steps": 100,
"eval_table_size": 0,
"experimental_skip_move_to_device": true,
"flash_attention": true,
"fp16": false,
"generate_samples": false,
"generation_do_sample": true,
"generation_max_new_tokens": 50,
"generation_prompt_ratio": 0.5,
"generation_temperature": 0.7,
"gradient_accumulation_steps": 16,
"gradient_checkpointing": true,
"gradient_checkpointing_kwargs": {
"use_reentrant": true
},
"include_tkps": true,
"is_falcon_derived_model": false,
"is_llama_derived_model": false,
"is_mistral_derived_model": false,
"learning_rate": 0.0002,
"lisa_layers_attribute": "model.layers",
"load_best_model_at_end": false,
"load_in_4bit": true,
"load_in_8bit": false,
"local_rank": 0,
"logging_steps": 10,
"lora_alpha": 128,
"lora_dropout": 0.05,
"lora_r": 64,
"lora_target_modules": [
"q_proj",
"k_proj",
"v_proj",
"o_proj",
"gate_proj",
"up_proj",
"down_proj"
],
"loraplus_lr_embedding": 1e-06,
"lr_scheduler": "cosine",
"mean_resizing_embeddings": false,
"micro_batch_size": 1,
"model_config_type": "qwen2",
"num_epochs": 3.0,
"num_generation_samples": 3,
"optimizer": "adamw_torch",
"otel_metrics_host": "localhost",
"otel_metrics_port": 8000,
"output_dir": "/workspace/outputs/kgpt-v1",
"pad_to_sequence_len": true,
"pretrain_multipack_attn": true,
"profiler_steps_start": 0,
"qlora_sharded_model_loading": false,
"quantize_moe_experts": false,
"ray_num_workers": 1,
"resources_per_worker": {
"GPU": 1
},
"sample_packing": true,
"sample_packing_bin_size": 200,
"sample_packing_group_size": 100000,
"save_only_model": false,
"save_safetensors": true,
"save_steps": 200,
"save_total_limit": 3,
"sequence_len": 1024,
"shuffle_before_merging_datasets": false,
"shuffle_merged_datasets": true,
"skip_prepare_dataset": false,
"streaming_multipack_buffer_size": 10000,
"strict": false,
"tensor_parallel_size": 1,
"tf32": true,
"tiled_mlp_use_original_mlp": true,
"tokenizer_config": "Qwen/Qwen2.5-7B",
"tokenizer_save_jinja_files": true,
"tokenizer_type": "AutoTokenizer",
"torch_dtype": "torch.bfloat16",
"train_on_inputs": false,
"trl": {
"log_completions": false,
"mask_truncated_completions": false,
"ref_model_mixup_alpha": 0.9,
"ref_model_sync_steps": 64,
"scale_rewards": true,
"sync_ref_model": false,
"use_vllm": false,
"vllm_server_host": "0.0.0.0",
"vllm_server_port": 8000
},
"trust_remote_code": true,
"type_of_model": "AutoModelForCausalLM",
"use_otel_metrics": false,
"use_ray": false,
"val_set_size": 0.0,
"vllm": {
"device": "auto",
"dtype": "auto",
"gpu_memory_utilization": 0.9,
"host": "0.0.0.0",
"port": 8000
},
"warmup_steps": 100,
"weight_decay": 0.01,
"world_size": 1
}
[2026-03-15 11:07:02,975] [WARNING] [axolotl.cli.checks.check_user_token:46] [PID:38782] Error verifying HuggingFace token. Remember to log in using `hf auth login` and get your access token from https://huggingface.co/settings/tokens if you want to use gated models or datasets.
[2026-03-15 11:07:04,067] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:299] [PID:38782] EOS: 151643 / <|endoftext|>
[2026-03-15 11:07:04,068] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:300] [PID:38782] BOS: None / None
[2026-03-15 11:07:04,068] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:301] [PID:38782] PAD: 151643 / <|endoftext|>
[2026-03-15 11:07:04,068] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:302] [PID:38782] UNK: None / None
[2026-03-15 11:07:04,068] [INFO] [axolotl.utils.data.shared.load_preprocessed_dataset:481] [PID:38782] Unable to find prepared dataset in last_run_prepared/9f3f78e8a3cb814f704820380de29656
[2026-03-15 11:07:04,068] [INFO] [axolotl.utils.data.sft._load_raw_datasets:320] [PID:38782] Loading raw datasets...
[2026-03-15 11:07:04,068] [WARNING] [axolotl.utils.data.sft._load_raw_datasets:322] [PID:38782] Processing datasets during training can lead to VRAM instability. Please pre-process your dataset using `axolotl preprocess path/to/config.yml`.
[2026-03-15 11:07:04,452] [INFO] [axolotl.utils.data.wrappers.get_dataset_wrapper:87] [PID:38782] Loading dataset: /workspace/kgpt_combined.jsonl with base_type: alpaca and prompt_style: None
Tokenizing Prompts (num_proc=32): 0%| | 0/48697 [00:00<?, ? examples/s]
Tokenizing Prompts (num_proc=32): 1%|▍ | 289/48697 [00:01<04:18, 187.10 examples/s]
Tokenizing Prompts (num_proc=32): 2%|█▊ | 1053/48697 [00:01<01:00, 788.41 examples/s]
Tokenizing Prompts (num_proc=32): 4%|███ | 1823/48697 [00:02<00:51, 913.46 examples/s]
Tokenizing Prompts (num_proc=32): 5%|████▏ | 2522/48697 [00:02<00:34, 1353.62 examples/s]
Tokenizing Prompts (num_proc=32): 7%|█████▌ | 3350/48697 [00:03<00:35, 1282.26 examples/s]
Tokenizing Prompts (num_proc=32): 8%|██████▌ | 3944/48697 [00:03<00:26, 1662.00 examples/s]
Tokenizing Prompts (num_proc=32): 9%|███████▍ | 4445/48697 [00:03<00:21, 2014.86 examples/s]
Tokenizing Prompts (num_proc=32): 10%|████████ | 4880/48697 [00:04<00:32, 1345.07 examples/s]
Tokenizing Prompts (num_proc=32): 11%|█████████ | 5455/48697 [00:04<00:24, 1770.37 examples/s]
Tokenizing Prompts (num_proc=32): 12%|█████████▉ | 5971/48697 [00:04<00:19, 2184.42 examples/s]
Tokenizing Prompts (num_proc=32): 13%|██████████▋ | 6394/48697 [00:04<00:31, 1360.41 examples/s]
Tokenizing Prompts (num_proc=32): 15%|████████████ | 7216/48697 [00:05<00:21, 1972.43 examples/s]
Tokenizing Prompts (num_proc=32): 16%|█████████████▏ | 7906/48697 [00:05<00:28, 1454.39 examples/s]
Tokenizing Prompts (num_proc=32): 18%|██████████████▍ | 8656/48697 [00:06<00:20, 1915.56 examples/s]
Tokenizing Prompts (num_proc=32): 19%|███████████████▋ | 9397/48697 [00:06<00:25, 1519.90 examples/s]
Tokenizing Prompts (num_proc=32): 21%|████████████████▌ | 10119/48697 [00:06<00:19, 1931.66 examples/s]
Tokenizing Prompts (num_proc=32): 22%|█████████████████▎ | 10513/48697 [00:06<00:17, 2138.02 examples/s]
Tokenizing Prompts (num_proc=32): 22%|█████████████████▉ | 10914/48697 [00:07<00:27, 1391.23 examples/s]
Tokenizing Prompts (num_proc=32): 24%|██████████████████▊ | 11451/48697 [00:07<00:20, 1775.62 examples/s]
Tokenizing Prompts (num_proc=32): 24%|███████████████████▌ | 11926/48697 [00:07<00:17, 2112.47 examples/s]
Tokenizing Prompts (num_proc=32): 26%|████████████████████▍ | 12448/48697 [00:08<00:25, 1435.02 examples/s]
Tokenizing Prompts (num_proc=32): 27%|█████████████████████▋ | 13176/48697 [00:08<00:18, 1927.13 examples/s]
Tokenizing Prompts (num_proc=32): 29%|██████████████████████▉ | 13971/48697 [00:09<00:22, 1554.36 examples/s]
Tokenizing Prompts (num_proc=32): 30%|███████████████████████▉ | 14535/48697 [00:09<00:17, 1927.31 examples/s]
Tokenizing Prompts (num_proc=32): 31%|████████████████████████▌ | 14980/48697 [00:09<00:15, 2222.04 examples/s]
Tokenizing Prompts (num_proc=32): 32%|█████████████████████████▍ | 15493/48697 [00:10<00:22, 1484.47 examples/s]
Tokenizing Prompts (num_proc=32): 33%|██████████████████████████▎ | 16029/48697 [00:10<00:17, 1875.94 examples/s]
Tokenizing Prompts (num_proc=32): 34%|███████████████████████████ | 16491/48697 [00:10<00:14, 2207.61 examples/s]
Tokenizing Prompts (num_proc=32): 35%|███████████████████████████▉ | 17007/48697 [00:11<00:21, 1450.77 examples/s]
Tokenizing Prompts (num_proc=32): 36%|█████████████████████████████▏ | 17742/48697 [00:11<00:15, 1967.32 examples/s]
Tokenizing Prompts (num_proc=32): 38%|██████████████████████████████▍ | 18551/48697 [00:11<00:19, 1544.62 examples/s]
Tokenizing Prompts (num_proc=32): 40%|███████████████████████████████▋ | 19288/48697 [00:12<00:14, 1990.95 examples/s]
Tokenizing Prompts (num_proc=32): 41%|████████████████████████████████▉ | 20062/48697 [00:12<00:18, 1590.65 examples/s]
Tokenizing Prompts (num_proc=32): 43%|██████████████████████████████████▏ | 20805/48697 [00:12<00:13, 2025.31 examples/s]
Tokenizing Prompts (num_proc=32): 44%|███████████████████████████████████ | 21308/48697 [00:12<00:11, 2334.75 examples/s]
Tokenizing Prompts (num_proc=32): 45%|███████████████████████████████████▉ | 21879/48697 [00:13<00:16, 1584.71 examples/s]
Tokenizing Prompts (num_proc=32): 46%|█████████████████████████████████████ | 22580/48697 [00:13<00:12, 2015.39 examples/s]
Tokenizing Prompts (num_proc=32): 47%|█████████████████████████████████████▉ | 23093/48697 [00:14<00:17, 1425.53 examples/s]
Tokenizing Prompts (num_proc=32): 49%|███████████████████████████████████████▏ | 23830/48697 [00:14<00:13, 1841.39 examples/s]
Tokenizing Prompts (num_proc=32): 51%|████████████████████████████████████████▍ | 24644/48697 [00:15<00:15, 1534.02 examples/s]
Tokenizing Prompts (num_proc=32): 52%|█████████████████████████████████████████▎ | 25179/48697 [00:15<00:12, 1847.34 examples/s]
Tokenizing Prompts (num_proc=32): 53%|██████████████████████████████████████████▌ | 25874/48697 [00:15<00:10, 2246.43 examples/s]
Tokenizing Prompts (num_proc=32): 54%|███████████████████████████████████████████▎ | 26397/48697 [00:16<00:14, 1590.65 examples/s]
Tokenizing Prompts (num_proc=32): 55%|████████████████████████████████████████████▏ | 26874/48697 [00:16<00:11, 1896.38 examples/s]
Tokenizing Prompts (num_proc=32): 57%|█████████████████████████████████████████████▍ | 27684/48697 [00:17<00:13, 1513.90 examples/s]
Tokenizing Prompts (num_proc=32): 58%|██████████████████████████████████████████████▋ | 28396/48697 [00:17<00:10, 1926.30 examples/s]
Tokenizing Prompts (num_proc=32): 60%|███████████████████████████████████████████████▉ | 29213/48697 [00:17<00:12, 1566.91 examples/s]
Tokenizing Prompts (num_proc=32): 62%|█████████████████████████████████████████████████▎ | 29992/48697 [00:18<00:09, 2017.45 examples/s]
Tokenizing Prompts (num_proc=32): 63%|██████████████████████████████████████████████████ | 30440/48697 [00:18<00:08, 2219.85 examples/s]
Tokenizing Prompts (num_proc=32): 64%|██████████████████████████████████████████████████▉ | 31009/48697 [00:18<00:11, 1603.40 examples/s]
Tokenizing Prompts (num_proc=32): 65%|███████████████████████████████████████████████████▋ | 31473/48697 [00:18<00:09, 1904.64 examples/s]
Tokenizing Prompts (num_proc=32): 66%|████████████████████████████████████████████████████▉ | 32258/48697 [00:19<00:10, 1517.83 examples/s]
Tokenizing Prompts (num_proc=32): 68%|██████████████████████████████████████████████████████▏ | 32962/48697 [00:19<00:08, 1935.43 examples/s]
Tokenizing Prompts (num_proc=32): 69%|███████████████████████████████████████████████████████▍ | 33771/48697 [00:20<00:09, 1577.12 examples/s]
Tokenizing Prompts (num_proc=32): 71%|████████████████████████████████████████████████████████▍ | 34382/48697 [00:20<00:07, 1966.55 examples/s]
Tokenizing Prompts (num_proc=32): 72%|█████████████████████████████████████████████████████████▎ | 34887/48697 [00:20<00:05, 2307.85 examples/s]
Tokenizing Prompts (num_proc=32): 72%|█████████████████████████████████████████████████████████▉ | 35300/48697 [00:21<00:08, 1489.66 examples/s]
Tokenizing Prompts (num_proc=32): 74%|██████████████████████████████████████████████████████████▊ | 35810/48697 [00:21<00:06, 1856.36 examples/s]
Tokenizing Prompts (num_proc=32): 75%|████████████████████████████████████████████████████████████ | 36528/48697 [00:21<00:05, 2404.39 examples/s]
Tokenizing Prompts (num_proc=32): 76%|████████████████████████████████████████████████████████████▊ | 37039/48697 [00:22<00:07, 1505.95 examples/s]
Tokenizing Prompts (num_proc=32): 77%|█████████████████████████████████████████████████████████████▋ | 37528/48697 [00:22<00:06, 1843.67 examples/s]
Tokenizing Prompts (num_proc=32): 78%|██████████████████████████████████████████████████████████████▌ | 38050/48697 [00:22<00:04, 2238.91 examples/s]
Tokenizing Prompts (num_proc=32): 79%|███████████████████████████████████████████████████████████████▍ | 38639/48697 [00:23<00:06, 1518.60 examples/s]
Tokenizing Prompts (num_proc=32): 80%|████████████████████████████████████████████████████████████████▎ | 39137/48697 [00:23<00:05, 1882.20 examples/s]
Tokenizing Prompts (num_proc=32): 82%|█████████████████████████████████████████████████████████████████▌ | 39874/48697 [00:23<00:06, 1443.46 examples/s]
Tokenizing Prompts (num_proc=32): 83%|██████████████████████████████████████████████████████████████████▌ | 40501/48697 [00:23<00:04, 1888.53 examples/s]
Tokenizing Prompts (num_proc=32): 84%|███████████████████████████████████████████████████████████████████▎ | 41012/48697 [00:24<00:03, 2267.38 examples/s]
Tokenizing Prompts (num_proc=32): 86%|████████████████████████████████████████████████████████████████████▍ | 41670/48697 [00:24<00:04, 1562.77 examples/s]
Tokenizing Prompts (num_proc=32): 87%|█████████████████████████████████████████████████████████████████████▎ | 42174/48697 [00:24<00:03, 1910.75 examples/s]
Tokenizing Prompts (num_proc=32): 88%|██████████████████████████████████████████████████████████████████████▌ | 42919/48697 [00:25<00:03, 1498.54 examples/s]
Tokenizing Prompts (num_proc=32): 90%|███████████████████████████████████████████████████████████████████████▊ | 43709/48697 [00:25<00:02, 2005.17 examples/s]
Tokenizing Prompts (num_proc=32): 91%|█████████████████████████████████████████████████████████████████████████ | 44441/48697 [00:26<00:02, 1520.28 examples/s]
Tokenizing Prompts (num_proc=32): 93%|██████████████████████████████████████████████████████████████████████████▎ | 45245/48697 [00:26<00:01, 2004.89 examples/s]
Tokenizing Prompts (num_proc=32): 94%|███████████████████████████████████████████████████████████████████████████▍ | 45941/48697 [00:27<00:01, 1524.26 examples/s]
Tokenizing Prompts (num_proc=32): 96%|████████████████████████████████████████████████████████████████████████████▋ | 46655/48697 [00:27<00:01, 1909.26 examples/s]
Tokenizing Prompts (num_proc=32): 98%|██████████████████████████████████████████████████████████████████████████████ | 47488/48697 [00:28<00:00, 1611.20 examples/s]
Tokenizing Prompts (num_proc=32): 99%|███████████████████████████████████████████████████████████████████████████████▎| 48314/48697 [00:28<00:00, 2084.45 examples/s]
Tokenizing Prompts (num_proc=32): 100%|████████████████████████████████████████████████████████████████████████████████| 48697/48697 [00:28<00:00, 1705.67 examples/s]
[2026-03-15 11:07:33,937] [INFO] [axolotl.utils.data.utils._log_dataset_stats:212] [PID:38782] min_input_len: 72
[2026-03-15 11:07:33,937] [INFO] [axolotl.utils.data.utils._log_dataset_stats:213] [PID:38782] max_input_len: 166
Dropping Invalid Sequences (<None or >1024) (num_proc=32): 0%| | 0/48697 [00:00<?, ? examples/s]
Dropping Invalid Sequences (<None or >1024) (num_proc=32): 3%|█▊ | 1522/48697 [00:00<00:14, 3168.25 examples/s]
Dropping Invalid Sequences (<None or >1024) (num_proc=32): 100%|██████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 70617.69 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=32): 0%| | 0/48697 [00:00<?, ? examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=32): 3%|█▉ | 1522/48697 [00:00<00:15, 2974.34 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=32): 100%|█████████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 104903.04 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=32): 100%|██████████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 64544.76 examples/s]
Add position_id column (Sample Packing) (num_proc=32): 0%| | 0/48697 [00:00<?, ? examples/s]
Add position_id column (Sample Packing) (num_proc=32): 2%|█▏ | 1000/48697 [00:00<00:24, 1965.74 examples/s]
Add position_id column (Sample Packing) (num_proc=32): 88%|███████████████████████████████████████████████████▏ | 42962/48697 [00:00<00:00, 91381.51 examples/s]
Add position_id column (Sample Packing) (num_proc=32): 100%|██████████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 62890.38 examples/s]
Saving the dataset (0/32 shards): 0%| | 0/48697 [00:00<?, ? examples/s]
Saving the dataset (0/32 shards): 3%|██▌ | 1522/48697 [00:00<00:16, 2809.61 examples/s]
Saving the dataset (1/32 shards): 3%|██▌ | 1522/48697 [00:00<00:16, 2809.61 examples/s]
Saving the dataset (2/32 shards): 6%|█████ | 3044/48697 [00:00<00:16, 2809.61 examples/s]
Saving the dataset (3/32 shards): 9%|███████▌ | 4566/48697 [00:00<00:15, 2809.61 examples/s]
Saving the dataset (4/32 shards): 13%|██████████▏ | 6088/48697 [00:00<00:15, 2809.61 examples/s]
Saving the dataset (5/32 shards): 16%|████████████▋ | 7610/48697 [00:00<00:14, 2809.61 examples/s]
Saving the dataset (6/32 shards): 19%|███████████████▏ | 9132/48697 [00:00<00:14, 2809.61 examples/s]
Saving the dataset (7/32 shards): 22%|█████████████████▌ | 10654/48697 [00:00<00:13, 2809.61 examples/s]
Saving the dataset (8/32 shards): 25%|████████████████████ | 12176/48697 [00:00<00:12, 2809.61 examples/s]
Saving the dataset (9/32 shards): 28%|██████████████████████▌ | 13698/48697 [00:00<00:12, 2809.61 examples/s]
Saving the dataset (10/32 shards): 31%|████████████████████████▋ | 15220/48697 [00:00<00:11, 2809.61 examples/s]
Saving the dataset (11/32 shards): 34%|███████████████████████████▏ | 16742/48697 [00:00<00:11, 2809.61 examples/s]
Saving the dataset (12/32 shards): 38%|█████████████████████████████▋ | 18264/48697 [00:00<00:10, 2809.61 examples/s]
Saving the dataset (13/32 shards): 41%|████████████████████████████████ | 19786/48697 [00:00<00:10, 2809.61 examples/s]
Saving the dataset (14/32 shards): 44%|██████████████████████████████████▌ | 21308/48697 [00:00<00:09, 2809.61 examples/s]
Saving the dataset (15/32 shards): 47%|█████████████████████████████████████ | 22830/48697 [00:00<00:09, 2809.61 examples/s]
Saving the dataset (16/32 shards): 50%|███████████████████████████████████████▌ | 24352/48697 [00:00<00:08, 2809.61 examples/s]
Saving the dataset (17/32 shards): 53%|█████████████████████████████████████████▉ | 25874/48697 [00:00<00:08, 2809.61 examples/s]
Saving the dataset (18/32 shards): 56%|████████████████████████████████████████████▍ | 27396/48697 [00:00<00:07, 2809.61 examples/s]
Saving the dataset (19/32 shards): 59%|██████████████████████████████████████████████▉ | 28918/48697 [00:00<00:07, 2809.61 examples/s]
Saving the dataset (20/32 shards): 63%|█████████████████████████████████████████████████▍ | 30440/48697 [00:00<00:06, 2809.61 examples/s]
Saving the dataset (21/32 shards): 66%|███████████████████████████████████████████████████▊ | 31962/48697 [00:00<00:05, 2809.61 examples/s]
Saving the dataset (22/32 shards): 69%|██████████████████████████████████████████████████████▎ | 33484/48697 [00:00<00:05, 2809.61 examples/s]
Saving the dataset (23/32 shards): 72%|████████████████████████████████████████████████████████▊ | 35006/48697 [00:00<00:04, 2809.61 examples/s]
Saving the dataset (24/32 shards): 75%|███████████████████████████████████████████████████████████▎ | 36528/48697 [00:00<00:04, 2809.61 examples/s]
Saving the dataset (25/32 shards): 78%|█████████████████████████████████████████████████████████████▋ | 38050/48697 [00:00<00:03, 2809.61 examples/s]
Saving the dataset (26/32 shards): 81%|████████████████████████████████████████████████████████████████▏ | 39571/48697 [00:00<00:03, 2809.61 examples/s]
Saving the dataset (27/32 shards): 84%|██████████████████████████████████████████████████████████████████▋ | 41092/48697 [00:00<00:02, 2809.61 examples/s]
Saving the dataset (28/32 shards): 88%|█████████████████████████████████████████████████████████████████████▏ | 42613/48697 [00:00<00:02, 2809.61 examples/s]
Saving the dataset (29/32 shards): 91%|███████████████████████████████████████████████████████████████████████▌ | 44134/48697 [00:00<00:01, 2809.61 examples/s]
Saving the dataset (30/32 shards): 94%|██████████████████████████████████████████████████████████████████████████ | 45655/48697 [00:00<00:01, 2809.61 examples/s]
Saving the dataset (31/32 shards): 97%|████████████████████████████████████████████████████████████████████████████▌ | 47176/48697 [00:00<00:00, 2809.61 examples/s]
Saving the dataset (32/32 shards): 100%|███████████████████████████████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 2809.61 examples/s]
Saving the dataset (32/32 shards): 100%|██████████████████████████████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 77578.98 examples/s]
[2026-03-15 11:07:37,194] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:420] [PID:38782] total_num_tokens: 5_561_451
[2026-03-15 11:07:37,340] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:438] [PID:38782] `total_supervised_tokens: 2_976_820`
[2026-03-15 11:07:38,729] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.5847363471984863
[2026-03-15 11:07:39,303] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.5731608867645264
[2026-03-15 11:07:39,867] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.5637989044189453
[2026-03-15 11:07:40,439] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.5711963176727295
[2026-03-15 11:07:40,457] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:38782] gather_len_batches: [5563]
[2026-03-15 11:07:40,457] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:495] [PID:38782] data_loader_len: 347
[2026-03-15 11:07:40,458] [INFO] [axolotl.utils.trainer.calc_sample_packing_eff_est:504] [PID:38782] sample_packing_eff_est across ranks: [0.9752387308650565]
[2026-03-15 11:07:40,458] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:516] [PID:38782] sample_packing_eff_est: 0.98
[2026-03-15 11:07:40,458] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:521] [PID:38782] total_num_steps: 1041
[2026-03-15 11:07:40,459] [INFO] [axolotl.utils.data.sft._prepare_standard_dataset:121] [PID:38782] Maximum number of steps set at 1041
[2026-03-15 11:07:40,493] [DEBUG] [axolotl.train.setup_model_and_tokenizer:70] [PID:38782] loading tokenizer... Qwen/Qwen2.5-7B
[2026-03-15 11:07:40,802] [WARNING] [huggingface_hub.utils._http._warn_on_warning_headers:916] [PID:38782] Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
[2026-03-15 11:07:41,646] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:299] [PID:38782] EOS: 151643 / <|endoftext|>
[2026-03-15 11:07:41,646] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:300] [PID:38782] BOS: None / None
[2026-03-15 11:07:41,646] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:301] [PID:38782] PAD: 151643 / <|endoftext|>
[2026-03-15 11:07:41,646] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:302] [PID:38782] UNK: None / None
[2026-03-15 11:07:41,646] [DEBUG] [axolotl.train.setup_model_and_tokenizer:82] [PID:38782] Loading model
[2026-03-15 11:07:41,791] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_evaluation_loop:91] [PID:38782] Patched Trainer.evaluation_loop with nanmean loss calculation
[2026-03-15 11:07:41,792] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_maybe_log_save_evaluate:142] [PID:38782] Patched Trainer._maybe_log_save_evaluate with nanmean loss calculation
[2026-03-15 11:07:41,792] [INFO] [axolotl.loaders.patch_manager._apply_multipack_patches:389] [PID:38782] Applying multipack dataloader patch for sample packing...
Fetching 22 files: 0%| | 0/22 [00:00<?, ?it/s]
Fetching 22 files: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 22/22 [00:00<00:00, 112119.91it/s]
Loading weights: 0%| | 0/339 [00:00<?, ?it/s]
Loading weights: 1%|▋ | 2/339 [00:00<00:24, 13.73it/s]
Loading weights: 1%|█▎ | 4/339 [00:00<00:22, 14.87it/s]
Loading weights: 2%|█▉ | 6/339 [00:00<00:25, 13.06it/s]
Loading weights: 3%|███▎ | 10/339 [00:00<00:18, 17.67it/s]
Loading weights: 4%|████▌ | 14/339 [00:00<00:15, 20.71it/s]
Loading weights: 5%|█████▌ | 17/339 [00:00<00:17, 18.27it/s]
Loading weights: 6%|██████▏ | 19/339 [00:01<00:17, 18.58it/s]
Loading weights: 34%|████████████████████████████████████▋ | 114/339 [00:01<00:00, 240.13it/s]
Loading weights: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████| 339/339 [00:01<00:00, 276.25it/s]
[2026-03-15 11:07:43,816] [INFO] [axolotl.loaders.model._prepare_model_for_quantization:875] [PID:38782] converting PEFT model w/ prepare_model_for_kbit_training
[2026-03-15 11:07:43,819] [INFO] [axolotl.loaders.model._configure_embedding_dtypes:359] [PID:38782] Converting modules to torch.bfloat16
[2026-03-15 11:07:43,820] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:38782] Memory usage after model load 13.587GB (+13.587GB allocated, +13.658GB reserved)
trainable params: 161,480,704 || all params: 7,777,097,216 || trainable%: 2.0764
[2026-03-15 11:07:44,744] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:38782] after adapters 5.770GB (+5.770GB allocated, +13.881GB reserved)
[2026-03-15 11:07:46,106] [INFO] [axolotl.train.save_initial_configs:414] [PID:38782] Pre-saving adapter config to /workspace/outputs/kgpt-v1...
[2026-03-15 11:07:46,106] [INFO] [axolotl.train.save_initial_configs:418] [PID:38782] Pre-saving tokenizer to /workspace/outputs/kgpt-v1...
[2026-03-15 11:07:46,149] [INFO] [axolotl.train.save_initial_configs:423] [PID:38782] Pre-saving model config to /workspace/outputs/kgpt-v1...
[2026-03-15 11:07:46,151] [INFO] [axolotl.train.execute_training:219] [PID:38782] Starting trainer...
[2026-03-15 11:07:47,884] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.6391372680664062
[2026-03-15 11:07:48,546] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.6610345840454102
[2026-03-15 11:07:49,208] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.6615941524505615
[2026-03-15 11:07:49,863] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.654503345489502
[2026-03-15 11:07:49,863] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:38782] gather_len_batches: [5566]
0%| | 0/1041 [00:00<?, ?it/s]
0%| | 1/1041 [00:08<2:35:59, 9.00s/it]
0%|▏ | 2/1041 [00:16<2:21:02, 8.15s/it]
0%|▎ | 3/1041 [00:24<2:16:17, 7.88s/it]
0%|▍ | 4/1041 [00:31<2:13:56, 7.75s/it]
0%|▌ | 5/1041 [00:39<2:12:38, 7.68s/it]
1%|▋ | 6/1041 [00:46<2:11:44, 7.64s/it]
1%|▊ | 7/1041 [00:54<2:11:09, 7.61s/it]
1%|▉ | 8/1041 [01:01<2:10:45, 7.60s/it]
1%|█ | 9/1041 [01:09<2:10:25, 7.58s/it]
1%|█▏ | 10/1041 [01:17<2:10:09, 7.57s/it]
{'loss': '2.707', 'grad_norm': '0.08499', 'learning_rate': '1.8e-05', 'ppl': '14.99', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '13.88', 'tokens/train_per_sec_per_gpu': '70.4', 'tokens/total': 163840, 'tokens/trainable': 85349, 'epoch': '0.02875'}
1%|█▏ | 10/1041 [01:17<2:10:09, 7.57s/it]
1%|█▎ | 11/1041 [01:24<2:09:57, 7.57s/it]
1%|█▍ | 12/1041 [01:32<2:09:44, 7.57s/it]
1%|█▌ | 13/1041 [01:39<2:09:36, 7.56s/it]
1%|█▋ | 14/1041 [01:47<2:09:28, 7.56s/it]
1%|█▊ | 15/1041 [01:54<2:09:19, 7.56s/it]
2%|█▉ | 16/1041 [02:02<2:09:11, 7.56s/it]
2%|██ | 17/1041 [02:09<2:09:02, 7.56s/it]
2%|██▏ | 18/1041 [02:17<2:08:57, 7.56s/it]
2%|██▎ | 19/1041 [02:25<2:08:49, 7.56s/it]
2%|██▍ | 20/1041 [02:32<2:08:40, 7.56s/it]
{'loss': '1.836', 'grad_norm': '0.1231', 'learning_rate': '3.8e-05', 'ppl': '6.269', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.7', 'tokens/total': 327680, 'tokens/trainable': 171279, 'epoch': '0.05749'}
2%|██▍ | 20/1041 [02:32<2:08:40, 7.56s/it]
2%|██▌ | 21/1041 [02:40<2:08:32, 7.56s/it]
2%|██▋ | 22/1041 [02:47<2:08:25, 7.56s/it]
2%|██▊ | 23/1041 [02:55<2:08:17, 7.56s/it]
2%|██▉ | 24/1041 [03:02<2:08:10, 7.56s/it]
2%|███ | 25/1041 [03:10<2:08:03, 7.56s/it]
2%|███ | 26/1041 [03:17<2:07:54, 7.56s/it]
3%|███▏ | 27/1041 [03:25<2:07:48, 7.56s/it]
3%|███▎ | 28/1041 [03:33<2:07:40, 7.56s/it]
3%|███▍ | 29/1041 [03:40<2:07:32, 7.56s/it]
3%|███▌ | 30/1041 [03:48<2:07:25, 7.56s/it]
{'loss': '0.5594', 'grad_norm': '0.05218', 'learning_rate': '5.8e-05', 'ppl': '1.75', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '61.71', 'tokens/total': 491520, 'tokens/trainable': 257267, 'epoch': '0.08624'}
3%|███▌ | 30/1041 [03:48<2:07:25, 7.56s/it]
3%|███▋ | 31/1041 [03:55<2:07:17, 7.56s/it]
3%|███▊ | 32/1041 [04:03<2:07:10, 7.56s/it]
3%|███▉ | 33/1041 [04:10<2:07:02, 7.56s/it]
3%|████ | 34/1041 [04:18<2:06:55, 7.56s/it]
3%|████▏ | 35/1041 [04:26<2:06:47, 7.56s/it]
3%|████▎ | 36/1041 [04:33<2:06:39, 7.56s/it]
4%|████▍ | 37/1041 [04:41<2:06:32, 7.56s/it]
4%|████▌ | 38/1041 [04:48<2:06:24, 7.56s/it]
4%|████▋ | 39/1041 [04:56<2:06:18, 7.56s/it]
4%|████▊ | 40/1041 [05:03<2:06:11, 7.56s/it]
{'loss': '0.2106', 'grad_norm': '0.02441', 'learning_rate': '7.8e-05', 'ppl': '1.234', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.64', 'tokens/total': 655360, 'tokens/trainable': 342778, 'epoch': '0.115'}
4%|████▊ | 40/1041 [05:03<2:06:11, 7.56s/it]
4%|████▉ | 41/1041 [05:11<2:06:04, 7.56s/it]
4%|█████ | 42/1041 [05:19<2:06:07, 7.57s/it]
4%|█████▏ | 43/1041 [05:26<2:05:56, 7.57s/it]
4%|█████▎ | 44/1041 [05:34<2:05:45, 7.57s/it]
4%|█████▍ | 45/1041 [05:41<2:05:36, 7.57s/it]
4%|█████▌ | 46/1041 [05:49<2:05:27, 7.56s/it]
5%|█████▋ | 47/1041 [05:56<2:05:18, 7.56s/it]
5%|█████▊ | 48/1041 [06:04<2:05:10, 7.56s/it]
5%|█████▉ | 49/1041 [06:11<2:05:03, 7.56s/it]
5%|██████ | 50/1041 [06:19<2:04:59, 7.57s/it]
{'loss': '0.1246', 'grad_norm': '0.01628', 'learning_rate': '9.8e-05', 'ppl': '1.133', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.11', 'tokens/total': 819200, 'tokens/trainable': 428437, 'epoch': '0.1437'}
5%|██████ | 50/1041 [06:19<2:04:59, 7.57s/it]
5%|██████ | 51/1041 [06:27<2:04:50, 7.57s/it]
5%|██████▏ | 52/1041 [06:34<2:04:42, 7.57s/it]
5%|██████▎ | 53/1041 [06:42<2:04:33, 7.56s/it]
5%|██████▍ | 54/1041 [06:49<2:04:25, 7.56s/it]
5%|██████▌ | 55/1041 [06:57<2:04:17, 7.56s/it]
5%|██████▋ | 56/1041 [07:04<2:04:10, 7.56s/it]
5%|██████▊ | 57/1041 [07:12<2:04:03, 7.56s/it]
6%|██████▉ | 58/1041 [07:20<2:03:55, 7.56s/it]
6%|███████ | 59/1041 [07:27<2:03:47, 7.56s/it]
6%|███████▏ | 60/1041 [07:35<2:03:40, 7.56s/it]
{'loss': '0.05733', 'grad_norm': '0.01206', 'learning_rate': '0.000118', 'ppl': '1.059', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.85', 'tokens/total': 983040, 'tokens/trainable': 514011, 'epoch': '0.1725'}
6%|███████▏ | 60/1041 [07:35<2:03:40, 7.56s/it]
6%|███████▎ | 61/1041 [07:42<2:03:32, 7.56s/it]
6%|███████▍ | 62/1041 [07:50<2:03:24, 7.56s/it]
6%|███████▌ | 63/1041 [07:57<2:03:16, 7.56s/it]
6%|███████▋ | 64/1041 [08:05<2:03:08, 7.56s/it]
6%|███████▊ | 65/1041 [08:12<2:03:00, 7.56s/it]
6%|███████▉ | 66/1041 [08:20<2:02:53, 7.56s/it]
6%|████████ | 67/1041 [08:28<2:02:46, 7.56s/it]
7%|████████▏ | 68/1041 [08:35<2:02:38, 7.56s/it]
7%|████████▎ | 69/1041 [08:43<2:02:30, 7.56s/it]
7%|████████▍ | 70/1041 [08:50<2:02:22, 7.56s/it]
{'loss': '0.03601', 'grad_norm': '0.01239', 'learning_rate': '0.000138', 'ppl': '1.037', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '63.2', 'tokens/total': 1146880, 'tokens/trainable': 599266, 'epoch': '0.2012'}
7%|████████▍ | 70/1041 [08:50<2:02:22, 7.56s/it]
7%|████████▌ | 71/1041 [08:58<2:02:14, 7.56s/it]
7%|████████▋ | 72/1041 [09:05<2:02:06, 7.56s/it]
7%|████████▊ | 73/1041 [09:13<2:01:59, 7.56s/it]
7%|████████▉ | 74/1041 [09:21<2:01:51, 7.56s/it]
7%|█████████ | 75/1041 [09:28<2:01:42, 7.56s/it]
7%|█████████▏ | 76/1041 [09:36<2:01:34, 7.56s/it]
7%|█████████▏ | 77/1041 [09:43<2:01:27, 7.56s/it]
7%|█████████▎ | 78/1041 [09:51<2:01:18, 7.56s/it]
8%|█████████▍ | 79/1041 [09:58<2:01:12, 7.56s/it]
8%|█████████▌ | 80/1041 [10:06<2:01:04, 7.56s/it]
{'loss': '0.01981', 'grad_norm': '0.01054', 'learning_rate': '0.000158', 'ppl': '1.02', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '75.26', 'tokens/total': 1310720, 'tokens/trainable': 684447, 'epoch': '0.23'}
8%|█████████▌ | 80/1041 [10:06<2:01:04, 7.56s/it]
8%|█████████▋ | 81/1041 [10:13<2:00:59, 7.56s/it]
8%|█████████▊ | 82/1041 [10:21<2:00:52, 7.56s/it]
8%|█████████▉ | 83/1041 [10:29<2:00:45, 7.56s/it]
8%|██████████ | 84/1041 [10:36<2:00:39, 7.56s/it]
8%|██████████▏ | 85/1041 [10:44<2:00:30, 7.56s/it]
8%|██████████▎ | 86/1041 [10:51<2:00:23, 7.56s/it]
8%|██████████▍ | 87/1041 [10:59<2:00:14, 7.56s/it]
8%|██████████▌ | 88/1041 [11:06<2:00:05, 7.56s/it]
9%|██████████▋ | 89/1041 [11:14<1:59:56, 7.56s/it]
9%|██████████▊ | 90/1041 [11:22<1:59:50, 7.56s/it]
{'loss': '0.01329', 'grad_norm': '0.01094', 'learning_rate': '0.000178', 'ppl': '1.013', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '79.43', 'tokens/total': 1474560, 'tokens/trainable': 769663, 'epoch': '0.2587'}
9%|██████████▊ | 90/1041 [11:22<1:59:50, 7.56s/it]
9%|██████████▉ | 91/1041 [11:29<1:59:44, 7.56s/it]
9%|███████████ | 92/1041 [11:37<1:59:36, 7.56s/it]
9%|███████████▏ | 93/1041 [11:44<1:59:28, 7.56s/it]
9%|███████████▎ | 94/1041 [11:52<1:59:21, 7.56s/it]
9%|███████████▍ | 95/1041 [11:59<1:59:14, 7.56s/it]
9%|███████████▌ | 96/1041 [12:07<1:59:05, 7.56s/it]
9%|███████████▋ | 97/1041 [12:14<1:58:59, 7.56s/it]
9%|███████████▊ | 98/1041 [12:22<1:58:51, 7.56s/it]
10%|███████████▉ | 99/1041 [12:30<1:58:43, 7.56s/it]
10%|███████████▉ | 100/1041 [12:37<1:58:35, 7.56s/it]
{'loss': '0.007035', 'grad_norm': '0.004912', 'learning_rate': '0.000198', 'ppl': '1.007', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.63', 'tokens/total': 1638400, 'tokens/trainable': 855171, 'epoch': '0.2875'}
10%|███████████▉ | 100/1041 [12:37<1:58:35, 7.56s/it]
10%|████████████ | 101/1041 [12:45<1:58:29, 7.56s/it]
10%|████████████▏ | 102/1041 [12:52<1:58:21, 7.56s/it]
10%|████████████▎ | 103/1041 [13:00<1:58:16, 7.57s/it]
10%|████████████▍ | 104/1041 [13:07<1:58:07, 7.56s/it]
10%|████████████▌ | 105/1041 [13:15<1:57:59, 7.56s/it]
10%|████████████▋ | 106/1041 [13:23<1:57:51, 7.56s/it]
10%|████████████▋ | 107/1041 [13:30<1:57:44, 7.56s/it]
10%|████████████▊ | 108/1041 [13:38<1:57:36, 7.56s/it]
10%|████████████▉ | 109/1041 [13:45<1:57:27, 7.56s/it]
11%|█████████████ | 110/1041 [13:53<1:57:19, 7.56s/it]
{'loss': '0.006047', 'grad_norm': '0.009628', 'learning_rate': '0.0002', 'ppl': '1.006', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '62.93', 'tokens/total': 1802240, 'tokens/trainable': 941076, 'epoch': '0.3162'}
11%|█████████████ | 110/1041 [13:53<1:57:19, 7.56s/it]
11%|█████████████▏ | 111/1041 [14:00<1:57:12, 7.56s/it]
11%|█████████████▎ | 112/1041 [14:08<1:57:04, 7.56s/it]
11%|█████████████▍ | 113/1041 [14:15<1:56:58, 7.56s/it]
11%|█████████████▌ | 114/1041 [14:23<1:56:50, 7.56s/it]
11%|█████████████▋ | 115/1041 [14:31<1:56:44, 7.56s/it]
11%|█████████████▊ | 116/1041 [14:38<1:56:36, 7.56s/it]
11%|█████████████▉ | 117/1041 [14:46<1:56:30, 7.57s/it]
11%|██████████████ | 118/1041 [14:53<1:56:21, 7.56s/it]
11%|██████████████▏ | 119/1041 [15:01<1:56:13, 7.56s/it]
12%|██████████████▎ | 120/1041 [15:08<1:56:05, 7.56s/it]
{'loss': '0.006244', 'grad_norm': '0.006183', 'learning_rate': '0.0001998', 'ppl': '1.006', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.17', 'tokens/total': 1966080, 'tokens/trainable': 1026812, 'epoch': '0.345'}
12%|██████████████▎ | 120/1041 [15:08<1:56:05, 7.56s/it]
12%|██████████████▍ | 121/1041 [15:16<1:55:58, 7.56s/it]
12%|██████████████▌ | 122/1041 [15:24<1:55:50, 7.56s/it]
12%|██████████████▋ | 123/1041 [15:31<1:55:42, 7.56s/it]
12%|██████████████▊ | 124/1041 [15:39<1:55:35, 7.56s/it]
12%|██████████████▉ | 125/1041 [15:46<1:55:27, 7.56s/it]
12%|███████████████ | 126/1041 [15:54<1:55:19, 7.56s/it]
12%|███████████████▏ | 127/1041 [16:01<1:55:11, 7.56s/it]
12%|███████████████▏ | 128/1041 [16:09<1:55:05, 7.56s/it]
12%|███████████████▎ | 129/1041 [16:16<1:54:58, 7.56s/it]
12%|███████████████▍ | 130/1041 [16:24<1:54:50, 7.56s/it]
{'loss': '0.00259', 'grad_norm': '0.004522', 'learning_rate': '0.0001995', 'ppl': '1.003', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.83', 'tokens/total': 2129920, 'tokens/trainable': 1112072, 'epoch': '0.3737'}
12%|███████████████▍ | 130/1041 [16:24<1:54:50, 7.56s/it]
13%|███████████████▌ | 131/1041 [16:32<1:54:42, 7.56s/it]
13%|███████████████▋ | 132/1041 [16:39<1:54:34, 7.56s/it]
13%|███████████████▊ | 133/1041 [16:47<1:54:26, 7.56s/it]
13%|███████████████▉ | 134/1041 [16:54<1:54:20, 7.56s/it]
13%|████████████████ | 135/1041 [17:02<1:54:12, 7.56s/it]
13%|████████████████▏ | 136/1041 [17:09<1:54:06, 7.56s/it]
13%|████████████████▎ | 137/1041 [17:17<1:54:00, 7.57s/it]
13%|████████████████▍ | 138/1041 [17:25<1:53:51, 7.57s/it]
13%|████████████████▌ | 139/1041 [17:32<1:53:45, 7.57s/it]
13%|████████████████▋ | 140/1041 [17:40<1:53:36, 7.57s/it]
{'loss': '0.002697', 'grad_norm': '0.001101', 'learning_rate': '0.0001992', 'ppl': '1.003', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.13', 'tokens/total': 2293760, 'tokens/trainable': 1197485, 'epoch': '0.4024'}
13%|████████████████▋ | 140/1041 [17:40<1:53:36, 7.57s/it]
14%|████████████████▊ | 141/1041 [17:47<1:53:28, 7.57s/it]
14%|████████████████▉ | 142/1041 [17:55<1:53:19, 7.56s/it]
14%|█████████████████ | 143/1041 [18:02<1:53:11, 7.56s/it]
14%|█████████████████▏ | 144/1041 [18:10<1:53:03, 7.56s/it]
14%|█████████████████▎ | 145/1041 [18:18<1:52:55, 7.56s/it]
14%|█████████████████▍ | 146/1041 [18:25<1:52:49, 7.56s/it]
14%|█████████████████▌ | 147/1041 [18:33<1:52:41, 7.56s/it]
14%|█████████████████▋ | 148/1041 [18:40<1:52:35, 7.56s/it]
14%|█████████████████▋ | 149/1041 [18:48<1:52:28, 7.57s/it]
14%|█████████████████▊ | 150/1041 [18:55<1:52:20, 7.57s/it]
{'loss': '0.00419', 'grad_norm': '0.003355', 'learning_rate': '0.0001987', 'ppl': '1.004', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.94', 'tokens/total': 2457600, 'tokens/trainable': 1282691, 'epoch': '0.4312'}
14%|█████████████████▊ | 150/1041 [18:55<1:52:20, 7.57s/it]
15%|█████████████████▉ | 151/1041 [19:03<1:52:12, 7.56s/it]
15%|██████████████████ | 152/1041 [19:10<1:52:04, 7.56s/it]
15%|██████████████████▏ | 153/1041 [19:18<1:51:56, 7.56s/it]
15%|██████████████████▎ | 154/1041 [19:26<1:51:48, 7.56s/it]
15%|██████████████████▍ | 155/1041 [19:33<1:51:41, 7.56s/it]
15%|██████████████████▌ | 156/1041 [19:41<1:51:34, 7.56s/it]
15%|██████████████████▋ | 157/1041 [19:48<1:51:25, 7.56s/it]
15%|██████████████████▊ | 158/1041 [19:56<1:51:17, 7.56s/it]
15%|██████████████████▉ | 159/1041 [20:03<1:51:10, 7.56s/it]
15%|███████████████████ | 160/1041 [20:11<1:51:03, 7.56s/it]
{'loss': '0.001551', 'grad_norm': '0.002657', 'learning_rate': '0.0001981', 'ppl': '1.002', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.18', 'tokens/total': 2621440, 'tokens/trainable': 1367835, 'epoch': '0.4599'}
15%|███████████████████ | 160/1041 [20:11<1:51:03, 7.56s/it]
15%|███████████████████▏ | 161/1041 [20:19<1:50:59, 7.57s/it]
16%|███████████████████▎ | 162/1041 [20:26<1:50:51, 7.57s/it]
16%|███████████████████▍ | 163/1041 [20:34<1:50:41, 7.56s/it]
16%|███████████████████▌ | 164/1041 [20:41<1:50:33, 7.56s/it]
16%|███████████████████▋ | 165/1041 [20:49<1:50:25, 7.56s/it]
16%|███████████████████▊ | 166/1041 [20:56<1:50:17, 7.56s/it]
16%|███████████████████▉ | 167/1041 [21:04<1:50:08, 7.56s/it]
16%|████████████████████ | 168/1041 [21:11<1:50:01, 7.56s/it]
16%|████████████████████▏ | 169/1041 [21:19<1:49:54, 7.56s/it]
16%|████████████████████▏ | 170/1041 [21:27<1:49:47, 7.56s/it]
{'loss': '0.001427', 'grad_norm': '0.002344', 'learning_rate': '0.0001974', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.73', 'tokens/total': 2785280, 'tokens/trainable': 1453587, 'epoch': '0.4887'}
16%|████████████████████▏ | 170/1041 [21:27<1:49:47, 7.56s/it]
16%|████████████████████▎ | 171/1041 [21:34<1:49:39, 7.56s/it]
17%|████████████████████▍ | 172/1041 [21:42<1:49:31, 7.56s/it]
17%|████████████████████▌ | 173/1041 [21:49<1:49:24, 7.56s/it]
17%|████████████████████▋ | 174/1041 [21:57<1:49:18, 7.56s/it]
17%|████████████████████▊ | 175/1041 [22:04<1:49:11, 7.57s/it]
17%|████████████████████▉ | 176/1041 [22:12<1:49:05, 7.57s/it]
17%|█████████████████████ | 177/1041 [22:20<1:48:58, 7.57s/it]
17%|█████████████████████▏ | 178/1041 [22:27<1:48:49, 7.57s/it]
17%|█████████████████████▎ | 179/1041 [22:35<1:48:42, 7.57s/it]
17%|█████████████████████▍ | 180/1041 [22:42<1:48:35, 7.57s/it]
{'loss': '0.002041', 'grad_norm': '0.003929', 'learning_rate': '0.0001965', 'ppl': '1.002', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.21', 'tokens/total': 2949120, 'tokens/trainable': 1539777, 'epoch': '0.5174'}
17%|█████████████████████▍ | 180/1041 [22:42<1:48:35, 7.57s/it]
17%|█████████████████████▌ | 181/1041 [22:50<1:48:28, 7.57s/it]
17%|█████████████████████▋ | 182/1041 [22:57<1:48:20, 7.57s/it]
18%|█████████████████████▊ | 183/1041 [23:05<1:48:11, 7.57s/it]
18%|█████████████████████▉ | 184/1041 [23:13<1:48:03, 7.57s/it]
18%|██████████████████████ | 185/1041 [23:20<1:47:56, 7.57s/it]
18%|██████████████████████▏ | 186/1041 [23:28<1:47:48, 7.57s/it]
18%|██████████████████████▎ | 187/1041 [23:35<1:47:41, 7.57s/it]
18%|██████████████████████▍ | 188/1041 [23:43<1:47:33, 7.57s/it]
18%|██████████████████████▌ | 189/1041 [23:50<1:47:26, 7.57s/it]
18%|██████████████████████▋ | 190/1041 [23:58<1:47:18, 7.57s/it]
{'loss': '0.003008', 'grad_norm': '0.004869', 'learning_rate': '0.0001956', 'ppl': '1.003', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.55', 'tokens/total': 3112960, 'tokens/trainable': 1626062, 'epoch': '0.5462'}
18%|██████████████████████▋ | 190/1041 [23:58<1:47:18, 7.57s/it]
18%|██████████████████████▊ | 191/1041 [24:05<1:47:11, 7.57s/it]
18%|██████████████████████▊ | 192/1041 [24:13<1:47:03, 7.57s/it]
19%|██████████████████████▉ | 193/1041 [24:21<1:46:56, 7.57s/it]
19%|███████████████████████ | 194/1041 [24:28<1:46:48, 7.57s/it]
19%|███████████████████████▏ | 195/1041 [24:36<1:46:40, 7.57s/it]
19%|███████████████████████▎ | 196/1041 [24:43<1:46:32, 7.56s/it]
19%|███████████████████████▍ | 197/1041 [24:51<1:46:24, 7.57s/it]
19%|███████████████████████▌ | 198/1041 [24:58<1:46:16, 7.56s/it]
19%|███████████████████████▋ | 199/1041 [25:06<1:46:10, 7.57s/it]
19%|███████████████████████▊ | 200/1041 [25:14<1:46:02, 7.57s/it]
{'loss': '0.001355', 'grad_norm': '0.001834', 'learning_rate': '0.0001946', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '66.99', 'tokens/total': 3276800, 'tokens/trainable': 1712189, 'epoch': '0.5749'}
19%|███████████████████████▊ | 200/1041 [25:14<1:46:02, 7.57s/it][2026-03-15 11:33:04,000] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-200
19%|███████████████████████▉ | 201/1041 [25:23<1:52:09, 8.01s/it]
19%|████████████████████████ | 202/1041 [25:30<1:50:10, 7.88s/it]
20%|████████████████████████▏ | 203/1041 [25:38<1:48:44, 7.79s/it]
20%|████████████████████████▎ | 204/1041 [25:45<1:47:41, 7.72s/it]
20%|████████████████████████▍ | 205/1041 [25:53<1:46:54, 7.67s/it]
20%|████████████████████████▌ | 206/1041 [26:00<1:46:20, 7.64s/it]
20%|████████████████████████▋ | 207/1041 [26:08<1:45:54, 7.62s/it]
20%|████████████████████████▊ | 208/1041 [26:16<1:45:32, 7.60s/it]
20%|████████████████████████▉ | 209/1041 [26:23<1:45:16, 7.59s/it]
20%|█████████████████████████ | 210/1041 [26:31<1:45:01, 7.58s/it]
{'loss': '0.002425', 'grad_norm': '0.001872', 'learning_rate': '0.0001935', 'ppl': '1.002', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '77.24', 'tokens/total': 3440640, 'tokens/trainable': 1797784, 'epoch': '0.6037'}
20%|█████████████████████████ | 210/1041 [26:31<1:45:01, 7.58s/it]
20%|█████████████████████████▏ | 211/1041 [26:38<1:44:49, 7.58s/it]
20%|█████████████████████████▎ | 212/1041 [26:46<1:44:40, 7.58s/it]
20%|█████████████████████████▎ | 213/1041 [26:53<1:44:31, 7.57s/it]
21%|█████████████████████████▍ | 214/1041 [27:01<1:44:23, 7.57s/it]
21%|█████████████████████████▌ | 215/1041 [27:09<1:44:13, 7.57s/it]
21%|█████████████████████████▋ | 216/1041 [27:16<1:44:05, 7.57s/it]
21%|█████████████████████████▊ | 217/1041 [27:24<1:43:57, 7.57s/it]
21%|█████████████████████████▉ | 218/1041 [27:31<1:43:48, 7.57s/it]
21%|██████████████████████████ | 219/1041 [27:39<1:43:42, 7.57s/it]
21%|██████████████████████████▏ | 220/1041 [27:46<1:43:34, 7.57s/it]
{'loss': '0.0008296', 'grad_norm': '0.00136', 'learning_rate': '0.0001922', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.03', 'tokens/total': 3604480, 'tokens/trainable': 1883236, 'epoch': '0.6324'}
21%|██████████████████████████▏ | 220/1041 [27:46<1:43:34, 7.57s/it]
21%|██████████████████████████▎ | 221/1041 [27:54<1:43:27, 7.57s/it]
21%|██████████████████████████▍ | 222/1041 [28:02<1:43:17, 7.57s/it]
21%|██████████████████████████▌ | 223/1041 [28:09<1:43:09, 7.57s/it]
22%|██████████████████████████▋ | 224/1041 [28:17<1:43:01, 7.57s/it]
22%|██████████████████████████▊ | 225/1041 [28:24<1:42:54, 7.57s/it]
22%|██████████████████████████▉ | 226/1041 [28:32<1:42:46, 7.57s/it]
22%|███████████████████████████ | 227/1041 [28:39<1:42:37, 7.56s/it]
22%|███████████████████████████▏ | 228/1041 [28:47<1:42:28, 7.56s/it]
22%|███████████████████████████▎ | 229/1041 [28:54<1:42:21, 7.56s/it]
22%|███████████████████████████▍ | 230/1041 [29:02<1:42:13, 7.56s/it]
{'loss': '0.0007662', 'grad_norm': '0.002231', 'learning_rate': '0.0001909', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.88', 'tokens/total': 3768320, 'tokens/trainable': 1968515, 'epoch': '0.6612'}
22%|███████████████████████████▍ | 230/1041 [29:02<1:42:13, 7.56s/it]
22%|███████████████████████████▌ | 231/1041 [29:10<1:42:06, 7.56s/it]
22%|███████████████████████████▋ | 232/1041 [29:17<1:41:59, 7.56s/it]
22%|███████████████████████████▊ | 233/1041 [29:25<1:41:51, 7.56s/it]
22%|███████████████████████████▊ | 234/1041 [29:32<1:41:44, 7.56s/it]
23%|███████████████████████████▉ | 235/1041 [29:40<1:41:37, 7.56s/it]
23%|████████████████████████████ | 236/1041 [29:47<1:41:28, 7.56s/it]
23%|████████████████████████████▏ | 237/1041 [29:55<1:41:20, 7.56s/it]
23%|████████████████████████████▎ | 238/1041 [30:03<1:41:15, 7.57s/it]
23%|████████████████████████████▍ | 239/1041 [30:10<1:41:08, 7.57s/it]
23%|████████████████████████████▌ | 240/1041 [30:18<1:41:00, 7.57s/it]
{'loss': '0.0004436', 'grad_norm': '0.0004522', 'learning_rate': '0.0001894', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.77', 'tokens/total': 3932160, 'tokens/trainable': 2054310, 'epoch': '0.6899'}
23%|████████████████████████████▌ | 240/1041 [30:18<1:41:00, 7.57s/it]
23%|████████████████████████████▋ | 241/1041 [30:25<1:40:53, 7.57s/it]
23%|████████████████████████████▊ | 242/1041 [30:33<1:40:46, 7.57s/it]
23%|████████████████████████████▉ | 243/1041 [30:40<1:40:39, 7.57s/it]
23%|█████████████████████████████ | 244/1041 [30:48<1:40:30, 7.57s/it]
24%|█████████████████████████████▏ | 245/1041 [30:56<1:40:22, 7.57s/it]
24%|█████████████████████████████▎ | 246/1041 [31:03<1:40:14, 7.57s/it]
24%|█████████████████████████████▍ | 247/1041 [31:11<1:40:06, 7.57s/it]
24%|█████████████████████████████▌ | 248/1041 [31:18<1:39:59, 7.57s/it]
24%|█████████████████████████████▋ | 249/1041 [31:26<1:39:52, 7.57s/it]
24%|█████████████████████████████▊ | 250/1041 [31:33<1:39:44, 7.57s/it]
{'loss': '0.001154', 'grad_norm': '0.0004165', 'learning_rate': '0.0001879', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.72', 'tokens/total': 4096000, 'tokens/trainable': 2139733, 'epoch': '0.7186'}
24%|█████████████████████████████▊ | 250/1041 [31:33<1:39:44, 7.57s/it]
24%|█████████████████████████████▉ | 251/1041 [31:41<1:39:37, 7.57s/it]
24%|██████████████████████████████ | 252/1041 [31:49<1:39:29, 7.57s/it]
24%|██████████████████████████████▏ | 253/1041 [31:56<1:39:20, 7.56s/it]
24%|██████████████████████████████▎ | 254/1041 [32:04<1:39:12, 7.56s/it]
24%|██████████████████████████████▎ | 255/1041 [32:11<1:39:07, 7.57s/it]
25%|██████████████████████████████▍ | 256/1041 [32:19<1:38:59, 7.57s/it]
25%|██████████████████████████████▌ | 257/1041 [32:26<1:38:51, 7.57s/it]
25%|██████████████████████████████▋ | 258/1041 [32:34<1:38:43, 7.57s/it]
25%|██████████████████████████████▊ | 259/1041 [32:41<1:38:35, 7.57s/it]
25%|██████████████████████████████▉ | 260/1041 [32:49<1:38:26, 7.56s/it]
{'loss': '0.0006378', 'grad_norm': '0.0004479', 'learning_rate': '0.0001862', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.83', 'tokens/total': 4259840, 'tokens/trainable': 2224789, 'epoch': '0.7474'}
25%|██████████████████████████████▉ | 260/1041 [32:49<1:38:26, 7.56s/it]
25%|███████████████████████████████ | 261/1041 [32:57<1:38:19, 7.56s/it]
25%|███████████████████████████████▏ | 262/1041 [33:04<1:38:13, 7.56s/it]
25%|███████████████████████████████▎ | 263/1041 [33:12<1:38:05, 7.57s/it]
25%|███████████████████████████████▍ | 264/1041 [33:19<1:37:58, 7.57s/it]
25%|███████████████████████████████▌ | 265/1041 [33:27<1:37:51, 7.57s/it]
26%|███████████████████████████████▋ | 266/1041 [33:34<1:37:44, 7.57s/it]
26%|███████████████████████████████▊ | 267/1041 [33:42<1:37:36, 7.57s/it]
26%|███████████████████████████████▉ | 268/1041 [33:50<1:37:28, 7.57s/it]
26%|████████████████████████████████ | 269/1041 [33:57<1:37:23, 7.57s/it]
26%|████████████████████████████████▏ | 270/1041 [34:05<1:37:15, 7.57s/it]
{'loss': '0.0003907', 'grad_norm': '0.000155', 'learning_rate': '0.0001845', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.76', 'tokens/total': 4423680, 'tokens/trainable': 2310776, 'epoch': '0.7761'}
26%|████████████████████████████████▏ | 270/1041 [34:05<1:37:15, 7.57s/it]
26%|████████████████████████████████▎ | 271/1041 [34:12<1:37:07, 7.57s/it]
26%|████████████████████████████████▍ | 272/1041 [34:20<1:36:59, 7.57s/it]
26%|████████████████████████████████▌ | 273/1041 [34:27<1:36:52, 7.57s/it]
26%|████████████████████████████████▋ | 274/1041 [34:35<1:36:44, 7.57s/it]
26%|████████████████████████████████▊ | 275/1041 [34:43<1:36:36, 7.57s/it]
27%|████████████████████████████████▉ | 276/1041 [34:50<1:36:28, 7.57s/it]
27%|████████████████████████████████▉ | 277/1041 [34:58<1:36:21, 7.57s/it]
27%|█████████████████████████████████ | 278/1041 [35:05<1:36:14, 7.57s/it]
27%|█████████████████████████████████▏ | 279/1041 [35:13<1:36:07, 7.57s/it]
27%|█████████████████████████████████▎ | 280/1041 [35:20<1:35:59, 7.57s/it]
{'loss': '0.0004373', 'grad_norm': '0.0001835', 'learning_rate': '0.0001827', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.54', 'tokens/total': 4587520, 'tokens/trainable': 2396449, 'epoch': '0.8049'}
27%|█████████████████████████████████▎ | 280/1041 [35:20<1:35:59, 7.57s/it]
27%|█████████████████████████████████▍ | 281/1041 [35:28<1:35:51, 7.57s/it]
27%|█████████████████████████████████▌ | 282/1041 [35:36<1:35:42, 7.57s/it]
27%|█████████████████████████████████▋ | 283/1041 [35:43<1:35:34, 7.56s/it]
27%|█████████████████████████████████▊ | 284/1041 [35:51<1:35:26, 7.56s/it]
27%|█████████████████████████████████▉ | 285/1041 [35:58<1:35:18, 7.56s/it]
27%|██████████████████████████████████ | 286/1041 [36:06<1:35:11, 7.56s/it]
28%|██████████████████████████████████▏ | 287/1041 [36:13<1:35:03, 7.56s/it]
28%|██████████████████████████████████▎ | 288/1041 [36:21<1:34:55, 7.56s/it]
28%|██████████████████████████████████▍ | 289/1041 [36:28<1:34:49, 7.57s/it]
28%|██████████████████████████████████▌ | 290/1041 [36:36<1:34:41, 7.56s/it]
{'loss': '0.0006591', 'grad_norm': '0.002758', 'learning_rate': '0.0001807', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.07', 'tokens/total': 4751360, 'tokens/trainable': 2481663, 'epoch': '0.8336'}
28%|██████████████████████████████████▌ | 290/1041 [36:36<1:34:41, 7.56s/it]
28%|██████████████████████████████████▋ | 291/1041 [36:44<1:34:33, 7.57s/it]
28%|██████████████████████████████████▊ | 292/1041 [36:51<1:34:26, 7.57s/it]
28%|██████████████████████████████████▉ | 293/1041 [36:59<1:34:19, 7.57s/it]
28%|███████████████████████████████████ | 294/1041 [37:06<1:34:12, 7.57s/it]
28%|███████████████████████████████████▏ | 295/1041 [37:14<1:34:07, 7.57s/it]
28%|███████████████████████████████████▎ | 296/1041 [37:21<1:33:59, 7.57s/it]
29%|███████████████████████████████████▍ | 297/1041 [37:29<1:33:51, 7.57s/it]
29%|███████████████████████████████████▍ | 298/1041 [37:37<1:33:43, 7.57s/it]
29%|███████████████████████████████████▌ | 299/1041 [37:44<1:33:34, 7.57s/it]
29%|███████████████████████████████████▋ | 300/1041 [37:52<1:33:25, 7.57s/it]
{'loss': '0.0006577', 'grad_norm': '0.001793', 'learning_rate': '0.0001787', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.33', 'tokens/total': 4915200, 'tokens/trainable': 2567390, 'epoch': '0.8624'}
29%|███████████████████████████████████▋ | 300/1041 [37:52<1:33:25, 7.57s/it]
29%|███████████████████████████████████▊ | 301/1041 [37:59<1:33:19, 7.57s/it]
29%|███████████████████████████████████▉ | 302/1041 [38:07<1:33:12, 7.57s/it]
29%|████████████████████████████████████ | 303/1041 [38:14<1:33:04, 7.57s/it]
29%|████████████████████████████████████▏ | 304/1041 [38:22<1:32:56, 7.57s/it]
29%|████████████████████████████████████▎ | 305/1041 [38:30<1:32:48, 7.57s/it]
29%|████████████████████████████████████▍ | 306/1041 [38:37<1:32:40, 7.56s/it]
29%|████████████████████████████████████▌ | 307/1041 [38:45<1:32:32, 7.57s/it]
30%|████████████████████████████████████▋ | 308/1041 [38:52<1:32:26, 7.57s/it]
30%|████████████████████████████████████▊ | 309/1041 [39:00<1:32:18, 7.57s/it]
30%|████████████████████████████████████▉ | 310/1041 [39:07<1:32:11, 7.57s/it]
{'loss': '0.0006311', 'grad_norm': '0.0004986', 'learning_rate': '0.0001766', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.77', 'tokens/total': 5079040, 'tokens/trainable': 2652923, 'epoch': '0.8911'}
30%|████████████████████████████████████▉ | 310/1041 [39:07<1:32:11, 7.57s/it]
30%|█████████████████████████████████████ | 311/1041 [39:15<1:32:04, 7.57s/it]
30%|█████████████████████████████████████▏ | 312/1041 [39:22<1:31:57, 7.57s/it]
30%|█████████████████████████████████████▎ | 313/1041 [39:30<1:31:49, 7.57s/it]
30%|█████████████████████████████████████▍ | 314/1041 [39:38<1:31:42, 7.57s/it]
30%|█████████████████████████████████████▌ | 315/1041 [39:45<1:31:34, 7.57s/it]
30%|█████████████████████████████████████▋ | 316/1041 [39:53<1:31:26, 7.57s/it]
30%|█████████████████████████████████████▊ | 317/1041 [40:00<1:31:17, 7.57s/it]
31%|█████████████████████████████████████▉ | 318/1041 [40:08<1:31:11, 7.57s/it]
31%|█████████████████████████████████████▉ | 319/1041 [40:15<1:31:03, 7.57s/it]
31%|██████████████████████████████████████ | 320/1041 [40:23<1:30:56, 7.57s/it]
{'loss': '0.0002498', 'grad_norm': '6.242e-05', 'learning_rate': '0.0001744', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.72', 'tokens/total': 5242880, 'tokens/trainable': 2738772, 'epoch': '0.9199'}
31%|██████████████████████████████████████ | 320/1041 [40:23<1:30:56, 7.57s/it]
31%|██████████████████████████████████████▏ | 321/1041 [40:31<1:30:49, 7.57s/it]
31%|██████████████████████████████████████▎ | 322/1041 [40:38<1:30:41, 7.57s/it]
31%|██████████████████████████████████████▍ | 323/1041 [40:46<1:30:33, 7.57s/it]
31%|██████████████████████████████████████▌ | 324/1041 [40:53<1:30:25, 7.57s/it]
31%|██████████████████████████████████████▋ | 325/1041 [41:01<1:30:18, 7.57s/it]
31%|██████████████████████████████████████▊ | 326/1041 [41:08<1:30:09, 7.57s/it]
31%|██████████████████████████████████████▉ | 327/1041 [41:16<1:30:02, 7.57s/it]
32%|███████████████████████████████████████ | 328/1041 [41:24<1:29:54, 7.57s/it]
32%|███████████████████████████████████████▏ | 329/1041 [41:31<1:29:47, 7.57s/it]
32%|███████████████████████████████████████▎ | 330/1041 [41:39<1:29:38, 7.56s/it]
{'loss': '0.0009497', 'grad_norm': '0.0005613', 'learning_rate': '0.0001722', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.47', 'tokens/total': 5406720, 'tokens/trainable': 2824026, 'epoch': '0.9486'}
32%|███████████████████████████████████████▎ | 330/1041 [41:39<1:29:38, 7.56s/it]
32%|███████████████████████████████████████▍ | 331/1041 [41:46<1:29:30, 7.56s/it]
32%|███████████████████████████████████████▌ | 332/1041 [41:54<1:29:22, 7.56s/it]
32%|███████████████████████████████████████▋ | 333/1041 [42:01<1:29:16, 7.57s/it]
32%|███████████████████████████████████████▊ | 334/1041 [42:09<1:29:08, 7.57s/it]
32%|███████████████████████████████████████▉ | 335/1041 [42:17<1:29:02, 7.57s/it]
32%|████████████████████████████████████████ | 336/1041 [42:24<1:28:54, 7.57s/it]
32%|████████████████████████████████████████▏ | 337/1041 [42:32<1:28:46, 7.57s/it]
32%|████████████████████████████████████████▎ | 338/1041 [42:39<1:28:38, 7.57s/it]
33%|████████████████████████████████████████▍ | 339/1041 [42:47<1:28:30, 7.56s/it]
33%|████████████████████████████████████████▍ | 340/1041 [42:54<1:28:22, 7.56s/it]
{'loss': '0.0004737', 'grad_norm': '0.0006754', 'learning_rate': '0.0001698', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '66.62', 'tokens/total': 5570560, 'tokens/trainable': 2909441, 'epoch': '0.9774'}
33%|████████████████████████████████████████▍ | 340/1041 [42:54<1:28:22, 7.56s/it]
33%|████████████████████████████████████████▌ | 341/1041 [43:02<1:28:15, 7.56s/it]
33%|████████████████████████████████████████▋ | 342/1041 [43:09<1:28:08, 7.57s/it]
33%|████████████████████████████████████████▊ | 343/1041 [43:17<1:28:02, 7.57s/it]
33%|████████████████████████████████████████▉ | 344/1041 [43:25<1:27:53, 7.57s/it]
33%|█████████████████████████████████████████ | 345/1041 [43:32<1:27:45, 7.57s/it]
33%|█████████████████████████████████████████▏ | 346/1041 [43:40<1:27:37, 7.56s/it]
33%|█████████████████████████████████████████▎ | 347/1041 [43:47<1:27:29, 7.56s/it]
33%|█████████████████████████████████████████▍ | 348/1041 [43:54<1:24:17, 7.30s/it]
34%|█████████████████████████████████████████▌ | 349/1041 [44:03<1:29:59, 7.80s/it]
34%|█████████████████████████████████████████▋ | 350/1041 [44:11<1:29:03, 7.73s/it]
{'loss': '0.0003492', 'grad_norm': '0.0004158', 'learning_rate': '0.0001674', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.13', 'tokens/total': 5732352, 'tokens/trainable': 2993754, 'epoch': '1.006'}
34%|█████████████████████████████████████████▋ | 350/1041 [44:11<1:29:03, 7.73s/it]
34%|█████████████████████████████████████████▊ | 351/1041 [44:18<1:28:22, 7.69s/it]
34%|█████████████████████████████████████████▉ | 352/1041 [44:26<1:27:51, 7.65s/it]
34%|██████████████████████████████████████████ | 353/1041 [44:33<1:27:27, 7.63s/it]
34%|██████████████████████████████████████████▏ | 354/1041 [44:41<1:27:07, 7.61s/it]
34%|██████████████████████████████████████████▎ | 355/1041 [44:48<1:26:50, 7.60s/it]
34%|██████████████████████████████████████████▍ | 356/1041 [44:56<1:26:37, 7.59s/it]
34%|██████████████████████████████████████████▌ | 357/1041 [45:04<1:26:27, 7.58s/it]
34%|██████████████████████████████████████████▋ | 358/1041 [45:11<1:26:17, 7.58s/it]
34%|██████████████████████████████████████████▊ | 359/1041 [45:19<1:26:06, 7.58s/it]
35%|██████████████████████████████████████████▉ | 360/1041 [45:26<1:25:58, 7.57s/it]
{'loss': '0.0003497', 'grad_norm': '0.0009145', 'learning_rate': '0.0001649', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.05', 'tokens/total': 5896192, 'tokens/trainable': 3079326, 'epoch': '1.034'}
35%|██████████████████████████████████████████▉ | 360/1041 [45:26<1:25:58, 7.57s/it]
35%|███████████████████████████████████████████ | 361/1041 [45:34<1:25:50, 7.57s/it]
35%|███████████████████████████████████████████ | 362/1041 [45:41<1:25:41, 7.57s/it]
35%|███████████████████████████████████████████▏ | 363/1041 [45:49<1:25:32, 7.57s/it]
35%|███████████████████████████████████████████▎ | 364/1041 [45:57<1:25:25, 7.57s/it]
35%|███████████████████████████████████████████▍ | 365/1041 [46:04<1:25:18, 7.57s/it]
35%|███████████████████████████████████████████▌ | 366/1041 [46:12<1:25:11, 7.57s/it]
35%|███████████████████████████████████████████▋ | 367/1041 [46:19<1:25:03, 7.57s/it]
35%|███████████████████████████████████████████▊ | 368/1041 [46:27<1:24:55, 7.57s/it]
35%|███████████████████████████████████████████▉ | 369/1041 [46:34<1:24:46, 7.57s/it]
36%|████████████████████████████████████████████ | 370/1041 [46:42<1:24:38, 7.57s/it]
{'loss': '0.0003982', 'grad_norm': '0.0009921', 'learning_rate': '0.0001623', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.36', 'tokens/total': 6060032, 'tokens/trainable': 3165225, 'epoch': '1.063'}
36%|████████████████████████████████████████████ | 370/1041 [46:42<1:24:38, 7.57s/it]
36%|████████████████████████████████████████████▏ | 371/1041 [46:50<1:24:31, 7.57s/it]
36%|████████████████████████████████████████████▎ | 372/1041 [46:57<1:24:23, 7.57s/it]
36%|████████████████████████████████████████████▍ | 373/1041 [47:05<1:24:16, 7.57s/it]
36%|████████████████████████████████████████████▌ | 374/1041 [47:12<1:24:10, 7.57s/it]
36%|████████████████████████████████████████████▋ | 375/1041 [47:20<1:24:02, 7.57s/it]
36%|████████████████████████████████████████████▊ | 376/1041 [47:27<1:23:54, 7.57s/it]
36%|████████████████████████████████████████████▉ | 377/1041 [47:35<1:23:47, 7.57s/it]
36%|█████████████████████████████████████████████ | 378/1041 [47:43<1:23:39, 7.57s/it]
36%|█████████████████████████████████████████████▏ | 379/1041 [47:50<1:23:32, 7.57s/it]
37%|█████████████████████████████████████████████▎ | 380/1041 [47:58<1:23:25, 7.57s/it]
{'loss': '0.0002866', 'grad_norm': '0.0001092', 'learning_rate': '0.0001597', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.58', 'tokens/total': 6223872, 'tokens/trainable': 3250335, 'epoch': '1.092'}
37%|█████████████████████████████████████████████▎ | 380/1041 [47:58<1:23:25, 7.57s/it]
37%|█████████████████████████████████████████████▍ | 381/1041 [48:05<1:23:17, 7.57s/it]
37%|█████████████████████████████████████████████▌ | 382/1041 [48:13<1:23:09, 7.57s/it]
37%|█████████████████████████████████████████████▌ | 383/1041 [48:20<1:23:01, 7.57s/it]
37%|█████████████████████████████████████████████▋ | 384/1041 [48:28<1:22:53, 7.57s/it]
37%|█████████████████████████████████████████████▊ | 385/1041 [48:35<1:22:45, 7.57s/it]
37%|█████████████████████████████████████████████▉ | 386/1041 [48:43<1:22:38, 7.57s/it]
37%|██████████████████████████████████████████████ | 387/1041 [48:51<1:22:30, 7.57s/it]
37%|██████████████████████████████████████████████▏ | 388/1041 [48:58<1:22:22, 7.57s/it]
37%|██████████████████████████████████████████████▎ | 389/1041 [49:06<1:22:15, 7.57s/it]
37%|██████████████████████████████████████████████▍ | 390/1041 [49:13<1:22:08, 7.57s/it]
{'loss': '0.0003087', 'grad_norm': '0.0006348', 'learning_rate': '0.000157', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.34', 'tokens/total': 6387712, 'tokens/trainable': 3335980, 'epoch': '1.121'}
37%|██████████████████████████████████████████████▍ | 390/1041 [49:13<1:22:08, 7.57s/it]
38%|██████████████████████████████████████████████▌ | 391/1041 [49:21<1:22:01, 7.57s/it]
38%|██████████████████████████████████████████████▋ | 392/1041 [49:28<1:21:53, 7.57s/it]
38%|██████████████████████████████████████████████▊ | 393/1041 [49:36<1:21:46, 7.57s/it]
38%|██████████████████████████████████████████████▉ | 394/1041 [49:44<1:21:38, 7.57s/it]
38%|███████████████████████████████████████████████ | 395/1041 [49:51<1:21:31, 7.57s/it]
38%|███████████████████████████████████████████████▏ | 396/1041 [49:59<1:21:24, 7.57s/it]
38%|███████████████████████████████████████████████▎ | 397/1041 [50:06<1:21:16, 7.57s/it]
38%|███████████████████████████████████████████████▍ | 398/1041 [50:14<1:21:07, 7.57s/it]
38%|███████████████████████████████████████████████▌ | 399/1041 [50:21<1:20:59, 7.57s/it]
38%|███████████████████████████████████████████████▋ | 400/1041 [50:29<1:20:53, 7.57s/it]
{'loss': '0.0005004', 'grad_norm': '0.0002919', 'learning_rate': '0.0001542', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.43', 'tokens/total': 6551552, 'tokens/trainable': 3421472, 'epoch': '1.149'}
38%|███████████████████████████████████████████████▋ | 400/1041 [50:29<1:20:53, 7.57s/it][2026-03-15 11:58:19,485] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-400
39%|███████████████████████████████████████████████▊ | 401/1041 [50:38<1:24:56, 7.96s/it]
39%|███████████████████████████████████████████████▉ | 402/1041 [50:46<1:23:32, 7.84s/it]
39%|████████████████████████████████████████████████ | 403/1041 [50:53<1:22:33, 7.76s/it]
39%|████████████████████████████████████████████████ | 404/1041 [51:01<1:21:48, 7.71s/it]
39%|████████████████████████████████████████████████▏ | 405/1041 [51:08<1:21:14, 7.66s/it]
39%|████████████████████████████████████████████████▎ | 406/1041 [51:16<1:20:49, 7.64s/it]
39%|████████████████████████████████████████████████▍ | 407/1041 [51:23<1:20:29, 7.62s/it]
39%|████████████████████████████████████████████████▌ | 408/1041 [51:31<1:20:13, 7.60s/it]
39%|████████████████████████████████████████████████▋ | 409/1041 [51:39<1:19:59, 7.59s/it]
39%|████████████████████████████████████████████████▊ | 410/1041 [51:46<1:19:47, 7.59s/it]
{'loss': '0.0005402', 'grad_norm': '0.0004029', 'learning_rate': '0.0001513', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.15', 'tokens/total': 6715392, 'tokens/trainable': 3507729, 'epoch': '1.178'}
39%|████████████████████████████████████████████████▊ | 410/1041 [51:46<1:19:47, 7.59s/it]
39%|████████████████████████████████████████████████▉ | 411/1041 [51:54<1:19:38, 7.58s/it]
40%|█████████████████████████████████████████████████ | 412/1041 [52:01<1:19:28, 7.58s/it]
40%|█████████████████████████████████████████████████▏ | 413/1041 [52:09<1:19:19, 7.58s/it]
40%|█████████████████████████████████████████████████▎ | 414/1041 [52:16<1:19:12, 7.58s/it]
40%|█████████████████████████████████████████████████▍ | 415/1041 [52:24<1:19:03, 7.58s/it]
40%|█████████████████████████████████████████████████▌ | 416/1041 [52:32<1:18:54, 7.58s/it]
40%|█████████████████████████████████████████████████▋ | 417/1041 [52:39<1:18:47, 7.58s/it]
40%|█████████████████████████████████████████████████▊ | 418/1041 [52:47<1:18:38, 7.57s/it]
40%|█████████████████████████████████████████████████▉ | 419/1041 [52:54<1:18:31, 7.57s/it]
40%|██████████████████████████████████████████████████ | 420/1041 [53:02<1:18:24, 7.58s/it]
{'loss': '0.0002827', 'grad_norm': '0.0004348', 'learning_rate': '0.0001485', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.18', 'tokens/total': 6879232, 'tokens/trainable': 3593234, 'epoch': '1.207'}
40%|██████████████████████████████████████████████████ | 420/1041 [53:02<1:18:24, 7.58s/it]
40%|██████████████████████████████████████████████████▏ | 421/1041 [53:09<1:18:16, 7.57s/it]
41%|██████████████████████████████████████████████████▎ | 422/1041 [53:17<1:18:08, 7.57s/it]
41%|██████████████████████████████████████████████████▍ | 423/1041 [53:25<1:18:01, 7.57s/it]
41%|██████████████████████████████████████████████████▌ | 424/1041 [53:32<1:17:53, 7.57s/it]
41%|██████████████████████████████████████████████████▌ | 425/1041 [53:40<1:17:45, 7.57s/it]
41%|██████████████████████████████████████████████████▋ | 426/1041 [53:47<1:17:39, 7.58s/it]
41%|██████████████████████████████████████████████████▊ | 427/1041 [53:55<1:17:30, 7.57s/it]
41%|██████████████████████████████████████████████████▉ | 428/1041 [54:02<1:17:22, 7.57s/it]
41%|███████████████████████████████████████████████████ | 429/1041 [54:10<1:17:14, 7.57s/it]
41%|███████████████████████████████████████████████████▏ | 430/1041 [54:18<1:17:06, 7.57s/it]
{'loss': '0.0003973', 'grad_norm': '0.001381', 'learning_rate': '0.0001455', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.05', 'tokens/total': 7043072, 'tokens/trainable': 3678918, 'epoch': '1.236'}
41%|███████████████████████████████████████████████████▏ | 430/1041 [54:18<1:17:06, 7.57s/it]
41%|███████████████████████████████████████████████████▎ | 431/1041 [54:25<1:16:59, 7.57s/it]
41%|███████████████████████████████████████████████████▍ | 432/1041 [54:33<1:16:51, 7.57s/it]
42%|███████████████████████████████████████████████████▌ | 433/1041 [54:40<1:16:44, 7.57s/it]
42%|███████████████████████████████████████████████████▋ | 434/1041 [54:48<1:16:36, 7.57s/it]
42%|███████████████████████████████████████████████████▊ | 435/1041 [54:55<1:16:29, 7.57s/it]
42%|███████████████████████████████████████████████████▉ | 436/1041 [55:03<1:16:21, 7.57s/it]
42%|████████████████████████████████████████████████████ | 437/1041 [55:11<1:16:13, 7.57s/it]
42%|████████████████████████████████████████████████████▏ | 438/1041 [55:18<1:16:06, 7.57s/it]
42%|████████████████████████████████████████████████████▎ | 439/1041 [55:26<1:15:58, 7.57s/it]
42%|████████████████████████████████████████████████████▍ | 440/1041 [55:33<1:15:50, 7.57s/it]
{'loss': '0.0005041', 'grad_norm': '0.0003649', 'learning_rate': '0.0001425', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '77.25', 'tokens/total': 7206912, 'tokens/trainable': 3764048, 'epoch': '1.264'}
42%|████████████████████████████████████████████████████▍ | 440/1041 [55:33<1:15:50, 7.57s/it]
42%|████████████████████████████████████████████████████▌ | 441/1041 [55:41<1:15:42, 7.57s/it]
42%|████████████████████████████████████████████████████▋ | 442/1041 [55:48<1:15:34, 7.57s/it]
43%|████████████████████████████████████████████████████▊ | 443/1041 [55:56<1:15:26, 7.57s/it]
43%|████████████████████████████████████████████████████▉ | 444/1041 [56:04<1:15:19, 7.57s/it]
43%|█████████████████████████████████████████████████████ | 445/1041 [56:11<1:15:12, 7.57s/it]
43%|█████████████████████████████████████████████████████▏ | 446/1041 [56:19<1:15:04, 7.57s/it]
43%|█████████████████████████████████████████████████████▏ | 447/1041 [56:26<1:14:56, 7.57s/it]
43%|█████████████████████████████████████████████████████▎ | 448/1041 [56:34<1:14:48, 7.57s/it]
43%|█████████████████████████████████████████████████████▍ | 449/1041 [56:41<1:14:42, 7.57s/it]
43%|█████████████████████████████████████████████████████▌ | 450/1041 [56:49<1:14:35, 7.57s/it]
{'loss': '0.0004432', 'grad_norm': '0.003123', 'learning_rate': '0.0001395', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.96', 'tokens/total': 7370752, 'tokens/trainable': 3849785, 'epoch': '1.293'}
43%|█████████████████████████████████████████████████████▌ | 450/1041 [56:49<1:14:35, 7.57s/it]
43%|█████████████████████████████████████████████████████▋ | 451/1041 [56:57<1:14:27, 7.57s/it]
43%|█████████████████████████████████████████████████████▊ | 452/1041 [57:04<1:14:19, 7.57s/it]
44%|█████████████████████████████████████████████████████▉ | 453/1041 [57:12<1:14:13, 7.57s/it]
44%|██████████████████████████████████████████████████████ | 454/1041 [57:19<1:14:05, 7.57s/it]
44%|██████████████████████████████████████████████████████▏ | 455/1041 [57:27<1:13:57, 7.57s/it]
44%|██████████████████████████████████████████████████████▎ | 456/1041 [57:34<1:13:51, 7.57s/it]
44%|██████████████████████████████████████████████████████▍ | 457/1041 [57:42<1:13:43, 7.57s/it]
44%|██████████████████████████████████████████████████████▌ | 458/1041 [57:50<1:13:35, 7.57s/it]
44%|██████████████████████████████████████████████████████▋ | 459/1041 [57:57<1:13:27, 7.57s/it]
44%|██████████████████████████████████████████████████████▊ | 460/1041 [58:05<1:13:19, 7.57s/it]
{'loss': '0.0002638', 'grad_norm': '4.866e-05', 'learning_rate': '0.0001364', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.58', 'tokens/total': 7534592, 'tokens/trainable': 3935505, 'epoch': '1.322'}
44%|██████████████████████████████████████████████████████▊ | 460/1041 [58:05<1:13:19, 7.57s/it]
44%|██████████████████████████████████████████████████████▉ | 461/1041 [58:12<1:13:12, 7.57s/it]
44%|███████████████████████████████████████████████████████ | 462/1041 [58:20<1:13:05, 7.57s/it]
44%|███████████████████████████████████████████████████████▏ | 463/1041 [58:27<1:12:57, 7.57s/it]
45%|███████████████████████████████████████████████████████▎ | 464/1041 [58:35<1:12:49, 7.57s/it]
45%|███████████████████████████████████████████████████████▍ | 465/1041 [58:43<1:12:41, 7.57s/it]
45%|███████████████████████████████████████████████████████▌ | 466/1041 [58:50<1:12:34, 7.57s/it]
45%|███████████████████████████████████████████████████████▋ | 467/1041 [58:58<1:12:26, 7.57s/it]
45%|███████████████████████████████████████████████████████▋ | 468/1041 [59:05<1:12:18, 7.57s/it]
45%|███████████████████████████████████████████████████████▊ | 469/1041 [59:13<1:12:11, 7.57s/it]
45%|███████████████████████████████████████████████████████▉ | 470/1041 [59:20<1:12:03, 7.57s/it]
{'loss': '0.0005866', 'grad_norm': '0.0009338', 'learning_rate': '0.0001332', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.05', 'tokens/total': 7698432, 'tokens/trainable': 4021224, 'epoch': '1.351'}
45%|███████████████████████████████████████████████████████▉ | 470/1041 [59:20<1:12:03, 7.57s/it]
45%|████████████████████████████████████████████████████████ | 471/1041 [59:28<1:11:56, 7.57s/it]
45%|████████████████████████████████████████████████████████▏ | 472/1041 [59:36<1:11:48, 7.57s/it]
45%|████████████████████████████████████████████████████████▎ | 473/1041 [59:43<1:11:41, 7.57s/it]
46%|████████████████████████████████████████████████████████▍ | 474/1041 [59:51<1:11:34, 7.57s/it]
46%|████████████████████████████████████████████████████████▌ | 475/1041 [59:58<1:11:26, 7.57s/it]
46%|███████████████████████████████████████████████████████▊ | 476/1041 [1:00:06<1:11:18, 7.57s/it]
46%|███████████████████████████████████████████████████████▉ | 477/1041 [1:00:13<1:11:11, 7.57s/it]
46%|████████████████████████████████████████████████████████ | 478/1041 [1:00:21<1:11:03, 7.57s/it]
46%|████████████████████████████████████████████████████████▏ | 479/1041 [1:00:29<1:10:56, 7.57s/it]
46%|████████████████████████████████████████████████████████▎ | 480/1041 [1:00:36<1:10:48, 7.57s/it]
{'loss': '0.0002864', 'grad_norm': '0.0003161', 'learning_rate': '0.0001301', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.97', 'tokens/total': 7862272, 'tokens/trainable': 4106837, 'epoch': '1.379'}
46%|████████████████████████████████████████████████████████▎ | 480/1041 [1:00:36<1:10:48, 7.57s/it]
46%|████████████████████████████████████████████████████████▎ | 481/1041 [1:00:44<1:10:40, 7.57s/it]
46%|████████████████████████████████████████████████████████▍ | 482/1041 [1:00:51<1:10:32, 7.57s/it]
46%|████████████████████████████████████████████████████████▌ | 483/1041 [1:00:59<1:10:25, 7.57s/it]
46%|████████████████████████████████████████████████████████▋ | 484/1041 [1:01:06<1:10:17, 7.57s/it]
47%|████████████████████████████████████████████████████████▊ | 485/1041 [1:01:14<1:10:10, 7.57s/it]
47%|████████████████████████████████████████████████████████▉ | 486/1041 [1:01:22<1:10:03, 7.57s/it]
47%|█████████████████████████████████████████████████████████ | 487/1041 [1:01:29<1:09:55, 7.57s/it]
47%|█████████████████████████████████████████████████████████▏ | 488/1041 [1:01:37<1:09:47, 7.57s/it]
47%|█████████████████████████████████████████████████████████▎ | 489/1041 [1:01:44<1:09:39, 7.57s/it]
47%|█████████████████████████████████████████████████████████▍ | 490/1041 [1:01:52<1:09:31, 7.57s/it]
{'loss': '0.0002652', 'grad_norm': '0.0005853', 'learning_rate': '0.0001269', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '63.51', 'tokens/total': 8026112, 'tokens/trainable': 4192596, 'epoch': '1.408'}
47%|█████████████████████████████████████████████████████████▍ | 490/1041 [1:01:52<1:09:31, 7.57s/it]
47%|█████████████████████████████████████████████████████████▌ | 491/1041 [1:01:59<1:09:23, 7.57s/it]
47%|█████████████████████████████████████████████████████████▋ | 492/1041 [1:02:07<1:09:16, 7.57s/it]
47%|█████████████████████████████████████████████████████████▊ | 493/1041 [1:02:15<1:09:10, 7.57s/it]
47%|█████████████████████████████████████████████████████████▉ | 494/1041 [1:02:22<1:09:02, 7.57s/it]
48%|██████████████████████████████████████████████████████████ | 495/1041 [1:02:30<1:08:54, 7.57s/it]
48%|██████████████████████████████████████████████████████████▏ | 496/1041 [1:02:37<1:08:47, 7.57s/it]
48%|██████████████████████████████████████████████████████████▏ | 497/1041 [1:02:45<1:08:39, 7.57s/it]
48%|██████████████████████████████████████████████████████████▎ | 498/1041 [1:02:52<1:08:32, 7.57s/it]
48%|██████████████████████████████████████████████████████████▍ | 499/1041 [1:03:00<1:08:24, 7.57s/it]
48%|██████████████████████████████████████████████████████████▌ | 500/1041 [1:03:08<1:08:16, 7.57s/it]
{'loss': '0.0002229', 'grad_norm': '0.0005308', 'learning_rate': '0.0001236', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.84', 'tokens/total': 8189952, 'tokens/trainable': 4278197, 'epoch': '1.437'}
48%|██████████████████████████████████████████████████████████▌ | 500/1041 [1:03:08<1:08:16, 7.57s/it]
48%|██████████████████████████████████████████████████████████▋ | 501/1041 [1:03:15<1:08:08, 7.57s/it]
48%|██████████████████████████████████████████████████████████▊ | 502/1041 [1:03:23<1:08:01, 7.57s/it]
48%|██████████████████████████████████████████████████████████▉ | 503/1041 [1:03:30<1:07:53, 7.57s/it]
48%|███████████████████████████████████████████████████████████ | 504/1041 [1:03:38<1:07:45, 7.57s/it]
49%|███████████████████████████████████████████████████████████▏ | 505/1041 [1:03:45<1:07:38, 7.57s/it]
49%|███████████████████████████████████████████████████████████▎ | 506/1041 [1:03:53<1:07:30, 7.57s/it]
49%|███████████████████████████████████████████████████████████▍ | 507/1041 [1:04:01<1:07:23, 7.57s/it]
49%|███████████████████████████████████████████████████████████▌ | 508/1041 [1:04:08<1:07:15, 7.57s/it]
49%|███████████████████████████████████████████████████████████▋ | 509/1041 [1:04:16<1:07:07, 7.57s/it]
49%|███████████████████████████████████████████████████████████▊ | 510/1041 [1:04:23<1:07:00, 7.57s/it]
{'loss': '0.0007285', 'grad_norm': '0.0003704', 'learning_rate': '0.0001204', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.92', 'tokens/total': 8353792, 'tokens/trainable': 4363274, 'epoch': '1.466'}
49%|███████████████████████████████████████████████████████████▊ | 510/1041 [1:04:23<1:07:00, 7.57s/it]
49%|███████████████████████████████████████████████████████████▉ | 511/1041 [1:04:31<1:06:52, 7.57s/it]
49%|████████████████████████████████████████████████████████████ | 512/1041 [1:04:38<1:06:44, 7.57s/it]
49%|████████████████████████████████████████████████████████████ | 513/1041 [1:04:46<1:06:36, 7.57s/it]
49%|████████████████████████████████████████████████████████████▏ | 514/1041 [1:04:54<1:06:30, 7.57s/it]
49%|████████████████████████████████████████████████████████████▎ | 515/1041 [1:05:01<1:06:22, 7.57s/it]
50%|████████████████████████████████████████████████████████████▍ | 516/1041 [1:05:09<1:06:15, 7.57s/it]
50%|████████████████████████████████████████████████████████████▌ | 517/1041 [1:05:16<1:06:09, 7.58s/it]
50%|████████████████████████████████████████████████████████████▋ | 518/1041 [1:05:24<1:06:09, 7.59s/it]
50%|████████████████████████████████████████████████████████████▊ | 519/1041 [1:05:32<1:05:58, 7.58s/it]
50%|████████████████████████████████████████████████████████████▉ | 520/1041 [1:05:39<1:05:48, 7.58s/it]
{'loss': '0.0003214', 'grad_norm': '0.0003634', 'learning_rate': '0.0001171', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.81', 'tokens/total': 8517632, 'tokens/trainable': 4448964, 'epoch': '1.494'}
50%|████████████████████████████████████████████████████████████▉ | 520/1041 [1:05:39<1:05:48, 7.58s/it]
50%|█████████████████████████████████████████████████████████████ | 521/1041 [1:05:47<1:05:39, 7.58s/it]
50%|█████████████████████████████████████████████████████████████▏ | 522/1041 [1:05:54<1:05:31, 7.58s/it]
50%|█████████████████████████████████████████████████████████████▎ | 523/1041 [1:06:02<1:05:23, 7.57s/it]
50%|█████████████████████████████████████████████████████████████▍ | 524/1041 [1:06:09<1:05:15, 7.57s/it]
50%|█████████████████████████████████████████████████████████████▌ | 525/1041 [1:06:17<1:05:07, 7.57s/it]
51%|█████████████████████████████████████████████████████████████▋ | 526/1041 [1:06:25<1:05:00, 7.57s/it]
51%|█████████████████████████████████████████████████████████████▊ | 527/1041 [1:06:32<1:04:52, 7.57s/it]
51%|█████████████████████████████████████████████████████████████▉ | 528/1041 [1:06:40<1:04:45, 7.57s/it]
51%|█████████████████████████████████████████████████████████████▉ | 529/1041 [1:06:47<1:04:37, 7.57s/it]
51%|██████████████████████████████████████████████████████████████ | 530/1041 [1:06:55<1:04:29, 7.57s/it]
{'loss': '0.0003308', 'grad_norm': '0.0006567', 'learning_rate': '0.0001138', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.32', 'tokens/total': 8681472, 'tokens/trainable': 4535170, 'epoch': '1.523'}
51%|██████████████████████████████████████████████████████████████ | 530/1041 [1:06:55<1:04:29, 7.57s/it]
51%|██████████████████████████████████████████████████████████████▏ | 531/1041 [1:07:02<1:04:21, 7.57s/it]
51%|██████████████████████████████████████████████████████████████▎ | 532/1041 [1:07:10<1:04:14, 7.57s/it]
51%|██████████████████████████████████████████████████████████████▍ | 533/1041 [1:07:18<1:04:06, 7.57s/it]
51%|██████████████████████████████████████████████████████████████▌ | 534/1041 [1:07:25<1:03:59, 7.57s/it]
51%|██████████████████████████████████████████████████████████████▋ | 535/1041 [1:07:33<1:03:52, 7.57s/it]
51%|██████████████████████████████████████████████████████████████▊ | 536/1041 [1:07:40<1:03:44, 7.57s/it]
52%|██████████████████████████████████████████████████████████████▉ | 537/1041 [1:07:48<1:03:37, 7.57s/it]
52%|███████████████████████████████████████████████████████████████ | 538/1041 [1:07:55<1:03:29, 7.57s/it]
52%|███████████████████████████████████████████████████████████████▏ | 539/1041 [1:08:03<1:03:22, 7.57s/it]
52%|███████████████████████████████████████████████████████████████▎ | 540/1041 [1:08:11<1:03:14, 7.57s/it]
{'loss': '0.0002509', 'grad_norm': '0.0005559', 'learning_rate': '0.0001105', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '73.91', 'tokens/total': 8845312, 'tokens/trainable': 4621208, 'epoch': '1.552'}
52%|███████████████████████████████████████████████████████████████▎ | 540/1041 [1:08:11<1:03:14, 7.57s/it]
52%|███████████████████████████████████████████████████████████████▍ | 541/1041 [1:08:18<1:03:07, 7.58s/it]
52%|███████████████████████████████████████████████████████████████▌ | 542/1041 [1:08:26<1:02:59, 7.57s/it]
52%|███████████████████████████████████████████████████████████████▋ | 543/1041 [1:08:33<1:02:51, 7.57s/it]
52%|███████████████████████████████████████████████████████████████▊ | 544/1041 [1:08:41<1:02:43, 7.57s/it]
52%|███████████████████████████████████████████████████████████████▊ | 545/1041 [1:08:48<1:02:35, 7.57s/it]
52%|███████████████████████████████████████████████████████████████▉ | 546/1041 [1:08:56<1:02:28, 7.57s/it]
53%|████████████████████████████████████████████████████████████████ | 547/1041 [1:09:04<1:02:20, 7.57s/it]
53%|████████████████████████████████████████████████████████████████▏ | 548/1041 [1:09:11<1:02:12, 7.57s/it]
53%|████████████████████████████████████████████████████████████████▎ | 549/1041 [1:09:19<1:02:04, 7.57s/it]
53%|████████████████████████████████████████████████████████████████▍ | 550/1041 [1:09:26<1:01:57, 7.57s/it]
{'loss': '0.0001582', 'grad_norm': '1.476e-05', 'learning_rate': '0.0001072', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.75', 'tokens/total': 9009152, 'tokens/trainable': 4707007, 'epoch': '1.581'}
53%|████████████████████████████████████████████████████████████████▍ | 550/1041 [1:09:26<1:01:57, 7.57s/it]
53%|████████████████████████████████████████████████████████████████▌ | 551/1041 [1:09:34<1:01:49, 7.57s/it]
53%|████████████████████████████████████████████████████████████████▋ | 552/1041 [1:09:42<1:02:19, 7.65s/it]
53%|████████████████████████████████████████████████████████████████▊ | 553/1041 [1:09:49<1:02:00, 7.62s/it]
53%|████████████████████████████████████████████████████████████████▉ | 554/1041 [1:09:57<1:01:44, 7.61s/it]
53%|█████████████████████████████████████████████████████████████████ | 555/1041 [1:10:04<1:01:32, 7.60s/it]
53%|█████████████████████████████████████████████████████████████████▏ | 556/1041 [1:10:12<1:01:21, 7.59s/it]
54%|█████████████████████████████████████████████████████████████████▎ | 557/1041 [1:10:20<1:01:11, 7.59s/it]
54%|█████████████████████████████████████████████████████████████████▍ | 558/1041 [1:10:27<1:01:01, 7.58s/it]
54%|█████████████████████████████████████████████████████████████████▌ | 559/1041 [1:10:35<1:00:52, 7.58s/it]
54%|█████████████████████████████████████████████████████████████████▋ | 560/1041 [1:10:42<1:00:43, 7.58s/it]
{'loss': '0.0003003', 'grad_norm': '0.0005588', 'learning_rate': '0.0001038', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '64.72', 'tokens/total': 9172992, 'tokens/trainable': 4792350, 'epoch': '1.609'}
54%|█████████████████████████████████████████████████████████████████▋ | 560/1041 [1:10:42<1:00:43, 7.58s/it]
54%|█████████████████████████████████████████████████████████████████▋ | 561/1041 [1:10:50<1:00:35, 7.57s/it]
54%|█████████████████████████████████████████████████████████████████▊ | 562/1041 [1:10:57<1:00:27, 7.57s/it]
54%|█████████████████████████████████████████████████████████████████▉ | 563/1041 [1:11:05<1:00:20, 7.57s/it]
54%|██████████████████████████████████████████████████████████████████ | 564/1041 [1:11:13<1:00:12, 7.57s/it]
54%|██████████████████████████████████████████████████████████████████▏ | 565/1041 [1:11:20<1:00:04, 7.57s/it]
54%|███████████████████████████████████████████████████████████████████▍ | 566/1041 [1:11:28<59:56, 7.57s/it]
54%|███████████████████████████████████████████████████████████████████▌ | 567/1041 [1:11:35<59:47, 7.57s/it]
55%|███████████████████████████████████████████████████████████████████▋ | 568/1041 [1:11:43<59:40, 7.57s/it]
55%|███████████████████████████████████████████████████████████████████▊ | 569/1041 [1:11:50<59:33, 7.57s/it]
55%|███████████████████████████████████████████████████████████████████▉ | 570/1041 [1:11:58<59:25, 7.57s/it]
{'loss': '0.0002437', 'grad_norm': '0.0006929', 'learning_rate': '0.0001005', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '66.15', 'tokens/total': 9336832, 'tokens/trainable': 4877923, 'epoch': '1.638'}
55%|███████████████████████████████████████████████████████████████████▉ | 570/1041 [1:11:58<59:25, 7.57s/it]
55%|████████████████████████████████████████████████████████████████████ | 571/1041 [1:12:06<59:17, 7.57s/it]
55%|████████████████████████████████████████████████████████████████████▏ | 572/1041 [1:12:13<59:11, 7.57s/it]
55%|████████████████████████████████████████████████████████████████████▎ | 573/1041 [1:12:21<59:03, 7.57s/it]
55%|████████████████████████████████████████████████████████████████████▎ | 574/1041 [1:12:28<58:56, 7.57s/it]
55%|████████████████████████████████████████████████████████████████████▍ | 575/1041 [1:12:36<58:48, 7.57s/it]
55%|████████████████████████████████████████████████████████████████████▌ | 576/1041 [1:12:43<58:40, 7.57s/it]
55%|████████████████████████████████████████████████████████████████████▋ | 577/1041 [1:12:51<58:32, 7.57s/it]
56%|████████████████████████████████████████████████████████████████████▊ | 578/1041 [1:12:59<58:24, 7.57s/it]
56%|████████████████████████████████████████████████████████████████████▉ | 579/1041 [1:13:06<58:16, 7.57s/it]
56%|█████████████████████████████████████████████████████████████████████ | 580/1041 [1:13:14<58:09, 7.57s/it]
{'loss': '0.0003903', 'grad_norm': '0.0001101', 'learning_rate': '9.716e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '63.68', 'tokens/total': 9500672, 'tokens/trainable': 4963596, 'epoch': '1.667'}
56%|█████████████████████████████████████████████████████████████████████ | 580/1041 [1:13:14<58:09, 7.57s/it]
56%|█████████████████████████████████████████████████████████████████████▏ | 581/1041 [1:13:21<58:02, 7.57s/it]
56%|█████████████████████████████████████████████████████████████████████▎ | 582/1041 [1:13:29<57:54, 7.57s/it]
56%|█████████████████████████████████████████████████████████████████████▍ | 583/1041 [1:13:36<57:47, 7.57s/it]
56%|█████████████████████████████████████████████████████████████████████▌ | 584/1041 [1:13:44<57:39, 7.57s/it]
56%|█████████████████████████████████████████████████████████████████████▋ | 585/1041 [1:13:52<57:32, 7.57s/it]
56%|█████████████████████████████████████████████████████████████████████▊ | 586/1041 [1:13:59<57:24, 7.57s/it]
56%|█████████████████████████████████████████████████████████████████████▉ | 587/1041 [1:14:07<57:17, 7.57s/it]
56%|██████████████████████████████████████████████████████████████████████ | 588/1041 [1:14:14<57:09, 7.57s/it]
57%|██████████████████████████████████████████████████████████████████████▏ | 589/1041 [1:14:22<57:02, 7.57s/it]
57%|██████████████████████████████████████████████████████████████████████▎ | 590/1041 [1:14:29<56:54, 7.57s/it]
{'loss': '0.0004658', 'grad_norm': '0.0002604', 'learning_rate': '9.383e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '73.47', 'tokens/total': 9664512, 'tokens/trainable': 5049028, 'epoch': '1.696'}
57%|██████████████████████████████████████████████████████████████████████▎ | 590/1041 [1:14:29<56:54, 7.57s/it]
57%|██████████████████████████████████████████████████████████████████████▍ | 591/1041 [1:14:37<56:46, 7.57s/it]
57%|██████████████████████████████████████████████████████████████████████▌ | 592/1041 [1:14:45<56:38, 7.57s/it]
57%|██████████████████████████████████████████████████████████████████████▋ | 593/1041 [1:14:52<56:31, 7.57s/it]
57%|██████████████████████████████████████████████████████████████████████▊ | 594/1041 [1:15:00<56:23, 7.57s/it]
57%|██████████████████████████████████████████████████████████████████████▊ | 595/1041 [1:15:07<56:16, 7.57s/it]
57%|██████████████████████████████████████████████████████████████████████▉ | 596/1041 [1:15:15<56:08, 7.57s/it]
57%|███████████████████████████████████████████████████████████████████████ | 597/1041 [1:15:22<56:01, 7.57s/it]
57%|███████████████████████████████████████████████████████████████████████▏ | 598/1041 [1:15:30<55:54, 7.57s/it]
58%|███████████████████████████████████████████████████████████████████████▎ | 599/1041 [1:15:38<55:47, 7.57s/it]
58%|███████████████████████████████████████████████████████████████████████▍ | 600/1041 [1:15:45<55:39, 7.57s/it]
{'loss': '0.0003011', 'grad_norm': '0.0002846', 'learning_rate': '9.05e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.85', 'tokens/total': 9828352, 'tokens/trainable': 5134711, 'epoch': '1.724'}
58%|███████████████████████████████████████████████████████████████████████▍ | 600/1041 [1:15:45<55:39, 7.57s/it][2026-03-15 12:23:35,523] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-600
58%|███████████████████████████████████████████████████████████████████████▌ | 601/1041 [1:15:54<58:15, 7.94s/it]
58%|███████████████████████████████████████████████████████████████████████▋ | 602/1041 [1:16:01<57:17, 7.83s/it]
58%|███████████████████████████████████████████████████████████████████████▊ | 603/1041 [1:16:09<56:34, 7.75s/it]
58%|███████████████████████████████████████████████████████████████████████▉ | 604/1041 [1:16:17<56:03, 7.70s/it]
58%|████████████████████████████████████████████████████████████████████████ | 605/1041 [1:16:24<55:39, 7.66s/it]
58%|████████████████████████████████████████████████████████████████████████▏ | 606/1041 [1:16:32<55:20, 7.63s/it]
58%|████████████████████████████████████████████████████████████████████████▎ | 607/1041 [1:16:39<55:03, 7.61s/it]
58%|████████████████████████████████████████████████████████████████████████▍ | 608/1041 [1:16:47<54:50, 7.60s/it]
59%|████████████████████████████████████████████████████████████████████████▌ | 609/1041 [1:16:54<54:39, 7.59s/it]
59%|████████████████████████████████████████████████████████████████████████▋ | 610/1041 [1:17:02<54:29, 7.58s/it]
{'loss': '0.000176', 'grad_norm': '0.0009215', 'learning_rate': '8.718e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.35', 'tokens/total': 9992192, 'tokens/trainable': 5220199, 'epoch': '1.753'}
59%|████████████████████████████████████████████████████████████████████████▋ | 610/1041 [1:17:02<54:29, 7.58s/it]
59%|████████████████████████████████████████████████████████████████████████▊ | 611/1041 [1:17:10<54:19, 7.58s/it]
59%|████████████████████████████████████████████████████████████████████████▉ | 612/1041 [1:17:17<54:11, 7.58s/it]
59%|█████████████████████████████████████████████████████████████████████████ | 613/1041 [1:17:25<54:02, 7.58s/it]
59%|█████████████████████████████████████████████████████████████████████████▏ | 614/1041 [1:17:32<53:54, 7.57s/it]
59%|█████████████████████████████████████████████████████████████████████████▎ | 615/1041 [1:17:40<53:45, 7.57s/it]
59%|█████████████████████████████████████████████████████████████████████████▍ | 616/1041 [1:17:47<53:37, 7.57s/it]
59%|█████████████████████████████████████████████████████████████████████████▍ | 617/1041 [1:17:55<53:29, 7.57s/it]
59%|█████████████████████████████████████████████████████████████████████████▌ | 618/1041 [1:18:03<53:21, 7.57s/it]
59%|█████████████████████████████████████████████████████████████████████████▋ | 619/1041 [1:18:10<53:13, 7.57s/it]
60%|█████████████████████████████████████████████████████████████████████████▊ | 620/1041 [1:18:18<53:05, 7.57s/it]
{'loss': '0.0002097', 'grad_norm': '0.0005109', 'learning_rate': '8.388e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '76.13', 'tokens/total': 10156032, 'tokens/trainable': 5305938, 'epoch': '1.782'}
60%|█████████████████████████████████████████████████████████████████████████▊ | 620/1041 [1:18:18<53:05, 7.57s/it]
60%|█████████████████████████████████████████████████████████████████████████▉ | 621/1041 [1:18:25<52:58, 7.57s/it]
60%|██████████████████████████████████████████████████████████████████████████ | 622/1041 [1:18:33<52:51, 7.57s/it]
60%|██████████████████████████████████████████████████████████████████████████▏ | 623/1041 [1:18:40<52:42, 7.57s/it]
60%|██████████████████████████████████████████████████████████████████████████▎ | 624/1041 [1:18:48<52:35, 7.57s/it]
60%|██████████████████████████████████████████████████████████████████████████▍ | 625/1041 [1:18:56<52:27, 7.57s/it]
60%|██████████████████████████████████████████████████████████████████████████▌ | 626/1041 [1:19:03<52:21, 7.57s/it]
60%|██████████████████████████████████████████████████████████████████████████▋ | 627/1041 [1:19:11<52:13, 7.57s/it]
60%|██████████████████████████████████████████████████████████████████████████▊ | 628/1041 [1:19:18<52:05, 7.57s/it]
60%|██████████████████████████████████████████████████████████████████████████▉ | 629/1041 [1:19:26<51:57, 7.57s/it]
61%|███████████████████████████████████████████████████████████████████████████ | 630/1041 [1:19:33<51:49, 7.57s/it]
{'loss': '0.0002873', 'grad_norm': '0.000915', 'learning_rate': '8.059e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.81', 'tokens/total': 10319872, 'tokens/trainable': 5391783, 'epoch': '1.811'}
61%|███████████████████████████████████████████████████████████████████████████ | 630/1041 [1:19:33<51:49, 7.57s/it]
61%|███████████████████████████████████████████████████████████████████████████▏ | 631/1041 [1:19:41<51:42, 7.57s/it]
61%|███████████████████████████████████████████████████████████████████████████▎ | 632/1041 [1:19:49<51:34, 7.57s/it]
61%|███████████████████████████████████████████████████████████████████████████▍ | 633/1041 [1:19:56<51:26, 7.57s/it]
61%|███████████████████████████████████████████████████████████████████████████▌ | 634/1041 [1:20:04<51:19, 7.57s/it]
61%|███████████████████████████████████████████████████████████████████████████▋ | 635/1041 [1:20:11<51:12, 7.57s/it]
61%|███████████████████████████████████████████████████████████████████████████▊ | 636/1041 [1:20:19<51:04, 7.57s/it]
61%|███████████████████████████████████████████████████████████████████████████▉ | 637/1041 [1:20:26<50:56, 7.57s/it]
61%|███████████████████████████████████████████████████████████████████████████▉ | 638/1041 [1:20:34<50:49, 7.57s/it]
61%|████████████████████████████████████████████████████████████████████████████ | 639/1041 [1:20:41<50:42, 7.57s/it]
61%|████████████████████████████████████████████████████████████████████████████▏ | 640/1041 [1:20:49<50:34, 7.57s/it]
{'loss': '0.0001886', 'grad_norm': '0.0002459', 'learning_rate': '7.733e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.62', 'tokens/total': 10483712, 'tokens/trainable': 5477339, 'epoch': '1.839'}
61%|████████████████████████████████████████████████████████████████████████████▏ | 640/1041 [1:20:49<50:34, 7.57s/it]
62%|████████████████████████████████████████████████████████████████████████████▎ | 641/1041 [1:20:57<50:27, 7.57s/it]
62%|████████████████████████████████████████████████████████████████████████████▍ | 642/1041 [1:21:04<50:19, 7.57s/it]
62%|████████████████████████████████████████████████████████████████████████████▌ | 643/1041 [1:21:12<50:12, 7.57s/it]
62%|████████████████████████████████████████████████████████████████████████████▋ | 644/1041 [1:21:19<50:04, 7.57s/it]
62%|████████████████████████████████████████████████████████████████████████████▊ | 645/1041 [1:21:27<49:56, 7.57s/it]
62%|████████████████████████████████████████████████████████████████████████████▉ | 646/1041 [1:21:34<49:49, 7.57s/it]
62%|█████████████████████████████████████████████████████████████████████████████ | 647/1041 [1:21:42<49:41, 7.57s/it]
62%|█████████████████████████████████████████████████████████████████████████████▏ | 648/1041 [1:21:50<49:34, 7.57s/it]
62%|█████████████████████████████████████████████████████████████████████████████▎ | 649/1041 [1:21:57<49:26, 7.57s/it]
62%|█████████████████████████████████████████████████████████████████████████████▍ | 650/1041 [1:22:05<49:18, 7.57s/it]
{'loss': '0.0002129', 'grad_norm': '0.0002222', 'learning_rate': '7.409e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.06', 'tokens/total': 10647552, 'tokens/trainable': 5562816, 'epoch': '1.868'}
62%|█████████████████████████████████████████████████████████████████████████████▍ | 650/1041 [1:22:05<49:18, 7.57s/it]
63%|█████████████████████████████████████████████████████████████████████████████▌ | 651/1041 [1:22:12<49:12, 7.57s/it]
63%|█████████████████████████████████████████████████████████████████████████████▋ | 652/1041 [1:22:20<49:03, 7.57s/it]
63%|█████████████████████████████████████████████████████████████████████████████▊ | 653/1041 [1:22:27<48:56, 7.57s/it]
63%|█████████████████████████████████████████████████████████████████████████████▉ | 654/1041 [1:22:35<48:48, 7.57s/it]
63%|██████████████████████████████████████████████████████████████████████████████ | 655/1041 [1:22:43<48:41, 7.57s/it]
63%|██████████████████████████████████████████████████████████████████████████████▏ | 656/1041 [1:22:50<48:33, 7.57s/it]
63%|██████████████████████████████████████████████████████████████████████████████▎ | 657/1041 [1:22:58<48:26, 7.57s/it]
63%|██████████████████████████████████████████████████████████████████████████████▍ | 658/1041 [1:23:05<48:18, 7.57s/it]
63%|██████████████████████████████████████████████████████████████████████████████▍ | 659/1041 [1:23:13<48:11, 7.57s/it]
63%|██████████████████████████████████████████████████████████████████████████████▌ | 660/1041 [1:23:20<48:03, 7.57s/it]
{'loss': '0.0002984', 'grad_norm': '0.0002684', 'learning_rate': '7.088e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '76.26', 'tokens/total': 10811392, 'tokens/trainable': 5649046, 'epoch': '1.897'}
63%|██████████████████████████████████████████████████████████████████████████████▌ | 660/1041 [1:23:20<48:03, 7.57s/it]
63%|██████████████████████████████████████████████████████████████████████████████▋ | 661/1041 [1:23:28<47:56, 7.57s/it]
64%|██████████████████████████████████████████████████████████████████████████████▊ | 662/1041 [1:23:36<47:48, 7.57s/it]
64%|██████████████████████████████████████████████████████████████████████████████▉ | 663/1041 [1:23:43<47:40, 7.57s/it]
64%|███████████████████████████████████████████████████████████████████████████████ | 664/1041 [1:23:51<47:33, 7.57s/it]
64%|███████████████████████████████████████████████████████████████████████████████▏ | 665/1041 [1:23:58<47:25, 7.57s/it]
64%|███████████████████████████████████████████████████████████████████████████████▎ | 666/1041 [1:24:06<47:17, 7.57s/it]
64%|███████████████████████████████████████████████████████████████████████████████▍ | 667/1041 [1:24:13<47:09, 7.57s/it]
64%|███████████████████████████████████████████████████████████████████████████████▌ | 668/1041 [1:24:21<47:02, 7.57s/it]
64%|███████████████████████████████████████████████████████████████████████████████▋ | 669/1041 [1:24:29<46:54, 7.57s/it]
64%|███████████████████████████████████████████████████████████████████████████████▊ | 670/1041 [1:24:36<46:47, 7.57s/it]
{'loss': '0.0002732', 'grad_norm': '0.000372', 'learning_rate': '6.77e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '75.31', 'tokens/total': 10975232, 'tokens/trainable': 5734391, 'epoch': '1.926'}
64%|███████████████████████████████████████████████████████████████████████████████▊ | 670/1041 [1:24:36<46:47, 7.57s/it]
64%|███████████████████████████████████████████████████████████████████████████████▉ | 671/1041 [1:24:44<46:40, 7.57s/it]
65%|████████████████████████████████████████████████████████████████████████████████ | 672/1041 [1:24:51<46:32, 7.57s/it]
65%|████████████████████████████████████████████████████████████████████████████████▏ | 673/1041 [1:24:59<46:25, 7.57s/it]
65%|████████████████████████████████████████████████████████████████████████████████▎ | 674/1041 [1:25:06<46:17, 7.57s/it]
65%|████████████████████████████████████████████████████████████████████████████████▍ | 675/1041 [1:25:14<46:10, 7.57s/it]
65%|████████████████████████████████████████████████████████████████████████████████▌ | 676/1041 [1:25:22<46:01, 7.57s/it]
65%|████████████████████████████████████████████████████████████████████████████████▋ | 677/1041 [1:25:29<45:54, 7.57s/it]
65%|████████████████████████████████████████████████████████████████████████████████▊ | 678/1041 [1:25:37<45:47, 7.57s/it]
65%|████████████████████████████████████████████████████████████████████████████████▉ | 679/1041 [1:25:44<45:39, 7.57s/it]
65%|████████████████████████████████████████████████████████████████████████████████▉ | 680/1041 [1:25:52<45:31, 7.57s/it]
{'loss': '0.0002205', 'grad_norm': '1.385e-05', 'learning_rate': '6.456e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.57', 'tokens/total': 11139072, 'tokens/trainable': 5819228, 'epoch': '1.954'}
65%|████████████████████████████████████████████████████████████████████████████████▉ | 680/1041 [1:25:52<45:31, 7.57s/it]
65%|█████████████████████████████████████████████████████████████████████████████████ | 681/1041 [1:25:59<45:23, 7.57s/it]
66%|█████████████████████████████████████████████████████████████████████████████████▏ | 682/1041 [1:26:07<45:16, 7.57s/it]
66%|█████████████████████████████████████████████████████████████████████████████████▎ | 683/1041 [1:26:14<45:08, 7.57s/it]
66%|█████████████████████████████████████████████████████████████████████████████████▍ | 684/1041 [1:26:22<45:01, 7.57s/it]
66%|█████████████████████████████████████████████████████████████████████████████████▌ | 685/1041 [1:26:30<44:53, 7.57s/it]
66%|█████████████████████████████████████████████████████████████████████████████████▋ | 686/1041 [1:26:37<44:45, 7.57s/it]
66%|█████████████████████████████████████████████████████████████████████████████████▊ | 687/1041 [1:26:45<44:37, 7.56s/it]
66%|█████████████████████████████████████████████████████████████████████████████████▉ | 688/1041 [1:26:52<44:30, 7.56s/it]
66%|██████████████████████████████████████████████████████████████████████████████████ | 689/1041 [1:27:00<44:22, 7.56s/it]
66%|██████████████████████████████████████████████████████████████████████████████████▏ | 690/1041 [1:27:07<44:15, 7.56s/it]
{'loss': '0.0002998', 'grad_norm': '0.0001627', 'learning_rate': '6.146e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '78.38', 'tokens/total': 11302912, 'tokens/trainable': 5905088, 'epoch': '1.983'}
66%|██████████████████████████████████████████████████████████████████████████████████▏ | 690/1041 [1:27:07<44:15, 7.56s/it]
66%|██████████████████████████████████████████████████████████████████████████████████▎ | 691/1041 [1:27:15<44:08, 7.57s/it]
66%|██████████████████████████████████████████████████████████████████████████████████▍ | 692/1041 [1:27:23<44:00, 7.57s/it]
67%|██████████████████████████████████████████████████████████████████████████████████▌ | 693/1041 [1:27:30<43:52, 7.57s/it]
67%|██████████████████████████████████████████████████████████████████████████████████▋ | 694/1041 [1:27:38<43:45, 7.57s/it]
67%|██████████████████████████████████████████████████████████████████████████████████▊ | 695/1041 [1:27:45<43:37, 7.56s/it]
67%|██████████████████████████████████████████████████████████████████████████████████▉ | 696/1041 [1:27:59<55:01, 9.57s/it]
67%|███████████████████████████████████████████████████████████████████████████████████ | 697/1041 [1:28:07<51:25, 8.97s/it]
67%|███████████████████████████████████████████████████████████████████████████████████▏ | 698/1041 [1:28:15<48:52, 8.55s/it]
67%|███████████████████████████████████████████████████████████████████████████████████▎ | 699/1041 [1:28:22<47:03, 8.26s/it]
67%|███████████████████████████████████████████████████████████████████████████████████▍ | 700/1041 [1:28:30<45:44, 8.05s/it]
{'loss': '0.0002974', 'grad_norm': '0.0004955', 'learning_rate': '5.84e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.37', 'tokens/total': 11478016, 'tokens/trainable': 5996545, 'epoch': '2.014'}
67%|███████████████████████████████████████████████████████████████████████████████████▍ | 700/1041 [1:28:30<45:44, 8.05s/it]
67%|███████████████████████████████████████████████████████████████████████████████████▌ | 701/1041 [1:28:37<44:47, 7.90s/it]
67%|███████████████████████████████████████████████████████████████████████████████████▌ | 702/1041 [1:28:45<44:05, 7.80s/it]
68%|███████████████████████████████████████████████████████████████████████████████████▋ | 703/1041 [1:28:52<43:33, 7.73s/it]
68%|███████████████████████████████████████████████████████████████████████████████████▊ | 704/1041 [1:29:00<43:09, 7.68s/it]
68%|███████████████████████████████████████████████████████████████████████████████████▉ | 705/1041 [1:29:08<42:50, 7.65s/it]
68%|████████████████████████████████████████████████████████████████████████████████████ | 706/1041 [1:29:15<42:35, 7.63s/it]
68%|████████████████████████████████████████████████████████████████████████████████████▏ | 707/1041 [1:29:23<42:22, 7.61s/it]
68%|████████████████████████████████████████████████████████████████████████████████████▎ | 708/1041 [1:29:30<42:11, 7.60s/it]
68%|████████████████████████████████████████████████████████████████████████████████████▍ | 709/1041 [1:29:38<42:00, 7.59s/it]
68%|████████████████████████████████████████████████████████████████████████████████████▌ | 710/1041 [1:29:45<41:50, 7.59s/it]
{'loss': '0.0003995', 'grad_norm': '0.0003461', 'learning_rate': '5.539e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '75.56', 'tokens/total': 11641856, 'tokens/trainable': 6082846, 'epoch': '2.043'}
68%|████████████████████████████████████████████████████████████████████████████████████▌ | 710/1041 [1:29:45<41:50, 7.59s/it]
68%|████████████████████████████████████████████████████████████████████████████████████▋ | 711/1041 [1:29:53<41:42, 7.58s/it]
68%|████████████████████████████████████████████████████████████████████████████████████▊ | 712/1041 [1:30:01<41:32, 7.58s/it]
68%|████████████████████████████████████████████████████████████████████████████████████▉ | 713/1041 [1:30:08<41:24, 7.58s/it]
69%|█████████████████████████████████████████████████████████████████████████████████████ | 714/1041 [1:30:16<41:17, 7.58s/it]
69%|█████████████████████████████████████████████████████████████████████████████████████▏ | 715/1041 [1:30:23<41:08, 7.57s/it]
69%|█████████████████████████████████████████████████████████████████████████████████████▎ | 716/1041 [1:30:31<41:01, 7.57s/it]
69%|█████████████████████████████████████████████████████████████████████████████████████▍ | 717/1041 [1:30:38<40:53, 7.57s/it]
69%|█████████████████████████████████████████████████████████████████████████████████████▌ | 718/1041 [1:30:46<40:46, 7.57s/it]
69%|█████████████████████████████████████████████████████████████████████████████████████▋ | 719/1041 [1:30:54<40:38, 7.57s/it]
69%|█████████████████████████████████████████████████████████████████████████████████████▊ | 720/1041 [1:31:01<40:30, 7.57s/it]
{'loss': '0.0002963', 'grad_norm': '0.0003361', 'learning_rate': '5.243e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.89', 'tokens/total': 11805696, 'tokens/trainable': 6169007, 'epoch': '2.072'}
69%|█████████████████████████████████████████████████████████████████████████████████████▊ | 720/1041 [1:31:01<40:30, 7.57s/it]
69%|█████████████████████████████████████████████████████████████████████████████████████▉ | 721/1041 [1:31:09<40:23, 7.57s/it]
69%|██████████████████████████████████████████████████████████████████████████████████████ | 722/1041 [1:31:16<40:16, 7.57s/it]
69%|██████████████████████████████████████████████████████████████████████████████████████ | 723/1041 [1:31:24<40:08, 7.58s/it]
70%|██████████████████████████████████████████████████████████████████████████████████████▏ | 724/1041 [1:31:32<40:01, 7.58s/it]
70%|██████████████████████████████████████████████████████████████████████████████████████▎ | 725/1041 [1:31:39<39:54, 7.58s/it]
70%|██████████████████████████████████████████████████████████████████████████████████████▍ | 726/1041 [1:31:47<39:46, 7.58s/it]
70%|██████████████████████████████████████████████████████████████████████████████████████▌ | 727/1041 [1:31:54<39:38, 7.57s/it]
70%|██████████████████████████████████████████████████████████████████████████████████████▋ | 728/1041 [1:32:02<39:30, 7.57s/it]
70%|██████████████████████████████████████████████████████████████████████████████████████▊ | 729/1041 [1:32:09<39:22, 7.57s/it]
70%|██████████████████████████████████████████████████████████████████████████████████████▉ | 730/1041 [1:32:17<39:16, 7.58s/it]
{'loss': '0.0003063', 'grad_norm': '0.0003124', 'learning_rate': '4.952e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.48', 'tokens/total': 11969536, 'tokens/trainable': 6254278, 'epoch': '2.101'}
70%|██████████████████████████████████████████████████████████████████████████████████████▉ | 730/1041 [1:32:17<39:16, 7.58s/it]
70%|███████████████████████████████████████████████████████████████████████████████████████ | 731/1041 [1:32:25<39:08, 7.57s/it]
70%|███████████████████████████████████████████████████████████████████████████████████████▏ | 732/1041 [1:32:32<39:00, 7.57s/it]
70%|███████████████████████████████████████████████████████████████████████████████████████▎ | 733/1041 [1:32:40<38:52, 7.57s/it]
71%|███████████████████████████████████████████████████████████████████████████████████████▍ | 734/1041 [1:32:47<38:45, 7.57s/it]
71%|███████████████████████████████████████████████████████████████████████████████████████▌ | 735/1041 [1:32:55<38:37, 7.57s/it]
71%|███████████████████████████████████████████████████████████████████████████████████████▋ | 736/1041 [1:33:02<38:29, 7.57s/it]
71%|███████████████████████████████████████████████████████████████████████████████████████▊ | 737/1041 [1:33:10<38:21, 7.57s/it]
71%|███████████████████████████████████████████████████████████████████████████████████████▉ | 738/1041 [1:33:18<38:14, 7.57s/it]
71%|████████████████████████████████████████████████████████████████████████████████████████ | 739/1041 [1:33:25<38:06, 7.57s/it]
71%|████████████████████████████████████████████████████████████████████████████████████████▏ | 740/1041 [1:33:33<37:59, 7.57s/it]
{'loss': '0.0003031', 'grad_norm': '0.0004244', 'learning_rate': '4.667e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.58', 'tokens/total': 12133376, 'tokens/trainable': 6339984, 'epoch': '2.129'}
71%|████████████████████████████████████████████████████████████████████████████████████████▏ | 740/1041 [1:33:33<37:59, 7.57s/it]
71%|████████████████████████████████████████████████████████████████████████████████████████▎ | 741/1041 [1:33:40<37:52, 7.57s/it]
71%|████████████████████████████████████████████████████████████████████████████████████████▍ | 742/1041 [1:33:48<37:44, 7.57s/it]
71%|████████████████████████████████████████████████████████████████████████████████████████▌ | 743/1041 [1:33:55<37:36, 7.57s/it]
71%|████████████████████████████████████████████████████████████████████████████████████████▌ | 744/1041 [1:34:03<37:28, 7.57s/it]
72%|████████████████████████████████████████████████████████████████████████████████████████▋ | 745/1041 [1:34:11<37:21, 7.57s/it]
72%|████████████████████████████████████████████████████████████████████████████████████████▊ | 746/1041 [1:34:18<37:13, 7.57s/it]
72%|████████████████████████████████████████████████████████████████████████████████████████▉ | 747/1041 [1:34:26<37:06, 7.57s/it]
72%|█████████████████████████████████████████████████████████████████████████████████████████ | 748/1041 [1:34:33<36:59, 7.57s/it]
72%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 749/1041 [1:34:41<36:51, 7.57s/it]
72%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 750/1041 [1:34:48<36:43, 7.57s/it]
{'loss': '0.0001293', 'grad_norm': '1.241e-05', 'learning_rate': '4.387e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '65.08', 'tokens/total': 12297216, 'tokens/trainable': 6425314, 'epoch': '2.158'}
72%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 750/1041 [1:34:48<36:43, 7.57s/it]
72%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 751/1041 [1:34:56<36:36, 7.57s/it]
72%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 752/1041 [1:35:04<36:29, 7.57s/it]
72%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 753/1041 [1:35:11<36:21, 7.58s/it]
72%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 754/1041 [1:35:19<36:14, 7.58s/it]
73%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 755/1041 [1:35:26<36:06, 7.57s/it]
73%|██████████████████████████████████████████████████████████████████████████████████████████ | 756/1041 [1:35:34<35:58, 7.57s/it]
73%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 757/1041 [1:35:41<35:51, 7.57s/it]
73%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 758/1041 [1:35:49<35:43, 7.58s/it]
73%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 759/1041 [1:35:57<35:36, 7.58s/it]
73%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 760/1041 [1:36:04<35:28, 7.58s/it]
{'loss': '0.000241', 'grad_norm': '0.0002966', 'learning_rate': '4.114e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.22', 'tokens/total': 12461056, 'tokens/trainable': 6510816, 'epoch': '2.187'}
73%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 760/1041 [1:36:04<35:28, 7.58s/it]
73%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 761/1041 [1:36:12<35:21, 7.58s/it]
73%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 762/1041 [1:36:19<35:15, 7.58s/it]
73%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 763/1041 [1:36:27<35:06, 7.58s/it]
73%|███████████████████████████████████████████████████████████████████████████████████████████ | 764/1041 [1:36:34<34:58, 7.58s/it]
73%|███████████████████████████████████████████████████████████████████████████████████████████ | 765/1041 [1:36:42<34:50, 7.58s/it]
74%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 766/1041 [1:36:50<34:43, 7.58s/it]
74%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 767/1041 [1:36:57<34:35, 7.58s/it]
74%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 768/1041 [1:37:05<34:28, 7.58s/it]
74%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 769/1041 [1:37:12<34:21, 7.58s/it]
74%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 770/1041 [1:37:20<34:13, 7.58s/it]
{'loss': '0.0001448', 'grad_norm': '0.0002363', 'learning_rate': '3.847e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '75.89', 'tokens/total': 12624896, 'tokens/trainable': 6596600, 'epoch': '2.216'}
74%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 770/1041 [1:37:20<34:13, 7.58s/it]
74%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 771/1041 [1:37:28<34:05, 7.58s/it]
74%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 772/1041 [1:37:35<33:57, 7.58s/it]
74%|████████████████████████████████████████████████████████████████████████████████████████████ | 773/1041 [1:37:43<33:49, 7.57s/it]
74%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 774/1041 [1:37:50<33:42, 7.57s/it]
74%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 775/1041 [1:37:58<33:34, 7.57s/it]
75%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 776/1041 [1:38:05<33:27, 7.58s/it]
75%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 777/1041 [1:38:13<33:19, 7.57s/it]
75%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 778/1041 [1:38:21<33:11, 7.57s/it]
75%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 779/1041 [1:38:28<33:03, 7.57s/it]
75%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 780/1041 [1:38:36<32:56, 7.57s/it]
{'loss': '0.0002388', 'grad_norm': '0.0003023', 'learning_rate': '3.588e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.01', 'tokens/total': 12788736, 'tokens/trainable': 6681873, 'epoch': '2.244'}
75%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 780/1041 [1:38:36<32:56, 7.57s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████████ | 781/1041 [1:38:43<32:49, 7.57s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 782/1041 [1:38:51<32:41, 7.57s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 783/1041 [1:38:58<32:33, 7.57s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 784/1041 [1:39:06<32:26, 7.57s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 785/1041 [1:39:14<32:18, 7.57s/it]
76%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 786/1041 [1:39:21<32:11, 7.57s/it]
76%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 787/1041 [1:39:29<32:03, 7.57s/it]
76%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 788/1041 [1:39:36<31:55, 7.57s/it]
76%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 789/1041 [1:39:44<31:48, 7.57s/it]
76%|██████████████████████████████████████████████████████████████████████████████████████████████ | 790/1041 [1:39:51<31:41, 7.57s/it]
{'loss': '0.0001819', 'grad_norm': '0.0001801', 'learning_rate': '3.335e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.58', 'tokens/total': 12952576, 'tokens/trainable': 6767650, 'epoch': '2.273'}
76%|██████████████████████████████████████████████████████████████████████████████████████████████ | 790/1041 [1:39:51<31:41, 7.57s/it]
76%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 791/1041 [1:39:59<31:33, 7.58s/it]
76%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 792/1041 [1:40:07<31:26, 7.57s/it]
76%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 793/1041 [1:40:14<31:18, 7.58s/it]
76%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 794/1041 [1:40:22<31:10, 7.57s/it]
76%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 795/1041 [1:40:29<31:02, 7.57s/it]
76%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 796/1041 [1:40:37<30:55, 7.57s/it]
77%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 797/1041 [1:40:44<30:47, 7.57s/it]
77%|███████████████████████████████████████████████████████████████████████████████████████████████ | 798/1041 [1:40:52<30:40, 7.57s/it]
77%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 799/1041 [1:41:00<30:32, 7.57s/it]
77%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 800/1041 [1:41:07<30:25, 7.57s/it]
{'loss': '0.0002145', 'grad_norm': '0.0002411', 'learning_rate': '3.09e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '66.92', 'tokens/total': 13116416, 'tokens/trainable': 6853242, 'epoch': '2.302'}
77%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 800/1041 [1:41:07<30:25, 7.57s/it][2026-03-15 12:48:57,577] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-800
77%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 801/1041 [1:41:16<31:48, 7.95s/it]
77%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 802/1041 [1:41:24<31:13, 7.84s/it]
77%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 803/1041 [1:41:31<30:46, 7.76s/it]
77%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 804/1041 [1:41:39<30:24, 7.70s/it]
77%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 805/1041 [1:41:46<30:07, 7.66s/it]
77%|████████████████████████████████████████████████████████████████████████████████████████████████ | 806/1041 [1:41:54<29:53, 7.63s/it]
78%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 807/1041 [1:42:01<29:41, 7.61s/it]
78%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 808/1041 [1:42:09<29:30, 7.60s/it]
78%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 809/1041 [1:42:17<29:21, 7.59s/it]
78%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 810/1041 [1:42:24<29:12, 7.59s/it]
{'loss': '0.0002372', 'grad_norm': '0.0001784', 'learning_rate': '2.853e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.85', 'tokens/total': 13280256, 'tokens/trainable': 6938782, 'epoch': '2.331'}
78%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 810/1041 [1:42:24<29:12, 7.59s/it]
78%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 811/1041 [1:42:32<29:03, 7.58s/it]
78%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 812/1041 [1:42:39<28:55, 7.58s/it]
78%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 813/1041 [1:42:47<28:47, 7.58s/it]
78%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 814/1041 [1:42:54<28:39, 7.57s/it]
78%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 815/1041 [1:43:02<28:31, 7.57s/it]
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 816/1041 [1:43:10<28:23, 7.57s/it]
78%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 817/1041 [1:43:17<28:16, 7.57s/it]
79%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 818/1041 [1:43:25<28:08, 7.57s/it]
79%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 819/1041 [1:43:32<28:01, 7.57s/it]
79%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 820/1041 [1:43:40<27:53, 7.57s/it]
{'loss': '0.0001424', 'grad_norm': '0.0004637', 'learning_rate': '2.623e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.71', 'tokens/total': 13444096, 'tokens/trainable': 7024676, 'epoch': '2.359'}
79%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 820/1041 [1:43:40<27:53, 7.57s/it]
79%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 821/1041 [1:43:47<27:45, 7.57s/it]
79%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 822/1041 [1:43:55<27:38, 7.57s/it]
79%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 823/1041 [1:44:03<27:30, 7.57s/it]
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 824/1041 [1:44:10<27:22, 7.57s/it]
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 825/1041 [1:44:18<27:14, 7.57s/it]
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 826/1041 [1:44:25<27:07, 7.57s/it]
79%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 827/1041 [1:44:33<26:59, 7.57s/it]
80%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 828/1041 [1:44:40<26:51, 7.57s/it]
80%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 829/1041 [1:44:48<26:44, 7.57s/it]
80%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 830/1041 [1:44:56<26:36, 7.57s/it]
{'loss': '0.0002724', 'grad_norm': '0.000359', 'learning_rate': '2.402e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '73.86', 'tokens/total': 13607936, 'tokens/trainable': 7109974, 'epoch': '2.388'}
80%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 830/1041 [1:44:56<26:36, 7.57s/it]
80%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 831/1041 [1:45:03<26:29, 7.57s/it]
80%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 832/1041 [1:45:11<26:22, 7.57s/it]
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 833/1041 [1:45:18<26:14, 7.57s/it]
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 834/1041 [1:45:26<26:06, 7.57s/it]
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 835/1041 [1:45:33<25:59, 7.57s/it]
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 836/1041 [1:45:41<25:51, 7.57s/it]
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 837/1041 [1:45:49<25:44, 7.57s/it]
80%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 838/1041 [1:45:56<25:36, 7.57s/it]
81%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 839/1041 [1:46:04<25:28, 7.57s/it]
81%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 840/1041 [1:46:11<25:21, 7.57s/it]
{'loss': '0.0003118', 'grad_norm': '0.0004633', 'learning_rate': '2.189e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.06', 'tokens/total': 13771776, 'tokens/trainable': 7195267, 'epoch': '2.417'}
81%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 840/1041 [1:46:11<25:21, 7.57s/it]
81%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 841/1041 [1:46:19<25:14, 7.57s/it]
81%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 842/1041 [1:46:26<25:06, 7.57s/it]
81%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 843/1041 [1:46:34<24:58, 7.57s/it]
81%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 844/1041 [1:46:41<24:51, 7.57s/it]
81%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 845/1041 [1:46:49<24:43, 7.57s/it]
81%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 846/1041 [1:46:57<24:36, 7.57s/it]
81%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 847/1041 [1:47:04<24:28, 7.57s/it]
81%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 848/1041 [1:47:12<24:21, 7.57s/it]
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 849/1041 [1:47:19<24:13, 7.57s/it]
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 850/1041 [1:47:27<24:06, 7.57s/it]
{'loss': '0.0002572', 'grad_norm': '0.0005056', 'learning_rate': '1.985e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.06', 'tokens/total': 13935616, 'tokens/trainable': 7280552, 'epoch': '2.446'}
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 850/1041 [1:47:27<24:06, 7.57s/it]
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 851/1041 [1:47:35<23:58, 7.57s/it]
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 852/1041 [1:47:42<23:51, 7.57s/it]
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 853/1041 [1:47:50<23:43, 7.57s/it]
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 854/1041 [1:47:57<23:35, 7.57s/it]
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 855/1041 [1:48:05<23:28, 7.57s/it]
82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 856/1041 [1:48:12<23:20, 7.57s/it]
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 857/1041 [1:48:20<23:13, 7.57s/it]
82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 858/1041 [1:48:27<23:05, 7.57s/it]
83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 859/1041 [1:48:35<22:57, 7.57s/it]
83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 860/1041 [1:48:43<22:50, 7.57s/it]
{'loss': '0.0003513', 'grad_norm': '0.0006618', 'learning_rate': '1.79e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '76.99', 'tokens/total': 14099456, 'tokens/trainable': 7366632, 'epoch': '2.474'}
83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 860/1041 [1:48:43<22:50, 7.57s/it]
83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 861/1041 [1:48:50<22:42, 7.57s/it]
83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 862/1041 [1:48:58<22:35, 7.57s/it]
83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 863/1041 [1:49:05<22:27, 7.57s/it]
83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 864/1041 [1:49:13<22:20, 7.57s/it]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 865/1041 [1:49:20<22:12, 7.57s/it]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 866/1041 [1:49:28<22:04, 7.57s/it]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 867/1041 [1:49:36<21:57, 7.57s/it]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 868/1041 [1:49:43<21:49, 7.57s/it]
83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 869/1041 [1:49:51<21:42, 7.57s/it]
84%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 870/1041 [1:49:58<21:34, 7.57s/it]
{'loss': '0.0002729', 'grad_norm': '0.0002825', 'learning_rate': '1.604e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.96', 'tokens/total': 14263296, 'tokens/trainable': 7452908, 'epoch': '2.503'}
84%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 870/1041 [1:49:58<21:34, 7.57s/it]
84%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 871/1041 [1:50:06<21:26, 7.57s/it]
84%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 872/1041 [1:50:13<21:19, 7.57s/it]
84%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 873/1041 [1:50:21<21:11, 7.57s/it]
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 874/1041 [1:50:29<21:04, 7.57s/it]
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 875/1041 [1:50:36<20:56, 7.57s/it]
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 876/1041 [1:50:44<20:48, 7.57s/it]
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 877/1041 [1:50:51<20:41, 7.57s/it]
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 878/1041 [1:50:59<20:33, 7.57s/it]
84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 879/1041 [1:51:06<20:26, 7.57s/it]
85%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 880/1041 [1:51:14<20:19, 7.57s/it]
{'loss': '0.0002997', 'grad_norm': '0.0003895', 'learning_rate': '1.427e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.54', 'tokens/total': 14427136, 'tokens/trainable': 7537859, 'epoch': '2.532'}
85%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 880/1041 [1:51:14<20:19, 7.57s/it]
85%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 881/1041 [1:51:22<20:11, 7.57s/it]
85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 882/1041 [1:51:29<20:03, 7.57s/it]
85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 883/1041 [1:51:37<19:56, 7.57s/it]
85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 884/1041 [1:51:44<19:48, 7.57s/it]
85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 885/1041 [1:51:52<19:40, 7.57s/it]
85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 886/1041 [1:51:59<19:33, 7.57s/it]
85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 887/1041 [1:52:07<19:26, 7.57s/it]
85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 888/1041 [1:52:15<19:18, 7.58s/it]
85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 889/1041 [1:52:22<19:11, 7.58s/it]
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 890/1041 [1:52:30<19:03, 7.57s/it]
{'loss': '0.0001795', 'grad_norm': '7.759e-06', 'learning_rate': '1.26e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.89', 'tokens/total': 14590976, 'tokens/trainable': 7623400, 'epoch': '2.561'}
85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 890/1041 [1:52:30<19:03, 7.57s/it]
86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 891/1041 [1:52:37<18:56, 7.57s/it]
86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 892/1041 [1:52:45<18:48, 7.57s/it]
86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 893/1041 [1:52:52<18:40, 7.57s/it]
86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 894/1041 [1:53:00<18:33, 7.57s/it]
86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 895/1041 [1:53:08<18:26, 7.58s/it]
86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 896/1041 [1:53:15<18:18, 7.58s/it]
86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 897/1041 [1:53:23<18:11, 7.58s/it]
86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 898/1041 [1:53:30<18:03, 7.58s/it]
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 899/1041 [1:53:38<18:07, 7.66s/it]
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 900/1041 [1:53:46<17:55, 7.63s/it]
{'loss': '0.0002064', 'grad_norm': '0.0008526', 'learning_rate': '1.103e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.94', 'tokens/total': 14754816, 'tokens/trainable': 7708898, 'epoch': '2.589'}
86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 900/1041 [1:53:46<17:55, 7.63s/it]
87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 901/1041 [1:53:53<17:45, 7.61s/it]
87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 902/1041 [1:54:01<17:36, 7.60s/it]
87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 903/1041 [1:54:09<17:27, 7.59s/it]
87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 904/1041 [1:54:16<17:19, 7.59s/it]
87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 905/1041 [1:54:24<17:11, 7.58s/it]
87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 906/1041 [1:54:31<17:03, 7.58s/it]
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 907/1041 [1:54:39<16:55, 7.57s/it]
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 908/1041 [1:54:46<16:47, 7.57s/it]
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 909/1041 [1:54:54<16:39, 7.57s/it]
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 910/1041 [1:55:02<16:31, 7.57s/it]
{'loss': '0.0001663', 'grad_norm': '0.0002064', 'learning_rate': '9.554e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '66.72', 'tokens/total': 14918656, 'tokens/trainable': 7793933, 'epoch': '2.618'}
87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 910/1041 [1:55:02<16:31, 7.57s/it]
88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 911/1041 [1:55:09<16:24, 7.57s/it]
88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 912/1041 [1:55:17<16:16, 7.57s/it]
88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 913/1041 [1:55:24<16:09, 7.57s/it]
88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 914/1041 [1:55:32<16:01, 7.57s/it]
88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 915/1041 [1:55:39<15:53, 7.57s/it]
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 916/1041 [1:55:47<15:46, 7.57s/it]
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 917/1041 [1:55:54<15:38, 7.57s/it]
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 918/1041 [1:56:02<15:31, 7.57s/it]
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 919/1041 [1:56:10<15:23, 7.57s/it]
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 920/1041 [1:56:17<15:17, 7.59s/it]
{'loss': '0.0002403', 'grad_norm': '0.0006', 'learning_rate': '8.181e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.35', 'tokens/total': 15082496, 'tokens/trainable': 7879975, 'epoch': '2.647'}
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 920/1041 [1:56:17<15:17, 7.59s/it]
88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 921/1041 [1:56:25<15:09, 7.58s/it]
89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 922/1041 [1:56:32<15:01, 7.58s/it]
89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 923/1041 [1:56:40<14:54, 7.58s/it]
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 924/1041 [1:56:48<14:46, 7.58s/it]
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 925/1041 [1:56:55<14:38, 7.58s/it]
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 926/1041 [1:57:03<14:31, 7.57s/it]
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 927/1041 [1:57:10<14:23, 7.57s/it]
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 928/1041 [1:57:18<14:16, 7.58s/it]
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 929/1041 [1:57:25<14:08, 7.58s/it]
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 930/1041 [1:57:33<14:00, 7.57s/it]
{'loss': '0.000351', 'grad_norm': '0.0003201', 'learning_rate': '6.91e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.59', 'tokens/total': 15246336, 'tokens/trainable': 7965693, 'epoch': '2.676'}
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 930/1041 [1:57:33<14:00, 7.57s/it]
89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 931/1041 [1:57:41<13:53, 7.57s/it]
90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 932/1041 [1:57:48<13:45, 7.57s/it]
90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 933/1041 [1:57:56<13:38, 7.57s/it]
90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 934/1041 [1:58:03<13:30, 7.58s/it]
90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 935/1041 [1:58:11<13:22, 7.58s/it]
90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 936/1041 [1:58:18<13:15, 7.58s/it]
90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 937/1041 [1:58:26<13:07, 7.57s/it]
90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 938/1041 [1:58:34<13:00, 7.57s/it]
90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 939/1041 [1:58:41<12:52, 7.57s/it]
90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 940/1041 [1:58:49<12:44, 7.57s/it]
{'loss': '0.0002426', 'grad_norm': '0.0001797', 'learning_rate': '5.742e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.84', 'tokens/total': 15410176, 'tokens/trainable': 8050640, 'epoch': '2.704'}
90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 940/1041 [1:58:49<12:44, 7.57s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 941/1041 [1:58:56<12:37, 7.57s/it]
90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 942/1041 [1:59:04<12:29, 7.57s/it]
91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 943/1041 [1:59:11<12:22, 7.57s/it]
91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 944/1041 [1:59:19<12:14, 7.57s/it]
91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 945/1041 [1:59:27<12:06, 7.57s/it]
91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 946/1041 [1:59:34<11:59, 7.57s/it]
91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 947/1041 [1:59:42<11:51, 7.57s/it]
91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 948/1041 [1:59:49<11:44, 7.57s/it]
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 949/1041 [1:59:57<11:36, 7.57s/it]
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 950/1041 [2:00:04<11:29, 7.57s/it]
{'loss': '0.0001977', 'grad_norm': '0.0005291', 'learning_rate': '4.68e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '65.62', 'tokens/total': 15574016, 'tokens/trainable': 8136082, 'epoch': '2.733'}
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 950/1041 [2:00:04<11:29, 7.57s/it]
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 951/1041 [2:00:12<11:21, 7.57s/it]
91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 952/1041 [2:00:20<11:13, 7.57s/it]
92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 953/1041 [2:00:27<11:06, 7.57s/it]
92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 954/1041 [2:00:35<10:58, 7.57s/it]
92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 955/1041 [2:00:42<10:51, 7.57s/it]
92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 956/1041 [2:00:50<10:43, 7.57s/it]
92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 957/1041 [2:00:57<10:35, 7.57s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 958/1041 [2:01:05<10:28, 7.57s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 959/1041 [2:01:13<10:20, 7.57s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 960/1041 [2:01:20<10:13, 7.57s/it]
{'loss': '0.0001808', 'grad_norm': '0.0003384', 'learning_rate': '3.724e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '64.89', 'tokens/total': 15737856, 'tokens/trainable': 8220910, 'epoch': '2.762'}
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 960/1041 [2:01:20<10:13, 7.57s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 961/1041 [2:01:28<10:05, 7.57s/it]
92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 962/1041 [2:01:35<09:58, 7.57s/it]
93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 963/1041 [2:01:43<09:50, 7.57s/it]
93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 964/1041 [2:01:50<09:42, 7.57s/it]
93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 965/1041 [2:01:58<09:35, 7.57s/it]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 966/1041 [2:02:06<09:27, 7.57s/it]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 967/1041 [2:02:13<09:20, 7.57s/it]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 968/1041 [2:02:21<09:12, 7.57s/it]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 969/1041 [2:02:28<09:05, 7.57s/it]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 970/1041 [2:02:36<08:57, 7.57s/it]
{'loss': '0.0001855', 'grad_norm': '0.0004726', 'learning_rate': '2.875e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.11', 'tokens/total': 15901696, 'tokens/trainable': 8306117, 'epoch': '2.791'}
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 970/1041 [2:02:36<08:57, 7.57s/it]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 971/1041 [2:02:43<08:50, 7.57s/it]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 972/1041 [2:02:51<08:42, 7.57s/it]
93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 973/1041 [2:02:59<08:34, 7.57s/it]
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 974/1041 [2:03:06<08:27, 7.57s/it]
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 975/1041 [2:03:14<08:19, 7.57s/it]
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 976/1041 [2:03:21<08:12, 7.57s/it]
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 977/1041 [2:03:29<08:04, 7.57s/it]
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 978/1041 [2:03:36<07:56, 7.57s/it]
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 979/1041 [2:03:44<07:49, 7.57s/it]
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 980/1041 [2:03:52<07:41, 7.57s/it]
{'loss': '0.0003186', 'grad_norm': '0.0005886', 'learning_rate': '2.135e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.47', 'tokens/total': 16065536, 'tokens/trainable': 8391988, 'epoch': '2.819'}
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 980/1041 [2:03:52<07:41, 7.57s/it]
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 981/1041 [2:03:59<07:34, 7.57s/it]
94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 982/1041 [2:04:07<07:26, 7.57s/it]
94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 983/1041 [2:04:14<07:19, 7.57s/it]
95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 984/1041 [2:04:22<07:11, 7.57s/it]
95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 985/1041 [2:04:29<07:04, 7.57s/it]
95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 986/1041 [2:04:37<06:56, 7.57s/it]
95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 987/1041 [2:04:45<06:48, 7.57s/it]
95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 988/1041 [2:04:52<06:41, 7.57s/it]
95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 989/1041 [2:05:00<06:33, 7.57s/it]
95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 990/1041 [2:05:07<06:26, 7.57s/it]
{'loss': '0.000254', 'grad_norm': '0.0003106', 'learning_rate': '1.503e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '63.89', 'tokens/total': 16229376, 'tokens/trainable': 8477325, 'epoch': '2.848'}
95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 990/1041 [2:05:07<06:26, 7.57s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 991/1041 [2:05:15<06:18, 7.57s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 992/1041 [2:05:23<06:11, 7.59s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 993/1041 [2:05:30<06:04, 7.58s/it]
95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 994/1041 [2:05:38<05:56, 7.58s/it]
96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 995/1041 [2:05:45<05:48, 7.57s/it]
96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 996/1041 [2:05:53<05:40, 7.57s/it]
96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 997/1041 [2:06:00<05:33, 7.57s/it]
96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 998/1041 [2:06:08<05:25, 7.57s/it]
96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 999/1041 [2:06:15<05:17, 7.57s/it]
96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1000/1041 [2:06:23<05:10, 7.57s/it]
{'loss': '0.0001699', 'grad_norm': '7.555e-06', 'learning_rate': '9.815e-07', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '75.2', 'tokens/total': 16393216, 'tokens/trainable': 8562563, 'epoch': '2.877'}
96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1000/1041 [2:06:23<05:10, 7.57s/it][2026-03-15 13:14:13,476] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-1000
96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1001/1041 [2:06:32<05:17, 7.94s/it]
96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1002/1041 [2:06:39<05:05, 7.83s/it]
96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1003/1041 [2:06:47<04:54, 7.75s/it]
96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1004/1041 [2:06:55<04:44, 7.69s/it]
97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1005/1041 [2:07:02<04:35, 7.65s/it]
97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1006/1041 [2:07:10<04:26, 7.63s/it]
97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1007/1041 [2:07:17<04:18, 7.61s/it]
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1008/1041 [2:07:25<04:10, 7.60s/it]
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1009/1041 [2:07:32<04:02, 7.59s/it]
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1010/1041 [2:07:40<03:55, 7.58s/it]
{'loss': '0.0001798', 'grad_norm': '0.0002802', 'learning_rate': '5.701e-07', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '77.95', 'tokens/total': 16557056, 'tokens/trainable': 8648151, 'epoch': '2.905'}
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1010/1041 [2:07:40<03:55, 7.58s/it]
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1011/1041 [2:07:48<03:47, 7.58s/it]
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1012/1041 [2:07:55<03:39, 7.57s/it]
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1013/1041 [2:08:03<03:32, 7.57s/it]
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1014/1041 [2:08:10<03:24, 7.57s/it]
98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1015/1041 [2:08:18<03:16, 7.57s/it]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1016/1041 [2:08:25<03:09, 7.57s/it]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1017/1041 [2:08:33<03:01, 7.57s/it]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1018/1041 [2:08:40<02:54, 7.57s/it]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1019/1041 [2:08:48<02:46, 7.56s/it]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1020/1041 [2:08:56<02:38, 7.57s/it]
{'loss': '0.0002128', 'grad_norm': '0.000261', 'learning_rate': '2.696e-07', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.12', 'tokens/total': 16720896, 'tokens/trainable': 8733789, 'epoch': '2.934'}
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1020/1041 [2:08:56<02:38, 7.57s/it]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1021/1041 [2:09:03<02:31, 7.57s/it]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1022/1041 [2:09:11<02:23, 7.57s/it]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1023/1041 [2:09:18<02:16, 7.57s/it]
98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1024/1041 [2:09:26<02:08, 7.57s/it]
98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1025/1041 [2:09:33<02:01, 7.57s/it]
99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1026/1041 [2:09:41<01:53, 7.57s/it]
99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1027/1041 [2:09:49<01:45, 7.57s/it]
99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1028/1041 [2:09:56<01:38, 7.57s/it]
99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1029/1041 [2:10:04<01:30, 7.57s/it]
99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1030/1041 [2:10:11<01:23, 7.57s/it]
{'loss': '0.0002098', 'grad_norm': '0.0005841', 'learning_rate': '8.024e-08', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.91', 'tokens/total': 16884736, 'tokens/trainable': 8819876, 'epoch': '2.963'}
99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1030/1041 [2:10:11<01:23, 7.57s/it]
99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1031/1041 [2:10:19<01:15, 7.57s/it]
99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1032/1041 [2:10:26<01:08, 7.57s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1033/1041 [2:10:34<01:00, 7.57s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 1034/1041 [2:10:42<00:52, 7.57s/it]
99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 1035/1041 [2:10:49<00:45, 7.57s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 1036/1041 [2:10:57<00:37, 7.57s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 1037/1041 [2:11:04<00:30, 7.57s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 1038/1041 [2:11:12<00:22, 7.57s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊| 1039/1041 [2:11:19<00:15, 7.57s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉| 1040/1041 [2:11:27<00:07, 7.57s/it]
{'loss': '0.0001613', 'grad_norm': '0.0004603', 'learning_rate': '2.229e-09', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.99', 'tokens/total': 17048576, 'tokens/trainable': 8905477, 'epoch': '2.992'}
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉| 1040/1041 [2:11:27<00:07, 7.57s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1041/1041 [2:11:35<00:00, 7.57s/it][2026-03-15 13:19:24,986] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-1041
{'train_runtime': '7896', 'train_samples_per_second': '2.109', 'train_steps_per_second': '0.132', 'train_loss': '0.05411', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'epoch': '2.995', 'tokens/train_per_sec_per_gpu': '70.11'}
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1041/1041 [2:11:36<00:00, 7.57s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1041/1041 [2:11:36<00:00, 7.59s/it]
[2026-03-15 13:19:26,313] [INFO] [axolotl.train.save_trained_model:238] [PID:38782] Training completed! Saving trained model to /workspace/outputs/kgpt-v1.
[2026-03-15 13:19:26,990] [INFO] [axolotl.train.save_trained_model:352] [PID:38782] Model successfully saved to /workspace/outputs/kgpt-v1
|