Hugging Face's logo

Univars
/
k-gpt-v1

Text Generation
Safetensors
qwen2
sovereign-ai
kenya
africa
swahili
sheng
qlora
sft
univars
multilingual
conversational
4-bit precision
bitsandbytes
Model card Files
xet
 Community
k-gpt-v1 / debug.log
Univars's picture
Univars
Upload folder using huggingface_hub
f159ea4 verified
Raw
History Blame Contribute Delete
431 kB
[2026-03-15 11:07:02,974] [DEBUG] [axolotl.utils.config.log_gpu_memory_usage:127] [PID:38782] baseline 0.000GB ()
[2026-03-15 11:07:02,974] [INFO] [axolotl.cli.config.load_cfg:340] [PID:38782] config:
{
 "activation_offloading": false,
 "adapter": "qlora",
 "axolotl_config_path": "/workspace/kgpt_config.yaml",
 "base_model": "Qwen/Qwen2.5-7B",
 "base_model_config": "Qwen/Qwen2.5-7B",
 "batch_size": 16,
 "bf16": true,
 "capabilities": {
 "bf16": true,
 "compute_capability": "sm_89",
 "fp8": false,
 "n_gpu": 1,
 "n_node": 1
 },
 "context_parallel_size": 1,
 "dataloader_num_workers": 1,
 "dataloader_pin_memory": true,
 "dataloader_prefetch_factor": 256,
 "dataset_num_proc": 32,
 "datasets": [
 {
 "ds_type": "json",
 "message_property_mappings": {
 "content": "content",
 "role": "role"
 },
 "path": "/workspace/kgpt_combined.jsonl",
 "trust_remote_code": false,
 "type": "alpaca"
 }
 ],
 "ddp": false,
 "device": "cuda:0",
 "device_map": "auto",
 "dion_rank_fraction": 1.0,
 "dion_rank_multiple_of": 1,
 "eaft_alpha": 1.0,
 "eaft_k": 20,
 "env_capabilities": {
 "torch_version": "2.8.0"
 },
 "eval_batch_size": 1,
 "eval_causal_lm_metrics": [
 "sacrebleu",
 "comet",
 "ter",
 "chrf"
 ],
 "eval_max_new_tokens": 128,
 "eval_sample_packing": true,
 "eval_steps": 100,
 "eval_table_size": 0,
 "experimental_skip_move_to_device": true,
 "flash_attention": true,
 "fp16": false,
 "generate_samples": false,
 "generation_do_sample": true,
 "generation_max_new_tokens": 50,
 "generation_prompt_ratio": 0.5,
 "generation_temperature": 0.7,
 "gradient_accumulation_steps": 16,
 "gradient_checkpointing": true,
 "gradient_checkpointing_kwargs": {
 "use_reentrant": true
 },
 "include_tkps": true,
 "is_falcon_derived_model": false,
 "is_llama_derived_model": false,
 "is_mistral_derived_model": false,
 "learning_rate": 0.0002,
 "lisa_layers_attribute": "model.layers",
 "load_best_model_at_end": false,
 "load_in_4bit": true,
 "load_in_8bit": false,
 "local_rank": 0,
 "logging_steps": 10,
 "lora_alpha": 128,
 "lora_dropout": 0.05,
 "lora_r": 64,
 "lora_target_modules": [
 "q_proj",
 "k_proj",
 "v_proj",
 "o_proj",
 "gate_proj",
 "up_proj",
 "down_proj"
 ],
 "loraplus_lr_embedding": 1e-06,
 "lr_scheduler": "cosine",
 "mean_resizing_embeddings": false,
 "micro_batch_size": 1,
 "model_config_type": "qwen2",
 "num_epochs": 3.0,
 "num_generation_samples": 3,
 "optimizer": "adamw_torch",
 "otel_metrics_host": "localhost",
 "otel_metrics_port": 8000,
 "output_dir": "/workspace/outputs/kgpt-v1",
 "pad_to_sequence_len": true,
 "pretrain_multipack_attn": true,
 "profiler_steps_start": 0,
 "qlora_sharded_model_loading": false,
 "quantize_moe_experts": false,
 "ray_num_workers": 1,
 "resources_per_worker": {
 "GPU": 1
 },
 "sample_packing": true,
 "sample_packing_bin_size": 200,
 "sample_packing_group_size": 100000,
 "save_only_model": false,
 "save_safetensors": true,
 "save_steps": 200,
 "save_total_limit": 3,
 "sequence_len": 1024,
 "shuffle_before_merging_datasets": false,
 "shuffle_merged_datasets": true,
 "skip_prepare_dataset": false,
 "streaming_multipack_buffer_size": 10000,
 "strict": false,
 "tensor_parallel_size": 1,
 "tf32": true,
 "tiled_mlp_use_original_mlp": true,
 "tokenizer_config": "Qwen/Qwen2.5-7B",
 "tokenizer_save_jinja_files": true,
 "tokenizer_type": "AutoTokenizer",
 "torch_dtype": "torch.bfloat16",
 "train_on_inputs": false,
 "trl": {
 "log_completions": false,
 "mask_truncated_completions": false,
 "ref_model_mixup_alpha": 0.9,
 "ref_model_sync_steps": 64,
 "scale_rewards": true,
 "sync_ref_model": false,
 "use_vllm": false,
 "vllm_server_host": "0.0.0.0",
 "vllm_server_port": 8000
 },
 "trust_remote_code": true,
 "type_of_model": "AutoModelForCausalLM",
 "use_otel_metrics": false,
 "use_ray": false,
 "val_set_size": 0.0,
 "vllm": {
 "device": "auto",
 "dtype": "auto",
 "gpu_memory_utilization": 0.9,
 "host": "0.0.0.0",
 "port": 8000
 },
 "warmup_steps": 100,
 "weight_decay": 0.01,
 "world_size": 1
}
[2026-03-15 11:07:02,975] [WARNING] [axolotl.cli.checks.check_user_token:46] [PID:38782] Error verifying HuggingFace token. Remember to log in using `hf auth login` and get your access token from https://huggingface.co/settings/tokens if you want to use gated models or datasets.
[2026-03-15 11:07:04,067] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:299] [PID:38782] EOS: 151643 / <|endoftext|>
[2026-03-15 11:07:04,068] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:300] [PID:38782] BOS: None / None
[2026-03-15 11:07:04,068] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:301] [PID:38782] PAD: 151643 / <|endoftext|>
[2026-03-15 11:07:04,068] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:302] [PID:38782] UNK: None / None
[2026-03-15 11:07:04,068] [INFO] [axolotl.utils.data.shared.load_preprocessed_dataset:481] [PID:38782] Unable to find prepared dataset in last_run_prepared/9f3f78e8a3cb814f704820380de29656
[2026-03-15 11:07:04,068] [INFO] [axolotl.utils.data.sft._load_raw_datasets:320] [PID:38782] Loading raw datasets...
[2026-03-15 11:07:04,068] [WARNING] [axolotl.utils.data.sft._load_raw_datasets:322] [PID:38782] Processing datasets during training can lead to VRAM instability. Please pre-process your dataset using `axolotl preprocess path/to/config.yml`.
[2026-03-15 11:07:04,452] [INFO] [axolotl.utils.data.wrappers.get_dataset_wrapper:87] [PID:38782] Loading dataset: /workspace/kgpt_combined.jsonl with base_type: alpaca and prompt_style: None
 Tokenizing Prompts (num_proc=32): 0%| | 0/48697 [00:00<?, ? examples/s] Tokenizing Prompts (num_proc=32): 1%|▍ | 289/48697 [00:01<04:18, 187.10 examples/s] Tokenizing Prompts (num_proc=32): 2%|█▊ | 1053/48697 [00:01<01:00, 788.41 examples/s] Tokenizing Prompts (num_proc=32): 4%|███ | 1823/48697 [00:02<00:51, 913.46 examples/s] Tokenizing Prompts (num_proc=32): 5%|████▏ | 2522/48697 [00:02<00:34, 1353.62 examples/s] Tokenizing Prompts (num_proc=32): 7%|█████▌ | 3350/48697 [00:03<00:35, 1282.26 examples/s] Tokenizing Prompts (num_proc=32): 8%|██████▌ | 3944/48697 [00:03<00:26, 1662.00 examples/s] Tokenizing Prompts (num_proc=32): 9%|███████▍ | 4445/48697 [00:03<00:21, 2014.86 examples/s] Tokenizing Prompts (num_proc=32): 10%|████████ | 4880/48697 [00:04<00:32, 1345.07 examples/s] Tokenizing Prompts (num_proc=32): 11%|█████████ | 5455/48697 [00:04<00:24, 1770.37 examples/s] Tokenizing Prompts (num_proc=32): 12%|█████████▉ | 5971/48697 [00:04<00:19, 2184.42 examples/s] Tokenizing Prompts (num_proc=32): 13%|██████████▋ | 6394/48697 [00:04<00:31, 1360.41 examples/s] Tokenizing Prompts (num_proc=32): 15%|████████████ | 7216/48697 [00:05<00:21, 1972.43 examples/s] Tokenizing Prompts (num_proc=32): 16%|█████████████▏ | 7906/48697 [00:05<00:28, 1454.39 examples/s] Tokenizing Prompts (num_proc=32): 18%|██████████████▍ | 8656/48697 [00:06<00:20, 1915.56 examples/s] Tokenizing Prompts (num_proc=32): 19%|███████████████▋ | 9397/48697 [00:06<00:25, 1519.90 examples/s] Tokenizing Prompts (num_proc=32): 21%|████████████████▌ | 10119/48697 [00:06<00:19, 1931.66 examples/s] Tokenizing Prompts (num_proc=32): 22%|█████████████████▎ | 10513/48697 [00:06<00:17, 2138.02 examples/s] Tokenizing Prompts (num_proc=32): 22%|█████████████████▉ | 10914/48697 [00:07<00:27, 1391.23 examples/s] Tokenizing Prompts (num_proc=32): 24%|██████████████████▊ | 11451/48697 [00:07<00:20, 1775.62 examples/s] Tokenizing Prompts (num_proc=32): 24%|███████████████████▌ | 11926/48697 [00:07<00:17, 2112.47 examples/s] Tokenizing Prompts (num_proc=32): 26%|████████████████████▍ | 12448/48697 [00:08<00:25, 1435.02 examples/s] Tokenizing Prompts (num_proc=32): 27%|█████████████████████▋ | 13176/48697 [00:08<00:18, 1927.13 examples/s] Tokenizing Prompts (num_proc=32): 29%|██████████████████████▉ | 13971/48697 [00:09<00:22, 1554.36 examples/s] Tokenizing Prompts (num_proc=32): 30%|███████████████████████▉ | 14535/48697 [00:09<00:17, 1927.31 examples/s] Tokenizing Prompts (num_proc=32): 31%|████████████████████████▌ | 14980/48697 [00:09<00:15, 2222.04 examples/s] Tokenizing Prompts (num_proc=32): 32%|█████████████████████████▍ | 15493/48697 [00:10<00:22, 1484.47 examples/s] Tokenizing Prompts (num_proc=32): 33%|██████████████████████████▎ | 16029/48697 [00:10<00:17, 1875.94 examples/s] Tokenizing Prompts (num_proc=32): 34%|███████████████████████████ | 16491/48697 [00:10<00:14, 2207.61 examples/s] Tokenizing Prompts (num_proc=32): 35%|███████████████████████████▉ | 17007/48697 [00:11<00:21, 1450.77 examples/s] Tokenizing Prompts (num_proc=32): 36%|█████████████████████████████▏ | 17742/48697 [00:11<00:15, 1967.32 examples/s] Tokenizing Prompts (num_proc=32): 38%|██████████████████████████████▍ | 18551/48697 [00:11<00:19, 1544.62 examples/s] Tokenizing Prompts (num_proc=32): 40%|███████████████████████████████▋ | 19288/48697 [00:12<00:14, 1990.95 examples/s] Tokenizing Prompts (num_proc=32): 41%|████████████████████████████████▉ | 20062/48697 [00:12<00:18, 1590.65 examples/s] Tokenizing Prompts (num_proc=32): 43%|██████████████████████████████████▏ | 20805/48697 [00:12<00:13, 2025.31 examples/s] Tokenizing Prompts (num_proc=32): 44%|███████████████████████████████████ | 21308/48697 [00:12<00:11, 2334.75 examples/s] Tokenizing Prompts (num_proc=32): 45%|███████████████████████████████████▉ | 21879/48697 [00:13<00:16, 1584.71 examples/s] Tokenizing Prompts (num_proc=32): 46%|█████████████████████████████████████ | 22580/48697 [00:13<00:12, 2015.39 examples/s] Tokenizing Prompts (num_proc=32): 47%|█████████████████████████████████████▉ | 23093/48697 [00:14<00:17, 1425.53 examples/s] Tokenizing Prompts (num_proc=32): 49%|███████████████████████████████████████▏ | 23830/48697 [00:14<00:13, 1841.39 examples/s] Tokenizing Prompts (num_proc=32): 51%|████████████████████████████████████████▍ | 24644/48697 [00:15<00:15, 1534.02 examples/s] Tokenizing Prompts (num_proc=32): 52%|█████████████████████████████████████████▎ | 25179/48697 [00:15<00:12, 1847.34 examples/s] Tokenizing Prompts (num_proc=32): 53%|██████████████████████████████████████████▌ | 25874/48697 [00:15<00:10, 2246.43 examples/s] Tokenizing Prompts (num_proc=32): 54%|███████████████████████████████████████████▎ | 26397/48697 [00:16<00:14, 1590.65 examples/s] Tokenizing Prompts (num_proc=32): 55%|████████████████████████████████████████████▏ | 26874/48697 [00:16<00:11, 1896.38 examples/s] Tokenizing Prompts (num_proc=32): 57%|█████████████████████████████████████████████▍ | 27684/48697 [00:17<00:13, 1513.90 examples/s] Tokenizing Prompts (num_proc=32): 58%|██████████████████████████████████████████████▋ | 28396/48697 [00:17<00:10, 1926.30 examples/s] Tokenizing Prompts (num_proc=32): 60%|███████████████████████████████████████████████▉ | 29213/48697 [00:17<00:12, 1566.91 examples/s] Tokenizing Prompts (num_proc=32): 62%|█████████████████████████████████████████████████▎ | 29992/48697 [00:18<00:09, 2017.45 examples/s] Tokenizing Prompts (num_proc=32): 63%|██████████████████████████████████████████████████ | 30440/48697 [00:18<00:08, 2219.85 examples/s] Tokenizing Prompts (num_proc=32): 64%|██████████████████████████████████████████████████▉ | 31009/48697 [00:18<00:11, 1603.40 examples/s] Tokenizing Prompts (num_proc=32): 65%|███████████████████████████████████████████████████▋ | 31473/48697 [00:18<00:09, 1904.64 examples/s] Tokenizing Prompts (num_proc=32): 66%|████████████████████████████████████████████████████▉ | 32258/48697 [00:19<00:10, 1517.83 examples/s] Tokenizing Prompts (num_proc=32): 68%|██████████████████████████████████████████████████████▏ | 32962/48697 [00:19<00:08, 1935.43 examples/s] Tokenizing Prompts (num_proc=32): 69%|███████████████████████████████████████████████████████▍ | 33771/48697 [00:20<00:09, 1577.12 examples/s] Tokenizing Prompts (num_proc=32): 71%|████████████████████████████████████████████████████████▍ | 34382/48697 [00:20<00:07, 1966.55 examples/s] Tokenizing Prompts (num_proc=32): 72%|█████████████████████████████████████████████████████████▎ | 34887/48697 [00:20<00:05, 2307.85 examples/s] Tokenizing Prompts (num_proc=32): 72%|█████████████████████████████████████████████████████████▉ | 35300/48697 [00:21<00:08, 1489.66 examples/s] Tokenizing Prompts (num_proc=32): 74%|██████████████████████████████████████████████████████████▊ | 35810/48697 [00:21<00:06, 1856.36 examples/s] Tokenizing Prompts (num_proc=32): 75%|████████████████████████████████████████████████████████████ | 36528/48697 [00:21<00:05, 2404.39 examples/s] Tokenizing Prompts (num_proc=32): 76%|████████████████████████████████████████████████████████████▊ | 37039/48697 [00:22<00:07, 1505.95 examples/s] Tokenizing Prompts (num_proc=32): 77%|█████████████████████████████████████████████████████████████▋ | 37528/48697 [00:22<00:06, 1843.67 examples/s] Tokenizing Prompts (num_proc=32): 78%|██████████████████████████████████████████████████████████████▌ | 38050/48697 [00:22<00:04, 2238.91 examples/s] Tokenizing Prompts (num_proc=32): 79%|███████████████████████████████████████████████████████████████▍ | 38639/48697 [00:23<00:06, 1518.60 examples/s] Tokenizing Prompts (num_proc=32): 80%|████████████████████████████████████████████████████████████████▎ | 39137/48697 [00:23<00:05, 1882.20 examples/s] Tokenizing Prompts (num_proc=32): 82%|█████████████████████████████████████████████████████████████████▌ | 39874/48697 [00:23<00:06, 1443.46 examples/s] Tokenizing Prompts (num_proc=32): 83%|██████████████████████████████████████████████████████████████████▌ | 40501/48697 [00:23<00:04, 1888.53 examples/s] Tokenizing Prompts (num_proc=32): 84%|███████████████████████████████████████████████████████████████████▎ | 41012/48697 [00:24<00:03, 2267.38 examples/s] Tokenizing Prompts (num_proc=32): 86%|████████████████████████████████████████████████████████████████████▍ | 41670/48697 [00:24<00:04, 1562.77 examples/s] Tokenizing Prompts (num_proc=32): 87%|█████████████████████████████████████████████████████████████████████▎ | 42174/48697 [00:24<00:03, 1910.75 examples/s] Tokenizing Prompts (num_proc=32): 88%|██████████████████████████████████████████████████████████████████████▌ | 42919/48697 [00:25<00:03, 1498.54 examples/s] Tokenizing Prompts (num_proc=32): 90%|███████████████████████████████████████████████████████████████████████▊ | 43709/48697 [00:25<00:02, 2005.17 examples/s] Tokenizing Prompts (num_proc=32): 91%|█████████████████████████████████████████████████████████████████████████ | 44441/48697 [00:26<00:02, 1520.28 examples/s] Tokenizing Prompts (num_proc=32): 93%|██████████████████████████████████████████████████████████████████████████▎ | 45245/48697 [00:26<00:01, 2004.89 examples/s] Tokenizing Prompts (num_proc=32): 94%|███████████████████████████████████████████████████████████████████████████▍ | 45941/48697 [00:27<00:01, 1524.26 examples/s] Tokenizing Prompts (num_proc=32): 96%|████████████████████████████████████████████████████████████████████████████▋ | 46655/48697 [00:27<00:01, 1909.26 examples/s] Tokenizing Prompts (num_proc=32): 98%|██████████████████████████████████████████████████████████████████████████████ | 47488/48697 [00:28<00:00, 1611.20 examples/s] Tokenizing Prompts (num_proc=32): 99%|███████████████████████████████████████████████████████████████████████████████▎| 48314/48697 [00:28<00:00, 2084.45 examples/s] Tokenizing Prompts (num_proc=32): 100%|████████████████████████████████████████████████████████████████████████████████| 48697/48697 [00:28<00:00, 1705.67 examples/s]
[2026-03-15 11:07:33,937] [INFO] [axolotl.utils.data.utils._log_dataset_stats:212] [PID:38782] min_input_len: 72
[2026-03-15 11:07:33,937] [INFO] [axolotl.utils.data.utils._log_dataset_stats:213] [PID:38782] max_input_len: 166
 Dropping Invalid Sequences (<None or >1024) (num_proc=32): 0%| | 0/48697 [00:00<?, ? examples/s] Dropping Invalid Sequences (<None or >1024) (num_proc=32): 3%|█▊ | 1522/48697 [00:00<00:14, 3168.25 examples/s] Dropping Invalid Sequences (<None or >1024) (num_proc=32): 100%|██████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 70617.69 examples/s]
 Drop Samples with Zero Trainable Tokens (num_proc=32): 0%| | 0/48697 [00:00<?, ? examples/s] Drop Samples with Zero Trainable Tokens (num_proc=32): 3%|█▉ | 1522/48697 [00:00<00:15, 2974.34 examples/s] Drop Samples with Zero Trainable Tokens (num_proc=32): 100%|█████████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 104903.04 examples/s] Drop Samples with Zero Trainable Tokens (num_proc=32): 100%|██████████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 64544.76 examples/s]
 Add position_id column (Sample Packing) (num_proc=32): 0%| | 0/48697 [00:00<?, ? examples/s] Add position_id column (Sample Packing) (num_proc=32): 2%|█▏ | 1000/48697 [00:00<00:24, 1965.74 examples/s] Add position_id column (Sample Packing) (num_proc=32): 88%|███████████████████████████████████████████████████▏ | 42962/48697 [00:00<00:00, 91381.51 examples/s] Add position_id column (Sample Packing) (num_proc=32): 100%|██████████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 62890.38 examples/s]
 Saving the dataset (0/32 shards): 0%| | 0/48697 [00:00<?, ? examples/s] Saving the dataset (0/32 shards): 3%|██▌ | 1522/48697 [00:00<00:16, 2809.61 examples/s] Saving the dataset (1/32 shards): 3%|██▌ | 1522/48697 [00:00<00:16, 2809.61 examples/s] Saving the dataset (2/32 shards): 6%|█████ | 3044/48697 [00:00<00:16, 2809.61 examples/s] Saving the dataset (3/32 shards): 9%|███████▌ | 4566/48697 [00:00<00:15, 2809.61 examples/s] Saving the dataset (4/32 shards): 13%|██████████▏ | 6088/48697 [00:00<00:15, 2809.61 examples/s] Saving the dataset (5/32 shards): 16%|████████████▋ | 7610/48697 [00:00<00:14, 2809.61 examples/s] Saving the dataset (6/32 shards): 19%|███████████████▏ | 9132/48697 [00:00<00:14, 2809.61 examples/s] Saving the dataset (7/32 shards): 22%|█████████████████▌ | 10654/48697 [00:00<00:13, 2809.61 examples/s] Saving the dataset (8/32 shards): 25%|████████████████████ | 12176/48697 [00:00<00:12, 2809.61 examples/s] Saving the dataset (9/32 shards): 28%|██████████████████████▌ | 13698/48697 [00:00<00:12, 2809.61 examples/s] Saving the dataset (10/32 shards): 31%|████████████████████████▋ | 15220/48697 [00:00<00:11, 2809.61 examples/s] Saving the dataset (11/32 shards): 34%|███████████████████████████▏ | 16742/48697 [00:00<00:11, 2809.61 examples/s] Saving the dataset (12/32 shards): 38%|█████████████████████████████▋ | 18264/48697 [00:00<00:10, 2809.61 examples/s] Saving the dataset (13/32 shards): 41%|████████████████████████████████ | 19786/48697 [00:00<00:10, 2809.61 examples/s] Saving the dataset (14/32 shards): 44%|██████████████████████████████████▌ | 21308/48697 [00:00<00:09, 2809.61 examples/s] Saving the dataset (15/32 shards): 47%|█████████████████████████████████████ | 22830/48697 [00:00<00:09, 2809.61 examples/s] Saving the dataset (16/32 shards): 50%|███████████████████████████████████████▌ | 24352/48697 [00:00<00:08, 2809.61 examples/s] Saving the dataset (17/32 shards): 53%|█████████████████████████████████████████▉ | 25874/48697 [00:00<00:08, 2809.61 examples/s] Saving the dataset (18/32 shards): 56%|████████████████████████████████████████████▍ | 27396/48697 [00:00<00:07, 2809.61 examples/s] Saving the dataset (19/32 shards): 59%|██████████████████████████████████████████████▉ | 28918/48697 [00:00<00:07, 2809.61 examples/s] Saving the dataset (20/32 shards): 63%|█████████████████████████████████████████████████▍ | 30440/48697 [00:00<00:06, 2809.61 examples/s] Saving the dataset (21/32 shards): 66%|███████████████████████████████████████████████████▊ | 31962/48697 [00:00<00:05, 2809.61 examples/s] Saving the dataset (22/32 shards): 69%|██████████████████████████████████████████████████████▎ | 33484/48697 [00:00<00:05, 2809.61 examples/s] Saving the dataset (23/32 shards): 72%|████████████████████████████████████████████████████████▊ | 35006/48697 [00:00<00:04, 2809.61 examples/s] Saving the dataset (24/32 shards): 75%|███████████████████████████████████████████████████████████▎ | 36528/48697 [00:00<00:04, 2809.61 examples/s] Saving the dataset (25/32 shards): 78%|█████████████████████████████████████████████████████████████▋ | 38050/48697 [00:00<00:03, 2809.61 examples/s] Saving the dataset (26/32 shards): 81%|████████████████████████████████████████████████████████████████▏ | 39571/48697 [00:00<00:03, 2809.61 examples/s] Saving the dataset (27/32 shards): 84%|██████████████████████████████████████████████████████████████████▋ | 41092/48697 [00:00<00:02, 2809.61 examples/s] Saving the dataset (28/32 shards): 88%|█████████████████████████████████████████████████████████████████████▏ | 42613/48697 [00:00<00:02, 2809.61 examples/s] Saving the dataset (29/32 shards): 91%|███████████████████████████████████████████████████████████████████████▌ | 44134/48697 [00:00<00:01, 2809.61 examples/s] Saving the dataset (30/32 shards): 94%|██████████████████████████████████████████████████████████████████████████ | 45655/48697 [00:00<00:01, 2809.61 examples/s] Saving the dataset (31/32 shards): 97%|████████████████████████████████████████████████████████████████████████████▌ | 47176/48697 [00:00<00:00, 2809.61 examples/s] Saving the dataset (32/32 shards): 100%|███████████████████████████████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 2809.61 examples/s] Saving the dataset (32/32 shards): 100%|██████████████████████████████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 77578.98 examples/s]
[2026-03-15 11:07:37,194] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:420] [PID:38782] total_num_tokens: 5_561_451
[2026-03-15 11:07:37,340] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:438] [PID:38782] `total_supervised_tokens: 2_976_820`
[2026-03-15 11:07:38,729] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.5847363471984863
[2026-03-15 11:07:39,303] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.5731608867645264
[2026-03-15 11:07:39,867] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.5637989044189453
[2026-03-15 11:07:40,439] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.5711963176727295
[2026-03-15 11:07:40,457] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:38782] gather_len_batches: [5563]
[2026-03-15 11:07:40,457] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:495] [PID:38782] data_loader_len: 347
[2026-03-15 11:07:40,458] [INFO] [axolotl.utils.trainer.calc_sample_packing_eff_est:504] [PID:38782] sample_packing_eff_est across ranks: [0.9752387308650565]
[2026-03-15 11:07:40,458] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:516] [PID:38782] sample_packing_eff_est: 0.98
[2026-03-15 11:07:40,458] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:521] [PID:38782] total_num_steps: 1041
[2026-03-15 11:07:40,459] [INFO] [axolotl.utils.data.sft._prepare_standard_dataset:121] [PID:38782] Maximum number of steps set at 1041
[2026-03-15 11:07:40,493] [DEBUG] [axolotl.train.setup_model_and_tokenizer:70] [PID:38782] loading tokenizer... Qwen/Qwen2.5-7B
[2026-03-15 11:07:40,802] [WARNING] [huggingface_hub.utils._http._warn_on_warning_headers:916] [PID:38782] Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
[2026-03-15 11:07:41,646] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:299] [PID:38782] EOS: 151643 / <|endoftext|>
[2026-03-15 11:07:41,646] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:300] [PID:38782] BOS: None / None
[2026-03-15 11:07:41,646] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:301] [PID:38782] PAD: 151643 / <|endoftext|>
[2026-03-15 11:07:41,646] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:302] [PID:38782] UNK: None / None
[2026-03-15 11:07:41,646] [DEBUG] [axolotl.train.setup_model_and_tokenizer:82] [PID:38782] Loading model
[2026-03-15 11:07:41,791] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_evaluation_loop:91] [PID:38782] Patched Trainer.evaluation_loop with nanmean loss calculation
[2026-03-15 11:07:41,792] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_maybe_log_save_evaluate:142] [PID:38782] Patched Trainer._maybe_log_save_evaluate with nanmean loss calculation
[2026-03-15 11:07:41,792] [INFO] [axolotl.loaders.patch_manager._apply_multipack_patches:389] [PID:38782] Applying multipack dataloader patch for sample packing...
 Fetching 22 files: 0%| | 0/22 [00:00<?, ?it/s] Fetching 22 files: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 22/22 [00:00<00:00, 112119.91it/s]
 Loading weights: 0%| | 0/339 [00:00<?, ?it/s] Loading weights: 1%|▋ | 2/339 [00:00<00:24, 13.73it/s] Loading weights: 1%|█▎ | 4/339 [00:00<00:22, 14.87it/s] Loading weights: 2%|█▉ | 6/339 [00:00<00:25, 13.06it/s] Loading weights: 3%|███▎ | 10/339 [00:00<00:18, 17.67it/s] Loading weights: 4%|████▌ | 14/339 [00:00<00:15, 20.71it/s] Loading weights: 5%|█████▌ | 17/339 [00:00<00:17, 18.27it/s] Loading weights: 6%|██████▏ | 19/339 [00:01<00:17, 18.58it/s] Loading weights: 34%|████████████████████████████████████▋ | 114/339 [00:01<00:00, 240.13it/s] Loading weights: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████| 339/339 [00:01<00:00, 276.25it/s]
[2026-03-15 11:07:43,816] [INFO] [axolotl.loaders.model._prepare_model_for_quantization:875] [PID:38782] converting PEFT model w/ prepare_model_for_kbit_training
[2026-03-15 11:07:43,819] [INFO] [axolotl.loaders.model._configure_embedding_dtypes:359] [PID:38782] Converting modules to torch.bfloat16
[2026-03-15 11:07:43,820] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:38782] Memory usage after model load 13.587GB (+13.587GB allocated, +13.658GB reserved)
trainable params: 161,480,704 || all params: 7,777,097,216 || trainable%: 2.0764
[2026-03-15 11:07:44,744] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:38782] after adapters 5.770GB (+5.770GB allocated, +13.881GB reserved)
[2026-03-15 11:07:46,106] [INFO] [axolotl.train.save_initial_configs:414] [PID:38782] Pre-saving adapter config to /workspace/outputs/kgpt-v1...
[2026-03-15 11:07:46,106] [INFO] [axolotl.train.save_initial_configs:418] [PID:38782] Pre-saving tokenizer to /workspace/outputs/kgpt-v1...
[2026-03-15 11:07:46,149] [INFO] [axolotl.train.save_initial_configs:423] [PID:38782] Pre-saving model config to /workspace/outputs/kgpt-v1...
[2026-03-15 11:07:46,151] [INFO] [axolotl.train.execute_training:219] [PID:38782] Starting trainer...
[2026-03-15 11:07:47,884] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.6391372680664062
[2026-03-15 11:07:48,546] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.6610345840454102
[2026-03-15 11:07:49,208] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.6615941524505615
[2026-03-15 11:07:49,863] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.654503345489502
[2026-03-15 11:07:49,863] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:38782] gather_len_batches: [5566]
 0%| | 0/1041 [00:00<?, ?it/s] 0%| | 1/1041 [00:08<2:35:59, 9.00s/it] 0%|▏ | 2/1041 [00:16<2:21:02, 8.15s/it] 0%|▎ | 3/1041 [00:24<2:16:17, 7.88s/it] 0%|▍ | 4/1041 [00:31<2:13:56, 7.75s/it] 0%|▌ | 5/1041 [00:39<2:12:38, 7.68s/it] 1%|▋ | 6/1041 [00:46<2:11:44, 7.64s/it] 1%|▊ | 7/1041 [00:54<2:11:09, 7.61s/it] 1%|▉ | 8/1041 [01:01<2:10:45, 7.60s/it] 1%|█ | 9/1041 [01:09<2:10:25, 7.58s/it] 1%|█▏ | 10/1041 [01:17<2:10:09, 7.57s/it] {'loss': '2.707', 'grad_norm': '0.08499', 'learning_rate': '1.8e-05', 'ppl': '14.99', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '13.88', 'tokens/train_per_sec_per_gpu': '70.4', 'tokens/total': 163840, 'tokens/trainable': 85349, 'epoch': '0.02875'}
 1%|█▏ | 10/1041 [01:17<2:10:09, 7.57s/it] 1%|█▎ | 11/1041 [01:24<2:09:57, 7.57s/it] 1%|█▍ | 12/1041 [01:32<2:09:44, 7.57s/it] 1%|█▌ | 13/1041 [01:39<2:09:36, 7.56s/it] 1%|█▋ | 14/1041 [01:47<2:09:28, 7.56s/it] 1%|█▊ | 15/1041 [01:54<2:09:19, 7.56s/it] 2%|█▉ | 16/1041 [02:02<2:09:11, 7.56s/it] 2%|██ | 17/1041 [02:09<2:09:02, 7.56s/it] 2%|██▏ | 18/1041 [02:17<2:08:57, 7.56s/it] 2%|██▎ | 19/1041 [02:25<2:08:49, 7.56s/it] 2%|██▍ | 20/1041 [02:32<2:08:40, 7.56s/it] {'loss': '1.836', 'grad_norm': '0.1231', 'learning_rate': '3.8e-05', 'ppl': '6.269', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.7', 'tokens/total': 327680, 'tokens/trainable': 171279, 'epoch': '0.05749'}
 2%|██▍ | 20/1041 [02:32<2:08:40, 7.56s/it] 2%|██▌ | 21/1041 [02:40<2:08:32, 7.56s/it] 2%|██▋ | 22/1041 [02:47<2:08:25, 7.56s/it] 2%|██▊ | 23/1041 [02:55<2:08:17, 7.56s/it] 2%|██▉ | 24/1041 [03:02<2:08:10, 7.56s/it] 2%|███ | 25/1041 [03:10<2:08:03, 7.56s/it] 2%|███ | 26/1041 [03:17<2:07:54, 7.56s/it] 3%|███▏ | 27/1041 [03:25<2:07:48, 7.56s/it] 3%|███▎ | 28/1041 [03:33<2:07:40, 7.56s/it] 3%|███▍ | 29/1041 [03:40<2:07:32, 7.56s/it] 3%|███▌ | 30/1041 [03:48<2:07:25, 7.56s/it] {'loss': '0.5594', 'grad_norm': '0.05218', 'learning_rate': '5.8e-05', 'ppl': '1.75', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '61.71', 'tokens/total': 491520, 'tokens/trainable': 257267, 'epoch': '0.08624'}
 3%|███▌ | 30/1041 [03:48<2:07:25, 7.56s/it] 3%|███▋ | 31/1041 [03:55<2:07:17, 7.56s/it] 3%|███▊ | 32/1041 [04:03<2:07:10, 7.56s/it] 3%|███▉ | 33/1041 [04:10<2:07:02, 7.56s/it] 3%|████ | 34/1041 [04:18<2:06:55, 7.56s/it] 3%|████▏ | 35/1041 [04:26<2:06:47, 7.56s/it] 3%|████▎ | 36/1041 [04:33<2:06:39, 7.56s/it] 4%|████▍ | 37/1041 [04:41<2:06:32, 7.56s/it] 4%|████▌ | 38/1041 [04:48<2:06:24, 7.56s/it] 4%|████▋ | 39/1041 [04:56<2:06:18, 7.56s/it] 4%|████▊ | 40/1041 [05:03<2:06:11, 7.56s/it] {'loss': '0.2106', 'grad_norm': '0.02441', 'learning_rate': '7.8e-05', 'ppl': '1.234', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.64', 'tokens/total': 655360, 'tokens/trainable': 342778, 'epoch': '0.115'}
 4%|████▊ | 40/1041 [05:03<2:06:11, 7.56s/it] 4%|████▉ | 41/1041 [05:11<2:06:04, 7.56s/it] 4%|█████ | 42/1041 [05:19<2:06:07, 7.57s/it] 4%|█████▏ | 43/1041 [05:26<2:05:56, 7.57s/it] 4%|█████▎ | 44/1041 [05:34<2:05:45, 7.57s/it] 4%|█████▍ | 45/1041 [05:41<2:05:36, 7.57s/it] 4%|█████▌ | 46/1041 [05:49<2:05:27, 7.56s/it] 5%|█████▋ | 47/1041 [05:56<2:05:18, 7.56s/it] 5%|█████▊ | 48/1041 [06:04<2:05:10, 7.56s/it] 5%|█████▉ | 49/1041 [06:11<2:05:03, 7.56s/it] 5%|██████ | 50/1041 [06:19<2:04:59, 7.57s/it] {'loss': '0.1246', 'grad_norm': '0.01628', 'learning_rate': '9.8e-05', 'ppl': '1.133', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.11', 'tokens/total': 819200, 'tokens/trainable': 428437, 'epoch': '0.1437'}
 5%|██████ | 50/1041 [06:19<2:04:59, 7.57s/it] 5%|██████ | 51/1041 [06:27<2:04:50, 7.57s/it] 5%|██████▏ | 52/1041 [06:34<2:04:42, 7.57s/it] 5%|██████▎ | 53/1041 [06:42<2:04:33, 7.56s/it] 5%|██████▍ | 54/1041 [06:49<2:04:25, 7.56s/it] 5%|██████▌ | 55/1041 [06:57<2:04:17, 7.56s/it] 5%|██████▋ | 56/1041 [07:04<2:04:10, 7.56s/it] 5%|██████▊ | 57/1041 [07:12<2:04:03, 7.56s/it] 6%|██████▉ | 58/1041 [07:20<2:03:55, 7.56s/it] 6%|███████ | 59/1041 [07:27<2:03:47, 7.56s/it] 6%|███████▏ | 60/1041 [07:35<2:03:40, 7.56s/it] {'loss': '0.05733', 'grad_norm': '0.01206', 'learning_rate': '0.000118', 'ppl': '1.059', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.85', 'tokens/total': 983040, 'tokens/trainable': 514011, 'epoch': '0.1725'}
 6%|███████▏ | 60/1041 [07:35<2:03:40, 7.56s/it] 6%|███████▎ | 61/1041 [07:42<2:03:32, 7.56s/it] 6%|███████▍ | 62/1041 [07:50<2:03:24, 7.56s/it] 6%|███████▌ | 63/1041 [07:57<2:03:16, 7.56s/it] 6%|███████▋ | 64/1041 [08:05<2:03:08, 7.56s/it] 6%|███████▊ | 65/1041 [08:12<2:03:00, 7.56s/it] 6%|███████▉ | 66/1041 [08:20<2:02:53, 7.56s/it] 6%|████████ | 67/1041 [08:28<2:02:46, 7.56s/it] 7%|████████▏ | 68/1041 [08:35<2:02:38, 7.56s/it] 7%|████████▎ | 69/1041 [08:43<2:02:30, 7.56s/it] 7%|████████▍ | 70/1041 [08:50<2:02:22, 7.56s/it] {'loss': '0.03601', 'grad_norm': '0.01239', 'learning_rate': '0.000138', 'ppl': '1.037', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '63.2', 'tokens/total': 1146880, 'tokens/trainable': 599266, 'epoch': '0.2012'}
 7%|████████▍ | 70/1041 [08:50<2:02:22, 7.56s/it] 7%|████████▌ | 71/1041 [08:58<2:02:14, 7.56s/it] 7%|████████▋ | 72/1041 [09:05<2:02:06, 7.56s/it] 7%|████████▊ | 73/1041 [09:13<2:01:59, 7.56s/it] 7%|████████▉ | 74/1041 [09:21<2:01:51, 7.56s/it] 7%|█████████ | 75/1041 [09:28<2:01:42, 7.56s/it] 7%|█████████▏ | 76/1041 [09:36<2:01:34, 7.56s/it] 7%|█████████▏ | 77/1041 [09:43<2:01:27, 7.56s/it] 7%|█████████▎ | 78/1041 [09:51<2:01:18, 7.56s/it] 8%|█████████▍ | 79/1041 [09:58<2:01:12, 7.56s/it] 8%|█████████▌ | 80/1041 [10:06<2:01:04, 7.56s/it] {'loss': '0.01981', 'grad_norm': '0.01054', 'learning_rate': '0.000158', 'ppl': '1.02', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '75.26', 'tokens/total': 1310720, 'tokens/trainable': 684447, 'epoch': '0.23'}
 8%|█████████▌ | 80/1041 [10:06<2:01:04, 7.56s/it] 8%|█████████▋ | 81/1041 [10:13<2:00:59, 7.56s/it] 8%|█████████▊ | 82/1041 [10:21<2:00:52, 7.56s/it] 8%|█████████▉ | 83/1041 [10:29<2:00:45, 7.56s/it] 8%|██████████ | 84/1041 [10:36<2:00:39, 7.56s/it] 8%|██████████▏ | 85/1041 [10:44<2:00:30, 7.56s/it] 8%|██████████▎ | 86/1041 [10:51<2:00:23, 7.56s/it] 8%|██████████▍ | 87/1041 [10:59<2:00:14, 7.56s/it] 8%|██████████▌ | 88/1041 [11:06<2:00:05, 7.56s/it] 9%|██████████▋ | 89/1041 [11:14<1:59:56, 7.56s/it] 9%|██████████▊ | 90/1041 [11:22<1:59:50, 7.56s/it] {'loss': '0.01329', 'grad_norm': '0.01094', 'learning_rate': '0.000178', 'ppl': '1.013', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '79.43', 'tokens/total': 1474560, 'tokens/trainable': 769663, 'epoch': '0.2587'}
 9%|██████████▊ | 90/1041 [11:22<1:59:50, 7.56s/it] 9%|██████████▉ | 91/1041 [11:29<1:59:44, 7.56s/it] 9%|███████████ | 92/1041 [11:37<1:59:36, 7.56s/it] 9%|███████████▏ | 93/1041 [11:44<1:59:28, 7.56s/it] 9%|███████████▎ | 94/1041 [11:52<1:59:21, 7.56s/it] 9%|███████████▍ | 95/1041 [11:59<1:59:14, 7.56s/it] 9%|███████████▌ | 96/1041 [12:07<1:59:05, 7.56s/it] 9%|███████████▋ | 97/1041 [12:14<1:58:59, 7.56s/it] 9%|███████████▊ | 98/1041 [12:22<1:58:51, 7.56s/it] 10%|███████████▉ | 99/1041 [12:30<1:58:43, 7.56s/it] 10%|███████████▉ | 100/1041 [12:37<1:58:35, 7.56s/it] {'loss': '0.007035', 'grad_norm': '0.004912', 'learning_rate': '0.000198', 'ppl': '1.007', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.63', 'tokens/total': 1638400, 'tokens/trainable': 855171, 'epoch': '0.2875'}
 10%|███████████▉ | 100/1041 [12:37<1:58:35, 7.56s/it] 10%|████████████ | 101/1041 [12:45<1:58:29, 7.56s/it] 10%|████████████▏ | 102/1041 [12:52<1:58:21, 7.56s/it] 10%|████████████▎ | 103/1041 [13:00<1:58:16, 7.57s/it] 10%|████████████▍ | 104/1041 [13:07<1:58:07, 7.56s/it] 10%|████████████▌ | 105/1041 [13:15<1:57:59, 7.56s/it] 10%|████████████▋ | 106/1041 [13:23<1:57:51, 7.56s/it] 10%|████████████▋ | 107/1041 [13:30<1:57:44, 7.56s/it] 10%|████████████▊ | 108/1041 [13:38<1:57:36, 7.56s/it] 10%|████████████▉ | 109/1041 [13:45<1:57:27, 7.56s/it] 11%|█████████████ | 110/1041 [13:53<1:57:19, 7.56s/it] {'loss': '0.006047', 'grad_norm': '0.009628', 'learning_rate': '0.0002', 'ppl': '1.006', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '62.93', 'tokens/total': 1802240, 'tokens/trainable': 941076, 'epoch': '0.3162'}
 11%|█████████████ | 110/1041 [13:53<1:57:19, 7.56s/it] 11%|█████████████▏ | 111/1041 [14:00<1:57:12, 7.56s/it] 11%|█████████████▎ | 112/1041 [14:08<1:57:04, 7.56s/it] 11%|█████████████▍ | 113/1041 [14:15<1:56:58, 7.56s/it] 11%|█████████████▌ | 114/1041 [14:23<1:56:50, 7.56s/it] 11%|█████████████▋ | 115/1041 [14:31<1:56:44, 7.56s/it] 11%|█████████████▊ | 116/1041 [14:38<1:56:36, 7.56s/it] 11%|█████████████▉ | 117/1041 [14:46<1:56:30, 7.57s/it] 11%|██████████████ | 118/1041 [14:53<1:56:21, 7.56s/it] 11%|██████████████▏ | 119/1041 [15:01<1:56:13, 7.56s/it] 12%|██████████████▎ | 120/1041 [15:08<1:56:05, 7.56s/it] {'loss': '0.006244', 'grad_norm': '0.006183', 'learning_rate': '0.0001998', 'ppl': '1.006', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.17', 'tokens/total': 1966080, 'tokens/trainable': 1026812, 'epoch': '0.345'}
 12%|██████████████▎ | 120/1041 [15:08<1:56:05, 7.56s/it] 12%|██████████████▍ | 121/1041 [15:16<1:55:58, 7.56s/it] 12%|██████████████▌ | 122/1041 [15:24<1:55:50, 7.56s/it] 12%|██████████████▋ | 123/1041 [15:31<1:55:42, 7.56s/it] 12%|██████████████▊ | 124/1041 [15:39<1:55:35, 7.56s/it] 12%|██████████████▉ | 125/1041 [15:46<1:55:27, 7.56s/it] 12%|███████████████ | 126/1041 [15:54<1:55:19, 7.56s/it] 12%|███████████████▏ | 127/1041 [16:01<1:55:11, 7.56s/it] 12%|███████████████▏ | 128/1041 [16:09<1:55:05, 7.56s/it] 12%|███████████████▎ | 129/1041 [16:16<1:54:58, 7.56s/it] 12%|███████████████▍ | 130/1041 [16:24<1:54:50, 7.56s/it] {'loss': '0.00259', 'grad_norm': '0.004522', 'learning_rate': '0.0001995', 'ppl': '1.003', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.83', 'tokens/total': 2129920, 'tokens/trainable': 1112072, 'epoch': '0.3737'}
 12%|███████████████▍ | 130/1041 [16:24<1:54:50, 7.56s/it] 13%|███████████████▌ | 131/1041 [16:32<1:54:42, 7.56s/it] 13%|███████████████▋ | 132/1041 [16:39<1:54:34, 7.56s/it] 13%|███████████████▊ | 133/1041 [16:47<1:54:26, 7.56s/it] 13%|███████████████▉ | 134/1041 [16:54<1:54:20, 7.56s/it] 13%|████████████████ | 135/1041 [17:02<1:54:12, 7.56s/it] 13%|████████████████▏ | 136/1041 [17:09<1:54:06, 7.56s/it] 13%|████████████████▎ | 137/1041 [17:17<1:54:00, 7.57s/it] 13%|████████████████▍ | 138/1041 [17:25<1:53:51, 7.57s/it] 13%|████████████████▌ | 139/1041 [17:32<1:53:45, 7.57s/it] 13%|████████████████▋ | 140/1041 [17:40<1:53:36, 7.57s/it] {'loss': '0.002697', 'grad_norm': '0.001101', 'learning_rate': '0.0001992', 'ppl': '1.003', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.13', 'tokens/total': 2293760, 'tokens/trainable': 1197485, 'epoch': '0.4024'}
 13%|████████████████▋ | 140/1041 [17:40<1:53:36, 7.57s/it] 14%|████████████████▊ | 141/1041 [17:47<1:53:28, 7.57s/it] 14%|████████████████▉ | 142/1041 [17:55<1:53:19, 7.56s/it] 14%|█████████████████ | 143/1041 [18:02<1:53:11, 7.56s/it] 14%|█████████████████▏ | 144/1041 [18:10<1:53:03, 7.56s/it] 14%|█████████████████▎ | 145/1041 [18:18<1:52:55, 7.56s/it] 14%|█████████████████▍ | 146/1041 [18:25<1:52:49, 7.56s/it] 14%|█████████████████▌ | 147/1041 [18:33<1:52:41, 7.56s/it] 14%|█████████████████▋ | 148/1041 [18:40<1:52:35, 7.56s/it] 14%|█████████████████▋ | 149/1041 [18:48<1:52:28, 7.57s/it] 14%|█████████████████▊ | 150/1041 [18:55<1:52:20, 7.57s/it] {'loss': '0.00419', 'grad_norm': '0.003355', 'learning_rate': '0.0001987', 'ppl': '1.004', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.94', 'tokens/total': 2457600, 'tokens/trainable': 1282691, 'epoch': '0.4312'}
 14%|█████████████████▊ | 150/1041 [18:55<1:52:20, 7.57s/it] 15%|█████████████████▉ | 151/1041 [19:03<1:52:12, 7.56s/it] 15%|██████████████████ | 152/1041 [19:10<1:52:04, 7.56s/it] 15%|██████████████████▏ | 153/1041 [19:18<1:51:56, 7.56s/it] 15%|██████████████████▎ | 154/1041 [19:26<1:51:48, 7.56s/it] 15%|██████████████████▍ | 155/1041 [19:33<1:51:41, 7.56s/it] 15%|██████████████████▌ | 156/1041 [19:41<1:51:34, 7.56s/it] 15%|██████████████████▋ | 157/1041 [19:48<1:51:25, 7.56s/it] 15%|██████████████████▊ | 158/1041 [19:56<1:51:17, 7.56s/it] 15%|██████████████████▉ | 159/1041 [20:03<1:51:10, 7.56s/it] 15%|███████████████████ | 160/1041 [20:11<1:51:03, 7.56s/it] {'loss': '0.001551', 'grad_norm': '0.002657', 'learning_rate': '0.0001981', 'ppl': '1.002', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.18', 'tokens/total': 2621440, 'tokens/trainable': 1367835, 'epoch': '0.4599'}
 15%|███████████████████ | 160/1041 [20:11<1:51:03, 7.56s/it] 15%|███████████████████▏ | 161/1041 [20:19<1:50:59, 7.57s/it] 16%|███████████████████▎ | 162/1041 [20:26<1:50:51, 7.57s/it] 16%|███████████████████▍ | 163/1041 [20:34<1:50:41, 7.56s/it] 16%|███████████████████▌ | 164/1041 [20:41<1:50:33, 7.56s/it] 16%|███████████████████▋ | 165/1041 [20:49<1:50:25, 7.56s/it] 16%|███████████████████▊ | 166/1041 [20:56<1:50:17, 7.56s/it] 16%|███████████████████▉ | 167/1041 [21:04<1:50:08, 7.56s/it] 16%|████████████████████ | 168/1041 [21:11<1:50:01, 7.56s/it] 16%|████████████████████▏ | 169/1041 [21:19<1:49:54, 7.56s/it] 16%|████████████████████▏ | 170/1041 [21:27<1:49:47, 7.56s/it] {'loss': '0.001427', 'grad_norm': '0.002344', 'learning_rate': '0.0001974', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.73', 'tokens/total': 2785280, 'tokens/trainable': 1453587, 'epoch': '0.4887'}
 16%|████████████████████▏ | 170/1041 [21:27<1:49:47, 7.56s/it] 16%|████████████████████▎ | 171/1041 [21:34<1:49:39, 7.56s/it] 17%|████████████████████▍ | 172/1041 [21:42<1:49:31, 7.56s/it] 17%|████████████████████▌ | 173/1041 [21:49<1:49:24, 7.56s/it] 17%|████████████████████▋ | 174/1041 [21:57<1:49:18, 7.56s/it] 17%|████████████████████▊ | 175/1041 [22:04<1:49:11, 7.57s/it] 17%|████████████████████▉ | 176/1041 [22:12<1:49:05, 7.57s/it] 17%|█████████████████████ | 177/1041 [22:20<1:48:58, 7.57s/it] 17%|█████████████████████▏ | 178/1041 [22:27<1:48:49, 7.57s/it] 17%|█████████████████████▎ | 179/1041 [22:35<1:48:42, 7.57s/it] 17%|█████████████████████▍ | 180/1041 [22:42<1:48:35, 7.57s/it] {'loss': '0.002041', 'grad_norm': '0.003929', 'learning_rate': '0.0001965', 'ppl': '1.002', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.21', 'tokens/total': 2949120, 'tokens/trainable': 1539777, 'epoch': '0.5174'}
 17%|█████████████████████▍ | 180/1041 [22:42<1:48:35, 7.57s/it] 17%|█████████████████████▌ | 181/1041 [22:50<1:48:28, 7.57s/it] 17%|█████████████████████▋ | 182/1041 [22:57<1:48:20, 7.57s/it] 18%|█████████████████████▊ | 183/1041 [23:05<1:48:11, 7.57s/it] 18%|█████████████████████▉ | 184/1041 [23:13<1:48:03, 7.57s/it] 18%|██████████████████████ | 185/1041 [23:20<1:47:56, 7.57s/it] 18%|██████████████████████▏ | 186/1041 [23:28<1:47:48, 7.57s/it] 18%|██████████████████████▎ | 187/1041 [23:35<1:47:41, 7.57s/it] 18%|██████████████████████▍ | 188/1041 [23:43<1:47:33, 7.57s/it] 18%|██████████████████████▌ | 189/1041 [23:50<1:47:26, 7.57s/it] 18%|██████████████████████▋ | 190/1041 [23:58<1:47:18, 7.57s/it] {'loss': '0.003008', 'grad_norm': '0.004869', 'learning_rate': '0.0001956', 'ppl': '1.003', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.55', 'tokens/total': 3112960, 'tokens/trainable': 1626062, 'epoch': '0.5462'}
 18%|██████████████████████▋ | 190/1041 [23:58<1:47:18, 7.57s/it] 18%|██████████████████████▊ | 191/1041 [24:05<1:47:11, 7.57s/it] 18%|██████████████████████▊ | 192/1041 [24:13<1:47:03, 7.57s/it] 19%|██████████████████████▉ | 193/1041 [24:21<1:46:56, 7.57s/it] 19%|███████████████████████ | 194/1041 [24:28<1:46:48, 7.57s/it] 19%|███████████████████████▏ | 195/1041 [24:36<1:46:40, 7.57s/it] 19%|███████████████████████▎ | 196/1041 [24:43<1:46:32, 7.56s/it] 19%|███████████████████████▍ | 197/1041 [24:51<1:46:24, 7.57s/it] 19%|███████████████████████▌ | 198/1041 [24:58<1:46:16, 7.56s/it] 19%|███████████████████████▋ | 199/1041 [25:06<1:46:10, 7.57s/it] 19%|███████████████████████▊ | 200/1041 [25:14<1:46:02, 7.57s/it] {'loss': '0.001355', 'grad_norm': '0.001834', 'learning_rate': '0.0001946', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '66.99', 'tokens/total': 3276800, 'tokens/trainable': 1712189, 'epoch': '0.5749'}
 19%|███████████████████████▊ | 200/1041 [25:14<1:46:02, 7.57s/it][2026-03-15 11:33:04,000] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-200
 19%|███████████████████████▉ | 201/1041 [25:23<1:52:09, 8.01s/it] 19%|████████████████████████ | 202/1041 [25:30<1:50:10, 7.88s/it] 20%|████████████████████████▏ | 203/1041 [25:38<1:48:44, 7.79s/it] 20%|████████████████████████▎ | 204/1041 [25:45<1:47:41, 7.72s/it] 20%|████████████████████████▍ | 205/1041 [25:53<1:46:54, 7.67s/it] 20%|████████████████████████▌ | 206/1041 [26:00<1:46:20, 7.64s/it] 20%|████████████████████████▋ | 207/1041 [26:08<1:45:54, 7.62s/it] 20%|████████████████████████▊ | 208/1041 [26:16<1:45:32, 7.60s/it] 20%|████████████████████████▉ | 209/1041 [26:23<1:45:16, 7.59s/it] 20%|█████████████████████████ | 210/1041 [26:31<1:45:01, 7.58s/it] {'loss': '0.002425', 'grad_norm': '0.001872', 'learning_rate': '0.0001935', 'ppl': '1.002', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '77.24', 'tokens/total': 3440640, 'tokens/trainable': 1797784, 'epoch': '0.6037'}
 20%|█████████████████████████ | 210/1041 [26:31<1:45:01, 7.58s/it] 20%|█████████████████████████▏ | 211/1041 [26:38<1:44:49, 7.58s/it] 20%|█████████████████████████▎ | 212/1041 [26:46<1:44:40, 7.58s/it] 20%|█████████████████████████▎ | 213/1041 [26:53<1:44:31, 7.57s/it] 21%|█████████████████████████▍ | 214/1041 [27:01<1:44:23, 7.57s/it] 21%|█████████████████████████▌ | 215/1041 [27:09<1:44:13, 7.57s/it] 21%|█████████████████████████▋ | 216/1041 [27:16<1:44:05, 7.57s/it] 21%|█████████████████████████▊ | 217/1041 [27:24<1:43:57, 7.57s/it] 21%|█████████████████████████▉ | 218/1041 [27:31<1:43:48, 7.57s/it] 21%|██████████████████████████ | 219/1041 [27:39<1:43:42, 7.57s/it] 21%|██████████████████████████▏ | 220/1041 [27:46<1:43:34, 7.57s/it] {'loss': '0.0008296', 'grad_norm': '0.00136', 'learning_rate': '0.0001922', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.03', 'tokens/total': 3604480, 'tokens/trainable': 1883236, 'epoch': '0.6324'}
 21%|██████████████████████████▏ | 220/1041 [27:46<1:43:34, 7.57s/it] 21%|██████████████████████████▎ | 221/1041 [27:54<1:43:27, 7.57s/it] 21%|██████████████████████████▍ | 222/1041 [28:02<1:43:17, 7.57s/it] 21%|██████████████████████████▌ | 223/1041 [28:09<1:43:09, 7.57s/it] 22%|██████████████████████████▋ | 224/1041 [28:17<1:43:01, 7.57s/it] 22%|██████████████████████████▊ | 225/1041 [28:24<1:42:54, 7.57s/it] 22%|██████████████████████████▉ | 226/1041 [28:32<1:42:46, 7.57s/it] 22%|███████████████████████████ | 227/1041 [28:39<1:42:37, 7.56s/it] 22%|███████████████████████████▏ | 228/1041 [28:47<1:42:28, 7.56s/it] 22%|███████████████████████████▎ | 229/1041 [28:54<1:42:21, 7.56s/it] 22%|███████████████████████████▍ | 230/1041 [29:02<1:42:13, 7.56s/it] {'loss': '0.0007662', 'grad_norm': '0.002231', 'learning_rate': '0.0001909', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.88', 'tokens/total': 3768320, 'tokens/trainable': 1968515, 'epoch': '0.6612'}
 22%|███████████████████████████▍ | 230/1041 [29:02<1:42:13, 7.56s/it] 22%|███████████████████████████▌ | 231/1041 [29:10<1:42:06, 7.56s/it] 22%|███████████████████████████▋ | 232/1041 [29:17<1:41:59, 7.56s/it] 22%|███████████████████████████▊ | 233/1041 [29:25<1:41:51, 7.56s/it] 22%|███████████████████████████▊ | 234/1041 [29:32<1:41:44, 7.56s/it] 23%|███████████████████████████▉ | 235/1041 [29:40<1:41:37, 7.56s/it] 23%|████████████████████████████ | 236/1041 [29:47<1:41:28, 7.56s/it] 23%|████████████████████████████▏ | 237/1041 [29:55<1:41:20, 7.56s/it] 23%|████████████████████████████▎ | 238/1041 [30:03<1:41:15, 7.57s/it] 23%|████████████████████████████▍ | 239/1041 [30:10<1:41:08, 7.57s/it] 23%|████████████████████████████▌ | 240/1041 [30:18<1:41:00, 7.57s/it] {'loss': '0.0004436', 'grad_norm': '0.0004522', 'learning_rate': '0.0001894', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.77', 'tokens/total': 3932160, 'tokens/trainable': 2054310, 'epoch': '0.6899'}
 23%|████████████████████████████▌ | 240/1041 [30:18<1:41:00, 7.57s/it] 23%|████████████████████████████▋ | 241/1041 [30:25<1:40:53, 7.57s/it] 23%|████████████████████████████▊ | 242/1041 [30:33<1:40:46, 7.57s/it] 23%|████████████████████████████▉ | 243/1041 [30:40<1:40:39, 7.57s/it] 23%|█████████████████████████████ | 244/1041 [30:48<1:40:30, 7.57s/it] 24%|█████████████████████████████▏ | 245/1041 [30:56<1:40:22, 7.57s/it] 24%|█████████████████████████████▎ | 246/1041 [31:03<1:40:14, 7.57s/it] 24%|█████████████████████████████▍ | 247/1041 [31:11<1:40:06, 7.57s/it] 24%|█████████████████████████████▌ | 248/1041 [31:18<1:39:59, 7.57s/it] 24%|█████████████████████████████▋ | 249/1041 [31:26<1:39:52, 7.57s/it] 24%|█████████████████████████████▊ | 250/1041 [31:33<1:39:44, 7.57s/it] {'loss': '0.001154', 'grad_norm': '0.0004165', 'learning_rate': '0.0001879', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.72', 'tokens/total': 4096000, 'tokens/trainable': 2139733, 'epoch': '0.7186'}
 24%|█████████████████████████████▊ | 250/1041 [31:33<1:39:44, 7.57s/it] 24%|█████████████████████████████▉ | 251/1041 [31:41<1:39:37, 7.57s/it] 24%|██████████████████████████████ | 252/1041 [31:49<1:39:29, 7.57s/it] 24%|██████████████████████████████▏ | 253/1041 [31:56<1:39:20, 7.56s/it] 24%|██████████████████████████████▎ | 254/1041 [32:04<1:39:12, 7.56s/it] 24%|██████████████████████████████▎ | 255/1041 [32:11<1:39:07, 7.57s/it] 25%|██████████████████████████████▍ | 256/1041 [32:19<1:38:59, 7.57s/it] 25%|██████████████████████████████▌ | 257/1041 [32:26<1:38:51, 7.57s/it] 25%|██████████████████████████████▋ | 258/1041 [32:34<1:38:43, 7.57s/it] 25%|██████████████████████████████▊ | 259/1041 [32:41<1:38:35, 7.57s/it] 25%|██████████████████████████████▉ | 260/1041 [32:49<1:38:26, 7.56s/it] {'loss': '0.0006378', 'grad_norm': '0.0004479', 'learning_rate': '0.0001862', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.83', 'tokens/total': 4259840, 'tokens/trainable': 2224789, 'epoch': '0.7474'}
 25%|██████████████████████████████▉ | 260/1041 [32:49<1:38:26, 7.56s/it] 25%|███████████████████████████████ | 261/1041 [32:57<1:38:19, 7.56s/it] 25%|███████████████████████████████▏ | 262/1041 [33:04<1:38:13, 7.56s/it] 25%|███████████████████████████████▎ | 263/1041 [33:12<1:38:05, 7.57s/it] 25%|███████████████████████████████▍ | 264/1041 [33:19<1:37:58, 7.57s/it] 25%|███████████████████████████████▌ | 265/1041 [33:27<1:37:51, 7.57s/it] 26%|███████████████████████████████▋ | 266/1041 [33:34<1:37:44, 7.57s/it] 26%|███████████████████████████████▊ | 267/1041 [33:42<1:37:36, 7.57s/it] 26%|███████████████████████████████▉ | 268/1041 [33:50<1:37:28, 7.57s/it] 26%|████████████████████████████████ | 269/1041 [33:57<1:37:23, 7.57s/it] 26%|████████████████████████████████▏ | 270/1041 [34:05<1:37:15, 7.57s/it] {'loss': '0.0003907', 'grad_norm': '0.000155', 'learning_rate': '0.0001845', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.76', 'tokens/total': 4423680, 'tokens/trainable': 2310776, 'epoch': '0.7761'}
 26%|████████████████████████████████▏ | 270/1041 [34:05<1:37:15, 7.57s/it] 26%|████████████████████████████████▎ | 271/1041 [34:12<1:37:07, 7.57s/it] 26%|████████████████████████████████▍ | 272/1041 [34:20<1:36:59, 7.57s/it] 26%|████████████████████████████████▌ | 273/1041 [34:27<1:36:52, 7.57s/it] 26%|████████████████████████████████▋ | 274/1041 [34:35<1:36:44, 7.57s/it] 26%|████████████████████████████████▊ | 275/1041 [34:43<1:36:36, 7.57s/it] 27%|████████████████████████████████▉ | 276/1041 [34:50<1:36:28, 7.57s/it] 27%|████████████████████████████████▉ | 277/1041 [34:58<1:36:21, 7.57s/it] 27%|█████████████████████████████████ | 278/1041 [35:05<1:36:14, 7.57s/it] 27%|█████████████████████████████████▏ | 279/1041 [35:13<1:36:07, 7.57s/it] 27%|█████████████████████████████████▎ | 280/1041 [35:20<1:35:59, 7.57s/it] {'loss': '0.0004373', 'grad_norm': '0.0001835', 'learning_rate': '0.0001827', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.54', 'tokens/total': 4587520, 'tokens/trainable': 2396449, 'epoch': '0.8049'}
 27%|█████████████████████████████████▎ | 280/1041 [35:20<1:35:59, 7.57s/it] 27%|█████████████████████████████████▍ | 281/1041 [35:28<1:35:51, 7.57s/it] 27%|█████████████████████████████████▌ | 282/1041 [35:36<1:35:42, 7.57s/it] 27%|█████████████████████████████████▋ | 283/1041 [35:43<1:35:34, 7.56s/it] 27%|█████████████████████████████████▊ | 284/1041 [35:51<1:35:26, 7.56s/it] 27%|█████████████████████████████████▉ | 285/1041 [35:58<1:35:18, 7.56s/it] 27%|██████████████████████████████████ | 286/1041 [36:06<1:35:11, 7.56s/it] 28%|██████████████████████████████████▏ | 287/1041 [36:13<1:35:03, 7.56s/it] 28%|██████████████████████████████████▎ | 288/1041 [36:21<1:34:55, 7.56s/it] 28%|██████████████████████████████████▍ | 289/1041 [36:28<1:34:49, 7.57s/it] 28%|██████████████████████████████████▌ | 290/1041 [36:36<1:34:41, 7.56s/it] {'loss': '0.0006591', 'grad_norm': '0.002758', 'learning_rate': '0.0001807', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.07', 'tokens/total': 4751360, 'tokens/trainable': 2481663, 'epoch': '0.8336'}
 28%|██████████████████████████████████▌ | 290/1041 [36:36<1:34:41, 7.56s/it] 28%|██████████████████████████████████▋ | 291/1041 [36:44<1:34:33, 7.57s/it] 28%|██████████████████████████████████▊ | 292/1041 [36:51<1:34:26, 7.57s/it] 28%|██████████████████████████████████▉ | 293/1041 [36:59<1:34:19, 7.57s/it] 28%|███████████████████████████████████ | 294/1041 [37:06<1:34:12, 7.57s/it] 28%|███████████████████████████████████▏ | 295/1041 [37:14<1:34:07, 7.57s/it] 28%|███████████████████████████████████▎ | 296/1041 [37:21<1:33:59, 7.57s/it] 29%|███████████████████████████████████▍ | 297/1041 [37:29<1:33:51, 7.57s/it] 29%|███████████████████████████████████▍ | 298/1041 [37:37<1:33:43, 7.57s/it] 29%|███████████████████████████████████▌ | 299/1041 [37:44<1:33:34, 7.57s/it] 29%|███████████████████████████████████▋ | 300/1041 [37:52<1:33:25, 7.57s/it] {'loss': '0.0006577', 'grad_norm': '0.001793', 'learning_rate': '0.0001787', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.33', 'tokens/total': 4915200, 'tokens/trainable': 2567390, 'epoch': '0.8624'}
 29%|███████████████████████████████████▋ | 300/1041 [37:52<1:33:25, 7.57s/it] 29%|███████████████████████████████████▊ | 301/1041 [37:59<1:33:19, 7.57s/it] 29%|███████████████████████████████████▉ | 302/1041 [38:07<1:33:12, 7.57s/it] 29%|████████████████████████████████████ | 303/1041 [38:14<1:33:04, 7.57s/it] 29%|████████████████████████████████████▏ | 304/1041 [38:22<1:32:56, 7.57s/it] 29%|████████████████████████████████████▎ | 305/1041 [38:30<1:32:48, 7.57s/it] 29%|████████████████████████████████████▍ | 306/1041 [38:37<1:32:40, 7.56s/it] 29%|████████████████████████████████████▌ | 307/1041 [38:45<1:32:32, 7.57s/it] 30%|████████████████████████████████████▋ | 308/1041 [38:52<1:32:26, 7.57s/it] 30%|████████████████████████████████████▊ | 309/1041 [39:00<1:32:18, 7.57s/it] 30%|████████████████████████████████████▉ | 310/1041 [39:07<1:32:11, 7.57s/it] {'loss': '0.0006311', 'grad_norm': '0.0004986', 'learning_rate': '0.0001766', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.77', 'tokens/total': 5079040, 'tokens/trainable': 2652923, 'epoch': '0.8911'}
 30%|████████████████████████████████████▉ | 310/1041 [39:07<1:32:11, 7.57s/it] 30%|█████████████████████████████████████ | 311/1041 [39:15<1:32:04, 7.57s/it] 30%|█████████████████████████████████████▏ | 312/1041 [39:22<1:31:57, 7.57s/it] 30%|█████████████████████████████████████▎ | 313/1041 [39:30<1:31:49, 7.57s/it] 30%|█████████████████████████████████████▍ | 314/1041 [39:38<1:31:42, 7.57s/it] 30%|█████████████████████████████████████▌ | 315/1041 [39:45<1:31:34, 7.57s/it] 30%|█████████████████████████████████████▋ | 316/1041 [39:53<1:31:26, 7.57s/it] 30%|█████████████████████████████████████▊ | 317/1041 [40:00<1:31:17, 7.57s/it] 31%|█████████████████████████████████████▉ | 318/1041 [40:08<1:31:11, 7.57s/it] 31%|█████████████████████████████████████▉ | 319/1041 [40:15<1:31:03, 7.57s/it] 31%|██████████████████████████████████████ | 320/1041 [40:23<1:30:56, 7.57s/it] {'loss': '0.0002498', 'grad_norm': '6.242e-05', 'learning_rate': '0.0001744', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.72', 'tokens/total': 5242880, 'tokens/trainable': 2738772, 'epoch': '0.9199'}
 31%|██████████████████████████████████████ | 320/1041 [40:23<1:30:56, 7.57s/it] 31%|██████████████████████████████████████▏ | 321/1041 [40:31<1:30:49, 7.57s/it] 31%|██████████████████████████████████████▎ | 322/1041 [40:38<1:30:41, 7.57s/it] 31%|██████████████████████████████████████▍ | 323/1041 [40:46<1:30:33, 7.57s/it] 31%|██████████████████████████████████████▌ | 324/1041 [40:53<1:30:25, 7.57s/it] 31%|██████████████████████████████████████▋ | 325/1041 [41:01<1:30:18, 7.57s/it] 31%|██████████████████████████████████████▊ | 326/1041 [41:08<1:30:09, 7.57s/it] 31%|██████████████████████████████████████▉ | 327/1041 [41:16<1:30:02, 7.57s/it] 32%|███████████████████████████████████████ | 328/1041 [41:24<1:29:54, 7.57s/it] 32%|███████████████████████████████████████▏ | 329/1041 [41:31<1:29:47, 7.57s/it] 32%|███████████████████████████████████████▎ | 330/1041 [41:39<1:29:38, 7.56s/it] {'loss': '0.0009497', 'grad_norm': '0.0005613', 'learning_rate': '0.0001722', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.47', 'tokens/total': 5406720, 'tokens/trainable': 2824026, 'epoch': '0.9486'}
 32%|███████████████████████████████████████▎ | 330/1041 [41:39<1:29:38, 7.56s/it] 32%|███████████████████████████████████████▍ | 331/1041 [41:46<1:29:30, 7.56s/it] 32%|███████████████████████████████████████▌ | 332/1041 [41:54<1:29:22, 7.56s/it] 32%|███████████████████████████████████████▋ | 333/1041 [42:01<1:29:16, 7.57s/it] 32%|███████████████████████████████████████▊ | 334/1041 [42:09<1:29:08, 7.57s/it] 32%|███████████████████████████████████████▉ | 335/1041 [42:17<1:29:02, 7.57s/it] 32%|████████████████████████████████████████ | 336/1041 [42:24<1:28:54, 7.57s/it] 32%|████████████████████████████████████████▏ | 337/1041 [42:32<1:28:46, 7.57s/it] 32%|████████████████████████████████████████▎ | 338/1041 [42:39<1:28:38, 7.57s/it] 33%|████████████████████████████████████████▍ | 339/1041 [42:47<1:28:30, 7.56s/it] 33%|████████████████████████████████████████▍ | 340/1041 [42:54<1:28:22, 7.56s/it] {'loss': '0.0004737', 'grad_norm': '0.0006754', 'learning_rate': '0.0001698', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '66.62', 'tokens/total': 5570560, 'tokens/trainable': 2909441, 'epoch': '0.9774'}
 33%|████████████████████████████████████████▍ | 340/1041 [42:54<1:28:22, 7.56s/it] 33%|████████████████████████████████████████▌ | 341/1041 [43:02<1:28:15, 7.56s/it] 33%|████████████████████████████████████████▋ | 342/1041 [43:09<1:28:08, 7.57s/it] 33%|████████████████████████████████████████▊ | 343/1041 [43:17<1:28:02, 7.57s/it] 33%|████████████████████████████████████████▉ | 344/1041 [43:25<1:27:53, 7.57s/it] 33%|█████████████████████████████████████████ | 345/1041 [43:32<1:27:45, 7.57s/it] 33%|█████████████████████████████████████████▏ | 346/1041 [43:40<1:27:37, 7.56s/it] 33%|█████████████████████████████████████████▎ | 347/1041 [43:47<1:27:29, 7.56s/it] 33%|█████████████████████████████████████████▍ | 348/1041 [43:54<1:24:17, 7.30s/it] 34%|█████████████████████████████████████████▌ | 349/1041 [44:03<1:29:59, 7.80s/it] 34%|█████████████████████████████████████████▋ | 350/1041 [44:11<1:29:03, 7.73s/it] {'loss': '0.0003492', 'grad_norm': '0.0004158', 'learning_rate': '0.0001674', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.13', 'tokens/total': 5732352, 'tokens/trainable': 2993754, 'epoch': '1.006'}
 34%|█████████████████████████████████████████▋ | 350/1041 [44:11<1:29:03, 7.73s/it] 34%|█████████████████████████████████████████▊ | 351/1041 [44:18<1:28:22, 7.69s/it] 34%|█████████████████████████████████████████▉ | 352/1041 [44:26<1:27:51, 7.65s/it] 34%|██████████████████████████████████████████ | 353/1041 [44:33<1:27:27, 7.63s/it] 34%|██████████████████████████████████████████▏ | 354/1041 [44:41<1:27:07, 7.61s/it] 34%|██████████████████████████████████████████▎ | 355/1041 [44:48<1:26:50, 7.60s/it] 34%|██████████████████████████████████████████▍ | 356/1041 [44:56<1:26:37, 7.59s/it] 34%|██████████████████████████████████████████▌ | 357/1041 [45:04<1:26:27, 7.58s/it] 34%|██████████████████████████████████████████▋ | 358/1041 [45:11<1:26:17, 7.58s/it] 34%|██████████████████████████████████████████▊ | 359/1041 [45:19<1:26:06, 7.58s/it] 35%|██████████████████████████████████████████▉ | 360/1041 [45:26<1:25:58, 7.57s/it] {'loss': '0.0003497', 'grad_norm': '0.0009145', 'learning_rate': '0.0001649', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.05', 'tokens/total': 5896192, 'tokens/trainable': 3079326, 'epoch': '1.034'}
 35%|██████████████████████████████████████████▉ | 360/1041 [45:26<1:25:58, 7.57s/it] 35%|███████████████████████████████████████████ | 361/1041 [45:34<1:25:50, 7.57s/it] 35%|███████████████████████████████████████████ | 362/1041 [45:41<1:25:41, 7.57s/it] 35%|███████████████████████████████████████████▏ | 363/1041 [45:49<1:25:32, 7.57s/it] 35%|███████████████████████████████████████████▎ | 364/1041 [45:57<1:25:25, 7.57s/it] 35%|███████████████████████████████████████████▍ | 365/1041 [46:04<1:25:18, 7.57s/it] 35%|███████████████████████████████████████████▌ | 366/1041 [46:12<1:25:11, 7.57s/it] 35%|███████████████████████████████████████████▋ | 367/1041 [46:19<1:25:03, 7.57s/it] 35%|███████████████████████████████████████████▊ | 368/1041 [46:27<1:24:55, 7.57s/it] 35%|███████████████████████████████████████████▉ | 369/1041 [46:34<1:24:46, 7.57s/it] 36%|████████████████████████████████████████████ | 370/1041 [46:42<1:24:38, 7.57s/it] {'loss': '0.0003982', 'grad_norm': '0.0009921', 'learning_rate': '0.0001623', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.36', 'tokens/total': 6060032, 'tokens/trainable': 3165225, 'epoch': '1.063'}
 36%|████████████████████████████████████████████ | 370/1041 [46:42<1:24:38, 7.57s/it] 36%|████████████████████████████████████████████▏ | 371/1041 [46:50<1:24:31, 7.57s/it] 36%|████████████████████████████████████████████▎ | 372/1041 [46:57<1:24:23, 7.57s/it] 36%|████████████████████████████████████████████▍ | 373/1041 [47:05<1:24:16, 7.57s/it] 36%|████████████████████████████████████████████▌ | 374/1041 [47:12<1:24:10, 7.57s/it] 36%|████████████████████████████████████████████▋ | 375/1041 [47:20<1:24:02, 7.57s/it] 36%|████████████████████████████████████████████▊ | 376/1041 [47:27<1:23:54, 7.57s/it] 36%|████████████████████████████████████████████▉ | 377/1041 [47:35<1:23:47, 7.57s/it] 36%|█████████████████████████████████████████████ | 378/1041 [47:43<1:23:39, 7.57s/it] 36%|█████████████████████████████████████████████▏ | 379/1041 [47:50<1:23:32, 7.57s/it] 37%|█████████████████████████████████████████████▎ | 380/1041 [47:58<1:23:25, 7.57s/it] {'loss': '0.0002866', 'grad_norm': '0.0001092', 'learning_rate': '0.0001597', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.58', 'tokens/total': 6223872, 'tokens/trainable': 3250335, 'epoch': '1.092'}
 37%|█████████████████████████████████████████████▎ | 380/1041 [47:58<1:23:25, 7.57s/it] 37%|█████████████████████████████████████████████▍ | 381/1041 [48:05<1:23:17, 7.57s/it] 37%|█████████████████████████████████████████████▌ | 382/1041 [48:13<1:23:09, 7.57s/it] 37%|█████████████████████████████████████████████▌ | 383/1041 [48:20<1:23:01, 7.57s/it] 37%|█████████████████████████████████████████████▋ | 384/1041 [48:28<1:22:53, 7.57s/it] 37%|█████████████████████████████████████████████▊ | 385/1041 [48:35<1:22:45, 7.57s/it] 37%|█████████████████████████████████████████████▉ | 386/1041 [48:43<1:22:38, 7.57s/it] 37%|██████████████████████████████████████████████ | 387/1041 [48:51<1:22:30, 7.57s/it] 37%|██████████████████████████████████████████████▏ | 388/1041 [48:58<1:22:22, 7.57s/it] 37%|██████████████████████████████████████████████▎ | 389/1041 [49:06<1:22:15, 7.57s/it] 37%|██████████████████████████████████████████████▍ | 390/1041 [49:13<1:22:08, 7.57s/it] {'loss': '0.0003087', 'grad_norm': '0.0006348', 'learning_rate': '0.000157', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.34', 'tokens/total': 6387712, 'tokens/trainable': 3335980, 'epoch': '1.121'}
 37%|██████████████████████████████████████████████▍ | 390/1041 [49:13<1:22:08, 7.57s/it] 38%|██████████████████████████████████████████████▌ | 391/1041 [49:21<1:22:01, 7.57s/it] 38%|██████████████████████████████████████████████▋ | 392/1041 [49:28<1:21:53, 7.57s/it] 38%|██████████████████████████████████████████████▊ | 393/1041 [49:36<1:21:46, 7.57s/it] 38%|██████████████████████████████████████████████▉ | 394/1041 [49:44<1:21:38, 7.57s/it] 38%|███████████████████████████████████████████████ | 395/1041 [49:51<1:21:31, 7.57s/it] 38%|███████████████████████████████████████████████▏ | 396/1041 [49:59<1:21:24, 7.57s/it] 38%|███████████████████████████████████████████████▎ | 397/1041 [50:06<1:21:16, 7.57s/it] 38%|███████████████████████████████████████████████▍ | 398/1041 [50:14<1:21:07, 7.57s/it] 38%|███████████████████████████████████████████████▌ | 399/1041 [50:21<1:20:59, 7.57s/it] 38%|███████████████████████████████████████████████▋ | 400/1041 [50:29<1:20:53, 7.57s/it] {'loss': '0.0005004', 'grad_norm': '0.0002919', 'learning_rate': '0.0001542', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.43', 'tokens/total': 6551552, 'tokens/trainable': 3421472, 'epoch': '1.149'}
 38%|███████████████████████████████████████████████▋ | 400/1041 [50:29<1:20:53, 7.57s/it][2026-03-15 11:58:19,485] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-400
 39%|███████████████████████████████████████████████▊ | 401/1041 [50:38<1:24:56, 7.96s/it] 39%|███████████████████████████████████████████████▉ | 402/1041 [50:46<1:23:32, 7.84s/it] 39%|████████████████████████████████████████████████ | 403/1041 [50:53<1:22:33, 7.76s/it] 39%|████████████████████████████████████████████████ | 404/1041 [51:01<1:21:48, 7.71s/it] 39%|████████████████████████████████████████████████▏ | 405/1041 [51:08<1:21:14, 7.66s/it] 39%|████████████████████████████████████████████████▎ | 406/1041 [51:16<1:20:49, 7.64s/it] 39%|████████████████████████████████████████████████▍ | 407/1041 [51:23<1:20:29, 7.62s/it] 39%|████████████████████████████████████████████████▌ | 408/1041 [51:31<1:20:13, 7.60s/it] 39%|████████████████████████████████████████████████▋ | 409/1041 [51:39<1:19:59, 7.59s/it] 39%|████████████████████████████████████████████████▊ | 410/1041 [51:46<1:19:47, 7.59s/it] {'loss': '0.0005402', 'grad_norm': '0.0004029', 'learning_rate': '0.0001513', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.15', 'tokens/total': 6715392, 'tokens/trainable': 3507729, 'epoch': '1.178'}
 39%|████████████████████████████████████████████████▊ | 410/1041 [51:46<1:19:47, 7.59s/it] 39%|████████████████████████████████████████████████▉ | 411/1041 [51:54<1:19:38, 7.58s/it] 40%|█████████████████████████████████████████████████ | 412/1041 [52:01<1:19:28, 7.58s/it] 40%|█████████████████████████████████████████████████▏ | 413/1041 [52:09<1:19:19, 7.58s/it] 40%|█████████████████████████████████████████████████▎ | 414/1041 [52:16<1:19:12, 7.58s/it] 40%|█████████████████████████████████████████████████▍ | 415/1041 [52:24<1:19:03, 7.58s/it] 40%|█████████████████████████████████████████████████▌ | 416/1041 [52:32<1:18:54, 7.58s/it] 40%|█████████████████████████████████████████████████▋ | 417/1041 [52:39<1:18:47, 7.58s/it] 40%|█████████████████████████████████████████████████▊ | 418/1041 [52:47<1:18:38, 7.57s/it] 40%|█████████████████████████████████████████████████▉ | 419/1041 [52:54<1:18:31, 7.57s/it] 40%|██████████████████████████████████████████████████ | 420/1041 [53:02<1:18:24, 7.58s/it] {'loss': '0.0002827', 'grad_norm': '0.0004348', 'learning_rate': '0.0001485', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.18', 'tokens/total': 6879232, 'tokens/trainable': 3593234, 'epoch': '1.207'}
 40%|██████████████████████████████████████████████████ | 420/1041 [53:02<1:18:24, 7.58s/it] 40%|██████████████████████████████████████████████████▏ | 421/1041 [53:09<1:18:16, 7.57s/it] 41%|██████████████████████████████████████████████████▎ | 422/1041 [53:17<1:18:08, 7.57s/it] 41%|██████████████████████████████████████████████████▍ | 423/1041 [53:25<1:18:01, 7.57s/it] 41%|██████████████████████████████████████████████████▌ | 424/1041 [53:32<1:17:53, 7.57s/it] 41%|██████████████████████████████████████████████████▌ | 425/1041 [53:40<1:17:45, 7.57s/it] 41%|██████████████████████████████████████████████████▋ | 426/1041 [53:47<1:17:39, 7.58s/it] 41%|██████████████████████████████████████████████████▊ | 427/1041 [53:55<1:17:30, 7.57s/it] 41%|██████████████████████████████████████████████████▉ | 428/1041 [54:02<1:17:22, 7.57s/it] 41%|███████████████████████████████████████████████████ | 429/1041 [54:10<1:17:14, 7.57s/it] 41%|███████████████████████████████████████████████████▏ | 430/1041 [54:18<1:17:06, 7.57s/it] {'loss': '0.0003973', 'grad_norm': '0.001381', 'learning_rate': '0.0001455', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.05', 'tokens/total': 7043072, 'tokens/trainable': 3678918, 'epoch': '1.236'}
 41%|███████████████████████████████████████████████████▏ | 430/1041 [54:18<1:17:06, 7.57s/it] 41%|███████████████████████████████████████████████████▎ | 431/1041 [54:25<1:16:59, 7.57s/it] 41%|███████████████████████████████████████████████████▍ | 432/1041 [54:33<1:16:51, 7.57s/it] 42%|███████████████████████████████████████████████████▌ | 433/1041 [54:40<1:16:44, 7.57s/it] 42%|███████████████████████████████████████████████████▋ | 434/1041 [54:48<1:16:36, 7.57s/it] 42%|███████████████████████████████████████████████████▊ | 435/1041 [54:55<1:16:29, 7.57s/it] 42%|███████████████████████████████████████████████████▉ | 436/1041 [55:03<1:16:21, 7.57s/it] 42%|████████████████████████████████████████████████████ | 437/1041 [55:11<1:16:13, 7.57s/it] 42%|████████████████████████████████████████████████████▏ | 438/1041 [55:18<1:16:06, 7.57s/it] 42%|████████████████████████████████████████████████████▎ | 439/1041 [55:26<1:15:58, 7.57s/it] 42%|████████████████████████████████████████████████████▍ | 440/1041 [55:33<1:15:50, 7.57s/it] {'loss': '0.0005041', 'grad_norm': '0.0003649', 'learning_rate': '0.0001425', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '77.25', 'tokens/total': 7206912, 'tokens/trainable': 3764048, 'epoch': '1.264'}
 42%|████████████████████████████████████████████████████▍ | 440/1041 [55:33<1:15:50, 7.57s/it] 42%|████████████████████████████████████████████████████▌ | 441/1041 [55:41<1:15:42, 7.57s/it] 42%|████████████████████████████████████████████████████▋ | 442/1041 [55:48<1:15:34, 7.57s/it] 43%|████████████████████████████████████████████████████▊ | 443/1041 [55:56<1:15:26, 7.57s/it] 43%|████████████████████████████████████████████████████▉ | 444/1041 [56:04<1:15:19, 7.57s/it] 43%|█████████████████████████████████████████████████████ | 445/1041 [56:11<1:15:12, 7.57s/it] 43%|█████████████████████████████████████████████████████▏ | 446/1041 [56:19<1:15:04, 7.57s/it] 43%|█████████████████████████████████████████████████████▏ | 447/1041 [56:26<1:14:56, 7.57s/it] 43%|█████████████████████████████████████████████████████▎ | 448/1041 [56:34<1:14:48, 7.57s/it] 43%|█████████████████████████████████████████████████████▍ | 449/1041 [56:41<1:14:42, 7.57s/it] 43%|█████████████████████████████████████████████████████▌ | 450/1041 [56:49<1:14:35, 7.57s/it] {'loss': '0.0004432', 'grad_norm': '0.003123', 'learning_rate': '0.0001395', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.96', 'tokens/total': 7370752, 'tokens/trainable': 3849785, 'epoch': '1.293'}
 43%|█████████████████████████████████████████████████████▌ | 450/1041 [56:49<1:14:35, 7.57s/it] 43%|█████████████████████████████████████████████████████▋ | 451/1041 [56:57<1:14:27, 7.57s/it] 43%|█████████████████████████████████████████████████████▊ | 452/1041 [57:04<1:14:19, 7.57s/it] 44%|█████████████████████████████████████████████████████▉ | 453/1041 [57:12<1:14:13, 7.57s/it] 44%|██████████████████████████████████████████████████████ | 454/1041 [57:19<1:14:05, 7.57s/it] 44%|██████████████████████████████████████████████████████▏ | 455/1041 [57:27<1:13:57, 7.57s/it] 44%|██████████████████████████████████████████████████████▎ | 456/1041 [57:34<1:13:51, 7.57s/it] 44%|██████████████████████████████████████████████████████▍ | 457/1041 [57:42<1:13:43, 7.57s/it] 44%|██████████████████████████████████████████████████████▌ | 458/1041 [57:50<1:13:35, 7.57s/it] 44%|██████████████████████████████████████████████████████▋ | 459/1041 [57:57<1:13:27, 7.57s/it] 44%|██████████████████████████████████████████████████████▊ | 460/1041 [58:05<1:13:19, 7.57s/it] {'loss': '0.0002638', 'grad_norm': '4.866e-05', 'learning_rate': '0.0001364', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.58', 'tokens/total': 7534592, 'tokens/trainable': 3935505, 'epoch': '1.322'}
 44%|██████████████████████████████████████████████████████▊ | 460/1041 [58:05<1:13:19, 7.57s/it] 44%|██████████████████████████████████████████████████████▉ | 461/1041 [58:12<1:13:12, 7.57s/it] 44%|███████████████████████████████████████████████████████ | 462/1041 [58:20<1:13:05, 7.57s/it] 44%|███████████████████████████████████████████████████████▏ | 463/1041 [58:27<1:12:57, 7.57s/it] 45%|███████████████████████████████████████████████████████▎ | 464/1041 [58:35<1:12:49, 7.57s/it] 45%|███████████████████████████████████████████████████████▍ | 465/1041 [58:43<1:12:41, 7.57s/it] 45%|███████████████████████████████████████████████████████▌ | 466/1041 [58:50<1:12:34, 7.57s/it] 45%|███████████████████████████████████████████████████████▋ | 467/1041 [58:58<1:12:26, 7.57s/it] 45%|███████████████████████████████████████████████████████▋ | 468/1041 [59:05<1:12:18, 7.57s/it] 45%|███████████████████████████████████████████████████████▊ | 469/1041 [59:13<1:12:11, 7.57s/it] 45%|███████████████████████████████████████████████████████▉ | 470/1041 [59:20<1:12:03, 7.57s/it] {'loss': '0.0005866', 'grad_norm': '0.0009338', 'learning_rate': '0.0001332', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.05', 'tokens/total': 7698432, 'tokens/trainable': 4021224, 'epoch': '1.351'}
 45%|███████████████████████████████████████████████████████▉ | 470/1041 [59:20<1:12:03, 7.57s/it] 45%|████████████████████████████████████████████████████████ | 471/1041 [59:28<1:11:56, 7.57s/it] 45%|████████████████████████████████████████████████████████▏ | 472/1041 [59:36<1:11:48, 7.57s/it] 45%|████████████████████████████████████████████████████████▎ | 473/1041 [59:43<1:11:41, 7.57s/it] 46%|████████████████████████████████████████████████████████▍ | 474/1041 [59:51<1:11:34, 7.57s/it] 46%|████████████████████████████████████████████████████████▌ | 475/1041 [59:58<1:11:26, 7.57s/it] 46%|███████████████████████████████████████████████████████▊ | 476/1041 [1:00:06<1:11:18, 7.57s/it] 46%|███████████████████████████████████████████████████████▉ | 477/1041 [1:00:13<1:11:11, 7.57s/it] 46%|████████████████████████████████████████████████████████ | 478/1041 [1:00:21<1:11:03, 7.57s/it] 46%|████████████████████████████████████████████████████████▏ | 479/1041 [1:00:29<1:10:56, 7.57s/it] 46%|████████████████████████████████████████████████████████▎ | 480/1041 [1:00:36<1:10:48, 7.57s/it] {'loss': '0.0002864', 'grad_norm': '0.0003161', 'learning_rate': '0.0001301', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.97', 'tokens/total': 7862272, 'tokens/trainable': 4106837, 'epoch': '1.379'}
 46%|████████████████████████████████████████████████████████▎ | 480/1041 [1:00:36<1:10:48, 7.57s/it] 46%|████████████████████████████████████████████████████████▎ | 481/1041 [1:00:44<1:10:40, 7.57s/it] 46%|████████████████████████████████████████████████████████▍ | 482/1041 [1:00:51<1:10:32, 7.57s/it] 46%|████████████████████████████████████████████████████████▌ | 483/1041 [1:00:59<1:10:25, 7.57s/it] 46%|████████████████████████████████████████████████████████▋ | 484/1041 [1:01:06<1:10:17, 7.57s/it] 47%|████████████████████████████████████████████████████████▊ | 485/1041 [1:01:14<1:10:10, 7.57s/it] 47%|████████████████████████████████████████████████████████▉ | 486/1041 [1:01:22<1:10:03, 7.57s/it] 47%|█████████████████████████████████████████████████████████ | 487/1041 [1:01:29<1:09:55, 7.57s/it] 47%|█████████████████████████████████████████████████████████▏ | 488/1041 [1:01:37<1:09:47, 7.57s/it] 47%|█████████████████████████████████████████████████████████▎ | 489/1041 [1:01:44<1:09:39, 7.57s/it] 47%|█████████████████████████████████████████████████████████▍ | 490/1041 [1:01:52<1:09:31, 7.57s/it] {'loss': '0.0002652', 'grad_norm': '0.0005853', 'learning_rate': '0.0001269', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '63.51', 'tokens/total': 8026112, 'tokens/trainable': 4192596, 'epoch': '1.408'}
 47%|█████████████████████████████████████████████████████████▍ | 490/1041 [1:01:52<1:09:31, 7.57s/it] 47%|█████████████████████████████████████████████████████████▌ | 491/1041 [1:01:59<1:09:23, 7.57s/it] 47%|█████████████████████████████████████████████████████████▋ | 492/1041 [1:02:07<1:09:16, 7.57s/it] 47%|█████████████████████████████████████████████████████████▊ | 493/1041 [1:02:15<1:09:10, 7.57s/it] 47%|█████████████████████████████████████████████████████████▉ | 494/1041 [1:02:22<1:09:02, 7.57s/it] 48%|██████████████████████████████████████████████████████████ | 495/1041 [1:02:30<1:08:54, 7.57s/it] 48%|██████████████████████████████████████████████████████████▏ | 496/1041 [1:02:37<1:08:47, 7.57s/it] 48%|██████████████████████████████████████████████████████████▏ | 497/1041 [1:02:45<1:08:39, 7.57s/it] 48%|██████████████████████████████████████████████████████████▎ | 498/1041 [1:02:52<1:08:32, 7.57s/it] 48%|██████████████████████████████████████████████████████████▍ | 499/1041 [1:03:00<1:08:24, 7.57s/it] 48%|██████████████████████████████████████████████████████████▌ | 500/1041 [1:03:08<1:08:16, 7.57s/it] {'loss': '0.0002229', 'grad_norm': '0.0005308', 'learning_rate': '0.0001236', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.84', 'tokens/total': 8189952, 'tokens/trainable': 4278197, 'epoch': '1.437'}
 48%|██████████████████████████████████████████████████████████▌ | 500/1041 [1:03:08<1:08:16, 7.57s/it] 48%|██████████████████████████████████████████████████████████▋ | 501/1041 [1:03:15<1:08:08, 7.57s/it] 48%|██████████████████████████████████████████████████████████▊ | 502/1041 [1:03:23<1:08:01, 7.57s/it] 48%|██████████████████████████████████████████████████████████▉ | 503/1041 [1:03:30<1:07:53, 7.57s/it] 48%|███████████████████████████████████████████████████████████ | 504/1041 [1:03:38<1:07:45, 7.57s/it] 49%|███████████████████████████████████████████████████████████▏ | 505/1041 [1:03:45<1:07:38, 7.57s/it] 49%|███████████████████████████████████████████████████████████▎ | 506/1041 [1:03:53<1:07:30, 7.57s/it] 49%|███████████████████████████████████████████████████████████▍ | 507/1041 [1:04:01<1:07:23, 7.57s/it] 49%|███████████████████████████████████████████████████████████▌ | 508/1041 [1:04:08<1:07:15, 7.57s/it] 49%|███████████████████████████████████████████████████████████▋ | 509/1041 [1:04:16<1:07:07, 7.57s/it] 49%|███████████████████████████████████████████████████████████▊ | 510/1041 [1:04:23<1:07:00, 7.57s/it] {'loss': '0.0007285', 'grad_norm': '0.0003704', 'learning_rate': '0.0001204', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.92', 'tokens/total': 8353792, 'tokens/trainable': 4363274, 'epoch': '1.466'}
 49%|███████████████████████████████████████████████████████████▊ | 510/1041 [1:04:23<1:07:00, 7.57s/it] 49%|███████████████████████████████████████████████████████████▉ | 511/1041 [1:04:31<1:06:52, 7.57s/it] 49%|████████████████████████████████████████████████████████████ | 512/1041 [1:04:38<1:06:44, 7.57s/it] 49%|████████████████████████████████████████████████████████████ | 513/1041 [1:04:46<1:06:36, 7.57s/it] 49%|████████████████████████████████████████████████████████████▏ | 514/1041 [1:04:54<1:06:30, 7.57s/it] 49%|████████████████████████████████████████████████████████████▎ | 515/1041 [1:05:01<1:06:22, 7.57s/it] 50%|████████████████████████████████████████████████████████████▍ | 516/1041 [1:05:09<1:06:15, 7.57s/it] 50%|████████████████████████████████████████████████████████████▌ | 517/1041 [1:05:16<1:06:09, 7.58s/it] 50%|████████████████████████████████████████████████████████████▋ | 518/1041 [1:05:24<1:06:09, 7.59s/it] 50%|████████████████████████████████████████████████████████████▊ | 519/1041 [1:05:32<1:05:58, 7.58s/it] 50%|████████████████████████████████████████████████████████████▉ | 520/1041 [1:05:39<1:05:48, 7.58s/it] {'loss': '0.0003214', 'grad_norm': '0.0003634', 'learning_rate': '0.0001171', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.81', 'tokens/total': 8517632, 'tokens/trainable': 4448964, 'epoch': '1.494'}
 50%|████████████████████████████████████████████████████████████▉ | 520/1041 [1:05:39<1:05:48, 7.58s/it] 50%|█████████████████████████████████████████████████████████████ | 521/1041 [1:05:47<1:05:39, 7.58s/it] 50%|█████████████████████████████████████████████████████████████▏ | 522/1041 [1:05:54<1:05:31, 7.58s/it] 50%|█████████████████████████████████████████████████████████████▎ | 523/1041 [1:06:02<1:05:23, 7.57s/it] 50%|█████████████████████████████████████████████████████████████▍ | 524/1041 [1:06:09<1:05:15, 7.57s/it] 50%|█████████████████████████████████████████████████████████████▌ | 525/1041 [1:06:17<1:05:07, 7.57s/it] 51%|█████████████████████████████████████████████████████████████▋ | 526/1041 [1:06:25<1:05:00, 7.57s/it] 51%|█████████████████████████████████████████████████████████████▊ | 527/1041 [1:06:32<1:04:52, 7.57s/it] 51%|█████████████████████████████████████████████████████████████▉ | 528/1041 [1:06:40<1:04:45, 7.57s/it] 51%|█████████████████████████████████████████████████████████████▉ | 529/1041 [1:06:47<1:04:37, 7.57s/it] 51%|██████████████████████████████████████████████████████████████ | 530/1041 [1:06:55<1:04:29, 7.57s/it] {'loss': '0.0003308', 'grad_norm': '0.0006567', 'learning_rate': '0.0001138', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.32', 'tokens/total': 8681472, 'tokens/trainable': 4535170, 'epoch': '1.523'}
 51%|██████████████████████████████████████████████████████████████ | 530/1041 [1:06:55<1:04:29, 7.57s/it] 51%|██████████████████████████████████████████████████████████████▏ | 531/1041 [1:07:02<1:04:21, 7.57s/it] 51%|██████████████████████████████████████████████████████████████▎ | 532/1041 [1:07:10<1:04:14, 7.57s/it] 51%|██████████████████████████████████████████████████████████████▍ | 533/1041 [1:07:18<1:04:06, 7.57s/it] 51%|██████████████████████████████████████████████████████████████▌ | 534/1041 [1:07:25<1:03:59, 7.57s/it] 51%|██████████████████████████████████████████████████████████████▋ | 535/1041 [1:07:33<1:03:52, 7.57s/it] 51%|██████████████████████████████████████████████████████████████▊ | 536/1041 [1:07:40<1:03:44, 7.57s/it] 52%|██████████████████████████████████████████████████████████████▉ | 537/1041 [1:07:48<1:03:37, 7.57s/it] 52%|███████████████████████████████████████████████████████████████ | 538/1041 [1:07:55<1:03:29, 7.57s/it] 52%|███████████████████████████████████████████████████████████████▏ | 539/1041 [1:08:03<1:03:22, 7.57s/it] 52%|███████████████████████████████████████████████████████████████▎ | 540/1041 [1:08:11<1:03:14, 7.57s/it] {'loss': '0.0002509', 'grad_norm': '0.0005559', 'learning_rate': '0.0001105', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '73.91', 'tokens/total': 8845312, 'tokens/trainable': 4621208, 'epoch': '1.552'}
 52%|███████████████████████████████████████████████████████████████▎ | 540/1041 [1:08:11<1:03:14, 7.57s/it] 52%|███████████████████████████████████████████████████████████████▍ | 541/1041 [1:08:18<1:03:07, 7.58s/it] 52%|███████████████████████████████████████████████████████████████▌ | 542/1041 [1:08:26<1:02:59, 7.57s/it] 52%|███████████████████████████████████████████████████████████████▋ | 543/1041 [1:08:33<1:02:51, 7.57s/it] 52%|███████████████████████████████████████████████████████████████▊ | 544/1041 [1:08:41<1:02:43, 7.57s/it] 52%|███████████████████████████████████████████████████████████████▊ | 545/1041 [1:08:48<1:02:35, 7.57s/it] 52%|███████████████████████████████████████████████████████████████▉ | 546/1041 [1:08:56<1:02:28, 7.57s/it] 53%|████████████████████████████████████████████████████████████████ | 547/1041 [1:09:04<1:02:20, 7.57s/it] 53%|████████████████████████████████████████████████████████████████▏ | 548/1041 [1:09:11<1:02:12, 7.57s/it] 53%|████████████████████████████████████████████████████████████████▎ | 549/1041 [1:09:19<1:02:04, 7.57s/it] 53%|████████████████████████████████████████████████████████████████▍ | 550/1041 [1:09:26<1:01:57, 7.57s/it] {'loss': '0.0001582', 'grad_norm': '1.476e-05', 'learning_rate': '0.0001072', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.75', 'tokens/total': 9009152, 'tokens/trainable': 4707007, 'epoch': '1.581'}
 53%|████████████████████████████████████████████████████████████████▍ | 550/1041 [1:09:26<1:01:57, 7.57s/it] 53%|████████████████████████████████████████████████████████████████▌ | 551/1041 [1:09:34<1:01:49, 7.57s/it] 53%|████████████████████████████████████████████████████████████████▋ | 552/1041 [1:09:42<1:02:19, 7.65s/it] 53%|████████████████████████████████████████████████████████████████▊ | 553/1041 [1:09:49<1:02:00, 7.62s/it] 53%|████████████████████████████████████████████████████████████████▉ | 554/1041 [1:09:57<1:01:44, 7.61s/it] 53%|█████████████████████████████████████████████████████████████████ | 555/1041 [1:10:04<1:01:32, 7.60s/it] 53%|█████████████████████████████████████████████████████████████████▏ | 556/1041 [1:10:12<1:01:21, 7.59s/it] 54%|█████████████████████████████████████████████████████████████████▎ | 557/1041 [1:10:20<1:01:11, 7.59s/it] 54%|█████████████████████████████████████████████████████████████████▍ | 558/1041 [1:10:27<1:01:01, 7.58s/it] 54%|█████████████████████████████████████████████████████████████████▌ | 559/1041 [1:10:35<1:00:52, 7.58s/it] 54%|█████████████████████████████████████████████████████████████████▋ | 560/1041 [1:10:42<1:00:43, 7.58s/it] {'loss': '0.0003003', 'grad_norm': '0.0005588', 'learning_rate': '0.0001038', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '64.72', 'tokens/total': 9172992, 'tokens/trainable': 4792350, 'epoch': '1.609'}
 54%|█████████████████████████████████████████████████████████████████▋ | 560/1041 [1:10:42<1:00:43, 7.58s/it] 54%|█████████████████████████████████████████████████████████████████▋ | 561/1041 [1:10:50<1:00:35, 7.57s/it] 54%|█████████████████████████████████████████████████████████████████▊ | 562/1041 [1:10:57<1:00:27, 7.57s/it] 54%|█████████████████████████████████████████████████████████████████▉ | 563/1041 [1:11:05<1:00:20, 7.57s/it] 54%|██████████████████████████████████████████████████████████████████ | 564/1041 [1:11:13<1:00:12, 7.57s/it] 54%|██████████████████████████████████████████████████████████████████▏ | 565/1041 [1:11:20<1:00:04, 7.57s/it] 54%|███████████████████████████████████████████████████████████████████▍ | 566/1041 [1:11:28<59:56, 7.57s/it] 54%|███████████████████████████████████████████████████████████████████▌ | 567/1041 [1:11:35<59:47, 7.57s/it] 55%|███████████████████████████████████████████████████████████████████▋ | 568/1041 [1:11:43<59:40, 7.57s/it] 55%|███████████████████████████████████████████████████████████████████▊ | 569/1041 [1:11:50<59:33, 7.57s/it] 55%|███████████████████████████████████████████████████████████████████▉ | 570/1041 [1:11:58<59:25, 7.57s/it] {'loss': '0.0002437', 'grad_norm': '0.0006929', 'learning_rate': '0.0001005', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '66.15', 'tokens/total': 9336832, 'tokens/trainable': 4877923, 'epoch': '1.638'}
 55%|███████████████████████████████████████████████████████████████████▉ | 570/1041 [1:11:58<59:25, 7.57s/it] 55%|████████████████████████████████████████████████████████████████████ | 571/1041 [1:12:06<59:17, 7.57s/it] 55%|████████████████████████████████████████████████████████████████████▏ | 572/1041 [1:12:13<59:11, 7.57s/it] 55%|████████████████████████████████████████████████████████████████████▎ | 573/1041 [1:12:21<59:03, 7.57s/it] 55%|████████████████████████████████████████████████████████████████████▎ | 574/1041 [1:12:28<58:56, 7.57s/it] 55%|████████████████████████████████████████████████████████████████████▍ | 575/1041 [1:12:36<58:48, 7.57s/it] 55%|████████████████████████████████████████████████████████████████████▌ | 576/1041 [1:12:43<58:40, 7.57s/it] 55%|████████████████████████████████████████████████████████████████████▋ | 577/1041 [1:12:51<58:32, 7.57s/it] 56%|████████████████████████████████████████████████████████████████████▊ | 578/1041 [1:12:59<58:24, 7.57s/it] 56%|████████████████████████████████████████████████████████████████████▉ | 579/1041 [1:13:06<58:16, 7.57s/it] 56%|█████████████████████████████████████████████████████████████████████ | 580/1041 [1:13:14<58:09, 7.57s/it] {'loss': '0.0003903', 'grad_norm': '0.0001101', 'learning_rate': '9.716e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '63.68', 'tokens/total': 9500672, 'tokens/trainable': 4963596, 'epoch': '1.667'}
 56%|█████████████████████████████████████████████████████████████████████ | 580/1041 [1:13:14<58:09, 7.57s/it] 56%|█████████████████████████████████████████████████████████████████████▏ | 581/1041 [1:13:21<58:02, 7.57s/it] 56%|█████████████████████████████████████████████████████████████████████▎ | 582/1041 [1:13:29<57:54, 7.57s/it] 56%|█████████████████████████████████████████████████████████████████████▍ | 583/1041 [1:13:36<57:47, 7.57s/it] 56%|█████████████████████████████████████████████████████████████████████▌ | 584/1041 [1:13:44<57:39, 7.57s/it] 56%|█████████████████████████████████████████████████████████████████████▋ | 585/1041 [1:13:52<57:32, 7.57s/it] 56%|█████████████████████████████████████████████████████████████████████▊ | 586/1041 [1:13:59<57:24, 7.57s/it] 56%|█████████████████████████████████████████████████████████████████████▉ | 587/1041 [1:14:07<57:17, 7.57s/it] 56%|██████████████████████████████████████████████████████████████████████ | 588/1041 [1:14:14<57:09, 7.57s/it] 57%|██████████████████████████████████████████████████████████████████████▏ | 589/1041 [1:14:22<57:02, 7.57s/it] 57%|██████████████████████████████████████████████████████████████████████▎ | 590/1041 [1:14:29<56:54, 7.57s/it] {'loss': '0.0004658', 'grad_norm': '0.0002604', 'learning_rate': '9.383e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '73.47', 'tokens/total': 9664512, 'tokens/trainable': 5049028, 'epoch': '1.696'}
 57%|██████████████████████████████████████████████████████████████████████▎ | 590/1041 [1:14:29<56:54, 7.57s/it] 57%|██████████████████████████████████████████████████████████████████████▍ | 591/1041 [1:14:37<56:46, 7.57s/it] 57%|██████████████████████████████████████████████████████████████████████▌ | 592/1041 [1:14:45<56:38, 7.57s/it] 57%|██████████████████████████████████████████████████████████████████████▋ | 593/1041 [1:14:52<56:31, 7.57s/it] 57%|██████████████████████████████████████████████████████████████████████▊ | 594/1041 [1:15:00<56:23, 7.57s/it] 57%|██████████████████████████████████████████████████████████████████████▊ | 595/1041 [1:15:07<56:16, 7.57s/it] 57%|██████████████████████████████████████████████████████████████████████▉ | 596/1041 [1:15:15<56:08, 7.57s/it] 57%|███████████████████████████████████████████████████████████████████████ | 597/1041 [1:15:22<56:01, 7.57s/it] 57%|███████████████████████████████████████████████████████████████████████▏ | 598/1041 [1:15:30<55:54, 7.57s/it] 58%|███████████████████████████████████████████████████████████████████████▎ | 599/1041 [1:15:38<55:47, 7.57s/it] 58%|███████████████████████████████████████████████████████████████████████▍ | 600/1041 [1:15:45<55:39, 7.57s/it] {'loss': '0.0003011', 'grad_norm': '0.0002846', 'learning_rate': '9.05e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.85', 'tokens/total': 9828352, 'tokens/trainable': 5134711, 'epoch': '1.724'}
 58%|███████████████████████████████████████████████████████████████████████▍ | 600/1041 [1:15:45<55:39, 7.57s/it][2026-03-15 12:23:35,523] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-600
 58%|███████████████████████████████████████████████████████████████████████▌ | 601/1041 [1:15:54<58:15, 7.94s/it] 58%|███████████████████████████████████████████████████████████████████████▋ | 602/1041 [1:16:01<57:17, 7.83s/it] 58%|███████████████████████████████████████████████████████████████████████▊ | 603/1041 [1:16:09<56:34, 7.75s/it] 58%|███████████████████████████████████████████████████████████████████████▉ | 604/1041 [1:16:17<56:03, 7.70s/it] 58%|████████████████████████████████████████████████████████████████████████ | 605/1041 [1:16:24<55:39, 7.66s/it] 58%|████████████████████████████████████████████████████████████████████████▏ | 606/1041 [1:16:32<55:20, 7.63s/it] 58%|████████████████████████████████████████████████████████████████████████▎ | 607/1041 [1:16:39<55:03, 7.61s/it] 58%|████████████████████████████████████████████████████████████████████████▍ | 608/1041 [1:16:47<54:50, 7.60s/it] 59%|████████████████████████████████████████████████████████████████████████▌ | 609/1041 [1:16:54<54:39, 7.59s/it] 59%|████████████████████████████████████████████████████████████████████████▋ | 610/1041 [1:17:02<54:29, 7.58s/it] {'loss': '0.000176', 'grad_norm': '0.0009215', 'learning_rate': '8.718e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.35', 'tokens/total': 9992192, 'tokens/trainable': 5220199, 'epoch': '1.753'}
 59%|████████████████████████████████████████████████████████████████████████▋ | 610/1041 [1:17:02<54:29, 7.58s/it] 59%|████████████████████████████████████████████████████████████████████████▊ | 611/1041 [1:17:10<54:19, 7.58s/it] 59%|████████████████████████████████████████████████████████████████████████▉ | 612/1041 [1:17:17<54:11, 7.58s/it] 59%|█████████████████████████████████████████████████████████████████████████ | 613/1041 [1:17:25<54:02, 7.58s/it] 59%|█████████████████████████████████████████████████████████████████████████▏ | 614/1041 [1:17:32<53:54, 7.57s/it] 59%|█████████████████████████████████████████████████████████████████████████▎ | 615/1041 [1:17:40<53:45, 7.57s/it] 59%|█████████████████████████████████████████████████████████████████████████▍ | 616/1041 [1:17:47<53:37, 7.57s/it] 59%|█████████████████████████████████████████████████████████████████████████▍ | 617/1041 [1:17:55<53:29, 7.57s/it] 59%|█████████████████████████████████████████████████████████████████████████▌ | 618/1041 [1:18:03<53:21, 7.57s/it] 59%|█████████████████████████████████████████████████████████████████████████▋ | 619/1041 [1:18:10<53:13, 7.57s/it] 60%|█████████████████████████████████████████████████████████████████████████▊ | 620/1041 [1:18:18<53:05, 7.57s/it] {'loss': '0.0002097', 'grad_norm': '0.0005109', 'learning_rate': '8.388e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '76.13', 'tokens/total': 10156032, 'tokens/trainable': 5305938, 'epoch': '1.782'}
 60%|█████████████████████████████████████████████████████████████████████████▊ | 620/1041 [1:18:18<53:05, 7.57s/it] 60%|█████████████████████████████████████████████████████████████████████████▉ | 621/1041 [1:18:25<52:58, 7.57s/it] 60%|██████████████████████████████████████████████████████████████████████████ | 622/1041 [1:18:33<52:51, 7.57s/it] 60%|██████████████████████████████████████████████████████████████████████████▏ | 623/1041 [1:18:40<52:42, 7.57s/it] 60%|██████████████████████████████████████████████████████████████████████████▎ | 624/1041 [1:18:48<52:35, 7.57s/it] 60%|██████████████████████████████████████████████████████████████████████████▍ | 625/1041 [1:18:56<52:27, 7.57s/it] 60%|██████████████████████████████████████████████████████████████████████████▌ | 626/1041 [1:19:03<52:21, 7.57s/it] 60%|██████████████████████████████████████████████████████████████████████████▋ | 627/1041 [1:19:11<52:13, 7.57s/it] 60%|██████████████████████████████████████████████████████████████████████████▊ | 628/1041 [1:19:18<52:05, 7.57s/it] 60%|██████████████████████████████████████████████████████████████████████████▉ | 629/1041 [1:19:26<51:57, 7.57s/it] 61%|███████████████████████████████████████████████████████████████████████████ | 630/1041 [1:19:33<51:49, 7.57s/it] {'loss': '0.0002873', 'grad_norm': '0.000915', 'learning_rate': '8.059e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.81', 'tokens/total': 10319872, 'tokens/trainable': 5391783, 'epoch': '1.811'}
 61%|███████████████████████████████████████████████████████████████████████████ | 630/1041 [1:19:33<51:49, 7.57s/it] 61%|███████████████████████████████████████████████████████████████████████████▏ | 631/1041 [1:19:41<51:42, 7.57s/it] 61%|███████████████████████████████████████████████████████████████████████████▎ | 632/1041 [1:19:49<51:34, 7.57s/it] 61%|███████████████████████████████████████████████████████████████████████████▍ | 633/1041 [1:19:56<51:26, 7.57s/it] 61%|███████████████████████████████████████████████████████████████████████████▌ | 634/1041 [1:20:04<51:19, 7.57s/it] 61%|███████████████████████████████████████████████████████████████████████████▋ | 635/1041 [1:20:11<51:12, 7.57s/it] 61%|███████████████████████████████████████████████████████████████████████████▊ | 636/1041 [1:20:19<51:04, 7.57s/it] 61%|███████████████████████████████████████████████████████████████████████████▉ | 637/1041 [1:20:26<50:56, 7.57s/it] 61%|███████████████████████████████████████████████████████████████████████████▉ | 638/1041 [1:20:34<50:49, 7.57s/it] 61%|████████████████████████████████████████████████████████████████████████████ | 639/1041 [1:20:41<50:42, 7.57s/it] 61%|████████████████████████████████████████████████████████████████████████████▏ | 640/1041 [1:20:49<50:34, 7.57s/it] {'loss': '0.0001886', 'grad_norm': '0.0002459', 'learning_rate': '7.733e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.62', 'tokens/total': 10483712, 'tokens/trainable': 5477339, 'epoch': '1.839'}
 61%|████████████████████████████████████████████████████████████████████████████▏ | 640/1041 [1:20:49<50:34, 7.57s/it] 62%|████████████████████████████████████████████████████████████████████████████▎ | 641/1041 [1:20:57<50:27, 7.57s/it] 62%|████████████████████████████████████████████████████████████████████████████▍ | 642/1041 [1:21:04<50:19, 7.57s/it] 62%|████████████████████████████████████████████████████████████████████████████▌ | 643/1041 [1:21:12<50:12, 7.57s/it] 62%|████████████████████████████████████████████████████████████████████████████▋ | 644/1041 [1:21:19<50:04, 7.57s/it] 62%|████████████████████████████████████████████████████████████████████████████▊ | 645/1041 [1:21:27<49:56, 7.57s/it] 62%|████████████████████████████████████████████████████████████████████████████▉ | 646/1041 [1:21:34<49:49, 7.57s/it] 62%|█████████████████████████████████████████████████████████████████████████████ | 647/1041 [1:21:42<49:41, 7.57s/it] 62%|█████████████████████████████████████████████████████████████████████████████▏ | 648/1041 [1:21:50<49:34, 7.57s/it] 62%|█████████████████████████████████████████████████████████████████████████████▎ | 649/1041 [1:21:57<49:26, 7.57s/it] 62%|█████████████████████████████████████████████████████████████████████████████▍ | 650/1041 [1:22:05<49:18, 7.57s/it] {'loss': '0.0002129', 'grad_norm': '0.0002222', 'learning_rate': '7.409e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.06', 'tokens/total': 10647552, 'tokens/trainable': 5562816, 'epoch': '1.868'}
 62%|█████████████████████████████████████████████████████████████████████████████▍ | 650/1041 [1:22:05<49:18, 7.57s/it] 63%|█████████████████████████████████████████████████████████████████████████████▌ | 651/1041 [1:22:12<49:12, 7.57s/it] 63%|█████████████████████████████████████████████████████████████████████████████▋ | 652/1041 [1:22:20<49:03, 7.57s/it] 63%|█████████████████████████████████████████████████████████████████████████████▊ | 653/1041 [1:22:27<48:56, 7.57s/it] 63%|█████████████████████████████████████████████████████████████████████████████▉ | 654/1041 [1:22:35<48:48, 7.57s/it] 63%|██████████████████████████████████████████████████████████████████████████████ | 655/1041 [1:22:43<48:41, 7.57s/it] 63%|██████████████████████████████████████████████████████████████████████████████▏ | 656/1041 [1:22:50<48:33, 7.57s/it] 63%|██████████████████████████████████████████████████████████████████████████████▎ | 657/1041 [1:22:58<48:26, 7.57s/it] 63%|██████████████████████████████████████████████████████████████████████████████▍ | 658/1041 [1:23:05<48:18, 7.57s/it] 63%|██████████████████████████████████████████████████████████████████████████████▍ | 659/1041 [1:23:13<48:11, 7.57s/it] 63%|██████████████████████████████████████████████████████████████████████████████▌ | 660/1041 [1:23:20<48:03, 7.57s/it] {'loss': '0.0002984', 'grad_norm': '0.0002684', 'learning_rate': '7.088e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '76.26', 'tokens/total': 10811392, 'tokens/trainable': 5649046, 'epoch': '1.897'}
 63%|██████████████████████████████████████████████████████████████████████████████▌ | 660/1041 [1:23:20<48:03, 7.57s/it] 63%|██████████████████████████████████████████████████████████████████████████████▋ | 661/1041 [1:23:28<47:56, 7.57s/it] 64%|██████████████████████████████████████████████████████████████████████████████▊ | 662/1041 [1:23:36<47:48, 7.57s/it] 64%|██████████████████████████████████████████████████████████████████████████████▉ | 663/1041 [1:23:43<47:40, 7.57s/it] 64%|███████████████████████████████████████████████████████████████████████████████ | 664/1041 [1:23:51<47:33, 7.57s/it] 64%|███████████████████████████████████████████████████████████████████████████████▏ | 665/1041 [1:23:58<47:25, 7.57s/it] 64%|███████████████████████████████████████████████████████████████████████████████▎ | 666/1041 [1:24:06<47:17, 7.57s/it] 64%|███████████████████████████████████████████████████████████████████████████████▍ | 667/1041 [1:24:13<47:09, 7.57s/it] 64%|███████████████████████████████████████████████████████████████████████████████▌ | 668/1041 [1:24:21<47:02, 7.57s/it] 64%|███████████████████████████████████████████████████████████████████████████████▋ | 669/1041 [1:24:29<46:54, 7.57s/it] 64%|███████████████████████████████████████████████████████████████████████████████▊ | 670/1041 [1:24:36<46:47, 7.57s/it] {'loss': '0.0002732', 'grad_norm': '0.000372', 'learning_rate': '6.77e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '75.31', 'tokens/total': 10975232, 'tokens/trainable': 5734391, 'epoch': '1.926'}
 64%|███████████████████████████████████████████████████████████████████████████████▊ | 670/1041 [1:24:36<46:47, 7.57s/it] 64%|███████████████████████████████████████████████████████████████████████████████▉ | 671/1041 [1:24:44<46:40, 7.57s/it] 65%|████████████████████████████████████████████████████████████████████████████████ | 672/1041 [1:24:51<46:32, 7.57s/it] 65%|████████████████████████████████████████████████████████████████████████████████▏ | 673/1041 [1:24:59<46:25, 7.57s/it] 65%|████████████████████████████████████████████████████████████████████████████████▎ | 674/1041 [1:25:06<46:17, 7.57s/it] 65%|████████████████████████████████████████████████████████████████████████████████▍ | 675/1041 [1:25:14<46:10, 7.57s/it] 65%|████████████████████████████████████████████████████████████████████████████████▌ | 676/1041 [1:25:22<46:01, 7.57s/it] 65%|████████████████████████████████████████████████████████████████████████████████▋ | 677/1041 [1:25:29<45:54, 7.57s/it] 65%|████████████████████████████████████████████████████████████████████████████████▊ | 678/1041 [1:25:37<45:47, 7.57s/it] 65%|████████████████████████████████████████████████████████████████████████████████▉ | 679/1041 [1:25:44<45:39, 7.57s/it] 65%|████████████████████████████████████████████████████████████████████████████████▉ | 680/1041 [1:25:52<45:31, 7.57s/it] {'loss': '0.0002205', 'grad_norm': '1.385e-05', 'learning_rate': '6.456e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.57', 'tokens/total': 11139072, 'tokens/trainable': 5819228, 'epoch': '1.954'}
 65%|████████████████████████████████████████████████████████████████████████████████▉ | 680/1041 [1:25:52<45:31, 7.57s/it] 65%|█████████████████████████████████████████████████████████████████████████████████ | 681/1041 [1:25:59<45:23, 7.57s/it] 66%|█████████████████████████████████████████████████████████████████████████████████▏ | 682/1041 [1:26:07<45:16, 7.57s/it] 66%|█████████████████████████████████████████████████████████████████████████████████▎ | 683/1041 [1:26:14<45:08, 7.57s/it] 66%|█████████████████████████████████████████████████████████████████████████████████▍ | 684/1041 [1:26:22<45:01, 7.57s/it] 66%|█████████████████████████████████████████████████████████████████████████████████▌ | 685/1041 [1:26:30<44:53, 7.57s/it] 66%|█████████████████████████████████████████████████████████████████████████████████▋ | 686/1041 [1:26:37<44:45, 7.57s/it] 66%|█████████████████████████████████████████████████████████████████████████████████▊ | 687/1041 [1:26:45<44:37, 7.56s/it] 66%|█████████████████████████████████████████████████████████████████████████████████▉ | 688/1041 [1:26:52<44:30, 7.56s/it] 66%|██████████████████████████████████████████████████████████████████████████████████ | 689/1041 [1:27:00<44:22, 7.56s/it] 66%|██████████████████████████████████████████████████████████████████████████████████▏ | 690/1041 [1:27:07<44:15, 7.56s/it] {'loss': '0.0002998', 'grad_norm': '0.0001627', 'learning_rate': '6.146e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '78.38', 'tokens/total': 11302912, 'tokens/trainable': 5905088, 'epoch': '1.983'}
 66%|██████████████████████████████████████████████████████████████████████████████████▏ | 690/1041 [1:27:07<44:15, 7.56s/it] 66%|██████████████████████████████████████████████████████████████████████████████████▎ | 691/1041 [1:27:15<44:08, 7.57s/it] 66%|██████████████████████████████████████████████████████████████████████████████████▍ | 692/1041 [1:27:23<44:00, 7.57s/it] 67%|██████████████████████████████████████████████████████████████████████████████████▌ | 693/1041 [1:27:30<43:52, 7.57s/it] 67%|██████████████████████████████████████████████████████████████████████████████████▋ | 694/1041 [1:27:38<43:45, 7.57s/it] 67%|██████████████████████████████████████████████████████████████████████████████████▊ | 695/1041 [1:27:45<43:37, 7.56s/it] 67%|██████████████████████████████████████████████████████████████████████████████████▉ | 696/1041 [1:27:59<55:01, 9.57s/it] 67%|███████████████████████████████████████████████████████████████████████████████████ | 697/1041 [1:28:07<51:25, 8.97s/it] 67%|███████████████████████████████████████████████████████████████████████████████████▏ | 698/1041 [1:28:15<48:52, 8.55s/it] 67%|███████████████████████████████████████████████████████████████████████████████████▎ | 699/1041 [1:28:22<47:03, 8.26s/it] 67%|███████████████████████████████████████████████████████████████████████████████████▍ | 700/1041 [1:28:30<45:44, 8.05s/it] {'loss': '0.0002974', 'grad_norm': '0.0004955', 'learning_rate': '5.84e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.37', 'tokens/total': 11478016, 'tokens/trainable': 5996545, 'epoch': '2.014'}
 67%|███████████████████████████████████████████████████████████████████████████████████▍ | 700/1041 [1:28:30<45:44, 8.05s/it] 67%|███████████████████████████████████████████████████████████████████████████████████▌ | 701/1041 [1:28:37<44:47, 7.90s/it] 67%|███████████████████████████████████████████████████████████████████████████████████▌ | 702/1041 [1:28:45<44:05, 7.80s/it] 68%|███████████████████████████████████████████████████████████████████████████████████▋ | 703/1041 [1:28:52<43:33, 7.73s/it] 68%|███████████████████████████████████████████████████████████████████████████████████▊ | 704/1041 [1:29:00<43:09, 7.68s/it] 68%|███████████████████████████████████████████████████████████████████████████████████▉ | 705/1041 [1:29:08<42:50, 7.65s/it] 68%|████████████████████████████████████████████████████████████████████████████████████ | 706/1041 [1:29:15<42:35, 7.63s/it] 68%|████████████████████████████████████████████████████████████████████████████████████▏ | 707/1041 [1:29:23<42:22, 7.61s/it] 68%|████████████████████████████████████████████████████████████████████████████████████▎ | 708/1041 [1:29:30<42:11, 7.60s/it] 68%|████████████████████████████████████████████████████████████████████████████████████▍ | 709/1041 [1:29:38<42:00, 7.59s/it] 68%|████████████████████████████████████████████████████████████████████████████████████▌ | 710/1041 [1:29:45<41:50, 7.59s/it] {'loss': '0.0003995', 'grad_norm': '0.0003461', 'learning_rate': '5.539e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '75.56', 'tokens/total': 11641856, 'tokens/trainable': 6082846, 'epoch': '2.043'}
 68%|████████████████████████████████████████████████████████████████████████████████████▌ | 710/1041 [1:29:45<41:50, 7.59s/it] 68%|████████████████████████████████████████████████████████████████████████████████████▋ | 711/1041 [1:29:53<41:42, 7.58s/it] 68%|████████████████████████████████████████████████████████████████████████████████████▊ | 712/1041 [1:30:01<41:32, 7.58s/it] 68%|████████████████████████████████████████████████████████████████████████████████████▉ | 713/1041 [1:30:08<41:24, 7.58s/it] 69%|█████████████████████████████████████████████████████████████████████████████████████ | 714/1041 [1:30:16<41:17, 7.58s/it] 69%|█████████████████████████████████████████████████████████████████████████████████████▏ | 715/1041 [1:30:23<41:08, 7.57s/it] 69%|█████████████████████████████████████████████████████████████████████████████████████▎ | 716/1041 [1:30:31<41:01, 7.57s/it] 69%|█████████████████████████████████████████████████████████████████████████████████████▍ | 717/1041 [1:30:38<40:53, 7.57s/it] 69%|█████████████████████████████████████████████████████████████████████████████████████▌ | 718/1041 [1:30:46<40:46, 7.57s/it] 69%|█████████████████████████████████████████████████████████████████████████████████████▋ | 719/1041 [1:30:54<40:38, 7.57s/it] 69%|█████████████████████████████████████████████████████████████████████████████████████▊ | 720/1041 [1:31:01<40:30, 7.57s/it] {'loss': '0.0002963', 'grad_norm': '0.0003361', 'learning_rate': '5.243e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.89', 'tokens/total': 11805696, 'tokens/trainable': 6169007, 'epoch': '2.072'}
 69%|█████████████████████████████████████████████████████████████████████████████████████▊ | 720/1041 [1:31:01<40:30, 7.57s/it] 69%|█████████████████████████████████████████████████████████████████████████████████████▉ | 721/1041 [1:31:09<40:23, 7.57s/it] 69%|██████████████████████████████████████████████████████████████████████████████████████ | 722/1041 [1:31:16<40:16, 7.57s/it] 69%|██████████████████████████████████████████████████████████████████████████████████████ | 723/1041 [1:31:24<40:08, 7.58s/it] 70%|██████████████████████████████████████████████████████████████████████████████████████▏ | 724/1041 [1:31:32<40:01, 7.58s/it] 70%|██████████████████████████████████████████████████████████████████████████████████████▎ | 725/1041 [1:31:39<39:54, 7.58s/it] 70%|██████████████████████████████████████████████████████████████████████████████████████▍ | 726/1041 [1:31:47<39:46, 7.58s/it] 70%|██████████████████████████████████████████████████████████████████████████████████████▌ | 727/1041 [1:31:54<39:38, 7.57s/it] 70%|██████████████████████████████████████████████████████████████████████████████████████▋ | 728/1041 [1:32:02<39:30, 7.57s/it] 70%|██████████████████████████████████████████████████████████████████████████████████████▊ | 729/1041 [1:32:09<39:22, 7.57s/it] 70%|██████████████████████████████████████████████████████████████████████████████████████▉ | 730/1041 [1:32:17<39:16, 7.58s/it] {'loss': '0.0003063', 'grad_norm': '0.0003124', 'learning_rate': '4.952e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.48', 'tokens/total': 11969536, 'tokens/trainable': 6254278, 'epoch': '2.101'}
 70%|██████████████████████████████████████████████████████████████████████████████████████▉ | 730/1041 [1:32:17<39:16, 7.58s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████ | 731/1041 [1:32:25<39:08, 7.57s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████▏ | 732/1041 [1:32:32<39:00, 7.57s/it] 70%|███████████████████████████████████████████████████████████████████████████████████████▎ | 733/1041 [1:32:40<38:52, 7.57s/it] 71%|███████████████████████████████████████████████████████████████████████████████████████▍ | 734/1041 [1:32:47<38:45, 7.57s/it] 71%|███████████████████████████████████████████████████████████████████████████████████████▌ | 735/1041 [1:32:55<38:37, 7.57s/it] 71%|███████████████████████████████████████████████████████████████████████████████████████▋ | 736/1041 [1:33:02<38:29, 7.57s/it] 71%|███████████████████████████████████████████████████████████████████████████████████████▊ | 737/1041 [1:33:10<38:21, 7.57s/it] 71%|███████████████████████████████████████████████████████████████████████████████████████▉ | 738/1041 [1:33:18<38:14, 7.57s/it] 71%|████████████████████████████████████████████████████████████████████████████████████████ | 739/1041 [1:33:25<38:06, 7.57s/it] 71%|████████████████████████████████████████████████████████████████████████████████████████▏ | 740/1041 [1:33:33<37:59, 7.57s/it] {'loss': '0.0003031', 'grad_norm': '0.0004244', 'learning_rate': '4.667e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.58', 'tokens/total': 12133376, 'tokens/trainable': 6339984, 'epoch': '2.129'}
 71%|████████████████████████████████████████████████████████████████████████████████████████▏ | 740/1041 [1:33:33<37:59, 7.57s/it] 71%|████████████████████████████████████████████████████████████████████████████████████████▎ | 741/1041 [1:33:40<37:52, 7.57s/it] 71%|████████████████████████████████████████████████████████████████████████████████████████▍ | 742/1041 [1:33:48<37:44, 7.57s/it] 71%|████████████████████████████████████████████████████████████████████████████████████████▌ | 743/1041 [1:33:55<37:36, 7.57s/it] 71%|████████████████████████████████████████████████████████████████████████████████████████▌ | 744/1041 [1:34:03<37:28, 7.57s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████▋ | 745/1041 [1:34:11<37:21, 7.57s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████▊ | 746/1041 [1:34:18<37:13, 7.57s/it] 72%|████████████████████████████████████████████████████████████████████████████████████████▉ | 747/1041 [1:34:26<37:06, 7.57s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████ | 748/1041 [1:34:33<36:59, 7.57s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████▏ | 749/1041 [1:34:41<36:51, 7.57s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 750/1041 [1:34:48<36:43, 7.57s/it] {'loss': '0.0001293', 'grad_norm': '1.241e-05', 'learning_rate': '4.387e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '65.08', 'tokens/total': 12297216, 'tokens/trainable': 6425314, 'epoch': '2.158'}
 72%|█████████████████████████████████████████████████████████████████████████████████████████▎ | 750/1041 [1:34:48<36:43, 7.57s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████▍ | 751/1041 [1:34:56<36:36, 7.57s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████▌ | 752/1041 [1:35:04<36:29, 7.57s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████▋ | 753/1041 [1:35:11<36:21, 7.58s/it] 72%|█████████████████████████████████████████████████████████████████████████████████████████▊ | 754/1041 [1:35:19<36:14, 7.58s/it] 73%|█████████████████████████████████████████████████████████████████████████████████████████▉ | 755/1041 [1:35:26<36:06, 7.57s/it] 73%|██████████████████████████████████████████████████████████████████████████████████████████ | 756/1041 [1:35:34<35:58, 7.57s/it] 73%|██████████████████████████████████████████████████████████████████████████████████████████▏ | 757/1041 [1:35:41<35:51, 7.57s/it] 73%|██████████████████████████████████████████████████████████████████████████████████████████▎ | 758/1041 [1:35:49<35:43, 7.58s/it] 73%|██████████████████████████████████████████████████████████████████████████████████████████▍ | 759/1041 [1:35:57<35:36, 7.58s/it] 73%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 760/1041 [1:36:04<35:28, 7.58s/it] {'loss': '0.000241', 'grad_norm': '0.0002966', 'learning_rate': '4.114e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.22', 'tokens/total': 12461056, 'tokens/trainable': 6510816, 'epoch': '2.187'}
 73%|██████████████████████████████████████████████████████████████████████████████████████████▌ | 760/1041 [1:36:04<35:28, 7.58s/it] 73%|██████████████████████████████████████████████████████████████████████████████████████████▋ | 761/1041 [1:36:12<35:21, 7.58s/it] 73%|██████████████████████████████████████████████████████████████████████████████████████████▊ | 762/1041 [1:36:19<35:15, 7.58s/it] 73%|██████████████████████████████████████████████████████████████████████████████████████████▉ | 763/1041 [1:36:27<35:06, 7.58s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████ | 764/1041 [1:36:34<34:58, 7.58s/it] 73%|███████████████████████████████████████████████████████████████████████████████████████████ | 765/1041 [1:36:42<34:50, 7.58s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████▏ | 766/1041 [1:36:50<34:43, 7.58s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████▎ | 767/1041 [1:36:57<34:35, 7.58s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████▍ | 768/1041 [1:37:05<34:28, 7.58s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████▌ | 769/1041 [1:37:12<34:21, 7.58s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 770/1041 [1:37:20<34:13, 7.58s/it] {'loss': '0.0001448', 'grad_norm': '0.0002363', 'learning_rate': '3.847e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '75.89', 'tokens/total': 12624896, 'tokens/trainable': 6596600, 'epoch': '2.216'}
 74%|███████████████████████████████████████████████████████████████████████████████████████████▋ | 770/1041 [1:37:20<34:13, 7.58s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████▊ | 771/1041 [1:37:28<34:05, 7.58s/it] 74%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 772/1041 [1:37:35<33:57, 7.58s/it] 74%|████████████████████████████████████████████████████████████████████████████████████████████ | 773/1041 [1:37:43<33:49, 7.57s/it] 74%|████████████████████████████████████████████████████████████████████████████████████████████▏ | 774/1041 [1:37:50<33:42, 7.57s/it] 74%|████████████████████████████████████████████████████████████████████████████████████████████▎ | 775/1041 [1:37:58<33:34, 7.57s/it] 75%|████████████████████████████████████████████████████████████████████████████████████████████▍ | 776/1041 [1:38:05<33:27, 7.58s/it] 75%|████████████████████████████████████████████████████████████████████████████████████████████▌ | 777/1041 [1:38:13<33:19, 7.57s/it] 75%|████████████████████████████████████████████████████████████████████████████████████████████▋ | 778/1041 [1:38:21<33:11, 7.57s/it] 75%|████████████████████████████████████████████████████████████████████████████████████████████▊ | 779/1041 [1:38:28<33:03, 7.57s/it] 75%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 780/1041 [1:38:36<32:56, 7.57s/it] {'loss': '0.0002388', 'grad_norm': '0.0003023', 'learning_rate': '3.588e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.01', 'tokens/total': 12788736, 'tokens/trainable': 6681873, 'epoch': '2.244'}
 75%|████████████████████████████████████████████████████████████████████████████████████████████▉ | 780/1041 [1:38:36<32:56, 7.57s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████ | 781/1041 [1:38:43<32:49, 7.57s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████▏ | 782/1041 [1:38:51<32:41, 7.57s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████▎ | 783/1041 [1:38:58<32:33, 7.57s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████▍ | 784/1041 [1:39:06<32:26, 7.57s/it] 75%|█████████████████████████████████████████████████████████████████████████████████████████████▌ | 785/1041 [1:39:14<32:18, 7.57s/it] 76%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 786/1041 [1:39:21<32:11, 7.57s/it] 76%|█████████████████████████████████████████████████████████████████████████████████████████████▋ | 787/1041 [1:39:29<32:03, 7.57s/it] 76%|█████████████████████████████████████████████████████████████████████████████████████████████▊ | 788/1041 [1:39:36<31:55, 7.57s/it] 76%|█████████████████████████████████████████████████████████████████████████████████████████████▉ | 789/1041 [1:39:44<31:48, 7.57s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████ | 790/1041 [1:39:51<31:41, 7.57s/it] {'loss': '0.0001819', 'grad_norm': '0.0001801', 'learning_rate': '3.335e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.58', 'tokens/total': 12952576, 'tokens/trainable': 6767650, 'epoch': '2.273'}
 76%|██████████████████████████████████████████████████████████████████████████████████████████████ | 790/1041 [1:39:51<31:41, 7.57s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████▏ | 791/1041 [1:39:59<31:33, 7.58s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████▎ | 792/1041 [1:40:07<31:26, 7.57s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████▍ | 793/1041 [1:40:14<31:18, 7.58s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 794/1041 [1:40:22<31:10, 7.57s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████▋ | 795/1041 [1:40:29<31:02, 7.57s/it] 76%|██████████████████████████████████████████████████████████████████████████████████████████████▊ | 796/1041 [1:40:37<30:55, 7.57s/it] 77%|██████████████████████████████████████████████████████████████████████████████████████████████▉ | 797/1041 [1:40:44<30:47, 7.57s/it] 77%|███████████████████████████████████████████████████████████████████████████████████████████████ | 798/1041 [1:40:52<30:40, 7.57s/it] 77%|███████████████████████████████████████████████████████████████████████████████████████████████▏ | 799/1041 [1:41:00<30:32, 7.57s/it] 77%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 800/1041 [1:41:07<30:25, 7.57s/it] {'loss': '0.0002145', 'grad_norm': '0.0002411', 'learning_rate': '3.09e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '66.92', 'tokens/total': 13116416, 'tokens/trainable': 6853242, 'epoch': '2.302'}
 77%|███████████████████████████████████████████████████████████████████████████████████████████████▎ | 800/1041 [1:41:07<30:25, 7.57s/it][2026-03-15 12:48:57,577] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-800
 77%|███████████████████████████████████████████████████████████████████████████████████████████████▍ | 801/1041 [1:41:16<31:48, 7.95s/it] 77%|███████████████████████████████████████████████████████████████████████████████████████████████▌ | 802/1041 [1:41:24<31:13, 7.84s/it] 77%|███████████████████████████████████████████████████████████████████████████████████████████████▋ | 803/1041 [1:41:31<30:46, 7.76s/it] 77%|███████████████████████████████████████████████████████████████████████████████████████████████▊ | 804/1041 [1:41:39<30:24, 7.70s/it] 77%|███████████████████████████████████████████████████████████████████████████████████████████████▉ | 805/1041 [1:41:46<30:07, 7.66s/it] 77%|████████████████████████████████████████████████████████████████████████████████████████████████ | 806/1041 [1:41:54<29:53, 7.63s/it] 78%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 807/1041 [1:42:01<29:41, 7.61s/it] 78%|████████████████████████████████████████████████████████████████████████████████████████████████▏ | 808/1041 [1:42:09<29:30, 7.60s/it] 78%|████████████████████████████████████████████████████████████████████████████████████████████████▎ | 809/1041 [1:42:17<29:21, 7.59s/it] 78%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 810/1041 [1:42:24<29:12, 7.59s/it] {'loss': '0.0002372', 'grad_norm': '0.0001784', 'learning_rate': '2.853e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.85', 'tokens/total': 13280256, 'tokens/trainable': 6938782, 'epoch': '2.331'}
 78%|████████████████████████████████████████████████████████████████████████████████████████████████▍ | 810/1041 [1:42:24<29:12, 7.59s/it] 78%|████████████████████████████████████████████████████████████████████████████████████████████████▌ | 811/1041 [1:42:32<29:03, 7.58s/it] 78%|████████████████████████████████████████████████████████████████████████████████████████████████▋ | 812/1041 [1:42:39<28:55, 7.58s/it] 78%|████████████████████████████████████████████████████████████████████████████████████████████████▊ | 813/1041 [1:42:47<28:47, 7.58s/it] 78%|████████████████████████████████████████████████████████████████████████████████████████████████▉ | 814/1041 [1:42:54<28:39, 7.57s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████ | 815/1041 [1:43:02<28:31, 7.57s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████▏ | 816/1041 [1:43:10<28:23, 7.57s/it] 78%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 817/1041 [1:43:17<28:16, 7.57s/it] 79%|█████████████████████████████████████████████████████████████████████████████████████████████████▍ | 818/1041 [1:43:25<28:08, 7.57s/it] 79%|█████████████████████████████████████████████████████████████████████████████████████████████████▌ | 819/1041 [1:43:32<28:01, 7.57s/it] 79%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 820/1041 [1:43:40<27:53, 7.57s/it] {'loss': '0.0001424', 'grad_norm': '0.0004637', 'learning_rate': '2.623e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.71', 'tokens/total': 13444096, 'tokens/trainable': 7024676, 'epoch': '2.359'}
 79%|█████████████████████████████████████████████████████████████████████████████████████████████████▋ | 820/1041 [1:43:40<27:53, 7.57s/it] 79%|█████████████████████████████████████████████████████████████████████████████████████████████████▊ | 821/1041 [1:43:47<27:45, 7.57s/it] 79%|█████████████████████████████████████████████████████████████████████████████████████████████████▉ | 822/1041 [1:43:55<27:38, 7.57s/it] 79%|██████████████████████████████████████████████████████████████████████████████████████████████████ | 823/1041 [1:44:03<27:30, 7.57s/it] 79%|██████████████████████████████████████████████████████████████████████████████████████████████████▏ | 824/1041 [1:44:10<27:22, 7.57s/it] 79%|██████████████████████████████████████████████████████████████████████████████████████████████████▎ | 825/1041 [1:44:18<27:14, 7.57s/it] 79%|██████████████████████████████████████████████████████████████████████████████████████████████████▍ | 826/1041 [1:44:25<27:07, 7.57s/it] 79%|██████████████████████████████████████████████████████████████████████████████████████████████████▌ | 827/1041 [1:44:33<26:59, 7.57s/it] 80%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 828/1041 [1:44:40<26:51, 7.57s/it] 80%|██████████████████████████████████████████████████████████████████████████████████████████████████▋ | 829/1041 [1:44:48<26:44, 7.57s/it] 80%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 830/1041 [1:44:56<26:36, 7.57s/it] {'loss': '0.0002724', 'grad_norm': '0.000359', 'learning_rate': '2.402e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '73.86', 'tokens/total': 13607936, 'tokens/trainable': 7109974, 'epoch': '2.388'}
 80%|██████████████████████████████████████████████████████████████████████████████████████████████████▊ | 830/1041 [1:44:56<26:36, 7.57s/it] 80%|██████████████████████████████████████████████████████████████████████████████████████████████████▉ | 831/1041 [1:45:03<26:29, 7.57s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████ | 832/1041 [1:45:11<26:22, 7.57s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████▏ | 833/1041 [1:45:18<26:14, 7.57s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████▎ | 834/1041 [1:45:26<26:06, 7.57s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████▍ | 835/1041 [1:45:33<25:59, 7.57s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 836/1041 [1:45:41<25:51, 7.57s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████▋ | 837/1041 [1:45:49<25:44, 7.57s/it] 80%|███████████████████████████████████████████████████████████████████████████████████████████████████▊ | 838/1041 [1:45:56<25:36, 7.57s/it] 81%|███████████████████████████████████████████████████████████████████████████████████████████████████▉ | 839/1041 [1:46:04<25:28, 7.57s/it] 81%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 840/1041 [1:46:11<25:21, 7.57s/it] {'loss': '0.0003118', 'grad_norm': '0.0004633', 'learning_rate': '2.189e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.06', 'tokens/total': 13771776, 'tokens/trainable': 7195267, 'epoch': '2.417'}
 81%|████████████████████████████████████████████████████████████████████████████████████████████████████ | 840/1041 [1:46:11<25:21, 7.57s/it] 81%|████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 841/1041 [1:46:19<25:14, 7.57s/it] 81%|████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 842/1041 [1:46:26<25:06, 7.57s/it] 81%|████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 843/1041 [1:46:34<24:58, 7.57s/it] 81%|████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 844/1041 [1:46:41<24:51, 7.57s/it] 81%|████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 845/1041 [1:46:49<24:43, 7.57s/it] 81%|████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 846/1041 [1:46:57<24:36, 7.57s/it] 81%|████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 847/1041 [1:47:04<24:28, 7.57s/it] 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████ | 848/1041 [1:47:12<24:21, 7.57s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 849/1041 [1:47:19<24:13, 7.57s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 850/1041 [1:47:27<24:06, 7.57s/it] {'loss': '0.0002572', 'grad_norm': '0.0005056', 'learning_rate': '1.985e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.06', 'tokens/total': 13935616, 'tokens/trainable': 7280552, 'epoch': '2.446'}
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 850/1041 [1:47:27<24:06, 7.57s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 851/1041 [1:47:35<23:58, 7.57s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 852/1041 [1:47:42<23:51, 7.57s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 853/1041 [1:47:50<23:43, 7.57s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 854/1041 [1:47:57<23:35, 7.57s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 855/1041 [1:48:05<23:28, 7.57s/it] 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 856/1041 [1:48:12<23:20, 7.57s/it] 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████ | 857/1041 [1:48:20<23:13, 7.57s/it] 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 858/1041 [1:48:27<23:05, 7.57s/it] 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 859/1041 [1:48:35<22:57, 7.57s/it] 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 860/1041 [1:48:43<22:50, 7.57s/it] {'loss': '0.0003513', 'grad_norm': '0.0006618', 'learning_rate': '1.79e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '76.99', 'tokens/total': 14099456, 'tokens/trainable': 7366632, 'epoch': '2.474'}
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 860/1041 [1:48:43<22:50, 7.57s/it] 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 861/1041 [1:48:50<22:42, 7.57s/it] 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 862/1041 [1:48:58<22:35, 7.57s/it] 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 863/1041 [1:49:05<22:27, 7.57s/it] 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 864/1041 [1:49:13<22:20, 7.57s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████ | 865/1041 [1:49:20<22:12, 7.57s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 866/1041 [1:49:28<22:04, 7.57s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 867/1041 [1:49:36<21:57, 7.57s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 868/1041 [1:49:43<21:49, 7.57s/it] 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 869/1041 [1:49:51<21:42, 7.57s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 870/1041 [1:49:58<21:34, 7.57s/it] {'loss': '0.0002729', 'grad_norm': '0.0002825', 'learning_rate': '1.604e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.96', 'tokens/total': 14263296, 'tokens/trainable': 7452908, 'epoch': '2.503'}
 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 870/1041 [1:49:58<21:34, 7.57s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 871/1041 [1:50:06<21:26, 7.57s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 872/1041 [1:50:13<21:19, 7.57s/it] 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 873/1041 [1:50:21<21:11, 7.57s/it] 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████ | 874/1041 [1:50:29<21:04, 7.57s/it] 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 875/1041 [1:50:36<20:56, 7.57s/it] 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 876/1041 [1:50:44<20:48, 7.57s/it] 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 877/1041 [1:50:51<20:41, 7.57s/it] 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 878/1041 [1:50:59<20:33, 7.57s/it] 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 879/1041 [1:51:06<20:26, 7.57s/it] 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 880/1041 [1:51:14<20:19, 7.57s/it] {'loss': '0.0002997', 'grad_norm': '0.0003895', 'learning_rate': '1.427e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.54', 'tokens/total': 14427136, 'tokens/trainable': 7537859, 'epoch': '2.532'}
 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 880/1041 [1:51:14<20:19, 7.57s/it] 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 881/1041 [1:51:22<20:11, 7.57s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████ | 882/1041 [1:51:29<20:03, 7.57s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 883/1041 [1:51:37<19:56, 7.57s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 884/1041 [1:51:44<19:48, 7.57s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 885/1041 [1:51:52<19:40, 7.57s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 886/1041 [1:51:59<19:33, 7.57s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 887/1041 [1:52:07<19:26, 7.57s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 888/1041 [1:52:15<19:18, 7.58s/it] 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 889/1041 [1:52:22<19:11, 7.58s/it] 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 890/1041 [1:52:30<19:03, 7.57s/it] {'loss': '0.0001795', 'grad_norm': '7.759e-06', 'learning_rate': '1.26e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.89', 'tokens/total': 14590976, 'tokens/trainable': 7623400, 'epoch': '2.561'}
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████ | 890/1041 [1:52:30<19:03, 7.57s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 891/1041 [1:52:37<18:56, 7.57s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 892/1041 [1:52:45<18:48, 7.57s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 893/1041 [1:52:52<18:40, 7.57s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 894/1041 [1:53:00<18:33, 7.57s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 895/1041 [1:53:08<18:26, 7.58s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 896/1041 [1:53:15<18:18, 7.58s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 897/1041 [1:53:23<18:11, 7.58s/it] 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 898/1041 [1:53:30<18:03, 7.58s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████ | 899/1041 [1:53:38<18:07, 7.66s/it] 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 900/1041 [1:53:46<17:55, 7.63s/it] {'loss': '0.0002064', 'grad_norm': '0.0008526', 'learning_rate': '1.103e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.94', 'tokens/total': 14754816, 'tokens/trainable': 7708898, 'epoch': '2.589'}
 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 900/1041 [1:53:46<17:55, 7.63s/it] 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 901/1041 [1:53:53<17:45, 7.61s/it] 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 902/1041 [1:54:01<17:36, 7.60s/it] 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 903/1041 [1:54:09<17:27, 7.59s/it] 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 904/1041 [1:54:16<17:19, 7.59s/it] 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 905/1041 [1:54:24<17:11, 7.58s/it] 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 906/1041 [1:54:31<17:03, 7.58s/it] 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 907/1041 [1:54:39<16:55, 7.57s/it] 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 908/1041 [1:54:46<16:47, 7.57s/it] 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 909/1041 [1:54:54<16:39, 7.57s/it] 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 910/1041 [1:55:02<16:31, 7.57s/it] {'loss': '0.0001663', 'grad_norm': '0.0002064', 'learning_rate': '9.554e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '66.72', 'tokens/total': 14918656, 'tokens/trainable': 7793933, 'epoch': '2.618'}
 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 910/1041 [1:55:02<16:31, 7.57s/it] 88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 911/1041 [1:55:09<16:24, 7.57s/it] 88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 912/1041 [1:55:17<16:16, 7.57s/it] 88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 913/1041 [1:55:24<16:09, 7.57s/it] 88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 914/1041 [1:55:32<16:01, 7.57s/it] 88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 915/1041 [1:55:39<15:53, 7.57s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 916/1041 [1:55:47<15:46, 7.57s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 917/1041 [1:55:54<15:38, 7.57s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 918/1041 [1:56:02<15:31, 7.57s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 919/1041 [1:56:10<15:23, 7.57s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 920/1041 [1:56:17<15:17, 7.59s/it] {'loss': '0.0002403', 'grad_norm': '0.0006', 'learning_rate': '8.181e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.35', 'tokens/total': 15082496, 'tokens/trainable': 7879975, 'epoch': '2.647'}
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 920/1041 [1:56:17<15:17, 7.59s/it] 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 921/1041 [1:56:25<15:09, 7.58s/it] 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 922/1041 [1:56:32<15:01, 7.58s/it] 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 923/1041 [1:56:40<14:54, 7.58s/it] 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 924/1041 [1:56:48<14:46, 7.58s/it] 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 925/1041 [1:56:55<14:38, 7.58s/it] 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 926/1041 [1:57:03<14:31, 7.57s/it] 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 927/1041 [1:57:10<14:23, 7.57s/it] 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 928/1041 [1:57:18<14:16, 7.58s/it] 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 929/1041 [1:57:25<14:08, 7.58s/it] 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 930/1041 [1:57:33<14:00, 7.57s/it] {'loss': '0.000351', 'grad_norm': '0.0003201', 'learning_rate': '6.91e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.59', 'tokens/total': 15246336, 'tokens/trainable': 7965693, 'epoch': '2.676'}
 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 930/1041 [1:57:33<14:00, 7.57s/it] 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 931/1041 [1:57:41<13:53, 7.57s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 932/1041 [1:57:48<13:45, 7.57s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 933/1041 [1:57:56<13:38, 7.57s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 934/1041 [1:58:03<13:30, 7.58s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 935/1041 [1:58:11<13:22, 7.58s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 936/1041 [1:58:18<13:15, 7.58s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 937/1041 [1:58:26<13:07, 7.57s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 938/1041 [1:58:34<13:00, 7.57s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 939/1041 [1:58:41<12:52, 7.57s/it] 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 940/1041 [1:58:49<12:44, 7.57s/it] {'loss': '0.0002426', 'grad_norm': '0.0001797', 'learning_rate': '5.742e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.84', 'tokens/total': 15410176, 'tokens/trainable': 8050640, 'epoch': '2.704'}
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 940/1041 [1:58:49<12:44, 7.57s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 941/1041 [1:58:56<12:37, 7.57s/it] 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 942/1041 [1:59:04<12:29, 7.57s/it] 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 943/1041 [1:59:11<12:22, 7.57s/it] 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 944/1041 [1:59:19<12:14, 7.57s/it] 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 945/1041 [1:59:27<12:06, 7.57s/it] 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 946/1041 [1:59:34<11:59, 7.57s/it] 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 947/1041 [1:59:42<11:51, 7.57s/it] 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 948/1041 [1:59:49<11:44, 7.57s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 949/1041 [1:59:57<11:36, 7.57s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 950/1041 [2:00:04<11:29, 7.57s/it] {'loss': '0.0001977', 'grad_norm': '0.0005291', 'learning_rate': '4.68e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '65.62', 'tokens/total': 15574016, 'tokens/trainable': 8136082, 'epoch': '2.733'}
 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 950/1041 [2:00:04<11:29, 7.57s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 951/1041 [2:00:12<11:21, 7.57s/it] 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 952/1041 [2:00:20<11:13, 7.57s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 953/1041 [2:00:27<11:06, 7.57s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 954/1041 [2:00:35<10:58, 7.57s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 955/1041 [2:00:42<10:51, 7.57s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 956/1041 [2:00:50<10:43, 7.57s/it] 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 957/1041 [2:00:57<10:35, 7.57s/it] 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 958/1041 [2:01:05<10:28, 7.57s/it] 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 959/1041 [2:01:13<10:20, 7.57s/it] 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 960/1041 [2:01:20<10:13, 7.57s/it] {'loss': '0.0001808', 'grad_norm': '0.0003384', 'learning_rate': '3.724e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '64.89', 'tokens/total': 15737856, 'tokens/trainable': 8220910, 'epoch': '2.762'}
 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 960/1041 [2:01:20<10:13, 7.57s/it] 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 961/1041 [2:01:28<10:05, 7.57s/it] 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 962/1041 [2:01:35<09:58, 7.57s/it] 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 963/1041 [2:01:43<09:50, 7.57s/it] 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 964/1041 [2:01:50<09:42, 7.57s/it] 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 965/1041 [2:01:58<09:35, 7.57s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 966/1041 [2:02:06<09:27, 7.57s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 967/1041 [2:02:13<09:20, 7.57s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 968/1041 [2:02:21<09:12, 7.57s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 969/1041 [2:02:28<09:05, 7.57s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 970/1041 [2:02:36<08:57, 7.57s/it] {'loss': '0.0001855', 'grad_norm': '0.0004726', 'learning_rate': '2.875e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.11', 'tokens/total': 15901696, 'tokens/trainable': 8306117, 'epoch': '2.791'}
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 970/1041 [2:02:36<08:57, 7.57s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 971/1041 [2:02:43<08:50, 7.57s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 972/1041 [2:02:51<08:42, 7.57s/it] 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 973/1041 [2:02:59<08:34, 7.57s/it] 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 974/1041 [2:03:06<08:27, 7.57s/it] 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 975/1041 [2:03:14<08:19, 7.57s/it] 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 976/1041 [2:03:21<08:12, 7.57s/it] 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 977/1041 [2:03:29<08:04, 7.57s/it] 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 978/1041 [2:03:36<07:56, 7.57s/it] 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 979/1041 [2:03:44<07:49, 7.57s/it] 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 980/1041 [2:03:52<07:41, 7.57s/it] {'loss': '0.0003186', 'grad_norm': '0.0005886', 'learning_rate': '2.135e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.47', 'tokens/total': 16065536, 'tokens/trainable': 8391988, 'epoch': '2.819'}
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 980/1041 [2:03:52<07:41, 7.57s/it] 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 981/1041 [2:03:59<07:34, 7.57s/it] 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 982/1041 [2:04:07<07:26, 7.57s/it] 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 983/1041 [2:04:14<07:19, 7.57s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 984/1041 [2:04:22<07:11, 7.57s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 985/1041 [2:04:29<07:04, 7.57s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 986/1041 [2:04:37<06:56, 7.57s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 987/1041 [2:04:45<06:48, 7.57s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 988/1041 [2:04:52<06:41, 7.57s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 989/1041 [2:05:00<06:33, 7.57s/it] 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 990/1041 [2:05:07<06:26, 7.57s/it] {'loss': '0.000254', 'grad_norm': '0.0003106', 'learning_rate': '1.503e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '63.89', 'tokens/total': 16229376, 'tokens/trainable': 8477325, 'epoch': '2.848'}
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 990/1041 [2:05:07<06:26, 7.57s/it] 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 991/1041 [2:05:15<06:18, 7.57s/it] 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 992/1041 [2:05:23<06:11, 7.59s/it] 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 993/1041 [2:05:30<06:04, 7.58s/it] 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 994/1041 [2:05:38<05:56, 7.58s/it] 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 995/1041 [2:05:45<05:48, 7.57s/it] 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 996/1041 [2:05:53<05:40, 7.57s/it] 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 997/1041 [2:06:00<05:33, 7.57s/it] 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 998/1041 [2:06:08<05:25, 7.57s/it] 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 999/1041 [2:06:15<05:17, 7.57s/it] 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1000/1041 [2:06:23<05:10, 7.57s/it] {'loss': '0.0001699', 'grad_norm': '7.555e-06', 'learning_rate': '9.815e-07', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '75.2', 'tokens/total': 16393216, 'tokens/trainable': 8562563, 'epoch': '2.877'}
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1000/1041 [2:06:23<05:10, 7.57s/it][2026-03-15 13:14:13,476] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-1000
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1001/1041 [2:06:32<05:17, 7.94s/it] 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1002/1041 [2:06:39<05:05, 7.83s/it] 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1003/1041 [2:06:47<04:54, 7.75s/it] 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1004/1041 [2:06:55<04:44, 7.69s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1005/1041 [2:07:02<04:35, 7.65s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1006/1041 [2:07:10<04:26, 7.63s/it] 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1007/1041 [2:07:17<04:18, 7.61s/it] 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1008/1041 [2:07:25<04:10, 7.60s/it] 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1009/1041 [2:07:32<04:02, 7.59s/it] 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1010/1041 [2:07:40<03:55, 7.58s/it] {'loss': '0.0001798', 'grad_norm': '0.0002802', 'learning_rate': '5.701e-07', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '77.95', 'tokens/total': 16557056, 'tokens/trainable': 8648151, 'epoch': '2.905'}
 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1010/1041 [2:07:40<03:55, 7.58s/it] 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1011/1041 [2:07:48<03:47, 7.58s/it] 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1012/1041 [2:07:55<03:39, 7.57s/it] 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1013/1041 [2:08:03<03:32, 7.57s/it] 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1014/1041 [2:08:10<03:24, 7.57s/it] 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1015/1041 [2:08:18<03:16, 7.57s/it] 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1016/1041 [2:08:25<03:09, 7.57s/it] 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1017/1041 [2:08:33<03:01, 7.57s/it] 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1018/1041 [2:08:40<02:54, 7.57s/it] 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1019/1041 [2:08:48<02:46, 7.56s/it] 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1020/1041 [2:08:56<02:38, 7.57s/it] {'loss': '0.0002128', 'grad_norm': '0.000261', 'learning_rate': '2.696e-07', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.12', 'tokens/total': 16720896, 'tokens/trainable': 8733789, 'epoch': '2.934'}
 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1020/1041 [2:08:56<02:38, 7.57s/it] 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1021/1041 [2:09:03<02:31, 7.57s/it] 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1022/1041 [2:09:11<02:23, 7.57s/it] 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1023/1041 [2:09:18<02:16, 7.57s/it] 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1024/1041 [2:09:26<02:08, 7.57s/it] 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1025/1041 [2:09:33<02:01, 7.57s/it] 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1026/1041 [2:09:41<01:53, 7.57s/it] 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1027/1041 [2:09:49<01:45, 7.57s/it] 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1028/1041 [2:09:56<01:38, 7.57s/it] 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1029/1041 [2:10:04<01:30, 7.57s/it] 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1030/1041 [2:10:11<01:23, 7.57s/it] {'loss': '0.0002098', 'grad_norm': '0.0005841', 'learning_rate': '8.024e-08', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.91', 'tokens/total': 16884736, 'tokens/trainable': 8819876, 'epoch': '2.963'}
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1030/1041 [2:10:11<01:23, 7.57s/it] 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1031/1041 [2:10:19<01:15, 7.57s/it] 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1032/1041 [2:10:26<01:08, 7.57s/it] 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1033/1041 [2:10:34<01:00, 7.57s/it] 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 1034/1041 [2:10:42<00:52, 7.57s/it] 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 1035/1041 [2:10:49<00:45, 7.57s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 1036/1041 [2:10:57<00:37, 7.57s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 1037/1041 [2:11:04<00:30, 7.57s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 1038/1041 [2:11:12<00:22, 7.57s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊| 1039/1041 [2:11:19<00:15, 7.57s/it] 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉| 1040/1041 [2:11:27<00:07, 7.57s/it] {'loss': '0.0001613', 'grad_norm': '0.0004603', 'learning_rate': '2.229e-09', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.99', 'tokens/total': 17048576, 'tokens/trainable': 8905477, 'epoch': '2.992'}
 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉| 1040/1041 [2:11:27<00:07, 7.57s/it] 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1041/1041 [2:11:35<00:00, 7.57s/it][2026-03-15 13:19:24,986] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-1041
 {'train_runtime': '7896', 'train_samples_per_second': '2.109', 'train_steps_per_second': '0.132', 'train_loss': '0.05411', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'epoch': '2.995', 'tokens/train_per_sec_per_gpu': '70.11'}
 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1041/1041 [2:11:36<00:00, 7.57s/it] 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1041/1041 [2:11:36<00:00, 7.59s/it]
[2026-03-15 13:19:26,313] [INFO] [axolotl.train.save_trained_model:238] [PID:38782] Training completed! Saving trained model to /workspace/outputs/kgpt-v1.
[2026-03-15 13:19:26,990] [INFO] [axolotl.train.save_trained_model:352] [PID:38782] Model successfully saved to /workspace/outputs/kgpt-v1