[2026-03-15 11:07:02,974] [DEBUG] [axolotl.utils.config.log_gpu_memory_usage:127] [PID:38782] baseline 0.000GB ()
[2026-03-15 11:07:02,974] [INFO] [axolotl.cli.config.load_cfg:340] [PID:38782] config:
{
  "activation_offloading": false,
  "adapter": "qlora",
  "axolotl_config_path": "/workspace/kgpt_config.yaml",
  "base_model": "Qwen/Qwen2.5-7B",
  "base_model_config": "Qwen/Qwen2.5-7B",
  "batch_size": 16,
  "bf16": true,
  "capabilities": {
    "bf16": true,
    "compute_capability": "sm_89",
    "fp8": false,
    "n_gpu": 1,
    "n_node": 1
  },
  "context_parallel_size": 1,
  "dataloader_num_workers": 1,
  "dataloader_pin_memory": true,
  "dataloader_prefetch_factor": 256,
  "dataset_num_proc": 32,
  "datasets": [
    {
      "ds_type": "json",
      "message_property_mappings": {
        "content": "content",
        "role": "role"
      },
      "path": "/workspace/kgpt_combined.jsonl",
      "trust_remote_code": false,
      "type": "alpaca"
    }
  ],
  "ddp": false,
  "device": "cuda:0",
  "device_map": "auto",
  "dion_rank_fraction": 1.0,
  "dion_rank_multiple_of": 1,
  "eaft_alpha": 1.0,
  "eaft_k": 20,
  "env_capabilities": {
    "torch_version": "2.8.0"
  },
  "eval_batch_size": 1,
  "eval_causal_lm_metrics": [
    "sacrebleu",
    "comet",
    "ter",
    "chrf"
  ],
  "eval_max_new_tokens": 128,
  "eval_sample_packing": true,
  "eval_steps": 100,
  "eval_table_size": 0,
  "experimental_skip_move_to_device": true,
  "flash_attention": true,
  "fp16": false,
  "generate_samples": false,
  "generation_do_sample": true,
  "generation_max_new_tokens": 50,
  "generation_prompt_ratio": 0.5,
  "generation_temperature": 0.7,
  "gradient_accumulation_steps": 16,
  "gradient_checkpointing": true,
  "gradient_checkpointing_kwargs": {
    "use_reentrant": true
  },
  "include_tkps": true,
  "is_falcon_derived_model": false,
  "is_llama_derived_model": false,
  "is_mistral_derived_model": false,
  "learning_rate": 0.0002,
  "lisa_layers_attribute": "model.layers",
  "load_best_model_at_end": false,
  "load_in_4bit": true,
  "load_in_8bit": false,
  "local_rank": 0,
  "logging_steps": 10,
  "lora_alpha": 128,
  "lora_dropout": 0.05,
  "lora_r": 64,
  "lora_target_modules": [
    "q_proj",
    "k_proj",
    "v_proj",
    "o_proj",
    "gate_proj",
    "up_proj",
    "down_proj"
  ],
  "loraplus_lr_embedding": 1e-06,
  "lr_scheduler": "cosine",
  "mean_resizing_embeddings": false,
  "micro_batch_size": 1,
  "model_config_type": "qwen2",
  "num_epochs": 3.0,
  "num_generation_samples": 3,
  "optimizer": "adamw_torch",
  "otel_metrics_host": "localhost",
  "otel_metrics_port": 8000,
  "output_dir": "/workspace/outputs/kgpt-v1",
  "pad_to_sequence_len": true,
  "pretrain_multipack_attn": true,
  "profiler_steps_start": 0,
  "qlora_sharded_model_loading": false,
  "quantize_moe_experts": false,
  "ray_num_workers": 1,
  "resources_per_worker": {
    "GPU": 1
  },
  "sample_packing": true,
  "sample_packing_bin_size": 200,
  "sample_packing_group_size": 100000,
  "save_only_model": false,
  "save_safetensors": true,
  "save_steps": 200,
  "save_total_limit": 3,
  "sequence_len": 1024,
  "shuffle_before_merging_datasets": false,
  "shuffle_merged_datasets": true,
  "skip_prepare_dataset": false,
  "streaming_multipack_buffer_size": 10000,
  "strict": false,
  "tensor_parallel_size": 1,
  "tf32": true,
  "tiled_mlp_use_original_mlp": true,
  "tokenizer_config": "Qwen/Qwen2.5-7B",
  "tokenizer_save_jinja_files": true,
  "tokenizer_type": "AutoTokenizer",
  "torch_dtype": "torch.bfloat16",
  "train_on_inputs": false,
  "trl": {
    "log_completions": false,
    "mask_truncated_completions": false,
    "ref_model_mixup_alpha": 0.9,
    "ref_model_sync_steps": 64,
    "scale_rewards": true,
    "sync_ref_model": false,
    "use_vllm": false,
    "vllm_server_host": "0.0.0.0",
    "vllm_server_port": 8000
  },
  "trust_remote_code": true,
  "type_of_model": "AutoModelForCausalLM",
  "use_otel_metrics": false,
  "use_ray": false,
  "val_set_size": 0.0,
  "vllm": {
    "device": "auto",
    "dtype": "auto",
    "gpu_memory_utilization": 0.9,
    "host": "0.0.0.0",
    "port": 8000
  },
  "warmup_steps": 100,
  "weight_decay": 0.01,
  "world_size": 1
}
[2026-03-15 11:07:02,975] [WARNING] [axolotl.cli.checks.check_user_token:46] [PID:38782] Error verifying HuggingFace token. Remember to log in using `hf auth login` and get your access token from https://huggingface.co/settings/tokens if you want to use gated models or datasets.
[2026-03-15 11:07:04,067] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:299] [PID:38782] EOS: 151643 / <|endoftext|>
[2026-03-15 11:07:04,068] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:300] [PID:38782] BOS: None / None
[2026-03-15 11:07:04,068] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:301] [PID:38782] PAD: 151643 / <|endoftext|>
[2026-03-15 11:07:04,068] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:302] [PID:38782] UNK: None / None
[2026-03-15 11:07:04,068] [INFO] [axolotl.utils.data.shared.load_preprocessed_dataset:481] [PID:38782] Unable to find prepared dataset in last_run_prepared/9f3f78e8a3cb814f704820380de29656
[2026-03-15 11:07:04,068] [INFO] [axolotl.utils.data.sft._load_raw_datasets:320] [PID:38782] Loading raw datasets...
[2026-03-15 11:07:04,068] [WARNING] [axolotl.utils.data.sft._load_raw_datasets:322] [PID:38782] Processing datasets during training can lead to VRAM instability. Please pre-process your dataset using `axolotl preprocess path/to/config.yml`.
[2026-03-15 11:07:04,452] [INFO] [axolotl.utils.data.wrappers.get_dataset_wrapper:87] [PID:38782] Loading dataset: /workspace/kgpt_combined.jsonl with base_type: alpaca and prompt_style: None

Tokenizing Prompts (num_proc=32):   0%|                                                                                              | 0/48697 [00:00<?, ? examples/s]
Tokenizing Prompts (num_proc=32):   1%|▍                                                                                  | 289/48697 [00:01<04:18, 187.10 examples/s]
Tokenizing Prompts (num_proc=32):   2%|█▊                                                                                | 1053/48697 [00:01<01:00, 788.41 examples/s]
Tokenizing Prompts (num_proc=32):   4%|███                                                                               | 1823/48697 [00:02<00:51, 913.46 examples/s]
Tokenizing Prompts (num_proc=32):   5%|████▏                                                                            | 2522/48697 [00:02<00:34, 1353.62 examples/s]
Tokenizing Prompts (num_proc=32):   7%|█████▌                                                                           | 3350/48697 [00:03<00:35, 1282.26 examples/s]
Tokenizing Prompts (num_proc=32):   8%|██████▌                                                                          | 3944/48697 [00:03<00:26, 1662.00 examples/s]
Tokenizing Prompts (num_proc=32):   9%|███████▍                                                                         | 4445/48697 [00:03<00:21, 2014.86 examples/s]
Tokenizing Prompts (num_proc=32):  10%|████████                                                                         | 4880/48697 [00:04<00:32, 1345.07 examples/s]
Tokenizing Prompts (num_proc=32):  11%|█████████                                                                        | 5455/48697 [00:04<00:24, 1770.37 examples/s]
Tokenizing Prompts (num_proc=32):  12%|█████████▉                                                                       | 5971/48697 [00:04<00:19, 2184.42 examples/s]
Tokenizing Prompts (num_proc=32):  13%|██████████▋                                                                      | 6394/48697 [00:04<00:31, 1360.41 examples/s]
Tokenizing Prompts (num_proc=32):  15%|████████████                                                                     | 7216/48697 [00:05<00:21, 1972.43 examples/s]
Tokenizing Prompts (num_proc=32):  16%|█████████████▏                                                                   | 7906/48697 [00:05<00:28, 1454.39 examples/s]
Tokenizing Prompts (num_proc=32):  18%|██████████████▍                                                                  | 8656/48697 [00:06<00:20, 1915.56 examples/s]
Tokenizing Prompts (num_proc=32):  19%|███████████████▋                                                                 | 9397/48697 [00:06<00:25, 1519.90 examples/s]
Tokenizing Prompts (num_proc=32):  21%|████████████████▌                                                               | 10119/48697 [00:06<00:19, 1931.66 examples/s]
Tokenizing Prompts (num_proc=32):  22%|█████████████████▎                                                              | 10513/48697 [00:06<00:17, 2138.02 examples/s]
Tokenizing Prompts (num_proc=32):  22%|█████████████████▉                                                              | 10914/48697 [00:07<00:27, 1391.23 examples/s]
Tokenizing Prompts (num_proc=32):  24%|██████████████████▊                                                             | 11451/48697 [00:07<00:20, 1775.62 examples/s]
Tokenizing Prompts (num_proc=32):  24%|███████████████████▌                                                            | 11926/48697 [00:07<00:17, 2112.47 examples/s]
Tokenizing Prompts (num_proc=32):  26%|████████████████████▍                                                           | 12448/48697 [00:08<00:25, 1435.02 examples/s]
Tokenizing Prompts (num_proc=32):  27%|█████████████████████▋                                                          | 13176/48697 [00:08<00:18, 1927.13 examples/s]
Tokenizing Prompts (num_proc=32):  29%|██████████████████████▉                                                         | 13971/48697 [00:09<00:22, 1554.36 examples/s]
Tokenizing Prompts (num_proc=32):  30%|███████████████████████▉                                                        | 14535/48697 [00:09<00:17, 1927.31 examples/s]
Tokenizing Prompts (num_proc=32):  31%|████████████████████████▌                                                       | 14980/48697 [00:09<00:15, 2222.04 examples/s]
Tokenizing Prompts (num_proc=32):  32%|█████████████████████████▍                                                      | 15493/48697 [00:10<00:22, 1484.47 examples/s]
Tokenizing Prompts (num_proc=32):  33%|██████████████████████████▎                                                     | 16029/48697 [00:10<00:17, 1875.94 examples/s]
Tokenizing Prompts (num_proc=32):  34%|███████████████████████████                                                     | 16491/48697 [00:10<00:14, 2207.61 examples/s]
Tokenizing Prompts (num_proc=32):  35%|███████████████████████████▉                                                    | 17007/48697 [00:11<00:21, 1450.77 examples/s]
Tokenizing Prompts (num_proc=32):  36%|█████████████████████████████▏                                                  | 17742/48697 [00:11<00:15, 1967.32 examples/s]
Tokenizing Prompts (num_proc=32):  38%|██████████████████████████████▍                                                 | 18551/48697 [00:11<00:19, 1544.62 examples/s]
Tokenizing Prompts (num_proc=32):  40%|███████████████████████████████▋                                                | 19288/48697 [00:12<00:14, 1990.95 examples/s]
Tokenizing Prompts (num_proc=32):  41%|████████████████████████████████▉                                               | 20062/48697 [00:12<00:18, 1590.65 examples/s]
Tokenizing Prompts (num_proc=32):  43%|██████████████████████████████████▏                                             | 20805/48697 [00:12<00:13, 2025.31 examples/s]
Tokenizing Prompts (num_proc=32):  44%|███████████████████████████████████                                             | 21308/48697 [00:12<00:11, 2334.75 examples/s]
Tokenizing Prompts (num_proc=32):  45%|███████████████████████████████████▉                                            | 21879/48697 [00:13<00:16, 1584.71 examples/s]
Tokenizing Prompts (num_proc=32):  46%|█████████████████████████████████████                                           | 22580/48697 [00:13<00:12, 2015.39 examples/s]
Tokenizing Prompts (num_proc=32):  47%|█████████████████████████████████████▉                                          | 23093/48697 [00:14<00:17, 1425.53 examples/s]
Tokenizing Prompts (num_proc=32):  49%|███████████████████████████████████████▏                                        | 23830/48697 [00:14<00:13, 1841.39 examples/s]
Tokenizing Prompts (num_proc=32):  51%|████████████████████████████████████████▍                                       | 24644/48697 [00:15<00:15, 1534.02 examples/s]
Tokenizing Prompts (num_proc=32):  52%|█████████████████████████████████████████▎                                      | 25179/48697 [00:15<00:12, 1847.34 examples/s]
Tokenizing Prompts (num_proc=32):  53%|██████████████████████████████████████████▌                                     | 25874/48697 [00:15<00:10, 2246.43 examples/s]
Tokenizing Prompts (num_proc=32):  54%|███████████████████████████████████████████▎                                    | 26397/48697 [00:16<00:14, 1590.65 examples/s]
Tokenizing Prompts (num_proc=32):  55%|████████████████████████████████████████████▏                                   | 26874/48697 [00:16<00:11, 1896.38 examples/s]
Tokenizing Prompts (num_proc=32):  57%|█████████████████████████████████████████████▍                                  | 27684/48697 [00:17<00:13, 1513.90 examples/s]
Tokenizing Prompts (num_proc=32):  58%|██████████████████████████████████████████████▋                                 | 28396/48697 [00:17<00:10, 1926.30 examples/s]
Tokenizing Prompts (num_proc=32):  60%|███████████████████████████████████████████████▉                                | 29213/48697 [00:17<00:12, 1566.91 examples/s]
Tokenizing Prompts (num_proc=32):  62%|█████████████████████████████████████████████████▎                              | 29992/48697 [00:18<00:09, 2017.45 examples/s]
Tokenizing Prompts (num_proc=32):  63%|██████████████████████████████████████████████████                              | 30440/48697 [00:18<00:08, 2219.85 examples/s]
Tokenizing Prompts (num_proc=32):  64%|██████████████████████████████████████████████████▉                             | 31009/48697 [00:18<00:11, 1603.40 examples/s]
Tokenizing Prompts (num_proc=32):  65%|███████████████████████████████████████████████████▋                            | 31473/48697 [00:18<00:09, 1904.64 examples/s]
Tokenizing Prompts (num_proc=32):  66%|████████████████████████████████████████████████████▉                           | 32258/48697 [00:19<00:10, 1517.83 examples/s]
Tokenizing Prompts (num_proc=32):  68%|██████████████████████████████████████████████████████▏                         | 32962/48697 [00:19<00:08, 1935.43 examples/s]
Tokenizing Prompts (num_proc=32):  69%|███████████████████████████████████████████████████████▍                        | 33771/48697 [00:20<00:09, 1577.12 examples/s]
Tokenizing Prompts (num_proc=32):  71%|████████████████████████████████████████████████████████▍                       | 34382/48697 [00:20<00:07, 1966.55 examples/s]
Tokenizing Prompts (num_proc=32):  72%|█████████████████████████████████████████████████████████▎                      | 34887/48697 [00:20<00:05, 2307.85 examples/s]
Tokenizing Prompts (num_proc=32):  72%|█████████████████████████████████████████████████████████▉                      | 35300/48697 [00:21<00:08, 1489.66 examples/s]
Tokenizing Prompts (num_proc=32):  74%|██████████████████████████████████████████████████████████▊                     | 35810/48697 [00:21<00:06, 1856.36 examples/s]
Tokenizing Prompts (num_proc=32):  75%|████████████████████████████████████████████████████████████                    | 36528/48697 [00:21<00:05, 2404.39 examples/s]
Tokenizing Prompts (num_proc=32):  76%|████████████████████████████████████████████████████████████▊                   | 37039/48697 [00:22<00:07, 1505.95 examples/s]
Tokenizing Prompts (num_proc=32):  77%|█████████████████████████████████████████████████████████████▋                  | 37528/48697 [00:22<00:06, 1843.67 examples/s]
Tokenizing Prompts (num_proc=32):  78%|██████████████████████████████████████████████████████████████▌                 | 38050/48697 [00:22<00:04, 2238.91 examples/s]
Tokenizing Prompts (num_proc=32):  79%|███████████████████████████████████████████████████████████████▍                | 38639/48697 [00:23<00:06, 1518.60 examples/s]
Tokenizing Prompts (num_proc=32):  80%|████████████████████████████████████████████████████████████████▎               | 39137/48697 [00:23<00:05, 1882.20 examples/s]
Tokenizing Prompts (num_proc=32):  82%|█████████████████████████████████████████████████████████████████▌              | 39874/48697 [00:23<00:06, 1443.46 examples/s]
Tokenizing Prompts (num_proc=32):  83%|██████████████████████████████████████████████████████████████████▌             | 40501/48697 [00:23<00:04, 1888.53 examples/s]
Tokenizing Prompts (num_proc=32):  84%|███████████████████████████████████████████████████████████████████▎            | 41012/48697 [00:24<00:03, 2267.38 examples/s]
Tokenizing Prompts (num_proc=32):  86%|████████████████████████████████████████████████████████████████████▍           | 41670/48697 [00:24<00:04, 1562.77 examples/s]
Tokenizing Prompts (num_proc=32):  87%|█████████████████████████████████████████████████████████████████████▎          | 42174/48697 [00:24<00:03, 1910.75 examples/s]
Tokenizing Prompts (num_proc=32):  88%|██████████████████████████████████████████████████████████████████████▌         | 42919/48697 [00:25<00:03, 1498.54 examples/s]
Tokenizing Prompts (num_proc=32):  90%|███████████████████████████████████████████████████████████████████████▊        | 43709/48697 [00:25<00:02, 2005.17 examples/s]
Tokenizing Prompts (num_proc=32):  91%|█████████████████████████████████████████████████████████████████████████       | 44441/48697 [00:26<00:02, 1520.28 examples/s]
Tokenizing Prompts (num_proc=32):  93%|██████████████████████████████████████████████████████████████████████████▎     | 45245/48697 [00:26<00:01, 2004.89 examples/s]
Tokenizing Prompts (num_proc=32):  94%|███████████████████████████████████████████████████████████████████████████▍    | 45941/48697 [00:27<00:01, 1524.26 examples/s]
Tokenizing Prompts (num_proc=32):  96%|████████████████████████████████████████████████████████████████████████████▋   | 46655/48697 [00:27<00:01, 1909.26 examples/s]
Tokenizing Prompts (num_proc=32):  98%|██████████████████████████████████████████████████████████████████████████████  | 47488/48697 [00:28<00:00, 1611.20 examples/s]
Tokenizing Prompts (num_proc=32):  99%|███████████████████████████████████████████████████████████████████████████████▎| 48314/48697 [00:28<00:00, 2084.45 examples/s]
Tokenizing Prompts (num_proc=32): 100%|████████████████████████████████████████████████████████████████████████████████| 48697/48697 [00:28<00:00, 1705.67 examples/s]
[2026-03-15 11:07:33,937] [INFO] [axolotl.utils.data.utils._log_dataset_stats:212] [PID:38782] min_input_len: 72
[2026-03-15 11:07:33,937] [INFO] [axolotl.utils.data.utils._log_dataset_stats:213] [PID:38782] max_input_len: 166

Dropping Invalid Sequences (<None or >1024) (num_proc=32):   0%|                                                                     | 0/48697 [00:00<?, ? examples/s]
Dropping Invalid Sequences (<None or >1024) (num_proc=32):   3%|█▊                                                      | 1522/48697 [00:00<00:14, 3168.25 examples/s]
Dropping Invalid Sequences (<None or >1024) (num_proc=32): 100%|██████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 70617.69 examples/s]

Drop Samples with Zero Trainable Tokens (num_proc=32):   0%|                                                                         | 0/48697 [00:00<?, ? examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=32):   3%|█▉                                                          | 1522/48697 [00:00<00:15, 2974.34 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=32): 100%|█████████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 104903.04 examples/s]
Drop Samples with Zero Trainable Tokens (num_proc=32): 100%|██████████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 64544.76 examples/s]

Add position_id column (Sample Packing) (num_proc=32):   0%|                                                                         | 0/48697 [00:00<?, ? examples/s]
Add position_id column (Sample Packing) (num_proc=32):   2%|█▏                                                          | 1000/48697 [00:00<00:24, 1965.74 examples/s]
Add position_id column (Sample Packing) (num_proc=32):  88%|███████████████████████████████████████████████████▏      | 42962/48697 [00:00<00:00, 91381.51 examples/s]
Add position_id column (Sample Packing) (num_proc=32): 100%|██████████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 62890.38 examples/s]

Saving the dataset (0/32 shards):   0%|                                                                                              | 0/48697 [00:00<?, ? examples/s]
Saving the dataset (0/32 shards):   3%|██▌                                                                              | 1522/48697 [00:00<00:16, 2809.61 examples/s]
Saving the dataset (1/32 shards):   3%|██▌                                                                              | 1522/48697 [00:00<00:16, 2809.61 examples/s]
Saving the dataset (2/32 shards):   6%|█████                                                                            | 3044/48697 [00:00<00:16, 2809.61 examples/s]
Saving the dataset (3/32 shards):   9%|███████▌                                                                         | 4566/48697 [00:00<00:15, 2809.61 examples/s]
Saving the dataset (4/32 shards):  13%|██████████▏                                                                      | 6088/48697 [00:00<00:15, 2809.61 examples/s]
Saving the dataset (5/32 shards):  16%|████████████▋                                                                    | 7610/48697 [00:00<00:14, 2809.61 examples/s]
Saving the dataset (6/32 shards):  19%|███████████████▏                                                                 | 9132/48697 [00:00<00:14, 2809.61 examples/s]
Saving the dataset (7/32 shards):  22%|█████████████████▌                                                              | 10654/48697 [00:00<00:13, 2809.61 examples/s]
Saving the dataset (8/32 shards):  25%|████████████████████                                                            | 12176/48697 [00:00<00:12, 2809.61 examples/s]
Saving the dataset (9/32 shards):  28%|██████████████████████▌                                                         | 13698/48697 [00:00<00:12, 2809.61 examples/s]
Saving the dataset (10/32 shards):  31%|████████████████████████▋                                                      | 15220/48697 [00:00<00:11, 2809.61 examples/s]
Saving the dataset (11/32 shards):  34%|███████████████████████████▏                                                   | 16742/48697 [00:00<00:11, 2809.61 examples/s]
Saving the dataset (12/32 shards):  38%|█████████████████████████████▋                                                 | 18264/48697 [00:00<00:10, 2809.61 examples/s]
Saving the dataset (13/32 shards):  41%|████████████████████████████████                                               | 19786/48697 [00:00<00:10, 2809.61 examples/s]
Saving the dataset (14/32 shards):  44%|██████████████████████████████████▌                                            | 21308/48697 [00:00<00:09, 2809.61 examples/s]
Saving the dataset (15/32 shards):  47%|█████████████████████████████████████                                          | 22830/48697 [00:00<00:09, 2809.61 examples/s]
Saving the dataset (16/32 shards):  50%|███████████████████████████████████████▌                                       | 24352/48697 [00:00<00:08, 2809.61 examples/s]
Saving the dataset (17/32 shards):  53%|█████████████████████████████████████████▉                                     | 25874/48697 [00:00<00:08, 2809.61 examples/s]
Saving the dataset (18/32 shards):  56%|████████████████████████████████████████████▍                                  | 27396/48697 [00:00<00:07, 2809.61 examples/s]
Saving the dataset (19/32 shards):  59%|██████████████████████████████████████████████▉                                | 28918/48697 [00:00<00:07, 2809.61 examples/s]
Saving the dataset (20/32 shards):  63%|█████████████████████████████████████████████████▍                             | 30440/48697 [00:00<00:06, 2809.61 examples/s]
Saving the dataset (21/32 shards):  66%|███████████████████████████████████████████████████▊                           | 31962/48697 [00:00<00:05, 2809.61 examples/s]
Saving the dataset (22/32 shards):  69%|██████████████████████████████████████████████████████▎                        | 33484/48697 [00:00<00:05, 2809.61 examples/s]
Saving the dataset (23/32 shards):  72%|████████████████████████████████████████████████████████▊                      | 35006/48697 [00:00<00:04, 2809.61 examples/s]
Saving the dataset (24/32 shards):  75%|███████████████████████████████████████████████████████████▎                   | 36528/48697 [00:00<00:04, 2809.61 examples/s]
Saving the dataset (25/32 shards):  78%|█████████████████████████████████████████████████████████████▋                 | 38050/48697 [00:00<00:03, 2809.61 examples/s]
Saving the dataset (26/32 shards):  81%|████████████████████████████████████████████████████████████████▏              | 39571/48697 [00:00<00:03, 2809.61 examples/s]
Saving the dataset (27/32 shards):  84%|██████████████████████████████████████████████████████████████████▋            | 41092/48697 [00:00<00:02, 2809.61 examples/s]
Saving the dataset (28/32 shards):  88%|█████████████████████████████████████████████████████████████████████▏         | 42613/48697 [00:00<00:02, 2809.61 examples/s]
Saving the dataset (29/32 shards):  91%|███████████████████████████████████████████████████████████████████████▌       | 44134/48697 [00:00<00:01, 2809.61 examples/s]
Saving the dataset (30/32 shards):  94%|██████████████████████████████████████████████████████████████████████████     | 45655/48697 [00:00<00:01, 2809.61 examples/s]
Saving the dataset (31/32 shards):  97%|████████████████████████████████████████████████████████████████████████████▌  | 47176/48697 [00:00<00:00, 2809.61 examples/s]
Saving the dataset (32/32 shards): 100%|███████████████████████████████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 2809.61 examples/s]
Saving the dataset (32/32 shards): 100%|██████████████████████████████████████████████████████████████████████████████| 48697/48697 [00:00<00:00, 77578.98 examples/s]
[2026-03-15 11:07:37,194] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:420] [PID:38782] total_num_tokens: 5_561_451
[2026-03-15 11:07:37,340] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:438] [PID:38782] `total_supervised_tokens: 2_976_820`
[2026-03-15 11:07:38,729] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.5847363471984863
[2026-03-15 11:07:39,303] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.5731608867645264
[2026-03-15 11:07:39,867] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.5637989044189453
[2026-03-15 11:07:40,439] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.5711963176727295
[2026-03-15 11:07:40,457] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:38782] gather_len_batches: [5563]
[2026-03-15 11:07:40,457] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:495] [PID:38782] data_loader_len: 347
[2026-03-15 11:07:40,458] [INFO] [axolotl.utils.trainer.calc_sample_packing_eff_est:504] [PID:38782] sample_packing_eff_est across ranks: [0.9752387308650565]
[2026-03-15 11:07:40,458] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:516] [PID:38782] sample_packing_eff_est: 0.98
[2026-03-15 11:07:40,458] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:521] [PID:38782] total_num_steps: 1041
[2026-03-15 11:07:40,459] [INFO] [axolotl.utils.data.sft._prepare_standard_dataset:121] [PID:38782] Maximum number of steps set at 1041
[2026-03-15 11:07:40,493] [DEBUG] [axolotl.train.setup_model_and_tokenizer:70] [PID:38782] loading tokenizer... Qwen/Qwen2.5-7B
[2026-03-15 11:07:40,802] [WARNING] [huggingface_hub.utils._http._warn_on_warning_headers:916] [PID:38782] Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
[2026-03-15 11:07:41,646] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:299] [PID:38782] EOS: 151643 / <|endoftext|>
[2026-03-15 11:07:41,646] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:300] [PID:38782] BOS: None / None
[2026-03-15 11:07:41,646] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:301] [PID:38782] PAD: 151643 / <|endoftext|>
[2026-03-15 11:07:41,646] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:302] [PID:38782] UNK: None / None
[2026-03-15 11:07:41,646] [DEBUG] [axolotl.train.setup_model_and_tokenizer:82] [PID:38782] Loading model
[2026-03-15 11:07:41,791] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_evaluation_loop:91] [PID:38782] Patched Trainer.evaluation_loop with nanmean loss calculation
[2026-03-15 11:07:41,792] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_maybe_log_save_evaluate:142] [PID:38782] Patched Trainer._maybe_log_save_evaluate with nanmean loss calculation
[2026-03-15 11:07:41,792] [INFO] [axolotl.loaders.patch_manager._apply_multipack_patches:389] [PID:38782] Applying multipack dataloader patch for sample packing...

Fetching 22 files:   0%|                                                                                                                       | 0/22 [00:00<?, ?it/s]
Fetching 22 files: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████| 22/22 [00:00<00:00, 112119.91it/s]

Loading weights:   0%|                                                                                                                        | 0/339 [00:00<?, ?it/s]
Loading weights:   1%|▋                                                                                                               | 2/339 [00:00<00:24, 13.73it/s]
Loading weights:   1%|█▎                                                                                                              | 4/339 [00:00<00:22, 14.87it/s]
Loading weights:   2%|█▉                                                                                                              | 6/339 [00:00<00:25, 13.06it/s]
Loading weights:   3%|███▎                                                                                                           | 10/339 [00:00<00:18, 17.67it/s]
Loading weights:   4%|████▌                                                                                                          | 14/339 [00:00<00:15, 20.71it/s]
Loading weights:   5%|█████▌                                                                                                         | 17/339 [00:00<00:17, 18.27it/s]
Loading weights:   6%|██████▏                                                                                                        | 19/339 [00:01<00:17, 18.58it/s]
Loading weights:  34%|████████████████████████████████████▋                                                                        | 114/339 [00:01<00:00, 240.13it/s]
Loading weights: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████| 339/339 [00:01<00:00, 276.25it/s]
[2026-03-15 11:07:43,816] [INFO] [axolotl.loaders.model._prepare_model_for_quantization:875] [PID:38782] converting PEFT model w/ prepare_model_for_kbit_training
[2026-03-15 11:07:43,819] [INFO] [axolotl.loaders.model._configure_embedding_dtypes:359] [PID:38782] Converting modules to torch.bfloat16
[2026-03-15 11:07:43,820] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:38782] Memory usage after model load 13.587GB (+13.587GB allocated, +13.658GB reserved)
trainable params: 161,480,704 || all params: 7,777,097,216 || trainable%: 2.0764
[2026-03-15 11:07:44,744] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:38782] after adapters 5.770GB (+5.770GB allocated, +13.881GB reserved)
[2026-03-15 11:07:46,106] [INFO] [axolotl.train.save_initial_configs:414] [PID:38782] Pre-saving adapter config to /workspace/outputs/kgpt-v1...
[2026-03-15 11:07:46,106] [INFO] [axolotl.train.save_initial_configs:418] [PID:38782] Pre-saving tokenizer to /workspace/outputs/kgpt-v1...
[2026-03-15 11:07:46,149] [INFO] [axolotl.train.save_initial_configs:423] [PID:38782] Pre-saving model config to /workspace/outputs/kgpt-v1...
[2026-03-15 11:07:46,151] [INFO] [axolotl.train.execute_training:219] [PID:38782] Starting trainer...
[2026-03-15 11:07:47,884] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.6391372680664062
[2026-03-15 11:07:48,546] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.6610345840454102
[2026-03-15 11:07:49,208] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.6615941524505615
[2026-03-15 11:07:49,863] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:38782] generate_batches time: 0.654503345489502
[2026-03-15 11:07:49,863] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:38782] gather_len_batches: [5566]

  0%|                                                                                                                                        | 0/1041 [00:00<?, ?it/s]
  0%|                                                                                                                              | 1/1041 [00:08<2:35:59,  9.00s/it]
  0%|▏                                                                                                                             | 2/1041 [00:16<2:21:02,  8.15s/it]
  0%|▎                                                                                                                             | 3/1041 [00:24<2:16:17,  7.88s/it]
  0%|▍                                                                                                                             | 4/1041 [00:31<2:13:56,  7.75s/it]
  0%|▌                                                                                                                             | 5/1041 [00:39<2:12:38,  7.68s/it]
  1%|▋                                                                                                                             | 6/1041 [00:46<2:11:44,  7.64s/it]
  1%|▊                                                                                                                             | 7/1041 [00:54<2:11:09,  7.61s/it]
  1%|▉                                                                                                                             | 8/1041 [01:01<2:10:45,  7.60s/it]
  1%|█                                                                                                                             | 9/1041 [01:09<2:10:25,  7.58s/it]
  1%|█▏                                                                                                                           | 10/1041 [01:17<2:10:09,  7.57s/it]
                                                                                                                                                                      
{'loss': '2.707', 'grad_norm': '0.08499', 'learning_rate': '1.8e-05', 'ppl': '14.99', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '13.88', 'tokens/train_per_sec_per_gpu': '70.4', 'tokens/total': 163840, 'tokens/trainable': 85349, 'epoch': '0.02875'}

  1%|█▏                                                                                                                           | 10/1041 [01:17<2:10:09,  7.57s/it]
  1%|█▎                                                                                                                           | 11/1041 [01:24<2:09:57,  7.57s/it]
  1%|█▍                                                                                                                           | 12/1041 [01:32<2:09:44,  7.57s/it]
  1%|█▌                                                                                                                           | 13/1041 [01:39<2:09:36,  7.56s/it]
  1%|█▋                                                                                                                           | 14/1041 [01:47<2:09:28,  7.56s/it]
  1%|█▊                                                                                                                           | 15/1041 [01:54<2:09:19,  7.56s/it]
  2%|█▉                                                                                                                           | 16/1041 [02:02<2:09:11,  7.56s/it]
  2%|██                                                                                                                           | 17/1041 [02:09<2:09:02,  7.56s/it]
  2%|██▏                                                                                                                          | 18/1041 [02:17<2:08:57,  7.56s/it]
  2%|██▎                                                                                                                          | 19/1041 [02:25<2:08:49,  7.56s/it]
  2%|██▍                                                                                                                          | 20/1041 [02:32<2:08:40,  7.56s/it]
                                                                                                                                                                      
{'loss': '1.836', 'grad_norm': '0.1231', 'learning_rate': '3.8e-05', 'ppl': '6.269', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.7', 'tokens/total': 327680, 'tokens/trainable': 171279, 'epoch': '0.05749'}

  2%|██▍                                                                                                                          | 20/1041 [02:32<2:08:40,  7.56s/it]
  2%|██▌                                                                                                                          | 21/1041 [02:40<2:08:32,  7.56s/it]
  2%|██▋                                                                                                                          | 22/1041 [02:47<2:08:25,  7.56s/it]
  2%|██▊                                                                                                                          | 23/1041 [02:55<2:08:17,  7.56s/it]
  2%|██▉                                                                                                                          | 24/1041 [03:02<2:08:10,  7.56s/it]
  2%|███                                                                                                                          | 25/1041 [03:10<2:08:03,  7.56s/it]
  2%|███                                                                                                                          | 26/1041 [03:17<2:07:54,  7.56s/it]
  3%|███▏                                                                                                                         | 27/1041 [03:25<2:07:48,  7.56s/it]
  3%|███▎                                                                                                                         | 28/1041 [03:33<2:07:40,  7.56s/it]
  3%|███▍                                                                                                                         | 29/1041 [03:40<2:07:32,  7.56s/it]
  3%|███▌                                                                                                                         | 30/1041 [03:48<2:07:25,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.5594', 'grad_norm': '0.05218', 'learning_rate': '5.8e-05', 'ppl': '1.75', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '61.71', 'tokens/total': 491520, 'tokens/trainable': 257267, 'epoch': '0.08624'}

  3%|███▌                                                                                                                         | 30/1041 [03:48<2:07:25,  7.56s/it]
  3%|███▋                                                                                                                         | 31/1041 [03:55<2:07:17,  7.56s/it]
  3%|███▊                                                                                                                         | 32/1041 [04:03<2:07:10,  7.56s/it]
  3%|███▉                                                                                                                         | 33/1041 [04:10<2:07:02,  7.56s/it]
  3%|████                                                                                                                         | 34/1041 [04:18<2:06:55,  7.56s/it]
  3%|████▏                                                                                                                        | 35/1041 [04:26<2:06:47,  7.56s/it]
  3%|████▎                                                                                                                        | 36/1041 [04:33<2:06:39,  7.56s/it]
  4%|████▍                                                                                                                        | 37/1041 [04:41<2:06:32,  7.56s/it]
  4%|████▌                                                                                                                        | 38/1041 [04:48<2:06:24,  7.56s/it]
  4%|████▋                                                                                                                        | 39/1041 [04:56<2:06:18,  7.56s/it]
  4%|████▊                                                                                                                        | 40/1041 [05:03<2:06:11,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.2106', 'grad_norm': '0.02441', 'learning_rate': '7.8e-05', 'ppl': '1.234', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.64', 'tokens/total': 655360, 'tokens/trainable': 342778, 'epoch': '0.115'}

  4%|████▊                                                                                                                        | 40/1041 [05:03<2:06:11,  7.56s/it]
  4%|████▉                                                                                                                        | 41/1041 [05:11<2:06:04,  7.56s/it]
  4%|█████                                                                                                                        | 42/1041 [05:19<2:06:07,  7.57s/it]
  4%|█████▏                                                                                                                       | 43/1041 [05:26<2:05:56,  7.57s/it]
  4%|█████▎                                                                                                                       | 44/1041 [05:34<2:05:45,  7.57s/it]
  4%|█████▍                                                                                                                       | 45/1041 [05:41<2:05:36,  7.57s/it]
  4%|█████▌                                                                                                                       | 46/1041 [05:49<2:05:27,  7.56s/it]
  5%|█████▋                                                                                                                       | 47/1041 [05:56<2:05:18,  7.56s/it]
  5%|█████▊                                                                                                                       | 48/1041 [06:04<2:05:10,  7.56s/it]
  5%|█████▉                                                                                                                       | 49/1041 [06:11<2:05:03,  7.56s/it]
  5%|██████                                                                                                                       | 50/1041 [06:19<2:04:59,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.1246', 'grad_norm': '0.01628', 'learning_rate': '9.8e-05', 'ppl': '1.133', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.11', 'tokens/total': 819200, 'tokens/trainable': 428437, 'epoch': '0.1437'}

  5%|██████                                                                                                                       | 50/1041 [06:19<2:04:59,  7.57s/it]
  5%|██████                                                                                                                       | 51/1041 [06:27<2:04:50,  7.57s/it]
  5%|██████▏                                                                                                                      | 52/1041 [06:34<2:04:42,  7.57s/it]
  5%|██████▎                                                                                                                      | 53/1041 [06:42<2:04:33,  7.56s/it]
  5%|██████▍                                                                                                                      | 54/1041 [06:49<2:04:25,  7.56s/it]
  5%|██████▌                                                                                                                      | 55/1041 [06:57<2:04:17,  7.56s/it]
  5%|██████▋                                                                                                                      | 56/1041 [07:04<2:04:10,  7.56s/it]
  5%|██████▊                                                                                                                      | 57/1041 [07:12<2:04:03,  7.56s/it]
  6%|██████▉                                                                                                                      | 58/1041 [07:20<2:03:55,  7.56s/it]
  6%|███████                                                                                                                      | 59/1041 [07:27<2:03:47,  7.56s/it]
  6%|███████▏                                                                                                                     | 60/1041 [07:35<2:03:40,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.05733', 'grad_norm': '0.01206', 'learning_rate': '0.000118', 'ppl': '1.059', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.85', 'tokens/total': 983040, 'tokens/trainable': 514011, 'epoch': '0.1725'}

  6%|███████▏                                                                                                                     | 60/1041 [07:35<2:03:40,  7.56s/it]
  6%|███████▎                                                                                                                     | 61/1041 [07:42<2:03:32,  7.56s/it]
  6%|███████▍                                                                                                                     | 62/1041 [07:50<2:03:24,  7.56s/it]
  6%|███████▌                                                                                                                     | 63/1041 [07:57<2:03:16,  7.56s/it]
  6%|███████▋                                                                                                                     | 64/1041 [08:05<2:03:08,  7.56s/it]
  6%|███████▊                                                                                                                     | 65/1041 [08:12<2:03:00,  7.56s/it]
  6%|███████▉                                                                                                                     | 66/1041 [08:20<2:02:53,  7.56s/it]
  6%|████████                                                                                                                     | 67/1041 [08:28<2:02:46,  7.56s/it]
  7%|████████▏                                                                                                                    | 68/1041 [08:35<2:02:38,  7.56s/it]
  7%|████████▎                                                                                                                    | 69/1041 [08:43<2:02:30,  7.56s/it]
  7%|████████▍                                                                                                                    | 70/1041 [08:50<2:02:22,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.03601', 'grad_norm': '0.01239', 'learning_rate': '0.000138', 'ppl': '1.037', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '63.2', 'tokens/total': 1146880, 'tokens/trainable': 599266, 'epoch': '0.2012'}

  7%|████████▍                                                                                                                    | 70/1041 [08:50<2:02:22,  7.56s/it]
  7%|████████▌                                                                                                                    | 71/1041 [08:58<2:02:14,  7.56s/it]
  7%|████████▋                                                                                                                    | 72/1041 [09:05<2:02:06,  7.56s/it]
  7%|████████▊                                                                                                                    | 73/1041 [09:13<2:01:59,  7.56s/it]
  7%|████████▉                                                                                                                    | 74/1041 [09:21<2:01:51,  7.56s/it]
  7%|█████████                                                                                                                    | 75/1041 [09:28<2:01:42,  7.56s/it]
  7%|█████████▏                                                                                                                   | 76/1041 [09:36<2:01:34,  7.56s/it]
  7%|█████████▏                                                                                                                   | 77/1041 [09:43<2:01:27,  7.56s/it]
  7%|█████████▎                                                                                                                   | 78/1041 [09:51<2:01:18,  7.56s/it]
  8%|█████████▍                                                                                                                   | 79/1041 [09:58<2:01:12,  7.56s/it]
  8%|█████████▌                                                                                                                   | 80/1041 [10:06<2:01:04,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.01981', 'grad_norm': '0.01054', 'learning_rate': '0.000158', 'ppl': '1.02', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '75.26', 'tokens/total': 1310720, 'tokens/trainable': 684447, 'epoch': '0.23'}

  8%|█████████▌                                                                                                                   | 80/1041 [10:06<2:01:04,  7.56s/it]
  8%|█████████▋                                                                                                                   | 81/1041 [10:13<2:00:59,  7.56s/it]
  8%|█████████▊                                                                                                                   | 82/1041 [10:21<2:00:52,  7.56s/it]
  8%|█████████▉                                                                                                                   | 83/1041 [10:29<2:00:45,  7.56s/it]
  8%|██████████                                                                                                                   | 84/1041 [10:36<2:00:39,  7.56s/it]
  8%|██████████▏                                                                                                                  | 85/1041 [10:44<2:00:30,  7.56s/it]
  8%|██████████▎                                                                                                                  | 86/1041 [10:51<2:00:23,  7.56s/it]
  8%|██████████▍                                                                                                                  | 87/1041 [10:59<2:00:14,  7.56s/it]
  8%|██████████▌                                                                                                                  | 88/1041 [11:06<2:00:05,  7.56s/it]
  9%|██████████▋                                                                                                                  | 89/1041 [11:14<1:59:56,  7.56s/it]
  9%|██████████▊                                                                                                                  | 90/1041 [11:22<1:59:50,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.01329', 'grad_norm': '0.01094', 'learning_rate': '0.000178', 'ppl': '1.013', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '79.43', 'tokens/total': 1474560, 'tokens/trainable': 769663, 'epoch': '0.2587'}

  9%|██████████▊                                                                                                                  | 90/1041 [11:22<1:59:50,  7.56s/it]
  9%|██████████▉                                                                                                                  | 91/1041 [11:29<1:59:44,  7.56s/it]
  9%|███████████                                                                                                                  | 92/1041 [11:37<1:59:36,  7.56s/it]
  9%|███████████▏                                                                                                                 | 93/1041 [11:44<1:59:28,  7.56s/it]
  9%|███████████▎                                                                                                                 | 94/1041 [11:52<1:59:21,  7.56s/it]
  9%|███████████▍                                                                                                                 | 95/1041 [11:59<1:59:14,  7.56s/it]
  9%|███████████▌                                                                                                                 | 96/1041 [12:07<1:59:05,  7.56s/it]
  9%|███████████▋                                                                                                                 | 97/1041 [12:14<1:58:59,  7.56s/it]
  9%|███████████▊                                                                                                                 | 98/1041 [12:22<1:58:51,  7.56s/it]
 10%|███████████▉                                                                                                                 | 99/1041 [12:30<1:58:43,  7.56s/it]
 10%|███████████▉                                                                                                                | 100/1041 [12:37<1:58:35,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.007035', 'grad_norm': '0.004912', 'learning_rate': '0.000198', 'ppl': '1.007', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.63', 'tokens/total': 1638400, 'tokens/trainable': 855171, 'epoch': '0.2875'}

 10%|███████████▉                                                                                                                | 100/1041 [12:37<1:58:35,  7.56s/it]
 10%|████████████                                                                                                                | 101/1041 [12:45<1:58:29,  7.56s/it]
 10%|████████████▏                                                                                                               | 102/1041 [12:52<1:58:21,  7.56s/it]
 10%|████████████▎                                                                                                               | 103/1041 [13:00<1:58:16,  7.57s/it]
 10%|████████████▍                                                                                                               | 104/1041 [13:07<1:58:07,  7.56s/it]
 10%|████████████▌                                                                                                               | 105/1041 [13:15<1:57:59,  7.56s/it]
 10%|████████████▋                                                                                                               | 106/1041 [13:23<1:57:51,  7.56s/it]
 10%|████████████▋                                                                                                               | 107/1041 [13:30<1:57:44,  7.56s/it]
 10%|████████████▊                                                                                                               | 108/1041 [13:38<1:57:36,  7.56s/it]
 10%|████████████▉                                                                                                               | 109/1041 [13:45<1:57:27,  7.56s/it]
 11%|█████████████                                                                                                               | 110/1041 [13:53<1:57:19,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.006047', 'grad_norm': '0.009628', 'learning_rate': '0.0002', 'ppl': '1.006', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '62.93', 'tokens/total': 1802240, 'tokens/trainable': 941076, 'epoch': '0.3162'}

 11%|█████████████                                                                                                               | 110/1041 [13:53<1:57:19,  7.56s/it]
 11%|█████████████▏                                                                                                              | 111/1041 [14:00<1:57:12,  7.56s/it]
 11%|█████████████▎                                                                                                              | 112/1041 [14:08<1:57:04,  7.56s/it]
 11%|█████████████▍                                                                                                              | 113/1041 [14:15<1:56:58,  7.56s/it]
 11%|█████████████▌                                                                                                              | 114/1041 [14:23<1:56:50,  7.56s/it]
 11%|█████████████▋                                                                                                              | 115/1041 [14:31<1:56:44,  7.56s/it]
 11%|█████████████▊                                                                                                              | 116/1041 [14:38<1:56:36,  7.56s/it]
 11%|█████████████▉                                                                                                              | 117/1041 [14:46<1:56:30,  7.57s/it]
 11%|██████████████                                                                                                              | 118/1041 [14:53<1:56:21,  7.56s/it]
 11%|██████████████▏                                                                                                             | 119/1041 [15:01<1:56:13,  7.56s/it]
 12%|██████████████▎                                                                                                             | 120/1041 [15:08<1:56:05,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.006244', 'grad_norm': '0.006183', 'learning_rate': '0.0001998', 'ppl': '1.006', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.17', 'tokens/total': 1966080, 'tokens/trainable': 1026812, 'epoch': '0.345'}

 12%|██████████████▎                                                                                                             | 120/1041 [15:08<1:56:05,  7.56s/it]
 12%|██████████████▍                                                                                                             | 121/1041 [15:16<1:55:58,  7.56s/it]
 12%|██████████████▌                                                                                                             | 122/1041 [15:24<1:55:50,  7.56s/it]
 12%|██████████████▋                                                                                                             | 123/1041 [15:31<1:55:42,  7.56s/it]
 12%|██████████████▊                                                                                                             | 124/1041 [15:39<1:55:35,  7.56s/it]
 12%|██████████████▉                                                                                                             | 125/1041 [15:46<1:55:27,  7.56s/it]
 12%|███████████████                                                                                                             | 126/1041 [15:54<1:55:19,  7.56s/it]
 12%|███████████████▏                                                                                                            | 127/1041 [16:01<1:55:11,  7.56s/it]
 12%|███████████████▏                                                                                                            | 128/1041 [16:09<1:55:05,  7.56s/it]
 12%|███████████████▎                                                                                                            | 129/1041 [16:16<1:54:58,  7.56s/it]
 12%|███████████████▍                                                                                                            | 130/1041 [16:24<1:54:50,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.00259', 'grad_norm': '0.004522', 'learning_rate': '0.0001995', 'ppl': '1.003', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.83', 'tokens/total': 2129920, 'tokens/trainable': 1112072, 'epoch': '0.3737'}

 12%|███████████████▍                                                                                                            | 130/1041 [16:24<1:54:50,  7.56s/it]
 13%|███████████████▌                                                                                                            | 131/1041 [16:32<1:54:42,  7.56s/it]
 13%|███████████████▋                                                                                                            | 132/1041 [16:39<1:54:34,  7.56s/it]
 13%|███████████████▊                                                                                                            | 133/1041 [16:47<1:54:26,  7.56s/it]
 13%|███████████████▉                                                                                                            | 134/1041 [16:54<1:54:20,  7.56s/it]
 13%|████████████████                                                                                                            | 135/1041 [17:02<1:54:12,  7.56s/it]
 13%|████████████████▏                                                                                                           | 136/1041 [17:09<1:54:06,  7.56s/it]
 13%|████████████████▎                                                                                                           | 137/1041 [17:17<1:54:00,  7.57s/it]
 13%|████████████████▍                                                                                                           | 138/1041 [17:25<1:53:51,  7.57s/it]
 13%|████████████████▌                                                                                                           | 139/1041 [17:32<1:53:45,  7.57s/it]
 13%|████████████████▋                                                                                                           | 140/1041 [17:40<1:53:36,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.002697', 'grad_norm': '0.001101', 'learning_rate': '0.0001992', 'ppl': '1.003', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.13', 'tokens/total': 2293760, 'tokens/trainable': 1197485, 'epoch': '0.4024'}

 13%|████████████████▋                                                                                                           | 140/1041 [17:40<1:53:36,  7.57s/it]
 14%|████████████████▊                                                                                                           | 141/1041 [17:47<1:53:28,  7.57s/it]
 14%|████████████████▉                                                                                                           | 142/1041 [17:55<1:53:19,  7.56s/it]
 14%|█████████████████                                                                                                           | 143/1041 [18:02<1:53:11,  7.56s/it]
 14%|█████████████████▏                                                                                                          | 144/1041 [18:10<1:53:03,  7.56s/it]
 14%|█████████████████▎                                                                                                          | 145/1041 [18:18<1:52:55,  7.56s/it]
 14%|█████████████████▍                                                                                                          | 146/1041 [18:25<1:52:49,  7.56s/it]
 14%|█████████████████▌                                                                                                          | 147/1041 [18:33<1:52:41,  7.56s/it]
 14%|█████████████████▋                                                                                                          | 148/1041 [18:40<1:52:35,  7.56s/it]
 14%|█████████████████▋                                                                                                          | 149/1041 [18:48<1:52:28,  7.57s/it]
 14%|█████████████████▊                                                                                                          | 150/1041 [18:55<1:52:20,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.00419', 'grad_norm': '0.003355', 'learning_rate': '0.0001987', 'ppl': '1.004', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.94', 'tokens/total': 2457600, 'tokens/trainable': 1282691, 'epoch': '0.4312'}

 14%|█████████████████▊                                                                                                          | 150/1041 [18:55<1:52:20,  7.57s/it]
 15%|█████████████████▉                                                                                                          | 151/1041 [19:03<1:52:12,  7.56s/it]
 15%|██████████████████                                                                                                          | 152/1041 [19:10<1:52:04,  7.56s/it]
 15%|██████████████████▏                                                                                                         | 153/1041 [19:18<1:51:56,  7.56s/it]
 15%|██████████████████▎                                                                                                         | 154/1041 [19:26<1:51:48,  7.56s/it]
 15%|██████████████████▍                                                                                                         | 155/1041 [19:33<1:51:41,  7.56s/it]
 15%|██████████████████▌                                                                                                         | 156/1041 [19:41<1:51:34,  7.56s/it]
 15%|██████████████████▋                                                                                                         | 157/1041 [19:48<1:51:25,  7.56s/it]
 15%|██████████████████▊                                                                                                         | 158/1041 [19:56<1:51:17,  7.56s/it]
 15%|██████████████████▉                                                                                                         | 159/1041 [20:03<1:51:10,  7.56s/it]
 15%|███████████████████                                                                                                         | 160/1041 [20:11<1:51:03,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.001551', 'grad_norm': '0.002657', 'learning_rate': '0.0001981', 'ppl': '1.002', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.18', 'tokens/total': 2621440, 'tokens/trainable': 1367835, 'epoch': '0.4599'}

 15%|███████████████████                                                                                                         | 160/1041 [20:11<1:51:03,  7.56s/it]
 15%|███████████████████▏                                                                                                        | 161/1041 [20:19<1:50:59,  7.57s/it]
 16%|███████████████████▎                                                                                                        | 162/1041 [20:26<1:50:51,  7.57s/it]
 16%|███████████████████▍                                                                                                        | 163/1041 [20:34<1:50:41,  7.56s/it]
 16%|███████████████████▌                                                                                                        | 164/1041 [20:41<1:50:33,  7.56s/it]
 16%|███████████████████▋                                                                                                        | 165/1041 [20:49<1:50:25,  7.56s/it]
 16%|███████████████████▊                                                                                                        | 166/1041 [20:56<1:50:17,  7.56s/it]
 16%|███████████████████▉                                                                                                        | 167/1041 [21:04<1:50:08,  7.56s/it]
 16%|████████████████████                                                                                                        | 168/1041 [21:11<1:50:01,  7.56s/it]
 16%|████████████████████▏                                                                                                       | 169/1041 [21:19<1:49:54,  7.56s/it]
 16%|████████████████████▏                                                                                                       | 170/1041 [21:27<1:49:47,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.001427', 'grad_norm': '0.002344', 'learning_rate': '0.0001974', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.73', 'tokens/total': 2785280, 'tokens/trainable': 1453587, 'epoch': '0.4887'}

 16%|████████████████████▏                                                                                                       | 170/1041 [21:27<1:49:47,  7.56s/it]
 16%|████████████████████▎                                                                                                       | 171/1041 [21:34<1:49:39,  7.56s/it]
 17%|████████████████████▍                                                                                                       | 172/1041 [21:42<1:49:31,  7.56s/it]
 17%|████████████████████▌                                                                                                       | 173/1041 [21:49<1:49:24,  7.56s/it]
 17%|████████████████████▋                                                                                                       | 174/1041 [21:57<1:49:18,  7.56s/it]
 17%|████████████████████▊                                                                                                       | 175/1041 [22:04<1:49:11,  7.57s/it]
 17%|████████████████████▉                                                                                                       | 176/1041 [22:12<1:49:05,  7.57s/it]
 17%|█████████████████████                                                                                                       | 177/1041 [22:20<1:48:58,  7.57s/it]
 17%|█████████████████████▏                                                                                                      | 178/1041 [22:27<1:48:49,  7.57s/it]
 17%|█████████████████████▎                                                                                                      | 179/1041 [22:35<1:48:42,  7.57s/it]
 17%|█████████████████████▍                                                                                                      | 180/1041 [22:42<1:48:35,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.002041', 'grad_norm': '0.003929', 'learning_rate': '0.0001965', 'ppl': '1.002', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.21', 'tokens/total': 2949120, 'tokens/trainable': 1539777, 'epoch': '0.5174'}

 17%|█████████████████████▍                                                                                                      | 180/1041 [22:42<1:48:35,  7.57s/it]
 17%|█████████████████████▌                                                                                                      | 181/1041 [22:50<1:48:28,  7.57s/it]
 17%|█████████████████████▋                                                                                                      | 182/1041 [22:57<1:48:20,  7.57s/it]
 18%|█████████████████████▊                                                                                                      | 183/1041 [23:05<1:48:11,  7.57s/it]
 18%|█████████████████████▉                                                                                                      | 184/1041 [23:13<1:48:03,  7.57s/it]
 18%|██████████████████████                                                                                                      | 185/1041 [23:20<1:47:56,  7.57s/it]
 18%|██████████████████████▏                                                                                                     | 186/1041 [23:28<1:47:48,  7.57s/it]
 18%|██████████████████████▎                                                                                                     | 187/1041 [23:35<1:47:41,  7.57s/it]
 18%|██████████████████████▍                                                                                                     | 188/1041 [23:43<1:47:33,  7.57s/it]
 18%|██████████████████████▌                                                                                                     | 189/1041 [23:50<1:47:26,  7.57s/it]
 18%|██████████████████████▋                                                                                                     | 190/1041 [23:58<1:47:18,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.003008', 'grad_norm': '0.004869', 'learning_rate': '0.0001956', 'ppl': '1.003', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.55', 'tokens/total': 3112960, 'tokens/trainable': 1626062, 'epoch': '0.5462'}

 18%|██████████████████████▋                                                                                                     | 190/1041 [23:58<1:47:18,  7.57s/it]
 18%|██████████████████████▊                                                                                                     | 191/1041 [24:05<1:47:11,  7.57s/it]
 18%|██████████████████████▊                                                                                                     | 192/1041 [24:13<1:47:03,  7.57s/it]
 19%|██████████████████████▉                                                                                                     | 193/1041 [24:21<1:46:56,  7.57s/it]
 19%|███████████████████████                                                                                                     | 194/1041 [24:28<1:46:48,  7.57s/it]
 19%|███████████████████████▏                                                                                                    | 195/1041 [24:36<1:46:40,  7.57s/it]
 19%|███████████████████████▎                                                                                                    | 196/1041 [24:43<1:46:32,  7.56s/it]
 19%|███████████████████████▍                                                                                                    | 197/1041 [24:51<1:46:24,  7.57s/it]
 19%|███████████████████████▌                                                                                                    | 198/1041 [24:58<1:46:16,  7.56s/it]
 19%|███████████████████████▋                                                                                                    | 199/1041 [25:06<1:46:10,  7.57s/it]
 19%|███████████████████████▊                                                                                                    | 200/1041 [25:14<1:46:02,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.001355', 'grad_norm': '0.001834', 'learning_rate': '0.0001946', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '66.99', 'tokens/total': 3276800, 'tokens/trainable': 1712189, 'epoch': '0.5749'}

 19%|███████████████████████▊                                                                                                    | 200/1041 [25:14<1:46:02,  7.57s/it][2026-03-15 11:33:04,000] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-200

 19%|███████████████████████▉                                                                                                    | 201/1041 [25:23<1:52:09,  8.01s/it]
 19%|████████████████████████                                                                                                    | 202/1041 [25:30<1:50:10,  7.88s/it]
 20%|████████████████████████▏                                                                                                   | 203/1041 [25:38<1:48:44,  7.79s/it]
 20%|████████████████████████▎                                                                                                   | 204/1041 [25:45<1:47:41,  7.72s/it]
 20%|████████████████████████▍                                                                                                   | 205/1041 [25:53<1:46:54,  7.67s/it]
 20%|████████████████████████▌                                                                                                   | 206/1041 [26:00<1:46:20,  7.64s/it]
 20%|████████████████████████▋                                                                                                   | 207/1041 [26:08<1:45:54,  7.62s/it]
 20%|████████████████████████▊                                                                                                   | 208/1041 [26:16<1:45:32,  7.60s/it]
 20%|████████████████████████▉                                                                                                   | 209/1041 [26:23<1:45:16,  7.59s/it]
 20%|█████████████████████████                                                                                                   | 210/1041 [26:31<1:45:01,  7.58s/it]
                                                                                                                                                                      
{'loss': '0.002425', 'grad_norm': '0.001872', 'learning_rate': '0.0001935', 'ppl': '1.002', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '77.24', 'tokens/total': 3440640, 'tokens/trainable': 1797784, 'epoch': '0.6037'}

 20%|█████████████████████████                                                                                                   | 210/1041 [26:31<1:45:01,  7.58s/it]
 20%|█████████████████████████▏                                                                                                  | 211/1041 [26:38<1:44:49,  7.58s/it]
 20%|█████████████████████████▎                                                                                                  | 212/1041 [26:46<1:44:40,  7.58s/it]
 20%|█████████████████████████▎                                                                                                  | 213/1041 [26:53<1:44:31,  7.57s/it]
 21%|█████████████████████████▍                                                                                                  | 214/1041 [27:01<1:44:23,  7.57s/it]
 21%|█████████████████████████▌                                                                                                  | 215/1041 [27:09<1:44:13,  7.57s/it]
 21%|█████████████████████████▋                                                                                                  | 216/1041 [27:16<1:44:05,  7.57s/it]
 21%|█████████████████████████▊                                                                                                  | 217/1041 [27:24<1:43:57,  7.57s/it]
 21%|█████████████████████████▉                                                                                                  | 218/1041 [27:31<1:43:48,  7.57s/it]
 21%|██████████████████████████                                                                                                  | 219/1041 [27:39<1:43:42,  7.57s/it]
 21%|██████████████████████████▏                                                                                                 | 220/1041 [27:46<1:43:34,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0008296', 'grad_norm': '0.00136', 'learning_rate': '0.0001922', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.03', 'tokens/total': 3604480, 'tokens/trainable': 1883236, 'epoch': '0.6324'}

 21%|██████████████████████████▏                                                                                                 | 220/1041 [27:46<1:43:34,  7.57s/it]
 21%|██████████████████████████▎                                                                                                 | 221/1041 [27:54<1:43:27,  7.57s/it]
 21%|██████████████████████████▍                                                                                                 | 222/1041 [28:02<1:43:17,  7.57s/it]
 21%|██████████████████████████▌                                                                                                 | 223/1041 [28:09<1:43:09,  7.57s/it]
 22%|██████████████████████████▋                                                                                                 | 224/1041 [28:17<1:43:01,  7.57s/it]
 22%|██████████████████████████▊                                                                                                 | 225/1041 [28:24<1:42:54,  7.57s/it]
 22%|██████████████████████████▉                                                                                                 | 226/1041 [28:32<1:42:46,  7.57s/it]
 22%|███████████████████████████                                                                                                 | 227/1041 [28:39<1:42:37,  7.56s/it]
 22%|███████████████████████████▏                                                                                                | 228/1041 [28:47<1:42:28,  7.56s/it]
 22%|███████████████████████████▎                                                                                                | 229/1041 [28:54<1:42:21,  7.56s/it]
 22%|███████████████████████████▍                                                                                                | 230/1041 [29:02<1:42:13,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.0007662', 'grad_norm': '0.002231', 'learning_rate': '0.0001909', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.88', 'tokens/total': 3768320, 'tokens/trainable': 1968515, 'epoch': '0.6612'}

 22%|███████████████████████████▍                                                                                                | 230/1041 [29:02<1:42:13,  7.56s/it]
 22%|███████████████████████████▌                                                                                                | 231/1041 [29:10<1:42:06,  7.56s/it]
 22%|███████████████████████████▋                                                                                                | 232/1041 [29:17<1:41:59,  7.56s/it]
 22%|███████████████████████████▊                                                                                                | 233/1041 [29:25<1:41:51,  7.56s/it]
 22%|███████████████████████████▊                                                                                                | 234/1041 [29:32<1:41:44,  7.56s/it]
 23%|███████████████████████████▉                                                                                                | 235/1041 [29:40<1:41:37,  7.56s/it]
 23%|████████████████████████████                                                                                                | 236/1041 [29:47<1:41:28,  7.56s/it]
 23%|████████████████████████████▏                                                                                               | 237/1041 [29:55<1:41:20,  7.56s/it]
 23%|████████████████████████████▎                                                                                               | 238/1041 [30:03<1:41:15,  7.57s/it]
 23%|████████████████████████████▍                                                                                               | 239/1041 [30:10<1:41:08,  7.57s/it]
 23%|████████████████████████████▌                                                                                               | 240/1041 [30:18<1:41:00,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0004436', 'grad_norm': '0.0004522', 'learning_rate': '0.0001894', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.77', 'tokens/total': 3932160, 'tokens/trainable': 2054310, 'epoch': '0.6899'}

 23%|████████████████████████████▌                                                                                               | 240/1041 [30:18<1:41:00,  7.57s/it]
 23%|████████████████████████████▋                                                                                               | 241/1041 [30:25<1:40:53,  7.57s/it]
 23%|████████████████████████████▊                                                                                               | 242/1041 [30:33<1:40:46,  7.57s/it]
 23%|████████████████████████████▉                                                                                               | 243/1041 [30:40<1:40:39,  7.57s/it]
 23%|█████████████████████████████                                                                                               | 244/1041 [30:48<1:40:30,  7.57s/it]
 24%|█████████████████████████████▏                                                                                              | 245/1041 [30:56<1:40:22,  7.57s/it]
 24%|█████████████████████████████▎                                                                                              | 246/1041 [31:03<1:40:14,  7.57s/it]
 24%|█████████████████████████████▍                                                                                              | 247/1041 [31:11<1:40:06,  7.57s/it]
 24%|█████████████████████████████▌                                                                                              | 248/1041 [31:18<1:39:59,  7.57s/it]
 24%|█████████████████████████████▋                                                                                              | 249/1041 [31:26<1:39:52,  7.57s/it]
 24%|█████████████████████████████▊                                                                                              | 250/1041 [31:33<1:39:44,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.001154', 'grad_norm': '0.0004165', 'learning_rate': '0.0001879', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.72', 'tokens/total': 4096000, 'tokens/trainable': 2139733, 'epoch': '0.7186'}

 24%|█████████████████████████████▊                                                                                              | 250/1041 [31:33<1:39:44,  7.57s/it]
 24%|█████████████████████████████▉                                                                                              | 251/1041 [31:41<1:39:37,  7.57s/it]
 24%|██████████████████████████████                                                                                              | 252/1041 [31:49<1:39:29,  7.57s/it]
 24%|██████████████████████████████▏                                                                                             | 253/1041 [31:56<1:39:20,  7.56s/it]
 24%|██████████████████████████████▎                                                                                             | 254/1041 [32:04<1:39:12,  7.56s/it]
 24%|██████████████████████████████▎                                                                                             | 255/1041 [32:11<1:39:07,  7.57s/it]
 25%|██████████████████████████████▍                                                                                             | 256/1041 [32:19<1:38:59,  7.57s/it]
 25%|██████████████████████████████▌                                                                                             | 257/1041 [32:26<1:38:51,  7.57s/it]
 25%|██████████████████████████████▋                                                                                             | 258/1041 [32:34<1:38:43,  7.57s/it]
 25%|██████████████████████████████▊                                                                                             | 259/1041 [32:41<1:38:35,  7.57s/it]
 25%|██████████████████████████████▉                                                                                             | 260/1041 [32:49<1:38:26,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.0006378', 'grad_norm': '0.0004479', 'learning_rate': '0.0001862', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.83', 'tokens/total': 4259840, 'tokens/trainable': 2224789, 'epoch': '0.7474'}

 25%|██████████████████████████████▉                                                                                             | 260/1041 [32:49<1:38:26,  7.56s/it]
 25%|███████████████████████████████                                                                                             | 261/1041 [32:57<1:38:19,  7.56s/it]
 25%|███████████████████████████████▏                                                                                            | 262/1041 [33:04<1:38:13,  7.56s/it]
 25%|███████████████████████████████▎                                                                                            | 263/1041 [33:12<1:38:05,  7.57s/it]
 25%|███████████████████████████████▍                                                                                            | 264/1041 [33:19<1:37:58,  7.57s/it]
 25%|███████████████████████████████▌                                                                                            | 265/1041 [33:27<1:37:51,  7.57s/it]
 26%|███████████████████████████████▋                                                                                            | 266/1041 [33:34<1:37:44,  7.57s/it]
 26%|███████████████████████████████▊                                                                                            | 267/1041 [33:42<1:37:36,  7.57s/it]
 26%|███████████████████████████████▉                                                                                            | 268/1041 [33:50<1:37:28,  7.57s/it]
 26%|████████████████████████████████                                                                                            | 269/1041 [33:57<1:37:23,  7.57s/it]
 26%|████████████████████████████████▏                                                                                           | 270/1041 [34:05<1:37:15,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0003907', 'grad_norm': '0.000155', 'learning_rate': '0.0001845', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.76', 'tokens/total': 4423680, 'tokens/trainable': 2310776, 'epoch': '0.7761'}

 26%|████████████████████████████████▏                                                                                           | 270/1041 [34:05<1:37:15,  7.57s/it]
 26%|████████████████████████████████▎                                                                                           | 271/1041 [34:12<1:37:07,  7.57s/it]
 26%|████████████████████████████████▍                                                                                           | 272/1041 [34:20<1:36:59,  7.57s/it]
 26%|████████████████████████████████▌                                                                                           | 273/1041 [34:27<1:36:52,  7.57s/it]
 26%|████████████████████████████████▋                                                                                           | 274/1041 [34:35<1:36:44,  7.57s/it]
 26%|████████████████████████████████▊                                                                                           | 275/1041 [34:43<1:36:36,  7.57s/it]
 27%|████████████████████████████████▉                                                                                           | 276/1041 [34:50<1:36:28,  7.57s/it]
 27%|████████████████████████████████▉                                                                                           | 277/1041 [34:58<1:36:21,  7.57s/it]
 27%|█████████████████████████████████                                                                                           | 278/1041 [35:05<1:36:14,  7.57s/it]
 27%|█████████████████████████████████▏                                                                                          | 279/1041 [35:13<1:36:07,  7.57s/it]
 27%|█████████████████████████████████▎                                                                                          | 280/1041 [35:20<1:35:59,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0004373', 'grad_norm': '0.0001835', 'learning_rate': '0.0001827', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.54', 'tokens/total': 4587520, 'tokens/trainable': 2396449, 'epoch': '0.8049'}

 27%|█████████████████████████████████▎                                                                                          | 280/1041 [35:20<1:35:59,  7.57s/it]
 27%|█████████████████████████████████▍                                                                                          | 281/1041 [35:28<1:35:51,  7.57s/it]
 27%|█████████████████████████████████▌                                                                                          | 282/1041 [35:36<1:35:42,  7.57s/it]
 27%|█████████████████████████████████▋                                                                                          | 283/1041 [35:43<1:35:34,  7.56s/it]
 27%|█████████████████████████████████▊                                                                                          | 284/1041 [35:51<1:35:26,  7.56s/it]
 27%|█████████████████████████████████▉                                                                                          | 285/1041 [35:58<1:35:18,  7.56s/it]
 27%|██████████████████████████████████                                                                                          | 286/1041 [36:06<1:35:11,  7.56s/it]
 28%|██████████████████████████████████▏                                                                                         | 287/1041 [36:13<1:35:03,  7.56s/it]
 28%|██████████████████████████████████▎                                                                                         | 288/1041 [36:21<1:34:55,  7.56s/it]
 28%|██████████████████████████████████▍                                                                                         | 289/1041 [36:28<1:34:49,  7.57s/it]
 28%|██████████████████████████████████▌                                                                                         | 290/1041 [36:36<1:34:41,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.0006591', 'grad_norm': '0.002758', 'learning_rate': '0.0001807', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.07', 'tokens/total': 4751360, 'tokens/trainable': 2481663, 'epoch': '0.8336'}

 28%|██████████████████████████████████▌                                                                                         | 290/1041 [36:36<1:34:41,  7.56s/it]
 28%|██████████████████████████████████▋                                                                                         | 291/1041 [36:44<1:34:33,  7.57s/it]
 28%|██████████████████████████████████▊                                                                                         | 292/1041 [36:51<1:34:26,  7.57s/it]
 28%|██████████████████████████████████▉                                                                                         | 293/1041 [36:59<1:34:19,  7.57s/it]
 28%|███████████████████████████████████                                                                                         | 294/1041 [37:06<1:34:12,  7.57s/it]
 28%|███████████████████████████████████▏                                                                                        | 295/1041 [37:14<1:34:07,  7.57s/it]
 28%|███████████████████████████████████▎                                                                                        | 296/1041 [37:21<1:33:59,  7.57s/it]
 29%|███████████████████████████████████▍                                                                                        | 297/1041 [37:29<1:33:51,  7.57s/it]
 29%|███████████████████████████████████▍                                                                                        | 298/1041 [37:37<1:33:43,  7.57s/it]
 29%|███████████████████████████████████▌                                                                                        | 299/1041 [37:44<1:33:34,  7.57s/it]
 29%|███████████████████████████████████▋                                                                                        | 300/1041 [37:52<1:33:25,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0006577', 'grad_norm': '0.001793', 'learning_rate': '0.0001787', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.33', 'tokens/total': 4915200, 'tokens/trainable': 2567390, 'epoch': '0.8624'}

 29%|███████████████████████████████████▋                                                                                        | 300/1041 [37:52<1:33:25,  7.57s/it]
 29%|███████████████████████████████████▊                                                                                        | 301/1041 [37:59<1:33:19,  7.57s/it]
 29%|███████████████████████████████████▉                                                                                        | 302/1041 [38:07<1:33:12,  7.57s/it]
 29%|████████████████████████████████████                                                                                        | 303/1041 [38:14<1:33:04,  7.57s/it]
 29%|████████████████████████████████████▏                                                                                       | 304/1041 [38:22<1:32:56,  7.57s/it]
 29%|████████████████████████████████████▎                                                                                       | 305/1041 [38:30<1:32:48,  7.57s/it]
 29%|████████████████████████████████████▍                                                                                       | 306/1041 [38:37<1:32:40,  7.56s/it]
 29%|████████████████████████████████████▌                                                                                       | 307/1041 [38:45<1:32:32,  7.57s/it]
 30%|████████████████████████████████████▋                                                                                       | 308/1041 [38:52<1:32:26,  7.57s/it]
 30%|████████████████████████████████████▊                                                                                       | 309/1041 [39:00<1:32:18,  7.57s/it]
 30%|████████████████████████████████████▉                                                                                       | 310/1041 [39:07<1:32:11,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0006311', 'grad_norm': '0.0004986', 'learning_rate': '0.0001766', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.77', 'tokens/total': 5079040, 'tokens/trainable': 2652923, 'epoch': '0.8911'}

 30%|████████████████████████████████████▉                                                                                       | 310/1041 [39:07<1:32:11,  7.57s/it]
 30%|█████████████████████████████████████                                                                                       | 311/1041 [39:15<1:32:04,  7.57s/it]
 30%|█████████████████████████████████████▏                                                                                      | 312/1041 [39:22<1:31:57,  7.57s/it]
 30%|█████████████████████████████████████▎                                                                                      | 313/1041 [39:30<1:31:49,  7.57s/it]
 30%|█████████████████████████████████████▍                                                                                      | 314/1041 [39:38<1:31:42,  7.57s/it]
 30%|█████████████████████████████████████▌                                                                                      | 315/1041 [39:45<1:31:34,  7.57s/it]
 30%|█████████████████████████████████████▋                                                                                      | 316/1041 [39:53<1:31:26,  7.57s/it]
 30%|█████████████████████████████████████▊                                                                                      | 317/1041 [40:00<1:31:17,  7.57s/it]
 31%|█████████████████████████████████████▉                                                                                      | 318/1041 [40:08<1:31:11,  7.57s/it]
 31%|█████████████████████████████████████▉                                                                                      | 319/1041 [40:15<1:31:03,  7.57s/it]
 31%|██████████████████████████████████████                                                                                      | 320/1041 [40:23<1:30:56,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002498', 'grad_norm': '6.242e-05', 'learning_rate': '0.0001744', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.72', 'tokens/total': 5242880, 'tokens/trainable': 2738772, 'epoch': '0.9199'}

 31%|██████████████████████████████████████                                                                                      | 320/1041 [40:23<1:30:56,  7.57s/it]
 31%|██████████████████████████████████████▏                                                                                     | 321/1041 [40:31<1:30:49,  7.57s/it]
 31%|██████████████████████████████████████▎                                                                                     | 322/1041 [40:38<1:30:41,  7.57s/it]
 31%|██████████████████████████████████████▍                                                                                     | 323/1041 [40:46<1:30:33,  7.57s/it]
 31%|██████████████████████████████████████▌                                                                                     | 324/1041 [40:53<1:30:25,  7.57s/it]
 31%|██████████████████████████████████████▋                                                                                     | 325/1041 [41:01<1:30:18,  7.57s/it]
 31%|██████████████████████████████████████▊                                                                                     | 326/1041 [41:08<1:30:09,  7.57s/it]
 31%|██████████████████████████████████████▉                                                                                     | 327/1041 [41:16<1:30:02,  7.57s/it]
 32%|███████████████████████████████████████                                                                                     | 328/1041 [41:24<1:29:54,  7.57s/it]
 32%|███████████████████████████████████████▏                                                                                    | 329/1041 [41:31<1:29:47,  7.57s/it]
 32%|███████████████████████████████████████▎                                                                                    | 330/1041 [41:39<1:29:38,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.0009497', 'grad_norm': '0.0005613', 'learning_rate': '0.0001722', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.47', 'tokens/total': 5406720, 'tokens/trainable': 2824026, 'epoch': '0.9486'}

 32%|███████████████████████████████████████▎                                                                                    | 330/1041 [41:39<1:29:38,  7.56s/it]
 32%|███████████████████████████████████████▍                                                                                    | 331/1041 [41:46<1:29:30,  7.56s/it]
 32%|███████████████████████████████████████▌                                                                                    | 332/1041 [41:54<1:29:22,  7.56s/it]
 32%|███████████████████████████████████████▋                                                                                    | 333/1041 [42:01<1:29:16,  7.57s/it]
 32%|███████████████████████████████████████▊                                                                                    | 334/1041 [42:09<1:29:08,  7.57s/it]
 32%|███████████████████████████████████████▉                                                                                    | 335/1041 [42:17<1:29:02,  7.57s/it]
 32%|████████████████████████████████████████                                                                                    | 336/1041 [42:24<1:28:54,  7.57s/it]
 32%|████████████████████████████████████████▏                                                                                   | 337/1041 [42:32<1:28:46,  7.57s/it]
 32%|████████████████████████████████████████▎                                                                                   | 338/1041 [42:39<1:28:38,  7.57s/it]
 33%|████████████████████████████████████████▍                                                                                   | 339/1041 [42:47<1:28:30,  7.56s/it]
 33%|████████████████████████████████████████▍                                                                                   | 340/1041 [42:54<1:28:22,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.0004737', 'grad_norm': '0.0006754', 'learning_rate': '0.0001698', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '66.62', 'tokens/total': 5570560, 'tokens/trainable': 2909441, 'epoch': '0.9774'}

 33%|████████████████████████████████████████▍                                                                                   | 340/1041 [42:54<1:28:22,  7.56s/it]
 33%|████████████████████████████████████████▌                                                                                   | 341/1041 [43:02<1:28:15,  7.56s/it]
 33%|████████████████████████████████████████▋                                                                                   | 342/1041 [43:09<1:28:08,  7.57s/it]
 33%|████████████████████████████████████████▊                                                                                   | 343/1041 [43:17<1:28:02,  7.57s/it]
 33%|████████████████████████████████████████▉                                                                                   | 344/1041 [43:25<1:27:53,  7.57s/it]
 33%|█████████████████████████████████████████                                                                                   | 345/1041 [43:32<1:27:45,  7.57s/it]
 33%|█████████████████████████████████████████▏                                                                                  | 346/1041 [43:40<1:27:37,  7.56s/it]
 33%|█████████████████████████████████████████▎                                                                                  | 347/1041 [43:47<1:27:29,  7.56s/it]
 33%|█████████████████████████████████████████▍                                                                                  | 348/1041 [43:54<1:24:17,  7.30s/it]
 34%|█████████████████████████████████████████▌                                                                                  | 349/1041 [44:03<1:29:59,  7.80s/it]
 34%|█████████████████████████████████████████▋                                                                                  | 350/1041 [44:11<1:29:03,  7.73s/it]
                                                                                                                                                                      
{'loss': '0.0003492', 'grad_norm': '0.0004158', 'learning_rate': '0.0001674', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.13', 'tokens/total': 5732352, 'tokens/trainable': 2993754, 'epoch': '1.006'}

 34%|█████████████████████████████████████████▋                                                                                  | 350/1041 [44:11<1:29:03,  7.73s/it]
 34%|█████████████████████████████████████████▊                                                                                  | 351/1041 [44:18<1:28:22,  7.69s/it]
 34%|█████████████████████████████████████████▉                                                                                  | 352/1041 [44:26<1:27:51,  7.65s/it]
 34%|██████████████████████████████████████████                                                                                  | 353/1041 [44:33<1:27:27,  7.63s/it]
 34%|██████████████████████████████████████████▏                                                                                 | 354/1041 [44:41<1:27:07,  7.61s/it]
 34%|██████████████████████████████████████████▎                                                                                 | 355/1041 [44:48<1:26:50,  7.60s/it]
 34%|██████████████████████████████████████████▍                                                                                 | 356/1041 [44:56<1:26:37,  7.59s/it]
 34%|██████████████████████████████████████████▌                                                                                 | 357/1041 [45:04<1:26:27,  7.58s/it]
 34%|██████████████████████████████████████████▋                                                                                 | 358/1041 [45:11<1:26:17,  7.58s/it]
 34%|██████████████████████████████████████████▊                                                                                 | 359/1041 [45:19<1:26:06,  7.58s/it]
 35%|██████████████████████████████████████████▉                                                                                 | 360/1041 [45:26<1:25:58,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0003497', 'grad_norm': '0.0009145', 'learning_rate': '0.0001649', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.05', 'tokens/total': 5896192, 'tokens/trainable': 3079326, 'epoch': '1.034'}

 35%|██████████████████████████████████████████▉                                                                                 | 360/1041 [45:26<1:25:58,  7.57s/it]
 35%|███████████████████████████████████████████                                                                                 | 361/1041 [45:34<1:25:50,  7.57s/it]
 35%|███████████████████████████████████████████                                                                                 | 362/1041 [45:41<1:25:41,  7.57s/it]
 35%|███████████████████████████████████████████▏                                                                                | 363/1041 [45:49<1:25:32,  7.57s/it]
 35%|███████████████████████████████████████████▎                                                                                | 364/1041 [45:57<1:25:25,  7.57s/it]
 35%|███████████████████████████████████████████▍                                                                                | 365/1041 [46:04<1:25:18,  7.57s/it]
 35%|███████████████████████████████████████████▌                                                                                | 366/1041 [46:12<1:25:11,  7.57s/it]
 35%|███████████████████████████████████████████▋                                                                                | 367/1041 [46:19<1:25:03,  7.57s/it]
 35%|███████████████████████████████████████████▊                                                                                | 368/1041 [46:27<1:24:55,  7.57s/it]
 35%|███████████████████████████████████████████▉                                                                                | 369/1041 [46:34<1:24:46,  7.57s/it]
 36%|████████████████████████████████████████████                                                                                | 370/1041 [46:42<1:24:38,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0003982', 'grad_norm': '0.0009921', 'learning_rate': '0.0001623', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.36', 'tokens/total': 6060032, 'tokens/trainable': 3165225, 'epoch': '1.063'}

 36%|████████████████████████████████████████████                                                                                | 370/1041 [46:42<1:24:38,  7.57s/it]
 36%|████████████████████████████████████████████▏                                                                               | 371/1041 [46:50<1:24:31,  7.57s/it]
 36%|████████████████████████████████████████████▎                                                                               | 372/1041 [46:57<1:24:23,  7.57s/it]
 36%|████████████████████████████████████████████▍                                                                               | 373/1041 [47:05<1:24:16,  7.57s/it]
 36%|████████████████████████████████████████████▌                                                                               | 374/1041 [47:12<1:24:10,  7.57s/it]
 36%|████████████████████████████████████████████▋                                                                               | 375/1041 [47:20<1:24:02,  7.57s/it]
 36%|████████████████████████████████████████████▊                                                                               | 376/1041 [47:27<1:23:54,  7.57s/it]
 36%|████████████████████████████████████████████▉                                                                               | 377/1041 [47:35<1:23:47,  7.57s/it]
 36%|█████████████████████████████████████████████                                                                               | 378/1041 [47:43<1:23:39,  7.57s/it]
 36%|█████████████████████████████████████████████▏                                                                              | 379/1041 [47:50<1:23:32,  7.57s/it]
 37%|█████████████████████████████████████████████▎                                                                              | 380/1041 [47:58<1:23:25,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002866', 'grad_norm': '0.0001092', 'learning_rate': '0.0001597', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.58', 'tokens/total': 6223872, 'tokens/trainable': 3250335, 'epoch': '1.092'}

 37%|█████████████████████████████████████████████▎                                                                              | 380/1041 [47:58<1:23:25,  7.57s/it]
 37%|█████████████████████████████████████████████▍                                                                              | 381/1041 [48:05<1:23:17,  7.57s/it]
 37%|█████████████████████████████████████████████▌                                                                              | 382/1041 [48:13<1:23:09,  7.57s/it]
 37%|█████████████████████████████████████████████▌                                                                              | 383/1041 [48:20<1:23:01,  7.57s/it]
 37%|█████████████████████████████████████████████▋                                                                              | 384/1041 [48:28<1:22:53,  7.57s/it]
 37%|█████████████████████████████████████████████▊                                                                              | 385/1041 [48:35<1:22:45,  7.57s/it]
 37%|█████████████████████████████████████████████▉                                                                              | 386/1041 [48:43<1:22:38,  7.57s/it]
 37%|██████████████████████████████████████████████                                                                              | 387/1041 [48:51<1:22:30,  7.57s/it]
 37%|██████████████████████████████████████████████▏                                                                             | 388/1041 [48:58<1:22:22,  7.57s/it]
 37%|██████████████████████████████████████████████▎                                                                             | 389/1041 [49:06<1:22:15,  7.57s/it]
 37%|██████████████████████████████████████████████▍                                                                             | 390/1041 [49:13<1:22:08,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0003087', 'grad_norm': '0.0006348', 'learning_rate': '0.000157', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.34', 'tokens/total': 6387712, 'tokens/trainable': 3335980, 'epoch': '1.121'}

 37%|██████████████████████████████████████████████▍                                                                             | 390/1041 [49:13<1:22:08,  7.57s/it]
 38%|██████████████████████████████████████████████▌                                                                             | 391/1041 [49:21<1:22:01,  7.57s/it]
 38%|██████████████████████████████████████████████▋                                                                             | 392/1041 [49:28<1:21:53,  7.57s/it]
 38%|██████████████████████████████████████████████▊                                                                             | 393/1041 [49:36<1:21:46,  7.57s/it]
 38%|██████████████████████████████████████████████▉                                                                             | 394/1041 [49:44<1:21:38,  7.57s/it]
 38%|███████████████████████████████████████████████                                                                             | 395/1041 [49:51<1:21:31,  7.57s/it]
 38%|███████████████████████████████████████████████▏                                                                            | 396/1041 [49:59<1:21:24,  7.57s/it]
 38%|███████████████████████████████████████████████▎                                                                            | 397/1041 [50:06<1:21:16,  7.57s/it]
 38%|███████████████████████████████████████████████▍                                                                            | 398/1041 [50:14<1:21:07,  7.57s/it]
 38%|███████████████████████████████████████████████▌                                                                            | 399/1041 [50:21<1:20:59,  7.57s/it]
 38%|███████████████████████████████████████████████▋                                                                            | 400/1041 [50:29<1:20:53,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0005004', 'grad_norm': '0.0002919', 'learning_rate': '0.0001542', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.43', 'tokens/total': 6551552, 'tokens/trainable': 3421472, 'epoch': '1.149'}

 38%|███████████████████████████████████████████████▋                                                                            | 400/1041 [50:29<1:20:53,  7.57s/it][2026-03-15 11:58:19,485] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-400

 39%|███████████████████████████████████████████████▊                                                                            | 401/1041 [50:38<1:24:56,  7.96s/it]
 39%|███████████████████████████████████████████████▉                                                                            | 402/1041 [50:46<1:23:32,  7.84s/it]
 39%|████████████████████████████████████████████████                                                                            | 403/1041 [50:53<1:22:33,  7.76s/it]
 39%|████████████████████████████████████████████████                                                                            | 404/1041 [51:01<1:21:48,  7.71s/it]
 39%|████████████████████████████████████████████████▏                                                                           | 405/1041 [51:08<1:21:14,  7.66s/it]
 39%|████████████████████████████████████████████████▎                                                                           | 406/1041 [51:16<1:20:49,  7.64s/it]
 39%|████████████████████████████████████████████████▍                                                                           | 407/1041 [51:23<1:20:29,  7.62s/it]
 39%|████████████████████████████████████████████████▌                                                                           | 408/1041 [51:31<1:20:13,  7.60s/it]
 39%|████████████████████████████████████████████████▋                                                                           | 409/1041 [51:39<1:19:59,  7.59s/it]
 39%|████████████████████████████████████████████████▊                                                                           | 410/1041 [51:46<1:19:47,  7.59s/it]
                                                                                                                                                                      
{'loss': '0.0005402', 'grad_norm': '0.0004029', 'learning_rate': '0.0001513', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.15', 'tokens/total': 6715392, 'tokens/trainable': 3507729, 'epoch': '1.178'}

 39%|████████████████████████████████████████████████▊                                                                           | 410/1041 [51:46<1:19:47,  7.59s/it]
 39%|████████████████████████████████████████████████▉                                                                           | 411/1041 [51:54<1:19:38,  7.58s/it]
 40%|█████████████████████████████████████████████████                                                                           | 412/1041 [52:01<1:19:28,  7.58s/it]
 40%|█████████████████████████████████████████████████▏                                                                          | 413/1041 [52:09<1:19:19,  7.58s/it]
 40%|█████████████████████████████████████████████████▎                                                                          | 414/1041 [52:16<1:19:12,  7.58s/it]
 40%|█████████████████████████████████████████████████▍                                                                          | 415/1041 [52:24<1:19:03,  7.58s/it]
 40%|█████████████████████████████████████████████████▌                                                                          | 416/1041 [52:32<1:18:54,  7.58s/it]
 40%|█████████████████████████████████████████████████▋                                                                          | 417/1041 [52:39<1:18:47,  7.58s/it]
 40%|█████████████████████████████████████████████████▊                                                                          | 418/1041 [52:47<1:18:38,  7.57s/it]
 40%|█████████████████████████████████████████████████▉                                                                          | 419/1041 [52:54<1:18:31,  7.57s/it]
 40%|██████████████████████████████████████████████████                                                                          | 420/1041 [53:02<1:18:24,  7.58s/it]
                                                                                                                                                                      
{'loss': '0.0002827', 'grad_norm': '0.0004348', 'learning_rate': '0.0001485', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.18', 'tokens/total': 6879232, 'tokens/trainable': 3593234, 'epoch': '1.207'}

 40%|██████████████████████████████████████████████████                                                                          | 420/1041 [53:02<1:18:24,  7.58s/it]
 40%|██████████████████████████████████████████████████▏                                                                         | 421/1041 [53:09<1:18:16,  7.57s/it]
 41%|██████████████████████████████████████████████████▎                                                                         | 422/1041 [53:17<1:18:08,  7.57s/it]
 41%|██████████████████████████████████████████████████▍                                                                         | 423/1041 [53:25<1:18:01,  7.57s/it]
 41%|██████████████████████████████████████████████████▌                                                                         | 424/1041 [53:32<1:17:53,  7.57s/it]
 41%|██████████████████████████████████████████████████▌                                                                         | 425/1041 [53:40<1:17:45,  7.57s/it]
 41%|██████████████████████████████████████████████████▋                                                                         | 426/1041 [53:47<1:17:39,  7.58s/it]
 41%|██████████████████████████████████████████████████▊                                                                         | 427/1041 [53:55<1:17:30,  7.57s/it]
 41%|██████████████████████████████████████████████████▉                                                                         | 428/1041 [54:02<1:17:22,  7.57s/it]
 41%|███████████████████████████████████████████████████                                                                         | 429/1041 [54:10<1:17:14,  7.57s/it]
 41%|███████████████████████████████████████████████████▏                                                                        | 430/1041 [54:18<1:17:06,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0003973', 'grad_norm': '0.001381', 'learning_rate': '0.0001455', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.05', 'tokens/total': 7043072, 'tokens/trainable': 3678918, 'epoch': '1.236'}

 41%|███████████████████████████████████████████████████▏                                                                        | 430/1041 [54:18<1:17:06,  7.57s/it]
 41%|███████████████████████████████████████████████████▎                                                                        | 431/1041 [54:25<1:16:59,  7.57s/it]
 41%|███████████████████████████████████████████████████▍                                                                        | 432/1041 [54:33<1:16:51,  7.57s/it]
 42%|███████████████████████████████████████████████████▌                                                                        | 433/1041 [54:40<1:16:44,  7.57s/it]
 42%|███████████████████████████████████████████████████▋                                                                        | 434/1041 [54:48<1:16:36,  7.57s/it]
 42%|███████████████████████████████████████████████████▊                                                                        | 435/1041 [54:55<1:16:29,  7.57s/it]
 42%|███████████████████████████████████████████████████▉                                                                        | 436/1041 [55:03<1:16:21,  7.57s/it]
 42%|████████████████████████████████████████████████████                                                                        | 437/1041 [55:11<1:16:13,  7.57s/it]
 42%|████████████████████████████████████████████████████▏                                                                       | 438/1041 [55:18<1:16:06,  7.57s/it]
 42%|████████████████████████████████████████████████████▎                                                                       | 439/1041 [55:26<1:15:58,  7.57s/it]
 42%|████████████████████████████████████████████████████▍                                                                       | 440/1041 [55:33<1:15:50,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0005041', 'grad_norm': '0.0003649', 'learning_rate': '0.0001425', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '77.25', 'tokens/total': 7206912, 'tokens/trainable': 3764048, 'epoch': '1.264'}

 42%|████████████████████████████████████████████████████▍                                                                       | 440/1041 [55:33<1:15:50,  7.57s/it]
 42%|████████████████████████████████████████████████████▌                                                                       | 441/1041 [55:41<1:15:42,  7.57s/it]
 42%|████████████████████████████████████████████████████▋                                                                       | 442/1041 [55:48<1:15:34,  7.57s/it]
 43%|████████████████████████████████████████████████████▊                                                                       | 443/1041 [55:56<1:15:26,  7.57s/it]
 43%|████████████████████████████████████████████████████▉                                                                       | 444/1041 [56:04<1:15:19,  7.57s/it]
 43%|█████████████████████████████████████████████████████                                                                       | 445/1041 [56:11<1:15:12,  7.57s/it]
 43%|█████████████████████████████████████████████████████▏                                                                      | 446/1041 [56:19<1:15:04,  7.57s/it]
 43%|█████████████████████████████████████████████████████▏                                                                      | 447/1041 [56:26<1:14:56,  7.57s/it]
 43%|█████████████████████████████████████████████████████▎                                                                      | 448/1041 [56:34<1:14:48,  7.57s/it]
 43%|█████████████████████████████████████████████████████▍                                                                      | 449/1041 [56:41<1:14:42,  7.57s/it]
 43%|█████████████████████████████████████████████████████▌                                                                      | 450/1041 [56:49<1:14:35,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0004432', 'grad_norm': '0.003123', 'learning_rate': '0.0001395', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.96', 'tokens/total': 7370752, 'tokens/trainable': 3849785, 'epoch': '1.293'}

 43%|█████████████████████████████████████████████████████▌                                                                      | 450/1041 [56:49<1:14:35,  7.57s/it]
 43%|█████████████████████████████████████████████████████▋                                                                      | 451/1041 [56:57<1:14:27,  7.57s/it]
 43%|█████████████████████████████████████████████████████▊                                                                      | 452/1041 [57:04<1:14:19,  7.57s/it]
 44%|█████████████████████████████████████████████████████▉                                                                      | 453/1041 [57:12<1:14:13,  7.57s/it]
 44%|██████████████████████████████████████████████████████                                                                      | 454/1041 [57:19<1:14:05,  7.57s/it]
 44%|██████████████████████████████████████████████████████▏                                                                     | 455/1041 [57:27<1:13:57,  7.57s/it]
 44%|██████████████████████████████████████████████████████▎                                                                     | 456/1041 [57:34<1:13:51,  7.57s/it]
 44%|██████████████████████████████████████████████████████▍                                                                     | 457/1041 [57:42<1:13:43,  7.57s/it]
 44%|██████████████████████████████████████████████████████▌                                                                     | 458/1041 [57:50<1:13:35,  7.57s/it]
 44%|██████████████████████████████████████████████████████▋                                                                     | 459/1041 [57:57<1:13:27,  7.57s/it]
 44%|██████████████████████████████████████████████████████▊                                                                     | 460/1041 [58:05<1:13:19,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002638', 'grad_norm': '4.866e-05', 'learning_rate': '0.0001364', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.58', 'tokens/total': 7534592, 'tokens/trainable': 3935505, 'epoch': '1.322'}

 44%|██████████████████████████████████████████████████████▊                                                                     | 460/1041 [58:05<1:13:19,  7.57s/it]
 44%|██████████████████████████████████████████████████████▉                                                                     | 461/1041 [58:12<1:13:12,  7.57s/it]
 44%|███████████████████████████████████████████████████████                                                                     | 462/1041 [58:20<1:13:05,  7.57s/it]
 44%|███████████████████████████████████████████████████████▏                                                                    | 463/1041 [58:27<1:12:57,  7.57s/it]
 45%|███████████████████████████████████████████████████████▎                                                                    | 464/1041 [58:35<1:12:49,  7.57s/it]
 45%|███████████████████████████████████████████████████████▍                                                                    | 465/1041 [58:43<1:12:41,  7.57s/it]
 45%|███████████████████████████████████████████████████████▌                                                                    | 466/1041 [58:50<1:12:34,  7.57s/it]
 45%|███████████████████████████████████████████████████████▋                                                                    | 467/1041 [58:58<1:12:26,  7.57s/it]
 45%|███████████████████████████████████████████████████████▋                                                                    | 468/1041 [59:05<1:12:18,  7.57s/it]
 45%|███████████████████████████████████████████████████████▊                                                                    | 469/1041 [59:13<1:12:11,  7.57s/it]
 45%|███████████████████████████████████████████████████████▉                                                                    | 470/1041 [59:20<1:12:03,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0005866', 'grad_norm': '0.0009338', 'learning_rate': '0.0001332', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.05', 'tokens/total': 7698432, 'tokens/trainable': 4021224, 'epoch': '1.351'}

 45%|███████████████████████████████████████████████████████▉                                                                    | 470/1041 [59:20<1:12:03,  7.57s/it]
 45%|████████████████████████████████████████████████████████                                                                    | 471/1041 [59:28<1:11:56,  7.57s/it]
 45%|████████████████████████████████████████████████████████▏                                                                   | 472/1041 [59:36<1:11:48,  7.57s/it]
 45%|████████████████████████████████████████████████████████▎                                                                   | 473/1041 [59:43<1:11:41,  7.57s/it]
 46%|████████████████████████████████████████████████████████▍                                                                   | 474/1041 [59:51<1:11:34,  7.57s/it]
 46%|████████████████████████████████████████████████████████▌                                                                   | 475/1041 [59:58<1:11:26,  7.57s/it]
 46%|███████████████████████████████████████████████████████▊                                                                  | 476/1041 [1:00:06<1:11:18,  7.57s/it]
 46%|███████████████████████████████████████████████████████▉                                                                  | 477/1041 [1:00:13<1:11:11,  7.57s/it]
 46%|████████████████████████████████████████████████████████                                                                  | 478/1041 [1:00:21<1:11:03,  7.57s/it]
 46%|████████████████████████████████████████████████████████▏                                                                 | 479/1041 [1:00:29<1:10:56,  7.57s/it]
 46%|████████████████████████████████████████████████████████▎                                                                 | 480/1041 [1:00:36<1:10:48,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002864', 'grad_norm': '0.0003161', 'learning_rate': '0.0001301', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.97', 'tokens/total': 7862272, 'tokens/trainable': 4106837, 'epoch': '1.379'}

 46%|████████████████████████████████████████████████████████▎                                                                 | 480/1041 [1:00:36<1:10:48,  7.57s/it]
 46%|████████████████████████████████████████████████████████▎                                                                 | 481/1041 [1:00:44<1:10:40,  7.57s/it]
 46%|████████████████████████████████████████████████████████▍                                                                 | 482/1041 [1:00:51<1:10:32,  7.57s/it]
 46%|████████████████████████████████████████████████████████▌                                                                 | 483/1041 [1:00:59<1:10:25,  7.57s/it]
 46%|████████████████████████████████████████████████████████▋                                                                 | 484/1041 [1:01:06<1:10:17,  7.57s/it]
 47%|████████████████████████████████████████████████████████▊                                                                 | 485/1041 [1:01:14<1:10:10,  7.57s/it]
 47%|████████████████████████████████████████████████████████▉                                                                 | 486/1041 [1:01:22<1:10:03,  7.57s/it]
 47%|█████████████████████████████████████████████████████████                                                                 | 487/1041 [1:01:29<1:09:55,  7.57s/it]
 47%|█████████████████████████████████████████████████████████▏                                                                | 488/1041 [1:01:37<1:09:47,  7.57s/it]
 47%|█████████████████████████████████████████████████████████▎                                                                | 489/1041 [1:01:44<1:09:39,  7.57s/it]
 47%|█████████████████████████████████████████████████████████▍                                                                | 490/1041 [1:01:52<1:09:31,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002652', 'grad_norm': '0.0005853', 'learning_rate': '0.0001269', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '63.51', 'tokens/total': 8026112, 'tokens/trainable': 4192596, 'epoch': '1.408'}

 47%|█████████████████████████████████████████████████████████▍                                                                | 490/1041 [1:01:52<1:09:31,  7.57s/it]
 47%|█████████████████████████████████████████████████████████▌                                                                | 491/1041 [1:01:59<1:09:23,  7.57s/it]
 47%|█████████████████████████████████████████████████████████▋                                                                | 492/1041 [1:02:07<1:09:16,  7.57s/it]
 47%|█████████████████████████████████████████████████████████▊                                                                | 493/1041 [1:02:15<1:09:10,  7.57s/it]
 47%|█████████████████████████████████████████████████████████▉                                                                | 494/1041 [1:02:22<1:09:02,  7.57s/it]
 48%|██████████████████████████████████████████████████████████                                                                | 495/1041 [1:02:30<1:08:54,  7.57s/it]
 48%|██████████████████████████████████████████████████████████▏                                                               | 496/1041 [1:02:37<1:08:47,  7.57s/it]
 48%|██████████████████████████████████████████████████████████▏                                                               | 497/1041 [1:02:45<1:08:39,  7.57s/it]
 48%|██████████████████████████████████████████████████████████▎                                                               | 498/1041 [1:02:52<1:08:32,  7.57s/it]
 48%|██████████████████████████████████████████████████████████▍                                                               | 499/1041 [1:03:00<1:08:24,  7.57s/it]
 48%|██████████████████████████████████████████████████████████▌                                                               | 500/1041 [1:03:08<1:08:16,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002229', 'grad_norm': '0.0005308', 'learning_rate': '0.0001236', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.84', 'tokens/total': 8189952, 'tokens/trainable': 4278197, 'epoch': '1.437'}

 48%|██████████████████████████████████████████████████████████▌                                                               | 500/1041 [1:03:08<1:08:16,  7.57s/it]
 48%|██████████████████████████████████████████████████████████▋                                                               | 501/1041 [1:03:15<1:08:08,  7.57s/it]
 48%|██████████████████████████████████████████████████████████▊                                                               | 502/1041 [1:03:23<1:08:01,  7.57s/it]
 48%|██████████████████████████████████████████████████████████▉                                                               | 503/1041 [1:03:30<1:07:53,  7.57s/it]
 48%|███████████████████████████████████████████████████████████                                                               | 504/1041 [1:03:38<1:07:45,  7.57s/it]
 49%|███████████████████████████████████████████████████████████▏                                                              | 505/1041 [1:03:45<1:07:38,  7.57s/it]
 49%|███████████████████████████████████████████████████████████▎                                                              | 506/1041 [1:03:53<1:07:30,  7.57s/it]
 49%|███████████████████████████████████████████████████████████▍                                                              | 507/1041 [1:04:01<1:07:23,  7.57s/it]
 49%|███████████████████████████████████████████████████████████▌                                                              | 508/1041 [1:04:08<1:07:15,  7.57s/it]
 49%|███████████████████████████████████████████████████████████▋                                                              | 509/1041 [1:04:16<1:07:07,  7.57s/it]
 49%|███████████████████████████████████████████████████████████▊                                                              | 510/1041 [1:04:23<1:07:00,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0007285', 'grad_norm': '0.0003704', 'learning_rate': '0.0001204', 'ppl': '1.001', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.92', 'tokens/total': 8353792, 'tokens/trainable': 4363274, 'epoch': '1.466'}

 49%|███████████████████████████████████████████████████████████▊                                                              | 510/1041 [1:04:23<1:07:00,  7.57s/it]
 49%|███████████████████████████████████████████████████████████▉                                                              | 511/1041 [1:04:31<1:06:52,  7.57s/it]
 49%|████████████████████████████████████████████████████████████                                                              | 512/1041 [1:04:38<1:06:44,  7.57s/it]
 49%|████████████████████████████████████████████████████████████                                                              | 513/1041 [1:04:46<1:06:36,  7.57s/it]
 49%|████████████████████████████████████████████████████████████▏                                                             | 514/1041 [1:04:54<1:06:30,  7.57s/it]
 49%|████████████████████████████████████████████████████████████▎                                                             | 515/1041 [1:05:01<1:06:22,  7.57s/it]
 50%|████████████████████████████████████████████████████████████▍                                                             | 516/1041 [1:05:09<1:06:15,  7.57s/it]
 50%|████████████████████████████████████████████████████████████▌                                                             | 517/1041 [1:05:16<1:06:09,  7.58s/it]
 50%|████████████████████████████████████████████████████████████▋                                                             | 518/1041 [1:05:24<1:06:09,  7.59s/it]
 50%|████████████████████████████████████████████████████████████▊                                                             | 519/1041 [1:05:32<1:05:58,  7.58s/it]
 50%|████████████████████████████████████████████████████████████▉                                                             | 520/1041 [1:05:39<1:05:48,  7.58s/it]
                                                                                                                                                                      
{'loss': '0.0003214', 'grad_norm': '0.0003634', 'learning_rate': '0.0001171', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.81', 'tokens/total': 8517632, 'tokens/trainable': 4448964, 'epoch': '1.494'}

 50%|████████████████████████████████████████████████████████████▉                                                             | 520/1041 [1:05:39<1:05:48,  7.58s/it]
 50%|█████████████████████████████████████████████████████████████                                                             | 521/1041 [1:05:47<1:05:39,  7.58s/it]
 50%|█████████████████████████████████████████████████████████████▏                                                            | 522/1041 [1:05:54<1:05:31,  7.58s/it]
 50%|█████████████████████████████████████████████████████████████▎                                                            | 523/1041 [1:06:02<1:05:23,  7.57s/it]
 50%|█████████████████████████████████████████████████████████████▍                                                            | 524/1041 [1:06:09<1:05:15,  7.57s/it]
 50%|█████████████████████████████████████████████████████████████▌                                                            | 525/1041 [1:06:17<1:05:07,  7.57s/it]
 51%|█████████████████████████████████████████████████████████████▋                                                            | 526/1041 [1:06:25<1:05:00,  7.57s/it]
 51%|█████████████████████████████████████████████████████████████▊                                                            | 527/1041 [1:06:32<1:04:52,  7.57s/it]
 51%|█████████████████████████████████████████████████████████████▉                                                            | 528/1041 [1:06:40<1:04:45,  7.57s/it]
 51%|█████████████████████████████████████████████████████████████▉                                                            | 529/1041 [1:06:47<1:04:37,  7.57s/it]
 51%|██████████████████████████████████████████████████████████████                                                            | 530/1041 [1:06:55<1:04:29,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0003308', 'grad_norm': '0.0006567', 'learning_rate': '0.0001138', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.32', 'tokens/total': 8681472, 'tokens/trainable': 4535170, 'epoch': '1.523'}

 51%|██████████████████████████████████████████████████████████████                                                            | 530/1041 [1:06:55<1:04:29,  7.57s/it]
 51%|██████████████████████████████████████████████████████████████▏                                                           | 531/1041 [1:07:02<1:04:21,  7.57s/it]
 51%|██████████████████████████████████████████████████████████████▎                                                           | 532/1041 [1:07:10<1:04:14,  7.57s/it]
 51%|██████████████████████████████████████████████████████████████▍                                                           | 533/1041 [1:07:18<1:04:06,  7.57s/it]
 51%|██████████████████████████████████████████████████████████████▌                                                           | 534/1041 [1:07:25<1:03:59,  7.57s/it]
 51%|██████████████████████████████████████████████████████████████▋                                                           | 535/1041 [1:07:33<1:03:52,  7.57s/it]
 51%|██████████████████████████████████████████████████████████████▊                                                           | 536/1041 [1:07:40<1:03:44,  7.57s/it]
 52%|██████████████████████████████████████████████████████████████▉                                                           | 537/1041 [1:07:48<1:03:37,  7.57s/it]
 52%|███████████████████████████████████████████████████████████████                                                           | 538/1041 [1:07:55<1:03:29,  7.57s/it]
 52%|███████████████████████████████████████████████████████████████▏                                                          | 539/1041 [1:08:03<1:03:22,  7.57s/it]
 52%|███████████████████████████████████████████████████████████████▎                                                          | 540/1041 [1:08:11<1:03:14,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002509', 'grad_norm': '0.0005559', 'learning_rate': '0.0001105', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '73.91', 'tokens/total': 8845312, 'tokens/trainable': 4621208, 'epoch': '1.552'}

 52%|███████████████████████████████████████████████████████████████▎                                                          | 540/1041 [1:08:11<1:03:14,  7.57s/it]
 52%|███████████████████████████████████████████████████████████████▍                                                          | 541/1041 [1:08:18<1:03:07,  7.58s/it]
 52%|███████████████████████████████████████████████████████████████▌                                                          | 542/1041 [1:08:26<1:02:59,  7.57s/it]
 52%|███████████████████████████████████████████████████████████████▋                                                          | 543/1041 [1:08:33<1:02:51,  7.57s/it]
 52%|███████████████████████████████████████████████████████████████▊                                                          | 544/1041 [1:08:41<1:02:43,  7.57s/it]
 52%|███████████████████████████████████████████████████████████████▊                                                          | 545/1041 [1:08:48<1:02:35,  7.57s/it]
 52%|███████████████████████████████████████████████████████████████▉                                                          | 546/1041 [1:08:56<1:02:28,  7.57s/it]
 53%|████████████████████████████████████████████████████████████████                                                          | 547/1041 [1:09:04<1:02:20,  7.57s/it]
 53%|████████████████████████████████████████████████████████████████▏                                                         | 548/1041 [1:09:11<1:02:12,  7.57s/it]
 53%|████████████████████████████████████████████████████████████████▎                                                         | 549/1041 [1:09:19<1:02:04,  7.57s/it]
 53%|████████████████████████████████████████████████████████████████▍                                                         | 550/1041 [1:09:26<1:01:57,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0001582', 'grad_norm': '1.476e-05', 'learning_rate': '0.0001072', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.75', 'tokens/total': 9009152, 'tokens/trainable': 4707007, 'epoch': '1.581'}

 53%|████████████████████████████████████████████████████████████████▍                                                         | 550/1041 [1:09:26<1:01:57,  7.57s/it]
 53%|████████████████████████████████████████████████████████████████▌                                                         | 551/1041 [1:09:34<1:01:49,  7.57s/it]
 53%|████████████████████████████████████████████████████████████████▋                                                         | 552/1041 [1:09:42<1:02:19,  7.65s/it]
 53%|████████████████████████████████████████████████████████████████▊                                                         | 553/1041 [1:09:49<1:02:00,  7.62s/it]
 53%|████████████████████████████████████████████████████████████████▉                                                         | 554/1041 [1:09:57<1:01:44,  7.61s/it]
 53%|█████████████████████████████████████████████████████████████████                                                         | 555/1041 [1:10:04<1:01:32,  7.60s/it]
 53%|█████████████████████████████████████████████████████████████████▏                                                        | 556/1041 [1:10:12<1:01:21,  7.59s/it]
 54%|█████████████████████████████████████████████████████████████████▎                                                        | 557/1041 [1:10:20<1:01:11,  7.59s/it]
 54%|█████████████████████████████████████████████████████████████████▍                                                        | 558/1041 [1:10:27<1:01:01,  7.58s/it]
 54%|█████████████████████████████████████████████████████████████████▌                                                        | 559/1041 [1:10:35<1:00:52,  7.58s/it]
 54%|█████████████████████████████████████████████████████████████████▋                                                        | 560/1041 [1:10:42<1:00:43,  7.58s/it]
                                                                                                                                                                      
{'loss': '0.0003003', 'grad_norm': '0.0005588', 'learning_rate': '0.0001038', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '64.72', 'tokens/total': 9172992, 'tokens/trainable': 4792350, 'epoch': '1.609'}

 54%|█████████████████████████████████████████████████████████████████▋                                                        | 560/1041 [1:10:42<1:00:43,  7.58s/it]
 54%|█████████████████████████████████████████████████████████████████▋                                                        | 561/1041 [1:10:50<1:00:35,  7.57s/it]
 54%|█████████████████████████████████████████████████████████████████▊                                                        | 562/1041 [1:10:57<1:00:27,  7.57s/it]
 54%|█████████████████████████████████████████████████████████████████▉                                                        | 563/1041 [1:11:05<1:00:20,  7.57s/it]
 54%|██████████████████████████████████████████████████████████████████                                                        | 564/1041 [1:11:13<1:00:12,  7.57s/it]
 54%|██████████████████████████████████████████████████████████████████▏                                                       | 565/1041 [1:11:20<1:00:04,  7.57s/it]
 54%|███████████████████████████████████████████████████████████████████▍                                                        | 566/1041 [1:11:28<59:56,  7.57s/it]
 54%|███████████████████████████████████████████████████████████████████▌                                                        | 567/1041 [1:11:35<59:47,  7.57s/it]
 55%|███████████████████████████████████████████████████████████████████▋                                                        | 568/1041 [1:11:43<59:40,  7.57s/it]
 55%|███████████████████████████████████████████████████████████████████▊                                                        | 569/1041 [1:11:50<59:33,  7.57s/it]
 55%|███████████████████████████████████████████████████████████████████▉                                                        | 570/1041 [1:11:58<59:25,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002437', 'grad_norm': '0.0006929', 'learning_rate': '0.0001005', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '66.15', 'tokens/total': 9336832, 'tokens/trainable': 4877923, 'epoch': '1.638'}

 55%|███████████████████████████████████████████████████████████████████▉                                                        | 570/1041 [1:11:58<59:25,  7.57s/it]
 55%|████████████████████████████████████████████████████████████████████                                                        | 571/1041 [1:12:06<59:17,  7.57s/it]
 55%|████████████████████████████████████████████████████████████████████▏                                                       | 572/1041 [1:12:13<59:11,  7.57s/it]
 55%|████████████████████████████████████████████████████████████████████▎                                                       | 573/1041 [1:12:21<59:03,  7.57s/it]
 55%|████████████████████████████████████████████████████████████████████▎                                                       | 574/1041 [1:12:28<58:56,  7.57s/it]
 55%|████████████████████████████████████████████████████████████████████▍                                                       | 575/1041 [1:12:36<58:48,  7.57s/it]
 55%|████████████████████████████████████████████████████████████████████▌                                                       | 576/1041 [1:12:43<58:40,  7.57s/it]
 55%|████████████████████████████████████████████████████████████████████▋                                                       | 577/1041 [1:12:51<58:32,  7.57s/it]
 56%|████████████████████████████████████████████████████████████████████▊                                                       | 578/1041 [1:12:59<58:24,  7.57s/it]
 56%|████████████████████████████████████████████████████████████████████▉                                                       | 579/1041 [1:13:06<58:16,  7.57s/it]
 56%|█████████████████████████████████████████████████████████████████████                                                       | 580/1041 [1:13:14<58:09,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0003903', 'grad_norm': '0.0001101', 'learning_rate': '9.716e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '63.68', 'tokens/total': 9500672, 'tokens/trainable': 4963596, 'epoch': '1.667'}

 56%|█████████████████████████████████████████████████████████████████████                                                       | 580/1041 [1:13:14<58:09,  7.57s/it]
 56%|█████████████████████████████████████████████████████████████████████▏                                                      | 581/1041 [1:13:21<58:02,  7.57s/it]
 56%|█████████████████████████████████████████████████████████████████████▎                                                      | 582/1041 [1:13:29<57:54,  7.57s/it]
 56%|█████████████████████████████████████████████████████████████████████▍                                                      | 583/1041 [1:13:36<57:47,  7.57s/it]
 56%|█████████████████████████████████████████████████████████████████████▌                                                      | 584/1041 [1:13:44<57:39,  7.57s/it]
 56%|█████████████████████████████████████████████████████████████████████▋                                                      | 585/1041 [1:13:52<57:32,  7.57s/it]
 56%|█████████████████████████████████████████████████████████████████████▊                                                      | 586/1041 [1:13:59<57:24,  7.57s/it]
 56%|█████████████████████████████████████████████████████████████████████▉                                                      | 587/1041 [1:14:07<57:17,  7.57s/it]
 56%|██████████████████████████████████████████████████████████████████████                                                      | 588/1041 [1:14:14<57:09,  7.57s/it]
 57%|██████████████████████████████████████████████████████████████████████▏                                                     | 589/1041 [1:14:22<57:02,  7.57s/it]
 57%|██████████████████████████████████████████████████████████████████████▎                                                     | 590/1041 [1:14:29<56:54,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0004658', 'grad_norm': '0.0002604', 'learning_rate': '9.383e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '73.47', 'tokens/total': 9664512, 'tokens/trainable': 5049028, 'epoch': '1.696'}

 57%|██████████████████████████████████████████████████████████████████████▎                                                     | 590/1041 [1:14:29<56:54,  7.57s/it]
 57%|██████████████████████████████████████████████████████████████████████▍                                                     | 591/1041 [1:14:37<56:46,  7.57s/it]
 57%|██████████████████████████████████████████████████████████████████████▌                                                     | 592/1041 [1:14:45<56:38,  7.57s/it]
 57%|██████████████████████████████████████████████████████████████████████▋                                                     | 593/1041 [1:14:52<56:31,  7.57s/it]
 57%|██████████████████████████████████████████████████████████████████████▊                                                     | 594/1041 [1:15:00<56:23,  7.57s/it]
 57%|██████████████████████████████████████████████████████████████████████▊                                                     | 595/1041 [1:15:07<56:16,  7.57s/it]
 57%|██████████████████████████████████████████████████████████████████████▉                                                     | 596/1041 [1:15:15<56:08,  7.57s/it]
 57%|███████████████████████████████████████████████████████████████████████                                                     | 597/1041 [1:15:22<56:01,  7.57s/it]
 57%|███████████████████████████████████████████████████████████████████████▏                                                    | 598/1041 [1:15:30<55:54,  7.57s/it]
 58%|███████████████████████████████████████████████████████████████████████▎                                                    | 599/1041 [1:15:38<55:47,  7.57s/it]
 58%|███████████████████████████████████████████████████████████████████████▍                                                    | 600/1041 [1:15:45<55:39,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0003011', 'grad_norm': '0.0002846', 'learning_rate': '9.05e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.85', 'tokens/total': 9828352, 'tokens/trainable': 5134711, 'epoch': '1.724'}

 58%|███████████████████████████████████████████████████████████████████████▍                                                    | 600/1041 [1:15:45<55:39,  7.57s/it][2026-03-15 12:23:35,523] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-600

 58%|███████████████████████████████████████████████████████████████████████▌                                                    | 601/1041 [1:15:54<58:15,  7.94s/it]
 58%|███████████████████████████████████████████████████████████████████████▋                                                    | 602/1041 [1:16:01<57:17,  7.83s/it]
 58%|███████████████████████████████████████████████████████████████████████▊                                                    | 603/1041 [1:16:09<56:34,  7.75s/it]
 58%|███████████████████████████████████████████████████████████████████████▉                                                    | 604/1041 [1:16:17<56:03,  7.70s/it]
 58%|████████████████████████████████████████████████████████████████████████                                                    | 605/1041 [1:16:24<55:39,  7.66s/it]
 58%|████████████████████████████████████████████████████████████████████████▏                                                   | 606/1041 [1:16:32<55:20,  7.63s/it]
 58%|████████████████████████████████████████████████████████████████████████▎                                                   | 607/1041 [1:16:39<55:03,  7.61s/it]
 58%|████████████████████████████████████████████████████████████████████████▍                                                   | 608/1041 [1:16:47<54:50,  7.60s/it]
 59%|████████████████████████████████████████████████████████████████████████▌                                                   | 609/1041 [1:16:54<54:39,  7.59s/it]
 59%|████████████████████████████████████████████████████████████████████████▋                                                   | 610/1041 [1:17:02<54:29,  7.58s/it]
                                                                                                                                                                      
{'loss': '0.000176', 'grad_norm': '0.0009215', 'learning_rate': '8.718e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.35', 'tokens/total': 9992192, 'tokens/trainable': 5220199, 'epoch': '1.753'}

 59%|████████████████████████████████████████████████████████████████████████▋                                                   | 610/1041 [1:17:02<54:29,  7.58s/it]
 59%|████████████████████████████████████████████████████████████████████████▊                                                   | 611/1041 [1:17:10<54:19,  7.58s/it]
 59%|████████████████████████████████████████████████████████████████████████▉                                                   | 612/1041 [1:17:17<54:11,  7.58s/it]
 59%|█████████████████████████████████████████████████████████████████████████                                                   | 613/1041 [1:17:25<54:02,  7.58s/it]
 59%|█████████████████████████████████████████████████████████████████████████▏                                                  | 614/1041 [1:17:32<53:54,  7.57s/it]
 59%|█████████████████████████████████████████████████████████████████████████▎                                                  | 615/1041 [1:17:40<53:45,  7.57s/it]
 59%|█████████████████████████████████████████████████████████████████████████▍                                                  | 616/1041 [1:17:47<53:37,  7.57s/it]
 59%|█████████████████████████████████████████████████████████████████████████▍                                                  | 617/1041 [1:17:55<53:29,  7.57s/it]
 59%|█████████████████████████████████████████████████████████████████████████▌                                                  | 618/1041 [1:18:03<53:21,  7.57s/it]
 59%|█████████████████████████████████████████████████████████████████████████▋                                                  | 619/1041 [1:18:10<53:13,  7.57s/it]
 60%|█████████████████████████████████████████████████████████████████████████▊                                                  | 620/1041 [1:18:18<53:05,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002097', 'grad_norm': '0.0005109', 'learning_rate': '8.388e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '76.13', 'tokens/total': 10156032, 'tokens/trainable': 5305938, 'epoch': '1.782'}

 60%|█████████████████████████████████████████████████████████████████████████▊                                                  | 620/1041 [1:18:18<53:05,  7.57s/it]
 60%|█████████████████████████████████████████████████████████████████████████▉                                                  | 621/1041 [1:18:25<52:58,  7.57s/it]
 60%|██████████████████████████████████████████████████████████████████████████                                                  | 622/1041 [1:18:33<52:51,  7.57s/it]
 60%|██████████████████████████████████████████████████████████████████████████▏                                                 | 623/1041 [1:18:40<52:42,  7.57s/it]
 60%|██████████████████████████████████████████████████████████████████████████▎                                                 | 624/1041 [1:18:48<52:35,  7.57s/it]
 60%|██████████████████████████████████████████████████████████████████████████▍                                                 | 625/1041 [1:18:56<52:27,  7.57s/it]
 60%|██████████████████████████████████████████████████████████████████████████▌                                                 | 626/1041 [1:19:03<52:21,  7.57s/it]
 60%|██████████████████████████████████████████████████████████████████████████▋                                                 | 627/1041 [1:19:11<52:13,  7.57s/it]
 60%|██████████████████████████████████████████████████████████████████████████▊                                                 | 628/1041 [1:19:18<52:05,  7.57s/it]
 60%|██████████████████████████████████████████████████████████████████████████▉                                                 | 629/1041 [1:19:26<51:57,  7.57s/it]
 61%|███████████████████████████████████████████████████████████████████████████                                                 | 630/1041 [1:19:33<51:49,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002873', 'grad_norm': '0.000915', 'learning_rate': '8.059e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.81', 'tokens/total': 10319872, 'tokens/trainable': 5391783, 'epoch': '1.811'}

 61%|███████████████████████████████████████████████████████████████████████████                                                 | 630/1041 [1:19:33<51:49,  7.57s/it]
 61%|███████████████████████████████████████████████████████████████████████████▏                                                | 631/1041 [1:19:41<51:42,  7.57s/it]
 61%|███████████████████████████████████████████████████████████████████████████▎                                                | 632/1041 [1:19:49<51:34,  7.57s/it]
 61%|███████████████████████████████████████████████████████████████████████████▍                                                | 633/1041 [1:19:56<51:26,  7.57s/it]
 61%|███████████████████████████████████████████████████████████████████████████▌                                                | 634/1041 [1:20:04<51:19,  7.57s/it]
 61%|███████████████████████████████████████████████████████████████████████████▋                                                | 635/1041 [1:20:11<51:12,  7.57s/it]
 61%|███████████████████████████████████████████████████████████████████████████▊                                                | 636/1041 [1:20:19<51:04,  7.57s/it]
 61%|███████████████████████████████████████████████████████████████████████████▉                                                | 637/1041 [1:20:26<50:56,  7.57s/it]
 61%|███████████████████████████████████████████████████████████████████████████▉                                                | 638/1041 [1:20:34<50:49,  7.57s/it]
 61%|████████████████████████████████████████████████████████████████████████████                                                | 639/1041 [1:20:41<50:42,  7.57s/it]
 61%|████████████████████████████████████████████████████████████████████████████▏                                               | 640/1041 [1:20:49<50:34,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0001886', 'grad_norm': '0.0002459', 'learning_rate': '7.733e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.62', 'tokens/total': 10483712, 'tokens/trainable': 5477339, 'epoch': '1.839'}

 61%|████████████████████████████████████████████████████████████████████████████▏                                               | 640/1041 [1:20:49<50:34,  7.57s/it]
 62%|████████████████████████████████████████████████████████████████████████████▎                                               | 641/1041 [1:20:57<50:27,  7.57s/it]
 62%|████████████████████████████████████████████████████████████████████████████▍                                               | 642/1041 [1:21:04<50:19,  7.57s/it]
 62%|████████████████████████████████████████████████████████████████████████████▌                                               | 643/1041 [1:21:12<50:12,  7.57s/it]
 62%|████████████████████████████████████████████████████████████████████████████▋                                               | 644/1041 [1:21:19<50:04,  7.57s/it]
 62%|████████████████████████████████████████████████████████████████████████████▊                                               | 645/1041 [1:21:27<49:56,  7.57s/it]
 62%|████████████████████████████████████████████████████████████████████████████▉                                               | 646/1041 [1:21:34<49:49,  7.57s/it]
 62%|█████████████████████████████████████████████████████████████████████████████                                               | 647/1041 [1:21:42<49:41,  7.57s/it]
 62%|█████████████████████████████████████████████████████████████████████████████▏                                              | 648/1041 [1:21:50<49:34,  7.57s/it]
 62%|█████████████████████████████████████████████████████████████████████████████▎                                              | 649/1041 [1:21:57<49:26,  7.57s/it]
 62%|█████████████████████████████████████████████████████████████████████████████▍                                              | 650/1041 [1:22:05<49:18,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002129', 'grad_norm': '0.0002222', 'learning_rate': '7.409e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.06', 'tokens/total': 10647552, 'tokens/trainable': 5562816, 'epoch': '1.868'}

 62%|█████████████████████████████████████████████████████████████████████████████▍                                              | 650/1041 [1:22:05<49:18,  7.57s/it]
 63%|█████████████████████████████████████████████████████████████████████████████▌                                              | 651/1041 [1:22:12<49:12,  7.57s/it]
 63%|█████████████████████████████████████████████████████████████████████████████▋                                              | 652/1041 [1:22:20<49:03,  7.57s/it]
 63%|█████████████████████████████████████████████████████████████████████████████▊                                              | 653/1041 [1:22:27<48:56,  7.57s/it]
 63%|█████████████████████████████████████████████████████████████████████████████▉                                              | 654/1041 [1:22:35<48:48,  7.57s/it]
 63%|██████████████████████████████████████████████████████████████████████████████                                              | 655/1041 [1:22:43<48:41,  7.57s/it]
 63%|██████████████████████████████████████████████████████████████████████████████▏                                             | 656/1041 [1:22:50<48:33,  7.57s/it]
 63%|██████████████████████████████████████████████████████████████████████████████▎                                             | 657/1041 [1:22:58<48:26,  7.57s/it]
 63%|██████████████████████████████████████████████████████████████████████████████▍                                             | 658/1041 [1:23:05<48:18,  7.57s/it]
 63%|██████████████████████████████████████████████████████████████████████████████▍                                             | 659/1041 [1:23:13<48:11,  7.57s/it]
 63%|██████████████████████████████████████████████████████████████████████████████▌                                             | 660/1041 [1:23:20<48:03,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002984', 'grad_norm': '0.0002684', 'learning_rate': '7.088e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '76.26', 'tokens/total': 10811392, 'tokens/trainable': 5649046, 'epoch': '1.897'}

 63%|██████████████████████████████████████████████████████████████████████████████▌                                             | 660/1041 [1:23:20<48:03,  7.57s/it]
 63%|██████████████████████████████████████████████████████████████████████████████▋                                             | 661/1041 [1:23:28<47:56,  7.57s/it]
 64%|██████████████████████████████████████████████████████████████████████████████▊                                             | 662/1041 [1:23:36<47:48,  7.57s/it]
 64%|██████████████████████████████████████████████████████████████████████████████▉                                             | 663/1041 [1:23:43<47:40,  7.57s/it]
 64%|███████████████████████████████████████████████████████████████████████████████                                             | 664/1041 [1:23:51<47:33,  7.57s/it]
 64%|███████████████████████████████████████████████████████████████████████████████▏                                            | 665/1041 [1:23:58<47:25,  7.57s/it]
 64%|███████████████████████████████████████████████████████████████████████████████▎                                            | 666/1041 [1:24:06<47:17,  7.57s/it]
 64%|███████████████████████████████████████████████████████████████████████████████▍                                            | 667/1041 [1:24:13<47:09,  7.57s/it]
 64%|███████████████████████████████████████████████████████████████████████████████▌                                            | 668/1041 [1:24:21<47:02,  7.57s/it]
 64%|███████████████████████████████████████████████████████████████████████████████▋                                            | 669/1041 [1:24:29<46:54,  7.57s/it]
 64%|███████████████████████████████████████████████████████████████████████████████▊                                            | 670/1041 [1:24:36<46:47,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002732', 'grad_norm': '0.000372', 'learning_rate': '6.77e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '75.31', 'tokens/total': 10975232, 'tokens/trainable': 5734391, 'epoch': '1.926'}

 64%|███████████████████████████████████████████████████████████████████████████████▊                                            | 670/1041 [1:24:36<46:47,  7.57s/it]
 64%|███████████████████████████████████████████████████████████████████████████████▉                                            | 671/1041 [1:24:44<46:40,  7.57s/it]
 65%|████████████████████████████████████████████████████████████████████████████████                                            | 672/1041 [1:24:51<46:32,  7.57s/it]
 65%|████████████████████████████████████████████████████████████████████████████████▏                                           | 673/1041 [1:24:59<46:25,  7.57s/it]
 65%|████████████████████████████████████████████████████████████████████████████████▎                                           | 674/1041 [1:25:06<46:17,  7.57s/it]
 65%|████████████████████████████████████████████████████████████████████████████████▍                                           | 675/1041 [1:25:14<46:10,  7.57s/it]
 65%|████████████████████████████████████████████████████████████████████████████████▌                                           | 676/1041 [1:25:22<46:01,  7.57s/it]
 65%|████████████████████████████████████████████████████████████████████████████████▋                                           | 677/1041 [1:25:29<45:54,  7.57s/it]
 65%|████████████████████████████████████████████████████████████████████████████████▊                                           | 678/1041 [1:25:37<45:47,  7.57s/it]
 65%|████████████████████████████████████████████████████████████████████████████████▉                                           | 679/1041 [1:25:44<45:39,  7.57s/it]
 65%|████████████████████████████████████████████████████████████████████████████████▉                                           | 680/1041 [1:25:52<45:31,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002205', 'grad_norm': '1.385e-05', 'learning_rate': '6.456e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.57', 'tokens/total': 11139072, 'tokens/trainable': 5819228, 'epoch': '1.954'}

 65%|████████████████████████████████████████████████████████████████████████████████▉                                           | 680/1041 [1:25:52<45:31,  7.57s/it]
 65%|█████████████████████████████████████████████████████████████████████████████████                                           | 681/1041 [1:25:59<45:23,  7.57s/it]
 66%|█████████████████████████████████████████████████████████████████████████████████▏                                          | 682/1041 [1:26:07<45:16,  7.57s/it]
 66%|█████████████████████████████████████████████████████████████████████████████████▎                                          | 683/1041 [1:26:14<45:08,  7.57s/it]
 66%|█████████████████████████████████████████████████████████████████████████████████▍                                          | 684/1041 [1:26:22<45:01,  7.57s/it]
 66%|█████████████████████████████████████████████████████████████████████████████████▌                                          | 685/1041 [1:26:30<44:53,  7.57s/it]
 66%|█████████████████████████████████████████████████████████████████████████████████▋                                          | 686/1041 [1:26:37<44:45,  7.57s/it]
 66%|█████████████████████████████████████████████████████████████████████████████████▊                                          | 687/1041 [1:26:45<44:37,  7.56s/it]
 66%|█████████████████████████████████████████████████████████████████████████████████▉                                          | 688/1041 [1:26:52<44:30,  7.56s/it]
 66%|██████████████████████████████████████████████████████████████████████████████████                                          | 689/1041 [1:27:00<44:22,  7.56s/it]
 66%|██████████████████████████████████████████████████████████████████████████████████▏                                         | 690/1041 [1:27:07<44:15,  7.56s/it]
                                                                                                                                                                      
{'loss': '0.0002998', 'grad_norm': '0.0001627', 'learning_rate': '6.146e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '78.38', 'tokens/total': 11302912, 'tokens/trainable': 5905088, 'epoch': '1.983'}

 66%|██████████████████████████████████████████████████████████████████████████████████▏                                         | 690/1041 [1:27:07<44:15,  7.56s/it]
 66%|██████████████████████████████████████████████████████████████████████████████████▎                                         | 691/1041 [1:27:15<44:08,  7.57s/it]
 66%|██████████████████████████████████████████████████████████████████████████████████▍                                         | 692/1041 [1:27:23<44:00,  7.57s/it]
 67%|██████████████████████████████████████████████████████████████████████████████████▌                                         | 693/1041 [1:27:30<43:52,  7.57s/it]
 67%|██████████████████████████████████████████████████████████████████████████████████▋                                         | 694/1041 [1:27:38<43:45,  7.57s/it]
 67%|██████████████████████████████████████████████████████████████████████████████████▊                                         | 695/1041 [1:27:45<43:37,  7.56s/it]
 67%|██████████████████████████████████████████████████████████████████████████████████▉                                         | 696/1041 [1:27:59<55:01,  9.57s/it]
 67%|███████████████████████████████████████████████████████████████████████████████████                                         | 697/1041 [1:28:07<51:25,  8.97s/it]
 67%|███████████████████████████████████████████████████████████████████████████████████▏                                        | 698/1041 [1:28:15<48:52,  8.55s/it]
 67%|███████████████████████████████████████████████████████████████████████████████████▎                                        | 699/1041 [1:28:22<47:03,  8.26s/it]
 67%|███████████████████████████████████████████████████████████████████████████████████▍                                        | 700/1041 [1:28:30<45:44,  8.05s/it]
                                                                                                                                                                      
{'loss': '0.0002974', 'grad_norm': '0.0004955', 'learning_rate': '5.84e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.37', 'tokens/total': 11478016, 'tokens/trainable': 5996545, 'epoch': '2.014'}

 67%|███████████████████████████████████████████████████████████████████████████████████▍                                        | 700/1041 [1:28:30<45:44,  8.05s/it]
 67%|███████████████████████████████████████████████████████████████████████████████████▌                                        | 701/1041 [1:28:37<44:47,  7.90s/it]
 67%|███████████████████████████████████████████████████████████████████████████████████▌                                        | 702/1041 [1:28:45<44:05,  7.80s/it]
 68%|███████████████████████████████████████████████████████████████████████████████████▋                                        | 703/1041 [1:28:52<43:33,  7.73s/it]
 68%|███████████████████████████████████████████████████████████████████████████████████▊                                        | 704/1041 [1:29:00<43:09,  7.68s/it]
 68%|███████████████████████████████████████████████████████████████████████████████████▉                                        | 705/1041 [1:29:08<42:50,  7.65s/it]
 68%|████████████████████████████████████████████████████████████████████████████████████                                        | 706/1041 [1:29:15<42:35,  7.63s/it]
 68%|████████████████████████████████████████████████████████████████████████████████████▏                                       | 707/1041 [1:29:23<42:22,  7.61s/it]
 68%|████████████████████████████████████████████████████████████████████████████████████▎                                       | 708/1041 [1:29:30<42:11,  7.60s/it]
 68%|████████████████████████████████████████████████████████████████████████████████████▍                                       | 709/1041 [1:29:38<42:00,  7.59s/it]
 68%|████████████████████████████████████████████████████████████████████████████████████▌                                       | 710/1041 [1:29:45<41:50,  7.59s/it]
                                                                                                                                                                      
{'loss': '0.0003995', 'grad_norm': '0.0003461', 'learning_rate': '5.539e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '75.56', 'tokens/total': 11641856, 'tokens/trainable': 6082846, 'epoch': '2.043'}

 68%|████████████████████████████████████████████████████████████████████████████████████▌                                       | 710/1041 [1:29:45<41:50,  7.59s/it]
 68%|████████████████████████████████████████████████████████████████████████████████████▋                                       | 711/1041 [1:29:53<41:42,  7.58s/it]
 68%|████████████████████████████████████████████████████████████████████████████████████▊                                       | 712/1041 [1:30:01<41:32,  7.58s/it]
 68%|████████████████████████████████████████████████████████████████████████████████████▉                                       | 713/1041 [1:30:08<41:24,  7.58s/it]
 69%|█████████████████████████████████████████████████████████████████████████████████████                                       | 714/1041 [1:30:16<41:17,  7.58s/it]
 69%|█████████████████████████████████████████████████████████████████████████████████████▏                                      | 715/1041 [1:30:23<41:08,  7.57s/it]
 69%|█████████████████████████████████████████████████████████████████████████████████████▎                                      | 716/1041 [1:30:31<41:01,  7.57s/it]
 69%|█████████████████████████████████████████████████████████████████████████████████████▍                                      | 717/1041 [1:30:38<40:53,  7.57s/it]
 69%|█████████████████████████████████████████████████████████████████████████████████████▌                                      | 718/1041 [1:30:46<40:46,  7.57s/it]
 69%|█████████████████████████████████████████████████████████████████████████████████████▋                                      | 719/1041 [1:30:54<40:38,  7.57s/it]
 69%|█████████████████████████████████████████████████████████████████████████████████████▊                                      | 720/1041 [1:31:01<40:30,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002963', 'grad_norm': '0.0003361', 'learning_rate': '5.243e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.89', 'tokens/total': 11805696, 'tokens/trainable': 6169007, 'epoch': '2.072'}

 69%|█████████████████████████████████████████████████████████████████████████████████████▊                                      | 720/1041 [1:31:01<40:30,  7.57s/it]
 69%|█████████████████████████████████████████████████████████████████████████████████████▉                                      | 721/1041 [1:31:09<40:23,  7.57s/it]
 69%|██████████████████████████████████████████████████████████████████████████████████████                                      | 722/1041 [1:31:16<40:16,  7.57s/it]
 69%|██████████████████████████████████████████████████████████████████████████████████████                                      | 723/1041 [1:31:24<40:08,  7.58s/it]
 70%|██████████████████████████████████████████████████████████████████████████████████████▏                                     | 724/1041 [1:31:32<40:01,  7.58s/it]
 70%|██████████████████████████████████████████████████████████████████████████████████████▎                                     | 725/1041 [1:31:39<39:54,  7.58s/it]
 70%|██████████████████████████████████████████████████████████████████████████████████████▍                                     | 726/1041 [1:31:47<39:46,  7.58s/it]
 70%|██████████████████████████████████████████████████████████████████████████████████████▌                                     | 727/1041 [1:31:54<39:38,  7.57s/it]
 70%|██████████████████████████████████████████████████████████████████████████████████████▋                                     | 728/1041 [1:32:02<39:30,  7.57s/it]
 70%|██████████████████████████████████████████████████████████████████████████████████████▊                                     | 729/1041 [1:32:09<39:22,  7.57s/it]
 70%|██████████████████████████████████████████████████████████████████████████████████████▉                                     | 730/1041 [1:32:17<39:16,  7.58s/it]
                                                                                                                                                                      
{'loss': '0.0003063', 'grad_norm': '0.0003124', 'learning_rate': '4.952e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.48', 'tokens/total': 11969536, 'tokens/trainable': 6254278, 'epoch': '2.101'}

 70%|██████████████████████████████████████████████████████████████████████████████████████▉                                     | 730/1041 [1:32:17<39:16,  7.58s/it]
 70%|███████████████████████████████████████████████████████████████████████████████████████                                     | 731/1041 [1:32:25<39:08,  7.57s/it]
 70%|███████████████████████████████████████████████████████████████████████████████████████▏                                    | 732/1041 [1:32:32<39:00,  7.57s/it]
 70%|███████████████████████████████████████████████████████████████████████████████████████▎                                    | 733/1041 [1:32:40<38:52,  7.57s/it]
 71%|███████████████████████████████████████████████████████████████████████████████████████▍                                    | 734/1041 [1:32:47<38:45,  7.57s/it]
 71%|███████████████████████████████████████████████████████████████████████████████████████▌                                    | 735/1041 [1:32:55<38:37,  7.57s/it]
 71%|███████████████████████████████████████████████████████████████████████████████████████▋                                    | 736/1041 [1:33:02<38:29,  7.57s/it]
 71%|███████████████████████████████████████████████████████████████████████████████████████▊                                    | 737/1041 [1:33:10<38:21,  7.57s/it]
 71%|███████████████████████████████████████████████████████████████████████████████████████▉                                    | 738/1041 [1:33:18<38:14,  7.57s/it]
 71%|████████████████████████████████████████████████████████████████████████████████████████                                    | 739/1041 [1:33:25<38:06,  7.57s/it]
 71%|████████████████████████████████████████████████████████████████████████████████████████▏                                   | 740/1041 [1:33:33<37:59,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0003031', 'grad_norm': '0.0004244', 'learning_rate': '4.667e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.58', 'tokens/total': 12133376, 'tokens/trainable': 6339984, 'epoch': '2.129'}

 71%|████████████████████████████████████████████████████████████████████████████████████████▏                                   | 740/1041 [1:33:33<37:59,  7.57s/it]
 71%|████████████████████████████████████████████████████████████████████████████████████████▎                                   | 741/1041 [1:33:40<37:52,  7.57s/it]
 71%|████████████████████████████████████████████████████████████████████████████████████████▍                                   | 742/1041 [1:33:48<37:44,  7.57s/it]
 71%|████████████████████████████████████████████████████████████████████████████████████████▌                                   | 743/1041 [1:33:55<37:36,  7.57s/it]
 71%|████████████████████████████████████████████████████████████████████████████████████████▌                                   | 744/1041 [1:34:03<37:28,  7.57s/it]
 72%|████████████████████████████████████████████████████████████████████████████████████████▋                                   | 745/1041 [1:34:11<37:21,  7.57s/it]
 72%|████████████████████████████████████████████████████████████████████████████████████████▊                                   | 746/1041 [1:34:18<37:13,  7.57s/it]
 72%|████████████████████████████████████████████████████████████████████████████████████████▉                                   | 747/1041 [1:34:26<37:06,  7.57s/it]
 72%|█████████████████████████████████████████████████████████████████████████████████████████                                   | 748/1041 [1:34:33<36:59,  7.57s/it]
 72%|█████████████████████████████████████████████████████████████████████████████████████████▏                                  | 749/1041 [1:34:41<36:51,  7.57s/it]
 72%|█████████████████████████████████████████████████████████████████████████████████████████▎                                  | 750/1041 [1:34:48<36:43,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0001293', 'grad_norm': '1.241e-05', 'learning_rate': '4.387e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '65.08', 'tokens/total': 12297216, 'tokens/trainable': 6425314, 'epoch': '2.158'}

 72%|█████████████████████████████████████████████████████████████████████████████████████████▎                                  | 750/1041 [1:34:48<36:43,  7.57s/it]
 72%|█████████████████████████████████████████████████████████████████████████████████████████▍                                  | 751/1041 [1:34:56<36:36,  7.57s/it]
 72%|█████████████████████████████████████████████████████████████████████████████████████████▌                                  | 752/1041 [1:35:04<36:29,  7.57s/it]
 72%|█████████████████████████████████████████████████████████████████████████████████████████▋                                  | 753/1041 [1:35:11<36:21,  7.58s/it]
 72%|█████████████████████████████████████████████████████████████████████████████████████████▊                                  | 754/1041 [1:35:19<36:14,  7.58s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████████████▉                                  | 755/1041 [1:35:26<36:06,  7.57s/it]
 73%|██████████████████████████████████████████████████████████████████████████████████████████                                  | 756/1041 [1:35:34<35:58,  7.57s/it]
 73%|██████████████████████████████████████████████████████████████████████████████████████████▏                                 | 757/1041 [1:35:41<35:51,  7.57s/it]
 73%|██████████████████████████████████████████████████████████████████████████████████████████▎                                 | 758/1041 [1:35:49<35:43,  7.58s/it]
 73%|██████████████████████████████████████████████████████████████████████████████████████████▍                                 | 759/1041 [1:35:57<35:36,  7.58s/it]
 73%|██████████████████████████████████████████████████████████████████████████████████████████▌                                 | 760/1041 [1:36:04<35:28,  7.58s/it]
                                                                                                                                                                      
{'loss': '0.000241', 'grad_norm': '0.0002966', 'learning_rate': '4.114e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.22', 'tokens/total': 12461056, 'tokens/trainable': 6510816, 'epoch': '2.187'}

 73%|██████████████████████████████████████████████████████████████████████████████████████████▌                                 | 760/1041 [1:36:04<35:28,  7.58s/it]
 73%|██████████████████████████████████████████████████████████████████████████████████████████▋                                 | 761/1041 [1:36:12<35:21,  7.58s/it]
 73%|██████████████████████████████████████████████████████████████████████████████████████████▊                                 | 762/1041 [1:36:19<35:15,  7.58s/it]
 73%|██████████████████████████████████████████████████████████████████████████████████████████▉                                 | 763/1041 [1:36:27<35:06,  7.58s/it]
 73%|███████████████████████████████████████████████████████████████████████████████████████████                                 | 764/1041 [1:36:34<34:58,  7.58s/it]
 73%|███████████████████████████████████████████████████████████████████████████████████████████                                 | 765/1041 [1:36:42<34:50,  7.58s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████████████▏                                | 766/1041 [1:36:50<34:43,  7.58s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████████████▎                                | 767/1041 [1:36:57<34:35,  7.58s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████████████▍                                | 768/1041 [1:37:05<34:28,  7.58s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████████████▌                                | 769/1041 [1:37:12<34:21,  7.58s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████████████▋                                | 770/1041 [1:37:20<34:13,  7.58s/it]
                                                                                                                                                                      
{'loss': '0.0001448', 'grad_norm': '0.0002363', 'learning_rate': '3.847e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '75.89', 'tokens/total': 12624896, 'tokens/trainable': 6596600, 'epoch': '2.216'}

 74%|███████████████████████████████████████████████████████████████████████████████████████████▋                                | 770/1041 [1:37:20<34:13,  7.58s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████████████▊                                | 771/1041 [1:37:28<34:05,  7.58s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████████████▉                                | 772/1041 [1:37:35<33:57,  7.58s/it]
 74%|████████████████████████████████████████████████████████████████████████████████████████████                                | 773/1041 [1:37:43<33:49,  7.57s/it]
 74%|████████████████████████████████████████████████████████████████████████████████████████████▏                               | 774/1041 [1:37:50<33:42,  7.57s/it]
 74%|████████████████████████████████████████████████████████████████████████████████████████████▎                               | 775/1041 [1:37:58<33:34,  7.57s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████████████▍                               | 776/1041 [1:38:05<33:27,  7.58s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████████████▌                               | 777/1041 [1:38:13<33:19,  7.57s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████████████▋                               | 778/1041 [1:38:21<33:11,  7.57s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████████████▊                               | 779/1041 [1:38:28<33:03,  7.57s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████████████▉                               | 780/1041 [1:38:36<32:56,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002388', 'grad_norm': '0.0003023', 'learning_rate': '3.588e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.01', 'tokens/total': 12788736, 'tokens/trainable': 6681873, 'epoch': '2.244'}

 75%|████████████████████████████████████████████████████████████████████████████████████████████▉                               | 780/1041 [1:38:36<32:56,  7.57s/it]
 75%|█████████████████████████████████████████████████████████████████████████████████████████████                               | 781/1041 [1:38:43<32:49,  7.57s/it]
 75%|█████████████████████████████████████████████████████████████████████████████████████████████▏                              | 782/1041 [1:38:51<32:41,  7.57s/it]
 75%|█████████████████████████████████████████████████████████████████████████████████████████████▎                              | 783/1041 [1:38:58<32:33,  7.57s/it]
 75%|█████████████████████████████████████████████████████████████████████████████████████████████▍                              | 784/1041 [1:39:06<32:26,  7.57s/it]
 75%|█████████████████████████████████████████████████████████████████████████████████████████████▌                              | 785/1041 [1:39:14<32:18,  7.57s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████████████▋                              | 786/1041 [1:39:21<32:11,  7.57s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████████████▋                              | 787/1041 [1:39:29<32:03,  7.57s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████████████▊                              | 788/1041 [1:39:36<31:55,  7.57s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████████████▉                              | 789/1041 [1:39:44<31:48,  7.57s/it]
 76%|██████████████████████████████████████████████████████████████████████████████████████████████                              | 790/1041 [1:39:51<31:41,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0001819', 'grad_norm': '0.0001801', 'learning_rate': '3.335e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.58', 'tokens/total': 12952576, 'tokens/trainable': 6767650, 'epoch': '2.273'}

 76%|██████████████████████████████████████████████████████████████████████████████████████████████                              | 790/1041 [1:39:51<31:41,  7.57s/it]
 76%|██████████████████████████████████████████████████████████████████████████████████████████████▏                             | 791/1041 [1:39:59<31:33,  7.58s/it]
 76%|██████████████████████████████████████████████████████████████████████████████████████████████▎                             | 792/1041 [1:40:07<31:26,  7.57s/it]
 76%|██████████████████████████████████████████████████████████████████████████████████████████████▍                             | 793/1041 [1:40:14<31:18,  7.58s/it]
 76%|██████████████████████████████████████████████████████████████████████████████████████████████▌                             | 794/1041 [1:40:22<31:10,  7.57s/it]
 76%|██████████████████████████████████████████████████████████████████████████████████████████████▋                             | 795/1041 [1:40:29<31:02,  7.57s/it]
 76%|██████████████████████████████████████████████████████████████████████████████████████████████▊                             | 796/1041 [1:40:37<30:55,  7.57s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████████████▉                             | 797/1041 [1:40:44<30:47,  7.57s/it]
 77%|███████████████████████████████████████████████████████████████████████████████████████████████                             | 798/1041 [1:40:52<30:40,  7.57s/it]
 77%|███████████████████████████████████████████████████████████████████████████████████████████████▏                            | 799/1041 [1:41:00<30:32,  7.57s/it]
 77%|███████████████████████████████████████████████████████████████████████████████████████████████▎                            | 800/1041 [1:41:07<30:25,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002145', 'grad_norm': '0.0002411', 'learning_rate': '3.09e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '66.92', 'tokens/total': 13116416, 'tokens/trainable': 6853242, 'epoch': '2.302'}

 77%|███████████████████████████████████████████████████████████████████████████████████████████████▎                            | 800/1041 [1:41:07<30:25,  7.57s/it][2026-03-15 12:48:57,577] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-800

 77%|███████████████████████████████████████████████████████████████████████████████████████████████▍                            | 801/1041 [1:41:16<31:48,  7.95s/it]
 77%|███████████████████████████████████████████████████████████████████████████████████████████████▌                            | 802/1041 [1:41:24<31:13,  7.84s/it]
 77%|███████████████████████████████████████████████████████████████████████████████████████████████▋                            | 803/1041 [1:41:31<30:46,  7.76s/it]
 77%|███████████████████████████████████████████████████████████████████████████████████████████████▊                            | 804/1041 [1:41:39<30:24,  7.70s/it]
 77%|███████████████████████████████████████████████████████████████████████████████████████████████▉                            | 805/1041 [1:41:46<30:07,  7.66s/it]
 77%|████████████████████████████████████████████████████████████████████████████████████████████████                            | 806/1041 [1:41:54<29:53,  7.63s/it]
 78%|████████████████████████████████████████████████████████████████████████████████████████████████▏                           | 807/1041 [1:42:01<29:41,  7.61s/it]
 78%|████████████████████████████████████████████████████████████████████████████████████████████████▏                           | 808/1041 [1:42:09<29:30,  7.60s/it]
 78%|████████████████████████████████████████████████████████████████████████████████████████████████▎                           | 809/1041 [1:42:17<29:21,  7.59s/it]
 78%|████████████████████████████████████████████████████████████████████████████████████████████████▍                           | 810/1041 [1:42:24<29:12,  7.59s/it]
                                                                                                                                                                      
{'loss': '0.0002372', 'grad_norm': '0.0001784', 'learning_rate': '2.853e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.85', 'tokens/total': 13280256, 'tokens/trainable': 6938782, 'epoch': '2.331'}

 78%|████████████████████████████████████████████████████████████████████████████████████████████████▍                           | 810/1041 [1:42:24<29:12,  7.59s/it]
 78%|████████████████████████████████████████████████████████████████████████████████████████████████▌                           | 811/1041 [1:42:32<29:03,  7.58s/it]
 78%|████████████████████████████████████████████████████████████████████████████████████████████████▋                           | 812/1041 [1:42:39<28:55,  7.58s/it]
 78%|████████████████████████████████████████████████████████████████████████████████████████████████▊                           | 813/1041 [1:42:47<28:47,  7.58s/it]
 78%|████████████████████████████████████████████████████████████████████████████████████████████████▉                           | 814/1041 [1:42:54<28:39,  7.57s/it]
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████                           | 815/1041 [1:43:02<28:31,  7.57s/it]
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████▏                          | 816/1041 [1:43:10<28:23,  7.57s/it]
 78%|█████████████████████████████████████████████████████████████████████████████████████████████████▎                          | 817/1041 [1:43:17<28:16,  7.57s/it]
 79%|█████████████████████████████████████████████████████████████████████████████████████████████████▍                          | 818/1041 [1:43:25<28:08,  7.57s/it]
 79%|█████████████████████████████████████████████████████████████████████████████████████████████████▌                          | 819/1041 [1:43:32<28:01,  7.57s/it]
 79%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                          | 820/1041 [1:43:40<27:53,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0001424', 'grad_norm': '0.0004637', 'learning_rate': '2.623e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.71', 'tokens/total': 13444096, 'tokens/trainable': 7024676, 'epoch': '2.359'}

 79%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                          | 820/1041 [1:43:40<27:53,  7.57s/it]
 79%|█████████████████████████████████████████████████████████████████████████████████████████████████▊                          | 821/1041 [1:43:47<27:45,  7.57s/it]
 79%|█████████████████████████████████████████████████████████████████████████████████████████████████▉                          | 822/1041 [1:43:55<27:38,  7.57s/it]
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████                          | 823/1041 [1:44:03<27:30,  7.57s/it]
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████▏                         | 824/1041 [1:44:10<27:22,  7.57s/it]
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                         | 825/1041 [1:44:18<27:14,  7.57s/it]
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████▍                         | 826/1041 [1:44:25<27:07,  7.57s/it]
 79%|██████████████████████████████████████████████████████████████████████████████████████████████████▌                         | 827/1041 [1:44:33<26:59,  7.57s/it]
 80%|██████████████████████████████████████████████████████████████████████████████████████████████████▋                         | 828/1041 [1:44:40<26:51,  7.57s/it]
 80%|██████████████████████████████████████████████████████████████████████████████████████████████████▋                         | 829/1041 [1:44:48<26:44,  7.57s/it]
 80%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                         | 830/1041 [1:44:56<26:36,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002724', 'grad_norm': '0.000359', 'learning_rate': '2.402e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '73.86', 'tokens/total': 13607936, 'tokens/trainable': 7109974, 'epoch': '2.388'}

 80%|██████████████████████████████████████████████████████████████████████████████████████████████████▊                         | 830/1041 [1:44:56<26:36,  7.57s/it]
 80%|██████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 831/1041 [1:45:03<26:29,  7.57s/it]
 80%|███████████████████████████████████████████████████████████████████████████████████████████████████                         | 832/1041 [1:45:11<26:22,  7.57s/it]
 80%|███████████████████████████████████████████████████████████████████████████████████████████████████▏                        | 833/1041 [1:45:18<26:14,  7.57s/it]
 80%|███████████████████████████████████████████████████████████████████████████████████████████████████▎                        | 834/1041 [1:45:26<26:06,  7.57s/it]
 80%|███████████████████████████████████████████████████████████████████████████████████████████████████▍                        | 835/1041 [1:45:33<25:59,  7.57s/it]
 80%|███████████████████████████████████████████████████████████████████████████████████████████████████▌                        | 836/1041 [1:45:41<25:51,  7.57s/it]
 80%|███████████████████████████████████████████████████████████████████████████████████████████████████▋                        | 837/1041 [1:45:49<25:44,  7.57s/it]
 80%|███████████████████████████████████████████████████████████████████████████████████████████████████▊                        | 838/1041 [1:45:56<25:36,  7.57s/it]
 81%|███████████████████████████████████████████████████████████████████████████████████████████████████▉                        | 839/1041 [1:46:04<25:28,  7.57s/it]
 81%|████████████████████████████████████████████████████████████████████████████████████████████████████                        | 840/1041 [1:46:11<25:21,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0003118', 'grad_norm': '0.0004633', 'learning_rate': '2.189e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.06', 'tokens/total': 13771776, 'tokens/trainable': 7195267, 'epoch': '2.417'}

 81%|████████████████████████████████████████████████████████████████████████████████████████████████████                        | 840/1041 [1:46:11<25:21,  7.57s/it]
 81%|████████████████████████████████████████████████████████████████████████████████████████████████████▏                       | 841/1041 [1:46:19<25:14,  7.57s/it]
 81%|████████████████████████████████████████████████████████████████████████████████████████████████████▎                       | 842/1041 [1:46:26<25:06,  7.57s/it]
 81%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                       | 843/1041 [1:46:34<24:58,  7.57s/it]
 81%|████████████████████████████████████████████████████████████████████████████████████████████████████▌                       | 844/1041 [1:46:41<24:51,  7.57s/it]
 81%|████████████████████████████████████████████████████████████████████████████████████████████████████▋                       | 845/1041 [1:46:49<24:43,  7.57s/it]
 81%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                       | 846/1041 [1:46:57<24:36,  7.57s/it]
 81%|████████████████████████████████████████████████████████████████████████████████████████████████████▉                       | 847/1041 [1:47:04<24:28,  7.57s/it]
 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████                       | 848/1041 [1:47:12<24:21,  7.57s/it]
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                      | 849/1041 [1:47:19<24:13,  7.57s/it]
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                      | 850/1041 [1:47:27<24:06,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002572', 'grad_norm': '0.0005056', 'learning_rate': '1.985e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.06', 'tokens/total': 13935616, 'tokens/trainable': 7280552, 'epoch': '2.446'}

 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                      | 850/1041 [1:47:27<24:06,  7.57s/it]
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▎                      | 851/1041 [1:47:35<23:58,  7.57s/it]
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▍                      | 852/1041 [1:47:42<23:51,  7.57s/it]
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 853/1041 [1:47:50<23:43,  7.57s/it]
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 854/1041 [1:47:57<23:35,  7.57s/it]
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▊                      | 855/1041 [1:48:05<23:28,  7.57s/it]
 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████▉                      | 856/1041 [1:48:12<23:20,  7.57s/it]
 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████                      | 857/1041 [1:48:20<23:13,  7.57s/it]
 82%|██████████████████████████████████████████████████████████████████████████████████████████████████████▏                     | 858/1041 [1:48:27<23:05,  7.57s/it]
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▎                     | 859/1041 [1:48:35<22:57,  7.57s/it]
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                     | 860/1041 [1:48:43<22:50,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0003513', 'grad_norm': '0.0006618', 'learning_rate': '1.79e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '76.99', 'tokens/total': 14099456, 'tokens/trainable': 7366632, 'epoch': '2.474'}

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                     | 860/1041 [1:48:43<22:50,  7.57s/it]
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▌                     | 861/1041 [1:48:50<22:42,  7.57s/it]
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋                     | 862/1041 [1:48:58<22:35,  7.57s/it]
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▊                     | 863/1041 [1:49:05<22:27,  7.57s/it]
 83%|██████████████████████████████████████████████████████████████████████████████████████████████████████▉                     | 864/1041 [1:49:13<22:20,  7.57s/it]
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████                     | 865/1041 [1:49:20<22:12,  7.57s/it]
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                    | 866/1041 [1:49:28<22:04,  7.57s/it]
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎                    | 867/1041 [1:49:36<21:57,  7.57s/it]
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▍                    | 868/1041 [1:49:43<21:49,  7.57s/it]
 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 869/1041 [1:49:51<21:42,  7.57s/it]
 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋                    | 870/1041 [1:49:58<21:34,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002729', 'grad_norm': '0.0002825', 'learning_rate': '1.604e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.96', 'tokens/total': 14263296, 'tokens/trainable': 7452908, 'epoch': '2.503'}

 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████▋                    | 870/1041 [1:49:58<21:34,  7.57s/it]
 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                    | 871/1041 [1:50:06<21:26,  7.57s/it]
 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████▊                    | 872/1041 [1:50:13<21:19,  7.57s/it]
 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████▉                    | 873/1041 [1:50:21<21:11,  7.57s/it]
 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████                    | 874/1041 [1:50:29<21:04,  7.57s/it]
 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▏                   | 875/1041 [1:50:36<20:56,  7.57s/it]
 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 876/1041 [1:50:44<20:48,  7.57s/it]
 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 877/1041 [1:50:51<20:41,  7.57s/it]
 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▌                   | 878/1041 [1:50:59<20:33,  7.57s/it]
 84%|████████████████████████████████████████████████████████████████████████████████████████████████████████▋                   | 879/1041 [1:51:06<20:26,  7.57s/it]
 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 880/1041 [1:51:14<20:19,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002997', 'grad_norm': '0.0003895', 'learning_rate': '1.427e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '69.54', 'tokens/total': 14427136, 'tokens/trainable': 7537859, 'epoch': '2.532'}

 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████▊                   | 880/1041 [1:51:14<20:19,  7.57s/it]
 85%|████████████████████████████████████████████████████████████████████████████████████████████████████████▉                   | 881/1041 [1:51:22<20:11,  7.57s/it]
 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████                   | 882/1041 [1:51:29<20:03,  7.57s/it]
 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▏                  | 883/1041 [1:51:37<19:56,  7.57s/it]
 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▎                  | 884/1041 [1:51:44<19:48,  7.57s/it]
 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▍                  | 885/1041 [1:51:52<19:40,  7.57s/it]
 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌                  | 886/1041 [1:51:59<19:33,  7.57s/it]
 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▋                  | 887/1041 [1:52:07<19:26,  7.57s/it]
 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▊                  | 888/1041 [1:52:15<19:18,  7.58s/it]
 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▉                  | 889/1041 [1:52:22<19:11,  7.58s/it]
 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                  | 890/1041 [1:52:30<19:03,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0001795', 'grad_norm': '7.759e-06', 'learning_rate': '1.26e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.89', 'tokens/total': 14590976, 'tokens/trainable': 7623400, 'epoch': '2.561'}

 85%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                  | 890/1041 [1:52:30<19:03,  7.57s/it]
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▏                 | 891/1041 [1:52:37<18:56,  7.57s/it]
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 892/1041 [1:52:45<18:48,  7.57s/it]
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▎                 | 893/1041 [1:52:52<18:40,  7.57s/it]
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                 | 894/1041 [1:53:00<18:33,  7.57s/it]
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▌                 | 895/1041 [1:53:08<18:26,  7.58s/it]
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▋                 | 896/1041 [1:53:15<18:18,  7.58s/it]
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▊                 | 897/1041 [1:53:23<18:11,  7.58s/it]
 86%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▉                 | 898/1041 [1:53:30<18:03,  7.58s/it]
 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████                 | 899/1041 [1:53:38<18:07,  7.66s/it]
 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 900/1041 [1:53:46<17:55,  7.63s/it]
                                                                                                                                                                      
{'loss': '0.0002064', 'grad_norm': '0.0008526', 'learning_rate': '1.103e-05', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '70.94', 'tokens/total': 14754816, 'tokens/trainable': 7708898, 'epoch': '2.589'}

 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 900/1041 [1:53:46<17:55,  7.63s/it]
 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 901/1041 [1:53:53<17:45,  7.61s/it]
 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▍                | 902/1041 [1:54:01<17:36,  7.60s/it]
 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▌                | 903/1041 [1:54:09<17:27,  7.59s/it]
 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▋                | 904/1041 [1:54:16<17:19,  7.59s/it]
 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▊                | 905/1041 [1:54:24<17:11,  7.58s/it]
 87%|███████████████████████████████████████████████████████████████████████████████████████████████████████████▉                | 906/1041 [1:54:31<17:03,  7.58s/it]
 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████                | 907/1041 [1:54:39<16:55,  7.57s/it]
 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏               | 908/1041 [1:54:46<16:47,  7.57s/it]
 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▎               | 909/1041 [1:54:54<16:39,  7.57s/it]
 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 910/1041 [1:55:02<16:31,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0001663', 'grad_norm': '0.0002064', 'learning_rate': '9.554e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '66.72', 'tokens/total': 14918656, 'tokens/trainable': 7793933, 'epoch': '2.618'}

 87%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▍               | 910/1041 [1:55:02<16:31,  7.57s/it]
 88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▌               | 911/1041 [1:55:09<16:24,  7.57s/it]
 88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▋               | 912/1041 [1:55:17<16:16,  7.57s/it]
 88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊               | 913/1041 [1:55:24<16:09,  7.57s/it]
 88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊               | 914/1041 [1:55:32<16:01,  7.57s/it]
 88%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▉               | 915/1041 [1:55:39<15:53,  7.57s/it]
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████               | 916/1041 [1:55:47<15:46,  7.57s/it]
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▏              | 917/1041 [1:55:54<15:38,  7.57s/it]
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 918/1041 [1:56:02<15:31,  7.57s/it]
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▍              | 919/1041 [1:56:10<15:23,  7.57s/it]
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 920/1041 [1:56:17<15:17,  7.59s/it]
                                                                                                                                                                      
{'loss': '0.0002403', 'grad_norm': '0.0006', 'learning_rate': '8.181e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.35', 'tokens/total': 15082496, 'tokens/trainable': 7879975, 'epoch': '2.647'}

 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▌              | 920/1041 [1:56:17<15:17,  7.59s/it]
 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▋              | 921/1041 [1:56:25<15:09,  7.58s/it]
 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▊              | 922/1041 [1:56:32<15:01,  7.58s/it]
 89%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████▉              | 923/1041 [1:56:40<14:54,  7.58s/it]
 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 924/1041 [1:56:48<14:46,  7.58s/it]
 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▏             | 925/1041 [1:56:55<14:38,  7.58s/it]
 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▎             | 926/1041 [1:57:03<14:31,  7.57s/it]
 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▍             | 927/1041 [1:57:10<14:23,  7.57s/it]
 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▌             | 928/1041 [1:57:18<14:16,  7.58s/it]
 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▋             | 929/1041 [1:57:25<14:08,  7.58s/it]
 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 930/1041 [1:57:33<14:00,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.000351', 'grad_norm': '0.0003201', 'learning_rate': '6.91e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.59', 'tokens/total': 15246336, 'tokens/trainable': 7965693, 'epoch': '2.676'}

 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▊             | 930/1041 [1:57:33<14:00,  7.57s/it]
 89%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████▉             | 931/1041 [1:57:41<13:53,  7.57s/it]
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████             | 932/1041 [1:57:48<13:45,  7.57s/it]
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▏            | 933/1041 [1:57:56<13:38,  7.57s/it]
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 934/1041 [1:58:03<13:30,  7.58s/it]
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▎            | 935/1041 [1:58:11<13:22,  7.58s/it]
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍            | 936/1041 [1:58:18<13:15,  7.58s/it]
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌            | 937/1041 [1:58:26<13:07,  7.57s/it]
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▋            | 938/1041 [1:58:34<13:00,  7.57s/it]
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▊            | 939/1041 [1:58:41<12:52,  7.57s/it]
 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 940/1041 [1:58:49<12:44,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002426', 'grad_norm': '0.0001797', 'learning_rate': '5.742e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '71.84', 'tokens/total': 15410176, 'tokens/trainable': 8050640, 'epoch': '2.704'}

 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▉            | 940/1041 [1:58:49<12:44,  7.57s/it]
 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████            | 941/1041 [1:58:56<12:37,  7.57s/it]
 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏           | 942/1041 [1:59:04<12:29,  7.57s/it]
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎           | 943/1041 [1:59:11<12:22,  7.57s/it]
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍           | 944/1041 [1:59:19<12:14,  7.57s/it]
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌           | 945/1041 [1:59:27<12:06,  7.57s/it]
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋           | 946/1041 [1:59:34<11:59,  7.57s/it]
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 947/1041 [1:59:42<11:51,  7.57s/it]
 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉           | 948/1041 [1:59:49<11:44,  7.57s/it]
 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████           | 949/1041 [1:59:57<11:36,  7.57s/it]
 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 950/1041 [2:00:04<11:29,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0001977', 'grad_norm': '0.0005291', 'learning_rate': '4.68e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '65.62', 'tokens/total': 15574016, 'tokens/trainable': 8136082, 'epoch': '2.733'}

 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏          | 950/1041 [2:00:04<11:29,  7.57s/it]
 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎          | 951/1041 [2:00:12<11:21,  7.57s/it]
 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍          | 952/1041 [2:00:20<11:13,  7.57s/it]
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌          | 953/1041 [2:00:27<11:06,  7.57s/it]
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋          | 954/1041 [2:00:35<10:58,  7.57s/it]
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 955/1041 [2:00:42<10:51,  7.57s/it]
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 956/1041 [2:00:50<10:43,  7.57s/it]
 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉          | 957/1041 [2:00:57<10:35,  7.57s/it]
 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████          | 958/1041 [2:01:05<10:28,  7.57s/it]
 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 959/1041 [2:01:13<10:20,  7.57s/it]
 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 960/1041 [2:01:20<10:13,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0001808', 'grad_norm': '0.0003384', 'learning_rate': '3.724e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '64.89', 'tokens/total': 15737856, 'tokens/trainable': 8220910, 'epoch': '2.762'}

 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎         | 960/1041 [2:01:20<10:13,  7.57s/it]
 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍         | 961/1041 [2:01:28<10:05,  7.57s/it]
 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌         | 962/1041 [2:01:35<09:58,  7.57s/it]
 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋         | 963/1041 [2:01:43<09:50,  7.57s/it]
 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊         | 964/1041 [2:01:50<09:42,  7.57s/it]
 93%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉         | 965/1041 [2:01:58<09:35,  7.57s/it]
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████         | 966/1041 [2:02:06<09:27,  7.57s/it]
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏        | 967/1041 [2:02:13<09:20,  7.57s/it]
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎        | 968/1041 [2:02:21<09:12,  7.57s/it]
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍        | 969/1041 [2:02:28<09:05,  7.57s/it]
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 970/1041 [2:02:36<08:57,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0001855', 'grad_norm': '0.0004726', 'learning_rate': '2.875e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '72.11', 'tokens/total': 15901696, 'tokens/trainable': 8306117, 'epoch': '2.791'}

 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌        | 970/1041 [2:02:36<08:57,  7.57s/it]
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 971/1041 [2:02:43<08:50,  7.57s/it]
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊        | 972/1041 [2:02:51<08:42,  7.57s/it]
 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉        | 973/1041 [2:02:59<08:34,  7.57s/it]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████        | 974/1041 [2:03:06<08:27,  7.57s/it]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏       | 975/1041 [2:03:14<08:19,  7.57s/it]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎       | 976/1041 [2:03:21<08:12,  7.57s/it]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 977/1041 [2:03:29<08:04,  7.57s/it]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍       | 978/1041 [2:03:36<07:56,  7.57s/it]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌       | 979/1041 [2:03:44<07:49,  7.57s/it]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 980/1041 [2:03:52<07:41,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0003186', 'grad_norm': '0.0005886', 'learning_rate': '2.135e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.47', 'tokens/total': 16065536, 'tokens/trainable': 8391988, 'epoch': '2.819'}

 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋       | 980/1041 [2:03:52<07:41,  7.57s/it]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊       | 981/1041 [2:03:59<07:34,  7.57s/it]
 94%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉       | 982/1041 [2:04:07<07:26,  7.57s/it]
 94%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████       | 983/1041 [2:04:14<07:19,  7.57s/it]
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏      | 984/1041 [2:04:22<07:11,  7.57s/it]
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎      | 985/1041 [2:04:29<07:04,  7.57s/it]
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍      | 986/1041 [2:04:37<06:56,  7.57s/it]
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌      | 987/1041 [2:04:45<06:48,  7.57s/it]
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋      | 988/1041 [2:04:52<06:41,  7.57s/it]
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊      | 989/1041 [2:05:00<06:33,  7.57s/it]
 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 990/1041 [2:05:07<06:26,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.000254', 'grad_norm': '0.0003106', 'learning_rate': '1.503e-06', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '63.89', 'tokens/total': 16229376, 'tokens/trainable': 8477325, 'epoch': '2.848'}

 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉      | 990/1041 [2:05:07<06:26,  7.57s/it]
 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████      | 991/1041 [2:05:15<06:18,  7.57s/it]
 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏     | 992/1041 [2:05:23<06:11,  7.59s/it]
 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎     | 993/1041 [2:05:30<06:04,  7.58s/it]
 95%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 994/1041 [2:05:38<05:56,  7.58s/it]
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌     | 995/1041 [2:05:45<05:48,  7.57s/it]
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋     | 996/1041 [2:05:53<05:40,  7.57s/it]
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊     | 997/1041 [2:06:00<05:33,  7.57s/it]
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 998/1041 [2:06:08<05:25,  7.57s/it]
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉     | 999/1041 [2:06:15<05:17,  7.57s/it]
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 1000/1041 [2:06:23<05:10,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0001699', 'grad_norm': '7.555e-06', 'learning_rate': '9.815e-07', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '75.2', 'tokens/total': 16393216, 'tokens/trainable': 8562563, 'epoch': '2.877'}

 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏    | 1000/1041 [2:06:23<05:10,  7.57s/it][2026-03-15 13:14:13,476] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-1000

 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎    | 1001/1041 [2:06:32<05:17,  7.94s/it]
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍    | 1002/1041 [2:06:39<05:05,  7.83s/it]
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌    | 1003/1041 [2:06:47<04:54,  7.75s/it]
 96%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 1004/1041 [2:06:55<04:44,  7.69s/it]
 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋    | 1005/1041 [2:07:02<04:35,  7.65s/it]
 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊    | 1006/1041 [2:07:10<04:26,  7.63s/it]
 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉    | 1007/1041 [2:07:17<04:18,  7.61s/it]
 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████    | 1008/1041 [2:07:25<04:10,  7.60s/it]
 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   | 1009/1041 [2:07:32<04:02,  7.59s/it]
 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 1010/1041 [2:07:40<03:55,  7.58s/it]
                                                                                                                                                                      
{'loss': '0.0001798', 'grad_norm': '0.0002802', 'learning_rate': '5.701e-07', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '77.95', 'tokens/total': 16557056, 'tokens/trainable': 8648151, 'epoch': '2.905'}

 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎   | 1010/1041 [2:07:40<03:55,  7.58s/it]
 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍   | 1011/1041 [2:07:48<03:47,  7.58s/it]
 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌   | 1012/1041 [2:07:55<03:39,  7.57s/it]
 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋   | 1013/1041 [2:08:03<03:32,  7.57s/it]
 97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊   | 1014/1041 [2:08:10<03:24,  7.57s/it]
 98%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉   | 1015/1041 [2:08:18<03:16,  7.57s/it]
 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████   | 1016/1041 [2:08:25<03:09,  7.57s/it]
 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 1017/1041 [2:08:33<03:01,  7.57s/it]
 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎  | 1018/1041 [2:08:40<02:54,  7.57s/it]
 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍  | 1019/1041 [2:08:48<02:46,  7.56s/it]
 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌  | 1020/1041 [2:08:56<02:38,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002128', 'grad_norm': '0.000261', 'learning_rate': '2.696e-07', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '74.12', 'tokens/total': 16720896, 'tokens/trainable': 8733789, 'epoch': '2.934'}

 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌  | 1020/1041 [2:08:56<02:38,  7.57s/it]
 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋  | 1021/1041 [2:09:03<02:31,  7.57s/it]
 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊  | 1022/1041 [2:09:11<02:23,  7.57s/it]
 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊  | 1023/1041 [2:09:18<02:16,  7.57s/it]
 98%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉  | 1024/1041 [2:09:26<02:08,  7.57s/it]
 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████  | 1025/1041 [2:09:33<02:01,  7.57s/it]
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 1026/1041 [2:09:41<01:53,  7.57s/it]
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 1027/1041 [2:09:49<01:45,  7.57s/it]
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 1028/1041 [2:09:56<01:38,  7.57s/it]
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 1029/1041 [2:10:04<01:30,  7.57s/it]
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1030/1041 [2:10:11<01:23,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0002098', 'grad_norm': '0.0005841', 'learning_rate': '8.024e-08', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '67.91', 'tokens/total': 16884736, 'tokens/trainable': 8819876, 'epoch': '2.963'}

 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 1030/1041 [2:10:11<01:23,  7.57s/it]
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 1031/1041 [2:10:19<01:15,  7.57s/it]
 99%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 1032/1041 [2:10:26<01:08,  7.57s/it]
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1033/1041 [2:10:34<01:00,  7.57s/it]
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏| 1034/1041 [2:10:42<00:52,  7.57s/it]
 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎| 1035/1041 [2:10:49<00:45,  7.57s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍| 1036/1041 [2:10:57<00:37,  7.57s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌| 1037/1041 [2:11:04<00:30,  7.57s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋| 1038/1041 [2:11:12<00:22,  7.57s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊| 1039/1041 [2:11:19<00:15,  7.57s/it]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉| 1040/1041 [2:11:27<00:07,  7.57s/it]
                                                                                                                                                                      
{'loss': '0.0001613', 'grad_norm': '0.0004603', 'learning_rate': '2.229e-09', 'ppl': '1', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'tokens/train_per_sec_per_gpu': '68.99', 'tokens/total': 17048576, 'tokens/trainable': 8905477, 'epoch': '2.992'}

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉| 1040/1041 [2:11:27<00:07,  7.57s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1041/1041 [2:11:35<00:00,  7.57s/it][2026-03-15 13:19:24,986] [INFO] [axolotl.core.trainers.base._save:721] [PID:38782] Saving model checkpoint to /workspace/outputs/kgpt-v1/checkpoint-1041

                                                                                                                                                                      
{'train_runtime': '7896', 'train_samples_per_second': '2.109', 'train_steps_per_second': '0.132', 'train_loss': '0.05411', 'memory/max_active (GiB)': '9.55', 'memory/max_allocated (GiB)': '9.55', 'memory/device_reserved (GiB)': '10.35', 'epoch': '2.995', 'tokens/train_per_sec_per_gpu': '70.11'}

100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1041/1041 [2:11:36<00:00,  7.57s/it]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1041/1041 [2:11:36<00:00,  7.59s/it]
[2026-03-15 13:19:26,313] [INFO] [axolotl.train.save_trained_model:238] [PID:38782] Training completed! Saving trained model to /workspace/outputs/kgpt-v1.
[2026-03-15 13:19:26,990] [INFO] [axolotl.train.save_trained_model:352] [PID:38782] Model successfully saved to /workspace/outputs/kgpt-v1