Training in progress, epoch 1

a141077 verified 10 months ago

129 kB

	[2025-10-12 18:39:39,671] [DEBUG] [axolotl.utils.config.resolve_dtype:66] [PID:22885] bf16 support detected, enabling for this configuration.
	[2025-10-12 18:39:39,673] [DEBUG] [axolotl.utils.config.log_gpu_memory_usage:127] [PID:22885] baseline 0.000GB ()
	[2025-10-12 18:39:39,673] [INFO] [axolotl.cli.config.load_cfg:248] [PID:22885] config:
	{
	"activation_offloading": false,
	"adapter": "qlora",
	"axolotl_config_path": "follow-up.yaml",
	"base_model": "./merged-stage-1",
	"base_model_config": "./merged-stage-1",
	"batch_size": 8,
	"bf16": true,
	"capabilities": {
	"bf16": true,
	"compute_capability": "sm_86",
	"fp8": false,
	"n_gpu": 2,
	"n_node": 1
	},
	"chat_template": "chatml",
	"context_parallel_size": 1,
	"cut_cross_entropy": true,
	"dataloader_num_workers": 2,
	"dataloader_pin_memory": true,
	"dataloader_prefetch_factor": 256,
	"dataset_prepared_path": "last_run_prepared",
	"dataset_processes": 24,
	"datasets": [
	{
	"chat_template": "tokenizer_default",
	"field_messages": "conversations",
	"message_property_mappings": {
	"content": "value",
	"role": "from"
	},
	"path": "grimulkan/LimaRP-augmented",
	"trust_remote_code": false,
	"type": "chat_template"
	}
	],
	"ddp": true,
	"device": "cuda:0",
	"device_map": {
	"": 0
	},
	"dion_rank_fraction": 1.0,
	"dion_rank_multiple_of": 1,
	"env_capabilities": {
	"torch_version": "2.7.1"
	},
	"eval_batch_size": 1,
	"eval_causal_lm_metrics": [
	"sacrebleu",
	"comet",
	"ter",
	"chrf"
	],
	"eval_max_new_tokens": 128,
	"eval_steps": 0.1,
	"eval_table_size": 0,
	"evals_per_epoch": 10,
	"experimental_skip_move_to_device": true,
	"flash_attention": true,
	"fp16": false,
	"fsdp": [
	"full_shard",
	"auto_wrap"
	],
	"fsdp_config": {
	"activation_checkpointing": true,
	"auto_wrap_policy": "TRANSFORMER_BASED_WRAP",
	"cpu_ram_efficient_loading": true,
	"limit_all_gathers": true,
	"offload_params": true,
	"sharding_strategy": "FULL_SHARD",
	"state_dict_type": "FULL_STATE_DICT",
	"sync_module_states": true,
	"transformer_layer_cls_to_wrap": "MistralDecoderLayer",
	"use_orig_params": false
	},
	"gc_steps": 10,
	"gradient_accumulation_steps": 4,
	"gradient_checkpointing": false,
	"group_by_length": false,
	"hub_model_id": "ToastyPigeon/muse-marvin-stage2-lora",
	"hub_strategy": "every_save",
	"include_tkps": true,
	"is_mistral_derived_model": true,
	"learning_rate": 5e-06,
	"liger_glu_activation": true,
	"liger_layer_norm": true,
	"liger_rms_norm": true,
	"liger_rope": true,
	"lisa_layers_attribute": "model.layers",
	"load_best_model_at_end": false,
	"load_in_4bit": true,
	"load_in_8bit": false,
	"local_rank": 0,
	"logging_steps": 1,
	"lora_alpha": 32,
	"lora_dropout": 0.1,
	"lora_r": 32,
	"lora_target_modules": [
	"down_proj",
	"o_proj"
	],
	"loraplus_lr_embedding": 1e-06,
	"lr_scheduler": "cosine",
	"max_grad_norm": 1.0,
	"mean_resizing_embeddings": false,
	"micro_batch_size": 1,
	"model_config_type": "mistral",
	"num_epochs": 1.0,
	"optimizer": "adamw_torch_fused",
	"output_dir": "ckpts-stage-2",
	"pad_to_sequence_len": false,
	"peft_use_rslora": false,
	"plugins": [
	"axolotl.integrations.liger.LigerPlugin",
	"axolotl.integrations.cut_cross_entropy.CutCrossEntropyPlugin"
	],
	"pretrain_multipack_attn": true,
	"profiler_steps_start": 0,
	"qlora_sharded_model_loading": false,
	"ray_num_workers": 1,
	"resources_per_worker": {
	"GPU": 1
	},
	"sample_packing": false,
	"sample_packing_bin_size": 200,
	"sample_packing_group_size": 100000,
	"save_only_model": false,
	"save_safetensors": true,
	"save_total_limit": 1,
	"saves_per_epoch": 1,
	"seed": 69,
	"sequence_len": 16384,
	"shuffle_before_merging_datasets": false,
	"shuffle_merged_datasets": true,
	"skip_prepare_dataset": false,
	"streaming_multipack_buffer_size": 10000,
	"strict": false,
	"tensor_parallel_size": 1,
	"tiled_mlp_use_original_mlp": true,
	"tokenizer_config": "./merged-stage-1",
	"tokenizer_save_jinja_files": true,
	"torch_dtype": "torch.bfloat16",
	"train_on_inputs": false,
	"trl": {
	"log_completions": false,
	"mask_truncated_completions": false,
	"ref_model_mixup_alpha": 0.9,
	"ref_model_sync_steps": 64,
	"scale_rewards": true,
	"sync_ref_model": false,
	"use_vllm": false,
	"vllm_server_host": "0.0.0.0",
	"vllm_server_port": 8000
	},
	"use_ray": false,
	"use_wandb": true,
	"val_set_size": 0.025,
	"vllm": {
	"device": "auto",
	"dtype": "auto",
	"gpu_memory_utilization": 0.9,
	"host": "0.0.0.0",
	"port": 8000
	},
	"wandb_name": "r32-qlora-stage2",
	"wandb_project": "MuseMarvin",
	"warmup_ratio": 0.025,
	"weight_decay": 0.01,
	"world_size": 2
	}
	[2025-10-12 18:39:40,262] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:278] [PID:22885] EOS: 131072 / <\|im_end\|>
	[2025-10-12 18:39:40,262] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:279] [PID:22885] BOS: 1 / <s>
	[2025-10-12 18:39:40,262] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:280] [PID:22885] PAD: 10 / <pad>
	[2025-10-12 18:39:40,262] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:281] [PID:22885] UNK: 0 / <unk>
	[2025-10-12 18:40:18,295] [INFO] [axolotl.utils.data.shared.load_preprocessed_dataset:470] [PID:22885] Loading prepared dataset from disk at last_run_prepared/7d6aa8bf66144ecfdac49b6cca8af304...
	[2025-10-12 18:40:18,307] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:404] [PID:22885] total_num_tokens: 3_181_431
	[2025-10-12 18:40:18,320] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:422] [PID:22885] `total_supervised_tokens: 1_427_425`
	[2025-10-12 18:40:18,320] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:520] [PID:22885] total_num_steps: 93
	[2025-10-12 18:40:18,320] [INFO] [axolotl.utils.data.sft._prepare_standard_dataset:121] [PID:22885] Maximum number of steps set at 93
	[2025-10-12 18:40:18,339] [DEBUG] [axolotl.train.setup_model_and_tokenizer:70] [PID:22885] Loading tokenizer... ./merged-stage-1
	[2025-10-12 18:40:18,743] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:278] [PID:22885] EOS: 131072 / <\|im_end\|>
	[2025-10-12 18:40:18,743] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:279] [PID:22885] BOS: 1 / <s>
	[2025-10-12 18:40:18,743] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:280] [PID:22885] PAD: 10 / <pad>
	[2025-10-12 18:40:18,743] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:281] [PID:22885] UNK: 0 / <unk>
	[2025-10-12 18:40:18,743] [DEBUG] [axolotl.train.setup_model_and_tokenizer:79] [PID:22885] Loading model
	[2025-10-12 18:40:18,750] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_evaluation_loop:87] [PID:22885] Patched Trainer.evaluation_loop with nanmean loss calculation
	[2025-10-12 18:40:18,751] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_maybe_log_save_evaluate:138] [PID:22885] Patched Trainer._maybe_log_save_evaluate with nanmean loss calculation
	[2025-10-12 18:40:18,764] [INFO] [axolotl.integrations.liger.plugin.pre_model_load:71] [PID:22885] Applying LIGER to mistral with kwargs: {'rope': True, 'cross_entropy': None, 'fused_linear_cross_entropy': None, 'rms_norm': True, 'swiglu': True}
	[2025-10-12 18:40:18,869] [INFO] [axolotl.integrations.cut_cross_entropy.pre_model_load:94] [PID:22885] Applying Cut Cross Entropy to model type: mistral
	Loading checkpoint shards: 0%\| \| 0/5 [00:00<?, ?it/s] Loading checkpoint shards: 20%\|██████████████ \| 1/5 [00:03<00:13, 3.43s/it] Loading checkpoint shards: 40%\|████████████████████████████ \| 2/5 [00:07<00:11, 3.85s/it] Loading checkpoint shards: 60%\|██████████████████████████████████████████ \| 3/5 [00:11<00:07, 3.94s/it] Loading checkpoint shards: 80%\|████████████████████████████████████████████████████████ \| 4/5 [00:15<00:03, 3.98s/it] Loading checkpoint shards: 100%\|██████████████████████████████████████████████████████████████████████\| 5/5 [00:18<00:00, 3.66s/it] Loading checkpoint shards: 100%\|██████████████████████████████████████████████████████████████████████\| 5/5 [00:18<00:00, 3.75s/it]
	[2025-10-12 18:40:38,317] [INFO] [axolotl.loaders.model._configure_embedding_dtypes:345] [PID:22885] Converting modules to torch.bfloat16
	[2025-10-12 18:40:38,319] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:22885] Memory usage after model load 11.000GB (+11.000GB allocated, +11.053GB reserved)
	trainable params: 36,700,160 \|\| all params: 12,284,503,040 \|\| trainable%: 0.2988
	[2025-10-12 18:40:38,611] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:22885] after adapters 8.124GB (+8.124GB allocated, +11.121GB reserved)
	[2025-10-12 18:40:42,691] [INFO] [axolotl.train.save_initial_configs:408] [PID:22885] Pre-saving adapter config to ckpts-stage-2...
	[2025-10-12 18:40:42,692] [INFO] [axolotl.train.save_initial_configs:412] [PID:22885] Pre-saving tokenizer to ckpts-stage-2...
	[2025-10-12 18:40:42,845] [INFO] [axolotl.train.save_initial_configs:417] [PID:22885] Pre-saving model config to ckpts-stage-2...
	[2025-10-12 18:40:42,848] [INFO] [axolotl.train.execute_training:203] [PID:22885] Starting trainer...
	[34m[1mwandb[0m: Currently logged in as: [33mcooawoo[0m ([33mcooawoo-personal[0m) to [32mhttps://api.wandb.ai[0m. Use [1m`wandb login --relogin`[0m to force relogin
	[34m[1mwandb[0m: [38;5;178m⢿[0m Waiting for wandb.init()...
	[Am[2K [34m[1mwandb[0m: [38;5;178m⣻[0m setting up run 2a9erka4 (0.2s)
	[Am[2K [34m[1mwandb[0m: [38;5;178m⣽[0m setting up run 2a9erka4 (0.2s)
	[Am[2K [34m[1mwandb[0m: Tracking run with wandb version 0.22.1
	[34m[1mwandb[0m: Run data is saved locally in [35m[1m/workspace/training/wandb/run-20251012_184047-2a9erka4[0m
	[34m[1mwandb[0m: Run [1m`wandb offline`[0m to turn off syncing.
	[34m[1mwandb[0m: Syncing run [33mr32-qlora-stage2[0m
	[34m[1mwandb[0m: ⭐️ View project at [34m[4mhttps://wandb.ai/cooawoo-personal/MuseMarvin[0m
	[34m[1mwandb[0m: 🚀 View run at [34m[4mhttps://wandb.ai/cooawoo-personal/MuseMarvin/runs/2a9erka4[0m
	[34m[1mwandb[0m: Detected [huggingface_hub.inference, openai] in use.
	[34m[1mwandb[0m: Use W&B Weave for improved LLM call tracing. Install Weave with `pip install weave` then add `import weave` to the top of your script.
	[34m[1mwandb[0m: For more information, check out the docs at: https://weave-docs.wandb.ai/
	[34m[1mwandb[0m: [33mWARNING[0m Saving files without folders. If you want to preserve subdirectories pass base_path to wandb.save, i.e. wandb.save("/mnt/folder/file.h5", base_path="/mnt")
	[2025-10-12 18:40:49,944] [INFO] [axolotl.utils.callbacks.on_train_begin:793] [PID:22885] The Axolotl config has been saved to the WandB run under files.
	0%\| \| 0/93 [00:00<?, ?it/s][2025-10-12 18:40:49,945] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:22885] Running evaluation step...

	0%\| \| 0/10 [00:00<?, ?it/s][A
	20%\|███████████████████▏ \| 2/10 [00:04<00:18, 2.36s/it][A
	30%\|████████████████████████████▊ \| 3/10 [00:06<00:14, 2.13s/it][A
	40%\|██████████████████████████████████████▍ \| 4/10 [00:08<00:11, 1.96s/it][A
	50%\|████████████████████████████████████████████████ \| 5/10 [00:13<00:15, 3.14s/it][A
	60%\|█████████████████████████████████████████████████████████▌ \| 6/10 [00:15<00:11, 2.85s/it][A
	70%\|███████████████████████████████████████████████████████████████████▏ \| 7/10 [00:17<00:07, 2.48s/it][A
	80%\|████████████████████████████████████████████████████████████████████████████▊ \| 8/10 [00:20<00:05, 2.62s/it][A
	90%\|██████████████████████████████████████████████████████████████████████████████████████▍ \| 9/10 [00:22<00:02, 2.37s/it][A
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.71s/it][A
	[A{'eval_loss': 2.3331682682037354, 'eval_runtime': 42.8575, 'eval_samples_per_second': 0.467, 'eval_steps_per_second': 0.233, 'memory/max_active (GiB)': 8.45, 'memory/max_allocated (GiB)': 8.32, 'memory/device_reserved (GiB)': 12.72, 'epoch': 0}
	0%\| \| 0/93 [00:42<?, ?it/s]
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.71s/it][A
	[A 1%\|█ \| 1/93 [01:17<1:58:56, 77.57s/it] {'loss': 2.1266, 'grad_norm': 0.20650771260261536, 'learning_rate': 0.0, 'memory/max_active (GiB)': 5.26, 'memory/max_allocated (GiB)': 5.26, 'memory/device_reserved (GiB)': 6.97, 'tokens_per_second_per_gpu': 642.07, 'epoch': 0.01}
	1%\|█ \| 1/93 [01:17<1:58:56, 77.57s/it] 2%\|██ \| 2/93 [02:19<1:43:23, 68.17s/it] {'loss': 2.2399, 'grad_norm': 0.11479424685239792, 'learning_rate': 2.5e-06, 'memory/max_active (GiB)': 11.47, 'memory/max_allocated (GiB)': 11.47, 'memory/device_reserved (GiB)': 13.92, 'tokens_per_second_per_gpu': 176.9, 'epoch': 0.02}
	2%\|██ \| 2/93 [02:19<1:43:23, 68.17s/it] 3%\|███ \| 3/93 [02:42<1:11:16, 47.52s/it] {'loss': 2.2224, 'grad_norm': 0.1795579493045807, 'learning_rate': 5e-06, 'memory/max_active (GiB)': 5.91, 'memory/max_allocated (GiB)': 5.91, 'memory/device_reserved (GiB)': 13.92, 'tokens_per_second_per_gpu': 183.44, 'epoch': 0.03}
	3%\|███ \| 3/93 [02:42<1:11:16, 47.52s/it] 4%\|████ \| 4/93 [03:53<1:24:27, 56.93s/it] {'loss': 2.3194, 'grad_norm': 0.14650174975395203, 'learning_rate': 4.998510351377676e-06, 'memory/max_active (GiB)': 10.14, 'memory/max_allocated (GiB)': 10.14, 'memory/device_reserved (GiB)': 13.92, 'tokens_per_second_per_gpu': 110.02, 'epoch': 0.04}
	4%\|████ \| 4/93 [03:53<1:24:27, 56.93s/it] 5%\|█████ \| 5/93 [04:40<1:18:18, 53.39s/it] {'loss': 2.271, 'grad_norm': 0.14452087879180908, 'learning_rate': 4.99404318075312e-06, 'memory/max_active (GiB)': 11.04, 'memory/max_allocated (GiB)': 11.04, 'memory/device_reserved (GiB)': 13.92, 'tokens_per_second_per_gpu': 230.66, 'epoch': 0.05}
	5%\|█████ \| 5/93 [04:40<1:18:18, 53.39s/it] 6%\|██████ \| 6/93 [04:58<1:00:06, 41.46s/it] {'loss': 2.2673, 'grad_norm': 0.20387521386146545, 'learning_rate': 4.986603811737982e-06, 'memory/max_active (GiB)': 5.91, 'memory/max_allocated (GiB)': 5.91, 'memory/device_reserved (GiB)': 13.92, 'tokens_per_second_per_gpu': 274.98, 'epoch': 0.06}
	6%\|██████ \| 6/93 [04:58<1:00:06, 41.46s/it] 8%\|███████▏ \| 7/93 [05:23<51:43, 36.09s/it] {'loss': 2.2703, 'grad_norm': 0.17309536039829254, 'learning_rate': 4.976201109968909e-06, 'memory/max_active (GiB)': 6.42, 'memory/max_allocated (GiB)': 6.42, 'memory/device_reserved (GiB)': 13.92, 'tokens_per_second_per_gpu': 198.1, 'epoch': 0.08}
	8%\|███████▏ \| 7/93 [05:23<51:43, 36.09s/it] 9%\|████████▎ \| 8/93 [05:46<45:14, 31.94s/it] {'loss': 2.2419, 'grad_norm': 0.21906006336212158, 'learning_rate': 4.9628474725421845e-06, 'memory/max_active (GiB)': 6.49, 'memory/max_allocated (GiB)': 6.49, 'memory/device_reserved (GiB)': 13.92, 'tokens_per_second_per_gpu': 282.12, 'epoch': 0.09}
	9%\|████████▎ \| 8/93 [05:46<45:14, 31.94s/it] 10%\|█████████▎ \| 9/93 [06:29<49:09, 35.11s/it] {'loss': 2.3003, 'grad_norm': 0.1782388538122177, 'learning_rate': 4.946558813239889e-06, 'memory/max_active (GiB)': 12.07, 'memory/max_allocated (GiB)': 12.07, 'memory/device_reserved (GiB)': 14.59, 'tokens_per_second_per_gpu': 245.47, 'epoch': 0.1}
	10%\|█████████▎ \| 9/93 [06:29<49:09, 35.11s/it] 11%\|██████████▏ \| 10/93 [06:52<43:37, 31.54s/it] {'loss': 2.3277, 'grad_norm': 0.19561050832271576, 'learning_rate': 4.927354543565131e-06, 'memory/max_active (GiB)': 5.13, 'memory/max_allocated (GiB)': 5.13, 'memory/device_reserved (GiB)': 14.59, 'tokens_per_second_per_gpu': 178.2, 'epoch': 0.11}
	11%\|██████████▏ \| 10/93 [06:52<43:37, 31.54s/it][2025-10-12 18:47:42,541] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:22885] Running evaluation step...

	0%\| \| 0/10 [00:00<?, ?it/s][A
	20%\|███████████████████▏ \| 2/10 [00:04<00:18, 2.34s/it][A
	30%\|████████████████████████████▊ \| 3/10 [00:06<00:14, 2.12s/it][A
	40%\|██████████████████████████████████████▍ \| 4/10 [00:08<00:11, 1.95s/it][A
	50%\|████████████████████████████████████████████████ \| 5/10 [00:13<00:15, 3.11s/it][A
	60%\|█████████████████████████████████████████████████████████▌ \| 6/10 [00:15<00:11, 2.83s/it][A
	70%\|███████████████████████████████████████████████████████████████████▏ \| 7/10 [00:17<00:07, 2.46s/it][A
	80%\|████████████████████████████████████████████████████████████████████████████▊ \| 8/10 [00:20<00:05, 2.61s/it][A
	90%\|██████████████████████████████████████████████████████████████████████████████████████▍ \| 9/10 [00:22<00:02, 2.36s/it][A
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A{'eval_loss': 2.3307175636291504, 'eval_runtime': 27.1517, 'eval_samples_per_second': 0.737, 'eval_steps_per_second': 0.368, 'memory/max_active (GiB)': 4.14, 'memory/max_allocated (GiB)': 4.12, 'memory/device_reserved (GiB)': 6.16, 'epoch': 0.11}
	11%\|██████████▏ \| 10/93 [07:19<43:37, 31.54s/it]
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A 12%\|███████████▏ \| 11/93 [07:51<54:23, 39.80s/it] {'loss': 2.0779, 'grad_norm': 0.1783645749092102, 'learning_rate': 4.905257549609002e-06, 'memory/max_active (GiB)': 8.92, 'memory/max_allocated (GiB)': 8.92, 'memory/device_reserved (GiB)': 11.46, 'tokens_per_second_per_gpu': 261.32, 'epoch': 0.12}
	12%\|███████████▏ \| 11/93 [07:51<54:23, 39.80s/it] 13%\|████████████▎ \| 12/93 [08:20<49:36, 36.74s/it] {'loss': 2.0408, 'grad_norm': 0.19888393580913544, 'learning_rate': 4.880294164776785e-06, 'memory/max_active (GiB)': 6.16, 'memory/max_allocated (GiB)': 6.16, 'memory/device_reserved (GiB)': 11.46, 'tokens_per_second_per_gpu': 229.95, 'epoch': 0.13}
	13%\|████████████▎ \| 12/93 [08:20<49:36, 36.74s/it] 14%\|█████████████▎ \| 13/93 [08:49<45:53, 34.42s/it] {'loss': 2.2254, 'grad_norm': 0.17709890007972717, 'learning_rate': 4.852494138405942e-06, 'memory/max_active (GiB)': 6.67, 'memory/max_allocated (GiB)': 6.67, 'memory/device_reserved (GiB)': 9.16, 'tokens_per_second_per_gpu': 299.09, 'epoch': 0.14}
	14%\|█████████████▎ \| 13/93 [08:49<45:53, 34.42s/it] 15%\|██████████████▎ \| 14/93 [09:25<45:45, 34.76s/it] {'loss': 2.4378, 'grad_norm': 0.22516469657421112, 'learning_rate': 4.821890600313256e-06, 'memory/max_active (GiB)': 5.43, 'memory/max_allocated (GiB)': 5.43, 'memory/device_reserved (GiB)': 9.16, 'tokens_per_second_per_gpu': 120.08, 'epoch': 0.15}
	15%\|██████████████▎ \| 14/93 [09:25<45:45, 34.76s/it] 16%\|███████████████▎ \| 15/93 [10:10<49:14, 37.88s/it] {'loss': 2.2433, 'grad_norm': 0.15661068260669708, 'learning_rate': 4.788520021313416e-06, 'memory/max_active (GiB)': 9.44, 'memory/max_allocated (GiB)': 9.44, 'memory/device_reserved (GiB)': 12.11, 'tokens_per_second_per_gpu': 252.62, 'epoch': 0.16}
	16%\|███████████████▎ \| 15/93 [10:10<49:14, 37.88s/it] 17%\|████████████████▎ \| 16/93 [10:50<49:20, 38.45s/it] {'loss': 2.354, 'grad_norm': 0.17212189733982086, 'learning_rate': 4.752422169756048e-06, 'memory/max_active (GiB)': 9.38, 'memory/max_allocated (GiB)': 9.38, 'memory/device_reserved (GiB)': 12.11, 'tokens_per_second_per_gpu': 189.39, 'epoch': 0.17}
	17%\|████████████████▎ \| 16/93 [10:50<49:20, 38.45s/it] 18%\|█████████████████▎ \| 17/93 [11:17<44:12, 34.91s/it] {'loss': 2.1851, 'grad_norm': 0.20499759912490845, 'learning_rate': 4.7136400641330245e-06, 'memory/max_active (GiB)': 7.96, 'memory/max_allocated (GiB)': 7.96, 'memory/device_reserved (GiB)': 12.11, 'tokens_per_second_per_gpu': 316.96, 'epoch': 0.18}
	18%\|█████████████████▎ \| 17/93 [11:17<44:12, 34.91s/it] 19%\|██████████████████▍ \| 18/93 [11:45<41:07, 32.90s/it] {'loss': 2.404, 'grad_norm': 0.21037018299102783, 'learning_rate': 4.672219921812517e-06, 'memory/max_active (GiB)': 7.99, 'memory/max_allocated (GiB)': 7.99, 'memory/device_reserved (GiB)': 12.11, 'tokens_per_second_per_gpu': 206.63, 'epoch': 0.19}
	19%\|██████████████████▍ \| 18/93 [11:45<41:07, 32.90s/it] 20%\|███████████████████▍ \| 19/93 [12:01<34:31, 27.99s/it] {'loss': 2.3077, 'grad_norm': 0.2840758264064789, 'learning_rate': 4.6282111039608786e-06, 'memory/max_active (GiB)': 5.23, 'memory/max_allocated (GiB)': 5.23, 'memory/device_reserved (GiB)': 12.11, 'tokens_per_second_per_gpu': 217.33, 'epoch': 0.2}
	20%\|███████████████████▍ \| 19/93 [12:01<34:31, 27.99s/it] 22%\|████████████████████▍ \| 20/93 [12:28<33:40, 27.67s/it] {'loss': 2.1846, 'grad_norm': 0.3067031502723694, 'learning_rate': 4.581666056718016e-06, 'memory/max_active (GiB)': 5.3, 'memory/max_allocated (GiB)': 5.3, 'memory/device_reserved (GiB)': 12.11, 'tokens_per_second_per_gpu': 142.22, 'epoch': 0.22}
	22%\|████████████████████▍ \| 20/93 [12:28<33:40, 27.67s/it][2025-10-12 18:53:18,772] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:22885] Running evaluation step...

	0%\| \| 0/10 [00:00<?, ?it/s][A
	20%\|███████████████████▏ \| 2/10 [00:04<00:18, 2.34s/it][A
	30%\|████████████████████████████▊ \| 3/10 [00:06<00:14, 2.12s/it][A
	40%\|██████████████████████████████████████▍ \| 4/10 [00:08<00:11, 1.95s/it][A
	50%\|████████████████████████████████████████████████ \| 5/10 [00:13<00:15, 3.11s/it][A
	60%\|█████████████████████████████████████████████████████████▌ \| 6/10 [00:15<00:11, 2.82s/it][A
	70%\|███████████████████████████████████████████████████████████████████▏ \| 7/10 [00:17<00:07, 2.46s/it][A
	80%\|████████████████████████████████████████████████████████████████████████████▊ \| 8/10 [00:20<00:05, 2.60s/it][A
	90%\|██████████████████████████████████████████████████████████████████████████████████████▍ \| 9/10 [00:22<00:02, 2.36s/it][A
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A{'eval_loss': 2.3224692344665527, 'eval_runtime': 27.1269, 'eval_samples_per_second': 0.737, 'eval_steps_per_second': 0.369, 'memory/max_active (GiB)': 4.14, 'memory/max_allocated (GiB)': 4.12, 'memory/device_reserved (GiB)': 6.16, 'epoch': 0.22}
	22%\|████████████████████▍ \| 20/93 [12:55<33:40, 27.67s/it]
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A 23%\|█████████████████████▍ \| 21/93 [13:37<48:02, 40.03s/it] {'loss': 2.2495, 'grad_norm': 0.1507931500673294, 'learning_rate': 4.532640248696331e-06, 'memory/max_active (GiB)': 11.11, 'memory/max_allocated (GiB)': 11.11, 'memory/device_reserved (GiB)': 13.87, 'tokens_per_second_per_gpu': 297.01, 'epoch': 0.23}
	23%\|█████████████████████▍ \| 21/93 [13:37<48:02, 40.03s/it] 24%\|██████████████████████▍ \| 22/93 [14:12<45:25, 38.39s/it] {'loss': 2.3092, 'grad_norm': 0.15842288732528687, 'learning_rate': 4.481192104877727e-06, 'memory/max_active (GiB)': 8.99, 'memory/max_allocated (GiB)': 8.99, 'memory/device_reserved (GiB)': 13.87, 'tokens_per_second_per_gpu': 349.47, 'epoch': 0.24}
	24%\|██████████████████████▍ \| 22/93 [14:12<45:25, 38.39s/it] 25%\|███████████████████████▍ \| 23/93 [14:46<43:29, 37.28s/it] {'loss': 2.3467, 'grad_norm': 0.19485284388065338, 'learning_rate': 4.427382936987449e-06, 'memory/max_active (GiB)': 7.99, 'memory/max_allocated (GiB)': 7.99, 'memory/device_reserved (GiB)': 11.46, 'tokens_per_second_per_gpu': 231.22, 'epoch': 0.25}
	25%\|███████████████████████▍ \| 23/93 [14:46<43:29, 37.28s/it] 26%\|████████████████████████▌ \| 24/93 [15:30<45:04, 39.20s/it] {'loss': 2.0487, 'grad_norm': 0.13735753297805786, 'learning_rate': 4.3712768704277535e-06, 'memory/max_active (GiB)': 9.44, 'memory/max_allocated (GiB)': 9.44, 'memory/device_reserved (GiB)': 11.83, 'tokens_per_second_per_gpu': 177.14, 'epoch': 0.26}
	26%\|████████████████████████▌ \| 24/93 [15:30<45:04, 39.20s/it] 27%\|█████████████████████████▌ \| 25/93 [16:08<44:06, 38.93s/it] {'loss': 2.2009, 'grad_norm': 0.1460442990064621, 'learning_rate': 4.312940767858442e-06, 'memory/max_active (GiB)': 10.14, 'memory/max_allocated (GiB)': 10.14, 'memory/device_reserved (GiB)': 12.71, 'tokens_per_second_per_gpu': 313.28, 'epoch': 0.27}
	27%\|█████████████████████████▌ \| 25/93 [16:08<44:06, 38.93s/it] 28%\|██████████████████████████▌ \| 26/93 [16:29<37:27, 33.54s/it] {'loss': 2.1864, 'grad_norm': 0.21489174664020538, 'learning_rate': 4.252444149515374e-06, 'memory/max_active (GiB)': 5.17, 'memory/max_allocated (GiB)': 5.17, 'memory/device_reserved (GiB)': 12.71, 'tokens_per_second_per_gpu': 180.87, 'epoch': 0.28}
	28%\|██████████████████████████▌ \| 26/93 [16:29<37:27, 33.54s/it] 29%\|███████████████████████████▌ \| 27/93 [16:52<33:14, 30.22s/it] {'loss': 2.3336, 'grad_norm': 0.21950574219226837, 'learning_rate': 4.189859110361886e-06, 'memory/max_active (GiB)': 6.24, 'memory/max_allocated (GiB)': 6.24, 'memory/device_reserved (GiB)': 12.71, 'tokens_per_second_per_gpu': 258.94, 'epoch': 0.29}
	29%\|███████████████████████████▌ \| 27/93 [16:52<33:14, 30.22s/it] 30%\|████████████████████████████▌ \| 28/93 [17:19<31:44, 29.30s/it] {'loss': 2.3252, 'grad_norm': 0.1940077245235443, 'learning_rate': 4.125260234171861e-06, 'memory/max_active (GiB)': 7.99, 'memory/max_allocated (GiB)': 7.99, 'memory/device_reserved (GiB)': 12.71, 'tokens_per_second_per_gpu': 306.91, 'epoch': 0.3}
	30%\|████████████████████████████▌ \| 28/93 [17:19<31:44, 29.30s/it] 31%\|█████████████████████████████▌ \| 29/93 [17:46<30:34, 28.66s/it] {'loss': 2.36, 'grad_norm': 0.1724778562784195, 'learning_rate': 4.058724504646834e-06, 'memory/max_active (GiB)': 6.73, 'memory/max_allocated (GiB)': 6.73, 'memory/device_reserved (GiB)': 12.71, 'tokens_per_second_per_gpu': 227.66, 'epoch': 0.31}
	31%\|█████████████████████████████▌ \| 29/93 [17:46<30:34, 28.66s/it] 32%\|██████████████████████████████▋ \| 30/93 [18:10<28:31, 27.16s/it] {'loss': 2.1299, 'grad_norm': 0.20965242385864258, 'learning_rate': 3.990331213673064e-06, 'memory/max_active (GiB)': 7.24, 'memory/max_allocated (GiB)': 7.24, 'memory/device_reserved (GiB)': 12.71, 'tokens_per_second_per_gpu': 262.18, 'epoch': 0.32}
	32%\|██████████████████████████████▋ \| 30/93 [18:10<28:31, 27.16s/it][2025-10-12 18:59:00,230] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:22885] Running evaluation step...

	0%\| \| 0/10 [00:00<?, ?it/s][A
	20%\|███████████████████▏ \| 2/10 [00:04<00:18, 2.34s/it][A
	30%\|████████████████████████████▊ \| 3/10 [00:06<00:14, 2.11s/it][A
	40%\|██████████████████████████████████████▍ \| 4/10 [00:08<00:11, 1.95s/it][A
	50%\|████████████████████████████████████████████████ \| 5/10 [00:13<00:15, 3.11s/it][A
	60%\|█████████████████████████████████████████████████████████▌ \| 6/10 [00:15<00:11, 2.82s/it][A
	70%\|███████████████████████████████████████████████████████████████████▏ \| 7/10 [00:17<00:07, 2.46s/it][A
	80%\|████████████████████████████████████████████████████████████████████████████▊ \| 8/10 [00:20<00:05, 2.61s/it][A
	90%\|██████████████████████████████████████████████████████████████████████████████████████▍ \| 9/10 [00:22<00:02, 2.36s/it][A
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A{'eval_loss': 2.312346935272217, 'eval_runtime': 27.157, 'eval_samples_per_second': 0.736, 'eval_steps_per_second': 0.368, 'memory/max_active (GiB)': 4.14, 'memory/max_allocated (GiB)': 4.12, 'memory/device_reserved (GiB)': 6.16, 'epoch': 0.32}
	32%\|██████████████████████████████▋ \| 30/93 [18:37<28:31, 27.16s/it]
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A 33%\|███████████████████████████████▋ \| 31/93 [19:16<40:16, 38.97s/it] {'loss': 2.1912, 'grad_norm': 0.16153165698051453, 'learning_rate': 3.92016186682789e-06, 'memory/max_active (GiB)': 8.55, 'memory/max_allocated (GiB)': 8.55, 'memory/device_reserved (GiB)': 10.97, 'tokens_per_second_per_gpu': 210.42, 'epoch': 0.33}
	33%\|███████████████████████████████▋ \| 31/93 [19:16<40:16, 38.97s/it] 34%\|████████████████████████████████▋ \| 32/93 [19:39<34:46, 34.20s/it] {'loss': 2.3856, 'grad_norm': 0.15970683097839355, 'learning_rate': 3.848300086247998e-06, 'memory/max_active (GiB)': 6.84, 'memory/max_allocated (GiB)': 6.84, 'memory/device_reserved (GiB)': 10.97, 'tokens_per_second_per_gpu': 272.96, 'epoch': 0.35}
	34%\|████████████████████████████████▋ \| 32/93 [19:39<34:46, 34.20s/it] 35%\|█████████████████████████████████▋ \| 33/93 [20:05<31:31, 31.52s/it] {'loss': 2.3203, 'grad_norm': 0.18281438946723938, 'learning_rate': 3.7748315109753402e-06, 'memory/max_active (GiB)': 7.06, 'memory/max_allocated (GiB)': 7.06, 'memory/device_reserved (GiB)': 9.53, 'tokens_per_second_per_gpu': 328.17, 'epoch': 0.36}
	35%\|█████████████████████████████████▋ \| 33/93 [20:05<31:31, 31.52s/it] 37%\|██████████████████████████████████▋ \| 34/93 [20:42<32:50, 33.40s/it] {'loss': 2.1347, 'grad_norm': 0.17903567850589752, 'learning_rate': 3.6998436948994664e-06, 'memory/max_active (GiB)': 9.43, 'memory/max_allocated (GiB)': 9.43, 'memory/device_reserved (GiB)': 11.91, 'tokens_per_second_per_gpu': 210.7, 'epoch': 0.37}
	37%\|██████████████████████████████████▋ \| 34/93 [20:42<32:50, 33.40s/it] 38%\|███████████████████████████████████▊ \| 35/93 [21:24<34:46, 35.98s/it] {'loss': 2.23, 'grad_norm': 0.14779365062713623, 'learning_rate': 3.6234260024179036e-06, 'memory/max_active (GiB)': 7.54, 'memory/max_allocated (GiB)': 7.54, 'memory/device_reserved (GiB)': 11.91, 'tokens_per_second_per_gpu': 195.06, 'epoch': 0.38}
	38%\|███████████████████████████████████▊ \| 35/93 [21:24<34:46, 35.98s/it] 39%\|████████████████████████████████████▊ \| 36/93 [21:57<33:08, 34.89s/it] {'loss': 2.3188, 'grad_norm': 0.18065500259399414, 'learning_rate': 3.545669501938913e-06, 'memory/max_active (GiB)': 7.99, 'memory/max_allocated (GiB)': 7.99, 'memory/device_reserved (GiB)': 11.91, 'tokens_per_second_per_gpu': 298.33, 'epoch': 0.39}
	39%\|████████████████████████████████████▊ \| 36/93 [21:57<33:08, 34.89s/it] 40%\|█████████████████████████████████████▊ \| 37/93 [22:19<29:05, 31.16s/it] {'loss': 2.3197, 'grad_norm': 0.21432524919509888, 'learning_rate': 3.466666857353547e-06, 'memory/max_active (GiB)': 5.68, 'memory/max_allocated (GiB)': 5.68, 'memory/device_reserved (GiB)': 11.91, 'tokens_per_second_per_gpu': 208.57, 'epoch': 0.4}
	40%\|█████████████████████████████████████▊ \| 37/93 [22:19<29:05, 31.16s/it] 41%\|██████████████████████████████████████▊ \| 38/93 [22:49<28:06, 30.67s/it] {'loss': 2.3385, 'grad_norm': 0.1894659548997879, 'learning_rate': 3.386512217606339e-06, 'memory/max_active (GiB)': 8.47, 'memory/max_allocated (GiB)': 8.47, 'memory/device_reserved (GiB)': 11.91, 'tokens_per_second_per_gpu': 315.44, 'epoch': 0.41}
	41%\|██████████████████████████████████████▊ \| 38/93 [22:49<28:06, 30.67s/it] 42%\|███████████████████████████████████████▊ \| 39/93 [23:08<24:32, 27.27s/it] {'loss': 2.3486, 'grad_norm': 0.19697390496730804, 'learning_rate': 3.3053011044962268e-06, 'memory/max_active (GiB)': 5.67, 'memory/max_allocated (GiB)': 5.67, 'memory/device_reserved (GiB)': 11.91, 'tokens_per_second_per_gpu': 227.48, 'epoch': 0.42}
	42%\|███████████████████████████████████████▊ \| 39/93 [23:08<24:32, 27.27s/it] 43%\|████████████████████████████████████████▊ \| 40/93 [23:43<26:01, 29.46s/it] {'loss': 2.2796, 'grad_norm': 0.18434493243694305, 'learning_rate': 3.2231302988414198e-06, 'memory/max_active (GiB)': 7.77, 'memory/max_allocated (GiB)': 7.77, 'memory/device_reserved (GiB)': 11.91, 'tokens_per_second_per_gpu': 248.8, 'epoch': 0.43}
	43%\|████████████████████████████████████████▊ \| 40/93 [23:43<26:01, 29.46s/it][2025-10-12 19:04:33,134] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:22885] Running evaluation step...

	0%\| \| 0/10 [00:00<?, ?it/s][A
	20%\|███████████████████▏ \| 2/10 [00:04<00:18, 2.34s/it][A
	30%\|████████████████████████████▊ \| 3/10 [00:06<00:14, 2.11s/it][A
	40%\|██████████████████████████████████████▍ \| 4/10 [00:08<00:11, 1.95s/it][A
	50%\|████████████████████████████████████████████████ \| 5/10 [00:13<00:15, 3.11s/it][A
	60%\|█████████████████████████████████████████████████████████▌ \| 6/10 [00:15<00:11, 2.83s/it][A
	70%\|███████████████████████████████████████████████████████████████████▏ \| 7/10 [00:17<00:07, 2.46s/it][A
	80%\|████████████████████████████████████████████████████████████████████████████▊ \| 8/10 [00:20<00:05, 2.61s/it][A
	90%\|██████████████████████████████████████████████████████████████████████████████████████▍ \| 9/10 [00:22<00:02, 2.36s/it][A
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A{'eval_loss': 2.3041510581970215, 'eval_runtime': 27.1618, 'eval_samples_per_second': 0.736, 'eval_steps_per_second': 0.368, 'memory/max_active (GiB)': 4.14, 'memory/max_allocated (GiB)': 4.12, 'memory/device_reserved (GiB)': 6.16, 'epoch': 0.43}
	43%\|████████████████████████████████████████▊ \| 40/93 [24:10<26:01, 29.46s/it]
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A 44%\|█████████████████████████████████████████▉ \| 41/93 [25:15<41:51, 48.30s/it] {'loss': 2.3141, 'grad_norm': 0.19303125143051147, 'learning_rate': 3.140097725143868e-06, 'memory/max_active (GiB)': 5.91, 'memory/max_allocated (GiB)': 5.91, 'memory/device_reserved (GiB)': 7.94, 'tokens_per_second_per_gpu': 76.1, 'epoch': 0.44}
	44%\|█████████████████████████████████████████▉ \| 41/93 [25:15<41:51, 48.30s/it] 45%\|██████████████████████████████████████████▉ \| 42/93 [26:00<40:20, 47.47s/it] {'loss': 2.0527, 'grad_norm': 0.228652685880661, 'learning_rate': 3.056302334890786e-06, 'memory/max_active (GiB)': 7.28, 'memory/max_allocated (GiB)': 7.28, 'memory/device_reserved (GiB)': 9.88, 'tokens_per_second_per_gpu': 220.22, 'epoch': 0.45}
	45%\|██████████████████████████████████████████▉ \| 42/93 [26:00<40:20, 47.47s/it] 46%\|███████████████████████████████████████████▉ \| 43/93 [26:34<35:57, 43.15s/it] {'loss': 2.2447, 'grad_norm': 0.4566848874092102, 'learning_rate': 2.971843988632292e-06, 'memory/max_active (GiB)': 10.41, 'memory/max_allocated (GiB)': 10.41, 'memory/device_reserved (GiB)': 13.2, 'tokens_per_second_per_gpu': 275.5, 'epoch': 0.46}
	46%\|███████████████████████████████████████████▉ \| 43/93 [26:34<35:57, 43.15s/it] 47%\|████████████████████████████████████████████▉ \| 44/93 [26:59<31:01, 37.99s/it] {'loss': 2.2908, 'grad_norm': 0.20724798738956451, 'learning_rate': 2.886823336975703e-06, 'memory/max_active (GiB)': 5.3, 'memory/max_allocated (GiB)': 5.3, 'memory/device_reserved (GiB)': 13.2, 'tokens_per_second_per_gpu': 156.92, 'epoch': 0.47}
	47%\|████████████████████████████████████████████▉ \| 44/93 [26:59<31:01, 37.99s/it] 48%\|█████████████████████████████████████████████▉ \| 45/93 [27:37<30:23, 38.00s/it] {'loss': 2.1926, 'grad_norm': 0.1747666597366333, 'learning_rate': 2.8013417006383078e-06, 'memory/max_active (GiB)': 5.26, 'memory/max_allocated (GiB)': 5.26, 'memory/device_reserved (GiB)': 13.2, 'tokens_per_second_per_gpu': 105.61, 'epoch': 0.49}
	48%\|█████████████████████████████████████████████▉ \| 45/93 [27:37<30:23, 38.00s/it] 49%\|██████████████████████████████████████████████▉ \| 46/93 [28:10<28:30, 36.38s/it] {'loss': 2.2363, 'grad_norm': 0.17840257287025452, 'learning_rate': 2.7155009497015487e-06, 'memory/max_active (GiB)': 8.73, 'memory/max_allocated (GiB)': 8.73, 'memory/device_reserved (GiB)': 13.2, 'tokens_per_second_per_gpu': 294.72, 'epoch': 0.5}
	49%\|██████████████████████████████████████████████▉ \| 46/93 [28:10<28:30, 36.38s/it] 51%\|████████████████████████████████████████████████ \| 47/93 [28:48<28:09, 36.74s/it] {'loss': 2.2905, 'grad_norm': 0.1450754702091217, 'learning_rate': 2.629403382210524e-06, 'memory/max_active (GiB)': 8.03, 'memory/max_allocated (GiB)': 8.03, 'memory/device_reserved (GiB)': 13.2, 'tokens_per_second_per_gpu': 200.57, 'epoch': 0.51}
	51%\|████████████████████████████████████████████████ \| 47/93 [28:48<28:09, 36.74s/it] 52%\|█████████████████████████████████████████████████ \| 48/93 [29:09<24:10, 32.23s/it] {'loss': 2.2346, 'grad_norm': 0.18723370134830475, 'learning_rate': 2.5431516022634718e-06, 'memory/max_active (GiB)': 6.58, 'memory/max_allocated (GiB)': 6.58, 'memory/device_reserved (GiB)': 13.2, 'tokens_per_second_per_gpu': 253.75, 'epoch': 0.52}
	52%\|█████████████████████████████████████████████████ \| 48/93 [29:09<24:10, 32.23s/it] 53%\|██████████████████████████████████████████████████ \| 49/93 [29:33<21:41, 29.58s/it] {'loss': 2.2525, 'grad_norm': 0.15130257606506348, 'learning_rate': 2.456848397736529e-06, 'memory/max_active (GiB)': 6.0, 'memory/max_allocated (GiB)': 6.0, 'memory/device_reserved (GiB)': 13.2, 'tokens_per_second_per_gpu': 210.56, 'epoch': 0.53}
	53%\|██████████████████████████████████████████████████ \| 49/93 [29:33<21:41, 29.58s/it] 54%\|███████████████████████████████████████████████████ \| 50/93 [30:27<26:29, 36.97s/it] {'loss': 2.1902, 'grad_norm': 0.137795552611351, 'learning_rate': 2.3705966177894763e-06, 'memory/max_active (GiB)': 7.72, 'memory/max_allocated (GiB)': 7.72, 'memory/device_reserved (GiB)': 13.2, 'tokens_per_second_per_gpu': 149.71, 'epoch': 0.54}
	54%\|███████████████████████████████████████████████████ \| 50/93 [30:27<26:29, 36.97s/it][2025-10-12 19:11:17,498] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:22885] Running evaluation step...

	0%\| \| 0/10 [00:00<?, ?it/s][A
	20%\|███████████████████▏ \| 2/10 [00:04<00:18, 2.35s/it][A
	30%\|████████████████████████████▊ \| 3/10 [00:06<00:14, 2.12s/it][A
	40%\|██████████████████████████████████████▍ \| 4/10 [00:08<00:11, 1.95s/it][A
	50%\|████████████████████████████████████████████████ \| 5/10 [00:13<00:15, 3.11s/it][A
	60%\|█████████████████████████████████████████████████████████▌ \| 6/10 [00:15<00:11, 2.82s/it][A
	70%\|███████████████████████████████████████████████████████████████████▏ \| 7/10 [00:17<00:07, 2.46s/it][A
	80%\|████████████████████████████████████████████████████████████████████████████▊ \| 8/10 [00:20<00:05, 2.60s/it][A
	90%\|██████████████████████████████████████████████████████████████████████████████████████▍ \| 9/10 [00:22<00:02, 2.36s/it][A
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A{'eval_loss': 2.298330307006836, 'eval_runtime': 27.1338, 'eval_samples_per_second': 0.737, 'eval_steps_per_second': 0.369, 'memory/max_active (GiB)': 4.14, 'memory/max_allocated (GiB)': 4.12, 'memory/device_reserved (GiB)': 6.16, 'epoch': 0.54}
	54%\|███████████████████████████████████████████████████ \| 50/93 [30:54<26:29, 36.97s/it]
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A 55%\|████████████████████████████████████████████████████ \| 51/93 [31:38<33:00, 47.16s/it] {'loss': 2.146, 'grad_norm': 0.1970822960138321, 'learning_rate': 2.2844990502984517e-06, 'memory/max_active (GiB)': 8.26, 'memory/max_allocated (GiB)': 8.25, 'memory/device_reserved (GiB)': 10.82, 'tokens_per_second_per_gpu': 163.31, 'epoch': 0.55}
	55%\|████████████████████████████████████████████████████ \| 51/93 [31:38<33:00, 47.16s/it] 56%\|█████████████████████████████████████████████████████ \| 52/93 [32:09<28:55, 42.32s/it] {'loss': 2.288, 'grad_norm': 0.16244375705718994, 'learning_rate': 2.1986582993616926e-06, 'memory/max_active (GiB)': 5.93, 'memory/max_allocated (GiB)': 5.93, 'memory/device_reserved (GiB)': 10.82, 'tokens_per_second_per_gpu': 175.86, 'epoch': 0.56}
	56%\|█████████████████████████████████████████████████████ \| 52/93 [32:09<28:55, 42.32s/it] 57%\|██████████████████████████████████████████████████████▏ \| 53/93 [32:44<26:46, 40.16s/it] {'loss': 2.3001, 'grad_norm': 0.16101586818695068, 'learning_rate': 2.113176663024297e-06, 'memory/max_active (GiB)': 7.99, 'memory/max_allocated (GiB)': 7.99, 'memory/device_reserved (GiB)': 10.76, 'tokens_per_second_per_gpu': 244.71, 'epoch': 0.57}
	57%\|██████████████████████████████████████████████████████▏ \| 53/93 [32:44<26:46, 40.16s/it] 58%\|███████████████████████████████████████████████████████▏ \| 54/93 [33:15<24:14, 37.28s/it] {'loss': 2.4258, 'grad_norm': 0.1781788170337677, 'learning_rate': 2.0281560113677085e-06, 'memory/max_active (GiB)': 7.5, 'memory/max_allocated (GiB)': 7.5, 'memory/device_reserved (GiB)': 10.76, 'tokens_per_second_per_gpu': 238.64, 'epoch': 0.58}
	58%\|███████████████████████████████████████████████████████▏ \| 54/93 [33:15<24:14, 37.28s/it] 59%\|████████████████████████████████████████████████████████▏ \| 55/93 [33:33<20:05, 31.72s/it] {'loss': 2.1026, 'grad_norm': 0.24516315758228302, 'learning_rate': 1.9436976651092143e-06, 'memory/max_active (GiB)': 6.01, 'memory/max_allocated (GiB)': 6.01, 'memory/device_reserved (GiB)': 10.76, 'tokens_per_second_per_gpu': 277.48, 'epoch': 0.59}
	59%\|████████████████████████████████████████████████████████▏ \| 55/93 [33:33<20:05, 31.72s/it] 60%\|█████████████████████████████████████████████████████████▏ \| 56/93 [34:10<20:23, 33.06s/it] {'loss': 2.2248, 'grad_norm': 0.1416310966014862, 'learning_rate': 1.8599022748561324e-06, 'memory/max_active (GiB)': 7.77, 'memory/max_allocated (GiB)': 7.77, 'memory/device_reserved (GiB)': 10.76, 'tokens_per_second_per_gpu': 257.64, 'epoch': 0.6}
	60%\|█████████████████████████████████████████████████████████▏ \| 56/93 [34:10<20:23, 33.06s/it] 61%\|██████████████████████████████████████████████████████████▏ \| 57/93 [34:40<19:24, 32.34s/it] {'loss': 2.255, 'grad_norm': 0.15633663535118103, 'learning_rate': 1.776869701158581e-06, 'memory/max_active (GiB)': 6.77, 'memory/max_allocated (GiB)': 6.77, 'memory/device_reserved (GiB)': 10.76, 'tokens_per_second_per_gpu': 206.41, 'epoch': 0.61}
	61%\|██████████████████████████████████████████████████████████▏ \| 57/93 [34:40<19:24, 32.34s/it] 62%\|███████████████████████████████████████████████████████████▏ \| 58/93 [35:03<17:16, 29.61s/it] {'loss': 2.0837, 'grad_norm': 0.18184547126293182, 'learning_rate': 1.694698895503774e-06, 'memory/max_active (GiB)': 5.31, 'memory/max_allocated (GiB)': 5.31, 'memory/device_reserved (GiB)': 10.76, 'tokens_per_second_per_gpu': 186.02, 'epoch': 0.63}
	62%\|███████████████████████████████████████████████████████████▏ \| 58/93 [35:03<17:16, 29.61s/it] 63%\|████████████████████████████████████████████████████████████▎ \| 59/93 [35:29<16:07, 28.46s/it] {'loss': 2.1419, 'grad_norm': 0.18546421825885773, 'learning_rate': 1.613487782393661e-06, 'memory/max_active (GiB)': 5.5, 'memory/max_allocated (GiB)': 5.5, 'memory/device_reserved (GiB)': 10.76, 'tokens_per_second_per_gpu': 151.75, 'epoch': 0.64}
	63%\|████████████████████████████████████████████████████████████▎ \| 59/93 [35:29<16:07, 28.46s/it] 65%\|█████████████████████████████████████████████████████████████▎ \| 60/93 [36:25<20:07, 36.59s/it] {'loss': 2.236, 'grad_norm': 0.21013785898685455, 'learning_rate': 1.5333331426464532e-06, 'memory/max_active (GiB)': 5.17, 'memory/max_allocated (GiB)': 5.17, 'memory/device_reserved (GiB)': 10.76, 'tokens_per_second_per_gpu': 53.44, 'epoch': 0.65}
	65%\|█████████████████████████████████████████████████████████████▎ \| 60/93 [36:25<20:07, 36.59s/it][2025-10-12 19:17:15,378] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:22885] Running evaluation step...

	0%\| \| 0/10 [00:00<?, ?it/s][A
	20%\|███████████████████▏ \| 2/10 [00:04<00:18, 2.35s/it][A
	30%\|████████████████████████████▊ \| 3/10 [00:06<00:14, 2.12s/it][A
	40%\|██████████████████████████████████████▍ \| 4/10 [00:08<00:11, 1.96s/it][A
	50%\|████████████████████████████████████████████████ \| 5/10 [00:13<00:15, 3.12s/it][A
	60%\|█████████████████████████████████████████████████████████▌ \| 6/10 [00:15<00:11, 2.83s/it][A
	70%\|███████████████████████████████████████████████████████████████████▏ \| 7/10 [00:17<00:07, 2.46s/it][A
	80%\|████████████████████████████████████████████████████████████████████████████▊ \| 8/10 [00:20<00:05, 2.60s/it][A
	90%\|██████████████████████████████████████████████████████████████████████████████████████▍ \| 9/10 [00:22<00:02, 2.36s/it][A
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.58s/it][A
	[A{'eval_loss': 2.294281005859375, 'eval_runtime': 27.131, 'eval_samples_per_second': 0.737, 'eval_steps_per_second': 0.369, 'memory/max_active (GiB)': 4.14, 'memory/max_allocated (GiB)': 4.12, 'memory/device_reserved (GiB)': 6.16, 'epoch': 0.65}
	65%\|█████████████████████████████████████████████████████████████▎ \| 60/93 [36:52<20:07, 36.59s/it]
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.58s/it][A
	[A 66%\|██████████████████████████████████████████████████████████████▎ \| 61/93 [37:36<25:01, 46.91s/it] {'loss': 2.2332, 'grad_norm': 0.13863682746887207, 'learning_rate': 1.4543304980610879e-06, 'memory/max_active (GiB)': 9.62, 'memory/max_allocated (GiB)': 9.62, 'memory/device_reserved (GiB)': 12.14, 'tokens_per_second_per_gpu': 252.42, 'epoch': 0.66}
	66%\|██████████████████████████████████████████████████████████████▎ \| 61/93 [37:36<25:01, 46.91s/it] 67%\|███████████████████████████████████████████████████████████████▎ \| 62/93 [38:07<21:49, 42.24s/it] {'loss': 2.3124, 'grad_norm': 0.19599847495555878, 'learning_rate': 1.3765739975820964e-06, 'memory/max_active (GiB)': 6.01, 'memory/max_allocated (GiB)': 6.01, 'memory/device_reserved (GiB)': 12.14, 'tokens_per_second_per_gpu': 170.74, 'epoch': 0.67}
	67%\|███████████████████████████████████████████████████████████████▎ \| 62/93 [38:07<21:49, 42.24s/it] 68%\|████████████████████████████████████████████████████████████████▎ \| 63/93 [38:35<18:58, 37.94s/it] {'loss': 2.2763, 'grad_norm': 0.17031599581241608, 'learning_rate': 1.3001563051005348e-06, 'memory/max_active (GiB)': 6.73, 'memory/max_allocated (GiB)': 6.73, 'memory/device_reserved (GiB)': 9.16, 'tokens_per_second_per_gpu': 270.9, 'epoch': 0.68}
	68%\|████████████████████████████████████████████████████████████████▎ \| 63/93 [38:35<18:58, 37.94s/it] 69%\|█████████████████████████████████████████████████████████████████▍ \| 64/93 [39:05<17:10, 35.53s/it] {'loss': 2.2311, 'grad_norm': 0.15384507179260254, 'learning_rate': 1.225168489024661e-06, 'memory/max_active (GiB)': 7.29, 'memory/max_allocated (GiB)': 7.28, 'memory/device_reserved (GiB)': 9.82, 'tokens_per_second_per_gpu': 270.17, 'epoch': 0.69}
	69%\|█████████████████████████████████████████████████████████████████▍ \| 64/93 [39:05<17:10, 35.53s/it] 70%\|██████████████████████████████████████████████████████████████████▍ \| 65/93 [39:35<15:49, 33.92s/it] {'loss': 2.3133, 'grad_norm': 0.16331185400485992, 'learning_rate': 1.1516999137520023e-06, 'memory/max_active (GiB)': 7.99, 'memory/max_allocated (GiB)': 7.99, 'memory/device_reserved (GiB)': 10.54, 'tokens_per_second_per_gpu': 294.85, 'epoch': 0.7}
	70%\|██████████████████████████████████████████████████████████████████▍ \| 65/93 [39:35<15:49, 33.92s/it] 71%\|███████████████████████████████████████████████████████████████████▍ \| 66/93 [40:31<18:09, 40.37s/it] {'loss': 2.3527, 'grad_norm': 0.1510864496231079, 'learning_rate': 1.079838133172111e-06, 'memory/max_active (GiB)': 12.08, 'memory/max_allocated (GiB)': 12.08, 'memory/device_reserved (GiB)': 14.9, 'tokens_per_second_per_gpu': 225.3, 'epoch': 0.71}
	71%\|███████████████████████████████████████████████████████████████████▍ \| 66/93 [40:31<18:09, 40.37s/it] 72%\|████████████████████████████████████████████████████████████████████▍ \| 67/93 [41:05<16:41, 38.54s/it] {'loss': 2.1958, 'grad_norm': 0.16165390610694885, 'learning_rate': 1.0096687863269368e-06, 'memory/max_active (GiB)': 6.41, 'memory/max_allocated (GiB)': 6.41, 'memory/device_reserved (GiB)': 14.9, 'tokens_per_second_per_gpu': 165.29, 'epoch': 0.72}
	72%\|████████████████████████████████████████████████████████████████████▍ \| 67/93 [41:05<16:41, 38.54s/it] 73%\|█████████████████████████████████████████████████████████████████████▍ \| 68/93 [41:33<14:42, 35.30s/it] {'loss': 2.1956, 'grad_norm': 0.17391426861286163, 'learning_rate': 9.412754953531664e-07, 'memory/max_active (GiB)': 7.55, 'memory/max_allocated (GiB)': 7.55, 'memory/device_reserved (GiB)': 14.9, 'tokens_per_second_per_gpu': 222.85, 'epoch': 0.73}
	73%\|█████████████████████████████████████████████████████████████████████▍ \| 68/93 [41:33<14:42, 35.30s/it] 74%\|██████████████████████████████████████████████████████████████████████▍ \| 69/93 [41:58<12:54, 32.27s/it] {'loss': 2.2795, 'grad_norm': 0.2036944329738617, 'learning_rate': 8.747397658281396e-07, 'memory/max_active (GiB)': 5.17, 'memory/max_allocated (GiB)': 5.17, 'memory/device_reserved (GiB)': 14.9, 'tokens_per_second_per_gpu': 141.92, 'epoch': 0.74}
	74%\|██████████████████████████████████████████████████████████████████████▍ \| 69/93 [41:58<12:54, 32.27s/it] 75%\|███████████████████████████████████████████████████████████████████████▌ \| 70/93 [42:20<11:15, 29.36s/it] {'loss': 2.4209, 'grad_norm': 0.20359225571155548, 'learning_rate': 8.101408896381141e-07, 'memory/max_active (GiB)': 6.82, 'memory/max_allocated (GiB)': 6.82, 'memory/device_reserved (GiB)': 14.9, 'tokens_per_second_per_gpu': 298.09, 'epoch': 0.75}
	75%\|███████████████████████████████████████████████████████████████████████▌ \| 70/93 [42:20<11:15, 29.36s/it][2025-10-12 19:23:10,746] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:22885] Running evaluation step...

	0%\| \| 0/10 [00:00<?, ?it/s][A
	20%\|███████████████████▏ \| 2/10 [00:04<00:18, 2.34s/it][A
	30%\|████████████████████████████▊ \| 3/10 [00:06<00:14, 2.11s/it][A
	40%\|██████████████████████████████████████▍ \| 4/10 [00:08<00:11, 1.95s/it][A
	50%\|████████████████████████████████████████████████ \| 5/10 [00:13<00:15, 3.11s/it][A
	60%\|█████████████████████████████████████████████████████████▌ \| 6/10 [00:15<00:11, 2.82s/it][A
	70%\|███████████████████████████████████████████████████████████████████▏ \| 7/10 [00:17<00:07, 2.46s/it][A
	80%\|████████████████████████████████████████████████████████████████████████████▊ \| 8/10 [00:20<00:05, 2.60s/it][A
	90%\|██████████████████████████████████████████████████████████████████████████████████████▍ \| 9/10 [00:22<00:02, 2.36s/it][A
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A{'eval_loss': 2.2923147678375244, 'eval_runtime': 27.1231, 'eval_samples_per_second': 0.737, 'eval_steps_per_second': 0.369, 'memory/max_active (GiB)': 4.14, 'memory/max_allocated (GiB)': 4.12, 'memory/device_reserved (GiB)': 6.16, 'epoch': 0.75}
	75%\|███████████████████████████████████████████████████████████████████████▌ \| 70/93 [42:47<11:15, 29.36s/it]
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A 76%\|████████████████████████████████████████████████████████████████████████▌ \| 71/93 [43:31<15:17, 41.70s/it] {'loss': 2.1796, 'grad_norm': 0.17444726824760437, 'learning_rate': 7.475558504846264e-07, 'memory/max_active (GiB)': 7.99, 'memory/max_allocated (GiB)': 7.99, 'memory/device_reserved (GiB)': 10.37, 'tokens_per_second_per_gpu': 154.11, 'epoch': 0.77}
	76%\|████████████████████████████████████████████████████████████████████████▌ \| 71/93 [43:31<15:17, 41.70s/it] 77%\|█████████████████████████████████████████████████████████████████████████▌ \| 72/93 [44:13<14:41, 41.99s/it] {'loss': 2.0269, 'grad_norm': 0.15691642463207245, 'learning_rate': 6.870592321415595e-07, 'memory/max_active (GiB)': 10.41, 'memory/max_allocated (GiB)': 10.41, 'memory/device_reserved (GiB)': 13.08, 'tokens_per_second_per_gpu': 154.84, 'epoch': 0.78}
	77%\|█████████████████████████████████████████████████████████████████████████▌ \| 72/93 [44:13<14:41, 41.99s/it] 78%\|██████████████████████████████████████████████████████████████████████████▌ \| 73/93 [44:57<14:10, 42.55s/it] {'loss': 2.2928, 'grad_norm': 0.17839455604553223, 'learning_rate': 6.28723129572247e-07, 'memory/max_active (GiB)': 11.56, 'memory/max_allocated (GiB)': 11.56, 'memory/device_reserved (GiB)': 14.12, 'tokens_per_second_per_gpu': 297.84, 'epoch': 0.79}
	78%\|██████████████████████████████████████████████████████████████████████████▌ \| 73/93 [44:57<14:10, 42.55s/it] 80%\|███████████████████████████████████████████████████████████████████████████▌ \| 74/93 [45:22<11:46, 37.21s/it] {'loss': 2.0665, 'grad_norm': 0.17544110119342804, 'learning_rate': 5.72617063012551e-07, 'memory/max_active (GiB)': 6.41, 'memory/max_allocated (GiB)': 6.41, 'memory/device_reserved (GiB)': 14.12, 'tokens_per_second_per_gpu': 280.43, 'epoch': 0.8}
	80%\|███████████████████████████████████████████████████████████████████████████▌ \| 74/93 [45:22<11:46, 37.21s/it] 81%\|████████████████████████████████████████████████████████████████████████████▌ \| 75/93 [45:55<10:47, 35.95s/it] {'loss': 2.2036, 'grad_norm': 0.1425231248140335, 'learning_rate': 5.188078951222745e-07, 'memory/max_active (GiB)': 7.06, 'memory/max_allocated (GiB)': 7.06, 'memory/device_reserved (GiB)': 14.12, 'tokens_per_second_per_gpu': 208.16, 'epoch': 0.81}
	81%\|████████████████████████████████████████████████████████████████████████████▌ \| 75/93 [45:55<10:47, 35.95s/it] 82%\|█████████████████████████████████████████████████████████████████████████████▋ \| 76/93 [46:37<10:41, 37.72s/it] {'loss': 2.3968, 'grad_norm': 0.15496571362018585, 'learning_rate': 4.673597513036684e-07, 'memory/max_active (GiB)': 9.81, 'memory/max_allocated (GiB)': 9.81, 'memory/device_reserved (GiB)': 14.12, 'tokens_per_second_per_gpu': 310.26, 'epoch': 0.82}
	82%\|█████████████████████████████████████████████████████████████████████████████▋ \| 76/93 [46:37<10:41, 37.72s/it] 83%\|██████████████████████████████████████████████████████████████████████████████▋ \| 77/93 [46:55<08:28, 31.81s/it] {'loss': 2.217, 'grad_norm': 0.20319721102714539, 'learning_rate': 4.183339432819844e-07, 'memory/max_active (GiB)': 5.76, 'memory/max_allocated (GiB)': 5.76, 'memory/device_reserved (GiB)': 14.12, 'tokens_per_second_per_gpu': 285.81, 'epoch': 0.83}
	83%\|██████████████████████████████████████████████████████████████████████████████▋ \| 77/93 [46:55<08:28, 31.81s/it] 84%\|███████████████████████████████████████████████████████████████████████████████▋ \| 78/93 [47:31<08:15, 33.07s/it] {'loss': 2.2403, 'grad_norm': 0.14333046972751617, 'learning_rate': 3.717888960391222e-07, 'memory/max_active (GiB)': 5.75, 'memory/max_allocated (GiB)': 5.75, 'memory/device_reserved (GiB)': 14.12, 'tokens_per_second_per_gpu': 118.0, 'epoch': 0.84}
	84%\|███████████████████████████████████████████████████████████████████████████████▋ \| 78/93 [47:31<08:15, 33.07s/it] 85%\|████████████████████████████████████████████████████████████████████████████████▋ \| 79/93 [47:50<06:42, 28.72s/it] {'loss': 2.1289, 'grad_norm': 0.19805286824703217, 'learning_rate': 3.2778007818748376e-07, 'memory/max_active (GiB)': 5.17, 'memory/max_allocated (GiB)': 5.17, 'memory/device_reserved (GiB)': 14.12, 'tokens_per_second_per_gpu': 218.55, 'epoch': 0.85}
	85%\|████████████████████████████████████████████████████████████████████████████████▋ \| 79/93 [47:50<06:42, 28.72s/it] 86%\|█████████████████████████████████████████████████████████████████████████████████▋ \| 80/93 [48:47<08:04, 37.29s/it] {'loss': 2.2895, 'grad_norm': 0.13564196228981018, 'learning_rate': 2.8635993586697555e-07, 'memory/max_active (GiB)': 8.74, 'memory/max_allocated (GiB)': 8.74, 'memory/device_reserved (GiB)': 14.12, 'tokens_per_second_per_gpu': 146.73, 'epoch': 0.86}
	86%\|█████████████████████████████████████████████████████████████████████████████████▋ \| 80/93 [48:47<08:04, 37.29s/it][2025-10-12 19:29:37,272] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:22885] Running evaluation step...

	0%\| \| 0/10 [00:00<?, ?it/s][A
	20%\|███████████████████▏ \| 2/10 [00:04<00:18, 2.35s/it][A
	30%\|████████████████████████████▊ \| 3/10 [00:06<00:14, 2.12s/it][A
	40%\|██████████████████████████████████████▍ \| 4/10 [00:08<00:11, 1.95s/it][A
	50%\|████████████████████████████████████████████████ \| 5/10 [00:13<00:15, 3.11s/it][A
	60%\|█████████████████████████████████████████████████████████▌ \| 6/10 [00:15<00:11, 2.83s/it][A
	70%\|███████████████████████████████████████████████████████████████████▏ \| 7/10 [00:17<00:07, 2.46s/it][A
	80%\|████████████████████████████████████████████████████████████████████████████▊ \| 8/10 [00:20<00:05, 2.60s/it][A
	90%\|██████████████████████████████████████████████████████████████████████████████████████▍ \| 9/10 [00:22<00:02, 2.36s/it][A
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A{'eval_loss': 2.291299343109131, 'eval_runtime': 27.1276, 'eval_samples_per_second': 0.737, 'eval_steps_per_second': 0.369, 'memory/max_active (GiB)': 4.14, 'memory/max_allocated (GiB)': 4.12, 'memory/device_reserved (GiB)': 6.16, 'epoch': 0.86}
	86%\|█████████████████████████████████████████████████████████████████████████████████▋ \| 80/93 [49:14<08:04, 37.29s/it]
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A 87%\|██████████████████████████████████████████████████████████████████████████████████▋ \| 81/93 [49:52<09:08, 45.69s/it] {'loss': 2.3045, 'grad_norm': 0.15558353066444397, 'learning_rate': 2.4757783024395244e-07, 'memory/max_active (GiB)': 7.48, 'memory/max_allocated (GiB)': 7.48, 'memory/device_reserved (GiB)': 9.9, 'tokens_per_second_per_gpu': 184.63, 'epoch': 0.87}
	87%\|██████████████████████████████████████████████████████████████████████████████████▋ \| 81/93 [49:52<09:08, 45.69s/it] 88%\|███████████████████████████████████████████████████████████████████████████████████▊ \| 82/93 [50:40<08:29, 46.36s/it] {'loss': 2.2585, 'grad_norm': 0.14486798644065857, 'learning_rate': 2.1147997868658427e-07, 'memory/max_active (GiB)': 12.44, 'memory/max_allocated (GiB)': 12.44, 'memory/device_reserved (GiB)': 14.99, 'tokens_per_second_per_gpu': 225.88, 'epoch': 0.88}
	88%\|███████████████████████████████████████████████████████████████████████████████████▊ \| 82/93 [50:40<08:29, 46.36s/it] 89%\|████████████████████████████████████████████████████████████████████████████████████▊ \| 83/93 [51:20<07:24, 44.50s/it] {'loss': 2.285, 'grad_norm': 0.14685982465744019, 'learning_rate': 1.7810939968674418e-07, 'memory/max_active (GiB)': 6.57, 'memory/max_allocated (GiB)': 6.57, 'memory/device_reserved (GiB)': 14.99, 'tokens_per_second_per_gpu': 124.53, 'epoch': 0.89}
	89%\|████████████████████████████████████████████████████████████████████████████████████▊ \| 83/93 [51:20<07:24, 44.50s/it] 90%\|█████████████████████████████████████████████████████████████████████████████████████▊ \| 84/93 [51:48<05:55, 39.52s/it] {'loss': 2.1195, 'grad_norm': 0.15831367671489716, 'learning_rate': 1.4750586159405917e-07, 'memory/max_active (GiB)': 7.54, 'memory/max_allocated (GiB)': 7.54, 'memory/device_reserved (GiB)': 14.99, 'tokens_per_second_per_gpu': 274.35, 'epoch': 0.91}
	90%\|█████████████████████████████████████████████████████████████████████████████████████▊ \| 84/93 [51:48<05:55, 39.52s/it] 91%\|██████████████████████████████████████████████████████████████████████████████████████▊ \| 85/93 [52:43<05:52, 44.12s/it] {'loss': 2.2132, 'grad_norm': 0.13417591154575348, 'learning_rate': 1.197058352232147e-07, 'memory/max_active (GiB)': 12.0, 'memory/max_allocated (GiB)': 12.0, 'memory/device_reserved (GiB)': 14.99, 'tokens_per_second_per_gpu': 337.11, 'epoch': 0.92}
	91%\|██████████████████████████████████████████████████████████████████████████████████████▊ \| 85/93 [52:43<05:52, 44.12s/it] 92%\|███████████████████████████████████████████████████████████████████████████████████████▊ \| 86/93 [53:13<04:38, 39.83s/it] {'loss': 2.1444, 'grad_norm': 0.13749727606773376, 'learning_rate': 9.474245039099883e-08, 'memory/max_active (GiB)': 6.65, 'memory/max_allocated (GiB)': 6.65, 'memory/device_reserved (GiB)': 14.99, 'tokens_per_second_per_gpu': 277.74, 'epoch': 0.93}
	92%\|███████████████████████████████████████████████████████████████████████████████████████▊ \| 86/93 [53:13<04:38, 39.83s/it] 94%\|████████████████████████████████████████████████████████████████████████████████████████▊ \| 87/93 [53:48<03:50, 38.47s/it] {'loss': 2.2605, 'grad_norm': 0.15429092943668365, 'learning_rate': 7.264545643486997e-08, 'memory/max_active (GiB)': 7.7, 'memory/max_allocated (GiB)': 7.7, 'memory/device_reserved (GiB)': 14.99, 'tokens_per_second_per_gpu': 235.75, 'epoch': 0.94}
	94%\|████████████████████████████████████████████████████████████████████████████████████████▊ \| 87/93 [53:48<03:50, 38.47s/it] 95%\|█████████████████████████████████████████████████████████████████████████████████████████▉ \| 88/93 [54:24<03:09, 37.81s/it] {'loss': 2.2561, 'grad_norm': 0.15855932235717773, 'learning_rate': 5.344118676011173e-08, 'memory/max_active (GiB)': 9.44, 'memory/max_allocated (GiB)': 9.44, 'memory/device_reserved (GiB)': 14.99, 'tokens_per_second_per_gpu': 267.96, 'epoch': 0.95}
	95%\|█████████████████████████████████████████████████████████████████████████████████████████▉ \| 88/93 [54:24<03:09, 37.81s/it] 96%\|██████████████████████████████████████████████████████████████████████████████████████████▉ \| 89/93 [54:45<02:10, 32.70s/it] {'loss': 2.2384, 'grad_norm': 0.20709452033042908, 'learning_rate': 3.7152527457815504e-08, 'memory/max_active (GiB)': 5.22, 'memory/max_allocated (GiB)': 5.22, 'memory/device_reserved (GiB)': 14.99, 'tokens_per_second_per_gpu': 172.24, 'epoch': 0.96}
	96%\|██████████████████████████████████████████████████████████████████████████████████████████▉ \| 89/93 [54:45<02:10, 32.70s/it] 97%\|███████████████████████████████████████████████████████████████████████████████████████████▉ \| 90/93 [55:18<01:38, 32.74s/it] {'loss': 2.2251, 'grad_norm': 0.2119917869567871, 'learning_rate': 2.3798890031092037e-08, 'memory/max_active (GiB)': 5.75, 'memory/max_allocated (GiB)': 5.75, 'memory/device_reserved (GiB)': 15.0, 'tokens_per_second_per_gpu': 134.98, 'epoch': 0.97}
	97%\|███████████████████████████████████████████████████████████████████████████████████████████▉ \| 90/93 [55:18<01:38, 32.74s/it][2025-10-12 19:36:08,370] [INFO] [axolotl.core.trainers.base.evaluate:376] [PID:22885] Running evaluation step...

	0%\| \| 0/10 [00:00<?, ?it/s][A
	20%\|███████████████████▏ \| 2/10 [00:04<00:18, 2.35s/it][A
	30%\|████████████████████████████▊ \| 3/10 [00:06<00:14, 2.12s/it][A
	40%\|██████████████████████████████████████▍ \| 4/10 [00:08<00:11, 1.95s/it][A
	50%\|████████████████████████████████████████████████ \| 5/10 [00:13<00:15, 3.12s/it][A
	60%\|█████████████████████████████████████████████████████████▌ \| 6/10 [00:15<00:11, 2.83s/it][A
	70%\|███████████████████████████████████████████████████████████████████▏ \| 7/10 [00:17<00:07, 2.46s/it][A
	80%\|████████████████████████████████████████████████████████████████████████████▊ \| 8/10 [00:20<00:05, 2.60s/it][A
	90%\|██████████████████████████████████████████████████████████████████████████████████████▍ \| 9/10 [00:22<00:02, 2.36s/it][A
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A{'eval_loss': 2.29103422164917, 'eval_runtime': 27.1496, 'eval_samples_per_second': 0.737, 'eval_steps_per_second': 0.368, 'memory/max_active (GiB)': 4.14, 'memory/max_allocated (GiB)': 4.12, 'memory/device_reserved (GiB)': 6.16, 'epoch': 0.97}
	97%\|███████████████████████████████████████████████████████████████████████████████████████████▉ \| 90/93 [55:45<01:38, 32.74s/it]
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 10/10 [00:25<00:00, 2.59s/it][A
	[A 98%\|████████████████████████████████████████████████████████████████████████████████████████████▉ \| 91/93 [56:16<01:20, 40.27s/it] {'loss': 2.2192, 'grad_norm': 0.20029672980308533, 'learning_rate': 1.3396188262018439e-08, 'memory/max_active (GiB)': 5.22, 'memory/max_allocated (GiB)': 5.22, 'memory/device_reserved (GiB)': 6.95, 'tokens_per_second_per_gpu': 119.68, 'epoch': 0.98}
	98%\|████████████████████████████████████████████████████████████████████████████████████████████▉ \| 91/93 [56:16<01:20, 40.27s/it] 99%\|█████████████████████████████████████████████████████████████████████████████████████████████▉ \| 92/93 [56:49<00:38, 38.31s/it] {'loss': 2.208, 'grad_norm': 0.15470166504383087, 'learning_rate': 5.9568192468811844e-09, 'memory/max_active (GiB)': 5.75, 'memory/max_allocated (GiB)': 5.75, 'memory/device_reserved (GiB)': 7.67, 'tokens_per_second_per_gpu': 140.77, 'epoch': 0.99}
	99%\|█████████████████████████████████████████████████████████████████████████████████████████████▉ \| 92/93 [56:49<00:38, 38.31s/it] 100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 93/93 [57:06<00:00, 31.77s/it] {'loss': 2.2394, 'grad_norm': 0.2138354629278183, 'learning_rate': 1.4896486223239802e-09, 'memory/max_active (GiB)': 5.3, 'memory/max_allocated (GiB)': 5.3, 'memory/device_reserved (GiB)': 7.67, 'tokens_per_second_per_gpu': 187.36, 'epoch': 1.0}
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 93/93 [57:06<00:00, 31.77s/it][2025-10-12 19:37:57,028] [WARNING] [py.warnings._showwarnmsg:110] [PID:22885] /root/miniconda3/envs/py3.11/lib/python3.11/site-packages/torch/distributed/fsdp/fully_sharded_data_parallel.py:680: FutureWarning: FSDP.state_dict_type() and FSDP.set_state_dict_type() are being deprecated. Please use APIs, get_state_dict() and set_state_dict(), which can support different parallelisms, FSDP1, FSDP2, DDP. API doc: https://pytorch.org/docs/stable/distributed.checkpoint.html#torch.distributed.checkpoint.state_dict.get_state_dict .Tutorial: https://pytorch.org/tutorials/recipes/distributed_checkpoint_recipe.html .
	warnings.warn(

	[2025-10-12 19:38:07,432] [INFO] [axolotl.core.trainers.base._save:671] [PID:22885] Saving model checkpoint to ckpts-stage-2/checkpoint-93
	{'train_runtime': 3452.8875, 'train_samples_per_second': 0.215, 'train_steps_per_second': 0.027, 'train_loss': 2.244428385970413, 'memory/max_active (GiB)': 4.12, 'memory/max_allocated (GiB)': 4.12, 'memory/device_reserved (GiB)': 7.67, 'epoch': 1.0}
	100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 93/93 [57:30<00:00, 31.77s/it] 100%\|███████████████████████████████████████████████████████████████████████████████████████████████\| 93/93 [57:30<00:00, 37.10s/it]