| [2026-05-26 03:29:46,410] [DEBUG] [axolotl.utils.config.resolve_dtype:74] [PID:26934] bf16 support detected, enabling for this configuration. |
| [2026-05-26 03:29:46,416] [DEBUG] [axolotl.utils.config.log_gpu_memory_usage:127] [PID:26934] baseline 0.000GB () |
| [2026-05-26 03:29:46,417] [INFO] [axolotl.cli.config.load_cfg:333] [PID:26934] config: |
| { |
| "activation_offloading": true, |
| "attn_implementation": "flash_attention_2", |
| "attn_needs_dtype_cast": true, |
| "attn_supports_packing": true, |
| "attn_uses_flash_lib": true, |
| "axolotl_config_path": "train.yml", |
| "base_model": "last_model", |
| "base_model_config": "last_model", |
| "batch_size": 16, |
| "bf16": true, |
| "capabilities": { |
| "bf16": true, |
| "compute_capability": "sm_80", |
| "fp8": false, |
| "n_gpu": 1, |
| "n_node": 1, |
| "tf32": true |
| }, |
| "chat_template": "tokenizer_default", |
| "context_parallel_size": 1, |
| "cut_cross_entropy": true, |
| "dataloader_num_workers": 1, |
| "dataloader_pin_memory": true, |
| "dataloader_prefetch_factor": 256, |
| "dataset_num_proc": 16, |
| "dataset_prepared_path": "last_run_prepared", |
| "datasets": [ |
| { |
| "ds_type": "parquet", |
| "message_property_mappings": { |
| "content": "content", |
| "role": "role" |
| }, |
| "path": "tankieV2-llama3.3.parquet", |
| "trust_remote_code": false |
| } |
| ], |
| "ddp": false, |
| "device": "cuda:0", |
| "dion_rank_fraction": 1.0, |
| "dion_rank_multiple_of": 1, |
| "eaft_alpha": 1.0, |
| "eaft_k": 20, |
| "env_capabilities": { |
| "torch_version": "2.8.0" |
| }, |
| "eval_batch_size": 4, |
| "eval_causal_lm_metrics": [ |
| "sacrebleu", |
| "comet", |
| "ter", |
| "chrf" |
| ], |
| "eval_max_new_tokens": 128, |
| "eval_sample_packing": true, |
| "eval_table_size": 0, |
| "experimental_skip_move_to_device": true, |
| "fp16": false, |
| "generate_samples": false, |
| "generation_do_sample": true, |
| "generation_max_new_tokens": 50, |
| "generation_prompt_ratio": 0.5, |
| "generation_temperature": 0.7, |
| "gradient_accumulation_steps": 4, |
| "gradient_checkpointing": true, |
| "gradient_checkpointing_kwargs": { |
| "use_reentrant": true |
| }, |
| "group_by_length": false, |
| "include_tkps": true, |
| "is_llama_derived_model": true, |
| "layer_offloading": false, |
| "learning_rate": 1e-06, |
| "lisa_layers_attribute": "model.layers", |
| "load_best_model_at_end": false, |
| "load_in_4bit": false, |
| "load_in_8bit": false, |
| "local_rank": 0, |
| "logging_steps": 1, |
| "lora_dropout": 0.0, |
| "loraplus_lr_embedding": 1e-06, |
| "lr_scheduler": "cosine", |
| "max_grad_norm": 0.1, |
| "mean_resizing_embeddings": false, |
| "merge_method": "memory_efficient", |
| "micro_batch_size": 4, |
| "model_config_type": "llama", |
| "num_epochs": 4.0, |
| "num_generation_samples": 3, |
| "optimizer": "adamw_torch_8bit", |
| "otel_metrics_host": "localhost", |
| "otel_metrics_port": 8000, |
| "output_dir": "./model-output", |
| "pad_to_sequence_len": true, |
| "plugins": [ |
| "axolotl.integrations.liger.LigerPlugin", |
| "axolotl.integrations.cut_cross_entropy.CutCrossEntropyPlugin" |
| ], |
| "pretrain_multipack_attn": true, |
| "profiler_steps_start": 0, |
| "qgalore_cos_threshold": 0.4, |
| "qgalore_gamma_proj": 2, |
| "qgalore_proj_bits": 4, |
| "qgalore_proj_group_size": 256, |
| "qgalore_proj_quant": true, |
| "qgalore_proj_type": "std", |
| "qgalore_queue_size": 5, |
| "qgalore_rank": 256, |
| "qgalore_scale": 0.25, |
| "qgalore_update_proj_gap": 200, |
| "qlora_sharded_model_loading": false, |
| "quantize_moe_experts": false, |
| "ray_num_workers": 1, |
| "relora_prune_method": "magnitude", |
| "resources_per_worker": { |
| "GPU": 1 |
| }, |
| "sample_packing": true, |
| "sample_packing_bin_size": 200, |
| "sample_packing_group_size": 100000, |
| "save_only_model": false, |
| "save_safetensors": true, |
| "save_steps": 0.25, |
| "saves_per_epoch": 1, |
| "sequence_len": 8192, |
| "shuffle_before_merging_datasets": false, |
| "shuffle_merged_datasets": true, |
| "skip_prepare_dataset": false, |
| "special_tokens": { |
| "pad_token": "<|reserved_special_token_1|>" |
| }, |
| "streaming_multipack_buffer_size": 10000, |
| "strict": false, |
| "tensor_parallel_size": 1, |
| "tf32": true, |
| "tiled_mlp_use_original_mlp": true, |
| "tokenizer_config": "last_model", |
| "tokenizer_save_jinja_files": true, |
| "torch_dtype": "torch.bfloat16", |
| "train_on_inputs": false, |
| "trl": { |
| "async_prefetch": false, |
| "log_completions": false, |
| "mask_truncated_completions": false, |
| "ref_model_mixup_alpha": 0.9, |
| "ref_model_sync_steps": 64, |
| "replay_buffer_size": 0, |
| "replay_recompute_logps": true, |
| "reroll_max_groups": 1, |
| "reroll_start_fraction": 1.0, |
| "reward_num_workers": 1, |
| "scale_rewards": true, |
| "skip_zero_advantage_batches": true, |
| "sync_ref_model": false, |
| "use_data_producer": false, |
| "use_vllm": false, |
| "vllm_lora_sync": false, |
| "vllm_server_host": "0.0.0.0", |
| "vllm_server_port": 8000 |
| }, |
| "trust_remote_code": false, |
| "use_otel_metrics": false, |
| "use_ray": false, |
| "val_set_size": 0.0, |
| "vllm": { |
| "device": "auto", |
| "dtype": "auto", |
| "gpu_memory_utilization": 0.9, |
| "host": "0.0.0.0", |
| "port": 8000 |
| }, |
| "warmup_ratio": 1e-07, |
| "weight_decay": 0.001, |
| "world_size": 1 |
| } |
| [2026-05-26 03:29:46,712] [WARNING] [axolotl.cli.checks.check_user_token:48] [PID:26934] Error verifying HuggingFace token. Remember to log in using `hf auth login` and get your access token from https://huggingface.co/settings/tokens if you want to use gated models or datasets. |
| [2026-05-26 03:29:48,029] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:311] [PID:26934] EOS: 128009 / <|eot_id|> |
| [2026-05-26 03:29:48,029] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:312] [PID:26934] BOS: 128000 / <|begin_of_text|> |
| [2026-05-26 03:29:48,029] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:313] [PID:26934] PAD: 128003 / <|reserved_special_token_1|> |
| [2026-05-26 03:29:48,029] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:314] [PID:26934] UNK: None / None |
| [2026-05-26 03:29:48,030] [INFO] [axolotl.utils.data.shared.load_preprocessed_dataset:477] [PID:26934] Loading prepared dataset from disk at last_run_prepared/63be80ee885f89c343ea1a7f8a098061... |
| [2026-05-26 03:29:48,059] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:420] [PID:26934] total_num_tokens: 1_080_366 |
| [2026-05-26 03:29:48,079] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:438] [PID:26934] `total_supervised_tokens: 897_659` |
| [2026-05-26 03:29:49,939] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.90700364112854 |
| [2026-05-26 03:29:50,843] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.9035019874572754 |
| [2026-05-26 03:29:51,730] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.8869099617004395 |
| [2026-05-26 03:29:52,666] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.935537576675415 |
| [2026-05-26 03:29:52,719] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:26934] gather_len_batches: [33] |
| [2026-05-26 03:29:52,719] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:495] [PID:26934] data_loader_len: 8 |
| [2026-05-26 03:29:52,719] [INFO] [axolotl.utils.trainer.calc_sample_packing_eff_est:504] [PID:26934] sample_packing_eff_est across ranks: [0.9990955699573864] |
| [2026-05-26 03:29:52,720] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:516] [PID:26934] sample_packing_eff_est: 1.0 |
| [2026-05-26 03:29:52,720] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:521] [PID:26934] total_num_steps: 32 |
| [2026-05-26 03:29:52,720] [INFO] [axolotl.utils.data.sft._prepare_standard_dataset:121] [PID:26934] Maximum number of steps set at 32 |
| [2026-05-26 03:29:52,758] [DEBUG] [axolotl.train.setup_model_and_tokenizer:70] [PID:26934] loading tokenizer... last_model |
| [2026-05-26 03:29:54,069] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:311] [PID:26934] EOS: 128009 / <|eot_id|> |
| [2026-05-26 03:29:54,069] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:312] [PID:26934] BOS: 128000 / <|begin_of_text|> |
| [2026-05-26 03:29:54,069] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:313] [PID:26934] PAD: 128003 / <|reserved_special_token_1|> |
| [2026-05-26 03:29:54,069] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:314] [PID:26934] UNK: None / None |
| [2026-05-26 03:29:54,069] [DEBUG] [axolotl.train.setup_model_and_tokenizer:81] [PID:26934] Loading model |
| [2026-05-26 03:29:54,073] [DEBUG] [axolotl.monkeypatch.torchao_optim.patch_torchao_optim_state_8bit:75] [PID:26934] Patched OptimState8bit for torch.compile compatibility |
| [2026-05-26 03:29:54,073] [DEBUG] [axolotl.monkeypatch.torchao_optim.patch_torchao_optim_state_8bit:122] [PID:26934] Patched OptimState4bit for torch.compile compatibility |
| [2026-05-26 03:29:54,073] [DEBUG] [axolotl.monkeypatch.torchao_optim.patch_torchao_optim_state_8bit:154] [PID:26934] Patched OptimStateFp8 for torch.compile compatibility |
| [2026-05-26 03:29:54,079] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_evaluation_loop:94] [PID:26934] Patched Trainer.evaluation_loop with nanmean loss calculation |
| [2026-05-26 03:29:54,081] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_maybe_log_save_evaluate:148] [PID:26934] Patched Trainer._maybe_log_save_evaluate with nanmean loss calculation |
| [2026-05-26 03:29:54,081] [INFO] [axolotl.loaders.patch_manager._apply_multipack_patches:615] [PID:26934] Applying multipack dataloader patch for sample packing... |
| [2026-05-26 03:29:54,306] [INFO] [axolotl.integrations.liger.plugin.pre_model_load:104] [PID:26934] Applying LIGER to llama with kwargs: {'rope': None, 'cross_entropy': None, 'fused_linear_cross_entropy': None, 'rms_norm': None, 'swiglu': None} |
| [2026-05-26 03:29:54,332] [INFO] [axolotl.integrations.cut_cross_entropy.pre_model_load:94] [PID:26934] Applying Cut Cross Entropy to model type: llama |
|
Loading weights: 0%| | 0/291 [00:00<?, ?it/s]
Loading weights: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 291/291 [00:00<00:00, 8567.25it/s] |
| [2026-05-26 03:30:42,802] [INFO] [axolotl.loaders.model._configure_embedding_dtypes:356] [PID:26934] Converting modules to torch.bfloat16 |
| [2026-05-26 03:30:44,112] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:26934] Memory usage after model load 0.000GB () |
| [2026-05-26 03:30:47,582] [INFO] [axolotl.train.save_initial_configs:454] [PID:26934] Pre-saving tokenizer to ./model-output... |
| [2026-05-26 03:30:47,759] [INFO] [axolotl.train.save_initial_configs:459] [PID:26934] Pre-saving model config to ./model-output... |
| [2026-05-26 03:30:47,765] [INFO] [axolotl.train.execute_training:226] [PID:26934] Starting trainer... |
| [2026-05-26 03:30:49,830] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.866642951965332 |
| [2026-05-26 03:30:50,714] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.8837389945983887 |
| [2026-05-26 03:30:51,620] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.9054760932922363 |
| [2026-05-26 03:30:52,509] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:26934] generate_batches time: 0.8883805274963379 |
| [2026-05-26 03:30:52,509] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:26934] gather_len_batches: [33] |
|
0%| | 0/32 [00:00<?, ?it/s]
3%|█████▍ | 1/32 [00:44<22:59, 44.51s/it]
{'loss': '1.873', 'grad_norm': '1.953', 'learning_rate': '1e-06', 'ppl': '6.508', 'memory/max_active (GiB)': '45.26', 'memory/max_allocated (GiB)': '45.26', 'memory/device_reserved (GiB)': '46.03', 'tokens/train_per_sec_per_gpu': '569.1', 'tokens/total': 131072, 'tokens/trainable': 106656, 'epoch': '0.1212'} |
|
3%|█████▍ | 1/32 [00:44<22:59, 44.51s/it]
6%|██████████▉ | 2/32 [01:23<20:38, 41.29s/it]
{'loss': '1.996', 'grad_norm': '1.93', 'learning_rate': '9.976e-07', 'ppl': '7.362', 'memory/max_active (GiB)': '56.9', 'memory/max_allocated (GiB)': '56.9', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '711', 'tokens/total': 262144, 'tokens/trainable': 215077, 'epoch': '0.2424'} |
|
6%|██████████▉ | 2/32 [01:23<20:38, 41.29s/it]
9%|████████████████▎ | 3/32 [02:02<19:28, 40.28s/it]
{'loss': '2.003', 'grad_norm': '2', 'learning_rate': '9.904e-07', 'ppl': '7.412', 'memory/max_active (GiB)': '56.9', 'memory/max_allocated (GiB)': '56.9', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '674.9', 'tokens/total': 393216, 'tokens/trainable': 323158, 'epoch': '0.3636'} |
|
9%|████████████████▎ | 3/32 [02:02<19:28, 40.28s/it]
12%|█████████████████████▊ | 4/32 [02:41<18:33, 39.77s/it]
{'loss': '1.974', 'grad_norm': '1.992', 'learning_rate': '9.785e-07', 'ppl': '7.197', 'memory/max_active (GiB)': '56.9', 'memory/max_allocated (GiB)': '56.9', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '668.4', 'tokens/total': 524288, 'tokens/trainable': 432049, 'epoch': '0.4848'} |
|
12%|█████████████████████▊ | 4/32 [02:41<18:33, 39.77s/it]
16%|███████████████████████████▏ | 5/32 [03:22<18:05, 40.22s/it]
{'loss': '1.941', 'grad_norm': '2', 'learning_rate': '9.619e-07', 'ppl': '6.965', 'memory/max_active (GiB)': '56.9', 'memory/max_allocated (GiB)': '56.9', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '674', 'tokens/total': 655360, 'tokens/trainable': 542557, 'epoch': '0.6061'} |
|
16%|███████████████████████████▏ | 5/32 [03:22<18:05, 40.22s/it]
19%|████████████████████████████████▋ | 6/32 [04:01<17:16, 39.86s/it]
{'loss': '1.95', 'grad_norm': '1.938', 'learning_rate': '9.41e-07', 'ppl': '7.029', 'memory/max_active (GiB)': '56.9', 'memory/max_allocated (GiB)': '56.9', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '720.3', 'tokens/total': 786432, 'tokens/trainable': 652883, 'epoch': '0.7273'} |
|
19%|████████████████████████████████▋ | 6/32 [04:01<17:16, 39.86s/it]
22%|██████████████████████████████████████ | 7/32 [04:41<16:31, 39.65s/it]
{'loss': '2.027', 'grad_norm': '2', 'learning_rate': '9.157e-07', 'ppl': '7.591', 'memory/max_active (GiB)': '56.9', 'memory/max_allocated (GiB)': '56.9', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '725.7', 'tokens/total': 917504, 'tokens/trainable': 760024, 'epoch': '0.8485'} |
|
22%|██████████████████████████████████████ | 7/32 [04:41<16:31, 39.65s/it]
25%|███████████████████████████████████████████▌ | 8/32 [05:19<15:46, 39.43s/it]
{'loss': '1.973', 'grad_norm': '2.031', 'learning_rate': '8.865e-07', 'ppl': '7.195', 'memory/max_active (GiB)': '56.9', 'memory/max_allocated (GiB)': '56.9', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '679.7', 'tokens/total': 1048576, 'tokens/trainable': 870008, 'epoch': '0.9697'} |
|
25%|███████████████████████████████████████████▌ | 8/32 [05:19<15:46, 39.43s/it][2026-05-26 03:36:12,524] [INFO] [axolotl.core.trainers.base._save:828] [PID:26934] Saving model checkpoint to ./model-output/checkpoint-8 |
|
|
|
Writing model shards: 0%| | 0/1 [00:00<?, ?it/s][A |
|
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:19<00:00, 19.04s/it][A
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:19<00:00, 19.04s/it] |
|
28%|████████████████████████████████████████████████▉ | 9/32 [06:03<15:35, 40.69s/it]
{'loss': '1.868', 'grad_norm': '2.828', 'learning_rate': '8.536e-07', 'ppl': '6.472', 'memory/max_active (GiB)': '52.35', 'memory/max_allocated (GiB)': '52.35', 'memory/device_reserved (GiB)': '58.59', 'tokens/train_per_sec_per_gpu': '2718', 'tokens/total': 1081344, 'tokens/trainable': 897659, 'epoch': '1'} |
|
28%|████████████████████████████████████████████████▉ | 9/32 [06:03<15:35, 40.69s/it]
31%|██████████████████████████████████████████████████████ | 10/32 [06:44<14:55, 40.72s/it]
{'loss': '1.987', 'grad_norm': '2.016', 'learning_rate': '8.172e-07', 'ppl': '7.292', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '657.4', 'tokens/total': 1212416, 'tokens/trainable': 1004394, 'epoch': '1.121'} |
|
31%|██████████████████████████████████████████████████████ | 10/32 [06:44<14:55, 40.72s/it]
34%|███████████████████████████████████████████████████████████▍ | 11/32 [07:23<14:04, 40.22s/it]
{'loss': '2.003', 'grad_norm': '1.969', 'learning_rate': '7.778e-07', 'ppl': '7.412', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '664.9', 'tokens/total': 1343488, 'tokens/trainable': 1110879, 'epoch': '1.242'} |
|
34%|███████████████████████████████████████████████████████████▍ | 11/32 [07:23<14:04, 40.22s/it]
38%|████████████████████████████████████████████████████████████████▉ | 12/32 [08:02<13:17, 39.88s/it]
{'loss': '1.951', 'grad_norm': '1.883', 'learning_rate': '7.357e-07', 'ppl': '7.037', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '721.7', 'tokens/total': 1474560, 'tokens/trainable': 1220825, 'epoch': '1.364'} |
|
38%|████████████████████████████████████████████████████████████████▉ | 12/32 [08:02<13:17, 39.88s/it]
41%|██████████████████████████████████████████████████████████████████████▎ | 13/32 [08:41<12:32, 39.60s/it]
{'loss': '1.964', 'grad_norm': '1.984', 'learning_rate': '6.913e-07', 'ppl': '7.129', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '693.7', 'tokens/total': 1605632, 'tokens/trainable': 1330584, 'epoch': '1.485'} |
|
41%|██████████████████████████████████████████████████████████████████████▎ | 13/32 [08:41<12:32, 39.60s/it]
44%|███████████████████████████████████████████████████████████████████████████▋ | 14/32 [09:20<11:50, 39.46s/it]
{'loss': '2.022', 'grad_norm': '1.945', 'learning_rate': '6.451e-07', 'ppl': '7.553', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '679.3', 'tokens/total': 1736704, 'tokens/trainable': 1439451, 'epoch': '1.606'} |
|
44%|███████████████████████████████████████████████████████████████████████████▋ | 14/32 [09:20<11:50, 39.46s/it]
47%|█████████████████████████████████████████████████████████████████████████████████ | 15/32 [09:59<11:10, 39.41s/it]
{'loss': '1.86', 'grad_norm': '1.836', 'learning_rate': '5.975e-07', 'ppl': '6.424', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '672.1', 'tokens/total': 1867776, 'tokens/trainable': 1548540, 'epoch': '1.727'} |
|
47%|█████████████████████████████████████████████████████████████████████████████████ | 15/32 [09:59<11:10, 39.41s/it]
50%|██████████████████████████████████████████████████████████████████████████████████████▌ | 16/32 [10:38<10:28, 39.27s/it]
{'loss': '1.987', 'grad_norm': '1.906', 'learning_rate': '5.49e-07', 'ppl': '7.29', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '712.4', 'tokens/total': 1998848, 'tokens/trainable': 1658993, 'epoch': '1.848'} |
|
50%|██████████████████████████████████████████████████████████████████████████████████████▌ | 16/32 [10:38<10:28, 39.27s/it][2026-05-26 03:41:31,287] [INFO] [axolotl.core.trainers.base._save:828] [PID:26934] Saving model checkpoint to ./model-output/checkpoint-16 |
|
|
|
Writing model shards: 0%| | 0/1 [00:00<?, ?it/s][A |
|
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:18<00:00, 18.90s/it][A
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:18<00:00, 18.90s/it] |
|
53%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 17/32 [11:51<12:19, 49.28s/it]
{'loss': '1.935', 'grad_norm': '1.867', 'learning_rate': '5e-07', 'ppl': '6.924', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '726.2', 'tokens/total': 2129920, 'tokens/trainable': 1767537, 'epoch': '1.97'} |
|
53%|███████████████████████████████████████████████████████████████████████████████████████████▉ | 17/32 [11:51<12:19, 49.28s/it]
56%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/32 [12:01<08:44, 37.45s/it]
{'loss': '1.848', 'grad_norm': '2.703', 'learning_rate': '4.51e-07', 'ppl': '6.35', 'memory/max_active (GiB)': '52.35', 'memory/max_allocated (GiB)': '52.35', 'memory/device_reserved (GiB)': '58.85', 'tokens/train_per_sec_per_gpu': '2820', 'tokens/total': 2162688, 'tokens/trainable': 1795318, 'epoch': '2'} |
|
56%|█████████████████████████████████████████████████████████████████████████████████████████████████▎ | 18/32 [12:01<08:44, 37.45s/it]
59%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 19/32 [12:41<08:19, 38.40s/it]
{'loss': '1.926', 'grad_norm': '1.852', 'learning_rate': '4.025e-07', 'ppl': '6.864', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '721.7', 'tokens/total': 2293760, 'tokens/trainable': 1906259, 'epoch': '2.121'} |
|
59%|██████████████████████████████████████████████████████████████████████████████████████████████████████▋ | 19/32 [12:41<08:19, 38.40s/it]
62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 20/32 [13:20<07:42, 38.54s/it]
{'loss': '1.977', 'grad_norm': '1.93', 'learning_rate': '3.549e-07', 'ppl': '7.221', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '742.3', 'tokens/total': 2424832, 'tokens/trainable': 2014483, 'epoch': '2.242'} |
|
62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 20/32 [13:20<07:42, 38.54s/it]
66%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/32 [13:59<07:05, 38.67s/it]
{'loss': '1.845', 'grad_norm': '1.898', 'learning_rate': '3.087e-07', 'ppl': '6.33', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '712.8', 'tokens/total': 2555904, 'tokens/trainable': 2122973, 'epoch': '2.364'} |
|
66%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 21/32 [13:59<07:05, 38.67s/it]
69%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 22/32 [14:38<06:27, 38.76s/it]
{'loss': '2.007', 'grad_norm': '1.922', 'learning_rate': '2.643e-07', 'ppl': '7.442', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '687.6', 'tokens/total': 2686976, 'tokens/trainable': 2229423, 'epoch': '2.485'} |
|
69%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 22/32 [14:38<06:27, 38.76s/it]
72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 23/32 [15:17<05:49, 38.84s/it]
{'loss': '2.02', 'grad_norm': '1.93', 'learning_rate': '2.222e-07', 'ppl': '7.535', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '712.5', 'tokens/total': 2818048, 'tokens/trainable': 2340301, 'epoch': '2.606'} |
|
72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 23/32 [15:17<05:49, 38.84s/it]
75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/32 [15:56<05:10, 38.86s/it]
{'loss': '1.962', 'grad_norm': '1.961', 'learning_rate': '1.828e-07', 'ppl': '7.111', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '685', 'tokens/total': 2949120, 'tokens/trainable': 2450553, 'epoch': '2.727'} |
|
75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 24/32 [15:56<05:10, 38.86s/it][2026-05-26 03:46:49,105] [INFO] [axolotl.core.trainers.base._save:828] [PID:26934] Saving model checkpoint to ./model-output/checkpoint-24 |
|
|
|
Writing model shards: 0%| | 0/1 [00:00<?, ?it/s][A |
|
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:19<00:00, 19.38s/it][A
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:19<00:00, 19.38s/it] |
|
78%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 25/32 [17:11<05:48, 49.75s/it]
{'loss': '2.034', 'grad_norm': '1.93', 'learning_rate': '1.464e-07', 'ppl': '7.647', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '677.7', 'tokens/total': 3080192, 'tokens/trainable': 2559056, 'epoch': '2.848'} |
|
78%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 25/32 [17:11<05:48, 49.75s/it]
81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/32 [17:50<04:39, 46.59s/it]
{'loss': '1.87', 'grad_norm': '1.82', 'learning_rate': '1.135e-07', 'ppl': '6.486', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '666.4', 'tokens/total': 3211264, 'tokens/trainable': 2664944, 'epoch': '2.97'} |
|
81%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 26/32 [17:50<04:39, 46.59s/it]
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 27/32 [18:00<02:58, 35.61s/it]
{'loss': '2.035', 'grad_norm': '2.859', 'learning_rate': '8.427e-08', 'ppl': '7.652', 'memory/max_active (GiB)': '52.35', 'memory/max_allocated (GiB)': '52.35', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '2781', 'tokens/total': 3244032, 'tokens/trainable': 2692531, 'epoch': '3'} |
|
84%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 27/32 [18:00<02:58, 35.61s/it]
88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 28/32 [18:41<02:28, 37.07s/it]
{'loss': '2', 'grad_norm': '1.914', 'learning_rate': '5.904e-08', 'ppl': '7.388', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '706.3', 'tokens/total': 3375104, 'tokens/trainable': 2801456, 'epoch': '3.121'} |
|
88%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 28/32 [18:41<02:28, 37.07s/it]
91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 29/32 [19:20<01:52, 37.65s/it]
{'loss': '1.987', 'grad_norm': '1.914', 'learning_rate': '3.806e-08', 'ppl': '7.294', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '679.9', 'tokens/total': 3506176, 'tokens/trainable': 2911542, 'epoch': '3.242'} |
|
91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 29/32 [19:20<01:52, 37.65s/it]
94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 30/32 [19:59<01:16, 38.03s/it]
{'loss': '1.951', 'grad_norm': '1.977', 'learning_rate': '2.153e-08', 'ppl': '7.037', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '708', 'tokens/total': 3637248, 'tokens/trainable': 3019702, 'epoch': '3.364'} |
|
94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 30/32 [19:59<01:16, 38.03s/it]
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/32 [20:38<00:38, 38.29s/it]
{'loss': '1.939', 'grad_norm': '1.914', 'learning_rate': '9.607e-09', 'ppl': '6.954', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '670.7', 'tokens/total': 3768320, 'tokens/trainable': 3128447, 'epoch': '3.485'} |
|
97%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 31/32 [20:38<00:38, 38.29s/it]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 32/32 [21:17<00:00, 38.67s/it]
{'loss': '1.915', 'grad_norm': '1.867', 'learning_rate': '2.408e-09', 'ppl': '6.787', 'memory/max_active (GiB)': '57.15', 'memory/max_allocated (GiB)': '57.15', 'memory/device_reserved (GiB)': '58.98', 'tokens/train_per_sec_per_gpu': '674.1', 'tokens/total': 3899392, 'tokens/trainable': 3238934, 'epoch': '3.606'} |
|
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 32/32 [21:17<00:00, 38.67s/it][2026-05-26 03:52:10,303] [INFO] [axolotl.core.trainers.base._save:828] [PID:26934] Saving model checkpoint to ./model-output/checkpoint-32 |
|
|
|
Writing model shards: 0%| | 0/1 [00:00<?, ?it/s][A |
|
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:20<00:00, 20.32s/it][A
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:20<00:00, 20.33s/it] |
|
{'train_runtime': '1313', 'train_samples_per_second': '0.39', 'train_steps_per_second': '0.024', 'train_loss': '1.957', 'memory/max_active (GiB)': '30.26', 'memory/max_allocated (GiB)': '30.26', 'memory/device_reserved (GiB)': '58.98', 'epoch': '3.606', 'tokens/train_per_sec_per_gpu': '0'} |
|
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 32/32 [21:53<00:00, 38.67s/it]
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 32/32 [21:53<00:00, 41.04s/it] |
| [2026-05-26 03:52:45,672] [INFO] [axolotl.train.save_trained_model:267] [PID:26934] Training completed! Saving trained model to ./model-output. |
|
Writing model shards: 0%| | 0/1 [00:00<?, ?it/s]
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:18<00:00, 18.32s/it]
Writing model shards: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:18<00:00, 18.32s/it] |
| [2026-05-26 03:53:04,022] [INFO] [axolotl.train.save_trained_model:388] [PID:26934] Model successfully saved to ./model-output |
|
|
