File size: 57,237 Bytes
4ffadc5 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 | [2026-03-20 00:33:26,556] [DEBUG] [axolotl.utils.config.log_gpu_memory_usage:127] [PID:13067] baseline 0.000GB ()
[2026-03-20 00:33:26,556] [INFO] [axolotl.cli.config.load_cfg:340] [PID:13067] config:
{
"activation_offloading": false,
"adapter": "lora",
"axolotl_config_path": "writer.yaml",
"base_model": "allenai/Olmo-3.1-32B-Instruct",
"base_model_config": "allenai/Olmo-3.1-32B-Instruct",
"batch_size": 16,
"bf16": true,
"capabilities": {
"bf16": true,
"compute_capability": "sm_90",
"fp8": true,
"n_gpu": 1,
"n_node": 1
},
"chat_template": "chatml",
"context_parallel_size": 1,
"dataloader_num_workers": 1,
"dataloader_pin_memory": true,
"dataloader_prefetch_factor": 256,
"dataset_num_proc": 28,
"datasets": [
{
"chat_template": "tokenizer_default",
"message_field_training": "train",
"message_property_mappings": {
"content": "content",
"role": "role"
},
"path": "ConicCat/C2_Sonnet_4_5",
"roles_to_train": [],
"trust_remote_code": false,
"type": "chat_template"
},
{
"chat_template": "tokenizer_default",
"message_property_mappings": {
"content": "content",
"role": "role"
},
"path": "ConicCat/Gutenberg-SFT",
"trust_remote_code": false,
"type": "chat_template"
},
{
"chat_template": "tokenizer_default",
"message_property_mappings": {
"content": "content",
"role": "role"
},
"path": "ConicCat/Condor-SFT-Filtered",
"split": "train[:250]",
"trust_remote_code": false,
"type": "chat_template"
},
{
"chat_template": "tokenizer_default",
"message_property_mappings": {
"content": "content",
"role": "role"
},
"path": "ConicCat/Ao3_Soft_Refusal",
"trust_remote_code": false,
"type": "chat_template"
},
{
"chat_template": "tokenizer_default",
"message_property_mappings": {
"content": "content",
"role": "role"
},
"path": "ConicCat/VSF",
"trust_remote_code": false,
"type": "chat_template"
}
],
"ddp": false,
"device": "cuda:0",
"device_map": "auto",
"dion_rank_fraction": 1.0,
"dion_rank_multiple_of": 1,
"eaft_alpha": 1.0,
"eaft_k": 20,
"env_capabilities": {
"torch_version": "2.8.0"
},
"eval_batch_size": 2,
"eval_causal_lm_metrics": [
"sacrebleu",
"comet",
"ter",
"chrf"
],
"eval_max_new_tokens": 128,
"eval_sample_packing": true,
"eval_table_size": 0,
"experimental_skip_move_to_device": true,
"flash_attention": false,
"fp16": false,
"generate_samples": false,
"generation_do_sample": true,
"generation_max_new_tokens": 50,
"generation_prompt_ratio": 0.5,
"generation_temperature": 0.7,
"gradient_accumulation_steps": 8,
"gradient_checkpointing": true,
"gradient_checkpointing_kwargs": {
"use_reentrant": true
},
"include_tkps": true,
"learning_rate": 2.5e-05,
"liger_fused_linear_cross_entropy": true,
"liger_glu_activation": true,
"liger_layer_norm": true,
"liger_rms_norm": true,
"liger_rope": true,
"lisa_layers_attribute": "model.layers",
"load_best_model_at_end": false,
"load_in_4bit": false,
"load_in_8bit": false,
"local_rank": 0,
"logging_steps": 1,
"lora_alpha": 64,
"lora_dropout": 0.0,
"lora_model_dir": "./Olmo-Stage1/",
"lora_qkv_kernel": false,
"lora_r": 32,
"lora_target_linear": true,
"loraplus_lr_embedding": 1e-06,
"loraplus_lr_ratio": 16.0,
"lr_scheduler": "constant_with_warmup",
"max_grad_norm": 1.0,
"mean_resizing_embeddings": false,
"merge_lora": true,
"micro_batch_size": 2,
"model_config_type": "olmo3",
"num_epochs": 3.0,
"num_generation_samples": 3,
"optimizer": "paged_adamw_8bit",
"otel_metrics_host": "localhost",
"otel_metrics_port": 8000,
"output_dir": "./Olmo-Stage1",
"pad_to_sequence_len": true,
"plugins": [
"axolotl.integrations.liger.LigerPlugin"
],
"pretrain_multipack_attn": true,
"profiler_steps_start": 0,
"qlora_sharded_model_loading": false,
"quantize_moe_experts": false,
"ray_num_workers": 1,
"resources_per_worker": {
"GPU": 1
},
"sample_packing": true,
"sample_packing_bin_size": 200,
"sample_packing_group_size": 100000,
"save_only_model": false,
"save_safetensors": true,
"save_strategy": "no",
"seed": 42,
"sequence_len": 6144,
"shuffle_before_merging_datasets": false,
"shuffle_merged_datasets": true,
"skip_prepare_dataset": false,
"special_tokens": {
"eos_token": "<|im_end|>"
},
"streaming_multipack_buffer_size": 10000,
"strict": false,
"tensor_parallel_size": 1,
"tf32": true,
"tiled_mlp_use_original_mlp": true,
"tokenizer_config": "allenai/Olmo-3.1-32B-Instruct",
"tokenizer_save_jinja_files": true,
"torch_dtype": "torch.bfloat16",
"train_on_inputs": false,
"trl": {
"log_completions": false,
"mask_truncated_completions": false,
"ref_model_mixup_alpha": 0.9,
"ref_model_sync_steps": 64,
"scale_rewards": true,
"sync_ref_model": false,
"use_vllm": false,
"vllm_server_host": "0.0.0.0",
"vllm_server_port": 8000
},
"use_otel_metrics": false,
"use_ray": false,
"use_tensorboard": true,
"val_set_size": 0.0,
"vllm": {
"device": "auto",
"dtype": "auto",
"gpu_memory_utilization": 0.9,
"host": "0.0.0.0",
"port": 8000
},
"warmup_ratio": 0.05,
"weight_decay": 0.0,
"world_size": 1
}
[2026-03-20 00:33:26,557] [INFO] [axolotl.cli.utils.load.load_model_and_tokenizer:40] [PID:13067] loading tokenizer... allenai/Olmo-3.1-32B-Instruct
[2026-03-20 00:33:27,178] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:299] [PID:13067] EOS: 100265 / <|im_end|>
[2026-03-20 00:33:27,178] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:300] [PID:13067] BOS: 100257 / <|endoftext|>
[2026-03-20 00:33:27,178] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:301] [PID:13067] PAD: 100277 / <|pad|>
[2026-03-20 00:33:27,178] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:302] [PID:13067] UNK: 100257 / <|endoftext|>
[2026-03-20 00:33:27,178] [INFO] [axolotl.cli.utils.load.load_model_and_tokenizer:43] [PID:13067] loading model...
[2026-03-20 00:33:27,237] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_evaluation_loop:91] [PID:13067] Patched Trainer.evaluation_loop with nanmean loss calculation
[2026-03-20 00:33:27,238] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_maybe_log_save_evaluate:142] [PID:13067] Patched Trainer._maybe_log_save_evaluate with nanmean loss calculation
[2026-03-20 00:33:27,239] [INFO] [axolotl.loaders.patch_manager._apply_multipack_patches:389] [PID:13067] Applying multipack dataloader patch for sample packing...
[2026-03-20 00:33:28,169] [INFO] [axolotl.integrations.liger.plugin.pre_model_load:104] [PID:13067] Applying LIGER to olmo3 with kwargs: {'rope': True, 'cross_entropy': None, 'fused_linear_cross_entropy': True, 'rms_norm': True, 'swiglu': True}
Loading weights: 0%| | 0/707 [00:00<?, ?it/s]
Loading weights: 0%|▉ | 2/707 [00:00<01:13, 9.58it/s]
Loading weights: 2%|██████▍ | 14/707 [00:00<00:12, 53.85it/s]
Loading weights: 4%|███████████▍ | 25/707 [00:00<00:09, 73.70it/s]
Loading weights: 5%|████████████████▌ | 36/707 [00:00<00:08, 82.58it/s]
Loading weights: 7%|█████████████████████▌ | 47/707 [00:00<00:07, 86.66it/s]
Loading weights: 8%|██████████████████████████▋ | 58/707 [00:00<00:07, 92.04it/s]
Loading weights: 10%|███████████████████████████████▋ | 69/707 [00:00<00:06, 96.58it/s]
Loading weights: 11%|████████████████████████████████████▊ | 80/707 [00:00<00:06, 99.58it/s]
Loading weights: 13%|█████████████████████████████████████████▋ | 91/707 [00:01<00:06, 101.99it/s]
Loading weights: 14%|██████████████████████████████████████████████▌ | 102/707 [00:01<00:05, 101.54it/s]
Loading weights: 16%|███████████████████████████████████████████████████▊ | 113/707 [00:01<00:06, 97.38it/s]
Loading weights: 18%|████████████████████████████████████████████████████████▊ | 124/707 [00:01<00:06, 94.80it/s]
Loading weights: 19%|█████████████████████████████████████████████████████████████▊ | 135/707 [00:01<00:06, 93.65it/s]
Loading weights: 21%|██████████████████████████████████████████████████████████████████▉ | 146/707 [00:01<00:06, 92.33it/s]
Loading weights: 22%|███████████████████████████████████████████████████████████████████████▉ | 157/707 [00:01<00:05, 93.05it/s]
Loading weights: 24%|████████████████████████████████████████████████████████████████████████████▉ | 168/707 [00:01<00:05, 96.90it/s]
Loading weights: 25%|██████████████████████████████████████████████████████████████████████████████████ | 179/707 [00:02<00:05, 93.30it/s]
Loading weights: 27%|███████████████████████████████████████████████████████████████████████████████████████▉ | 192/707 [00:02<00:05, 95.68it/s]
Loading weights: 29%|██████████████████████████████████████████████████████████████████████████████████████████████▌ | 207/707 [00:02<00:04, 106.65it/s]
Loading weights: 31%|███████████████████████████████████████████████████████████████████████████████████████████████████▌ | 218/707 [00:02<00:04, 106.85it/s]
Loading weights: 33%|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 231/707 [00:02<00:04, 113.19it/s]
Loading weights: 35%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 244/707 [00:02<00:03, 117.84it/s]
Loading weights: 36%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 256/707 [00:02<00:04, 109.45it/s]
Loading weights: 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 268/707 [00:02<00:04, 103.83it/s]
Loading weights: 39%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 279/707 [00:02<00:04, 105.17it/s]
Loading weights: 41%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 290/707 [00:03<00:03, 106.37it/s]
Loading weights: 43%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 302/707 [00:03<00:03, 101.93it/s]
Loading weights: 45%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 316/707 [00:03<00:03, 112.17it/s]
Loading weights: 46%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 328/707 [00:03<00:03, 113.62it/s]
Loading weights: 48%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 340/707 [00:03<00:03, 110.97it/s]
Loading weights: 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 352/707 [00:03<00:03, 108.92it/s]
Loading weights: 51%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 363/707 [00:03<00:03, 109.21it/s]
Loading weights: 53%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 377/707 [00:03<00:03, 96.97it/s]
Loading weights: 55%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 389/707 [00:03<00:03, 97.53it/s]
Loading weights: 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 400/707 [00:04<00:03, 95.87it/s]
Loading weights: 58%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 411/707 [00:04<00:03, 93.26it/s]
Loading weights: 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 422/707 [00:04<00:03, 92.75it/s]
Loading weights: 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 433/707 [00:04<00:02, 94.56it/s]
Loading weights: 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 444/707 [00:04<00:02, 98.27it/s]
Loading weights: 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 455/707 [00:04<00:02, 101.33it/s]
Loading weights: 66%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 467/707 [00:04<00:02, 98.62it/s]
Loading weights: 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ | 477/707 [00:04<00:02, 97.07it/s]
Loading weights: 69%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 489/707 [00:04<00:02, 102.10it/s]
Loading weights: 71%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 500/707 [00:05<00:02, 101.44it/s]
Loading weights: 72%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 511/707 [00:05<00:02, 97.57it/s]
Loading weights: 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ | 522/707 [00:05<00:01, 95.01it/s]
Loading weights: 75%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 533/707 [00:05<00:01, 92.86it/s]
Loading weights: 77%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 543/707 [00:05<00:01, 90.56it/s]
Loading weights: 79%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 555/707 [00:05<00:01, 93.86it/s]
Loading weights: 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 566/707 [00:05<00:01, 93.73it/s]
Loading weights: 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 581/707 [00:05<00:01, 108.59it/s]
Loading weights: 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ | 593/707 [00:06<00:01, 110.30it/s]
Loading weights: 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 606/707 [00:06<00:00, 114.47it/s]
Loading weights: 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 618/707 [00:06<00:00, 115.97it/s]
Loading weights: 89%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 630/707 [00:06<00:00, 108.36it/s]
Loading weights: 91%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ | 641/707 [00:06<00:00, 101.21it/s]
Loading weights: 92%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 653/707 [00:06<00:00, 104.10it/s]
Loading weights: 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ | 664/707 [00:06<00:00, 104.96it/s]
Loading weights: 95%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 675/707 [00:06<00:00, 105.75it/s]
Loading weights: 97%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 686/707 [00:06<00:00, 106.04it/s]
Loading weights: 99%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ | 697/707 [00:07<00:00, 106.39it/s]
Loading weights: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 707/707 [00:07<00:00, 100.35it/s]
[2026-03-20 00:33:37,702] [INFO] [axolotl.loaders.model._configure_embedding_dtypes:359] [PID:13067] Converting modules to torch.bfloat16
[2026-03-20 00:33:37,707] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:13067] Memory usage after model load 62.911GB (+62.911GB allocated, +63.873GB reserved)
[2026-03-20 00:33:37,708] [INFO] [axolotl.loaders.adapter.load_lora:81] [PID:13067] found linear modules: ['down_proj', 'gate_proj', 'k_proj', 'o_proj', 'q_proj', 'up_proj', 'v_proj']
[2026-03-20 00:33:37,708] [DEBUG] [axolotl.loaders.adapter.load_lora:150] [PID:13067] Loading pretrained PEFT - LoRA
trainable params: 268,435,456 || all params: 32,501,957,632 || trainable%: 0.8259
[2026-03-20 00:33:41,010] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:13067] after adapters 62.040GB (+62.040GB allocated, +64.621GB reserved)
[2026-03-20 00:33:41,836] [INFO] [axolotl.cli.merge_lora.do_merge_lora:28] [PID:13067] Running merge of LoRA with base model...
Unloading and merging model: 0%| | 0/1351 [00:00<?, ?it/s]
Unloading and merging model: 1%|█▌ | 7/1351 [00:00<00:19, 68.25it/s]
Unloading and merging model: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1351/1351 [00:00<00:00, 7058.63it/s]
[2026-03-20 00:33:42,038] [INFO] [axolotl.cli.merge_lora.do_merge_lora:41] [PID:13067] Saving merged model to: Olmo-Stage1/merged...
Writing model shards: 0%| | 0/2 [00:00<?, ?it/s]
Writing model shards: 50%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ | 1/2 [01:53<01:53, 113.98s/it]
Writing model shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [02:19<00:00, 61.76s/it]
Writing model shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [02:19<00:00, 69.60s/it]
|