Instructions to use ConicCat/role-mo-V5-32B-Intermediate-LoRA with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use ConicCat/role-mo-V5-32B-Intermediate-LoRA with PEFT:

from peft import PeftModel
from transformers import AutoModelForCausalLM

base_model = AutoModelForCausalLM.from_pretrained("allenai/Olmo-3.1-32B-Instruct")
model = PeftModel.from_pretrained(base_model, "ConicCat/role-mo-V5-32B-Intermediate-LoRA")

Transformers

How to use ConicCat/role-mo-V5-32B-Intermediate-LoRA with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="ConicCat/role-mo-V5-32B-Intermediate-LoRA")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("ConicCat/role-mo-V5-32B-Intermediate-LoRA")
model = AutoModelForCausalLM.from_pretrained("ConicCat/role-mo-V5-32B-Intermediate-LoRA", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use ConicCat/role-mo-V5-32B-Intermediate-LoRA with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "ConicCat/role-mo-V5-32B-Intermediate-LoRA"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "ConicCat/role-mo-V5-32B-Intermediate-LoRA",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/ConicCat/role-mo-V5-32B-Intermediate-LoRA

SGLang

How to use ConicCat/role-mo-V5-32B-Intermediate-LoRA with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "ConicCat/role-mo-V5-32B-Intermediate-LoRA" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "ConicCat/role-mo-V5-32B-Intermediate-LoRA",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "ConicCat/role-mo-V5-32B-Intermediate-LoRA" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "ConicCat/role-mo-V5-32B-Intermediate-LoRA",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use ConicCat/role-mo-V5-32B-Intermediate-LoRA with Docker Model Runner:
```
docker model run hf.co/ConicCat/role-mo-V5-32B-Intermediate-LoRA
```

role-mo-V5-32B-Intermediate-LoRA / debug.log

ConicCat

Upload folder using huggingface_hub

4ffadc5 verified 5 months ago

Raw

History Blame Contribute Delete

57.2 kB

	[2026-03-20 00:33:26,556] [DEBUG] [axolotl.utils.config.log_gpu_memory_usage:127] [PID:13067] baseline 0.000GB ()
	[2026-03-20 00:33:26,556] [INFO] [axolotl.cli.config.load_cfg:340] [PID:13067] config:
	{
	"activation_offloading": false,
	"adapter": "lora",
	"axolotl_config_path": "writer.yaml",
	"base_model": "allenai/Olmo-3.1-32B-Instruct",
	"base_model_config": "allenai/Olmo-3.1-32B-Instruct",
	"batch_size": 16,
	"bf16": true,
	"capabilities": {
	"bf16": true,
	"compute_capability": "sm_90",
	"fp8": true,
	"n_gpu": 1,
	"n_node": 1
	},
	"chat_template": "chatml",
	"context_parallel_size": 1,
	"dataloader_num_workers": 1,
	"dataloader_pin_memory": true,
	"dataloader_prefetch_factor": 256,
	"dataset_num_proc": 28,
	"datasets": [
	{
	"chat_template": "tokenizer_default",
	"message_field_training": "train",
	"message_property_mappings": {
	"content": "content",
	"role": "role"
	},
	"path": "ConicCat/C2_Sonnet_4_5",
	"roles_to_train": [],
	"trust_remote_code": false,
	"type": "chat_template"
	},
	{
	"chat_template": "tokenizer_default",
	"message_property_mappings": {
	"content": "content",
	"role": "role"
	},
	"path": "ConicCat/Gutenberg-SFT",
	"trust_remote_code": false,
	"type": "chat_template"
	},
	{
	"chat_template": "tokenizer_default",
	"message_property_mappings": {
	"content": "content",
	"role": "role"
	},
	"path": "ConicCat/Condor-SFT-Filtered",
	"split": "train[:250]",
	"trust_remote_code": false,
	"type": "chat_template"
	},
	{
	"chat_template": "tokenizer_default",
	"message_property_mappings": {
	"content": "content",
	"role": "role"
	},
	"path": "ConicCat/Ao3_Soft_Refusal",
	"trust_remote_code": false,
	"type": "chat_template"
	},
	{
	"chat_template": "tokenizer_default",
	"message_property_mappings": {
	"content": "content",
	"role": "role"
	},
	"path": "ConicCat/VSF",
	"trust_remote_code": false,
	"type": "chat_template"
	}
	],
	"ddp": false,
	"device": "cuda:0",
	"device_map": "auto",
	"dion_rank_fraction": 1.0,
	"dion_rank_multiple_of": 1,
	"eaft_alpha": 1.0,
	"eaft_k": 20,
	"env_capabilities": {
	"torch_version": "2.8.0"
	},
	"eval_batch_size": 2,
	"eval_causal_lm_metrics": [
	"sacrebleu",
	"comet",
	"ter",
	"chrf"
	],
	"eval_max_new_tokens": 128,
	"eval_sample_packing": true,
	"eval_table_size": 0,
	"experimental_skip_move_to_device": true,
	"flash_attention": false,
	"fp16": false,
	"generate_samples": false,
	"generation_do_sample": true,
	"generation_max_new_tokens": 50,
	"generation_prompt_ratio": 0.5,
	"generation_temperature": 0.7,
	"gradient_accumulation_steps": 8,
	"gradient_checkpointing": true,
	"gradient_checkpointing_kwargs": {
	"use_reentrant": true
	},
	"include_tkps": true,
	"learning_rate": 2.5e-05,
	"liger_fused_linear_cross_entropy": true,
	"liger_glu_activation": true,
	"liger_layer_norm": true,
	"liger_rms_norm": true,
	"liger_rope": true,
	"lisa_layers_attribute": "model.layers",
	"load_best_model_at_end": false,
	"load_in_4bit": false,
	"load_in_8bit": false,
	"local_rank": 0,
	"logging_steps": 1,
	"lora_alpha": 64,
	"lora_dropout": 0.0,
	"lora_model_dir": "./Olmo-Stage1/",
	"lora_qkv_kernel": false,
	"lora_r": 32,
	"lora_target_linear": true,
	"loraplus_lr_embedding": 1e-06,
	"loraplus_lr_ratio": 16.0,
	"lr_scheduler": "constant_with_warmup",
	"max_grad_norm": 1.0,
	"mean_resizing_embeddings": false,
	"merge_lora": true,
	"micro_batch_size": 2,
	"model_config_type": "olmo3",
	"num_epochs": 3.0,
	"num_generation_samples": 3,
	"optimizer": "paged_adamw_8bit",
	"otel_metrics_host": "localhost",
	"otel_metrics_port": 8000,
	"output_dir": "./Olmo-Stage1",
	"pad_to_sequence_len": true,
	"plugins": [
	"axolotl.integrations.liger.LigerPlugin"
	],
	"pretrain_multipack_attn": true,
	"profiler_steps_start": 0,
	"qlora_sharded_model_loading": false,
	"quantize_moe_experts": false,
	"ray_num_workers": 1,
	"resources_per_worker": {
	"GPU": 1
	},
	"sample_packing": true,
	"sample_packing_bin_size": 200,
	"sample_packing_group_size": 100000,
	"save_only_model": false,
	"save_safetensors": true,
	"save_strategy": "no",
	"seed": 42,
	"sequence_len": 6144,
	"shuffle_before_merging_datasets": false,
	"shuffle_merged_datasets": true,
	"skip_prepare_dataset": false,
	"special_tokens": {
	"eos_token": "<\|im_end\|>"
	},
	"streaming_multipack_buffer_size": 10000,
	"strict": false,
	"tensor_parallel_size": 1,
	"tf32": true,
	"tiled_mlp_use_original_mlp": true,
	"tokenizer_config": "allenai/Olmo-3.1-32B-Instruct",
	"tokenizer_save_jinja_files": true,
	"torch_dtype": "torch.bfloat16",
	"train_on_inputs": false,
	"trl": {
	"log_completions": false,
	"mask_truncated_completions": false,
	"ref_model_mixup_alpha": 0.9,
	"ref_model_sync_steps": 64,
	"scale_rewards": true,
	"sync_ref_model": false,
	"use_vllm": false,
	"vllm_server_host": "0.0.0.0",
	"vllm_server_port": 8000
	},
	"use_otel_metrics": false,
	"use_ray": false,
	"use_tensorboard": true,
	"val_set_size": 0.0,
	"vllm": {
	"device": "auto",
	"dtype": "auto",
	"gpu_memory_utilization": 0.9,
	"host": "0.0.0.0",
	"port": 8000
	},
	"warmup_ratio": 0.05,
	"weight_decay": 0.0,
	"world_size": 1
	}
	[2026-03-20 00:33:26,557] [INFO] [axolotl.cli.utils.load.load_model_and_tokenizer:40] [PID:13067] loading tokenizer... allenai/Olmo-3.1-32B-Instruct
	[2026-03-20 00:33:27,178] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:299] [PID:13067] EOS: 100265 / <\|im_end\|>
	[2026-03-20 00:33:27,178] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:300] [PID:13067] BOS: 100257 / <\|endoftext\|>
	[2026-03-20 00:33:27,178] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:301] [PID:13067] PAD: 100277 / <\|pad\|>
	[2026-03-20 00:33:27,178] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:302] [PID:13067] UNK: 100257 / <\|endoftext\|>
	[2026-03-20 00:33:27,178] [INFO] [axolotl.cli.utils.load.load_model_and_tokenizer:43] [PID:13067] loading model...
	[2026-03-20 00:33:27,237] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_evaluation_loop:91] [PID:13067] Patched Trainer.evaluation_loop with nanmean loss calculation
	[2026-03-20 00:33:27,238] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_maybe_log_save_evaluate:142] [PID:13067] Patched Trainer._maybe_log_save_evaluate with nanmean loss calculation
	[2026-03-20 00:33:27,239] [INFO] [axolotl.loaders.patch_manager._apply_multipack_patches:389] [PID:13067] Applying multipack dataloader patch for sample packing...
	[2026-03-20 00:33:28,169] [INFO] [axolotl.integrations.liger.plugin.pre_model_load:104] [PID:13067] Applying LIGER to olmo3 with kwargs: {'rope': True, 'cross_entropy': None, 'fused_linear_cross_entropy': True, 'rms_norm': True, 'swiglu': True}
	Loading weights: 0%\| \| 0/707 [00:00<?, ?it/s] Loading weights: 0%\|▉ \| 2/707 [00:00<01:13, 9.58it/s] Loading weights: 2%\|██████▍ \| 14/707 [00:00<00:12, 53.85it/s] Loading weights: 4%\|███████████▍ \| 25/707 [00:00<00:09, 73.70it/s] Loading weights: 5%\|████████████████▌ \| 36/707 [00:00<00:08, 82.58it/s] Loading weights: 7%\|█████████████████████▌ \| 47/707 [00:00<00:07, 86.66it/s] Loading weights: 8%\|██████████████████████████▋ \| 58/707 [00:00<00:07, 92.04it/s] Loading weights: 10%\|███████████████████████████████▋ \| 69/707 [00:00<00:06, 96.58it/s] Loading weights: 11%\|████████████████████████████████████▊ \| 80/707 [00:00<00:06, 99.58it/s] Loading weights: 13%\|█████████████████████████████████████████▋ \| 91/707 [00:01<00:06, 101.99it/s] Loading weights: 14%\|██████████████████████████████████████████████▌ \| 102/707 [00:01<00:05, 101.54it/s] Loading weights: 16%\|███████████████████████████████████████████████████▊ \| 113/707 [00:01<00:06, 97.38it/s] Loading weights: 18%\|████████████████████████████████████████████████████████▊ \| 124/707 [00:01<00:06, 94.80it/s] Loading weights: 19%\|█████████████████████████████████████████████████████████████▊ \| 135/707 [00:01<00:06, 93.65it/s] Loading weights: 21%\|██████████████████████████████████████████████████████████████████▉ \| 146/707 [00:01<00:06, 92.33it/s] Loading weights: 22%\|███████████████████████████████████████████████████████████████████████▉ \| 157/707 [00:01<00:05, 93.05it/s] Loading weights: 24%\|████████████████████████████████████████████████████████████████████████████▉ \| 168/707 [00:01<00:05, 96.90it/s] Loading weights: 25%\|██████████████████████████████████████████████████████████████████████████████████ \| 179/707 [00:02<00:05, 93.30it/s] Loading weights: 27%\|███████████████████████████████████████████████████████████████████████████████████████▉ \| 192/707 [00:02<00:05, 95.68it/s] Loading weights: 29%\|██████████████████████████████████████████████████████████████████████████████████████████████▌ \| 207/707 [00:02<00:04, 106.65it/s] Loading weights: 31%\|███████████████████████████████████████████████████████████████████████████████████████████████████▌ \| 218/707 [00:02<00:04, 106.85it/s] Loading weights: 33%\|█████████████████████████████████████████████████████████████████████████████████████████████████████████▌ \| 231/707 [00:02<00:04, 113.19it/s] Loading weights: 35%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 244/707 [00:02<00:03, 117.84it/s] Loading weights: 36%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ \| 256/707 [00:02<00:04, 109.45it/s] Loading weights: 38%\|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 268/707 [00:02<00:04, 103.83it/s] Loading weights: 39%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 279/707 [00:02<00:04, 105.17it/s] Loading weights: 41%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 290/707 [00:03<00:03, 106.37it/s] Loading weights: 43%\|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ \| 302/707 [00:03<00:03, 101.93it/s] Loading weights: 45%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ \| 316/707 [00:03<00:03, 112.17it/s] Loading weights: 46%\|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 328/707 [00:03<00:03, 113.62it/s] Loading weights: 48%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ \| 340/707 [00:03<00:03, 110.97it/s] Loading weights: 50%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 352/707 [00:03<00:03, 108.92it/s] Loading weights: 51%\|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 363/707 [00:03<00:03, 109.21it/s] Loading weights: 53%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 377/707 [00:03<00:03, 96.97it/s] Loading weights: 55%\|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ \| 389/707 [00:03<00:03, 97.53it/s] Loading weights: 57%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ \| 400/707 [00:04<00:03, 95.87it/s] Loading weights: 58%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ \| 411/707 [00:04<00:03, 93.26it/s] Loading weights: 60%\|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 422/707 [00:04<00:03, 92.75it/s] Loading weights: 61%\|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 433/707 [00:04<00:02, 94.56it/s] Loading weights: 63%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 444/707 [00:04<00:02, 98.27it/s] Loading weights: 64%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 455/707 [00:04<00:02, 101.33it/s] Loading weights: 66%\|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ \| 467/707 [00:04<00:02, 98.62it/s] Loading weights: 67%\|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌ \| 477/707 [00:04<00:02, 97.07it/s] Loading weights: 69%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 489/707 [00:04<00:02, 102.10it/s] Loading weights: 71%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 500/707 [00:05<00:02, 101.44it/s] Loading weights: 72%\|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ \| 511/707 [00:05<00:02, 97.57it/s] Loading weights: 74%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ \| 522/707 [00:05<00:01, 95.01it/s] Loading weights: 75%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ \| 533/707 [00:05<00:01, 92.86it/s] Loading weights: 77%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 543/707 [00:05<00:01, 90.56it/s] Loading weights: 79%\|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ \| 555/707 [00:05<00:01, 93.86it/s] Loading weights: 80%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 566/707 [00:05<00:01, 93.73it/s] Loading weights: 82%\|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 581/707 [00:05<00:01, 108.59it/s] Loading weights: 84%\|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉ \| 593/707 [00:06<00:01, 110.30it/s] Loading weights: 86%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 606/707 [00:06<00:00, 114.47it/s] Loading weights: 87%\|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ \| 618/707 [00:06<00:00, 115.97it/s] Loading weights: 89%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 630/707 [00:06<00:00, 108.36it/s] Loading weights: 91%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊ \| 641/707 [00:06<00:00, 101.21it/s] Loading weights: 92%\|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ \| 653/707 [00:06<00:00, 104.10it/s] Loading weights: 94%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎ \| 664/707 [00:06<00:00, 104.96it/s] Loading weights: 95%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 675/707 [00:06<00:00, 105.75it/s] Loading weights: 97%\|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 686/707 [00:06<00:00, 106.04it/s] Loading weights: 99%\|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍ \| 697/707 [00:07<00:00, 106.39it/s] Loading weights: 100%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████\| 707/707 [00:07<00:00, 100.35it/s]
	[2026-03-20 00:33:37,702] [INFO] [axolotl.loaders.model._configure_embedding_dtypes:359] [PID:13067] Converting modules to torch.bfloat16
	[2026-03-20 00:33:37,707] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:13067] Memory usage after model load 62.911GB (+62.911GB allocated, +63.873GB reserved)
	[2026-03-20 00:33:37,708] [INFO] [axolotl.loaders.adapter.load_lora:81] [PID:13067] found linear modules: ['down_proj', 'gate_proj', 'k_proj', 'o_proj', 'q_proj', 'up_proj', 'v_proj']
	[2026-03-20 00:33:37,708] [DEBUG] [axolotl.loaders.adapter.load_lora:150] [PID:13067] Loading pretrained PEFT - LoRA
	trainable params: 268,435,456 \|\| all params: 32,501,957,632 \|\| trainable%: 0.8259
	[2026-03-20 00:33:41,010] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:13067] after adapters 62.040GB (+62.040GB allocated, +64.621GB reserved)
	[2026-03-20 00:33:41,836] [INFO] [axolotl.cli.merge_lora.do_merge_lora:28] [PID:13067] Running merge of LoRA with base model...
	Unloading and merging model: 0%\| \| 0/1351 [00:00<?, ?it/s] Unloading and merging model: 1%\|█▌ \| 7/1351 [00:00<00:19, 68.25it/s] Unloading and merging model: 100%\|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████\| 1351/1351 [00:00<00:00, 7058.63it/s]
	[2026-03-20 00:33:42,038] [INFO] [axolotl.cli.merge_lora.do_merge_lora:41] [PID:13067] Saving merged model to: Olmo-Stage1/merged...
	Writing model shards: 0%\| \| 0/2 [00:00<?, ?it/s] Writing model shards: 50%\|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████ \| 1/2 [01:53<01:53, 113.98s/it] Writing model shards: 100%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████\| 2/2 [02:19<00:00, 61.76s/it] Writing model shards: 100%\|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████\| 2/2 [02:19<00:00, 69.60s/it]