complexly/olmo3-190m-zh-sft

SFT（有监督微调）版本：基于complexly/olmo3-190m-zh-continue， 使用对话格式数据进行微调，学习指令遵循能力。

数据来源

• 训练数据：cmz1024/llm101-olmo3-zh-demo-data
• 子路径：sft/sft_t2t_mini.jsonl

训练配置

• Learning Rate：5.0e-5
• Warmup：5%
• Epochs：3 epoch
• Max Seq Length：2048
• 使用 assistant_only_loss（仅对 assistant 部分计算 loss）
• per_device_train_batch_size: 24
• packing: true

用法

from transformers import AutoModelForCausalLM, AutoTokenizer
from transformers import pipeline

model = AutoModelForCausalLM.from_pretrained("{target_repo}")
tok = AutoTokenizer.from_pretrained("{target_repo}")

# 使用 chat template
messages = [{{"role": "user", "content": "你好，请介绍一下北京"}}]
inputs = tok.apply_chat_template(messages, return_tensors="pt")
outputs = model.generate(inputs, max_new_tokens=200)
print(tok.decode(outputs[0]))