allansw/olmo3-190m-zh-sft

SFT（有监督微调）版本：基于 allansw/olmo3-190m-zh-continue， 使用对话格式数据进行微调，学习指令遵循能力。

数据来源

• 训练数据：cmz1024/llm101-olmo3-zh-demo-data（来自 https://modelscope.cn/models/gongjy）
• 原始数据集：sft_t2t_mini.jsonl

训练配置

• LR：5e-05（低 LR 避免灾难性遗忘）
• Warmup：5.0%
• Max Seq Length：2048

用法

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("allansw/olmo3-190m-zh-sft")
tok = AutoTokenizer.from_pretrained("allansw/olmo3-190m-zh-sft")