| ---
|
| base_model: complexly/olmo3-190m-zh-sft
|
| license: apache-2.0
|
| language:
|
| - zh
|
| tags:
|
| - llm001
|
| - olmo3
|
| - chinese
|
| - sft
|
| - supervised-finetuning
|
| ---
|
|
|
| # complexly/olmo3-190m-zh-sft
|
|
|
| SFT（有监督微调）版本：基于complexly/olmo3-190m-zh-continue，
|
| 使用对话格式数据进行微调，学习指令遵循能力。
|
|
|
| ## 数据来源
|
| - 训练数据：cmz1024/llm101-olmo3-zh-demo-data
|
| - 子路径：sft/sft_t2t_mini.jsonl
|
|
|
| ## 训练配置
|
| - Learning Rate：5.0e-5
|
| - Warmup：5%
|
| - Epochs：3 epoch
|
| - Max Seq Length：2048
|
| - 使用 assistant_only_loss（仅对 assistant 部分计算 loss）
|
| - per_device_train_batch_size: 24
|
| - packing: true
|
|
|
| ## 用法
|
| ```python
|
| from transformers import AutoModelForCausalLM, AutoTokenizer
|
| from transformers import pipeline
|
|
|
| model = AutoModelForCausalLM.from_pretrained("{target_repo}")
|
| tok = AutoTokenizer.from_pretrained("{target_repo}")
|
|
|
| # 使用 chat template
|
| messages = [{{"role": "user", "content": "你好，请介绍一下北京"}}]
|
| inputs = tok.apply_chat_template(messages, return_tensors="pt")
|
| outputs = model.generate(inputs, max_new_tokens=200)
|
| print(tok.decode(outputs[0]))
|
| ```
|
|
|
