Instructions to use lemonbucket/yuwen-v3 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use lemonbucket/yuwen-v3 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="lemonbucket/yuwen-v3")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# Load model directly
from transformers import AutoProcessor, AutoModelForMultimodalLM

processor = AutoProcessor.from_pretrained("lemonbucket/yuwen-v3")
model = AutoModelForMultimodalLM.from_pretrained("lemonbucket/yuwen-v3", device_map="auto")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

llama.cpp

How to use lemonbucket/yuwen-v3 with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf lemonbucket/yuwen-v3:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf lemonbucket/yuwen-v3:Q4_K_M

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf lemonbucket/yuwen-v3:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf lemonbucket/yuwen-v3:Q4_K_M

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf lemonbucket/yuwen-v3:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf lemonbucket/yuwen-v3:Q4_K_M

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf lemonbucket/yuwen-v3:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf lemonbucket/yuwen-v3:Q4_K_M

Use Docker

docker model run hf.co/lemonbucket/yuwen-v3:Q4_K_M

LM Studio
Jan

vLLM

How to use lemonbucket/yuwen-v3 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "lemonbucket/yuwen-v3"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "lemonbucket/yuwen-v3",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/lemonbucket/yuwen-v3:Q4_K_M

SGLang

How to use lemonbucket/yuwen-v3 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "lemonbucket/yuwen-v3" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "lemonbucket/yuwen-v3",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "lemonbucket/yuwen-v3" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "lemonbucket/yuwen-v3",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Ollama
How to use lemonbucket/yuwen-v3 with Ollama:
```
ollama run hf.co/lemonbucket/yuwen-v3:Q4_K_M
```

Unsloth Studio

How to use lemonbucket/yuwen-v3 with Unsloth Studio:

Install Unsloth Studio (macOS, Linux, WSL)

curl -fsSL https://unsloth.ai/install.sh | sh
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for lemonbucket/yuwen-v3 to start chatting

Install Unsloth Studio (Windows)

irm https://unsloth.ai/install.ps1 | iex
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for lemonbucket/yuwen-v3 to start chatting

Using HuggingFace Spaces for Unsloth

# No setup required
# Open https://huggingface.co/spaces/unsloth/studio in your browser
# Search for lemonbucket/yuwen-v3 to start chatting

How to use lemonbucket/yuwen-v3 with Pi:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf lemonbucket/yuwen-v3:Q4_K_M

Configure the model in Pi

# Install Pi:
npm install -g @mariozechner/pi-coding-agent
# Add to ~/.pi/agent/models.json:
{
  "providers": {
    "llama-cpp": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "lemonbucket/yuwen-v3:Q4_K_M"
        }
      ]
    }
  }
}

Run Pi

# Start Pi in your project directory:
pi

OpenClaw new

How to use lemonbucket/yuwen-v3 with OpenClaw:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf lemonbucket/yuwen-v3:Q4_K_M

Configure OpenClaw

# Install OpenClaw:
npm install -g openclaw@latest
# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "lemonbucket/yuwen-v3:Q4_K_M" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

Run OpenClaw

openclaw agent --local --agent main --message "Hello from Hugging Face"

Docker Model Runner
How to use lemonbucket/yuwen-v3 with Docker Model Runner:
```
docker model run hf.co/lemonbucket/yuwen-v3:Q4_K_M
```

Lemonade

How to use lemonbucket/yuwen-v3 with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull lemonbucket/yuwen-v3:Q4_K_M

Run and chat with the model

lemonade run user.yuwen-v3-Q4_K_M

List all available models

lemonade list

Hermes Agent

How to use lemonbucket/yuwen-v3 with Hermes Agent:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf lemonbucket/yuwen-v3:Q4_K_M

Configure Hermes

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default lemonbucket/yuwen-v3:Q4_K_M

Run Hermes

hermes

Atomic Chat

yuwen-v3: 语文阅读理解专项微调模型 (合并完整版 + GGUF)

📌 更新日期：2026 年 7 月 11 日

本次更新内容：

#	更新项	说明
1	新增 Q5_K_M 量化版本	`yuwen-v3-q5_k_m.gguf`（~551 MB），填补 Q4 与 Q8 之间的精度空白，提供 5-bit 精度选择
2	所有 GGUF 从根源关闭思考模式	通过二进制补丁修改 `chat_template`，将 `enable_thinking` 硬编码为 `false`。所有 4 个版本（F32 / Q4_K_M / Q5_K_M / Q8_0）均已完成补丁，无需用户手动配置，开箱即用
3	补全 Q5_K_M 评测数据	此前标注为「待测」，现已完成全部 9 题测试。结果：6 维度 28/60，答题 15/39 (38.5%)，选择题 3/5 (60%)。Q5 在文学常识题（Q6）表现突出，常识储备 6/10 远超 Q8 的 3/10
4	新增 `Modelfile.q5_k_m`	对应 Q5 量化版本的 Ollama 部署文件

为什么要更新？

此前仓库仅有 F32 / Q4 / Q8 三个量化版本，缺少 5-bit 精度选项；且 GGUF 文件未关闭思考模式，部署后模型可能输出异常思维链（<think> 标签内容混乱），导致回答质量严重下降。本次更新解决了这两个核心问题，并补全了完整的四版本评测对比数据。

模型简介

本仓库是 yuwen-v3 的合并后完整模型（LoRA 权重已融合进基座模型），基于 Qwen/Qwen3.5-0.8B 进行 LoRA 微调后合并。

同时包含 GGUF 格式文件（F32 全精度 + Q4_K_M 量化 + Q5_K_M 量化 + Q8_0 量化），方便通过 Ollama / llama.cpp 部署。

如果只想下载 LoRA 增量权重，请前往 lemonbucket/yuwen-v3-lora

重要：本模型已修改 chat_template，默认关闭思考模式。所有 GGUF 文件均已通过二进制补丁从根源关闭思考。

基座模型

项目	说明
模型	Qwen/Qwen3.5-0.8B
参数量	~0.8B

微调配置

参数	值
微调方式	LoRA (PEFT)
秩 (r)	64
Alpha	128
目标模块	q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
训练轮数	8 Epochs
精度	F32

仓库文件

Transformers 格式

文件	说明	大小
`model.safetensors`	合并后完整模型权重 (F32)	~3.2 GB
`config.json`	模型配置	-
`generation_config.json`	生成配置	-
`tokenizer.json` / `tokenizer_config.json`	分词器	-
`vocab.json` / `merges.txt`	词表	-
`chat_template.jinja`	无思考版 chat_template	-
`preprocessor_config.json`	多模态预处理器配置	-

GGUF 格式（均已关闭思考模式）

文件	量化精度	大小	状态
`yuwen-v3-f32.gguf`	F32 全精度	~2.8 GB	✅
`yuwen-v3-q4_k_m.gguf`	Q4_K_M (4-bit)	~505 MB	✅
`yuwen-v3-q5_k_m.gguf`	Q5_K_M (5-bit)	~551 MB	✅
`yuwen-v3-q8_0.gguf`	Q8_0 (8-bit)	~774 MB	✅
`mmproj-yuwen-v3-f32.gguf`	多模态投影文件	~384 MB	✅

Ollama 部署文件

文件	对应量化版本	状态
`Modelfile.f32`	F32	✅
`Modelfile.q4`	Q4_K_M	✅
`Modelfile.q5_k_m`	Q5_K_M	✅
`Modelfile.q8_0`	Q8_0	✅

其他

文件	说明
`关闭模型思考模式指南.md`	关闭思考模式的详细教程

评测结果 (2026 年高考语文现代文阅读)

完整评测报告（含测试题目、各模型逐题回答及评分明细）已上传至本仓库的 yuwen测评/ 目录。

测试标准

项目	说明
题目来源	2026 年普通高等学校招生全国统一考试（全国 I 卷）语文
测试范围	现代文阅读（阅读 I 信息类文本 5 题 + 阅读 II 文学类文本 4 题，共 9 题）
满分	39 分（选择题 15 分 + 简答题 24 分）
测试时间	2026-07-07 / 2026-07-10 / 2026-07-11
测试模型数	11 个（yuwen 全系列 + Qwen3.5-0.8B 基座对比）
阅卷评判官	GLM-5.2
评分维度	答题规范性、长文本处理、基础理解、常识储备、信息准确性、深度分析（每维度 10 分，满分 60 分）

排名总览

排名	模型	6维度总分(60)	答题得分(39)	得分率	选择题正确率
🥇 1	yuwen-v3-q4	47	28	71.8%	5/5 (100%)
🥈 2	yuwen-assistant†	41	21	53.8%	4/5 (80%)
🥉 3	yuwen-v2	30	15	38.5%	2/5 (40%)
4	yuwen-v3 (F32)	29	14	35.9%	1/5 (20%)
5	yuwen-v2-q4	29	14	35.9%	2/5 (40%)
6	yuwen-v3-q5	28	15	38.5%	3/5 (60%)
7	yuwen-v3-q8	27	16	41.0%	3/5 (60%)
8	qwen3.5:0.8b	24	13	33.3%	2/5 (40%)
9	yuwen-v1	23	5	12.8%	1/5 (20%)
10	yuwen-v2-preview-q4	23	12	30.8%	3/5 (60%)
11	yuwen-v2-preview	18	5	12.8%	1/5 (20%)

† yuwen-assistant 并非微调模型，而是通过提示词工程（Prompt Engineering）在 Qwen3-0.6B 基础上实现的语文问答助手，未进行任何权重微调，在此作为对比基准参与评测。

关键发现

yuwen-v3-q4 一骑绝尘：选择题 5/5 全对，总分 47 分远超第二名，是唯一能在文学类文本中准确辨析列文与聂赫留朵夫差异的模型。
量化即正则化：Q4 量化的"压缩效应"最显著地抑制了过度推理；Q8 部分缓解了过度推理，选择题从 1/5 提升到 3/5。
Q5 与 Q8 特长完全互补：Q5 的 6 维度总分（28 分）略高于 Q8（27 分），但两者强项完全不同——
- Q5 在文学常识题（Q6）全对（常识储备 6/10）
- Q8 在信息类文本题（Q1/Q2）全对
- Q5 选择题对错模式：Q3✅ Q6✅ Q7✅ / Q1❌ Q2❌（文学类全对，信息类全错）
- Q8 选择题对错模式：Q1✅ Q2✅ Q7✅ / Q3❌ Q6❌（信息类全对，文学类全错）
文学常识是普遍短板：11 个模型中仅 v3-q4、assistant 和 v3-q5 能在 Q6 中正确识别"忏悔感"的错误。v3-q5 在此题的辨析尤为精彩，准确区分了列文的"情感共鸣/劳动愉悦"与聂赫留朵夫的"道德忏悔/道德觉醒"。

完整评测报告（含逐题评分、各模型详细回答）请见 yuwen测评/2026测试结果汇总.md。

V3 各量化版本对比

特性	F32	Q4_K_M	Q5_K_M	Q8_0
文件大小	~2.8 GB	~505 MB	~551 MB	~774 MB
最小内存需求	~3.2 GB	~600 MB	~650 MB	~1.0 GB
答题得分 (满分 39)	14 (35.9%)	28 (71.8%)	15 (38.5%)	16 (41.0%)
选择题正确率	1/5 (20%)	5/5 (100%)	3/5 (60%)	3/5 (60%)
6 维度评分 (满分 60)	29	47	28	27
常识储备 (满分 10)	5	7	6	3
信息准确性 (满分 10)	4	8	3	4
思考模式	✅ 已关闭	✅ 已关闭	✅ 已关闭	✅ 已关闭
输出风格	过度推理、长篇大论，常超出题目要求范围，信息类选择题全部误判	聚焦精准、条理清晰，输出高度收敛于题意，无冗余推理	文学常识辨析精准但信息类文本理解偏差大，Q1/Q2 全部误判，Q5 指令遵循偏弱	过度推理部分缓解，选择题从 1/5 提升至 3/5，但 Q5 指令遵循仍弱，Q9 续写有臆造内容

Q5 vs Q8 详细对比

维度	Q5_K_M	Q8_0	优势方
6 维度总分	28	27	Q5 略优
答题得分	15	16	Q8 略优
选择题正确率	3/5 (60%)	3/5 (60%)	持平
选择题对错模式	Q3✅ Q6✅ Q7✅	Q1✅ Q2✅ Q7✅	互补
常识储备	6/10	3/10	Q5 远优
信息准确性	3/10	4/10	Q8 略优
文件大小	551 MB	774 MB	Q5 更小

选择建议：侧重文学类文本 / 文学常识选 Q5；侧重信息类文本阅读选 Q8。两者总分接近，特长互补。日常使用仍首推 Q4（全面碾压所有版本）。

场景	推荐版本	文件	理由
⭐ 日常使用 / 部署	Q4 量化版	`yuwen-v3-q4_k_m.gguf` + `Modelfile.q4`	体积仅 F32 的 1/5，评测成绩远优于全精度版
文学常识强 / 精度平衡	Q5 量化版	`yuwen-v3-q5_k_m.gguf` + `Modelfile.q5_k_m`	比 Q4 仅大 9%，5-bit 精度保留更多细节，文学常识突出
信息类文本 / 平衡选择	Q8 量化版	`yuwen-v3-q8_0.gguf` + `Modelfile.q8_0`	信息类选择题全对，体积约为 F32 的 1/3
研究 / 对比	F32 全精度版	`yuwen-v3-f32.gguf` + `Modelfile.f32`	无量化损失，适合基准对比

Ollama 部署

# F32 全精度版
ollama create yuwen-v3 -f Modelfile.f32
ollama run yuwen-v3

# Q4 量化版（推荐日常使用）
ollama create yuwen-v3-q4 -f Modelfile.q4
ollama run yuwen-v3-q4

# Q5 量化版（文学常识强 / 精度平衡）
ollama create yuwen-v3-q5 -f Modelfile.q5_k_m
ollama run yuwen-v3-q5

# Q8 量化版（信息类文本 / 平衡选择）
ollama create yuwen-v3-q8 -f Modelfile.q8_0
ollama run yuwen-v3-q8

Python（Transformers 直接加载）

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 加载合并后的完整模型（无需额外加载 LoRA）
model = AutoModelForCausalLM.from_pretrained(
    "lemonbucket/yuwen-v3",
    torch_dtype=torch.float32,
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained("lemonbucket/yuwen-v3")

# 推理
messages = [
    {"role": "system", "content": "你是yuwen-v3，由柠檬桶基于Qwen3.5-0.8B微调的语文模型，擅长语文阅读理解答题。回答要分点作答、术语规范、踩分精准。"},
    {"role": "user", "content": "请分析《荷塘月色》中通感手法的运用。"},
]

text = tokenizer.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
inputs = tokenizer(text, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=1024,
    temperature=0.3,
    top_k=20,
    top_p=0.85,
)

print(tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))

系统提示词

你是 yuwen-v3，由柠檬桶基于 Qwen3.5-0.8B 微调的语文模型，擅长语文阅读理解答题。回答要分点作答、术语规范、踩分精准。

关于思考模式 (Thinking Mode)

重要：由于微调时训练数据中未包含思维链 (<think>) 相关内容，模型的思维链输出存在异常。强烈推荐关闭思考模式使用。

所有 GGUF 文件均已通过二进制补丁从根源关闭思考模式（将 chat_template 中 enable_thinking 条件硬编码为 false），无需用户手动配置，开箱即用。

如需了解补丁原理或手动操作，请参阅 关闭模型思考模式指南.md。

许可证

Apache 2.0（继承自 Qwen3.5 基座模型）

使用时需同时遵守 Apache 2.0 协议及 Qwen 模型许可条款。

关于作者

我是刚接触模型微调的新手，初次使用 Hugging Face 平台。如果仓库存在不规范之处，还请通过邮件反馈：575244421@qq.com，不胜感激！

致谢

基座模型：Qwen 系列 by Alibaba Qwen Team
微调框架：HuggingFace Transformers + PEFT
训练者：柠檬桶 (lemonbucket)

Downloads last month: 730

Safetensors

Model size

0.9B params

Tensor type

F32

Model tree for lemonbucket/yuwen-v3

Base model

Qwen/Qwen3.5-0.8B-Base

Finetuned

Qwen/Qwen3.5-0.8B

Quantized

(200)

this model

lemonbucket
/

yuwen-v3

yuwen-v3: 语文阅读理解专项微调模型 (合并完整版 + GGUF)

模型简介

基座模型

微调配置

仓库文件

Transformers 格式

GGUF 格式（均已关闭思考模式）

Ollama 部署文件

其他

评测结果 (2026 年高考语文现代文阅读)

测试标准

排名总览

关键发现

V3 各量化版本对比

Q5 vs Q8 详细对比

推荐选择

Ollama 部署

Python（Transformers 直接加载）

系统提示词

关于思考模式 (Thinking Mode)

许可证

关于作者

致谢

Model tree for lemonbucket/yuwen-v3