README-cn.md

metadata

license: apache-2.0
base_model: GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking
base_model_relation: quantized
language:
  - en
  - zh
pipeline_tag: text-generation
library_name: gguf
tags:
  - gguf
  - llama.cpp
  - quantized
  - minicpm5
  - thinking
  - fable5
  - coding
  - instruction-following

MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF

📢 V2.0 已发布 — 我们已发布增强 工具调用 能力的新版本，欢迎通过以下链接下载体验：

• Transformers：MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking
• GGUF：MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-GGUF

MiniCPM5-1B-Claude-Opus-Fable5-Thinking 的 GGUF 量化版，适用于 llama.cpp、Ollama、LM Studio、jan、KoboldCpp 等运行时。

Transformers 版见 MiniCPM5-1B-Claude-Opus-Fable5-Thinking

English README

本仓库提供基于 openbmb/MiniCPM5-1B、经 Fable 5 数据微调的 1B Thinking 模型的本地部署版本。GGUF 文件内嵌 MiniCPM5 原生对话模板，可直接用于 llama.cpp 生态。

---

文件列表

文件	量化	大小	说明
MiniCPM5-1B-Claude-Opus-Fable5-Thinking-Q4_K_M.gguf	Q4_K_M	~657 MB	体积最小
MiniCPM5-1B-Claude-Opus-Fable5-Thinking-Q5_K_M.gguf	Q5_K_M	~751 MB	质量/体积均衡
MiniCPM5-1B-Claude-Opus-Fable5-Thinking-Q8_0.gguf	Q8_0	~1.1 GB	推荐默认
MiniCPM5-1B-Claude-Opus-Fable5-Thinking-F16.gguf	F16	~2.1 GB	全精度转换底稿

对该 1B 模型，Q8_0 为推荐默认量化版本。

---

快速开始

llama-cli \
  -m MiniCPM5-1B-Claude-Opus-Fable5-Thinking-Q8_0.gguf \
  -p "写一个 Python 函数，合并两个有序链表。" \
  -n 512 \
  --temp 0.9 --top-p 0.95 \
  -c 8192

模型理论上下文为 128K tokens（config.json 中 max_position_embeddings = 131072）。实际可用长度请根据显存/内存调整 -c 参数。

---

采样建议

生成参数继承自 **MiniCPM5-1B**：

模式	参数
Think（默认）	temperature=0.9, top_p=0.95
No Think	temperature=0.7, top_p=0.95，enable_thinking=False

---

能力

• Fable 5 微调 — 使用 Fable 5 数据后训练
• Coding — 代码生成、调试及软件工程工作流
• Instruction Following — 更稳定地遵循用户指令与任务约束
• Thinking 模式 — 思维链推理；GGUF 内嵌 MiniCPM5 对话模板
• 长上下文 — 最高 128K tokens（上游 config.json 为 131,072）

---

局限性

• Thinking 输出 — 模型可能在最终回答前输出推理块
• 1B 体量 — 面向轻量本地部署
• 运行时限制 — 实际可用上下文取决于 GGUF 运行时与硬件配置

---

许可

Apache-2.0（继承 MiniCPM5-1B）

致谢

• 基座：OpenBMB / MiniCPM5-1B
• Transformers 版：MiniCPM5-1B-Claude-Opus-Fable5-Thinking
• 量化：llama.cpp