Llama-3.1-8B-Thinking-Distill-R1-GGUF

模型简介

本模型基于 meta-llama/Llama-3.1-8B 进行微调训练，使用满血版 DeepSeek-R1 蒸馏的中文数据集进行训练，使模型具备深度思考（Thinking）能力，同时显著提升了中文理解和推理能力。

主要特点

• 🧠 深度思考模式：相较于原版 Llama-3.1-8B，新增了深度思考能力，能够进行更复杂的推理
• 🇨🇳 中文能力增强：通过中文蒸馏数据集训练，大幅提升中文理解和生成能力
• 💾 轻量化部署：Q4_K_M 量化版本，内存占用极小，适合本地部署
• ⚡ 高效训练：使用 Unsloth 实现 2 倍训练加速

训练数据

训练集和验证集使用 Congliu/Chinese-DeepSeek-R1-Distill-data-110k，这是一个开源的中文 DeepSeek-R1 蒸馏数据集。

数据分布

类别	样本数量	说明
Math	36,568	数学推理题目
Exam	2,432	考试题目
STEM	12,648	科学、技术、工程、数学相关
General	58,352	包含弱智吧、逻辑推理、小红书、知乎、Chat 等多样化内容
总计	110,000	-

使用方法

llama.cpp

文本生成：

./llama.cpp/llama-cli -hf suyu-io/Llama-3.1-8B-Thinking-Distill-R1-GGUF --jinja

多模态模型：

./llama.cpp/llama-mtmd-cli -hf suyu-io/Llama-3.1-8B-Thinking-Distill-R1-GGUF --jinja

Ollama

本仓库包含 Ollama Modelfile，可直接用于部署。

可用模型文件

文件名	量化方式	说明
Meta-Llama-3.1-8B-Instruct.Q4_K_M.gguf	Q4_K_M	4-bit 量化，平衡质量与大小

模型信息

• 基础模型: meta-llama/Llama-3.1-8B
• 训练数据: Congliu/Chinese-DeepSeek-R1-Distill-data-110k
• 量化格式: GGUF (Q4_K_M)
• 训练框架: Unsloth

适用场景

• 中文问答与对话
• 数学推理与计算
• 逻辑推理任务
• STEM 领域问题解答
• 通用中文文本生成

致谢

• Meta AI - Llama 3.1 基础模型
• DeepSeek - R1 模型蒸馏数据
• Unsloth - 高效训练框架
• Congliu - 中文蒸馏数据集