README_ZH.md

UltraData-SFT-2605

📦 UltraData 合集 | 🌐 UltraData | 🤗 MiniCPM5 系列

English | 中文

📚 简介

UltraData-SFT-2605 是 MiniCPM5-1B 系列中 MiniCPM5-1B-SFT 后训练阶段使用的全量核心领域 SFT 数据，也是 UltraData L0-L4 分级数据管理框架 中 L3 合成与增强数据的重要代表。覆盖数学、代码、知识、指令遵循等核心领域，包含超过千万级别的深思考与非思考训练样本。每条样本均经过高质量 SFT 数据管理流水线——涵盖 query 构造与筛选、answer 质量控制、单一训练验证与 benchmark 去污——确保进入最终训练的数据干净且真正有效。

UltraData-SFT-2605 在每个领域、每个难度层级中都同时构建了深思考与非思考两类数据：

• 非思考数据对应用户需要快速响应场景下的直接回答能力。
• 深思考数据对应复杂任务场景下的推理、规划与验证能力。

通过这种覆盖方式，模型能够在不同使用场景下都获得对应的训练信号——从快速对话回复到多步推理链条。

📢 最新动态

• [2026.05.28] UltraData-SFT-2605 数据集正式发布！MiniCPM5-1B 系列中 MiniCPM5-1B-SFT 后训练阶段使用的全量核心领域 SFT 数据，也是 UltraData L0-L4 分级数据管理框架 中 L3 合成与增强数据的重要代表，覆盖数学、代码、知识、指令遵循等核心领域，包含超过千万级别的深思考与非思考训练样本。🚀🚀🚀
• [2026.05.25] MiniCPM5-1B 正式发布！ 作为 MiniCPM5 系列的首款模型，这是一款面向端侧、本地部署与资源受限场景的 1B 稠密 Transformer，在 1B 级开源模型中达到 SOTA。UltraData-SFT-2605 是 MiniCPM5-1B 的核心 SFT 数据集。
• [2026.02.08] UltraData 平台正式上线，并发布 L0-L4 分级数据管理框架。🔍🔍🔍

🏗️ 高质量 SFT 数据管理流水线

UltraData-SFT-2605 遵循六步高质量 SFT 数据管理流水线：

1. 开源数据验证与 query 筛选

对于来自开源社区的数据，我们会先进行 query 级别筛选，关注：

• 问题是否具备训练价值
• 意图是否清晰
• 能力覆盖是否充分
• 难度是否合理
• 是否能推动模型学习真实有用的技能，而不是重复低价值模板

2. 内部 query 构造

对于内部构造数据，我们围绕不同能力类型设计 query 来源与构造方式：

• 知识类数据基于考试大纲与考察点构造
• 指令遵循数据基于原子指令构造
• 自进化与增强：自进化的问题演进与增强

3. 高质量预训练格式 L3 数据筛选

后训练阶段也会引入一部分高质量预训练格式数据，例如 L3 教科书或 Wiki 风格内容，用于增强模型的知识组织、表达与泛化能力。对于这类数据，我们会进一步筛选其结构化程度、信息密度和可学习性，确保其适合进入后训练阶段，而不是简单把预训练文本改写成问答格式。

4. answer 质量筛选

关注：

• 答案是否正确
• 表达是否清楚
• 格式是否符合要求

对于深思考数据，还会进一步检查推理过程是否有助于模型学习问题拆解与中间验证，而不是堆砌冗长、空泛的「思考文本」。

5. 单一数据验证

所有数据都会进行单一数据验证。验证时采用 70% 待验证数据 + 30% 指令遵循数据 的配比，进行快速 SFT 验证训练，默认训练 3 个 epoch，并将训练预算上限控制在 20B tokens。本步骤主要关注：

• 验证单类数据对模型能力的实际增益
• 结合不同 epoch checkpoint 的评测结果，搜索最优 epoch 数量
• 确定数据在最终训练配比中的角色

6. benchmark 去污测试

所有数据都会和现有 benchmark 进行去污测试，尽可能降低训练数据与评测集重叠带来的污染风险，让模型能力提升来自真实的数据质量改进，而不是来自对测试题的记忆。

🎯 能力覆盖

UltraData-SFT-2605 覆盖 7 个核心能力领域。大部分领域同时提供深思考与非思考两类数据，多语领域仅以非思考形式发布。

领域 (config)	描述
Math	数学推理、问题求解、公式推导
Code	代码生成、调试、算法问题求解
Knowledge	事实知识、概念理解、考试型问答
Chinese-general	中文通用对话与推理数据
IF	指令遵循 — 多约束指令、格式遵循
Multi-lang-Math	多语种数学推理数据
Multi-lang-Knowledge	多语种知识 / 世界事实问答

📊 数据规模

经过完整数据管理流水线后，UltraData-SFT-2605 共包含 1500 万+ 条样本。按领域和思考模式划分：

领域 (config)	深思考 (think)	非思考 (no_think)	总计
Math	2,499,830	2,999,644	5,499,474
Code	2,788,465	3,000,000	5,788,465
Knowledge	499,667	800,000	1,299,667
Chinese-general	499,954	500,000	999,954
IF	199,883	199,991	399,874
Multi-lang-Math	—	549,230	549,230
Multi-lang-Knowledge	—	499,514	499,514
总计	6,487,799	8,548,379	15,036,178

精筛前的原始样本数略多于上表；这里给出的是经过数据管理流水线后最终发布的样本数。

🚀 快速开始

你可以直接从 Hugging Face 加载数据集：

每个 config 对应一个能力领域，config 内部的 think 与 no_think 是两个 split（在两者均提供的领域中）。

from datasets import load_dataset

# Math：深思考 split
ds = load_dataset("openbmb/UltraData-SFT-2605", "Math", split="think")

# Math：非思考 split
ds = load_dataset("openbmb/UltraData-SFT-2605", "Math", split="no_think")

# Code / Knowledge / IF / Chinese-general — 同样用法
ds = load_dataset("openbmb/UltraData-SFT-2605", "Code", split="think")

# Multi-lang-Knowledge / Multi-lang-Math：仅提供 no_think
ds = load_dataset("openbmb/UltraData-SFT-2605", "Multi-lang-Math", split="no_think")

可选 configs：Chinese-general、IF、Knowledge、Code、Math、Multi-lang-Knowledge、Multi-lang-Math。

💡 应用场景

UltraData-SFT-2605 不只是一份「量大」的 SFT 数据集，更是一份经过筛选、去污和训练验证的高质量后训练资源。适用于：

• 小参数模型训练：在 MiniCPM5-1B 上经过验证的紧凑模型 SFT 配方。
• 领域微调：可选择性使用数学、代码、知识或指令遵循子集，针对性增强特定能力。
• 配比研究：研究深思考与非思考数据配比对模型行为、响应延迟和下游任务表现的影响。
• 后训练方法学基准：在受控条件下对比后训练方法的参考数据集。

📖 引用

如果您觉得 UltraData-SFT-2605 对您的研究有帮助，请考虑引用：

@misc{ultradata-sft-2605,
  title={UltraData-SFT-2605},
  author={OpenBMB},
  year={2026},
  url={https://huggingface.co/datasets/openbmb/UltraData-SFT-2605},
  publisher={Hugging Face}
}

📜 许可证

本项目基于 Apache 2.0 许可证发布。UltraData-SFT-2605 包含来自多个源数据集的 query；除遵守本仓库许可外，使用者还须分别查阅并遵守各上游数据集的许可条款。

禁止不加处理的二次发布： 未经原作者（或本机构）书面明确授权，任何其他机构、组织或第三方平台不得以任何形式对本项目成果进行直接转载、复制、托管、镜像克隆或商业化包装再发布。