README_ZH.md

# UltraData-SFT-2605

<div align="center">
  <img src="assets/logo.png" width="400"/>
</div>

<p align="center">
<a href="https://huggingface.co/collections/openbmb/ultradata">📦 UltraData 合集</a> |
<a href="https://ultradata.openbmb.cn/">🌐 UltraData</a> |
<a href="https://huggingface.co/collections/openbmb/minicpm5">🤗 MiniCPM5 系列</a>
</p>

<p align="center">
<a href="https://huggingface.co/datasets/openbmb/UltraData-SFT-2605/blob/main/README.md">English</a> |
中文
</p>

## 📚 简介

***UltraData-SFT-2605*** 是 [MiniCPM5-1B](https://huggingface.co/collections/openbmb/minicpm5) 系列中 **[MiniCPM5-1B-SFT](https://huggingface.co/openbmb/MiniCPM5-1B-SFT)** **后训练阶段使用的全量核心领域 SFT 数据**，也是 [UltraData](https://ultradata.openbmb.cn/) [L0-L4 分级数据管理框架](https://arxiv.org/pdf/2602.09003) 中 **L3 合成与增强数据**的重要代表。覆盖数学、代码、知识、指令遵循等核心领域，包含**超过千万级别的深思考与非思考训练样本**。每条样本均经过**高质量 SFT 数据管理流水线**——涵盖 query 构造与筛选、answer 质量控制、单一训练验证与 benchmark 去污——确保进入最终训练的数据干净且真正有效。

UltraData-SFT-2605 在每个领域、每个难度层级中都**同时构建了深思考与非思考两类数据**：

- **非思考数据**对应用户需要快速响应场景下的直接回答能力。
- **深思考数据**对应复杂任务场景下的推理、规划与验证能力。

通过这种覆盖方式，模型能够在不同使用场景下都获得对应的训练信号——从快速对话回复到多步推理链条。

## 📢 最新动态

- **[2026.05.28]** [***UltraData-SFT-2605***](https://huggingface.co/datasets/openbmb/UltraData-SFT-2605) 数据集正式发布！[MiniCPM5-1B](https://huggingface.co/collections/openbmb/minicpm5) 系列中 **[MiniCPM5-1B-SFT](https://huggingface.co/openbmb/MiniCPM5-1B-SFT)** **后训练阶段使用的全量核心领域 SFT 数据**，也是 [UltraData](https://ultradata.openbmb.cn/) [L0-L4 分级数据管理框架](https://arxiv.org/pdf/2602.09003) 中 **L3 合成与增强数据**的重要代表，覆盖数学、代码、知识、指令遵循等核心领域，包含**超过千万级别的深思考与非思考训练样本**。🚀🚀🚀
- **[2026.05.25]** ***[MiniCPM5-1B](https://huggingface.co/openbmb/MiniCPM5-1B) 正式发布！*** 作为 MiniCPM5 系列的首款模型，这是一款面向端侧、本地部署与资源受限场景的 1B 稠密 Transformer，在 1B 级开源模型中达到 SOTA。UltraData-SFT-2605 是 MiniCPM5-1B 的核心 SFT 数据集。
- **[2026.02.08]** [***UltraData***](https://ultradata.openbmb.cn/) 平台正式上线，并发布 [L0-L4 分级数据管理框架](https://arxiv.org/pdf/2602.09003)。🔍🔍🔍

## 🏗️ 高质量 SFT 数据管理流水线

<div align="center">
  <img src="assets/ultradata-sft-2605-pipeline.png" width="600"/>
</div>

UltraData-SFT-2605 遵循六步高质量 SFT 数据管理流水线：

### 1. 开源数据验证与 query 筛选

对于来自开源社区的数据，我们会先进行 **query 级别筛选**，关注：

- 问题是否具备训练价值
- 意图是否清晰
- 能力覆盖是否充分
- 难度是否合理
- 是否能推动模型学习真实有用的技能，而不是重复低价值模板

### 2. 内部 query 构造

对于内部构造数据，我们围绕不同能力类型设计 query 来源与构造方式：

- **知识类数据**基于考试大纲与考察点构造
- **指令遵循数据**基于原子指令构造
- **自进化与增强**：自进化的问题演进与增强

### 3. 高质量预训练格式 L3 数据筛选

后训练阶段也会引入一部分高质量预训练格式数据，例如 **L3 教科书或 Wiki 风格内容**，用于增强模型的知识组织、表达与泛化能力。对于这类数据，我们会进一步筛选其结构化程度、信息密度和可学习性，确保其适合进入后训练阶段，而不是简单把预训练文本改写成问答格式。

### 4. answer 质量筛选

关注：

- 答案是否**正确**
- 表达是否**清楚**
- 格式是否符合要求

对于深思考数据，还会进一步检查推理过程是否有助于模型学习**问题拆解与中间验证**，而不是堆砌冗长、空泛的「思考文本」。

### 5. 单一数据验证

所有数据都会进行单一数据验证。验证时采用 **70% 待验证数据 + 30% 指令遵循数据** 的配比，进行快速 SFT 验证训练，默认训练 3 个 epoch，并将训练预算上限控制在 **20B tokens**。本步骤主要关注：

- 验证单类数据对模型能力的实际增益
- 结合不同 epoch checkpoint 的评测结果，搜索最优 epoch 数量
- 确定数据在最终训练配比中的角色

### 6. benchmark 去污测试

所有数据都会和现有 benchmark 进行去污测试，尽可能降低训练数据与评测集重叠带来的污染风险，让模型能力提升来自**真实的数据质量改进**，而不是来自对测试题的记忆。

## 🎯 能力覆盖

UltraData-SFT-2605 覆盖 7 个核心能力领域。大部分领域同时提供深思考与非思考两类数据，多语领域仅以非思考形式发布。

| 领域 (config) | 描述 |
|:---|:---|
| **Math** | 数学推理、问题求解、公式推导 |
| **Code** | 代码生成、调试、算法问题求解 |
| **Knowledge** | 事实知识、概念理解、考试型问答 |
| **Chinese-general** | 中文通用对话与推理数据 |
| **IF** | 指令遵循 — 多约束指令、格式遵循 |
| **Multi-lang-Math** | 多语种数学推理数据 |
| **Multi-lang-Knowledge** | 多语种知识 / 世界事实问答 |

## 📊 数据规模

经过完整数据管理流水线后，**UltraData-SFT-2605 共包含 1500 万+ 条样本**。按领域和思考模式划分：

| 领域 (config) | 深思考 (`think`) | 非思考 (`no_think`) | 总计 |
|:---|---:|---:|---:|
| **Math** | 2,499,830 | 2,999,644 | 5,499,474 |
| **Code** | 2,788,465 | 3,000,000 | 5,788,465 |
| **Knowledge** | 499,667 | 800,000 | 1,299,667 |
| **Chinese-general** | 499,954 | 500,000 | 999,954 |
| **IF** | 199,883 | 199,991 | 399,874 |
| **Multi-lang-Math** | — | 549,230 | 549,230 |
| **Multi-lang-Knowledge** | — | 499,514 | 499,514 |
| **总计** | **6,487,799** | **8,548,379** | **15,036,178** |

精筛前的原始样本数略多于上表；这里给出的是**经过数据管理流水线后最终发布的样本数**。

## 🚀 快速开始

你可以直接从 Hugging Face 加载数据集：

每个 config 对应一个能力领域，config 内部的 `think` 与 `no_think` 是两个 split（在两者均提供的领域中）。

```python
from datasets import load_dataset

# Math：深思考 split
ds = load_dataset("openbmb/UltraData-SFT-2605", "Math", split="think")

# Math：非思考 split
ds = load_dataset("openbmb/UltraData-SFT-2605", "Math", split="no_think")

# Code / Knowledge / IF / Chinese-general — 同样用法
ds = load_dataset("openbmb/UltraData-SFT-2605", "Code", split="think")

# Multi-lang-Knowledge / Multi-lang-Math：仅提供 no_think
ds = load_dataset("openbmb/UltraData-SFT-2605", "Multi-lang-Math", split="no_think")
```

可选 configs：`Chinese-general`、`IF`、`Knowledge`、`Code`、`Math`、`Multi-lang-Knowledge`、`Multi-lang-Math`。

## 💡 应用场景

UltraData-SFT-2605 不只是一份「量大」的 SFT 数据集，更是一份**经过筛选、去污和训练验证的高质量后训练资源**。适用于：

- **小参数模型训练**：在 MiniCPM5-1B 上经过验证的紧凑模型 SFT 配方。
- **领域微调**：可选择性使用数学、代码、知识或指令遵循子集，针对性增强特定能力。
- **配比研究**：研究深思考与非思考数据配比对模型行为、响应延迟和下游任务表现的影响。
- **后训练方法学基准**：在受控条件下对比后训练方法的参考数据集。

## 📖 引用

如果您觉得 **UltraData-SFT-2605** 对您的研究有帮助，请考虑引用：

```bibtex
@misc{ultradata-sft-2605,
  title={UltraData-SFT-2605},
  author={OpenBMB},
  year={2026},
  url={https://huggingface.co/datasets/openbmb/UltraData-SFT-2605},
  publisher={Hugging Face}
}
```

## 📜 许可证

本项目基于 [Apache 2.0](./LICENSE) 许可证发布。***UltraData-SFT-2605*** 包含来自多个源数据集的 query；除遵守本仓库许可外，使用者还须**分别查阅并遵守各上游数据集的许可条款**。

**禁止不加处理的二次发布：** 未经原作者（或本机构）书面明确授权，任何其他机构、组织或第三方平台不得以任何形式对本项目成果进行直接转载、复制、托管、镜像克隆或商业化包装再发布。