File size: 8,423 Bytes
b70a3d2 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 | # openPangu-R-7B-2512
中文 | [English](README_EN.md)
## 1. 简介
openPangu-R-7B-2512 是基于昇腾 NPU 从零训练的高效大语言模型，参数量为 7B（不含词表Embedding），支持128k长序列处理。训练数据总量约30T tokens，具备快慢思考切换能力。
## 2. 模型架构
openPangu-R-7B-2512 在模型效率和效果提升方向进行了以下优化：
- 混合滑窗注意力机制：我们采用1:1的滑窗注意力和全注意力混合机制，在不影响模型精度的情况下大幅减少KV Cache的占用，提升模型推理速度。此外，我们还为所有层引入了Attention Sink策略来保证混合注意力的稳定性。
- 注意力层优化：我们引入了GroupNorm-based Gated Attention策略，在Gated Attention的基础上，利用 Head-wise RMSNorm（参数共享）对注意力输出进行归一化。该策略在平衡多头特征幅度的同时维持了表征多样性，有效增强了模型训练的稳定性与效果。我们还引入了Partial RoPE机制，仅对Query和Key中1/4维度应用位置编码，提升模型在长文本和短文本任务上的表现。
- 因果卷积：我们在FFN层的输入前引入了一维因果卷积，通过token之间的信息交互和加权,提升模型FFN层的表达能力，从而进一步提升模型的效果。
详细架构参数如下：
| | openPangu-R-7B-2512 |
| :---------------------------: | :----------------: |
| **Architecture** | Dense |
| **Parameters (Non-Embedding)** | 7B |
| **Number of Layers** | 27 |
| **Hidden Dimension** | 4096 |
| **Intermediate Dimension** | 18432 |
| **Attention Mechanism** | GQA |
| **Number of Attention Heads** | 32 for Q，8 for KV |
| **Number of MTP Modules** | 1 |
| **Vocabulary Size** | 153k |
| **Context Length (Natively)** | 128k |
| **Pretraining Tokens** | 30T |
## 3. 测评结果
| 开源集 | 测评指标 | **openPangu-R-7B-2512 慢思考** | **openPangu-R-7B-2512 快思考** |
| ------------------------- | ----------------------- | ------------------------------ | ------------------------------ |
| **通用能力** | | | |
| Livebench | Acc (2024-11-25) | 58.1 | 44.5 |
| MMLU-Pro | Exact Match | 79.1 | 76.6 |
| MMLU-ProX | Acc | 68.7 | 61.2 |
| RULER | Acc | 83.2 | 83.4 |
| LongBench V2 | Acc | 33.4 | 30.4 |
| IF-Eval | Prompt Strict | 72.8 | 78.0 |
| Hallucination-LeaderBoard | 1-HHEM | 96.4 | 96.8 |
| GPQA-Diamond | Avg@4 | 75.4 | 63.1 |
| SuperGPQA | Acc | 53.1 | 48.7 |
| **数学能力** | | | |
| AIME24 | Avg@16 | 86.5 | 65.4 |
| AIME25 | Avg@16 | 75.2 | 56.9 |
| CNMO24 | Avg@32 | 78.5 | 67.0 |
| HMMT 2025 | Avg@16 (February) | 62.9 | 34.0 |
| **代码能力** | | | |
| LiveCodeBench V6 | Avg@3 (01/25~05/25) | 57.1 | 35.8 |
| Codeforces | Elo Avg@3 (02/25~09/25) | 1411.6 | 774.4 |
| **Agent工具调用** | | | |
| Ace-Bench | Acc (Prompt) | 61.8 | 49.8 |
| Tau-Bench (airline) | Avg@3 (FC) | 50.0 | 42.7 |
| Tau-Bench (retail) | Avg@3 (FC) | 69.0 | 61.7 |
| Tau2-Bench (airline) | Avg@3 (FC) | 58.0 | 59.3 |
| Tau2-Bench (retail) | Avg@3 (FC) | 71.3 | 66.4 |
| Tau2-Bench (telecom) | Avg@3 (FC) | 45.0 | 43.0 |
| BFCL-v3 | Acc (Prompt) | 70.6 | 62.7 |
**注：** 评测采用 128k 的序列长度、Greedy 解码策略进行。
## 4. 部署和使用
### 4.1 环境准备
##### 硬件规格
Atlas 800T A2 (64GB)，驱动与固件安装包获取请参照 [[Atlas 800T A2](https://www.hiascend.com/hardware/firmware-drivers/community?product=4&model=26&cann=8.2.RC1.alpha003&driver=Ascend+HDK+25.0.RC1)]。
##### 软件环境
- 操作系统：Linux（推荐 openEuler>=24.03）
- CANN==8.1.RC1，安装准备及流程请参照 [[CANN Install]](https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/82RC1alpha002/softwareinst/instg/instg_0001.html?Mode=PmIns&OS=Ubuntu&Software=cannToolKit)
- python==3.10
- torch==2.1.0
- torch-npu==2.1.0.post12
- transformers==4.53.2
以上软件配套经过验证，理论可以支持更高版本，如有疑问，可以提交 issue。
### 4.2 推理样例
下述内容提供 openPangu-R-7B-2512 在 `transformers` 框架上进行推理的一个简单示例：
> 运行前请修改 generate.py，添加模型路径。
```bash
cd inference
python generate.py
```
openPangu-R-7B-2512 模型默认为慢思考模式，可以通过以下手段切换至快思考模式：
- 在代码实例`generate.py`中，`no_thinking_prompt`变量的定义展示了切换至快思考模式的具体实现：通过在用户输入末尾添加` /no_think`标记，可将当前轮次切换至快思考模式。
### 4.4 使用推理框架
vllm_ascend：参考[[README_CN.md]](inference/README_CN.md)
## 5. 模型许可证
除文件中对开源许可证另有约定外，openPangu-R-7B-2512 模型根据 OPENPANGU MODEL LICENSE AGREEMENT VERSION 1.0 授权，旨在允许使用并促进人工智能技术的进一步发展。有关详细信息，请参阅模型存储库根目录中的 [LICENSE](LICENSE) 文件。
## 6. 免责声明
由于 openPangu-R-7B-2512（“模型”）所依赖的技术固有的技术限制，以及人工智能生成的内容是由盘古自动生成的，华为无法对以下事项做出任何保证：
- 尽管该模型的输出由 AI 算法生成，但不能排除某些信息可能存在缺陷、不合理或引起不适的可能性，生成的内容不代表华为的态度或立场；
- 无法保证该模型 100% 准确、可靠、功能齐全、及时、安全、无错误、不间断、持续稳定或无任何故障；
- 该模型的输出内容不构成任何建议或决策，也不保证生成的内容的真实性、完整性、准确性、及时性、合法性、功能性或实用性。生成的内容不能替代医疗、法律等领域的专业人士回答您的问题。生成的内容仅供参考，不代表华为的任何态度、立场或观点。您需要根据实际情况做出独立判断，华为不承担任何责任。
## 7. 反馈
如果有任何意见和建议，请提交issue或联系 openPangu@huawei.com。 |