Update README.md
Browse files
README.md
CHANGED
|
@@ -32,9 +32,9 @@ pipeline_tag: text-classification
|
|
| 32 |
## 架构亮点
|
| 33 |
本模型采用自研轻量级 Transformer 架构，核心设计包括：
|
| 34 |
- **YaRN 旋转位置编码**：支持长度外推，通过因子 16x 扩展上下文窗口
|
| 35 |
-
- **分组查询注意力
|
| 36 |
- **GEGLU 前馈网络**：Gated GELU 激活，提升表达能力
|
| 37 |
-
- **密集层连接
|
| 38 |
- **RMSNorm**：替代 LayerNorm，训练更稳定
|
| 39 |
### 模型配置
|
| 40 |
|
|
|
|
| 32 |
## 架构亮点
|
| 33 |
本模型采用自研轻量级 Transformer 架构，核心设计包括：
|
| 34 |
- **YaRN 旋转位置编码**：支持长度外推，通过因子 16x 扩展上下文窗口
|
| 35 |
+
- **GQA 分组查询注意力**：2 个 KV 头共享给 4 个 Query 头，降低推理内存
|
| 36 |
- **GEGLU 前馈网络**：Gated GELU 激活，提升表达能力
|
| 37 |
+
- **DenseLayerConnections 密集层连接**：跨层残差加权聚合，增强梯度流动
|
| 38 |
- **RMSNorm**：替代 LayerNorm，训练更稳定
|
| 39 |
### 模型配置
|
| 40 |
|