File size: 889 Bytes
c6b1b88 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | # core/ · 基础组件
`core/` 是与模态无关的纯 Transformer 组件，全部继承自 `nn.Module`，可被 `models/` 任意拼装。
| 文件 | 类 / 函数 | 作用 |
| --- | --- | --- |
| `norm.py` | `RMSNorm` | 均方根层归一化 |
| `rope.py` | `precompute_freqs_cis`, `apply_rotary_pos_emb`, `repeat_kv` | 旋转位置编码（含 YaRN） |
| `attention.py` | `Attention` | 带 QK-Norm + GQA 的注意力 |
| `mlp.py` | `FeedForward`, `MOEFeedForward` | SwiGLU FFN 与 MoE |
| `block.py` | `Block` | Pre-Norm Transformer 块 |
各组件细节见：
- [norm.md](norm.md) — RMSNorm 实现与数值技巧
- [rope.md](rope.md) — RoPE 原理、代码、YaRN 长上下文扩展
- [attention.md](attention.md) — GQA、QK-Norm、Flash-Attention 分支
- [mlp.md](mlp.md) — SwiGLU 与 MoE 路由、aux_loss
- [block.md](block.md) — Block 的残差结构与 MoE 切换
|