docs/core/index.md

core/ · 基础组件

core/ 是与模态无关的纯 Transformer 组件，全部继承自 nn.Module，可被 models/ 任意拼装。

文件	类 / 函数	作用
norm.py	RMSNorm	均方根层归一化
rope.py	precompute_freqs_cis, apply_rotary_pos_emb, repeat_kv	旋转位置编码（含 YaRN）
attention.py	Attention	带 QK-Norm + GQA 的注意力
mlp.py	FeedForward, MOEFeedForward	SwiGLU FFN 与 MoE
block.py	Block	Pre-Norm Transformer 块

各组件细节见：

• norm.md — RMSNorm 实现与数值技巧
• rope.md — RoPE 原理、代码、YaRN 长上下文扩展
• attention.md — GQA、QK-Norm、Flash-Attention 分支
• mlp.md — SwiGLU 与 MoE 路由、aux_loss
• block.md — Block 的残差结构与 MoE 切换