# 进展报告：BabyLM Challenge 2026 Strict-Small

> **日期**：2026-03-23
> **当前阶段**：代码开发完成，组件验证通过，准备上传 HuggingFace 并开始正式实验

---

## 一、项目总览

参加 BabyLM Challenge 2026 Strict-Small 赛道（训练数据 ≤ 10M 词），目标是训练一个小型语言模型（~30M 参数）在多项语言评测任务上取得最佳成绩。

**评测任务**：BLiMP（语法）、EWoK（世界知识）、Entity Tracking（实体追踪）、GLUE（语言理解，需微调）、WUG（形态学）、COMPS（概念属性）、AoA（词汇习得）、Reading Time（阅读时间）

**2025 Strict-Small 排行榜**（我们的目标赛道）：
| 模型 | TextAvg | BLiMP | GLUE | EWoK |
|------|:-------:|:-----:|:----:|:----:|
| amlm_hd_fail（冠军） | **45.4** | 59.0 | 57.7 | 56.0 |
| MoEP（亚军） | 44.5 | 60.8 | 64.2 | 50.2 |
| Baseline GPT-BERT | 41.2 | 71.7 | 65.1 | 49.5 |
| Baseline GPT-2 | 37.4 | 66.4 | 55.9 | 49.9 |

---

## 二、项目结构

```
BabyLM_Challenge/
├── experiments.csv              # 384 个实验配置
├── requirements.txt             # Python 依赖
├── scripts/
│   ├── 01_data/                 # 数据处理 pipeline (Stage 1-9)
│   ├── 02_model/                # 分词器训练 (BPE / Morfessor)
│   ├── 03_training/             # 训练框架
│   │   ├── config.py            # 配置系统 (YAML + CLI override)
│   │   ├── data.py              # 数据加载、3种掩码策略、逐句/拼接模式
│   │   ├── train.py             # 训练循环 + 自动评测 (fast/full)
│   │   ├── evaluate.py          # 评测包装 (zero-shot + GLUE微调 + AoA)
│   │   ├── utils.py             # 5种优化器、调度器、checkpoint
│   │   ├── hf_export/           # HuggingFace 模型导出 (5种架构)
│   │   ├── models/              # 7种模型架构
│   │   │   ├── gpt2.py          # D0 基线
│   │   │   ├── gpt_bert.py      # D1 双目标混合
│   │   │   ├── modern_bert.py   # D2 现代双向
│   │   │   ├── xlstm.py         # D3 矩阵记忆
│   │   │   ├── rtd.py           # D4 替换Token检测
│   │   │   ├── moe.py           # D5 MoE稀疏专家 (可叠加)
│   │   │   ├── attn_res.py      # D6 注意力残差 (可叠加)
│   │   │   ├── embeddings.py    # C0标准 / C1 N-hot
│   │   │   └── distillation.py  # 知识蒸馏
│   │   └── configs/exp_A.yaml   # 基线YAML配置
│   └── tools/                   # 实验管理工具
│       ├── generate_experiments.py  # 生成 experiments.csv
│       ├── run_experiments.py       # 批量运行 (CSV→YAML→训练→评测→结果)
│       ├── collect_results.py       # 结果汇总
│       ├── smoke_test.py            # 冒烟测试 (44个代码路径)
│       └── verify_components.py     # 组件验证 (32项逐个验证)
├── notes/
│   ├── encyclopedia.md              # 改进点百科 (所有优化维度详解)
│   ├── experiment_plan.md           # 实验计划 (384个实验, 22阶段)
│   ├── experiment_log.md            # 实验结果记录
│   ├── progress_report.md           # 本文件
│   ├── ref_datasets.md              # 数据集详细信息
│   ├── ref_leaderboard_2025.md      # 2025排行榜数据
│   └── babylm_leaderboard_2025.csv  # 原始排行榜CSV
├── data/                        # 训练数据 (14个源, 119M词原始)
│   ├── raw_files/               # 原始数据文件
│   ├── 1_noise_filtered/ ~ 7_eval_sentences/  # 处理流水线各阶段
│   ├── 8_sample_B/train.txt     # 策略B采样 (9.99M词) ✅
│   └── 8_sample_C/train.txt     # 策略C采样 (9.99M词) ✅
├── models/
│   ├── tokenizer/               # BPE 8K 分词器 ✅
│   ├── tokenizer_morfessor/     # Morfessor+BPE 分词器 ✅
│   └── qwen3.5-9b/             # Qwen模型 (Paraphrase生成用, 18GB, 不上传)
├── evaluation-pipeline-2025/    # 官方评测pipeline
├── 2025_papers/                 # 参考论文PDF
├── checkpoints/                 # 训练checkpoint (空)
└── experiment_results/          # 实验结果 (空)
```

---

## 三、已实现的全部功能

### 编号规则：每个维度 X0 = 基线（不优化的默认选择）

### B: 分词器

| 编号 | 方法 | 状态 | 配置 |
|:----:|------|:----:|------|
| B0 | BPE 8K（基线） | ✅ | `tokenizer: bpe` |
| B1 | Morfessor+BPE | ✅ | `tokenizer: morfessor_bpe` |
| B2 | 词表大小 (4K/8K/16K) | ✅ | 需重新训练分词器 |

### C: 嵌入策略

| 编号 | 方法 | 状态 | 配置 |
|:----:|------|:----:|------|
| C0 | 标准嵌入（基线） | ✅ | `embedding.type: standard` |
| C1 | N-hot 形态嵌入 | ✅ | `embedding.type: nhot` |
| C2 | FastText 初始化 | ✅ 代码 | `embedding.init: fasttext`（需先训练FastText模型） |

### D: 模型架构

| 编号 | 方法 | 状态 | 验证 | 配置 |
|:----:|------|:----:|:----:|------|
| D0 | GPT-2（基线） | ✅ | loss=5.31 | `arch: gpt2, objective: clm` |
| D1 | GPT-BERT | ✅ | loss=5.74 | `arch: gpt_bert, objective: gpt_bert` |
| D2 | ModernBERT | ✅ | loss=3.33 | `arch: modernized_bert, objective: mlm` |
| D3 | xLSTM | ✅ | loss=4.54 | `arch: xlstm, objective: clm` |
| D4 | RTD/ELECTRA | ✅ | loss=3.99 | `arch: rtd, objective: rtd` |
| D5 | MoE（可叠加） | ✅ | loss=5.79 | `use_moe: true` |
| D6 | AttnRes（可叠加） | ✅ | loss=5.74 | `use_attn_res: true` |

### E: 训练目标与掩码

| 编号 | 方法 | 状态 | 验证 | 配置 |
|:----:|------|:----:|:----:|------|
| E0 | 标准均匀掩码（基线） | ✅ | loss=5.74 | `masking.type: standard` |
| E1 | AMLM 自适应掩码 | ✅ | loss=5.75 | `masking.type: amlm` |
| E2 | 掩码率衰减 | ✅ | — | `mask_ratio: 0.30, mask_ratio_end: 0.15` |
| E3 | 频率感知掩码 | ✅ | loss=5.74 | `masking.type: frequency` |
| E4 | MNTP:CLM 比例 | ✅ | — | `training.mntp_ratio: 15` |
| E5 | 反向课程 MTP | ✅ | — | `training.use_mtp: true` |

### F: 优化器

| 编号 | 方法 | 状态 | 验证 | 配置 | 注意事项 |
|:----:|------|:----:|:----:|------|---------|
| F0 | Adam（基线） | ✅ | loss=6.90 | `optimizer.type: adam` | 收敛慢 |
| F1 | AdamW | ✅ | loss=5.74 | `optimizer.type: adamw` | **推荐默认** |
| F2 | LAMB | ✅ | loss=5.74 | `optimizer.type: lamb` | **fp16下lr≤0.005** |
| F3 | FORGETTER | ✅ | loss=5.78 | `optimizer.forgetter: true` | 需 wd=1.0 |
| F4 | Muon | ✅ | loss=5.69 | `optimizer.type: muon` | 慢2.5x，loss最低 |

### G: 超参数与训练方式

| 编号 | 方法 | 状态 | 配置 |
|:----:|------|:----:|------|
| G1-G5 | lr/batch/wd/dropout/seqlen | ✅ | YAML 配置 |
| G6 | 逐句模式 | ✅ | `data.packing: sentence`（较慢） |

### H: 训练技巧

| 编号 | 方法 | 状态 |
|:----:|------|:----:|
| H1 | Checkpoint 选择 | ✅ 每epoch保存 |
| H2 | Checkpoint 平均 | ✅ `checkpoint.averaging: true` |
| H3 | 知识蒸馏 | ✅ 代码完整（需下载teacher模型） |

### 评测集成

| 模式 | 内容 | 时间 |
|------|------|------|
| fast | Zero-shot: BLiMP, EWoK, ET, WUG, Reading | ~15分钟 |
| **full** | Zero-shot + GLUE微调(7子任务) + AoA | ~60-90分钟 |

---

## 四、验证结果

### 组件验证（32 项，每项 3 epoch）

| 组 | 通过 | 失败 | 已知问题 |
|----|:----:|:----:|---------|
| 架构 (11项) | 11 | 0 | — |
| 嵌入 (2项) | 2 | 0 | — |
| 分词 (2项) | 2 | 0 | — |
| 掩码 (3项) | 3 | 0 | — |
| 优化器 (11项) | 8 | 3 | LAMB+fp16+lr>0.005=NAN（已修复默认LR） |
| 超参 (1项) | 0 | 1 | sentence模式数据加载慢（需增大timeout） |
| 组合 (2项) | 2 | 0 | — |

### 第一个完整实验

GPT-BERT + AdamW + lr=5e-4 + 10 epoch + fast eval：

| 指标 | 我们 | 2025基线 |
|------|:----:|:--------:|
| BLiMP | **75.37** | 71.7 |
| BLiMP Supp | 60.40 | 63.2 |
| EWoK | 49.18 | 49.5 |
| Entity Tracking | **42.29** | 34.6 |
| Avg Zero-Shot | **56.81** | — |

---

## 五、已知问题

| 问题 | 状态 | 解决方案 |
|------|:----:|---------|
| LAMB+fp16+lr>0.005=NAN | ✅ 已修复 | 默认LR改为0.005 |
| G6 sentence模式慢 | 已知 | 增大timeout或优化数据加载 |
| FastText模型未训练 | 待做 | `python scripts/02_model/train_fasttext.py` |
| KD teacher模型未下载 | 待做 | 下载Qwen teacher |
| 数据增强脚本未写 | 待做 | Variation Sets/RecombiText/CD/MATTR/信息密集合成 |

---

## 六、下一步工作

### 立即要做

1. **上传项目到 HuggingFace**（排除 qwen3.5-9b 模型）
2. **开始正式实验 Phase 1-5**：
   - P1: 5种架构对比
   - P2: 核心特性消融 (AMLM/N-hot/FORGETTER/MoE/AttnRes)
   - P3: LR sweep
   - P4: 正则化 sweep
   - P5: 特性组合

### 后续阶段

- P6-P11: 掩码调参、batch size、优化器、架构修改、分词×嵌入
- P12: 数据集构建方式 (13种)
- P13-P21: 跨架构验证 → 最终候选 → 提交
- 数据增强脚本开发

---

## 七、如何运行

### 环境安装
```bash
pip install -r requirements.txt
pip install muon-optimizer torch-optimizer morfessor
```

### 单个实验
```bash
python -m scripts.03_training.train --config scripts/03_training/configs/exp_A.yaml
python -m scripts.03_training.train --config xxx.yaml --eval-mode fast  # 快速评测
python -m scripts.03_training.train --config xxx.yaml --skip-eval       # 跳过评测
```

### 批量实验
```bash
python scripts/tools/run_experiments.py --phase 1 --list     # 查看
python scripts/tools/run_experiments.py --phase 1             # 运行
python scripts/tools/run_experiments.py --phase 1 --resume    # 断点续跑
python scripts/tools/collect_results.py --phase 1             # 查看结果
```

### 组件验证
```bash
python scripts/tools/verify_components.py --group arch   # 验证架构
python scripts/tools/verify_components.py --resume        # 跑全部(跳过已通过)
```

---

## 八、关键配置速查

```yaml
model:
  arch: gpt2              # gpt2(D0) | gpt_bert(D1) | modernized_bert(D2) | xlstm(D3) | rtd(D4)
  use_moe: false           # D5 MoE
  use_attn_res: false      # D6 AttnRes
data:
  tokenizer: bpe           # bpe(B0) | morfessor_bpe(B1)
  packing: concat          # concat | sentence(G6)
embedding:
  type: standard           # standard(C0) | nhot(C1)
  init: random             # random | fasttext(C2)
training:
  objective: gpt_bert      # gpt_bert | clm | mlm | rtd
  learning_rate: 0.0005    # AdamW推荐; LAMB需≤0.005(fp16)
  use_mtp: false           # E5 反向课程MTP
masking:
  type: standard           # standard(E0) | amlm(E1) | frequency(E3)
optimizer:
  type: adamw              # adam(F0) | adamw(F1) | lamb(F2) | muon(F4)
  forgetter: false         # F3 FORGETTER
```