# headless

基于 SSM（状态空间模型）+ OML（基于优化的元学习）构建的生产级**持续学习模型**系统，配备自主数据探索能力。

> 前身为 LMT-twister。建立于 2026-08-20。

## 持续学习

headless 模型在运行时持续学习，不会遗忘先前获取的知识。系统展示的能力包括：

- **跨域零遗忘** — LM2 在 wikitext-2 上（3 域，流式 500 步/域）：顺序训练后所有域均呈现**正向迁移**（A: 0.429→0.472，B: 0.478→0.488，C: 0.493）。
- **跨域鲁棒性** — LM3 在 en→zh→code 上（BPE，3 域）：朴素顺序训练造成灾难性遗忘（English -10.4pp），证明**真正的持续学习需要机制**（Replay +5.0pp，正确 OML 通过内循环适应）。
- **自主探索** — LM1 通过价值函数提议器（简约性 + 自洽性 + 覆盖）自主生成训练数据，达到 **unseen 准确率 0.1276 / c4 结构 0.1510**，**遗忘为负**（-0.006），以 **1.5 倍** 超越家族 22 次干预峰值（0.099）。

## 架构

```
LM1（生产级，105 万参数）
├── SSM 骨干网络（V31_RLN，d_model/d_state/层数可配置）
├── SwiftTD 头 — 逐特征步长优化（在线 IDBD，无需 BPTT）
├── OML 双层循环 — 内循环 PLN 适应 + 外循环元更新
└── S4 价值提议器 — 基于结构新颖性自主生成任务

LM2（文本，71 万参数）
├── SSM 字符级语言模型（词表 607）
└── 三域流式 wikitext-2

LM3（BPE，226 万参数）
├── BPE 分词器（词表 4627）
└── en→zh→code 跨域实验
```

### 核心机制

| 机制 | 作用 | 证据 |
|:--|:--|:--|
| **Replay（回放）** | 防遗忘（数据级锚定） | 相对基线 +5.0pp |
| **OML** | 适应效率（内循环克隆） | 非防遗忘机制；实现新域快速适应 |
| **SwiftTD** | 逐特征学习率（在线 IDBD） | 防止 bound/decay 下的步长塌缩 |
| **价值提议器** | 自主数据生成 | 无需人工标注即可持续探索 |

## 因果技术栈（Causal AI，新增）

把《Causal AI》一书的因果方法落地到 S4 元学习世界，用**因果发现改进自主数据提议器**：

| 文件 | 落地 | 对应书章节 |
|:--|:--|:--|
| `hibs_lnn/causal/dag.py` | DAG + d-separation | 第 3-4 章 |
| `hibs_lnn/causal/scm.py` | SCM + do() 干预 + 反事实 | 第 6-9 章 |
| `hibs_lnn/causal/identification.py` | 后门调整 / g-公式识别 | 第 10-11 章 |
| `hibs_lnn/causal/discovery.py` | 条件独立检验 + PC 骨架 | 因果发现 |
| `hibs_lnn/causal/causal_proposer.py` | 因果驱动的提议器（do-效应/反事实） | 自主探索 |
| `hibs_lnn/causal/causal_rl.py` | Causal RL + 因果 credit assignment | 第 12 章 |

- 演示：`python3 causal_tech_stack_demo.py`（8 步，秒级）
- 自测：`python3 -m hibs_lnn.causal.self_test`（15/15 passed）
- 文档：`docs/wiki/causal_stack.md`

**实测**：同样已学集合下，因果提议器每步覆盖新生成元原子 **0.50**，启发式仅 **0.33**。
## 项目结构

```
tests/
├── run_lm1_production.py  — 生产级自主持续学习模型（checkpoint、评估、推理）
├── run_lm2_text.py        — 真实文本持续学习（wikitext-2）
├── run_lm3_bpe.py         — BPE + 跨域持续学习（5 种方法）
├── lm1_inference_demo.py  — 生产级推理接口（define+adapt+query）
└── run_v3*.py             — 17 个实验运行脚本（V31-V35 消融套件）

hibs_lnn/
├── ssm_v30_3.py           — 带内部纠缠的 SSM 层（相位调制）
├── swiftd_head.py         — SwiftTD 逐特征步长优化器
├── meta_rule_world.py     — 元学习任务分布（S4 排列）
├── code_world.py          — 寄存器机沙箱（8 条指令，4 个寄存器）
└── causal/                — Causal AI 技术栈（DoWhy/pgmpy 的轻量等价物）
    ├── dag.py             — DAG + d-separation
    ├── scm.py             — 结构因果模型 + do() + 反事实
    ├── identification.py  — 后门调整 / g-公式识别
    ├── discovery.py       — 条件独立检验 + PC 骨架
    ├── causal_proposer.py — 因果驱动的自主数据提议器（改进提议器）
    └── causal_rl.py       — Causal RL + 因果 credit assignment

tests/
├── run_lm1_production.py  — 生产级自主持续学习模型（checkpoint、评估、推理）
├── run_lm2_text.py        — 真实文本持续学习（wikitext-2）
├── run_lm3_bpe.py         — BPE + 跨域持续学习（5 种方法）
├── lm1_inference_demo.py  — 生产级推理接口（define+adapt+query）
└── run_v3*.py             — 17 个实验运行脚本（V31-V35 消融套件）

docs/wiki/
├── log.md                 — 持续学习实验日志
└── causal_stack.md        — 因果技术栈落地文档

causal_tech_stack_demo.py  — 因果技术栈端到端演示（8 步，秒级）
```

## 快速开始

```bash
# 冒烟测试（1 轮、2 步、不触发迁移）
python smoke_lm1.py

# 生产级训练（10 轮，自动探索 + 评估）
python tests/run_lm1_production.py --rounds 10

# 从 checkpoint 恢复
python tests/run_lm1_production.py --resume

# 推理演示
python tests/lm1_inference_demo.py --ckpt checkpoints/lm1_final.pt

# 文本持续学习
python tests/run_lm2_text.py

# BPE 跨域（replay 方法）
python tests/run_lm3_bpe.py --method replay
```

## 实验结果

### LM1 — 生产级自主持续学习

| 指标 | 数值 | 家族峰值 | 提升 |
|:--|:--|:--|:--|
| Unseen 准确率 | 0.1276 | 0.099 | **+29%** |
| c4 结构准确率 | 0.1510 | 0.099 | **+53%** |
| 遗忘 | -0.006 | — | **负值（能力提升）** |
| S5 迁移（R16） | 0.1172 | — | 正向迁移 |

- **17 轮 / 680 步** 全自动收敛
- 模型：`checkpoints/lm1_final.pt`（6.3MB）
- 报告：`results/lm1_report.md`

### LM2 — 真实文本持续学习

| 域 | 训练前 | 训练后 | 变化 |
|:--|:--|:--|:--|
| A（训练 200 万字符） | 0.429 | 0.472 | **+4.3pp** |
| B（验证 110 万字符） | 0.478 | 0.488 | **+1.0pp** |
| C（测试 130 万字符） | 0.493 | — | **正向迁移** |

**结论：** 持续学习与零遗忘在同源真实文本（维基）上成立。

### LM3 — 跨域持续学习

| 方法 | en | zh | code | 平均 |
|:--|:--|:--|:--|:--|
| 基线（顺序训练） | 0.260 | 0.076 | 0.340 | 0.170 |
| Replay | 0.252 | 0.057 | 0.352 | **0.220** |
| OML（双学习率） | — | — | — | 0.131 |
| OML2（正确实现） | — | — | — | 0.168 |

**结论：** Replay 是唯一有效的防遗忘机制（+5.0pp）。正确 OML（内循环克隆）是适应效率机制，而非防遗忘机制。

## 机制结论

1. **Replay 是唯一的防遗忘机制** — 数据级锚定（+5.0pp）
2. **OML 是适应效率机制** — 正确形态 = 内循环克隆 + query 元损失
3. **简单双学习率 ≠ OML** — 仅使用 head+body 不同 LR 会失败
4. **朴素顺序训练 = 跨语言灾难性遗忘**
5. **生产级持续学习 = 更大表示 × 长期训练 × 自主探索数据** — 作为系统整体涌现

## 数据需求

- **LM1 / LM2**：无需外部数据（合成任务 / wikitext-2 自动下载）
- **LM3**：将数据放入 `/tmp/lm2data` 和 `/tmp/lm3data`

## 引用

如使用本工作，请引用上述机制结论及 LM1 生产级系统结果。

## 许可证

MIT — 详见 [LICENSE](LICENSE)