# Reference Index

> 说明：本目录按论文主题整理。已有长笔记保留在各自目录；新增笔记尽量沿用之前 README 的格式：论文信息、问题、方法、实验结论、代码状态和整体评价。代码统一放在 `reference/code/`。为节省空间，代码均以源码快照形式保存，不保留 `.git` 历史；少数大型仓库排除了 vendored 第三方依赖目录。

## 代码状态

| 论文 | 官方代码 | 本地状态 |
|---|---|---|
| Nemotron-Labs-Diffusion | https://github.com/NVlabs/Nemotron-Labs-Diffusion | 已拉取：`reference/code/Nemotron-Labs-Diffusion` |
| DMax | https://github.com/czg1225/DMax | 已拉取：`reference/code/DMax` |
| TAD | https://github.com/BHmingyang/TAD | 已拉取：`reference/code/TAD` |
| DFlash | https://github.com/z-lab/dflash | 已拉取：`reference/code/dflash` |
| Fast-dLLM | https://github.com/NVlabs/Fast-dLLM | 已拉取核心源码快照：`reference/code/Fast-dLLM`；排除 `third_party/sglang` |
| T3D / Few-Step Diffusion LMs | https://github.com/Tyrion58/T3D | 已拉取：`reference/code/T3D` |
| dMoE | https://github.com/fscdc/dMoE | 已拉取核心源码快照：`reference/code/dMoE`；排除 `evaluations/lm-evaluation-harness` 和 `training/VeOmni` |
| Multi-Block Diffusion LMs | https://github.com/SJTU-DENG-Lab/mbd-lms；https://github.com/SJTU-DENG-Lab/Diffulex/tree/mbd-lms | 已拉取：`reference/code/mbd-lms`；`reference/code/Diffulex-mbd-lms` |
| ELF | https://github.com/lillian039/ELF | 已拉取：`reference/code/ELF` |
| Flow Map Language Models | https://github.com/david3684/flm | 已拉取：`reference/code/flm` |
| Beyond Single Tokens / D-MMD | 未确认公开官方 repo | 无本地代码 |
| Efficient-DLM | 未确认公开官方 repo | 无本地代码 |
| Back on Track / PAPO | 未确认公开官方 repo | 无本地代码 |
| Revise, Don't Freeze | 未确认公开官方 repo | 无本地代码 |
| Teaching Diffusion to Speculate Left-to-Right | PDF 给出 https://github.com/sbintuitions/TeachingDiffusionToSpeculateLeftToRight 和 https://github.com/sgl-project/SpecForge | `sbintuitions/...` 当前 404；`SpecForge` 已拉取：`reference/code/SpecForge` |
| PRESTO | PDF 内未扫到官方 repo 链接 | 无本地代码 |
| Nemotron-Labs-Diffusion-Image | PDF 内未扫到官方 repo 链接 | 无本地代码 |

## 论文笔记入口

| 主题 | 笔记 |
|---|---|
| ELF: Embedded Language Flows | `elf/README.md` |
| One-step Language Modeling via Continuous Denoising | `one-step language modeling/README.md` |
| Beyond Single Tokens: D-MMD | `beyond single token/README.md` |
| DFlash | `dflash/README.md` |
| Efficient-DLM | `efficient-dlm/README.md` |
| Fast-dLLM | `flash-dllm/README.md` |
| dmax 相关论文合集 | `dmax/README.md` |
| Nemotron / speculative diffusion 相关论文合集 | `nemotron/README.md` |
| 顶层 PDF：Nemotron-Labs-Diffusion / DMax / TAD | 本文件下方 |

## Nemotron-Labs-Diffusion: A Tri-Mode Language Model

### 论文信息

| 项目 | 信息 |
|---|---|
| PDF | `Nemotron-Labs-Diffusion- A Tri-Mode Language  Model Unifying Autoregressive, Diffusion, and  Self-Speculation Decoding.pdf` |
| 主题 | 同一模型统一 AR、diffusion parallel decoding、self-speculation |
| 代码 | https://github.com/NVlabs/Nemotron-Labs-Diffusion |
| 本地代码 | `reference/code/Nemotron-Labs-Diffusion` |

### 解读

这篇论文的核心是把 dLLM 从“只能做并行去噪”的单一形态，推进到一个可切换解码模式的部署模型。模型通过改变 attention pattern 支持三种模式：纯自回归、块级 diffusion 并行生成、以及同一模型自我 speculative decoding。第三种模式最关键：diffusion 分支先并行 draft，AR 分支再验证，且两者共享模型和 KV cache，减少了传统 speculative decoding 里额外 draft model 的工程成本。

方法上，它不是简单训练一个新的 draft 小模型，而是让同一权重在不同 attention/decoding 路径下工作。这样做的意义在于部署弹性：低并发或强调质量时可以走 AR，高吞吐时走 diffusion，需要无损加速时走 self-speculation。局限是系统复杂度仍不低，尤其是 LoRA draft adapter、SGLang 集成和不同 mode 的参数选择都需要工程调优。

整体看，这篇更像 dLLM 工程化路线论文：重点不只是生成质量，而是把 diffusion LM 放进可服务、可评测、可切换的推理栈。

## DMax: Aggressive Parallel Decoding for dLLMs

### 论文信息

| 项目 | 信息 |
|---|---|
| arXiv | https://arxiv.org/abs/2604.08302 |
| 代码 | https://github.com/czg1225/DMax |
| 本地代码 | `reference/code/DMax` |

### 解读

DMax 解决的是 dLLM 并行度越高、错误越容易积累的问题。传统 masked dLLM 是 mask-to-token 的硬转移，一旦某些 token 过早填错，后续步骤很难修正。DMax 改成从 mask embedding 到 token embedding 的渐进式自修正过程，让中间状态可以表达“不完全确定”的 token 预测。

方法由两部分支撑：On-Policy Uniform Training 让模型学习恢复自己生成过的错误状态，而不只是在标准 mask 噪声上训练；Soft Parallel Decoding 则把中间状态表示为预测 token embedding 和 mask embedding 的插值，让低置信预测不会过早冻结。实验结论是它能显著提高 TPF，同时尽量维持数学、代码和通用任务准确率。

这篇的价值在于把“更激进并行”变成训练目标的一部分，而不是只靠推理时调阈值。风险是训练与推理框架较重，且性能依赖具体基座模型和任务分布。

## TAD: Temporal-Aware Trajectory Self-Distillation

### 论文信息

| 项目 | 信息 |
|---|---|
| arXiv | https://arxiv.org/abs/2605.09536 |
| 代码 | https://github.com/BHmingyang/TAD |
| 本地代码 | `reference/code/TAD` |

### 解读

TAD 关注 dLLM 的 accuracy-parallelism trade-off：想提高每次 forward 解出的 token 数，质量就会下降。它用 teacher 轨迹做 self-distillation，并按 token 距离“被揭示”的时间远近区分监督信号。

具体来说，接近被解码的 near tokens 用 hard CE 学 teacher trajectory 中的确定 token；还比较远的 distant tokens 用 soft KL 学 teacher 分布，保留规划信息而不是强迫学生过早做硬决策。这样自然得到偏质量和偏速度的两类部署配置。论文报告在 LLaDA/Dream 等基座上能同时改善准确率和 AUP/TPF。

我认为这篇的启发是时间维度的监督分层：不是所有 mask token 都应该被同等对待。它适合作为 DMax/T3D 这类轨迹蒸馏工作的补充。