reference/README.md

Reference Index

说明：本目录按论文主题整理。已有长笔记保留在各自目录；新增笔记尽量沿用之前 README 的格式：论文信息、问题、方法、实验结论、代码状态和整体评价。代码统一放在 reference/code/。为节省空间，代码均以源码快照形式保存，不保留 .git 历史；少数大型仓库排除了 vendored 第三方依赖目录。

代码状态

论文	官方代码	本地状态
Nemotron-Labs-Diffusion	https://github.com/NVlabs/Nemotron-Labs-Diffusion	已拉取：reference/code/Nemotron-Labs-Diffusion
DMax	https://github.com/czg1225/DMax	已拉取：reference/code/DMax
TAD	https://github.com/BHmingyang/TAD	已拉取：reference/code/TAD
DFlash	https://github.com/z-lab/dflash	已拉取：reference/code/dflash
Fast-dLLM	https://github.com/NVlabs/Fast-dLLM	已拉取核心源码快照：reference/code/Fast-dLLM；排除 third_party/sglang
T3D / Few-Step Diffusion LMs	https://github.com/Tyrion58/T3D	已拉取：reference/code/T3D
dMoE	https://github.com/fscdc/dMoE	已拉取核心源码快照：reference/code/dMoE；排除 evaluations/lm-evaluation-harness 和 training/VeOmni
Multi-Block Diffusion LMs	https://github.com/SJTU-DENG-Lab/mbd-lms；https://github.com/SJTU-DENG-Lab/Diffulex/tree/mbd-lms	已拉取：reference/code/mbd-lms；reference/code/Diffulex-mbd-lms
ELF	https://github.com/lillian039/ELF	已拉取：reference/code/ELF
Flow Map Language Models	https://github.com/david3684/flm	已拉取：reference/code/flm
Beyond Single Tokens / D-MMD	未确认公开官方 repo	无本地代码
Efficient-DLM	未确认公开官方 repo	无本地代码
Back on Track / PAPO	未确认公开官方 repo	无本地代码
Revise, Don't Freeze	未确认公开官方 repo	无本地代码
Teaching Diffusion to Speculate Left-to-Right	PDF 给出 https://github.com/sbintuitions/TeachingDiffusionToSpeculateLeftToRight 和 https://github.com/sgl-project/SpecForge	sbintuitions/... 当前 404；SpecForge 已拉取：reference/code/SpecForge
PRESTO	PDF 内未扫到官方 repo 链接	无本地代码
Nemotron-Labs-Diffusion-Image	PDF 内未扫到官方 repo 链接	无本地代码

论文笔记入口

主题	笔记
ELF: Embedded Language Flows	elf/README.md
One-step Language Modeling via Continuous Denoising	one-step language modeling/README.md
Beyond Single Tokens: D-MMD	beyond single token/README.md
DFlash	dflash/README.md
Efficient-DLM	efficient-dlm/README.md
Fast-dLLM	flash-dllm/README.md
dmax 相关论文合集	dmax/README.md
Nemotron / speculative diffusion 相关论文合集	nemotron/README.md
顶层 PDF：Nemotron-Labs-Diffusion / DMax / TAD	本文件下方

Nemotron-Labs-Diffusion: A Tri-Mode Language Model

论文信息

项目	信息
PDF	Nemotron-Labs-Diffusion- A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding.pdf
主题	同一模型统一 AR、diffusion parallel decoding、self-speculation
代码	https://github.com/NVlabs/Nemotron-Labs-Diffusion
本地代码	reference/code/Nemotron-Labs-Diffusion

解读

这篇论文的核心是把 dLLM 从“只能做并行去噪”的单一形态，推进到一个可切换解码模式的部署模型。模型通过改变 attention pattern 支持三种模式：纯自回归、块级 diffusion 并行生成、以及同一模型自我 speculative decoding。第三种模式最关键：diffusion 分支先并行 draft，AR 分支再验证，且两者共享模型和 KV cache，减少了传统 speculative decoding 里额外 draft model 的工程成本。

方法上，它不是简单训练一个新的 draft 小模型，而是让同一权重在不同 attention/decoding 路径下工作。这样做的意义在于部署弹性：低并发或强调质量时可以走 AR，高吞吐时走 diffusion，需要无损加速时走 self-speculation。局限是系统复杂度仍不低，尤其是 LoRA draft adapter、SGLang 集成和不同 mode 的参数选择都需要工程调优。

整体看，这篇更像 dLLM 工程化路线论文：重点不只是生成质量，而是把 diffusion LM 放进可服务、可评测、可切换的推理栈。

DMax: Aggressive Parallel Decoding for dLLMs

论文信息

项目	信息
arXiv	https://arxiv.org/abs/2604.08302
代码	https://github.com/czg1225/DMax
本地代码	reference/code/DMax

解读

DMax 解决的是 dLLM 并行度越高、错误越容易积累的问题。传统 masked dLLM 是 mask-to-token 的硬转移，一旦某些 token 过早填错，后续步骤很难修正。DMax 改成从 mask embedding 到 token embedding 的渐进式自修正过程，让中间状态可以表达“不完全确定”的 token 预测。

方法由两部分支撑：On-Policy Uniform Training 让模型学习恢复自己生成过的错误状态，而不只是在标准 mask 噪声上训练；Soft Parallel Decoding 则把中间状态表示为预测 token embedding 和 mask embedding 的插值，让低置信预测不会过早冻结。实验结论是它能显著提高 TPF，同时尽量维持数学、代码和通用任务准确率。

这篇的价值在于把“更激进并行”变成训练目标的一部分，而不是只靠推理时调阈值。风险是训练与推理框架较重，且性能依赖具体基座模型和任务分布。

TAD: Temporal-Aware Trajectory Self-Distillation

论文信息

项目	信息
arXiv	https://arxiv.org/abs/2605.09536
代码	https://github.com/BHmingyang/TAD
本地代码	reference/code/TAD

解读

TAD 关注 dLLM 的 accuracy-parallelism trade-off：想提高每次 forward 解出的 token 数，质量就会下降。它用 teacher 轨迹做 self-distillation，并按 token 距离“被揭示”的时间远近区分监督信号。

具体来说，接近被解码的 near tokens 用 hard CE 学 teacher trajectory 中的确定 token；还比较远的 distant tokens 用 soft KL 学 teacher 分布，保留规划信息而不是强迫学生过早做硬决策。这样自然得到偏质量和偏速度的两类部署配置。论文报告在 LLaDA/Dream 等基座上能同时改善准确率和 AUP/TPF。

我认为这篇的启发是时间维度的监督分层：不是所有 mask token 都应该被同等对待。它适合作为 DMax/T3D 这类轨迹蒸馏工作的补充。