MCSDF 实验图鉴

任务:DL3DV 场景外推 — 观察 18 帧 → 前推生成 63 帧(81 总)· 所有实验共享同一条几何主干,分歧只在四个旋钮:内容通道 / k→τ 映射 / 训练场家族 / 采样日历 · 2026-07-29
📐 共享主干:DL3DV 81帧 → VGGT 一致几何(+Umeyama 对齐)→ 前 18 帧点云 → warp splat 到 81 个目标位姿 → z_mem(VAE latent)+ knownness k(density 覆盖率,[F,30,52] 每 token)→ 条件注入 + τ(k) 噪声调度 → per-token 扩散(Wan 14B + per-token AdaLN)→ 81 帧输出

① 核心:knownness map → noise map 的四种翻译函数

τ = 每个 token 的起始噪声(它这辈子见过的最高噪声)。x 轴 = k(被看清的程度),y 轴 = τ。

Ⓐ 无映射(uniform / plain)

k → τ=10.45 τ ≡ 1(或场均值):k 完全不参与
baseline r128(均值匹配 uniform)· expG0(标准训练,全员纯噪起步,内容全靠通道)· 老 VACE-ft benchmark 赢家同款

Ⓑ 宽带 + 0.45 地板(早期)

k → τ=1.45 k>0.58 饱和 τ=clip(1−0.95k, 0.45, 1)
expA / expB 推理配置。问题:known token 从 0.45 起步 → 跳过高噪段 → 纹理死(P-SDEdit 证明)

Ⓒ 宽带 + 0.85 clamp(expC~F/G 现役)

k → τ=1.85 k>0.16 全部压平在 0.85 — 覆盖区内部排序被抹掉(≈二值图) τ=clip(1−0.95k, 0.85, 1)
expC / expE 三兄弟 / expE_sync / expF / expF_sync / expG。纹理保住了(0.85 够高),但 k 的连续信息浪费

Ⓓ 窄带线性(expJ,新)

k → τ=1.80 τ = 1 − 0.2k,无 clamp: 全员 ≥0.8 高噪起步 + 排序全程保留
expJ_narrow / expJ_ray。k 不再兑换"跳过开头",只兑换"早一点结束"(配 sync 日历 = 完工时刻表)

② 采样日历:τ 决定的时序如何展开

legacy:错峰起跑 · 同时到终

日历步 → known 冻结等待 unseen 从 1 降 全员同时到 0
问题:known 冻结期"只广播不倾听",unseen 做结构决策时看到的是半噪 splat

SYNC(expH,已验证 +0.23dB)

日历步 → known 同时起跑,先到 0 → 钉住 变干净参考
unseen 后半程对着 GT 级邻居做决策;每一步 known 都严格更干净

SYNC + 窄带(expJ)= 完工时刻表

日历步 → k=0k=1(最先完工) 按 k 连续有序完工 → 级联参考
看得越清 → 完工越早 → 给后面的人当锚;k 的连续排序第一次被日历完整使用

③ 每个实验一张卡(pipeline + 它的映射)

baseline r128 10k 链

warp z_mem无通道(仅 SDEdit 初始化)映射Ⓐ uniformlegacy
I2V-14B LoRA128 · 对照组:噪声图整层关掉 · 12.88,但 PSNR 靠灰糊换(内容能量仅 −5)

expA / expB c3 ~7.5k

warp z_mem无通道(内容只在初始化里)映射Ⓑ t.45A=AsyncPatch场 / B=几何场legacy
纯"noise map 扛内容"路线 · 结论:不够(12.65,深帧涂抹)→ 催生了通道化的 expC

expC 冻结@4500

warp z_mem+k17ch pemb 通道(每步喂)映射Ⓒ .85legacy 场+rehearsallegacy cl.85
第一个通道化实验(当时还带 memory slot,后删)· 纹理最多/结构最歪的反面教材(12.25 / −45)· warm-start 血统被判拖累

expE-geo / expE-rand c2 排队 own~3.2k

warp17ch 通道映射Ⓒgeo=构造场骰子 / rand=AsyncPatch场SYNC cl.85
配方 = rehearsal.10+lift.35+patch_b2 · warm-start expC@3500 · 12.93 双双 — matched-steps 三连输给干净血统

expE-scratch(基准线)3.2k

warp17ch 通道映射Ⓒ构造场骰子SYNC cl.85
geo 配方 + 干净血统(fresh init)· 13.15@3000 · 所有新设计的对照锚点

expF(+Plücker ray)🏆 2.3k

warp23ch = 17ch + 6ch ray(声明式 pose)映射Ⓒ骰子SYNC
单变量 vs scratch = ray 通道 · 13.25 @仅1500 现任冠军,test clip 17.1(深帧对齐全场最佳 = 治 view-drift)

expE_sync / expF_sync 1.6k

warp17ch/23ch映射Ⓒ骰子 + sync_sched 切片SYNC(训练配套)
单变量 = 训练场里加入"钉净+高噪同框"切片 · @1000:PSNR 持平 scratch、unseen 内容能量 +29% · 分化点看 @3000

expG(VACE-14B)2.0k

warp 视频+maskVACE 原生 control 分支(96ch,预训练过,3B 全参训)映射Ⓒ骰子(rehearsal 用 null_vace)SYNC
单变量 vs scratch = 条件通路(原生 vs 自焊 pemb)· 13.13 @1500 ≈ scratch@3000,每步效率最高

expG0(干净 VACE 对照)0.3k

warp 视频+maskVACE 原生分支映射Ⓐ 无(全局标量 t)plain 标准训练全员 t=1 起步
FrameCrafter/老 benchmark 赢家的 in-house 复刻 · expG0 vs expG 单变量 = 整套 per-token noise 机制的价值

expJ_narrow / expJ_ray(窄带)刚起

warp17ch/23ch映射Ⓓ 1−0.2k骰子 + sync_sched(lam=.2)SYNC = 完工时刻表
单变量 vs expE_sync/expF_sync = τ 映射 · 赌"窄带+有序"胜"宽带+饱和":信任只兑换早完工,不兑换跳开头

采样器实验(推理侧,无训练)

expH sync 日历·cluster-τ K=128·24-vs-50 步·shift 1/3/5·CFG(在飞)
判决:SYNC ✓(+0.23/+0.7)· cluster ✓ · 24 步 ✓(两次)· shift5=viz 配置 · τ_min 降=劣化 · CFG 扫描出图中

④ 总差异表(单变量地图)

实验backbone血统内容通道k→τ 映射训练场日历对照谁·单变量最新读数
baseline r128I2VscratchⒶ uniformuniformlegacy全体 · 无噪声图下限12.88(灰)
expAI2VscratchⒷ t.45AsyncPatch 场legacyexpB · 场来源12.65
expBI2VscratchⒷ t.45几何场legacyexpA12.65
expCI2Vwarm(B@1500)17chⒸ .85legacy+rehearsallegacyA/B · +通道12.25
expE-geoI2Vwarm(C@3500)17ch构造骰子SYNCrand · 场家族12.93
expE-randI2Vwarm17chAsyncPatchSYNCgeo12.93
expE-scratchI2Vscratch17ch骰子SYNCtwins · 血统13.15
expE_syncI2Vscratch17ch骰子+sync切片SYNCscratch · 训练配套13.30@1k
expF 🏆I2Vscratch23ch(+ray)骰子SYNCscratch · +声明式pose13.25@1.5k
expF_syncI2Vscratch23ch骰子+syncSYNCexpF·训练配套 / Esync·+ray13.23@1k
expGVACEscratch原生 96ch骰子SYNCscratch · 条件通路13.13@1.5k
expG0VACEscratch原生 96chⒶ 无plain 标准全员t=1expG · 整套噪声机制训练中
expJ_narrowI2Vscratch17chⒹ 1−0.2k骰子+sync(lam.2)SYNC 时刻表expE_sync · τ映射刚起
expJ_rayI2Vscratch23ch骰子+syncSYNC 时刻表expF_sync · τ映射刚起
读表法:任意两行只比"对照谁"列指向的那一个格子 — 这是全舰队的单变量纪律。当前证据链:通道 > 无通道(C/E vs A/B)· 干净血统 > warm(三连)· SYNC > legacy(+0.23)· ray 有效(F 领跑)· 原生通道适应最快(G)· 待决:sync 训练配套幅度(@3k)、窄带 vs 饱和(expJ@1k+)、噪声机制总价值(G vs G0)、CFG。
相关页:舰队进度 · 最新大阅兵 · expH 判决 · 24-vs-50