YAML Metadata Warning:empty or missing yaml metadata in repo card
Check out the documentation for more information.
不含 VAE decode 的 Memory Management 比较
统一口径
- 软件栈:Python 3.11.15 / PyTorch 2.9.1+cu128 / Transformers 5.15.0 / Triton 3.5.1。
- Case:
worker_01_tier3,共 24 shots。 - 平均值:
[shot0 write + sum(shot1..23 read/agent/write)] / 23。 - 排除生成结束后的 video/audio VAE decode;纯去噪也只使用 denoising-loop 时间。
- 视频文件的 PyAV/FFmpeg 解码不是 VAE decode。selector 重放中的 PyAV 解码在计时开始前只执行一次,也没有进入下表。
- memory 所必需的 VAE encode 仍然保留,例如 ours 将像素帧编码成 selector/merger latent、JoyAI-Echo 1.0 编码 memory frames、JoyAI-Echo 1.5 编码 audio memory。
比较结果
| 方法 | 不含 VAE decode 的平均 Memory 时间 (s/评估 shot) | 说明 |
|---|---|---|
| H3 original 33B + ours selector | 17.587 | 包含两轮 memory-frame VAE encode |
| H3 SFT+RL + ours selector | 17.910 | 包含两轮 memory-frame VAE encode |
| JoyAI-Echo 1.0 base + LTX selector | 4.739 | 包含两轮 memory-frame VAE encode |
| JoyAI-Echo 1.5 base + LTX selector | 4.515 | 包含两轮 memory-frame VAE encode |
| LTX2.3 SFT+RL + LTX selector | 4.961 | 包含两轮 memory-frame VAE encode |
| JoyAI-Echo 1.0 native memory bank | 1.345 | 不含 agent;包含 video-memory VAE encode |
| JoyAI-Echo 1.5 native memory bank | 0.996 | 不含 Director Agent/VLM;包含 audio-memory VAE encode 与 MSST |
| H3Director 官方完整 AI workflow | 53.464 | 4× context analyze + 1× Director review + shot1--23 part writer;24/24 part 均通过官方 validator |
| HyperFlow-Infinity full agent | 183.635 | Director、scene graph、identity VLM 与持久化 |
| JoyAI-Echo 1.5 + Echo Director Agent | N/A(24-shot 失败) | 真实启动 AgentLoop/Director callback/MemoryVlmSelector;shot0=243.073s、shot1=212.067s,shot2 被官方 validator 拒绝 |
严格排除 VAE decode 后数值与原旧栈表相同,因为原 memory 表没有把生成后的 VAE decode 计入管理时间。
JoyAI-Echo 1.5 的口径纠正
0.996 s/shot 不是 Echo Director Agent 的管理时间。该重放脚本只执行:
- native
AudioVideoMemoryBankread/write; - audio VAE encode/pack;
- MSST voice filtering;
- 最多 7 个 memory slots 的 latent/audio 拼接。
它没有启动 echo_longvideo/Director_Agent,没有执行 AgentLoop、LLM shot/memory recommendation,也没有调用 MemoryVlmSelector 做自动视觉 memory review。因此不能用 0.996 s 代表 JoyAI-Echo 1.5 agent-based memory management。
Echo Director Agent 是与 Echo 1.5 video service 分离的可选 orchestration 层。完整自动 memory 管理至少应另计:
- 当前 shot 的候选帧采样与组织;
- Memory VLM frame selection/profile;
- Agent LLM 对下一 shot 的 memory-slot recommendation;
- review/apply/persistence;
- Echo 1.5 native memory-slot/audio conditioning。
旧软件栈完整 Agent 已真实启动并测量,但没有得到合法的 24-shot 完整结果:
JoyAI-Echo 1.5 native memory bank:0.996 s/shot;JoyAI-Echo 1.5 + Echo Director Agent:N/A(shot2 官方 validator 稳定失败)。
完整 Agent 的已完成阶段为:shot0 243.073s,shot1 212.067s。随后 shot2 的后半 8 帧中,Qwen 反复把 ID_B、ID_C 指向同一个 candidate index;原始调用、3 次监督式重试和 6 次 callback 重试均未通过官方“不同身份不能共用同一候选帧”校验。因此不能伪造 24-shot 平均。失败前后共真实执行 27 次 VLM,累计 1642.364s:character selection 23 次、representative selection 2 次、scene transition 2 次。
其中 character selection 合计 1455.726s(均值 63.292s),representative selection 合计 171.998s(均值 85.999s),scene transition 合计 14.641s(均值 7.320s)。Qwen 服务采样峰值为 66671 MiB。
完整 Agent/Director 的细分
H3Director
- 4 次
/ng/analyze:46.816s。 - 1 次
/ng/direct:144.800s。推理完成,但 benchmark 的 prescribed shot 文本被锁定,官方 validator 判定无可应用修改。 - 24 次
/ng/write_part:1083.451s,均值45.144s,范围32.276--49.036s;24/24 通过官方 validator。 - 全流程 wall sum:
1275.068s。统一 shot0 口径下排除 part0 的45.399s,得到1229.669/23 = 53.464s/评估 shot。 - Qwen 服务峰值显存:
67311 MiB。
HyperFlow-Infinity
- 统一总量:
4223.613s,即183.635s/评估 shot。 - Director:计入 shot1--23 共
1399.729s,贡献60.858s/shot;shot0 Director 按统一口径排除。 - scene-graph write:
2625.668s,贡献114.159s/shot。24 次 commit 触发 41 次 memory VLM attempt,即 17 次官方结构校验重试。 - identity-bank write:
198.216s,贡献8.618s/shot;3 个首次身份 VLM 分别约55.706s、54.988s、54.166s。 - identity candidates 抽帧:24 次合计
33.324s;merge 与 JSON persist 均为毫秒级。 - 3 次 compact VLM:
13.799s。 - Qwen 服务峰值显存:
72209 MiB(采样基线 1 MiB,增量72208 MiB)。
独立复跑在第 21 镜 scene-graph 更新时失败:连续 3 次返回未知 node id subject_1,官方 validator 拒绝。该复跑已完成 21 次 Director、36 次 memory 调用,作为随机合法性失败记录保留,不与上述完整运行混算。
如果“去掉 VAE”实际指去掉所有 VAE encode
这不是严格的完整 memory-management 口径,但可作为算法控制逻辑的补充消融:
| 方法 | 同时扣除 memory VAE encode 后 (s/评估 shot) |
|---|---|
| H3 original 33B + ours selector | 0.305 |
| H3 SFT+RL + ours selector | 0.101 |
| JoyAI-Echo 1.0 base + LTX selector | 0.439 |
| JoyAI-Echo 1.5 base + LTX selector | 0.317 |
| LTX2.3 SFT+RL + LTX selector | 0.535 |
| JoyAI-Echo 1.0 native memory bank | 0.190 |
| JoyAI-Echo 1.5 native memory bank | 0.801 |
这里仍不能把 JoyAI-Echo 1.5 native 的 0.801 s 当成 agent 时间;它仍然只是 native bank + MSST 等非 VAE 管理开销。