YAML Metadata Warning:empty or missing yaml metadata in repo card

Check out the documentation for more information.

不含 VAE decode 的 Memory Management 比较

统一口径

  • 软件栈:Python 3.11.15 / PyTorch 2.9.1+cu128 / Transformers 5.15.0 / Triton 3.5.1。
  • Case:worker_01_tier3,共 24 shots。
  • 平均值:[shot0 write + sum(shot1..23 read/agent/write)] / 23。
  • 排除生成结束后的 video/audio VAE decode;纯去噪也只使用 denoising-loop 时间。
  • 视频文件的 PyAV/FFmpeg 解码不是 VAE decode。selector 重放中的 PyAV 解码在计时开始前只执行一次,也没有进入下表。
  • memory 所必需的 VAE encode 仍然保留,例如 ours 将像素帧编码成 selector/merger latent、JoyAI-Echo 1.0 编码 memory frames、JoyAI-Echo 1.5 编码 audio memory。

比较结果

方法 不含 VAE decode 的平均 Memory 时间 (s/评估 shot) 说明
H3 original 33B + ours selector 17.587 包含两轮 memory-frame VAE encode
H3 SFT+RL + ours selector 17.910 包含两轮 memory-frame VAE encode
JoyAI-Echo 1.0 base + LTX selector 4.739 包含两轮 memory-frame VAE encode
JoyAI-Echo 1.5 base + LTX selector 4.515 包含两轮 memory-frame VAE encode
LTX2.3 SFT+RL + LTX selector 4.961 包含两轮 memory-frame VAE encode
JoyAI-Echo 1.0 native memory bank 1.345 不含 agent;包含 video-memory VAE encode
JoyAI-Echo 1.5 native memory bank 0.996 不含 Director Agent/VLM;包含 audio-memory VAE encode 与 MSST
H3Director 官方完整 AI workflow 53.464 4× context analyze + 1× Director review + shot1--23 part writer;24/24 part 均通过官方 validator
HyperFlow-Infinity full agent 183.635 Director、scene graph、identity VLM 与持久化
JoyAI-Echo 1.5 + Echo Director Agent N/A(24-shot 失败) 真实启动 AgentLoop/Director callback/MemoryVlmSelector;shot0=243.073s、shot1=212.067s,shot2 被官方 validator 拒绝

严格排除 VAE decode 后数值与原旧栈表相同,因为原 memory 表没有把生成后的 VAE decode 计入管理时间。

JoyAI-Echo 1.5 的口径纠正

0.996 s/shot 不是 Echo Director Agent 的管理时间。该重放脚本只执行:

  1. native AudioVideoMemoryBank read/write;
  2. audio VAE encode/pack;
  3. MSST voice filtering;
  4. 最多 7 个 memory slots 的 latent/audio 拼接。

它没有启动 echo_longvideo/Director_Agent,没有执行 AgentLoop、LLM shot/memory recommendation,也没有调用 MemoryVlmSelector 做自动视觉 memory review。因此不能用 0.996 s 代表 JoyAI-Echo 1.5 agent-based memory management。

Echo Director Agent 是与 Echo 1.5 video service 分离的可选 orchestration 层。完整自动 memory 管理至少应另计:

  1. 当前 shot 的候选帧采样与组织;
  2. Memory VLM frame selection/profile;
  3. Agent LLM 对下一 shot 的 memory-slot recommendation;
  4. review/apply/persistence;
  5. Echo 1.5 native memory-slot/audio conditioning。

旧软件栈完整 Agent 已真实启动并测量,但没有得到合法的 24-shot 完整结果:

  • JoyAI-Echo 1.5 native memory bank: 0.996 s/shot;
  • JoyAI-Echo 1.5 + Echo Director Agent: N/A(shot2 官方 validator 稳定失败)。

完整 Agent 的已完成阶段为:shot0 243.073s,shot1 212.067s。随后 shot2 的后半 8 帧中,Qwen 反复把 ID_B、ID_C 指向同一个 candidate index;原始调用、3 次监督式重试和 6 次 callback 重试均未通过官方“不同身份不能共用同一候选帧”校验。因此不能伪造 24-shot 平均。失败前后共真实执行 27 次 VLM,累计 1642.364s:character selection 23 次、representative selection 2 次、scene transition 2 次。

其中 character selection 合计 1455.726s(均值 63.292s),representative selection 合计 171.998s(均值 85.999s),scene transition 合计 14.641s(均值 7.320s)。Qwen 服务采样峰值为 66671 MiB。

完整 Agent/Director 的细分

H3Director

  • 4 次 /ng/analyze:46.816s。
  • 1 次 /ng/direct:144.800s。推理完成,但 benchmark 的 prescribed shot 文本被锁定,官方 validator 判定无可应用修改。
  • 24 次 /ng/write_part:1083.451s,均值 45.144s,范围 32.276--49.036s;24/24 通过官方 validator。
  • 全流程 wall sum:1275.068s。统一 shot0 口径下排除 part0 的 45.399s,得到 1229.669/23 = 53.464s/评估 shot。
  • Qwen 服务峰值显存:67311 MiB。

HyperFlow-Infinity

  • 统一总量:4223.613s,即 183.635s/评估 shot。
  • Director:计入 shot1--23 共 1399.729s,贡献 60.858s/shot;shot0 Director 按统一口径排除。
  • scene-graph write:2625.668s,贡献 114.159s/shot。24 次 commit 触发 41 次 memory VLM attempt,即 17 次官方结构校验重试。
  • identity-bank write:198.216s,贡献 8.618s/shot;3 个首次身份 VLM 分别约 55.706s、54.988s、54.166s。
  • identity candidates 抽帧:24 次合计 33.324s;merge 与 JSON persist 均为毫秒级。
  • 3 次 compact VLM:13.799s。
  • Qwen 服务峰值显存:72209 MiB(采样基线 1 MiB,增量 72208 MiB)。

独立复跑在第 21 镜 scene-graph 更新时失败:连续 3 次返回未知 node id subject_1,官方 validator 拒绝。该复跑已完成 21 次 Director、36 次 memory 调用,作为随机合法性失败记录保留,不与上述完整运行混算。

如果“去掉 VAE”实际指去掉所有 VAE encode

这不是严格的完整 memory-management 口径,但可作为算法控制逻辑的补充消融:

方法 同时扣除 memory VAE encode 后 (s/评估 shot)
H3 original 33B + ours selector 0.305
H3 SFT+RL + ours selector 0.101
JoyAI-Echo 1.0 base + LTX selector 0.439
JoyAI-Echo 1.5 base + LTX selector 0.317
LTX2.3 SFT+RL + LTX selector 0.535
JoyAI-Echo 1.0 native memory bank 0.190
JoyAI-Echo 1.5 native memory bank 0.801

这里仍不能把 JoyAI-Echo 1.5 native 的 0.801 s 当成 agent 时间;它仍然只是 native bank + MSST 等非 VAE 管理开销。

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support