# TubeToken 实验计划 v4（Final / Experiment-Ready） > 主线：以 **TubeToken** 为核心框架，将 **Existence / Null 建模** 与 **Text-Audio Conditional Compression** 作为 TubeToken 的自然组成部分，而不是作为 SimToken 的外接补丁。 > v4 目标：在 v3 Reviewer-Revised 的基础上完成最后一轮实验前定稿，固定 matched-compute baseline 的实现，修正 Phase 0 红灯条件，精确化 H3 CosSim baseline，补充 multi-expression training 的梯度冲突风险，重构主表与公平性分析表，并明确多 expression 场景下的 proposal amortization efficiency。 --- ## 0. v4 最终修改摘要 本版是实验启动前的最终方案。v3 已经具备启动实验的完整框架；v4 只做定稿级别的精修，重点消除可能导致后期 Reviewer 质疑或实验返工的模糊点。 相较 v3，v4 做了以下最终修改： 1. **固定 SimToken + matched compute 的唯一实现**：不再保留四个候选方案，明确使用 **SimToken + multiple keyframe prompting with the same number of keyframes as TubeToken-Fast**。该对照在概念上最接近 TubeToken-Fast 的额外计算来源，也避免实验结束后选择有利 baseline 的嫌疑。 2. **修正 Milestone 1 第三条红灯条件**：删除 “预计 TubeToken-Minimal 无法获得 selection 收益” 这类 Phase 0 不可观测判断，改为完全基于 Phase 0 可测量量：Recall@32、Oracle Tube J/F、Oracle Refined J/F。 3. **精确化 Fixed Q-Former 的 H3 CosSim baseline**：Fixed Q-Former 对同一 tube 的不同 expression 输出完全相同，因此 cross-expression CosSim **恒等于 1.0**，不是“接近 1”。Conditioned Q-Former 是否显著低于 1.0 是 H3 的直接证据。 4. **补充 multi-expression training 的梯度冲突风险与缓解方案**：若不同 expressions 对同一 tube 要求矛盾的 temporal / audio / spatial attention，可使用 gradient accumulation 分开累积，或先采样语义差异较小的 expression pair。 5. **重构主表为顶会友好格式**：主表精简为 8 行，只保留主要公开 baseline 与 TubeToken 主配置；SimToken + SAM2 proposals、learned reranker、matched compute、TubeToken-Minimal、TubeToken-Fast 移入独立 Fairness Analysis Table。 6. **在 efficiency 中明确 per-video 与 per-expression 成本**：SAM2 proposals 是 per video 一次性成本；在同一视频有 K 个 expressions 时，proposal cost 可在 expressions 间摊销，CondQFormer 与 selector 才是 per-expression 成本。 7. **澄清 Selection Acc@3 对 null tube 的处理**：正样本计算 object-level Top-3 时排除 null tube；“GT tube Top-3 but Null Top-1” 作为独立 null calibration 指标在全 ranking 中计算。 8. **明确 error decomposition 的互斥优先级**：每个失败样本只归入一个错误类别，按 Proposal miss → Null FN with GT Top-3 → Null FN without GT Top-3 → Selection error → Refinement error → Null FP 的优先级判定。 9. **更新 Phase -1 Go/No-Go 标准**：SimToken 复现与 multi-expression audit 可并行启动；若 SimToken 复现差异 > 1.5 J&F，则暂停后续实验；若 multi-expression 不足，则将 H3 direct validation 从 P0 降为 P2 并采用回退叙事。 10. **更新 Appendix 检查表**：把最终 Reviewer 精修建议全部纳入落地状态，形成实验前 checklist。 ## 1. 核心研究假设 ### 1.1 任务重述 Referring Audio-Visual Segmentation, Ref-AVS, 不应仅被建模为： \[ \text{MLLM} \rightarrow \langle SEG \rangle \rightarrow \text{SAM} \] 而应被建模为： \[ \text{Candidate Object Tubes} \rightarrow \text{Text-Audio Conditioned Tube Selection} \rightarrow \text{SAM Refinement} \] 也就是说，Ref-AVS 的本质更接近 **object-level retrieval + mask refinement**： 1. 视频中有哪些候选对象实例？ 2. 哪一个对象实例被文本和音频共同指代？ 3. 如果没有符合条件的对象，模型能否显式选择 Null？ 4. 选中的对象 tube 是否能被进一步精修为高质量 mask？ ### 1.2 主要假设 **H1: Object tube 是比 global `` token 更适合 Ref-AVS 的中间表示。** Tube 可以显式保持跨帧身份一致性，降低同类多实例、遮挡、出入画面情况下的 identity switch 风险。 **H2: Null / Existence 应该通过显式候选建模解决。** TubeToken 中引入 learnable null tube，将 Null 判断转化为候选选择问题，而不是依赖 SAM decoder 被动输出空 mask。 **H3: 同一 candidate tube 在不同 referring expression 下应暴露不同的时序证据，因此 tube 表征必须由 text/audio condition 动态调制。** 在 TubeToken 中，conditional compression 不是全视频 token pooling 的替代品，而是 **tube-level evidence summarization**。同一 object tube 对于不同表达可能需要关注不同帧、不同动作、不同音频片段或不同空间关系。 **H3 的成立前提与验证要求：** 1. 数据层面必须先确认 Ref-AVSBench 中是否存在多个 expression 指向同一视频或同一目标。 2. 若存在 multi-expression 结构，训练阶段必须显式利用它：对同一视频 / 同一 tube 使用至少两个不同 expressions 进行 forward pass，共享 proposals，但使用不同 conditional queries。 3. 验证 H3 时不能只报告 AC。AC 只能证明模型是否关注正确区域 / 正确 tube，不能证明同一 tube 在不同 expression 下产生了差异化证据摘要。 4. H3 的直接验证指标是：同一视频、同一 matched GT tube、不同 expression 下 \(\tilde{z}_i\) 的 cosine similarity。Fixed Q-Former 因为不依赖 expression，对同一 tube 的不同 expression 输出完全相同，CosSim \(\equiv 1.0\)；conditioned Q-Former 的 similarity 应显著低于 1.0，并且 selection performance 不下降。 5. 若数据审计发现每个视频平均只有一个 expression，则 H3 不作为主贡献，论文主线应回退为 “proposal-conditioned instance grounding + explicit null reasoning”。 **H4: TubeToken 的收益必须通过 proposal recall、oracle upper bound、selection accuracy、refinement quality 和 efficiency breakdown 分别解释。** 不能只报告最终 J/F/S，否则无法回答性能提升来自哪里，也无法判断瓶颈位于 proposal、selection 还是 refinement。 **H5: TubeToken 的提升必须在公平计算量和公平 proposal 条件下仍然成立。** 必须通过 SimToken + SAM2 proposals、SimToken + matched compute、SAM2 proposals + learned reranker（no null tube）等对照排除 “只是 SAM2 proposal 更强” 或 “只是计算量更多” 的解释。 ## 2. 方法版本定义 ### 2.1 TubeToken-Full 完整方法包含四个阶段。 --- ### Stage 1: Candidate tube generation 在关键帧上使用 SAM2 automatic mask generation 产生候选 masks，并用 SAM2 tracking / memory 机制向前后帧传播，得到候选 object tubes： \[ \mathcal{O} = \{o_1, o_2, \dots, o_N\} \] 每个 tube： \[ o_i = \{m_{i,t}, b_{i,t}, f_{i,t}\}_{t=1}^{T} \] 其中： - \(m_{i,t}\)：第 \(t\) 帧 mask； - \(b_{i,t}\)：第 \(t\) 帧 bbox； - \(f_{i,t}\)：mask-pooled visual feature。 **实现约定**： 默认在关键帧上运行 SAM2 AMG，在非关键帧上使用 SAM2 propagation，而不是每帧重新运行 AMG。这样可以避免 proposal 阶段计算量过高。 --- ### Stage 2: Text-audio conditioned tube representation 文本表达编码为 \(e_{text}\)，音频编码为 \(e_{audio}\)。构造条件化 query： \[ Q = Q_0 + W_t e_{text} + W_a e_{audio} + W_{ta}(e_{text} \odot e_{audio}) \] 对每个 tube 的时序特征 \(\{f_{i,t}\}_{t=1}^{T}\) 进行条件化压缩： \[ \tilde{z}_i = \text{CondQFormer}(Q, \{f_{i,t}\}_{t=1}^{T}) \] 该模块的目标不是单纯减少 token 数，而是让同一 tube 在不同 expression 下形成不同的证据摘要。 **v3 约束：** 如果数据集中存在多 expression 样本，Stage 2 的训练必须在 batch 内显式包含同一视频 / 同一 tube 的不同 expression forward pass。否则 H3 只能作为推理假设，不能作为强实验证明。 #### 2.2 特征来源说明 默认设定： \[ f_{i,t} = \text{MaskPool}(\text{SAM2ImageEncoder}(I_t), m_{i,t}) \] 也就是说，Stage 2 复用 SAM2 image encoder 特征，不额外引入独立 ViT 或 CLIP visual encoder。这样有三个好处： 1. proposal generation 与 tube representation 使用一致的视觉特征； 2. 避免额外视觉 encoder 带来的计算量和公平性争议； 3. efficiency table 更清楚，便于与 SimToken 和 SAM2-based baselines 对比。 可选扩展：若 SAM2 encoder feature 与文本/音频语义对齐不足，可增加一个轻量 projector： \[ f'_{i,t} = W_v f_{i,t} \] 但默认不引入额外大规模 visual-language encoder。 --- ### Stage 3: Tube selection with null tube 加入一个 learnable null tube： \[ z_{null} \] 将所有候选 tubes 与 null tube 一起输入 tube selector： \[ P(i \mid video, audio, text) = \text{Softmax}([s_1, s_2, \dots, s_N, s_{null}]) \] 若 \(P(null)\) 最大，则输出空 mask；否则选择得分最高的 object tube。 Existence probability 自然定义为： \[ p_{exist} = 1 - P(null) \] #### Tube selector 默认结构 默认采用： 1. reference query \(q_{ref}=\text{MLP}([e_{text},e_{audio}])\)； 2. tube tokens \(\{\tilde{z}_i\}_{i=1}^{N}\)； 3. inter-tube self-attention； 4. reference-conditioned cross-attention； 5. per-tube classification head。 必须做消融： - w/ inter-tube self-attention； - w/o inter-tube self-attention； - independent tube scoring，即每个 tube 独立通过 \([q_{ref}; \tilde{z}_i]\) 的线性层打分。 --- ### Stage 4: SAM refinement 选中 tube 后，默认只使用 tube bbox 作为 box prompt，并结合 text/audio semantic prompt 进行 SAM refinement： \[ \hat{m}_t = \text{SAMRefine}(I_t, b_{i,t}, q_{ref}) \] 默认不使用 tube mask 作为 mask prompt，避免“自我精修”带来的解释问题。tube mask 只用于： 1. 生成 bbox； 2. 提取 tube feature； 3. proposal matching； 4. oracle upper bound 计算。 需要额外做对照： - bbox-only prompt； - bbox + semantic prompt； - bbox + mask prompt。 如果 bbox + mask prompt 没有明显收益，正文采用 bbox-only 或 bbox + semantic prompt 作为默认版本。 --- ## 3. 数据审计与诊断子集构建 正式训练前必须先完成数据审计。该步骤决定后续实验是否有足够说服力。v3 将数据审计升级为 **Phase -1**，其中 multi-expression 结构与 SimToken 复现是进入 Phase 0 的前置条件。 ### 3.1 必统计项目 | 项目 | 目的 | |---|---| | 每个视频的 referring expression 数量 | 判断 H3 是否可以被直接训练和验证 | | 每个 GT object / tube 对应的 expression 数量 | 构建 H3 direct validation subset | | SimToken alignment loss 中正样本表达集 \(\mathcal{P}_i\) 是否可复用 | 决定 multi-expression training 的实现路径 | | Null 样本比例 | 判断 null tube / weighted CE 的训练难度 | | GT 目标可见帧比例 | 决定是否需要 frame-level existence；若比例低则不引入 | | 目标首次出现时间分布 | 构建 late-target subset，验证是否缓解 first-frame bias | | 同类多实例比例 | 验证 inter-tube reasoning 和 hard negative 是否必要 | | 小目标 / 遮挡目标比例 | 评估 proposal recall 风险 | | 音频依赖表达比例 | 验证 audio-conditioned compression 是否有空间 | | 空间关系表达比例 | 验证 spatial/relation query 是否必要 | | Proposal miss 与目标属性关系 | 分析 SAM2 proposal 对小目标、遮挡、unseen 类别的系统性偏差 | ### 3.1.1 Multi-expression audit 的决策规则 | 审计结果 | 对 H3 和 CondQFormer 的影响 | |---|---| | 每个视频平均 expression 数 > 1.5，且同一 GT object 有多个 expression | 正常推进 H3；使用 multi-expression training 和 direct cosine validation | | 多数视频只有 1 个 expression，但少量视频有多 expression | H3 作为诊断性贡献；在 multi-expression subset 上报告直接验证 | | 每个视频基本只有 1 个 expression | 不把 H3 作为核心 claim；CondQFormer 改述为 learned tube compression / multimodal query adaptation | --- ### 3.2 诊断子集 至少构建以下子集。 #### 3.2.1 Late-target subset 目标首次可见帧位于视频后 50% 的样本。 定义： \[ t_{first} = \min \{t \mid g_t \neq \emptyset\} \] 若： \[ t_{first} > 0.5T \] 则归入 late-target subset。 --- #### 3.2.2 Audio-critical subset v3 继续采用两阶段定义。 **Stage A: 初筛** 通过文本关键词筛选： - sounding； - making sound； - longest sound； - intermittent sound； - silent； - audio； - heard； - emitting sound； - playing instrument 等。 **Stage B: 精筛** 训练出 w/o Audio 版本后，将满足以下条件的样本归入 strict audio-critical subset： 1. Full model 预测正确或显著优于阈值； 2. w/o Audio 模型预测错误或 J/F 显著下降； 3. 视频中存在至少两个视觉候选，单靠视觉无法稳定区分目标。 这样避免“表达包含音频词但视觉上唯一可解”的伪 audio-critical 样本。 --- #### 3.2.3 Same-category distractor subset 视频中存在多个同类别或高度相似候选对象，表达需要区分实例。 优先数据来源： 1. 数据集原始 object annotations； 2. 若无现成标注，使用 CLIP / Grounding DINO / OWL-ViT 进行 zero-shot object discovery； 3. 结合 SAM2 proposals 的 mask-pooled CLIP similarity 聚类，近似识别同类候选。 该子集需要报告构建方式和人工抽查准确率，避免 Reviewer 质疑子集可靠性。 --- #### 3.2.4 Null subset 原始 Null 样本，并进一步区分： 1. visual object exists but not referred； 2. audio exists but no valid visual target； 3. text refers to absent object； 4. audio-text conflict / ambiguous null。 --- #### 3.2.5 Small / occluded target subset 用于分析 proposal miss。 初始定义： - small：GT mask area 小于图像面积的 5%； - heavily occluded：连续可见帧少于 \(0.5T\)，或 mask area 在时序上剧烈波动； - partial target：目标只在部分帧出现。 --- #### 3.2.6 Multi-expression H3 subset 用于直接验证 H3。 样本条件： 1. 同一视频中存在至少两个 referring expressions； 2. 这些 expressions 指向同一 GT object / GT tube，或至少指向可稳定匹配的同一 target instance； 3. expressions 在语义上存在差异，例如类别、动作、音频、空间关系、交互对象或时序片段不同； 4. SAM2 proposals 中存在 matched GT tube，避免 proposal miss 干扰 H3 验证。 报告内容： - 每个视频平均 expression 数； - 每个 GT object 平均 expression 数； - H3 subset 样本数量； - expression 差异类型分布； - 人工抽查准确率。 ## 4. Phase 0: Proposal Recall 与 Oracle 上界预实验 这是 TubeToken 的 go / no-go 实验。若 proposal recall 或 oracle upper bound 不足，TubeToken 的性能上限会被 proposal 阶段限制。 ### 4.0 Phase -1 前置基准线：SimToken 复现 在运行 Proposal Recall 与 Oracle 上界之前，必须先完成 SimToken 复现。 要求： 1. 使用与 TubeToken 后续实验一致的数据划分、输入分辨率、音频特征、训练 epoch、batch size、optimizer、scheduler 和 evaluation script。 2. 以作者复现的 SimToken J/F/S 作为所有 Go/No-Go 条件中的主基准。 3. 官方 SimToken 数字只作为旁注；若复现数字与官方数字差异超过 1.5 J&F，需要先定位差异来源。 4. 论文中明确写作： > All comparisons are conducted under the same training configuration as SimToken (reproduced), with official results cited where applicable. ### 4.1 设置 - Proposal model: SAM2 automatic mask generation。 - 关键帧策略： - stride = 4； - stride = 8； - stride = 16； - first / middle / last + audio-peak frames； - uniform + motion-peak frames； - uniform + audio-peak + motion-peak frames。 - Propagation: 使用 SAM2 memory / tracking 机制生成完整 tube。 - Candidate numbers: \(N=16,32,64,128\)。 --- ### 4.2 Tube matching 定义 v3 使用 **GT-visible-frame mean tube IoU**，避免 late-target 或 partial target 样本被空帧稀释。 令： \[ \mathcal{T}_g = \{t \mid g_t \neq \emptyset\} \] 则： \[ IoU_{tube}(o_i, g)= \frac{1}{|\mathcal{T}_g|} \sum_{t \in \mathcal{T}_g} IoU(m_{i,t}, g_t) \] 若： \[ \max_i IoU_{tube}(o_i, g) \ge 0.5 \] 则认为 GT 被 proposal 覆盖。 同时报告更严格版本： \[ IoU_{tube}^{all} = \frac{1}{T} \sum_{t=1}^{T} IoU(m_{i,t}, g_t) \] 用于分析 tube 在 GT 不存在帧是否产生多余 mask。 ### 4.2.1 Oracle Refined J/F 精确定义 **Oracle Tube J/F**：在 top-N candidate tubes 中选择 \(IoU_{tube}\) 最高的 tube，直接评估该 tube mask 的 J/F。 **Oracle Refined J/F**：在 top-N candidate tubes 中选择 oracle tube，只使用该 tube 的 bbox 作为 SAM / SAM2 box prompt，经 refinement 后评估 J/F。 约束： 1. 不允许使用 GT mask 作为 mask prompt； 2. 不允许使用 oracle GT box； 3. bbox 来自 oracle proposal tube； 4. refinement 设置必须与实际 Stage 4 默认设置一致。 这样 Oracle Refined J/F 才是实际 TubeToken refinement 的可达上界，而不是依赖 GT mask 的理想化上界。 --- ### 4.3 指标 | 指标 | 解释 | |---|---| | Recall@16 / 32 / 64 / 128 | top-N tubes 中是否存在 GT tube | | Oracle Tube J/F | 总是选择 \(IoU_{tube}\) 最高 tube 的 proposal 上界 | | Oracle Refined J/F | 选择 oracle tube 后，仅用 proposal bbox prompt 做 SAM refinement 的上界 | | Proposal coverage by subset | 在 late-target、small、occluded、unseen 上分别报告 | | Proposal miss % | 未覆盖 GT 的样本比例 | | Average tubes per video | 计算量和 pruning 难度 | | Proposal generation latency | 评估效率 | | Tube temporal purity | tube 是否在 GT 不存在帧产生大量 false positive | --- ### 4.4 Go / No-Go 决策标准 下列阈值中的 SimToken 均指 **作者复现的 SimToken**，不是仅引用官方数字。 #### 4.4.1 Milestone 1 绿灯条件 同时满足： 1. Recall@32 ≥ 85%，其中 matching 使用 GT-visible-frame IoU ≥ 0.5； 2. Oracle Tube J/F ≥ reproduced SimToken J/F + 5%； 3. Oracle Refined J/F ≥ Oracle Tube J/F + 3%，说明 SAM refinement 有明确提升空间； 4. Small / occluded subset Recall@32 ≥ 70%，避免 proposal 对关键困难样本存在系统性盲区。 策略：TubeToken 正常推进，默认 Balanced 配置使用 \(N=32\)。 #### 4.4.2 Milestone 1 黄灯条件 | 条件 | 后续策略 | |---|---| | Recall@32 为 80%-85%，且 Oracle Tube J/F 满足绿灯条件 | 继续推进，但默认 \(N=64\)，并在论文中重点分析 proposal miss | | Oracle Tube J/F 仅 ≥ SimToken + 2%，但 Oracle Refined J/F ≥ SimToken + 5% | 继续推进，但论文重心从 selection 转向 refinement；强调 proposal-conditioned refinement | | Recall@32 ≥ 85%，但 small/occluded Recall@32 < 70% | 继续推进主线，但必须增加 detector-assisted proposals 或 high-resolution proposals 的备选实验 | #### 4.4.3 Milestone 1 红灯条件 任一条件满足即暂停 TubeToken 主线，优先切换 EC-SimToken 或重做 proposal 阶段： 1. Recall@64 < 80%； 2. Oracle Tube J/F ≤ reproduced SimToken J/F； 3. Recall@32 ≥ 85%，且 Oracle Refined J/F 与 Oracle Tube J/F 差距 < 1%，且 Oracle Tube J/F ≤ reproduced SimToken J/F + 2%。 第三条红灯条件只使用 Phase 0 可观测量。其含义是：proposal 质量本身只比 SimToken 略好，bbox-only refinement 又几乎无增益，此时 TubeToken 在该数据集上缺少足够立足点，不应依赖 Milestone 2 之前无法验证的 selection 收益预期。 --- ### 4.5 若 recall 不足的备选策略 1. 增加关键帧数量； 2. 使用 audio-peak / motion-peak keyframes； 3. 对文本中出现的类别词使用 open-vocabulary detector 生成 boxes，再送 SAM2； 4. 使用 SimToken / EC-SimToken 的 mask 作为额外 proposal； 5. 引入 hybrid fallback：若 proposal confidence 低，则回退到 global semantic prompt segmentation。 ## 5. Baseline 与模型变体 ### 5.1 必须复现 / 对比的模型 | 模型 | 用途 | |---|---| | EEMC | 原始 Ref-AVS baseline | | TSAM | SAM-based Ref-AVS baseline | | SAM2-LOVE | SAM2-based Ref-AVS baseline | | SimToken | 最直接对比对象，必须复现 | | EC-SimToken | 强化后的 global token baseline，用于证明 TubeToken 不是只打 weak baseline | | SimToken + SAM2 proposals | 控制 SAM2 proposals 带来的收益，采用零参数 reranking | | SAM2 proposals + learned reranker（no null tube） | 分离 learned tube reranker 与 null tube 的贡献 | | SimToken + matched compute | 等计算量公平对照 | | TubeToken-Minimal | 最小 tube selection 框架 | | TubeToken-Full | 完整方法 | 如果无法完整复现 EEMC、TSAM、SAM2-LOVE，可引用官方结果；但 SimToken、SimToken + SAM2 proposals、SAM2 proposals + learned reranker、SimToken + matched compute、TubeToken 必须在同一训练 / 输入 / 评估设置下比较。 --- ### 5.2 TubeToken 主要消融 | 变体 | 目的 | |---|---| | TubeToken-Full | 完整模型 | | TubeToken-Minimal | SAM2 proposals + fixed tube feature + selector + null tube，无 CondQFormer，无 refinement | | SAM2 proposals + learned reranker（no null tube） | 分离 learned selector 与 null tube 的贡献 | | w/o null tube | 验证显式 Null 建模 | | null tube → binary existence head | 比较 null tube 与额外二分类 head | | w/o null tube + mask-area threshold | 区分 Null 性能来自 tube 框架还是 null tube 设计 | | fixed Q-Former | 验证 conditioning 是否有效，而非参数量增加 | | text-conditioned only | 验证文本条件贡献 | | audio-conditioned only | 验证音频条件贡献 | | text+audio-conditioned | 完整条件化压缩 | | w/o inter-tube self-attention | 验证 tube 间相对比较是否必要 | | independent tube scoring | 每个 tube 独立通过 \([q_{ref};z_i]\) 线性打分 | | w/o SAM refinement | 验证 tube selection 本身能力 | | bbox prompt refinement | 默认 refinement 方案 | | bbox + semantic prompt refinement | 验证 semantic prompt 是否有贡献 | | bbox + mask prompt refinement | 检查 mask prompt 是否会带来收益或过拟合 | | N=16/32/64/128 | 分析 candidate 数量和 recall/效率 trade-off | | stride=4/8/16 | 分析关键帧数量和效率 trade-off | --- ### 5.3 公平性控制变体 #### 5.3.1 SimToken + SAM2 proposals：零参数 proposal reranking baseline 目的：回答 “TubeToken 的提升是否只是因为使用了 SAM2 proposals？” 该 baseline 必须采用参数无关的 reranking，不能使用模糊的 “rerank or fusion” 写法。 实现： 1. 保持 SimToken 的 global `` 生成方式，得到 \(F_{seg}\)。 2. 使用与 TubeToken 完全相同的 SAM2 proposals 和 tube construction。 3. 对每个 proposal tube 提取时序 mask-pooled feature \(f_{i,t}\)。 4. 使用如下零参数分数： \[ \text{score}(o_i) = F_{seg}^{\top} \cdot \frac{1}{|\mathcal{T}|} \sum_t f_{i,t} \] 5. 选择分数最高的 proposal tube，并使用与 TubeToken-Minimal 一致的输出设置。 该方案不引入额外可学习参数，与 SimToken 的 \(F_{seg}\) 使用方式一致，能最大限度避免 Reviewer 质疑对照组被弱化。 --- #### 5.3.2 SAM2 proposals + learned reranker（no null tube） 目的：回答 “TubeToken-Minimal 的提升来自 learned tube selector，还是来自 null tube？” 实现： 1. 使用与 TubeToken-Minimal 相同的 SAM2 proposals、tube construction、tube feature 和 \(q_{ref}\)。 2. 训练一个 learned reranker / classifier 对非 null candidate tubes 打分。 3. 不加入 learnable null tube。 4. Null case 使用 mask-area threshold 或 calibrated score threshold 处理。 5. 与 TubeToken-Minimal 对比：若 TubeToken-Minimal 明显更好，说明 null tube 有独立贡献；若 learned reranker 已接近 TubeToken-Minimal，说明主要收益来自 learned tube selection。 --- #### 5.3.3 SimToken + matched compute：预注册等计算量 baseline 目的：回答 “TubeToken 是否只是计算量换性能？” v4 固定唯一实现，不再保留多个候选方案： > **SimToken + multiple keyframe prompting with the same number of keyframes as TubeToken-Fast.** 实现约定： 1. 使用与 TubeToken-Fast 相同数量的关键帧，默认对应 TubeToken-Fast 的 stride=16 keyframe budget。 2. 对每个关键帧分别运行 SimToken 的 global `` / SAM prompting 流程。 3. 将多个 keyframe 的预测通过同一 propagation / aggregation 规则合成为视频级 mask，规则必须在实验前固定。 4. 不使用 SAM2 proposal tube reranking，不引入 learned tube selector，不引入 null tube。 5. 报告 latency、FLOPs、SAM/SAM2 call 数、MLLM token count，使其与 TubeToken-Fast 的计算预算尽可能接近。 选择该实现的原因：TubeToken-Fast 的额外计算主要来自更多关键帧与 proposal/propagation 处理，而 multiple keyframe prompting 是 SimToken 侧最直接、最可解释、最难被质疑的等计算量增强方式。该 baseline 必须在实验开始前预注册，不能根据最终结果临时更换。 ## 6. 训练设计 ### 6.1 Tube label assignment 正样本视频中，选择 GT-visible-frame mean tube IoU 最大的 candidate tube 作为正 tube： \[ i^* = \arg\max_i IoU_{tube}(o_i,g) \] 若最大 IoU 小于 0.5，则标记为 proposal miss。训练时： - 不用于 tube classification loss； - 可用于 proposal miss 统计； - 不建议强行把低 IoU tube 当正样本，以免污染 selector。 Null 样本中，正类为 null tube。 --- ### 6.2 Loss function v3 默认总损失中 **不包含未定义的 \(\mathcal{L}_{cond}\)**。Null 加权并入 tube classification CE，而不是单独写成独立的 \(\mathcal{L}_{null}\)。 默认总损失： \[ \mathcal{L} = \mathcal{L}_{tube}^{weighted} + \lambda_m y\mathcal{L}_{mask} + \lambda_r\mathcal{L}_{rank} \] 其中： \[ \mathcal{L}_{tube}^{weighted} = \sum_i w_i \cdot \text{CE}(P(i \mid video,audio,text), y_i) \] - 正样本：\(w_i=1\)； - Null 样本：\(w_i=w_{null}\)，由 curriculum 控制； - \(\mathcal{L}_{mask}\)：BCE + Dice，只对非 Null 且非 proposal miss 样本计算； - \(\mathcal{L}_{rank}\)：hard negative ranking loss。 Hard negative ranking： \[ \mathcal{L}_{rank} = \sum_{j\in\mathcal{N}} \max(0,\Delta-s_{i^*}+s_j) \] #### 6.2.1 Optional \(\mathcal{L}_{cond}\) 辅助项 如果实验中决定使用 attention supervision，则 \(\mathcal{L}_{cond}\) 必须单独定义、单独消融，不能作为默认损失悬空出现。 可选定义： \[ \mathcal{L}_{cond} = - \sum_{t,l} \bar{M}_{t,l} \log A_{t,l} \] 其中： - \(A_{t,l}\)：CondQFormer 对第 \(t\) 帧第 \(l\) 个 patch / region 的 attention； - \(\bar{M}_{t,l}\)：归一化后的 GT mask 或 matched proposal mask； - 该项只在有可靠 GT spatial supervision 的样本上使用。 若使用该项，则总损失写为： \[ \mathcal{L} = \mathcal{L}_{tube}^{weighted} + \lambda_m y\mathcal{L}_{mask} + \lambda_r\mathcal{L}_{rank} + \lambda_c\mathcal{L}_{cond} \] 并报告 with / without \(\mathcal{L}_{cond}\)。 --- ### 6.3 Multi-expression training for CondQFormer 这是 H3 在训练层面的必要实现。 适用前提：数据审计确认同一视频或同一 GT object 存在多个 referring expressions。 训练方式： 1. 对每个 multi-expression 样本，先生成一次 SAM2 proposals，得到共享 candidate tubes \(\mathcal{O}\)。 2. 在同一个 batch 或 gradient accumulation window 中采样至少两个不同 expressions：\(r_a, r_b\)。 3. 对同一组 tubes 分别构造条件化 query： \[ Q_a = Q_0 + W_t e_{text}^{a} + W_a e_{audio}^{a} + W_{ta}(e_{text}^{a} \odot e_{audio}^{a}) \] \[ Q_b = Q_0 + W_t e_{text}^{b} + W_a e_{audio}^{b} + W_{ta}(e_{text}^{b} \odot e_{audio}^{b}) \] 4. 分别得到： \[ \tilde{z}_{i}^{a} = \text{CondQFormer}(Q_a, \{f_{i,t}\}_{t=1}^{T}) \] \[ \tilde{z}_{i}^{b} = \text{CondQFormer}(Q_b, \{f_{i,t}\}_{t=1}^{T}) \] 5. 共享 tube proposals，但每个 expression 独立计算 tube selection loss。 6. 如果两个 expressions 指向同一 GT tube，则要求 selection 都正确；不强制 \(\tilde{z}_{i}^{a}\) 与 \(\tilde{z}_{i}^{b}\) 相同，因为 H3 恰恰要求不同 expression 暴露不同证据。 7. 如果两个 expressions 指向不同 targets，则作为 inter-expression hard negatives，用于强化同视频 instance discrimination。 **实现注记：梯度冲突风险。** 当两个 expressions 对同一 tube 需要关注不同证据时，例如一个表达依赖音频活跃帧，另一个表达依赖空间位置，CondQFormer 的共享参数可能收到相互冲突的梯度，造成训练振荡。若出现 loss oscillation、attention collapse 或正样本 Selection Acc 明显下降，采用以下缓解策略： 1. 将不同 expression 的 forward / backward 放入同一 gradient accumulation window，但分开计算梯度后再累积，而不是在一个合并 forward 中强行混合； 2. 训练早期优先采样语义差异较小的 expression pair，例如同为视觉表达或同为音频表达； 3. 训练稳定后再逐步加入 cross-modality expression pair，例如 audio-expression vs spatial-expression； 4. 单独记录 multi-expression pair 类型与训练稳定性，避免把梯度冲突误判为 conditioning 无效。 训练记录： - batch 中 multi-expression 样本比例； - 每个 shared proposal set 对应的 expression 数； - expression pair 类型分布：visual-visual、audio-audio、visual-audio、spatial-audio； - 使用 multi-expression training 与不使用该训练策略的对比结果。 若数据集不支持 multi-expression training，则必须在论文中降低 H3 的表述强度。 --- ### 6.4 Null tube curriculum Null tube 训练初期不稳定，因此采用 curriculum： | 阶段 | epoch | Null 权重 \(w_{null}\) | |---|---:|---:| | Warmup | 0-2 | 2.0 | | Middle | 3-6 | 1.0 | | Final | 7+ | 0.5 | 同时使用 Null oversampling，但必须明确目标比例。 默认设置： - 每个 batch 中 Null 样本目标比例：25%； - 若原始 Null 比例高于 25%，不额外下采样，直接使用自然分布； - 若原始 Null 比例低于 25%，通过 oversampling 补足； - 单个 batch 中 Null 比例原则上不超过 33%，除非专门做采样比例消融。 必须报告 Null sampling ratio 对以下指标的影响： - Null FPR； - Positive FNR； - Null S； - Tube Selection Acc@1； - “GT tube Top-3 but null tube Top-1” 错误比例。 Null sampling ratio 消融： | Ratio | 目的 | |---:|---| | 0% | no oversampling baseline | | 12.5% | 弱 oversampling | | 25% | 默认设置 | | 33% | 较强 oversampling | | 50% | 检查是否导致过度保守预测 null | --- ### 6.5 Hard negative mining Hard negative mining 分阶段引入，避免工程依赖混乱。 #### Milestone 2: TubeToken-Minimal 阶段 只使用不依赖 CondQFormer 的 hard negatives： 1. tube IoU 与 GT 较高但不是目标； 2. 与 GT bbox / mask 空间位置接近； 3. mask-pooled visual feature 与 GT 相似； 4. 若有类别标签，则加入同类别不同实例。 #### Milestone 3: CondQFormer 阶段 加入 text/audio mismatch negatives： 1. 与文本相似但音频不匹配； 2. 与音频同步但文本不匹配； 3. 与 audio-critical expression 高相关但不是 GT 的 tube； 4. same-category distractor 中的高分错误 tube； 5. 同一视频不同 expression 指向不同目标时，将非当前 expression 的目标 tube 作为 hard negative。 ## 7. 评价指标 ### 7.1 标准指标 | 指标 | 说明 | |---|---| | Seen J / F / J&F | seen categories 分割质量 | | Unseen J / F / J&F | unseen categories 泛化能力 | | Mix J / F / J&F | 综合表现 | | Null S | Null subset 空目标表现 | --- ### 7.2 TubeToken 专属指标 | 指标 | 说明 | |---|---| | Recall@N | proposal 阶段是否覆盖 GT | | Oracle Tube J/F | proposal 上界 | | Oracle Refined J/F | proposal + bbox-only refinement 上界 | | Tube Selection Acc@1 | GT tube 被覆盖时，Top-1 预测是否为 matched GT tube | | Tube Selection Acc@3 | matched GT tube 是否进入 Top-3 | | GT Top-3 but Null Top-1 Rate | GT tube 已在 Top-3，但 null tube 排名第 1 的比例 | | Null Accuracy | 是否正确选择 null tube | | Null FPR | Null 视频中错误选择非空 tube 的比例 | | Positive FNR | 正样本视频中错误选择 null tube 的比例 | | Existence AUC | \(p_{exist}=1-P(null)\) 的判别能力 | | Reliability Diagram / ECE | existence probability 是否校准 | | Refinement Gain | SAM refinement 前后 J/F 提升 | | Latency / FPS / Memory | 效率指标 | | \(AC\) | attention mass 是否集中在 GT region / GT tube | | \(\widehat{AC}_{tube}\) | 标准化 tube-level AC，定义为 \(N\cdot AC_{tube}\)，用于不同 N 之间比较 | | H3 Cosine Similarity Gap | 同一 tube 不同 expression 下 conditioned 与 fixed Q-Former 的 \(\tilde{z}_i\) 相似度差异 | **Tube Selection Acc 定义：** 在 GT tube 被 proposal 覆盖的样本中，selector 的 Top-1 预测与 matched GT tube 一致的比例。proposal miss 样本不计入该指标，但必须单独报告。 **Selection Acc@3 的 null 处理：** 针对正样本评估 object-level Top-3 时，先从候选排名中排除 null tube，再判断 matched GT tube 是否进入 Top-3。否则 null tube 排名第 2 但 GT tube 排名第 3 的情况会被误计为 object selection 成功。与 null 校准相关的情况单独用 **GT Top-3 but Null Top-1 Rate** 报告，该指标在包含 null tube 的完整 ranking 上计算。 若 Null 样本少于 200 个，Reliability Diagram 作为主要校准分析，ECE 仅作为辅助数字。 --- ### 7.3 Error decomposition 每个失败样本归类为： | 错误类型 | 判定标准 | |---|---| | Proposal miss | top-N candidate tubes 中无 tube 与 GT-visible-frame mean IoU ≥ 0.5 | | Selection error | GT tube 存在，且非 null tube 被错误选择为其他 object tube | | Refinement error | selector 选对，但 refined mask J/F 明显低 | | Null false positive | Null 视频中选择了非空 tube | | Null false negative | 正样本视频中选择了 null tube | | GT tube Top-3 but Null Top-1 | 正样本中 matched GT tube 已进入 Top-3，但 null tube 得分最高 | 最后一类不应简单并入 Selection error 或 Null FN。它说明模型具备候选识别能力，但 existence / null 校准存在问题。 **互斥归类优先级：** Error decomposition 必须保证每个失败样本只落入一个类别，避免各项占比相互重叠。默认优先级为： 1. Proposal miss； 2. Null FN with GT Top-3，即正样本中 null ranked 1st 且 matched GT tube 进入 object-level Top-3； 3. Null FN without GT Top-3； 4. Selection error； 5. Refinement error； 6. Null FP。 报告时可以把第 2、3 类合并成总 Null FN，同时单独列出 GT Top-3 but Null Top-1 作为 Null FN 的校准子类型。 该分析需要在 Seen、Unseen、Null、late-target、same-category distractor、audio-critical 子集上分别报告。 ## 8. 诊断实验 ### 8.1 Conditioning 是否真的有效 v3 将 conditioning 诊断拆成两个层次： 1. **Correctness level**：模型是否关注正确 GT 区域 / GT tube。对应 AC 与 \(\widehat{AC}_{tube}\)。 2. **Expression-sensitivity level**：同一 tube 在不同 referring expressions 下是否产生不同证据摘要。对应 H3 direct validation。 这两个层次不能混淆。高 AC 只能说明模型关注正确对象，不能直接证明 H3。 #### 8.1.1 H3 direct validation：同一 tube 不同 expression 的表示差异 适用子集：3.2.6 Multi-expression H3 subset。 实验设置： 1. 对同一视频生成一次 shared candidate tubes； 2. 找到 matched GT tube \(o_{i^*}\)； 3. 对同一视频的两个 expressions \(r_a,r_b\) 分别运行 fixed Q-Former 与 conditioned Q-Former； 4. 记录同一 tube 的输出表示：\(\tilde{z}_{i^*}^{a}\)、\(\tilde{z}_{i^*}^{b}\)。 指标： \[ \text{CosSim}_{same\ tube} = \cos(\tilde{z}_{i^*}^{a},\tilde{z}_{i^*}^{b}) \] 报告： | Model | Same-tube cross-expression CosSim | Selection Acc@1 | H3 解释 | |---|---:|---:|---| | Fixed Q-Former | 1.0 | | 不依赖 expression，确定性恒等 baseline | | Text-conditioned | | | 文本差异是否改变 tube summary | | Audio-conditioned | | | 音频差异是否改变 tube summary | | Text+Audio-conditioned | | | 完整条件化是否产生最大差异 | 期望结果： - Fixed Q-Former 的 cross-expression CosSim \(\equiv 1.0\)，这是确定性 baseline，而不是经验近似； - Text+Audio-conditioned Q-Former 的 CosSim 显著低于 1.0； - CosSim 降低不能以 Selection Acc 下降为代价； - 若 CosSim 无差异但性能提升存在，则论文表述应改为 “learned compression improves selection”，而不是强称 “expression-conditioned evidence summarization”。 --- #### 8.1.2 Attention Concentration 指标 对于 patch-level 或 frame-level attention \(A\)，定义： \[ AC = \frac{ \sum_{t,l} A_{t,l} \cdot \mathbf{1}[(t,l)\in GT] }{ \sum_{t,l} A_{t,l} } \] 若 attention 是 tube-level，则原始 tube attention concentration 为： \[ AC_{tube} = \sum_i A_i \cdot \mathbf{1}[i=i^*] \] 但 \(AC_{tube}\) 受 candidate 数 \(N\) 影响。为保证不同 N 下可比较，v3 使用标准化版本： \[ \widehat{AC}_{tube}=N\cdot AC_{tube} \] 其中随机基准恒为 1.0，完全集中在 GT tube 上时为 \(N\)。 比较： - fixed Q-Former； - text-conditioned； - audio-conditioned； - text+audio-conditioned。 并在以下表达类型上分别报告： 1. audio-related expressions； 2. spatial relation expressions； 3. category-only expressions； 4. same-category distractor samples； 5. multi-expression H3 subset。 --- ### 8.2 Audio robustness | 实验 | 目的 | |---|---| | audio removed | 测试音频模块整体贡献 | | audio amplitude zeroed, temporal length preserved | 区分音频缺失与全零音频特征；检查模型是否只利用“有无音频”信号 | | audio shuffled | 测试是否依赖时间同步 | | same-category audio swapped | 测试是否依赖细粒度音频差异 | | cross-category audio swapped | 测试是否使用音频语义，而非只检测音频存在 | | audio-text conflict | 测试冲突条件下模型是否合理退化 | | strict audio-critical subset | 测试音频关键样本上的收益 | **Audio swapped 分组要求**： 1. Same-category swap：例如吉他声换另一段吉他声； 2. Cross-category swap：例如吉他声换狗叫或人声。 只有 cross-category swap 导致显著下降，并且 zeroed audio 与 removed audio 呈现可解释差异，才能更有力证明模型确实使用音频语义。 --- ### 8.3 First-frame bias / temporal coverage | 实验 | 目的 | |---|---| | late-target subset | 目标后半段出现时是否优于 SimToken | | keyframe stride ablation | 分析关键帧覆盖对性能影响 | | partial target subset | 测试目标只在部分帧出现的鲁棒性 | | target disappears subset | 测试 tracking 稳定性 | | GT-visible-frame IoU vs all-frame IoU | 区分目标定位质量和多余 mask 问题 | --- ### 8.4 Same-category distractor 报告： - TubeToken vs SimToken； - w/ self-attention vs w/o self-attention； - hard-negative ranking loss ablation； - Selection Acc@1 / Acc@3； - 同类干扰样本上的 error decomposition。 重点验证 TubeToken 是否减少同类实例混淆。 --- ### 8.5 Null threshold sensitivity 虽然 TubeToken 使用 null tube，不需要手工 mask area threshold，但仍需要展示： \[ p_{exist}=1-P(null) \] 在不同 threshold 下的： - Null FPR； - Positive FNR； - J&F； - Null S； - GT tube Top-3 but Null Top-1 Rate。 这能说明模型是否对阈值敏感。 同时比较： 1. null tube； 2. binary existence head； 3. mask-area threshold。 ## 9. Efficiency 与公平计算量对比 Reviewer 会质疑 TubeToken 是否只是计算量换性能，因此必须主动报告效率与等计算量对照。 ### 9.1 需要报告的效率项 | 项目 | 说明 | |---|---| | Proposal generation time | SAM2 AMG + keyframe processing，按 per video 统计 | | Tracking / propagation time | SAM2 memory propagation | | Tube selection time | conditional compression + selector，按 per expression 统计 | | SAM refinement time | bbox prompt refinement | | Total latency per video | 完整推理耗时，需区分单 expression 与多 expression 场景 | | FPS | 视频级速度 | | Peak GPU memory | 显存 | | MLLM token count | 与 SimToken 比较 | | Number of SAM/SAM2 calls | 计算量透明化 | | Candidate tube number | N=16/32/64/128 | | Keyframe stride | stride=4/8/16 | | Amortized proposal cost per expression | 多 expression 场景下，SAM2 proposal generation 对同一视频只运行一次，在 K 个 expressions 间摊销 | | Per-expression incremental cost | CondQFormer、selector、refinement 对每个 expression 的增量耗时 | --- ### 9.2 TubeToken 三种配置 | 配置 | 默认设置 | 目的 | |---|---|---| | Fast | N=16, stride=16 | 接近 SimToken 计算预算 | | Balanced | N=32, stride=8 | 性能与效率折中 | | Accuracy | N=64 或 128, stride=4 | 追求最好性能 | --- ### 9.3 等计算量对比 必须加入： 1. **SimToken + matched compute**，固定为 multiple keyframe prompting with the same number of keyframes as TubeToken-Fast； 2. **SimToken + SAM2 proposals**； 3. **SAM2 proposals + learned reranker（no null tube）**； 4. **TubeToken-Fast**。 报告这些变体在接近 latency / FLOPs / SAM call 数量下的性能。matched compute baseline 的实现必须在实验前固定，不能在实验后根据结果从 multi-scale prompting、multiple decode attempts 等候选方案中挑选。 若 TubeToken-Fast 显著优于 SimToken + matched compute，则可以有力回应“只是计算量换性能”的质疑。 ### 9.4 多 expression 场景下的 proposal amortization 若同一视频有 \(K\) 个 referring expressions，TubeToken 的推理成本应拆分为： \[ C_{video} = C_{proposal}^{video} + K\cdot(C_{cond}^{expr}+C_{select}^{expr}+C_{refine}^{expr}) \] 其中 \(C_{proposal}^{video}\) 是 SAM2 AMG + propagation 的一次性 per-video 成本，不应被错误地重复计算 \(K\) 次。因此需要额外报告： | 指标 | 定义 | |---|---| | Proposal cost per video | 同一视频生成 candidate tubes 的一次性成本 | | Amortized proposal cost per expression | \(C_{proposal}^{video}/K\) | | Incremental expression cost | CondQFormer + selector + refinement 的 per-expression 成本 | | Total cost for K expressions | \(C_{proposal}^{video}+K\cdot C_{expr}\) | 这既避免 Reviewer 误解 TubeToken 每个 expression 都要重跑 SAM2 proposals，也能展示 TubeToken 在多 expression 视频上的潜在效率优势。 --- ## 10. 主表设计 ### 10.1 Main comparison table 主表只保留公开 baseline、复现主基线和 TubeToken 主配置，避免把公平性控制变体全部塞入主表导致结构臃肿。公平性控制单独放入 10.2。 | Method | Seen J&F | Unseen J&F | Mix J&F | Null S | FPS | Memory | |---|---:|---:|---:|---:|---:|---:| | EEMC | | | | | | | | TSAM | | | | | | | | SAM2-LOVE | | | | | | | | SimToken official | | | | | | | | SimToken reproduced | | | | | | | | EC-SimToken | | | | | | | | TubeToken-Balanced | | | | | | | | TubeToken-Accuracy | | | | | | | --- ### 10.2 Fairness analysis table 该表专门回答公平性问题：TubeToken 的收益是否来自 SAM2 proposals、learned reranking、null tube 或额外计算量。 | Method | Matched Proposal? | Matched Compute? | Null Modeling | Seen J&F | Unseen J&F | Mix J&F | Null S | FPS | |---|---|---|---|---:|---:|---:|---:|---:| | SimToken reproduced | No | Base | Implicit / mask output | | | | | | | SimToken + SAM2 proposals zero-param rerank | Yes | No | SimToken implicit | | | | | | | SAM2 proposals + learned reranker（no null tube） | Yes | Partial | threshold / calibrated score | | | | | | | SimToken + matched compute（multiple keyframe prompting） | No | Yes, TubeToken-Fast budget | SimToken implicit | | | | | | | TubeToken-Minimal | Yes | TubeToken-Fast/Balanced reported | learnable null tube | | | | | | | TubeToken-Fast | Yes | Yes | learnable null tube | | | | | | --- ### 10.3 Proposal analysis table | Split | Recall@16 | Recall@32 | Recall@64 | Oracle Tube J&F | Oracle Refined J&F bbox-only | Proposal Miss % | |---|---:|---:|---:|---:|---:|---:| | Seen | | | | | | | | Unseen | | | | | | | | Late-target | | | | | | | | Small/occluded | | | | | | | | Audio-critical | | | | | | | | Multi-expression H3 subset | | | | | | | --- ### 10.4 Ablation table | Variant | Seen J&F | Unseen J&F | Null S | Selection Acc@1 | Null FPR | GT Top-3 Null Top-1 | FPS | |---|---:|---:|---:|---:|---:|---:|---:| | Full | | | | | | | | | TubeToken-Minimal | | | | | | | | | SAM2 proposals + learned reranker（no null tube） | | | | | | | | | w/o null tube | | | | | | | | | binary existence head | | | | | | | | | mask-area threshold | | | | | | | | | fixed Q-Former | | | | | | | | | text-only cond | | | | | | | | | audio-only cond | | | | | | | | | text+audio cond | | | | | | | | | w/o multi-expression training | | | | | | | | | w/ optional \(\mathcal{L}_{cond}\) | | | | | | | | | w/o self-attn | | | | | | | | | independent scoring | | | | | | | | | w/o refinement | | | | | | | | | bbox+mask prompt | | | | | | | | --- ### 10.5 Error decomposition table | Split | Proposal Miss | Selection Error | Refinement Error | Null FP | Null FN | GT Top-3 but Null Top-1 | |---|---:|---:|---:|---:|---:|---:| | Seen | | | | - | | | | Unseen | | | | - | | | | Null | - | - | - | | - | - | | Same-category | | | | - | | | | Late-target | | | | - | | | | Audio-critical | | | | - | | | | Multi-expression H3 subset | | | | - | | | 说明：Late-target、Same-category、Audio-critical 通常为正样本子集，因此 Null FP 不适用，用 “-” 标记；若某个子集定义中包含 Null 样本，则需要拆成 positive / null 两行。 --- ### 10.6 Conditioning analysis table | Model | Overall \(\widehat{AC}_{tube}\) | Audio-expression \(\widehat{AC}_{tube}\) | Spatial-expression \(\widehat{AC}_{tube}\) | Same-category \(\widehat{AC}_{tube}\) | Cross-expression CosSim | Selection Acc@1 | |---|---:|---:|---:|---:|---:|---:| | Fixed Q-Former | | | | | | | | Text-conditioned | | | | | | | | Audio-conditioned | | | | | | | | Text+Audio-conditioned | | | | | | | ## 11. 可视化计划 ### 11.1 必做可视化 1. **Tube selection visualization** 展示 top-5 candidate tubes、selector score、最终选择。 2. **Null case visualization** 展示 null tube 得分最高，输出空 mask。 3. **Same-category distractor** 展示两个相似对象，TubeToken 正确选择目标 tube。 4. **Late-target case** 展示目标不在第一帧时，TubeToken 仍能通过 tube 选择找到目标。 5. **Conditional attention map** 同一视频、不同 expression 下，compressor 关注不同 tube/时间片段。 6. **Attention Concentration visualization** 展示 fixed Q-Former 与 conditioned Q-Former 的 attention mass 差异。 7. **Failure cases** 至少展示 proposal miss、selection error、refinement error 三类失败。 --- ### 11.2 可视化标准 每个案例应包含： - 输入视频关键帧； - expression； - audio waveform 或 audio activity； - candidate tubes； - selection scores； - selected tube； - final mask； - GT mask； - 对应的 error category 或 diagnostic subset 标签。 --- ## 12. 实施顺序与里程碑 ### Phase -1: 数据审计与 SimToken 复现 目标：确认 H3 是否具备数据基础，并建立所有 Go/No-Go 判断的主基准。 交付物： - SimToken reproduced result； - reproduced vs official 差异分析； - multi-expression audit； - H3 subset 构建结果； - Null 样本比例与 batch sampling 计划。 Phase -1 的两个任务可以并行启动：SimToken 复现用于建立所有阈值的主基准，multi-expression audit 用于决定 H3 的叙事强度。 Go / No-Go 条件： | Phase -1 结果 | 建议 | |---|---| | SimToken 复现与官方差异 ≤ 1.5 J&F，且每个视频平均 expression 数 > 1.5 | 按 v4 计划全面推进 Phase 0，H3 保持 P0 级直接验证 | | SimToken 复现与官方差异 ≤ 1.5 J&F，但每个视频基本只有 1 个 expression | 推进 Phase 0，但 H3 direct validation 从 P0 降为 P2，论文采用回退叙事 | | SimToken 复现差异 > 1.5 J&F | 暂停后续实验，先定位复现差异，因为所有 Go/No-Go 阈值都依赖该基准 | Phase -1 结束时必须明确说明 H3 属于强验证、弱验证还是叙事回退。 --- ### Milestone 1: 数据审计与 proposal recall 目标：判断 TubeToken 是否可行。 交付物： - 数据统计表； - Recall@N； - Oracle Tube J/F； - Oracle Refined J/F bbox-only； - proposal miss 分析； - go / no-go 决策。 绿灯条件： - Recall@32 ≥ 85%； - Oracle Tube J/F ≥ reproduced SimToken J/F + 5%； - Oracle Refined J/F ≥ Oracle Tube J/F + 3%； - Small / occluded subset Recall@32 ≥ 70%。 黄灯条件： - Recall@32 为 80%-85%，但 Oracle Tube J/F 满足绿灯条件：推进但默认 N=64； - Oracle Tube J/F 仅 ≥ SimToken + 2%，但 Oracle Refined J/F ≥ SimToken + 5%：推进但论文重心转向 refinement。 红灯条件： - Recall@64 < 80%； - Oracle Tube J/F ≤ reproduced SimToken J/F； - Recall@32 ≥ 85%，且 Oracle Refined J/F 与 Oracle Tube J/F 差距 < 1%，且 Oracle Tube J/F ≤ reproduced SimToken J/F + 2%； - proposal 对 small / occluded / unseen 存在不可接受的系统性盲区。 --- ### Milestone 2: TubeToken-Minimal + Fairness Controls 实现最小版本： - SAM2 proposals； - tube construction； - fixed tube feature； - selector + null tube； - no conditional Q-Former； - no SAM refinement。 同时实现公平性控制： 1. SimToken + SAM2 proposals 零参数 reranking； 2. SAM2 proposals + learned reranker（no null tube）； 3. SimToken + matched compute； 4. w/o null tube + mask-area threshold。 目标：验证 object tube selection 是否优于 global token baseline，并排除“只是 SAM2 proposals 更强”或“只是计算量更多”的解释。 绿灯条件： - TubeToken-Minimal 的 Seen / Unseen J&F 均优于 reproduced SimToken ≥ 2%； - TubeToken-Minimal 优于 SimToken + SAM2 proposals； - TubeToken-Minimal 的 Null S ≤ SimToken Null S × 1.5； - Tube Selection Acc@1 ≥ 70%。 黄灯条件： - TubeToken-Minimal 优于 SimToken 但不优于 SimToken + SAM2 proposals：说明 proposal 贡献占主导，需要强化 selector 或调整论文叙事； - TubeToken-Minimal 仅在 Null 子集优于 SimToken，Seen / Unseen 持平：继续推进 Milestone 3，但不能把 Minimal 作为主要贡献。 红灯条件： - TubeToken-Minimal 在 Seen / Unseen 均不优于 SimToken，且不优于 SimToken + SAM2 proposals：重新设计 selector 或回退 EC-SimToken。 --- ### Milestone 3: 加入 Conditional Compression 实现： - fixed Q-Former； - text-conditioned Q-Former； - audio-conditioned Q-Former； - text+audio-conditioned Q-Former； - multi-expression training； - H3 cosine similarity validation。 目标：证明 conditioning 本身有效，而非 learnable Q-Former 参数量带来的提升。 必须交付： - conditioning ablation； - \(\widehat{AC}_{tube}\)； - H3 cross-expression CosSim； - attention visualization； - audio-critical subset 结果； - audio zeroed / removed / shuffled / swapped robustness。 绿灯条件： - Text+Audio conditioned Q-Former 在 Seen / Unseen 均优于 Fixed Q-Former ≥ 1.5%； - \(\widehat{AC}_{tube}\) 在 audio-related expressions 上 conditioned ≥ fixed × 1.3； - 同一视频不同 expression 下，CondQFormer 的 \(\tilde{z}_i\) CosSim 明显低于 Fixed Q-Former； - strict audio-critical subset 上性能提升 ≥ 2%。 黄灯条件： - CondQFormer 整体提升明显，但 \(\widehat{AC}_{tube}\) 差异不显著：论文改述为 learned tube compression； - Text-only 已足够好，Audio conditioning 额外收益 < 0.5%：audio conditioning 改为 robustness improvement，不作为主贡献。 红灯条件： - Fixed Q-Former 与 Text+Audio conditioned Q-Former 差距 < 0.5%，且所有子集无收益：conditioning 无效，考虑 CLIP visual features 或回退论文叙事。 --- ### Milestone 4: 加入 SAM Refinement 实现： - bbox prompt refinement； - bbox + semantic prompt refinement； - bbox + mask prompt 作为对照。 目标：证明 refinement 的贡献，并确认默认方案。 绿灯条件： - Bbox prompt refinement 在 J 上优于 w/o refinement ≥ 2%； - Oracle Refined J/F 与实际 TubeToken-Full J/F 的差距 ≤ 10%； - Bbox + mask prompt 不显著优于 bbox-only。 黄灯条件： - Refinement 提升 < 1%：将 SAM refinement 降为 optional module，论文重心转回 tube selection。 红灯条件： - Bbox + mask prompt 显著优于 bbox-only，且差距来自 mask prompt 的 GT-quality dependency：说明 proposal mask 质量不足，需要回到 Milestone 1 改 proposal。 --- ### Milestone 5: 完整实验与论文分析 完成： - 主表； - 消融； - hard subset； - error decomposition； - efficiency； - equal-compute comparison； - 可视化； - failure case； - reliability diagram / threshold sensitivity。 ## 13. 风险与应对 | 风险 | 严重程度 | 应对 | |---|---|---| | Ref-AVSBench 缺少 multi-expression 结构 | 极高 | 不将 H3 作为主贡献；叙事回退为 learned tube compression / proposal-conditioned instance grounding | | SimToken 复现与官方数字差异过大 | 高 | 先定位训练、输入、评估差异；所有后续 Go/No-Go 使用 reproduced number | | Multi-expression training 出现梯度冲突 | 中高 | 使用 gradient accumulation 分开累积不同 expression 的梯度；早期采样语义差异较小的 expression pair，稳定后再引入 cross-modality pair | | SimToken + matched compute 实现被质疑 | 高 | 实验前固定为 multiple keyframe prompting with TubeToken-Fast keyframe budget，不保留事后选择空间 | | 多 expression efficiency 被误解为每个 expression 重跑 proposals | 中 | 报告 proposal per-video cost、amortized proposal cost per expression 和 incremental expression cost | | Recall@32 低于 80% | 极高 | 增加 proposal 数、引入 detector、使用 hybrid fallback | | Oracle Tube J/F 不高于 reproduced SimToken | 极高 | 暂停 TubeToken 主线，改 refinement、高分辨率特征、proposal 方法或回退 EC-SimToken | | Oracle Refined J/F 定义不公平 | 高 | 固定为 oracle proposal bbox-only，不使用 GT mask prompt | | SimToken + SAM2 proposals 对照过弱 | 高 | 使用零参数 \(F_{seg}\) reranking，并公开公式 | | TubeToken-Minimal 优于 SimToken 但不优于 SimToken + SAM2 proposals | 高 | 说明 proposal 是主要贡献，需强化 tube selector 或调整论文叙事 | | learned reranker 与 TubeToken-Minimal 差距很小 | 中高 | null tube 贡献有限；Null 相关 claim 降级 | | \(\mathcal{L}_{cond}\) 定义不清 | 中高 | 默认删除；若使用则单独定义并做 with/without 消融 | | Null tube 不稳定 | 中高 | 25% Null oversampling + weighted CE curriculum；报告采样比例敏感性 | | Null oversampling 过强导致正样本误判 Null | 高 | 监控 Positive FNR 与 GT Top-3 but Null Top-1 Rate | | conditioning 只带来小幅提升 | 高 | 强化诊断子集、\(\widehat{AC}_{tube}\)、H3 CosSim、fixed Q-Former 对照 | | H3 CosSim 无明显差异 | 高 | 不强调 expression-conditioned summarization；改强调 learned compression 或 selection architecture | | TubeToken 计算量过大 | 高 | 报告 Fast/Balanced/Accuracy 与 matched-compute baseline | | refinement 提升不明显 | 中 | 将重点转向 selection accuracy 与 hard cases；refinement 作为 optional module | | self-attention 无贡献 | 低 | 删除 self-attention，采用更简洁 selector | | attention map 不可解释 | 中高 | 使用 \(\widehat{AC}_{tube}\)、query 分组、H3 CosSim 重新诊断 | | 与 SAM2 工程强绑定 | 中 | 明确核心贡献在 tube-level text/audio selection，不在 proposal generation | ## 14. 实验优先级 ### P0: 必须完成 1. SimToken 复现与官方结果差异分析； 2. Multi-expression audit； 3. Proposal Recall@N； 4. Oracle Tube J/F 和 bbox-only Oracle Refined J/F； 5. TubeToken-Minimal vs SimToken； 6. TubeToken-Minimal vs SimToken + SAM2 proposals； 7. SAM2 proposals + learned reranker（no null tube）； 8. TubeToken-Fast vs SimToken + matched compute（固定为 multiple keyframe prompting）； 9. Null tube ablation； 10. mask-area threshold Null baseline； 11. Null oversampling ratio ablation； 12. fixed Q-Former vs text+audio conditioned Q-Former； 13. \(\widehat{AC}_{tube}\)； 14. H3 cross-expression CosSim（若 multi-expression audit 支持；否则降为 P2）； 15. Error decomposition； 16. GT Top-3 but Null Top-1 Rate； 17. Efficiency table。 --- ### P1: 强烈建议完成 1. late-target subset； 2. strict audio-critical subset； 3. same-category distractor subset； 4. threshold sensitivity； 5. conditioning attention visualization； 6. H3 cross-expression visualization； 7. self-attention ablation； 8. Reliability Diagram； 9. same-category vs cross-category audio swap； 10. audio amplitude zeroed, temporal length preserved。 --- ### P2: 有时间再做 1. audio shuffled； 2. cross-dataset validation, e.g., AVSBench / MeViS； 3. frame-level existence； 4. open-vocabulary detector assisted proposals； 5. manual hard negative benchmark； 6. hybrid fallback with EC-SimToken； 7. optional \(\mathcal{L}_{cond}\) attention supervision。 ## 15. 预期论文叙事 ### 15.1 正常叙事：H3 成立时 若 multi-expression audit、multi-expression training、H3 CosSim 和 \(\widehat{AC}_{tube}\) 均支持 H3，建议论文主线写成： > Existing Ref-AVS methods often compress multimodal evidence into a global semantic token, implicitly coupling existence judgment, instance grounding, and frame-level segmentation. We find that this implicit coupling becomes fragile in samples requiring instance-level comparison, temporal coverage, explicit null reasoning, or expression-dependent temporal evidence. We therefore formulate Ref-AVS as text-audio conditioned object-tube retrieval followed by mask refinement. Based on this view, we propose TubeToken, which constructs candidate object tubes, summarizes each tube with expression-conditioned temporal evidence, selects the referred tube through multimodal reasoning, handles Null cases via a learnable null tube, and refines the selected tube with SAM. Introduction 中建议加入数据驱动的动机，例如： - SimToken 在 same-category distractor subset 上下降多少； - SimToken 在 late-target subset 上下降多少； - 去掉 audio 后 audio-critical subset 上下降多少； - Null false positive 是否集中在某类样本； - fixed Q-Former 与 conditioned Q-Former 在 H3 subset 上的 CosSim 差异。 这能把叙事从“我们认为 global token 不好”升级为“我们用诊断数据证明 global token 有系统性弱点”。 ### 15.2 回退叙事：H3 不强时 若数据集中 multi-expression 不足，或 conditioned Q-Former 的 H3 CosSim / \(\widehat{AC}_{tube}\) 证据不足，避免强称 “expression-conditioned evidence summarization”。建议改为： > We formulate Ref-AVS as proposal-conditioned instance grounding with explicit null reasoning. TubeToken improves robustness by decomposing global segmentation into candidate object tube construction, learned tube selection, null-aware existence modeling, and optional mask refinement. 此时论文主贡献应改为： 1. candidate object tube formulation； 2. explicit null tube / existence modeling； 3. fairness-controlled comparison with SimToken + SAM2 proposals and matched compute； 4. diagnostic error decomposition； 5. optional learned compression rather than strong conditioning claim。 ## 16. 最小可接受结论标准 若最终结果满足以下条件，可以支撑一篇完整论文： 1. SimToken 复现可信，且所有关键比较基于 reproduced SimToken； 2. Recall@32 或 Recall@64 足够高，且 Oracle Tube J/F 明确高于 reproduced SimToken，证明 proposal 不是不可接受的瓶颈； 3. Oracle Refined J/F 使用 bbox-only prompt，且明确高于 Oracle Tube J/F，证明 refinement 有可达收益； 4. TubeToken 在 Seen / Unseen / Mix 不低于 SimToken 超过 2 个点；若主集只持平，必须在 Null、late-target、same-category、audio-critical 子集上有显著提升，并提供效率-鲁棒性-可解释性三维论证； 5. TubeToken-Fast 在接近计算预算下优于 SimToken + matched compute（multiple keyframe prompting）； 6. TubeToken-Minimal 优于 SimToken + SAM2 proposals，证明 tube selection 框架本身有效； 7. SAM2 proposals + learned reranker（no null tube）与 TubeToken-Minimal 的对比能解释 selector 与 null tube 的各自贡献； 8. fixed Q-Former 明显弱于 text+audio conditioned Q-Former； 9. 如果主张 H3，则必须满足：multi-expression audit 支持、multi-expression training 有效、Fixed Q-Former CosSim \(\equiv 1.0\) 而 conditioned CosSim 显著低于 1.0，且 \(\widehat{AC}_{tube}\) 有提升； 10. null tube 明显优于 mask-area threshold 和 binary existence head； 11. Null oversampling 没有导致 Positive FNR 或 GT Top-3 but Null Top-1 Rate 不可接受地上升； 12. error decomposition 能清楚说明主要失败来自 proposal miss、selection error、refinement error、Null FP/FN 还是 Null 校准； 13. efficiency 虽然可能更高，但 Fast/Balanced/Accuracy setting 显示计算-性能 trade-off 合理。 如果第 2 点不成立，应及时回退到 EC-SimToken 路线，避免在低 recall 的 TubeToken 上投入过多。如果第 9 点不成立，应保留 TubeToken 框架，但下调 CondQFormer / H3 的论文权重。 ## 17. 最终执行建议 推荐按照以下顺序推进： 1. **先做 Phase -1：SimToken 复现 + multi-expression audit。** 这是所有 Go/No-Go 条件和 H3 叙事是否成立的前提。 2. **再做 Phase 0：proposal recall + bbox-only Oracle Tube / Refined J/F。** 这是 TubeToken 能否成立的硬前提，且 Oracle Refined J/F 必须与实际 refinement 设置一致。 3. **再做 Milestone 2 的 fairness controls。** TubeToken-Minimal、SimToken + SAM2 proposals 零参数 reranking、SAM2 proposals + learned reranker（no null tube）、SimToken + matched compute（multiple keyframe prompting）必须同时完成。 4. **确认 tube 框架有效后再加入 CondQFormer。** 若 multi-expression 数据充足，必须同步加入 multi-expression training 与 H3 CosSim；若不足，则不要把 H3 写成主贡献。 5. **最后加入 refinement。** refinement 是性能增强项，不应成为论文叙事的唯一支柱。若 bbox-only refinement 提升很小，应将其降为 optional module。 这一路径可以最大程度降低风险：如果 proposal recall 或 oracle upper bound 不理想，可以及时切回 EC-SimToken；如果 TubeToken-Minimal 已经显示出明显优势，再继续投入完整 TubeToken 是合理的；如果 H3 验证不足，可以保留 tube-level retrieval 贡献，同时修改 CondQFormer 的叙事。 --- ## Appendix A. Reviewer 建议落地检查表 | Reviewer 建议 | v3 落地位置 | 状态 | |---|---|---| | 增加 H3 直接验证，不能只用 AC | 1.2, 3.2.6, 8.1.1, 10.5, 12 | 已落实 | | 检查数据集 multi-expression 结构 | 3.1, 3.1.1, Phase -1 | 已落实 | | CondQFormer 显式利用 multi-expression training | 6.3, 12 Milestone 3 | 已落实 | | Go/No-Go 使用 reproduced SimToken，而非不明来源数字 | 4.0, 4.4, 12 | 已落实 | | Oracle Refined J/F 使用 bbox-only prompt，不用 GT mask | 4.2.1, 4.3, 10.2 | 已落实 | | SimToken + SAM2 proposals 使用零参数 reranking | 5.3.1 | 已落实 | | 增加 SAM2 proposals + learned reranker（no null tube） | 5.1, 5.2, 5.3.2, 10.1, 10.3, 12 | 已落实 | | 删除或定义悬空的 \(\mathcal{L}_{cond}\) | 6.2, 6.2.1 | 已落实 | | 明确 Null oversampling 比例 | 6.4, 14 | 已落实 | | 增加 GT Top-3 but Null Top-1 错误类型 | 7.2, 7.3, 10.4 | 已落实 | | 使用标准化 \(\widehat{AC}_{tube}\) | 7.2, 8.1.2, 10.5 | 已落实 | | 增加 audio amplitude zeroed 控制实验 | 8.2, 14 | 已落实 | | 修正 Error decomposition 表 Late-target 缺列 | 10.4 | 已落实 | | Main table 加入 TubeToken-Minimal | 10.1 | 已落实 | | 写入各 Milestone 绿灯 / 黄灯 / 红灯条件 | 12 | 已落实 | | 增加叙事回退方案 | 15.2, 16, 17 | 已落实 | | 固定 SimToken + matched compute 的唯一实现 | 5.3.3, 9.3, 10.2, 12 | v4 已落实 | | 修正 Phase 0 第三条红灯条件为可观测量 | 4.4.3, 12 Milestone 1 | v4 已落实 | | Fixed Q-Former CosSim baseline 精确为 1.0 | 1.2, 8.1.1, 10.6, 16 | v4 已落实 | | 增加 multi-expression training 梯度冲突风险 | 6.3, 13 | v4 已落实 | | 主表精简，公平性控制移入独立表 | 10.1, 10.2 | v4 已落实 | | 增加多 expression proposal amortization efficiency | 9.1, 9.4 | v4 已落实 | | Selection Acc@3 排除 null tube | 7.2 | v4 已落实 | | Error decomposition 使用互斥优先级 | 7.3 | v4 已落实 | | Phase -1 Go/No-Go 明确 SimToken 复现与 H3 audit 分支 | 12 Phase -1 | v4 已落实 |