Spaces:
Running
Running
| <html lang="zh-CN"> | |
| <head> | |
| <meta charset="utf-8"> | |
| <meta name="viewport" content="width=device-width, initial-scale=1"> | |
| <meta name="description" content="EgoNet / Foundation Hand：实例级预训练、第一人称 SFT 与固定相机几何的最新方法图。"> | |
| <title>EgoNet · Foundation Hand</title> | |
| <link rel="stylesheet" href="site.css"> | |
| <script src="site.js" defer></script> | |
| </head> | |
| <body> | |
| <header class="topbar"><a class="brand" href="#snapshot"><span class="mark">E</span>EgoNet<span class="brand-sub">Foundation Hand</span></a><nav aria-label="主导航"><a href="#method">方法图</a><a href="#stages">两阶段</a><a href="#contract">相机与监督</a></nav></header> | |
| <main id="snapshot"> | |
| <section class="hero"> | |
| <p class="eyebrow">FULL-FRAME HAND RECONSTRUCTION · METHOD / 2026.10.26</p> | |
| <h1>从通用手实例，<br>到第一人称手部重建。</h1> | |
| <p class="intro">Instance Pretrain → Egocentric SFT。共享视觉、空间 MoT 与 MANO heads；用固定相机的单位射线连接图像位置与 camera-space 几何。</p> | |
| <div class="chips"><span>单通道实例中心</span><span>Middle MCP · UV + 距离</span><span>列式 6D · Mean-pose delta</span></div> | |
| </section> | |
| <section class="gallery" id="method" aria-labelledby="gallery-title"> | |
| <div class="section-heading"><div><p class="eyebrow">THE METHOD</p><h2 id="gallery-title">一套表征，两阶段学习</h2></div><span class="version">Fixed-camera · 2026.10.26</span></div> | |
| <div class="toolbar"> | |
| <div class="tabs" role="tablist" aria-label="方法图视图"> | |
| <button id="tab-overview" type="button" role="tab" aria-selected="true" aria-controls="figure-panel" data-view="overview">整体 Method</button> | |
| <button id="tab-stages" type="button" role="tab" aria-selected="false" aria-controls="figure-panel" tabindex="-1" data-view="stages">Pretrain → SFT</button> | |
| <button id="tab-geometry" type="button" role="tab" aria-selected="false" aria-controls="figure-panel" tabindex="-1" data-view="geometry">相机与表征</button> | |
| </div> | |
| <div class="exports"><button id="zoom" type="button">放大 ↗</button><a id="download-svg" href="figures/egonet-method.svg" download>SVG</a><a id="download-pdf" href="figures/egonet-method.pdf" download>PDF</a><a id="download-png" href="figures/egonet-method.png" download>PNG</a></div> | |
| </div> | |
| <figure id="figure-panel" role="tabpanel" aria-labelledby="tab-overview" tabindex="0"> | |
| <div class="image-scroll"><img id="method-image" src="figures/egonet-method.svg" width="1800" height="1100" alt="EgoNet 总体方法图：Stage 1 实例预训练迁移到 Stage 2 第一人称 SFT；RGB、K、Depth 与独立外参扩展的路径。"></div> | |
| <figcaption id="figure-caption">实线为当前实例 Pretrain 主路径；虚线标出 SFT 或独立扩展。K、Depth、外参和 visibility 分开表示。</figcaption> | |
| </figure> | |
| <p class="legend"><i class="solid"></i>当前 Pretrain <i class="dashed"></i>SFT / 独立扩展 <span>图中手部是示意，不是预测结果；本页为方法快照。</span></p> | |
| </section> | |
| <section id="stages" class="stage-grid"> | |
| <article class="stage-card pretrain"><p class="eyebrow">STAGE 01 / T = 1</p><h2>Instance-level Pretrain</h2><p>图中任意已标注手实例共享预测网络，不限制为一左一右。单通道中心图定位实例，训练时按 GT 中心纯采样一个 patch，构造共享 hand / joint queries。</p><p class="accent">训练视觉、空间 MoT、定位与 MANO heads。</p><details><summary>展开数据、表征和训练细节</summary> | |
| <p>GT side 仅选择匹配的 MANO 资产、mean 和监督统计，不进入可学习 query。模型预测 MCP UV、虚拟 log-distance、virtual-root 6D、local mean-delta 6D 与 β。</p> | |
| <div class="table-scroll"><table><caption>图像曝光配比；字段 validity 决定每项 loss 是否生效</caption><thead><tr><th>来源</th><th>比例</th><th>监督</th></tr></thead><tbody> | |
| <tr><td>ARCTIC 第三人称</td><td>25%</td><td>2D + 有效 canonical 3D</td></tr><tr><td>H2O 第三人称</td><td>15%</td><td>2D + 有效 canonical 3D</td></tr><tr><td>EgoRenderer</td><td>20%</td><td>2D + fitted 几何 / pose；β loss 关闭</td></tr><tr><td>InterHand</td><td>12%</td><td>仅 2D</td></tr><tr><td>Re:InterHand</td><td>15%</td><td>仅 2D</td></tr><tr><td>COCO / HInt</td><td>8% / 4%</td><td>仅 2D</td></tr><tr><td>MPII / NZSL</td><td>各 0.5%</td><td>仅 2D</td></tr> | |
| </tbody></table></div> | |
| <p>ViTPose-L 以官方 COCO 视觉权重初始化，其余任务参数新建。首版三档画布为 512×896 / 368×640 / 512×512，比例 50% / 20% / 30%；完整图像等比缩放并 padding。</p> | |
| <p>初始预算 120K optimizer updates，global batch 32，即 384 万次图像曝光；每 5K 保存。前 5K 不更新视觉权重，之后联合训练视觉 last-2 和 final norm。120K 是预算，不是收敛结论。</p> | |
| <p>当前 Pretrain 不训练 Depth、temporal 或 wearer presence。这些模块在 SFT 中单独接入。</p> | |
| </details></article> | |
| <article class="stage-card sft"><p class="eyebrow">STAGE 02 / T = 8</p><h2>Egocentric SFT</h2><p>迁移预训练视觉、空间 MoT 和兼容 MANO heads，切换为 wearer-left / wearer-right 角色。双向时序读取前后帧，逐帧输出 camera-space MANO。</p><p class="accent">保留相同表征，适配角色、时序与可选模态。</p><details><summary>展开迁移与多模态细节</summary> | |
| <p>SFT 普通训练和推理不使用 GT 中心或 GT 手框。加入左右角色、时序、Depth 和有效标注下的 wearer presence；同手 T8 内聚合 shape β。</p> | |
| <p>数据范围为 H2O、ARCTIC、HOT3D 的登记 ego train split，保留来源和字段质量 mask。新 Pretrain 的共享 heads 迁移仍需验证；不能把旧 encoder-only 训练当成这次 SFT 的结果。</p> | |
| <p>第一轮 SFT 沿用 Pretrain 的列式 6D、MCP XYZ 和 β 归一化统计，不因阶段切换自动重算。</p> | |
| <p>Presence 判断佩戴者手是否在画面内。被物体遮挡或腕部出画不自动等于 absent；显示过滤不改变 benchmark 的 GT 分母。</p> | |
| </details></article> | |
| </section> | |
| <section id="contract" class="contract"> | |
| <div class="section-heading"><div><p class="eyebrow">GEOMETRY CONTRACT</p><h2>相机信息各司其职</h2></div></div> | |
| <div class="table-scroll"><table><thead><tr><th>接口</th><th>作用</th><th>当前边界</th></tr></thead><tbody> | |
| <tr><td>K / Unified Camera</td><td>单位球面射线编码进入 CAMERA 条件；同一个 C 用于几何解码和重投影。</td><td>有标定用真实 K，无标定用固定 preset；当前聚焦 pinhole / 变化 FOV。</td></tr> | |
| <tr><td>Depth</td><td>提供公制距离证据，由同一个 C lifting 后进入 DEPTH tokens。</td><td>SFT 可选输入，本轮实例 Pretrain 未训练。</td></tr> | |
| <tr><td>相机外参</td><td>跨帧相对 SE(3) 与运动条件，和内参 / 成像几何不同。</td><td>独立时序扩展，本轮 T=1 Pretrain 不输入。</td></tr> | |
| <tr><td>Visibility / presence</td><td>判断 wearer hand 的画内存在性，服务显示过滤。</td><td>SFT 单独训练；不用于删掉几何评估中的 GT-positive 手。</td></tr> | |
| </tbody></table></div> | |
| <details><summary>固定相机、K dropout 与位置解码</summary><p>相机特征 dropout 与标定缺失不同：关闭 CAMERA 特征时，若真实 K 存在，解码和重投影仍然使用它。无标定时使用固定 preset，不能把这一条件写作“已知真实 K”。</p><pre>r = normalize(bilinear(D_C, uv_middle)) | |
| d = exp(ell) × f_loc / f_c | |
| T_mid = d × r | |
| R_cam = R_ray(r) @ R_virtual | |
| R_local = R_MANO_mean @ R_delta | |
| J_cam = J_MANO - J_MANO[9] + T_mid</pre><p>middle MCP 是 index 9；wrist 是解码后的 index 0。单位射线场由固定 C 计算，既不是模型预测的输出，也没有 ray-map / K 参数监督。</p></details> | |
| <details><summary>监督项与四指标</summary><p>3D 许可源按字段有效性监督：MCP XYZ、MCP-relative joints、virtual-root 6D、local mean-delta 6D、β，以及 MCP 定位 / 虚拟距离辅助项。所有源的有效 2D 通过 MANO 重投影监督；2D-only 源没有直接 3D 或 MANO 参数 target。</p><p>预测经 FP32 Gram–Schmidt；GT 从 axis-angle 转 SO(3)。两侧统一取前两列 <code>[R00,R10,R20,R01,R11,R21]</code>，使用同一套冻结统计后计算 6D L1。每项按有效元素、图内有效实例、全局图像分母归约。</p><p>主表：<strong>Abs MPJPE / Root MPJPE / MPVPE / MANO 2D px</strong>，另报 PA-MPJPE。当前图展示方法，不宣称新训练已经提升这些指标。</p></details> | |
| </section> | |
| <footer><div><strong>EgoNet · Foundation Hand</strong><p>方法快照 · 2026-10-26</p></div><div><a href="https://github.com/mirrorbloom/EgoNet">源码与完整合同 ↗</a><p>输入示意：<a href="https://mks0601.github.io/ReInterHand/">Re:InterHand</a> · <a href="https://creativecommons.org/licenses/by-nc/4.0/">CC BY-NC 4.0</a></p><p>保留原仓库权限；此站仅托管方法文档与图示。</p></div></footer> | |
| </main> | |
| <dialog id="zoom-dialog" aria-label="放大方法图"><div class="dialog-bar"><span id="zoom-title">方法图</span><button id="zoom-close" type="button" autofocus>关闭 ×</button></div><div class="zoom-scroll"><img id="zoom-image" alt="放大的 EgoNet 方法图"></div></dialog> | |
| </body> | |
| </html> | |