Tongji Franka Research Team
AI & ML interests
Robotics, Vision-Language-Action Models, Robot Learning, Imitation Learning
Recent Activity
Tongji Franka Research Team
我们关注基于 Franka Research 3(FR3) 机械臂的真实机器人操作学习,围绕示教数据采集、多视角视觉观测、模仿学习与策略评测开展研究。
本组织用于整理和分享相关数据资源,记录采集设置、数据处理方法与使用方式,支持机器人学习实验的复现和交流。
研究方向
• 机器人模仿学习:从示教轨迹学习视觉到动作的映射,探索 Behavior Cloning 与 Visuomotor Policy。 • 多视角感知:结合 wrist 与 overhead 相机,研究视觉观测与机器人状态的联合使用。 • 数据采集与质量分析:记录关节状态、RGB 视频和时间信息,分析时间对齐、重复帧与静止片段等问题。 • 真实机器人任务:以冰球击打任务为起点,研究机械臂操作中的感知、动作生成与执行。
实验平台
项目 配置 ━━━━━━━━━━━━ ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 机械臂 Franka Research 3(FR3),7 自由度 ──────────── ──────────────────────────────────── 腕部相机 Intel RealSense D435I ──────────── ──────────────────────────────────── 上方相机 Intel RealSense D435 ──────────── ──────────────────────────────────── RGB 视频 1280 × 720,30 FPS ──────────── ──────────────────────────────────── 状态与动作 7 维关节位置,单位 rad ──────────── ──────────────────────────────────── 数据格式 LeRobot v3.0
当前冰球任务中,球拍固定在夹爪中,数据集的状态和动作接口不包含夹爪控制。
数据资源
当前整理的冰球示教数据包含两个源数据集及其对应的软件时间对齐版本:
数据集 内容 Episodes 样本数 ━━━━━━━━━━━━━━━━━━━━━━━━━━ ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ━━━━━━━━━━ ━━━━━━━━ hockey_static_release 静止冰球任务的原始发布数据 100 13,206 ────────────────────────── ────────────────────────────────── ────────── ──────── hockey_static_aligned_v1 由 release 生成的时间对齐版本 100 12,913 ────────────────────────── ────────────────────────────────── ────────── ──────── hockey_static_release_01 红色冰球任务的原始发布数据 100 10,948 ────────────────────────── ────────────────────────────────── ────────── ──────── hockey_static_aligned_v2 由 release_01 生成的时间对齐版本 100 10,649
源数据与对应的 aligned 版本包含同一批示教的不同表示,不能将四个仓库视为 400 条独立示教。训练与评测划分时,应避免将同一条示教的源版本和对齐版本分到不同集合。
具体字段、动作含义、处理流程、质量记录和加载示例,请参阅各数据集的 Dataset Card。
使用与许可
上述四个数据集采用 CC-BY-NC-4.0 许可证。
欢迎在遵守许可证的前提下,将数据用于非商业研究与教学。使用或再分发时,请适当署名、提供许可证链接,并说明所做修改。商业用途需要联系数据权利人另行协商。
其他资源的许可条件以对应仓库的说明为准。
交流与反馈
欢迎通过相关数据集仓库的 Discussions 交流数据使用、采集方法、时间对齐和实验复现问题。
引用数据时,请注明仓库标识与 URL,并记录实验使用的 commit revision。