File size: 7,522 Bytes

a741a7c

# 数据源说明 - Data Sources

> 记录所有可用的数据源位置和说明

---

## 🎯 数据源分类

本项目使用两类数据：
1. **真机数据**：真实机器人操作数据，包含复杂的失败模式
2. **仿真数据**：模拟环境生成的数据，标注更准确但可能不够真实

---

## 📍 真机数据（Real Robot Data）

### 1. DROID 数据集

**位置**：`/playpen-ssd/dataset/droid_raw/1.0.1/`

**说明**：
- 大规模多机构机器人操作数据集
- 包含成功和失败案例
- 多种任务类型（300+ 种）

**数据源分布**：

| 数据源 | 轨迹数 | 比例 | 说明 |
|--------|--------|------|------|
| AUTOLab | 3,618 | 23.9% | 主要数据源 |
| ILIAD | 1,303 | 8.6% | |
| IPRL | 1,298 | 8.6% | |
| PennPAL | 2,494 | 16.5% | 包含 failure/success 标注 |
| CLVR | 433 | 2.9% | |
| GuptaLab | 187 | 1.2% | |
| 其他 | ~6,824 | ~45% | 多个小型数据源 |
| **总计** | **15,157** | **100%** | **Failure 数据** |

**任务类型分布（Top 10）**：

| 排名 | 任务 | 数量 |
|------|------|------|
| 1 | Move object into or out of container | 2,699 |
| 2 | Move object to a new position | 2,494 |
| 3 | Open or close hinged object | 1,103 |
| 4 | Hang or unhang object | 891 |
| 5 | Move lid on or off of container | 637 |
| 6 | Open or close slidable objects | 543 |
| 7 | Press button | 489 |
| 8 | Use cup to pour | 437 |
| 9 | Fold, spread out, or clump object | 398 |
| 10 | Use cloth to clean | 312 |

**数据格式**：
- 视频：MP4 格式，多视角（wrist_image_left, exterior_image_1_left）
- 元数据：JSON 格式，包含任务描述、动作序列、相机参数等

**访问方式**：
```python
import tensorflow_datasets as tfds
ds = tfds.load("droid", data_dir="/playpen-ssd/dataset/", split="train")
```

**子目录结构**：
```
/playpen-ssd/dataset/droid_raw/1.0.1/
├── AUTOLab/
│   ├── failure/
│   │   ├── 2023-07-07/
│   │   │   └── session_xxx/
│   │   │       ├── recordings/MP4/*.mp4
│   │   │       └── metadata_*.json
│   │   └── ...
│   └── success/
├── PennPAL/
├── ILIAD/
└── ...
```

---

### 2. 本地处理后的 DROID 数据

**位置**：`./droid_processed/`

**说明**：
- 从 DROID 数据集提取的失败案例
- 已拼接双视角（wrist + exterior）
- 包含元数据 JSON

**文件格式**：
```
droid_processed/
├── episode_000000.mp4    # 视频文件
├── episode_000000.json   # 元数据
├── episode_000001.mp4
├── episode_000001.json
└── ...
```

**数量**：~20 个 episodes（示例数据）

**如何生成**：
```bash
python video_process.py
```

---

## 🎮 仿真数据（Simulation Data）

### 1. 本地 cokecan-50 数据

**位置**：`./data/cokecan-50/`

**说明**：
- 可乐罐抓取任务的仿真数据
- 按失败类型分类
- 包含完整的奖励标注

**目录结构**：
```
data/cokecan-50/
├── fall/          # 掉落失败（10 episodes）
├── collision/     # 碰撞失败（10 episodes）
├── grasp/         # 抓取失败（10 episodes）
├── smooth/        # 运动不平滑（10 episodes）
└── success/       # 成功案例（10 episodes）
```

**数据格式**：
```json
{
  "joint_poss": [[...], [...], ...],  // 关节位置序列
  "stages": [0, 0, 1, 1, 2, ...],      // 阶段标签（0-5）
  "rewards": {
    "reachout": [0.1, 0.2, 0.3, ...],  // 接近奖励
    "grasp": [0.0, 0.0, 0.8, ...],     // 抓取奖励
    "collision": [0.0, 0.1, 0.0, ...], // 碰撞惩罚
    "fall": [0.0, 0.0, 0.0, ...],      // 掉落惩罚
    "smooth": [0.9, 0.85, 0.8, ...]    // 平滑度
  }
}
```

**用途**：
- 对齐奖励指标定义
- 验证模型在仿真数据上的表现

---

### 2. fangyu 仿真数据

**位置**：
- `/playpen-ssd/yufang/projects/reward/`
- `/playpen-ssd/yufang/projects/reward/cokecan-50`

**说明**：
- 更大规模的仿真数据
- 约 800-900 条轨迹
- 同样是 cokecan 抓取任务

**状态**：⏳ 待整合

**预计用途**：
- 扩充仿真数据集
- 与真机数据混合训练

---

### 3. yangyue Libero 失败数据

**位置**：`/playpen-ssd/dataset/libero_failures/dec_29_2025_v1`

**说明**：
- Libero 环境的失败案例
- 多种任务类型
- 专门收集的失败模式

**状态**：⏳ 待整合

**预计用途**：
- 增加失败模式多样性
- 提高模型对失败的检测能力

---

## 📊 数据统计对比

| 数据源 | 类型 | 数量 | 标注质量 | 真实性 | 状态 |
|--------|------|------|----------|--------|------|
| DROID failure | 真机 | 15,157 | 需标注 | 高 | ✅ 可用 |
| DROID success | 真机 | 未统计 | 需标注 | 高 | 📋 待统计 |
| cokecan-50 本地 | 仿真 | 50 | 精确 | 中 | ✅ 已整理 |
| fangyu 仿真 | 仿真 | ~800 | 精确 | 中 | ⏳ 待整合 |
| yangyue Libero | 仿真 | 未知 | 精确 | 中 | ⏳ 待整合 |

---

## 🔄 数据处理流程

### DROID 数据处理

```mermaid
graph LR
    A[DROID TFDS] --> B[video_process.py]
    B --> C[droid_processed/*.mp4]
    C --> D[api_batch_improved.py]
    D --> E[output/labels_*.jsonl]
    E --> F[extract_frames_to_images.py]
    F --> G[data/frames/**/*.jpg]
    G --> H[convert_to_sft.py]
    H --> I[data/sft_*.json]
    I --> J[模型训练]
```

### 仿真数据处理

```
仿真数据（JSON） → 格式转换 → 与真机数据合并 → 模型训练
```

---

## 📝 数据使用建议

### 训练数据混合比例

| 阶段 | 真机:仿真 | 说明 |
|------|----------|------|
| 初期 | 1:1 | 使用仿真数据快速验证 |
| 中期 | 3:1 | 逐步增加真机数据 |
| 后期 | 5:1 或纯真机 | 提高真实场景性能 |

### Success vs Failure 比例

| 场景 | Success:Failure | 说明 |
|------|----------------|------|
| 推荐 | 1:2 | 失败案例更重要 |
| 平衡 | 1:1 | 避免类别不平衡 |
| 当前 | 约 1:10 | **需要增加 success 数据** |

---

## 🔍 数据质量检查

### 视频质量

✅ **已完成**：
- 视频帧率统计（见 `data_sta/video_framerate_stats.json`）
- 视频时长统计

❌ **待完成**：
- 图像质量评估
- 模糊/曝光异常检测
- 视角覆盖度检查

### 标注质量

❌ **待完成**：
- 人工 Golden Set 标注
- GPT 标注一致性检查
- 跨标注者一致性

---

## 💡 数据扩充计划

### 短期（1-2 周）

1. **DROID 数据扩充**
   - 从 ~100 条扩展到 2500+ 条
   - 使用 balanced 采样策略
   - 覆盖主要任务类型

2. **增加 Success 数据**
   - 从 DROID success 目录采样
   - 目标：达到 success:failure = 1:2

### 中期（1-2 月）

3. **整合 fangyu 仿真数据**
   - 格式转换和对齐
   - 与真机数据混合训练

4. **整合 yangyue Libero 数据**
   - 适配数据格式
   - 增加失败模式多样性

### 长期（3+ 月）

5. **多数据源混合**
   - 建立统一数据格式
   - 多源数据联合训练
   - 跨域泛化能力评估

---

## 📞 数据访问问题

如遇到数据访问问题，请检查：
1. 路径是否正确（绝对路径）
2. 权限是否足够（读取权限）
3. 数据是否存在（某些数据可能被移动）

---

## 📚 相关文档

- [数据统计分析](./data_sta/failure_statistics.txt) - DROID 失败数据详细统计
- [HuggingFace 数据集指南](./data_sta/README_HF_DATASET.md) - 数据集准备和上传
- [项目概述](./docs/PROJECT_OVERVIEW.md) - 完整项目说明