docs/PROJECT_STATUS.md

# 项目状态总结 - Project Status Summary

> 最后更新：2026-01-20
> 本文档提供项目当前状态的快照总结，方便快速了解项目进展

---

## 🎯 项目目标

**训练一个视觉奖励模型（Reward Model）**，用于：
- 输入：机器人操作视频帧
- 输出：操作阶段、奖励分数、失败检测
- 应用：为 VLA (Vision-Language-Action) 模型的强化学习提供奖励信号

---

## 📊 当前状态一览

| 模块 | 进度 | 状态 |
|------|------|------|
| 数据处理流水线 | 100% | ✅ 完成 |
| GPT 标注系统 | 100% | ✅ 完成 |
| 本地模型推理（Qwen-VL） | 100% | ✅ 完成 |
| 数据格式转换 | 100% | ✅ 完成 |
| 小规模模型训练 | 100% | ✅ 完成 |
| 数据集管理工具 | 100% | ✅ 完成 |
| **大规模数据标注** | 5% | ⏳ 进行中 |
| **模型评估系统** | 0% | 📋 待启动 |
| **Policy 集成** | 0% | 📋 待启动 |

---

## 📈 数据规模

### 真机数据（DROID）

| 数据类型 | 数量 | 状态 |
|---------|------|------|
| 总轨迹数 | 15,157 条 | ✅ 已统计 |
| Failure 轨迹 | ~8,000 条 | ✅ 已统计 |
| 已标注视频 | ~100 条 | ✅ 完成 |
| **目标标注数** | **2,500+ 条** | ⏳ 待完成 |

### 仿真数据

| 数据源 | 数量 | 状态 |
|--------|------|------|
| cokecan-50 本地 | 50 条 | ✅ 已整理 |
| fangyu 仿真 | ~800 条 | 📋 待整合 |
| yangyue Libero | 未知 | 📋 待整合 |

---

## 🔬 模型训练

### 已训练检查点

| 版本 | 类型 | Checkpoint | 训练数据量 |
|------|------|------------|-----------|
| v0 | 标准 SFT | checkpoint-28 | ~100 samples |
| v1 | 标准 SFT | checkpoint-7 | ~100 samples |
| v0-special | Special Token | checkpoint-7 | ~100 samples |
| v1-special | Special Token | checkpoint-70 | ~100 samples |
| v2-special | Special Token (merge) | checkpoint-70 | ~100 samples |

**注意**：所有当前模型都是基于小规模数据训练，性能有限。

---

## 🎨 标注系统

### 标注方式

| 方式 | 模型 | 状态 | 推荐 |
|------|------|------|------|
| GPT-4o | OpenAI API | ✅ 可用 | ⭐⭐⭐ |
| Claude | 本地部署 | ✅ 可用 | ⭐⭐ |
| Qwen-VL | 本地推理 | ✅ 可用 | ⭐ |

### 标注质量

| 指标 | 状态 |
|------|------|
| 人工质量评估 | ❌ 未开始 |
| Golden Set | ❌ 未创建 |
| 一致性检查 | ❌ 未开始 |
| 失败案例分析 | ❌ 未开始 |

---

## 📁 数据文件统计

### 标注输出

```
output/
├── labels_batch.jsonl              # 基础版标注（~100 条）
├── labels_batch_improved.jsonl     # 改进版标注（~100 条）
├── labels_batch_1111.jsonl         # 1111 批次
└── labels_hf_dataset.jsonl         # HuggingFace 数据集标注
```

### 训练数据

```
data/
├── sft_frames_dataset.json                 # SFT 训练数据（中间格式）
├── sft_frames_dataset_sft.json            # SFT 训练数据（最终格式）
├── sft_reward_dataset.json                # Reward 训练数据
└── sft_reward_dataset_special_tokens.json # Special Token 版本
```

### 帧图片

```
data/frames/
├── 2023-07-07/
│   └── session_xxx/
│       ├── 22008760_frame_0.jpg
│       ├── 22008760_frame_1.jpg
│       └── ...
└── frame_index_map.csv  # 索引映射表
```

---

## 🛠️ 技术栈

### 核心依赖

| 工具 | 版本 | 用途 |
|------|------|------|
| Python | 3.8+ | 主要开发语言 |
| PyTorch | 2.0+ | 深度学习框架 |
| transformers | latest | 模型训练 |
| ms-swift | latest | SFT 训练 |
| decord | latest | 视频解码 |
| OpenAI SDK | latest | GPT API 调用 |
| tensorflow_datasets | latest | DROID 数据加载 |

### 模型

| 模型 | 用途 | 状态 |
|------|------|------|
| Qwen-VL | 视觉理解 + 标注生成 | ✅ 使用中 |
| GPT-4o | 视频标注（Ground Truth） | ✅ 使用中 |
| Claude 3.7 Sonnet | 视频标注（备选） | ✅ 可用 |

---

## 📝 文档完整性

| 文档 | 状态 | 说明 |
|------|------|------|
| PROJECT_OVERVIEW.md | ✅ 完整 | 项目整体概述 |
| CURRENT_PROGRESS.md | ✅ 完整 | 当前进展详情 |
| NEXT_STEPS.md | ✅ 完整 | 下一步工作计划 |
| QUICK_START_FOR_AGENT.md | ✅ 完整 | AI Agent 快速开始 |
| CODE_GUIDE.md | ✅ 完整 | 代码详细说明 |
| PROJECT_STATUS.md | ✅ 完整 | 本文档 |
| README_improved_api.md | ✅ 完整 | 改进版 API 说明 |
| dataset_source.md | ⚠️ 简略 | 数据源列表（待完善）|

---

## 🚀 近期里程碑

### 已完成（2025-11）

- ✅ 完成数据处理流水线
- ✅ 实现 GPT 滑动窗口标注
- ✅ 完成小规模模型训练
- ✅ 建立 HuggingFace 数据集工具

### 进行中（2026-01）

- ⏳ 扩大标注规模（目标 2500+ 条）
- ⏳ 完善项目文档

### 待启动（优先级 P0）

- 📋 人工标注 Golden Set（100-200 条）
- 📋 标注质量评估
- 📋 大规模模型训练（2000+ 条数据）
- 📋 建立评估体系

---

## 💰 成本估算

### 已产生成本

| 项目 | 数量 | 成本估算 |
|------|------|---------|
| GPT-4o 标注 | ~100 视频 | ~$5-10 |
| GPU 训练时间 | ~20 小时 | ~$20-40 |
| **总计** | - | **~$25-50** |

### 预计成本（扩大规模）

| 项目 | 数量 | 成本估算 |
|------|------|---------|
| GPT-4o 标注 | 2500 视频 × 10 帧 | $50-100 |
| GPU 训练 | 50 小时 | $50-100 |
| 人工标注 | 200 条 × 15 分钟 | 50 人时 |
| **总计** | - | **$100-200 + 50 人时** |

---

## ⚠️ 当前问题

### 阻塞问题（需立即解决）

1. **标注规模不足**
   - 当前：~100 条
   - 需要：2500+ 条
   - 影响：模型性能有限，无法有效泛化

2. **缺乏质量评估**
   - 无人工 Golden Set
   - 不知道 GPT 标注准确率
   - 影响：不确定数据质量

### 技术债务

1. **模型评估**
   - 缺少评估指标
   - 缺少 held-out test set
   - 无法对比不同版本

2. **数据管理**
   - 仿真数据未整合
   - 数据分布不均衡（failure >> success）

---

## 🎯 下一步行动

### 优先级 P0（紧急且重要）

1. **扩大标注规模**
   ```bash
   # 目标：标注 2500 条视频
   python api_batch_improved.py  # MAX_VIDEOS=2500
   ```

2. **人工质量评估**
   - 抽样 100 条视频
   - 人工标注作为 Golden Set
   - 计算 GPT 标注准确率

3. **大规模训练**
   - 使用完整标注数据
   - 训练新的模型版本
   - 保存检查点

### 优先级 P1（重要但不紧急）

4. **建立评估体系**
   - Stage 分类准确率
   - Reward 预测误差（MAE, RMSE）
   - Failure 检测能力（precision, recall）

5. **整合仿真数据**
   - 整合 fangyu 数据（~800 条）
   - 整合 yangyue Libero 数据
   - 对齐格式

---

## 📞 联系方式

如有问题，请查阅：
- [代码指南](./CODE_GUIDE.md) - 详细脚本说明
- [快速开始](./QUICK_START_FOR_AGENT.md) - 快速上手指南
- [下一步计划](./NEXT_STEPS.md) - 详细工作计划

---

## 📅 更新历史

| 日期 | 更新内容 |
|------|---------|
| 2026-01-20 | 创建项目状态文档 |
| 2025-11-11 | Special Token v2 训练完成 |
| 2025-11-10 | 改进版 SFT 训练完成 |
| 2025-11-05 | 基础版 SFT 训练完成 |