Gaze-LIPE / docs /data_strat.md
thanhhuyvan's picture
Initial release of LIPE V2 GOLD
a10ba7f
|
Raw
History Blame Contribute Delete
3.29 kB

LIPE V2: DATASET STRATEGY & VALIDATION BLUEPRINT

1. Triết lý Dữ liệu (Dataset Philosophy)

Để chứng minh LIPE V2 vượt trội hơn các mô hình SOTA (L2CS-Net), chiến lược dữ liệu phải tuân thủ nghiêm ngặt nguyên tắc Đối chứng trực diện (Direct Comparison)Tổng quát hóa (Generalization).

2. Các bộ Dữ liệu Cốt lõi

Hệ thống sử dụng hai nguồn dữ liệu chuẩn quốc tế để thực hiện huấn luyện và kiểm thử chéo (Cross-dataset Validation).

A. L2CS Dataset (Huấn luyện & Chắt lọc tri thức)

  • Vai trò: Dùng để huấn luyện mô hình Teacher (L2CS-Net) và thực hiện Knowledge Distillation.
  • Đặc điểm: Độ phân giải cao, các điểm mốc (Landmarks) hốc mắt rõ nét, dải góc nhìn (Yaw/Pitch) rộng.
  • Mục tiêu: Giúp mạng LIPE V2 (Student) học được cách phân phối xác suất (Soft labels) chính xác nhất từ mạng Thầy.

B. MPIIGaze Dataset (Kiểm thử thực tế)

  • Vai trò: Dùng làm "bài thi" tổng quát hóa trong điều kiện thực tế (In-the-wild).
  • Đặc điểm: Ánh sáng biến đổi phức tạp, dữ liệu thu thập trong môi trường làm việc thực tế với camera laptop thông thường.
  • Mục tiêu: Chứng minh LIPE V2 vẫn đạt sai số góc $\mathcal{E}_{angular} < 4.0^{\circ}$ ngay cả khi không có môi trường phòng thí nghiệm.

3. Quy trình Tiền xử lý Dữ liệu (Data Pipeline)

Trước khi nạp vào Pipeline huấn luyện, dữ liệu phải đi qua bộ lọc sau:

  1. Chuẩn hóa hệ tọa độ (Normalization): Chuyển đổi tất cả các nhãn (labels) về đơn vị Radians (Pitch $\theta$, Yaw $\phi$).
  2. Trích xuất Landmark: Sử dụng MediaPipe Face Mesh để lấy véc-tơ $\zeta_{t}={P_{inner},P_{outer},P_{pupil},P_{eyelid}}$.
  3. Cắt ảnh Patch: Dựa trên Landmark, áp dụng ma trận biến đổi Affine $\mathcal{T}_{scale}$ để triệt tiêu góc nghiêng đầu, cắt thành 4 mảnh $8\times8$ px.

4. Chiến lược Đánh giá (Validation Strategy)

Để đảm bảo tính khách quan cho báo cáo thực nghiệm:

  • Sai số góc (Angular Error): Tính theo công thức khoảng cách góc giữa véc-tơ thực tế $g$ và dự đoán $\hat{g}$: $$\mathcal{E}_{angular} = \arccos\left(\frac{g \cdot \hat{g}}{|g| |\hat{g}|}\right)$$
  • Ma trận đối chứng (Ablation Study): So sánh hiệu suất của LIPE V2 (Trạng thái A+B, có/không có AW Loss) để làm nổi bật đóng góp của hàm Adaptive Wing Loss trong việc xử lý răng cưa quang học.

5. Checklist Trước khi huấn luyện

  • Tải đủ dữ liệu từ nguồn gốc (MPIIGaze & L2CS Dataset).
  • Chuyển đổi toàn bộ nhãn sang định dạng chuẩn (Radians).
  • Kiểm tra tính toàn vẹn của tệp .mat hoặc .json chứa nhãn tọa độ.
  • Thiết lập thư mục dữ liệu theo cấu trúc:
    data/
    ├── MPIIGaze/
    └── L2CS_Dataset/
    
  • Đảm bảo bộ tiền xử lý Affine đã chạy đúng trên tập test.