TỔNG KẾT CHIẾN THUẬT V5-GOLD: PHÁ VỠ GIỚI HẠN MAE
Tài liệu này đúc kết kết quả cuối cùng từ phép thử thành công nhất (V5-GOLD), đóng vai trò là "Blueprint" cho mọi tinh chỉnh SOTA tiếp theo.
1. Kết quả thực nghiệm (Dữ liệu Log)
| Fold | Baseline (V16) | V5-GOLD (Best) | Cải thiện | Epoch |
|---|---|---|---|---|
| p11 (Mạnh nhất) | 4.07° | 3.8581° | -0.21° | 7 |
| p08 (Anatomical Bias) | 6.48° | 5.6924° | -0.79° | 30 |
2. 03 Insight cốt lõi (Core Takeaways)
A. Sự giải phóng của "Học trực tiếp" (GT-Only)
- Insight: Việc loại bỏ hoàn toàn KD Loss (Distillation) không làm model bị "loạn", ngược lại nó giúp Student hội tụ cực nhanh.
- Lý giải: Ở độ phân giải 16x16, Student cần tín hiệu Ground Truth (GT) sắc nét nhất để tự xây dựng filter nhận diện mí mắt. Teacher đôi khi làm "mờ" đi các đặc trưng tinh vi này bằng các nhãn mềm không tương thích.
B. Chính quy hóa (Regularization) thay thế sự dẫn dắt
- Insight: AdamW (Weight Decay 1e-2) và Dropout (0.1) là "cặp bài trùng" hoàn hảo để giữ model không bị overfit khi không có Teacher.
- Lý giải: Chúng ép model phải tìm ra những con đường trơn (smooth paths) trong không gian trọng số, giúp MAE giảm sâu một cách thực chất thay vì chỉ giảm Loss ảo.
C. Hiện tượng "Nhảy số" (MAE Jitter) và SWA
- Insight: Ngay cả khi kết quả rất tốt (5.69°), MAE vẫn dao động mạnh giữa các epoch.
- Bài học: Đây là đặc tính tự nhiên của Batch Norm trên các fold nhạy cảm. SWA (Stochastic Weight Averaging) là kỹ thuật bắt buộc phải có ở giai đoạn cuối để "làm mượt" và chốt hạ con số bền vững nhất.
3. Lời khuyên cho các thử nghiệm tiếp theo
Nếu bạn muốn thử thêm các phương pháp khác, hãy luôn giữ bộ khung:
- Backbone: Dual Pooling + Token Shuffle.
- Optimizer: AdamW + High Weight Decay.
- Strategy: Single Stage (GT-Only).
Báo cáo kết thúc chuỗi thử nghiệm V2-V5-GOLD. Sẵn sàng cho các ý tưởng mới từ bạn!