docs/experiment-roadmap.md

CERBERUS 실험 로드맵 — 무엇을, 왜, 어떤 순서로

이 문서 하나만 읽으면 다른 서버의 에이전트도 이어서 진행할 수 있도록 쓴다. 현황·근거·다음 명령·판단 기준을 한곳에 모은다.

• 세션 복구 절차: ../../CLAUDE.md (볼륨 루트) 또는 session-recovery.md
• 학습 이력·설정 근거: training-log.md
• 심사 지적과 대응: review-2026-08-10-methodology.md

---

0. 이 연구가 입증하려는 것

HAWK는 정적 배경을 별도 학습 대상으로 두지 않는다. 배경 전용 스트림을 추가하고 장면 언어로 감독하면, 배경 맥락이 중요한 이상에서 이해 성능이 향상된다.

증명해야 하는 것은 세 단계이며, 뒤로 갈수록 어렵다.

단계	주장	반증되는 조건
S1	배경 스트림을 추가하면 성능이 오른다	flow ≈ zero
S2	그 향상이 용량이 아니라 배경 내용 때문이다	flow ≈ random_mask
S3	그 향상이 상보 분해 때문이다 (단순 추가가 아니라)	flow ≈ duplicate

S1만 성립하고 S2가 깨지면 "브랜치를 늘리면 좋다"는 흔한 결과로 축소된다. S2까지 성립하고 S3가 깨지면 "배경 정보를 따로 주면 좋다"까지는 주장할 수 있으나 "화소값 보존 상보 분할"(C1)의 고유성은 포기해야 한다.

설계 원칙: 가설이 참이라면 드러나도록 최대한 유리한 조건을 만들되, 거짓일 경우에 무엇을 보고할지도 미리 정해 둔다. 어느 쪽이 나오든 쓸 수 있는 논문이 되도록 한다.

---

1. 현재 진행 중 — ① 통제군 4-arm

목적: S1·S2·S3를 한 번에 판정한다. 이 실험이 논문의 생사를 가른다.

cd $CERBERUS_ROOT/hawk
bash scripts/run_ablation_arms.sh          # flow → random_mask → duplicate → zero

• arm당 40 epoch(=400k 샘플), 약 1.6일. 전체 약 6.4일
• 네 arm은 아키텍처·파라미터 수·시각 토큰 수가 동일하고 정적 스트림의 내용만 다르다
• 재개 가능: 끊긴 뒤 같은 명령을 다시 실행하면 train_run.sh가 arm별로 이어받는다
• 진행 확인: grep -c "Averaged stats" $CERBERUS_ROOT/runs/abl_<arm>/train.log

주의 — 이 실험이 도는 동안 학습 경로 코드를 수정하지 말 것. arm마다 다른 코드로 학습되면 통제가 깨진다(실제로 한 번 발생해 재시작했다). 평가·문서·분석 코드는 무관하다.

끝나면 할 일

for a in flow random_mask duplicate zero; do
  $CERBERUS_PY scripts/evaluate.py --ckpt $CERBERUS_ROOT/runs/abl_$a/main/checkpoint_39.pth \
      --out experiments/out/eval_abl_$a.json --judge gemini-2.5-flash
done
$CERBERUS_PY scripts/evaluate.py --compare

---

2. 다음 순서 (① 완료 후)

우선순위는 "어떤 질문에 답하지 못하면 논문이 막히는가" 기준이다.

② 시드 3회 — 3.2일 · 최우선

배경 스트림의 기대 이득은 이 벤치마크에서 소수점 둘째 자리 대역이다. 단일 실행 점추정으로는 "런 간 노이즈와 구별되지 않는다"는 한 문장에 무너진다. 주요 2개 arm (flow, 가장 강한 통제군)에 시드 3개를 돌려 평균±표준편차와 부트스트랩 CI를 보고한다.

# seed 는 config 의 run.seed 를 --options 로 덮어쓴다
for s in 43 44; do
  bash scripts/train_run.sh configs/train_configs/ablation/stage2_flow.yaml abl_flow_s$s 0,1 2
done

※ run.seed 오버라이드를 train_run.sh의 OPTS에 추가해야 한다(미구현).

③ 5번째 arm — 고친 L_dis — 1.6일

답하는 질문: "제대로 작동하는 분리 목적함수가 하류 성능을 바꾸는가."

현재 L_dis는 퇴화 고정점에 있어 기울기가 0이다(§4 참조). 고쳐서 재실행하려면 Stage-1부터 다시 해야 할 것 같지만, encoder_1이 곁가지라 그럴 필요가 없다 — projection.py에서 decoder_2는 encoder_0의 출력을 받으므로, encoder_1만 재초기화하면 LLM 경로가 손상되지 않는다.

1. L_dis 재정의: 반상관(cos→−1) → 탈상관(|cos|→0)
   + 배치 중심화, 샘플별 코사인(.view(1,-1) 제거), 분산 하한(VICReg식 hinge)
2. checkpoint_106 로드 후 encoder_1 만 재초기화
3. Stage-2 40 epoch (다른 arm과 동일 예산)

한계: Stage-2는 400k 샘플이라 목적함수가 작용할 기회가 Stage-1(1.6M)보다 적다. "Stage-1부터 고쳐 학습했다면 어땠을지"는 답하지 못하며, 이는 한계로 명시한다.

④ ego-motion 보정 arm — 1.6일

DoTA(전체의 62%)에서 자기운동이 화면 전체를 동적으로 분류해 정적 스트림이 비는 문제 (mask_statistics.json). 전역 호모그래피 추정 후 잔차 플로우로 마스크를 만든다. 성능 개선이자 방법론 기여가 될 수 있다 — 배경을 더 잘 보게 만드는 방향이므로 연구 주장과 같은 방향이다.

⑤ Stage-1 재학습 — 2.8일 + Stage-2 6.3일

③의 완전판. L_dis를 고친 상태로 Stage-1부터 1.6M 샘플을 다시 학습한다. ③에서 유의한 효과가 보였을 때만 정당화된다. 2 GPU 기준 max_epoch을 107 → 133 으로 올려야 샘플 예산(1.6M)이 유지된다(iters_per_epoch 1500, batch 4, 2 GPU).

⑥ 주 비교 full-budget run — 6.3일

Table 1을 원본 공개 수치와 나란히 놓기 위해 flow 구성을 원본과 같은 1.6M 샘플 (max_epoch: 160, batch 2, 2 GPU)로 한 번 돌린다. ①의 감축 예산 결과와는 별개다.

---

3. GPU 없이 병행할 것

작업	상태	비고
장면 어휘 재현율 지표	⏳	연구 주장을 직접 재는 유일한 지표 — §5 참조
Background-critical 주석 600건	⏳	사람 2인 이상 필요. bg_critical_benchmark/annotation_protocol.md
Route B 합성 프로브 + 귀무 조건	◐	corrected_bsi() 구현됨, 실데이터 적용 미완
참고문헌 [51]–[55] 원문 대조	⏳	기억으로 작성됨 — improved/07_references.md에 표시
Figure 1 teaser	⏳	실제 프레임의 x / M⊙x / (1−M)⊙x 3장이면 충분

---

4. 확정된 사실 (되돌리지 말 것)

측정·검증을 거친 것들이다. 다시 논의하기 전에 근거를 먼저 볼 것.

L_dis는 학습된 적이 없다. checkpoint_106 실측:

• encoder_1.bias 코사인 +0.9988 / −0.9993 (목표값에 정확히 도달)
• 같은 모듈의 decoder_2.bias(이 손실이 안 닿는 대조군) +0.027 / +0.023
• encoder_1.weight는 초기화 대비 0.971.01배 — 입력 처리부는 안 움직였고 입력 무관 bias만 2040배 팽창
• cos = ±1은 코사인의 정류점 → 기울기 0 → 이후 106 epoch 동안 무기여
• 결론: t_4 = 0.1과 t_4 = 0이 비트 단위로 동일하다. 어블레이션 불필요

CDS는 L_dis의 최적점에서 0이 된다. linear CKA가 부호 불변이므로 z_b = −c·z_m에서 Redundancy = 1 → CDS = 0. 즉 목적함수와 진단 지표가 서로 반대를 가리킨다. 비중복성이 요구하는 것은 반상관(−1)이 아니라 탈상관(0)이다.

마스크 비율은 도메인 간 10배 이상 차이 난다 (전수 7,852 클립, τ=0.2): DoTA 0.449 / Ped2 0.160 / Ped1 0.159 / Avenue 0.147 / ShanghaiTech 0.067 / UCF-Crime 0.064 / UBnormal 0.039. 고정 카메라 도메인에서 정적 스트림은 프레임의 84–96%를 보존하므로 외형 스트림과 입력이 크게 겹친다 → duplicate 통제군이 특히 중요.

Stage-2에는 L_ML·L_BL이 없다. 세 스트림을 concat해 LLaMA를 1회 통과시키므로 loss_motion = loss_background = loss이며(video_llama.py:806), 실효 목적은 1.2·L_VL + 0.1·L_sim + 0.1·L_dis다. 따라서 +L_BL 어블레이션 행은 Stage-1 재사전학습을 요구한다.

Stage-1에서 L_BL은 정상 작동했다. 로그의 motionloss 2.6672 vs backgroundloss 2.2075가 서로 다른 값이라는 것이 증거다. 연구 주장의 핵심 부품은 붕괴하지 않았다.

---

5. 아직 없는 것 — 주장을 직접 재는 지표

현재 지표는 연구 주장을 간접적으로만 잰다.

• BLEU: 문장 전체. 배경 서술이 좋아져도 희석된다
• BSI: 배경에 민감한가이지 정확한가가 아니다
• context_critical 정확도: 맞았나 틀렸나. 배경 서술 품질은 아니다

장면 어휘 재현율(Scene-word Recall) — 정답 캡션에서 뽑은 장면 어휘 (extract_background_entities_sentence가 뽑는 바로 그 단어들, L_BL의 학습 목표)를 모델 출력이 얼마나 맞히는가. 이것이 있어야 "HAWK는 노면이 젖었다는 걸 말하지 못하는데 우리는 말한다" 를 숫자로 쓸 수 있다. GPU 불필요.

---

6. 결과별 대응 (미리 정해 둔다)

① 결과	해석	논문 방향
flow > duplicate > random_mask ≈ zero	S1·S2·S3 전부 성립	원안대로. 상보 분해가 핵심 기여
flow ≈ duplicate > random_mask ≈ zero	S1·S2 성립, S3 실패	C1을 "배경 정보의 명시적 분리"로 축소. 분해의 형태는 주장하지 않음
flow ≈ random_mask	S2 실패	이득이 용량·정규화 효과. 구조 주장 철회, 음성 결과로 정직하게 보고
전부 동점	S1 실패	배경 스트림 자체가 무효. ④(ego-motion)로 마스크 품질을 먼저 개선해 재시도

마지막 두 경우가 나와도 버릴 실험이 아니다 — "브랜치 추가는 용량 효과였다"는 것도 이 계보에서 보고할 가치가 있는 결과이며, 통제군을 갖춘 덕분에 그렇게 말할 수 있다.

---

7. 백업 규약

큰 변경 후에는 양쪽 모두 밀어 다른 서버에서 재현 가능하게 한다.

# 코드·문서·figure
git push https://<token>@github.com/jungseoik/hawk.git HEAD:main

# 체크포인트·로그 (HF)
$CERBERUS_PY scripts/upload_checkpoint.py --folder <name> --run-dir $CERBERUS_ROOT/runs/<run> --latest

토큰: $CERBERUS_ROOT/.github_token, .hf_token, .gemini_token(판정자).