# a0 — 순수 CNN vs Residual CNN 실험 정리 MNIST 데이터셋으로 순수 CNN의 깊이 확장 한계(degradation 문제)를 확인하고, residual connection이 이를 해결하는지 검증한 실험 기록. ## 실험 환경 - GPU: NVIDIA GeForce RTX 5070 Ti (16GB) - PyTorch 2.11.0+cu128, torchvision 0.26.0 - 데이터셋: MNIST (60k train / 10k test) - 공통 하이퍼파라미터: Adam (lr=1e-3), CosineAnnealingLR, batch=128, epochs=15 - `depth` = 블록 수. 각 블록은 Conv-BN-ReLU ×2로 구성되어 실제 conv 레이어 수는 `1 + 2×depth` - 채널 수 64 고정, stem에서 stride 2로 28×28 → 14×14 다운샘플 후 동일 해상도 유지 - global average pooling + linear classifier ## 모델 구조 ``` PlainBlock: Conv → BN → ReLU → Conv → BN → ReLU ResBlock: Conv → BN → ReLU → Conv → BN → ( + input ) → ReLU ``` `--no-bn` 옵션으로 BatchNorm을 Identity로 교체 가능 (고전적 degradation 실험 재현용). ## 결과 ### BatchNorm 있음 — best val accuracy | depth (blocks) | plain CNN | + residual | |---|---|---| | 5 | **99.70%** | — | | 10 | 99.62% | 99.58% | | 15 | 99.60% | 99.52% | | 20 | 99.58% | 99.66% | | 40 | 98.89% (불안정) | 99.56% | ### BatchNorm 없음 — best val accuracy | depth (blocks) | plain CNN | + residual | |---|---|---| | 20 | **11.35% (붕괴)** | 99.39% | | 40 | **11.35% (붕괴)** | 99.40% | ## 관찰 결과 ### 1. BN이 있으면 MNIST에서는 포화됨 모든 설정이 ~99.5% 근처에 도달해 최종 정확도 차이는 노이즈 수준. 다만 depth가 깊어질수록 **초기 수렴이 느려지는 경향**이 일관되게 관찰됨: - depth5 epoch1: loss=0.23, train_acc=95.2% - depth20 epoch1: loss=0.61, train_acc=79.7% - depth40 epoch1: loss=1.60, train_acc=37.9% 동일 조건의 residual 모델은 깊이와 무관하게 epoch1부터 ~96% train_acc로 빠르게 수렴. ### 2. depth40 plain 모델의 학습 불안정 epoch 11에서 loss가 0.031 → 0.478로 급등하며 train_acc가 99.2% → 84.1%로 붕괴. 이후 재수렴했으나 최종 98.1%로 다른 모델 대비 명확히 낮음. residual 모델은 동일 깊이에서 끝까지 안정적. ### 3. BN 제거 시 degradation이 극명하게 드러남 **plain CNN (depth20/40, no-BN)**: 15 epoch 내내 loss=2.30, val_acc=11.35%로 완전 정지. 랜덤 수준(10%)과 동일 — 네트워크가 사실상 학습되지 않음. **residual CNN (depth20/40, no-BN)**: 99.4% 달성. BN 없이도 깊이에 무관하게 정상 학습. → residual connection이 gradient의 identity path를 제공해 깊은 네트워크에서도 신호 전파와 최적화가 가능하게 함을 확인. ## 재현 방법 ```bash # 예: depth20 plain, BN 없음 ./.venv/Scripts/python src/train.py --depth 20 --no-bn --epochs 15 # 예: depth20 residual, BN 없음 ./.venv/Scripts/python src/train.py --depth 20 --residual --no-bn --epochs 15 # 그래프 생성 ./.venv/Scripts/python src/plot_results.py ``` 결과는 `runs/depthN[_res][_nobn]/` 에 `history.json`(epoch별 지표)과 `model.pt`로 저장. 시각화 결과는 `results/` 에 PNG로 저장. ## 결론 - 순수 CNN은 깊이를 늘려도 성능이 보장되지 않으며, BN 유무에 따라 불안정/붕괴가 발생 - residual connection은 동일 깊이에서 안정적이고 빠른 수렴을 가능하게 함 - "깊게 쌓는 것" 자체보다 "신호가 잘 흐르는 구조"가 더 중요하다는 것을 실험으로 확인