Upload 8 files
Browse files- FOOD_GUIDE.md +142 -0
- README.md +43 -0
- app.py +110 -0
- configuration_myresnet.py +58 -0
- modeling_myresnet.py +245 -0
- requirements.txt +6 -0
- resnet-food.zip +0 -0
- train_food.py +226 -0
FOOD_GUIDE.md
ADDED
|
@@ -0,0 +1,142 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# 🍽️ 음식 이미지 분류 프로젝트 가이드
|
| 2 |
+
|
| 3 |
+
## 📂 파일 구성
|
| 4 |
+
|
| 5 |
+
| 파일 | 역할 | 필수? |
|
| 6 |
+
|------|------|-------|
|
| 7 |
+
| `app.py` | Gradio 웹 데모 | ✅ Space 필수 |
|
| 8 |
+
| `README.md` | Space 설정 (YAML) | ✅ Space 필수 |
|
| 9 |
+
| `requirements.txt` | 의존성 | ✅ Space 필수 |
|
| 10 |
+
| `configuration_myresnet.py` | MyResNet Config | 옵션 B에서만 필요 |
|
| 11 |
+
| `modeling_myresnet.py` | MyResNet 모델 | 옵션 B에서만 필요 |
|
| 12 |
+
| `train_food.py` | Food-101 학습 스크립트 | 로컬 학습용 |
|
| 13 |
+
|
| 14 |
+
## 🎯 두 가지 사용 시나리오
|
| 15 |
+
|
| 16 |
+
### 시나리오 1: 학습 없이 바로 데모 실행 (추천) ⭐
|
| 17 |
+
|
| 18 |
+
`app.py`는 기본적으로 **허깅페이스 허브의 공개 모델 `nateraw/food`**를 사용합니다.
|
| 19 |
+
이 모델은 이미 Food-101에서 학습되어 약 90% 정확도를 보여요.
|
| 20 |
+
|
| 21 |
+
**Space 업로드 파일 (3개면 충분):**
|
| 22 |
+
1. `app.py`
|
| 23 |
+
2. `README.md`
|
| 24 |
+
3. `requirements.txt`
|
| 25 |
+
|
| 26 |
+
즉, 이 시나리오에서는 `configuration_myresnet.py`, `modeling_myresnet.py`를
|
| 27 |
+
Space에 올릴 필요가 없습니다!
|
| 28 |
+
|
| 29 |
+
### 시나리오 2: 자체 학습한 MyResNet 사용
|
| 30 |
+
|
| 31 |
+
직접 ResNet을 학습시켜서 그 모델로 데모를 돌리고 싶다면:
|
| 32 |
+
|
| 33 |
+
**Step 1: 로컬에서 학습**
|
| 34 |
+
```bash
|
| 35 |
+
pip install torch torchvision transformers datasets accelerate
|
| 36 |
+
python train_food.py
|
| 37 |
+
```
|
| 38 |
+
→ `./my-resnet18-food101/` 폴더에 학습된 모델 저장됨
|
| 39 |
+
|
| 40 |
+
**Step 2: 모델 허브에 업로드**
|
| 41 |
+
```bash
|
| 42 |
+
huggingface-cli login
|
| 43 |
+
|
| 44 |
+
python -c "
|
| 45 |
+
from modeling_myresnet import MyResNetForImageClassification
|
| 46 |
+
from configuration_myresnet import MyResNetConfig
|
| 47 |
+
|
| 48 |
+
MyResNetConfig.register_for_auto_class()
|
| 49 |
+
MyResNetForImageClassification.register_for_auto_class('AutoModelForImageClassification')
|
| 50 |
+
|
| 51 |
+
model = MyResNetForImageClassification.from_pretrained('./my-resnet18-food101')
|
| 52 |
+
model.push_to_hub('your-username/my-resnet18-food101')
|
| 53 |
+
"
|
| 54 |
+
```
|
| 55 |
+
|
| 56 |
+
**Step 3: Space `app.py`에서 옵션 전환**
|
| 57 |
+
```python
|
| 58 |
+
# 옵션 A 부분을 주석 처리
|
| 59 |
+
# from transformers import AutoImageProcessor, AutoModelForImageClassification
|
| 60 |
+
# ...
|
| 61 |
+
|
| 62 |
+
# 옵션 B 주석 해제
|
| 63 |
+
from configuration_myresnet import MyResNetConfig
|
| 64 |
+
from modeling_myresnet import MyResNetForImageClassification
|
| 65 |
+
|
| 66 |
+
MODEL_ID = "your-username/my-resnet18-food101"
|
| 67 |
+
model = MyResNetForImageClassification.from_pretrained(MODEL_ID)
|
| 68 |
+
model.eval()
|
| 69 |
+
device = "cuda" if torch.cuda.is_available() else "cpu"
|
| 70 |
+
model = model.to(device)
|
| 71 |
+
id2label = model.config.id2label
|
| 72 |
+
```
|
| 73 |
+
|
| 74 |
+
**Step 4: 전처리 함수도 수동 버전으로 변경**
|
| 75 |
+
```python
|
| 76 |
+
from torchvision.transforms import Compose, Resize, ToTensor, Normalize
|
| 77 |
+
|
| 78 |
+
_transform = Compose([
|
| 79 |
+
Resize((224, 224)),
|
| 80 |
+
ToTensor(),
|
| 81 |
+
Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
|
| 82 |
+
])
|
| 83 |
+
|
| 84 |
+
def preprocess(image):
|
| 85 |
+
return _transform(image.convert("RGB")).unsqueeze(0).to(device)
|
| 86 |
+
```
|
| 87 |
+
|
| 88 |
+
## 🍜 Food-101의 101개 클래스
|
| 89 |
+
|
| 90 |
+
```
|
| 91 |
+
apple_pie, baby_back_ribs, baklava, beef_carpaccio, beef_tartare,
|
| 92 |
+
beet_salad, beignets, bibimbap, bread_pudding, breakfast_burrito,
|
| 93 |
+
bruschetta, caesar_salad, cannoli, caprese_salad, carrot_cake,
|
| 94 |
+
ceviche, cheesecake, cheese_plate, chicken_curry, chicken_quesadilla,
|
| 95 |
+
chicken_wings, chocolate_cake, chocolate_mousse, churros, clam_chowder,
|
| 96 |
+
club_sandwich, crab_cakes, creme_brulee, croque_madame, cup_cakes,
|
| 97 |
+
deviled_eggs, donuts, dumplings, edamame, eggs_benedict,
|
| 98 |
+
escargots, falafel, filet_mignon, fish_and_chips, foie_gras,
|
| 99 |
+
french_fries, french_onion_soup, french_toast, fried_calamari, fried_rice,
|
| 100 |
+
frozen_yogurt, garlic_bread, gnocchi, greek_salad, grilled_cheese_sandwich,
|
| 101 |
+
grilled_salmon, guacamole, gyoza, hamburger, hot_and_sour_soup,
|
| 102 |
+
hot_dog, huevos_rancheros, hummus, ice_cream, lasagna,
|
| 103 |
+
lobster_bisque, lobster_roll_sandwich, macaroni_and_cheese, macarons, miso_soup,
|
| 104 |
+
mussels, nachos, omelette, onion_rings, oysters,
|
| 105 |
+
pad_thai, paella, pancakes, panna_cotta, peking_duck,
|
| 106 |
+
pho, pizza, pork_chop, poutine, prime_rib,
|
| 107 |
+
pulled_pork_sandwich, ramen, ravioli, red_velvet_cake, risotto,
|
| 108 |
+
samosa, sashimi, scallops, seaweed_salad, shrimp_and_grits,
|
| 109 |
+
spaghetti_bolognese, spaghetti_carbonara, spring_rolls, steak, strawberry_shortcake,
|
| 110 |
+
sushi, tacos, takoyaki, tiramisu, tuna_tartare, waffles
|
| 111 |
+
```
|
| 112 |
+
|
| 113 |
+
**재미있는 사실**: 🥘 **bibimbap (비빔밥)**, 🍣 **sushi**, 🥟 **gyoza (만두)**,
|
| 114 |
+
🍜 **ramen**, 🌮 **tacos** 등 한식/일식/중식/멕시칸 등 다양한 국가 요리가 포함되어 있어요!
|
| 115 |
+
|
| 116 |
+
## 💡 학습 시간/정확도 참고
|
| 117 |
+
|
| 118 |
+
| 방식 | 시간 (GPU 1장) | 정확도 |
|
| 119 |
+
|------|---------------|--------|
|
| 120 |
+
| Scratch 학습 (30 epochs) | 약 6-10시간 | 약 60-70% |
|
| 121 |
+
| Pretrained + Fine-tuning (10 epochs) | 약 2-4시간 | 약 80-85% |
|
| 122 |
+
| 공개 모델 `nateraw/food` 사용 | 0 | ~90% |
|
| 123 |
+
|
| 124 |
+
**초보자 추천**: 시나리오 1 (공개 모델 사용)로 먼저 Space를 띄워보고,
|
| 125 |
+
나중에 관심 있으면 시나리오 2로 직접 학습해보세요!
|
| 126 |
+
|
| 127 |
+
## 🐛 자주 겪는 문제
|
| 128 |
+
|
| 129 |
+
### 1. 학습 시 OutOfMemory
|
| 130 |
+
```python
|
| 131 |
+
per_device_train_batch_size=64 # 32 또는 16으로 줄이기
|
| 132 |
+
gradient_accumulation_steps=2 # 이걸 대신 추��
|
| 133 |
+
```
|
| 134 |
+
|
| 135 |
+
### 2. Food-101 다운로드가 느림
|
| 136 |
+
- Food-101은 약 5GB입니다
|
| 137 |
+
- 첫 다운로드 후에는 `~/.cache/huggingface/datasets/`에 캐시됨
|
| 138 |
+
- 다운로드는 한 번만 하면 됩니다
|
| 139 |
+
|
| 140 |
+
### 3. "KeyError: '0'" 에러
|
| 141 |
+
- CIFAR 버전과 동일한 문제. `id2label[str(i)]` → `id2label[i]`로 수정
|
| 142 |
+
- 이 프로젝트의 `app.py`는 이미 올바르게 되어 있음
|
README.md
ADDED
|
@@ -0,0 +1,43 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
---
|
| 2 |
+
title: Food Image Classifier
|
| 3 |
+
emoji: 🍽
|
| 4 |
+
colorFrom: red
|
| 5 |
+
colorTo: yellow
|
| 6 |
+
sdk: gradio
|
| 7 |
+
sdk_version: 5.29.0
|
| 8 |
+
python_version: "3.10"
|
| 9 |
+
app_file: app.py
|
| 10 |
+
pinned: false
|
| 11 |
+
license: apache-2.0
|
| 12 |
+
---
|
| 13 |
+
|
| 14 |
+
# 🍽️ Food Image Classifier (Food-101)
|
| 15 |
+
|
| 16 |
+
음식 이미지를 업로드하면 101개 음식 클래스 중 가장 유사한 것을 찾아주는 데모입니다.
|
| 17 |
+
|
| 18 |
+
## 📂 데이터셋: Food-101
|
| 19 |
+
|
| 20 |
+
- **101개 음식 클래스**
|
| 21 |
+
- **101,000장 이미지** (클래스당 1,000장)
|
| 22 |
+
- 라벨: pizza, sushi, hamburger, steak, pancakes, ramen, ice_cream, ...
|
| 23 |
+
|
| 24 |
+
## 🏗️ 모델 구조
|
| 25 |
+
|
| 26 |
+
ResNet ([He et al., 2015](https://arxiv.org/abs/1512.03385)) 논문을 기반으로 한
|
| 27 |
+
이미지 분류 모델입니다.
|
| 28 |
+
|
| 29 |
+
- Architecture: ResNet-18 / ResNet-50
|
| 30 |
+
- Input size: 224×224 RGB
|
| 31 |
+
- Transfer learning from ImageNet
|
| 32 |
+
|
| 33 |
+
## 🎯 사용법
|
| 34 |
+
|
| 35 |
+
1. 음식 이미지를 업로드하거나 드래그
|
| 36 |
+
2. Top-5 예측 결과가 확률과 함께 표시됩니다
|
| 37 |
+
|
| 38 |
+
## 📚 Reference
|
| 39 |
+
|
| 40 |
+
- Paper: https://arxiv.org/abs/1512.03385
|
| 41 |
+
- Dataset: https://data.vision.ee.ethz.ch/cvl/datasets_extra/food-101/
|
| 42 |
+
|
| 43 |
+
Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
|
app.py
ADDED
|
@@ -0,0 +1,110 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
"""Gradio 웹 데모: Food-101 101개 음식 클래스 분류기.
|
| 2 |
+
|
| 3 |
+
이 파일은 Hugging Face Spaces에서 자동 실행됩니다 (app_file: app.py).
|
| 4 |
+
|
| 5 |
+
작동 방식:
|
| 6 |
+
1) 기본값: 허브의 'nateraw/food' 공개 모델 사용
|
| 7 |
+
(Pretrained ResNet + Food-101 fine-tuning으로 ~90% 정확도)
|
| 8 |
+
2) 직접 학습한 MyResNet이 있다면 아래 USE_CUSTOM_RESNET=True로 변경
|
| 9 |
+
"""
|
| 10 |
+
import torch
|
| 11 |
+
import torch.nn.functional as F
|
| 12 |
+
import gradio as gr
|
| 13 |
+
|
| 14 |
+
|
| 15 |
+
# ============================================================
|
| 16 |
+
# 설정
|
| 17 |
+
# ============================================================
|
| 18 |
+
USE_CUSTOM_RESNET = False # True: 자체 MyResNet 사용
|
| 19 |
+
MODEL_ID = "nateraw/food" # 또는 "your-username/my-resnet18-food101"
|
| 20 |
+
|
| 21 |
+
|
| 22 |
+
# ============================================================
|
| 23 |
+
# 모델 로딩
|
| 24 |
+
# ============================================================
|
| 25 |
+
print(f"모델 로딩 중: {MODEL_ID}")
|
| 26 |
+
|
| 27 |
+
if USE_CUSTOM_RESNET:
|
| 28 |
+
# 자체 학습한 MyResNet 불러오기
|
| 29 |
+
from configuration_myresnet import MyResNetConfig
|
| 30 |
+
from modeling_myresnet import MyResNetForImageClassification
|
| 31 |
+
from torchvision.transforms import Compose, Resize, ToTensor, Normalize
|
| 32 |
+
|
| 33 |
+
model = MyResNetForImageClassification.from_pretrained(MODEL_ID)
|
| 34 |
+
_transform = Compose([
|
| 35 |
+
Resize((224, 224)),
|
| 36 |
+
ToTensor(),
|
| 37 |
+
Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
|
| 38 |
+
])
|
| 39 |
+
|
| 40 |
+
def preprocess(image):
|
| 41 |
+
return _transform(image.convert("RGB")).unsqueeze(0)
|
| 42 |
+
|
| 43 |
+
else:
|
| 44 |
+
# 공개 모델 불러오기 (AutoImageProcessor가 전처리 자동 처리)
|
| 45 |
+
from transformers import AutoImageProcessor, AutoModelForImageClassification
|
| 46 |
+
|
| 47 |
+
processor = AutoImageProcessor.from_pretrained(MODEL_ID)
|
| 48 |
+
model = AutoModelForImageClassification.from_pretrained(MODEL_ID)
|
| 49 |
+
|
| 50 |
+
def preprocess(image):
|
| 51 |
+
inputs = processor(images=image.convert("RGB"), return_tensors="pt")
|
| 52 |
+
return inputs["pixel_values"]
|
| 53 |
+
|
| 54 |
+
|
| 55 |
+
model.eval()
|
| 56 |
+
device = "cuda" if torch.cuda.is_available() else "cpu"
|
| 57 |
+
model = model.to(device)
|
| 58 |
+
id2label = model.config.id2label
|
| 59 |
+
|
| 60 |
+
print(f"디바이스: {device}")
|
| 61 |
+
print(f"클래스 수: {len(id2label)}")
|
| 62 |
+
|
| 63 |
+
|
| 64 |
+
# ============================================================
|
| 65 |
+
# 예측 함수
|
| 66 |
+
# ============================================================
|
| 67 |
+
def classify(image):
|
| 68 |
+
"""이미지를 Top-5 음식 클래스로 분류합니다."""
|
| 69 |
+
if image is None:
|
| 70 |
+
return {}
|
| 71 |
+
|
| 72 |
+
pixel_values = preprocess(image).to(device)
|
| 73 |
+
|
| 74 |
+
with torch.no_grad():
|
| 75 |
+
logits = model(pixel_values=pixel_values).logits
|
| 76 |
+
probs = F.softmax(logits, dim=-1)[0].cpu()
|
| 77 |
+
|
| 78 |
+
top5_probs, top5_idx = torch.topk(probs, k=5)
|
| 79 |
+
|
| 80 |
+
return {
|
| 81 |
+
id2label[idx.item()].replace("_", " ").title(): float(prob)
|
| 82 |
+
for prob, idx in zip(top5_probs, top5_idx)
|
| 83 |
+
}
|
| 84 |
+
|
| 85 |
+
|
| 86 |
+
# ============================================================
|
| 87 |
+
# Gradio UI
|
| 88 |
+
# ============================================================
|
| 89 |
+
TITLE = "🍽️ Food Image Classifier"
|
| 90 |
+
|
| 91 |
+
DESCRIPTION = """
|
| 92 |
+
음식 사진을 업로드하면 **Food-101** 데이터셋의 101개 음식 중 가장 유사한 것을 찾아 **Top-5** 결과로 보여줍니다.
|
| 93 |
+
|
| 94 |
+
**지원 음식 예시:** 🍕 Pizza · 🍣 Sushi · 🍔 Hamburger · 🥩 Steak · 🥞 Pancakes · 🍜 Ramen · 🍦 Ice Cream · 🥘 Bibimbap · 🌮 Tacos · 🥟 Gyoza · ...
|
| 95 |
+
|
| 96 |
+
**모델:** ResNet-18 (Pretrained on ImageNet, Fine-tuned on Food-101)
|
| 97 |
+
"""
|
| 98 |
+
|
| 99 |
+
demo = gr.Interface(
|
| 100 |
+
fn=classify,
|
| 101 |
+
inputs=gr.Image(type="pil", label="음식 이미지 업로드"),
|
| 102 |
+
outputs=gr.Label(num_top_classes=5, label="예측 결과"),
|
| 103 |
+
title=TITLE,
|
| 104 |
+
description=DESCRIPTION,
|
| 105 |
+
flagging_mode="never",
|
| 106 |
+
)
|
| 107 |
+
|
| 108 |
+
|
| 109 |
+
if __name__ == "__main__":
|
| 110 |
+
demo.launch()
|
configuration_myresnet.py
ADDED
|
@@ -0,0 +1,58 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
"""MyResNet 모델 설정 클래스.
|
| 2 |
+
|
| 3 |
+
ResNet (He et al., 2015) 논문을 바탕으로 구현한 커스텀 모델의 설정입니다.
|
| 4 |
+
허깅페이스 PretrainedConfig를 상속받아 save_pretrained / from_pretrained 호환됩니다.
|
| 5 |
+
"""
|
| 6 |
+
from typing import List, Optional
|
| 7 |
+
|
| 8 |
+
from transformers import PretrainedConfig
|
| 9 |
+
|
| 10 |
+
|
| 11 |
+
class MyResNetConfig(PretrainedConfig):
|
| 12 |
+
"""
|
| 13 |
+
MyResNet 모델의 하이퍼파라미터를 저장하는 Config 클래스.
|
| 14 |
+
|
| 15 |
+
Args:
|
| 16 |
+
num_channels (int): 입력 이미지 채널 수 (RGB=3, grayscale=1).
|
| 17 |
+
num_labels (int): 분류할 클래스 개수.
|
| 18 |
+
block_type (str): 'basic' (ResNet-18/34) 또는 'bottleneck' (ResNet-50/101/152).
|
| 19 |
+
layers (List[int]): 각 stage(conv2_x ~ conv5_x)에 들어갈 블록 개수.
|
| 20 |
+
- ResNet-18: [2, 2, 2, 2]
|
| 21 |
+
- ResNet-34: [3, 4, 6, 3]
|
| 22 |
+
- ResNet-50: [3, 4, 6, 3] (bottleneck)
|
| 23 |
+
- ResNet-101: [3, 4, 23, 3] (bottleneck)
|
| 24 |
+
- ResNet-152: [3, 8, 36, 3] (bottleneck)
|
| 25 |
+
hidden_sizes (List[int]): 각 stage의 기본 채널 수. 기본값 [64, 128, 256, 512].
|
| 26 |
+
image_size (int): 입력 이미지 크기 (정사각형 기준).
|
| 27 |
+
|
| 28 |
+
Example:
|
| 29 |
+
>>> from configuration_myresnet import MyResNetConfig
|
| 30 |
+
>>> config = MyResNetConfig(num_labels=10, layers=[2, 2, 2, 2])
|
| 31 |
+
"""
|
| 32 |
+
|
| 33 |
+
model_type = "myresnet"
|
| 34 |
+
|
| 35 |
+
def __init__(
|
| 36 |
+
self,
|
| 37 |
+
num_channels: int = 3,
|
| 38 |
+
num_labels: int = 1000,
|
| 39 |
+
block_type: str = "basic",
|
| 40 |
+
layers: Optional[List[int]] = None,
|
| 41 |
+
hidden_sizes: Optional[List[int]] = None,
|
| 42 |
+
image_size: int = 224,
|
| 43 |
+
**kwargs,
|
| 44 |
+
):
|
| 45 |
+
super().__init__(num_labels=num_labels, **kwargs)
|
| 46 |
+
self.num_channels = num_channels
|
| 47 |
+
self.block_type = block_type
|
| 48 |
+
self.layers = layers if layers is not None else [3, 4, 6, 3]
|
| 49 |
+
self.hidden_sizes = hidden_sizes if hidden_sizes is not None else [64, 128, 256, 512]
|
| 50 |
+
self.image_size = image_size
|
| 51 |
+
|
| 52 |
+
# 검증
|
| 53 |
+
if block_type not in ("basic", "bottleneck"):
|
| 54 |
+
raise ValueError(f"block_type must be 'basic' or 'bottleneck', got {block_type}")
|
| 55 |
+
if len(self.layers) != 4:
|
| 56 |
+
raise ValueError(f"layers must have length 4, got {len(self.layers)}")
|
| 57 |
+
if len(self.hidden_sizes) != 4:
|
| 58 |
+
raise ValueError(f"hidden_sizes must have length 4, got {len(self.hidden_sizes)}")
|
modeling_myresnet.py
ADDED
|
@@ -0,0 +1,245 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
"""MyResNet 모델 구현.
|
| 2 |
+
|
| 3 |
+
ResNet (Deep Residual Learning for Image Recognition, He et al., 2015)
|
| 4 |
+
논문을 PyTorch + 허깅페이스 transformers 포맷으로 구현한 파일입니다.
|
| 5 |
+
"""
|
| 6 |
+
from typing import Optional, Union, Tuple
|
| 7 |
+
|
| 8 |
+
import torch
|
| 9 |
+
import torch.nn as nn
|
| 10 |
+
from transformers import PreTrainedModel
|
| 11 |
+
from transformers.modeling_outputs import ImageClassifierOutput
|
| 12 |
+
|
| 13 |
+
from configuration_myresnet import MyResNetConfig
|
| 14 |
+
|
| 15 |
+
|
| 16 |
+
# ============================================================
|
| 17 |
+
# Basic Block (ResNet-18/34용) - 논문 Fig 2
|
| 18 |
+
# ============================================================
|
| 19 |
+
class BasicBlock(nn.Module):
|
| 20 |
+
"""2개의 3x3 conv로 이루어진 기본 residual block.
|
| 21 |
+
|
| 22 |
+
y = ReLU( BN(conv(ReLU(BN(conv(x))))) + shortcut(x) )
|
| 23 |
+
"""
|
| 24 |
+
|
| 25 |
+
expansion = 1 # 출력 채널 배수
|
| 26 |
+
|
| 27 |
+
def __init__(self, in_channels: int, out_channels: int, stride: int = 1):
|
| 28 |
+
super().__init__()
|
| 29 |
+
# 첫 번째 3x3 conv (stride로 다운샘플링 가능)
|
| 30 |
+
self.conv1 = nn.Conv2d(
|
| 31 |
+
in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False
|
| 32 |
+
)
|
| 33 |
+
self.bn1 = nn.BatchNorm2d(out_channels)
|
| 34 |
+
|
| 35 |
+
# 두 번째 3x3 conv (stride=1 고정)
|
| 36 |
+
self.conv2 = nn.Conv2d(
|
| 37 |
+
out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False
|
| 38 |
+
)
|
| 39 |
+
self.bn2 = nn.BatchNorm2d(out_channels)
|
| 40 |
+
self.relu = nn.ReLU(inplace=True)
|
| 41 |
+
|
| 42 |
+
# Shortcut: 차원이 바뀔 때만 projection (1x1 conv) 사용 (논문 Eqn.2, Option B)
|
| 43 |
+
if stride != 1 or in_channels != out_channels * self.expansion:
|
| 44 |
+
self.shortcut = nn.Sequential(
|
| 45 |
+
nn.Conv2d(
|
| 46 |
+
in_channels,
|
| 47 |
+
out_channels * self.expansion,
|
| 48 |
+
kernel_size=1,
|
| 49 |
+
stride=stride,
|
| 50 |
+
bias=False,
|
| 51 |
+
),
|
| 52 |
+
nn.BatchNorm2d(out_channels * self.expansion),
|
| 53 |
+
)
|
| 54 |
+
else:
|
| 55 |
+
self.shortcut = nn.Identity()
|
| 56 |
+
|
| 57 |
+
def forward(self, x: torch.Tensor) -> torch.Tensor:
|
| 58 |
+
identity = self.shortcut(x)
|
| 59 |
+
out = self.relu(self.bn1(self.conv1(x)))
|
| 60 |
+
out = self.bn2(self.conv2(out))
|
| 61 |
+
out = out + identity # 논문 Eqn.1: F(x) + x
|
| 62 |
+
return self.relu(out) # addition 후 ReLU (논문 Sec 3.2)
|
| 63 |
+
|
| 64 |
+
|
| 65 |
+
# ============================================================
|
| 66 |
+
# Bottleneck Block (ResNet-50/101/152용) - 논문 Fig 5 오른쪽
|
| 67 |
+
# ============================================================
|
| 68 |
+
class BottleneckBlock(nn.Module):
|
| 69 |
+
"""1x1 -> 3x3 -> 1x1 구조로 채널을 줄였다가 다시 늘리는 bottleneck block.
|
| 70 |
+
|
| 71 |
+
마지막 1x1 conv에서 채널을 expansion(=4)배로 확장합니다.
|
| 72 |
+
"""
|
| 73 |
+
|
| 74 |
+
expansion = 4
|
| 75 |
+
|
| 76 |
+
def __init__(self, in_channels: int, out_channels: int, stride: int = 1):
|
| 77 |
+
super().__init__()
|
| 78 |
+
# 1x1 conv: 채널 축소
|
| 79 |
+
self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=1, bias=False)
|
| 80 |
+
self.bn1 = nn.BatchNorm2d(out_channels)
|
| 81 |
+
|
| 82 |
+
# 3x3 conv: 실제 연산 (bottleneck 중심)
|
| 83 |
+
self.conv2 = nn.Conv2d(
|
| 84 |
+
out_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False
|
| 85 |
+
)
|
| 86 |
+
self.bn2 = nn.BatchNorm2d(out_channels)
|
| 87 |
+
|
| 88 |
+
# 1x1 conv: 채널 복원 (4배로 확장)
|
| 89 |
+
self.conv3 = nn.Conv2d(
|
| 90 |
+
out_channels, out_channels * self.expansion, kernel_size=1, bias=False
|
| 91 |
+
)
|
| 92 |
+
self.bn3 = nn.BatchNorm2d(out_channels * self.expansion)
|
| 93 |
+
self.relu = nn.ReLU(inplace=True)
|
| 94 |
+
|
| 95 |
+
if stride != 1 or in_channels != out_channels * self.expansion:
|
| 96 |
+
self.shortcut = nn.Sequential(
|
| 97 |
+
nn.Conv2d(
|
| 98 |
+
in_channels,
|
| 99 |
+
out_channels * self.expansion,
|
| 100 |
+
kernel_size=1,
|
| 101 |
+
stride=stride,
|
| 102 |
+
bias=False,
|
| 103 |
+
),
|
| 104 |
+
nn.BatchNorm2d(out_channels * self.expansion),
|
| 105 |
+
)
|
| 106 |
+
else:
|
| 107 |
+
self.shortcut = nn.Identity()
|
| 108 |
+
|
| 109 |
+
def forward(self, x: torch.Tensor) -> torch.Tensor:
|
| 110 |
+
identity = self.shortcut(x)
|
| 111 |
+
out = self.relu(self.bn1(self.conv1(x)))
|
| 112 |
+
out = self.relu(self.bn2(self.conv2(out)))
|
| 113 |
+
out = self.bn3(self.conv3(out))
|
| 114 |
+
out = out + identity
|
| 115 |
+
return self.relu(out)
|
| 116 |
+
|
| 117 |
+
|
| 118 |
+
# ============================================================
|
| 119 |
+
# PreTrainedModel 베이스 클래스
|
| 120 |
+
# ============================================================
|
| 121 |
+
class MyResNetPreTrainedModel(PreTrainedModel):
|
| 122 |
+
"""from_pretrained / save_pretrained 등을 지원하는 베이스 클래스."""
|
| 123 |
+
|
| 124 |
+
config_class = MyResNetConfig
|
| 125 |
+
base_model_prefix = "myresnet"
|
| 126 |
+
main_input_name = "pixel_values"
|
| 127 |
+
supports_gradient_checkpointing = False
|
| 128 |
+
|
| 129 |
+
def _init_weights(self, module):
|
| 130 |
+
"""논문 Sec 3.4: He initialization 사용."""
|
| 131 |
+
if isinstance(module, nn.Conv2d):
|
| 132 |
+
nn.init.kaiming_normal_(module.weight, mode="fan_out", nonlinearity="relu")
|
| 133 |
+
elif isinstance(module, nn.BatchNorm2d):
|
| 134 |
+
nn.init.constant_(module.weight, 1)
|
| 135 |
+
nn.init.constant_(module.bias, 0)
|
| 136 |
+
elif isinstance(module, nn.Linear):
|
| 137 |
+
nn.init.normal_(module.weight, mean=0.0, std=0.01)
|
| 138 |
+
if module.bias is not None:
|
| 139 |
+
nn.init.constant_(module.bias, 0)
|
| 140 |
+
|
| 141 |
+
|
| 142 |
+
# ============================================================
|
| 143 |
+
# 이미지 분류용 ResNet
|
| 144 |
+
# ============================================================
|
| 145 |
+
class MyResNetForImageClassification(MyResNetPreTrainedModel):
|
| 146 |
+
"""이미지 분류용 ResNet 모델.
|
| 147 |
+
|
| 148 |
+
입력: pixel_values (batch, num_channels, H, W)
|
| 149 |
+
출력: ImageClassifierOutput(loss, logits)
|
| 150 |
+
|
| 151 |
+
논문 Table 1의 구조를 따릅니다:
|
| 152 |
+
conv1 (7x7, stride=2) -> maxpool -> stage1~4 -> avgpool -> fc
|
| 153 |
+
"""
|
| 154 |
+
|
| 155 |
+
def __init__(self, config: MyResNetConfig):
|
| 156 |
+
super().__init__(config)
|
| 157 |
+
self.config = config
|
| 158 |
+
|
| 159 |
+
# 블록 종류 선택
|
| 160 |
+
block = BasicBlock if config.block_type == "basic" else BottleneckBlock
|
| 161 |
+
self.in_channels = 64
|
| 162 |
+
|
| 163 |
+
# ---- Stem (논문 Table 1 conv1) ----
|
| 164 |
+
# 7x7 conv, 64 channels, stride=2 + BN + ReLU + maxpool
|
| 165 |
+
self.stem = nn.Sequential(
|
| 166 |
+
nn.Conv2d(
|
| 167 |
+
config.num_channels, 64, kernel_size=7, stride=2, padding=3, bias=False
|
| 168 |
+
),
|
| 169 |
+
nn.BatchNorm2d(64),
|
| 170 |
+
nn.ReLU(inplace=True),
|
| 171 |
+
nn.MaxPool2d(kernel_size=3, stride=2, padding=1),
|
| 172 |
+
)
|
| 173 |
+
|
| 174 |
+
# ---- 4 stages (conv2_x ~ conv5_x) ----
|
| 175 |
+
self.stage1 = self._make_stage(
|
| 176 |
+
block, config.hidden_sizes[0], config.layers[0], stride=1
|
| 177 |
+
)
|
| 178 |
+
self.stage2 = self._make_stage(
|
| 179 |
+
block, config.hidden_sizes[1], config.layers[1], stride=2
|
| 180 |
+
)
|
| 181 |
+
self.stage3 = self._make_stage(
|
| 182 |
+
block, config.hidden_sizes[2], config.layers[2], stride=2
|
| 183 |
+
)
|
| 184 |
+
self.stage4 = self._make_stage(
|
| 185 |
+
block, config.hidden_sizes[3], config.layers[3], stride=2
|
| 186 |
+
)
|
| 187 |
+
|
| 188 |
+
# ---- Classification head ----
|
| 189 |
+
self.avgpool = nn.AdaptiveAvgPool2d(output_size=1)
|
| 190 |
+
self.classifier = nn.Linear(
|
| 191 |
+
config.hidden_sizes[3] * block.expansion, config.num_labels
|
| 192 |
+
)
|
| 193 |
+
|
| 194 |
+
# 가중치 초기화 적용
|
| 195 |
+
self.post_init()
|
| 196 |
+
|
| 197 |
+
def _make_stage(self, block, out_channels: int, num_blocks: int, stride: int):
|
| 198 |
+
"""하나의 stage(동일 해상도의 블록들)를 만드는 헬퍼.
|
| 199 |
+
|
| 200 |
+
첫 블록만 stride로 다운샘플링하고, 나머지는 stride=1.
|
| 201 |
+
"""
|
| 202 |
+
strides = [stride] + [1] * (num_blocks - 1)
|
| 203 |
+
layers = []
|
| 204 |
+
for s in strides:
|
| 205 |
+
layers.append(block(self.in_channels, out_channels, stride=s))
|
| 206 |
+
self.in_channels = out_channels * block.expansion
|
| 207 |
+
return nn.Sequential(*layers)
|
| 208 |
+
|
| 209 |
+
def forward(
|
| 210 |
+
self,
|
| 211 |
+
pixel_values: torch.Tensor,
|
| 212 |
+
labels: Optional[torch.Tensor] = None,
|
| 213 |
+
return_dict: Optional[bool] = None,
|
| 214 |
+
) -> Union[Tuple, ImageClassifierOutput]:
|
| 215 |
+
"""순전파.
|
| 216 |
+
|
| 217 |
+
Args:
|
| 218 |
+
pixel_values: (batch, num_channels, H, W) 형태의 이미지 텐서.
|
| 219 |
+
labels: (batch,) 형태의 정답 레이블. 주어지면 loss도 함께 반환.
|
| 220 |
+
return_dict: True면 ImageClassifierOutput, False면 튜플 반환.
|
| 221 |
+
"""
|
| 222 |
+
return_dict = return_dict if return_dict is not None else self.config.use_return_dict
|
| 223 |
+
|
| 224 |
+
# Shape 흐름: (B, 3, 224, 224)
|
| 225 |
+
x = self.stem(pixel_values) # -> (B, 64, 56, 56)
|
| 226 |
+
x = self.stage1(x) # -> (B, 64*e, 56, 56)
|
| 227 |
+
x = self.stage2(x) # -> (B, 128*e, 28, 28)
|
| 228 |
+
x = self.stage3(x) # -> (B, 256*e, 14, 14)
|
| 229 |
+
x = self.stage4(x) # -> (B, 512*e, 7, 7)
|
| 230 |
+
|
| 231 |
+
x = self.avgpool(x) # -> (B, 512*e, 1, 1)
|
| 232 |
+
x = torch.flatten(x, 1) # -> (B, 512*e)
|
| 233 |
+
logits = self.classifier(x) # -> (B, num_labels)
|
| 234 |
+
|
| 235 |
+
# Loss 계산 (Trainer 호환)
|
| 236 |
+
loss = None
|
| 237 |
+
if labels is not None:
|
| 238 |
+
loss_fn = nn.CrossEntropyLoss()
|
| 239 |
+
loss = loss_fn(logits, labels)
|
| 240 |
+
|
| 241 |
+
if not return_dict:
|
| 242 |
+
output = (logits,)
|
| 243 |
+
return ((loss,) + output) if loss is not None else output
|
| 244 |
+
|
| 245 |
+
return ImageClassifierOutput(loss=loss, logits=logits)
|
requirements.txt
ADDED
|
@@ -0,0 +1,6 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
gradio==5.29.0
|
| 2 |
+
torch
|
| 3 |
+
torchvision
|
| 4 |
+
transformers
|
| 5 |
+
Pillow
|
| 6 |
+
numpy
|
resnet-food.zip
ADDED
|
Binary file (13.2 kB). View file
|
|
|
train_food.py
ADDED
|
@@ -0,0 +1,226 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
"""Food-101 데이터셋으로 MyResNet을 학습하는 스크립트.
|
| 2 |
+
|
| 3 |
+
torchvision의 ImageNet pretrained ResNet-18 가중치를 가져와서
|
| 4 |
+
MyResNet에 로드한 후 Food-101에 fine-tuning합니다.
|
| 5 |
+
|
| 6 |
+
사용법:
|
| 7 |
+
python train_food.py
|
| 8 |
+
|
| 9 |
+
요구사항:
|
| 10 |
+
pip install torch torchvision transformers datasets accelerate
|
| 11 |
+
|
| 12 |
+
학습 시간 (GPU 1장 기준):
|
| 13 |
+
- Food-101 full (101종): 약 2~4시간 (10 epoch)
|
| 14 |
+
- 빠른 테스트: epochs=3으로 줄이면 1시간 내
|
| 15 |
+
"""
|
| 16 |
+
import numpy as np
|
| 17 |
+
import torch
|
| 18 |
+
import torch.nn as nn
|
| 19 |
+
import torchvision.models as tv_models
|
| 20 |
+
from datasets import load_dataset
|
| 21 |
+
from torchvision.transforms import (
|
| 22 |
+
Compose,
|
| 23 |
+
Normalize,
|
| 24 |
+
RandomCrop,
|
| 25 |
+
RandomHorizontalFlip,
|
| 26 |
+
Resize,
|
| 27 |
+
ToTensor,
|
| 28 |
+
)
|
| 29 |
+
from transformers import DefaultDataCollator, Trainer, TrainingArguments
|
| 30 |
+
|
| 31 |
+
from configuration_myresnet import MyResNetConfig
|
| 32 |
+
from modeling_myresnet import MyResNetForImageClassification
|
| 33 |
+
|
| 34 |
+
|
| 35 |
+
# ============================================================
|
| 36 |
+
# 1) 데이터셋 로딩
|
| 37 |
+
# ============================================================
|
| 38 |
+
print("Food-101 데이터셋 로딩 중...")
|
| 39 |
+
dataset = load_dataset("food101")
|
| 40 |
+
|
| 41 |
+
# Food-101의 101개 클래스명 가져오기
|
| 42 |
+
food_classes = dataset["train"].features["label"].names
|
| 43 |
+
NUM_CLASSES = len(food_classes)
|
| 44 |
+
print(f"총 클래스 수: {NUM_CLASSES}")
|
| 45 |
+
print(f"학습 이미지: {len(dataset['train']):,}장")
|
| 46 |
+
print(f"검증 이미지: {len(dataset['validation']):,}장")
|
| 47 |
+
|
| 48 |
+
|
| 49 |
+
# ============================================================
|
| 50 |
+
# 2) 모델 준비 - ResNet-18 + Pretrained 가중치 로드
|
| 51 |
+
# ============================================================
|
| 52 |
+
config = MyResNetConfig(
|
| 53 |
+
num_channels=3,
|
| 54 |
+
num_labels=NUM_CLASSES,
|
| 55 |
+
block_type="basic",
|
| 56 |
+
layers=[2, 2, 2, 2], # ResNet-18
|
| 57 |
+
hidden_sizes=[64, 128, 256, 512],
|
| 58 |
+
image_size=224,
|
| 59 |
+
id2label={i: name for i, name in enumerate(food_classes)},
|
| 60 |
+
label2id={name: i for i, name in enumerate(food_classes)},
|
| 61 |
+
)
|
| 62 |
+
model = MyResNetForImageClassification(config)
|
| 63 |
+
|
| 64 |
+
|
| 65 |
+
def load_pretrained_resnet18(model):
|
| 66 |
+
"""torchvision의 ImageNet pretrained ResNet-18 가중치를 MyResNet에 복사.
|
| 67 |
+
|
| 68 |
+
두 모델의 레이어 이름이 다르므로 매핑해줍니다.
|
| 69 |
+
마지막 FC 레이어(classifier)는 클래스 수가 다르므로 스킵.
|
| 70 |
+
"""
|
| 71 |
+
print("ImageNet pretrained ResNet-18 가중치 로딩...")
|
| 72 |
+
tv_resnet = tv_models.resnet18(weights=tv_models.ResNet18_Weights.IMAGENET1K_V1)
|
| 73 |
+
tv_state = tv_resnet.state_dict()
|
| 74 |
+
|
| 75 |
+
# torchvision -> MyResNet 레이어 이름 매핑
|
| 76 |
+
# tv_resnet: conv1, bn1, layer1~4, fc
|
| 77 |
+
# MyResNet: stem.0 (conv1), stem.1 (bn1), stage1~4, classifier
|
| 78 |
+
mapping = {
|
| 79 |
+
"conv1.": "stem.0.",
|
| 80 |
+
"bn1.": "stem.1.",
|
| 81 |
+
"layer1.": "stage1.",
|
| 82 |
+
"layer2.": "stage2.",
|
| 83 |
+
"layer3.": "stage3.",
|
| 84 |
+
"layer4.": "stage4.",
|
| 85 |
+
}
|
| 86 |
+
|
| 87 |
+
# downsample은 shortcut으로 매핑 (각 stage의 첫 블록에만 있음)
|
| 88 |
+
new_state = {}
|
| 89 |
+
for k, v in tv_state.items():
|
| 90 |
+
if k.startswith("fc."):
|
| 91 |
+
continue # FC 레이어는 스킵 (클래스 수가 다름)
|
| 92 |
+
|
| 93 |
+
new_k = k
|
| 94 |
+
for old, new in mapping.items():
|
| 95 |
+
if new_k.startswith(old):
|
| 96 |
+
new_k = new_k.replace(old, new, 1)
|
| 97 |
+
break
|
| 98 |
+
|
| 99 |
+
# layer1.0.downsample.0 -> stage1.0.shortcut.0
|
| 100 |
+
new_k = new_k.replace(".downsample.", ".shortcut.")
|
| 101 |
+
new_state[new_k] = v
|
| 102 |
+
|
| 103 |
+
# strict=False로 부분 로드 (classifier는 학습 필요)
|
| 104 |
+
missing, unexpected = model.load_state_dict(new_state, strict=False)
|
| 105 |
+
print(f"로드 성공. 누락된 키 {len(missing)}개 (classifier 등), "
|
| 106 |
+
f"예상치 못한 키 {len(unexpected)}개")
|
| 107 |
+
return model
|
| 108 |
+
|
| 109 |
+
|
| 110 |
+
model = load_pretrained_resnet18(model)
|
| 111 |
+
print(f"모델 파라미터 수: {sum(p.numel() for p in model.parameters()):,}")
|
| 112 |
+
|
| 113 |
+
|
| 114 |
+
# ============================================================
|
| 115 |
+
# 3) 데이터 전처리
|
| 116 |
+
# ============================================================
|
| 117 |
+
IMAGENET_MEAN = [0.485, 0.456, 0.406]
|
| 118 |
+
IMAGENET_STD = [0.229, 0.224, 0.225]
|
| 119 |
+
|
| 120 |
+
train_transform = Compose([
|
| 121 |
+
Resize(256),
|
| 122 |
+
RandomCrop(224),
|
| 123 |
+
RandomHorizontalFlip(),
|
| 124 |
+
ToTensor(),
|
| 125 |
+
Normalize(mean=IMAGENET_MEAN, std=IMAGENET_STD),
|
| 126 |
+
])
|
| 127 |
+
eval_transform = Compose([
|
| 128 |
+
Resize((224, 224)),
|
| 129 |
+
ToTensor(),
|
| 130 |
+
Normalize(mean=IMAGENET_MEAN, std=IMAGENET_STD),
|
| 131 |
+
])
|
| 132 |
+
|
| 133 |
+
|
| 134 |
+
def preprocess_train(batch):
|
| 135 |
+
batch["pixel_values"] = [
|
| 136 |
+
train_transform(img.convert("RGB")) for img in batch["image"]
|
| 137 |
+
]
|
| 138 |
+
batch["labels"] = batch["label"]
|
| 139 |
+
return batch
|
| 140 |
+
|
| 141 |
+
|
| 142 |
+
def preprocess_eval(batch):
|
| 143 |
+
batch["pixel_values"] = [
|
| 144 |
+
eval_transform(img.convert("RGB")) for img in batch["image"]
|
| 145 |
+
]
|
| 146 |
+
batch["labels"] = batch["label"]
|
| 147 |
+
return batch
|
| 148 |
+
|
| 149 |
+
|
| 150 |
+
train_ds = dataset["train"].with_transform(preprocess_train)
|
| 151 |
+
eval_ds = dataset["validation"].with_transform(preprocess_eval)
|
| 152 |
+
|
| 153 |
+
|
| 154 |
+
# ============================================================
|
| 155 |
+
# 4) 평가 지표 (top-1 + top-5 accuracy)
|
| 156 |
+
# ============================================================
|
| 157 |
+
def compute_metrics(eval_pred):
|
| 158 |
+
logits, labels = eval_pred
|
| 159 |
+
# Top-1 accuracy
|
| 160 |
+
top1_preds = np.argmax(logits, axis=-1)
|
| 161 |
+
top1_acc = (top1_preds == labels).mean()
|
| 162 |
+
|
| 163 |
+
# Top-5 accuracy
|
| 164 |
+
top5_preds = np.argsort(-logits, axis=-1)[:, :5]
|
| 165 |
+
top5_correct = np.any(top5_preds == labels[:, None], axis=-1)
|
| 166 |
+
top5_acc = top5_correct.mean()
|
| 167 |
+
|
| 168 |
+
return {
|
| 169 |
+
"accuracy": float(top1_acc),
|
| 170 |
+
"top5_accuracy": float(top5_acc),
|
| 171 |
+
}
|
| 172 |
+
|
| 173 |
+
|
| 174 |
+
# ============================================================
|
| 175 |
+
# 5) Trainer 설정
|
| 176 |
+
# ============================================================
|
| 177 |
+
training_args = TrainingArguments(
|
| 178 |
+
output_dir="./my-resnet18-food101",
|
| 179 |
+
num_train_epochs=10, # 10 epoch 권장 (pretrained이므로 적게)
|
| 180 |
+
per_device_train_batch_size=64,
|
| 181 |
+
per_device_eval_batch_size=64,
|
| 182 |
+
learning_rate=1e-3, # pretrained이므로 더 작게 시작
|
| 183 |
+
weight_decay=1e-4,
|
| 184 |
+
lr_scheduler_type="cosine",
|
| 185 |
+
warmup_ratio=0.05,
|
| 186 |
+
eval_strategy="epoch",
|
| 187 |
+
save_strategy="epoch",
|
| 188 |
+
save_total_limit=2,
|
| 189 |
+
logging_steps=50,
|
| 190 |
+
load_best_model_at_end=True,
|
| 191 |
+
metric_for_best_model="accuracy",
|
| 192 |
+
greater_is_better=True,
|
| 193 |
+
fp16=torch.cuda.is_available(),
|
| 194 |
+
remove_unused_columns=False,
|
| 195 |
+
dataloader_num_workers=4,
|
| 196 |
+
report_to="none",
|
| 197 |
+
push_to_hub=False, # True로 바꾸면 자동 업로드
|
| 198 |
+
# hub_model_id="your-username/my-resnet18-food101",
|
| 199 |
+
)
|
| 200 |
+
|
| 201 |
+
trainer = Trainer(
|
| 202 |
+
model=model,
|
| 203 |
+
args=training_args,
|
| 204 |
+
train_dataset=train_ds,
|
| 205 |
+
eval_dataset=eval_ds,
|
| 206 |
+
data_collator=DefaultDataCollator(),
|
| 207 |
+
compute_metrics=compute_metrics,
|
| 208 |
+
)
|
| 209 |
+
|
| 210 |
+
|
| 211 |
+
# ============================================================
|
| 212 |
+
# 6) 학습 실행
|
| 213 |
+
# ============================================================
|
| 214 |
+
if __name__ == "__main__":
|
| 215 |
+
print("\n=== Food-101 학습 시작 ===")
|
| 216 |
+
trainer.train()
|
| 217 |
+
|
| 218 |
+
metrics = trainer.evaluate()
|
| 219 |
+
print(f"\n최종 Top-1 정확도: {metrics['eval_accuracy']:.4f}")
|
| 220 |
+
print(f"최종 Top-5 정확도: {metrics['eval_top5_accuracy']:.4f}")
|
| 221 |
+
|
| 222 |
+
trainer.save_model("./my-resnet18-food101")
|
| 223 |
+
print("모델 저장 완료: ./my-resnet18-food101")
|
| 224 |
+
|
| 225 |
+
# 허브 업로드:
|
| 226 |
+
# trainer.push_to_hub()
|