README.md

metadata

title: Cafeteria Multimodal Menu Classifier
emoji: 🍱
colorFrom: pink
colorTo: purple
sdk: gradio
sdk_version: 3.41.2
app_file: app.py
pinned: false

학식 이미지 기반 멀티모달 메뉴 분석 웹앱

ConvNeXt · CLIP · BLIP 기반 자동 학식 분류 & 캡션 생성 & 칼로리 분석 시스템

본 웹 애플리케이션은 학식(구내식당) 메뉴 이미지를 업로드하면,
이미지 분류 모델과 멀티모달 모델을 활용하여 메뉴를 자동으로 예측하고
칼로리, 유사 메뉴, 이미지 설명 등을 제공하는 프로젝트입니다.

---

프로젝트 개요

이 시스템은 총 3개의 AI 모델을 결합하여 완성된 멀티모달 분석 서비스입니다.

1) ConvNeXt-Base

• 17개의 “병합 대분류” 메뉴를 분류
• 학식 이미지 5,120장으로 직접 재학습
• Top-1 및 Top-3 확률 제공

2) CLIP

• 텍스트 임베딩과 이미지 임베딩 비교
• 대분류 기준 유사 메뉴 Top-3 추천

3) BLIP

• 이미지 캡션 생성 (영문 설명 제공)

4) 칼로리 + 활동량 기반 맞춤 코멘트

• 세부 메뉴별 대략적인 칼로리를 제공하며,
  칼로리 추정치는 식약처·국가표준식품성분 DB(Korean Food Composition Database)의 ‘유사 음식군’ 1인분 열량 값을 기반으로 산출되며, 실제 학식 메뉴와 동일하지 않을 수 있습니다.
• 사용자가 선택한 오늘의 활동량(거의 안 움직임 / 보통 활동 / 많이 움직임)에 따라
  “적절해요 / 조금 많아요 / 조금 적어요” 등의 간단한 피드백을 제공합니다.
• 해당 코멘트는 건강·의학적 조언이 아니며 참고용으로만 제공됩니다.

---

기능 요약

기능	설명
이미지 업로드	학식 사진 입력
ConvNeXt 메뉴 분류	17개 병합 클래스 중 1개 예측
세부 메뉴 선택	27개 세부 메뉴 중 선택 가능
칼로리 분석	식약처·국가표준식품성분 DB 기반 ‘비슷한 음식’의 1인분 열량을 바탕으로 학식 메뉴에 가장 가까운 값으로 추정한 칼로리 제공
활동량 기반 피드백	오늘 활동량 기준 "적절/과함/부족" 표시
CLIP 유사 메뉴	유사 메뉴 Top-3 추천
BLIP 캡션	이미지 캡션 생성 (영문)

---

사용하는 AI 모델

• ConvNeXt-Base
  학습 완료된 17클래스 음식 분류 모델
• CLIP
  텍스트 유사도 기반 멀티모달 분류
• BLIP
  이미지 캡션 생성

---

프로젝트 구조

├── app.py # Gradio 웹앱 메인 코드 ├── requirements.txt # 필요한 Python 패키지 ├── models/ │ └── convnext_base_merged_ema.pth # 학습된 ConvNeXt 가중치 ├── multimodal_assets/ │ └── clip_text_embeds.pt # CLIP 텍스트 임베딩 └── system_card.md # 모델·시스템 설명 문서

---

사용 방법

1. 학식 사진 업로드
2. 활동량(거의 안 움직임 / 보통 / 많이 움직임) 선택
3. 세부 메뉴 직접 선택 또는 “모델에 맡기기” 유지
4. “분석 실행” 버튼 클릭
5. 결과 확인

---

제한 사항

• 칼로리 정보는 참고용이며 실제 음식과 다를 수 있습니다.
• BLIP 캡션은 이미지 특성에 따라 부정확하거나 단순한 설명을 제공할 수 있습니다.
• 학식 이미지 중심으로 학습되었기 때문에 일반 음식 이미지에는 정확도가 낮을 수 있습니다.

---

라이선스 & 저작권

• ConvNeXt: MIT
• CLIP: OpenAI License
• BLIP: BSD
• 학식 이미지 데이터셋: 직접 수집 (개인정보 없음)
• 본 프로젝트는 교육·연구 목적입니다.

---

시스템 카드 (System Card)

본 웹 데모는 학식 스캐너 시스템을 기반으로 하며, 시스템에 대한 상세 설명과 설계 내용은 아래 시스템 카드에서 확인할 수 있습니다.

시스템 카드: https://huggingface.co/simkyuri/cafeteria-food-scanner-system

Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference