README.md

metadata

title: LLM Chatbot
emoji: 🤖
colorFrom: blue
colorTo: purple
sdk: gradio
sdk_version: 5.9.1
app_file: app.py
pinned: false
license: mit

🤖 Hugging Face LLM Chatbot

다양한 오픈소스 LLM 모델과 대화할 수 있는 웹 기반 챗봇 애플리케이션입니다.

✨ 주요 기능

• 다중 모델 지원: 5개 모델 (영어 3개, 한글 2개)
• 로컬 실행: Transformers 라이브러리로 로컬에서 모델 실행
• API 제한 없음: 인터넷 연결 없이도 작동 (첫 다운로드 후)
• 자동 세션 관리: 모델 변경 시 대화 자동 초기화
• 완전 무료: API 비용 없음, 오픈소스

🎯 지원 모델

영어 모델

1. DialoGPT Small - 빠른 대화형 모델 (~350MB)
2. DialoGPT Medium - 고품질 대화형 모델 (~800MB)
3. GPT-2 - 범용 텍스트 생성 모델 (~500MB)

한글 모델

4. KoGPT-2 - SKT의 한글 특화 모델 (~500MB)
5. KoAlpaca 5.8B - 대화형 한글 모델, 고사양 필요 (~12GB)

🚀 로컬 실행 방법

1. 저장소 클론

git clone <repository-url>
cd simple-chatbot-gradio

2. 의존성 설치

pip install -r requirements.txt

3. 환경 변수 설정

.env 파일을 생성하고 Hugging Face 토큰을 추가하세요:

HF_TOKEN=your_hugging_face_token_here

Hugging Face 토큰 발급 방법:

1. Hugging Face에 로그인
2. Settings → Access Tokens 메뉴로 이동
3. "New token" 클릭하여 토큰 생성
4. 생성된 토큰을 .env 파일에 복사

4. 애플리케이션 실행

python app.py

브라우저에서 http://localhost:7860으로 접속하세요.

🌐 Hugging Face Spaces 배포

방법 1: 웹 UI 사용

1. Hugging Face Spaces에 접속
2. "Create new Space" 클릭
3. SDK로 "Gradio" 선택
4. 파일 업로드:
   • app.py
   • requirements.txt
   • README.md
5. Settings → Repository secrets에서 HF_TOKEN 추가
6. 자동 빌드 및 배포 대기

방법 2: Git 사용

# Hugging Face Space 저장소를 remote로 추가
git remote add space https://huggingface.co/spaces/<username>/<space-name>

# 파일 푸시
git add .
git commit -m "Initial commit"
git push space main

⚙️ 기술 스택

• 프레임워크: Gradio 5.x
• ML 라이브러리: Transformers, PyTorch
• 언어: Python 3.10+
• 주요 라이브러리:
  • gradio - 웹 인터페이스
  • transformers - 모델 로딩 및 추론
  • torch - 딥러닝 프레임워크
  • python-dotenv - 환경 변수 관리

📝 프로젝트 구조

simple-chatbot-gradio/
├── app.py              # 메인 애플리케이션
├── requirements.txt    # Python 의존성
├── README.md          # 프로젝트 문서
├── .env               # 환경 변수 (git ignored)
└── CLAUDE.md          # 개발 가이드

⚠️ 제한사항 및 주의사항

성능

• CPU 실행: GPU 없이 CPU에서 실행되므로 응답이 느릴 수 있습니다 (5-10초)
• 메모리: 모델 크기에 따라 1-8GB RAM 필요
• 첫 실행: 모델 다운로드로 시간 소요 (350MB~12GB)

모델별 특성

• 영어 모델: 한글 입력 시 부자연스러운 응답
• 한글 모델: 영어 입력 시 성능 저하
• KoAlpaca 5.8B: 8GB+ RAM 필요, CPU에서 매우 느림

Hugging Face Spaces 배포

• 무료 tier: CPU 인스턴스만 제공
• Space Sleep: 비활성 시 자동 sleep, 첫 로딩 느림
• 디스크 제한: KoAlpaca 같은 큰 모델은 배포 불가능할 수 있음

🔧 개발 및 커스터마이징

모델 추가

app.py의 MODELS 딕셔너리에 새 모델을 추가하세요:

MODELS = {
    "your-model-id": {
        "name": "모델 표시 이름",
        "max_length": 512,
        "temperature": 0.7,
    },
}

UI 커스터마이징

Gradio Blocks와 ChatInterface를 수정하여 UI를 변경할 수 있습니다. 자세한 내용은 Gradio 문서를 참고하세요.

📄 라이선스

MIT License

🙋‍♂️ 지원

이슈나 질문이 있으시면 GitHub Issues를 통해 문의해주세요.