README.md

metadata

title: LLM Chatbot
emoji: 🤖
colorFrom: blue
colorTo: purple
sdk: gradio
sdk_version: 5.9.1
app_file: app.py
pinned: false
license: mit

🤖 Hugging Face LLM Chatbot

다양한 오픈소스 LLM 모델과 대화할 수 있는 웹 기반 챗봇 애플리케이션입니다.

✨ 주요 기능

• 다중 모델 지원: 7개 모델 (영어 3개, 한글 4개)
• 로컬 실행: Transformers 라이브러리로 로컬에서 모델 실행
• API 제한 없음: 인터넷 연결 없이도 작동 (첫 다운로드 후)
• 자동 세션 관리: 모델 변경 시 대화 자동 초기화
• 완전 무료: API 비용 없음, 오픈소스

🎯 지원 모델

영어 모델

1. DialoGPT Small - 빠른 대화형 모델 (~350MB)
2. DialoGPT Medium - 고품질 대화형 모델 (~800MB)
3. GPT-2 - 범용 텍스트 생성 모델 (~500MB)

한글 모델

4. Llama-2-Ko 7B - Llama 2 기반 한글 대화형 모델 (~14GB, 고사양)
5. KoT-Llama2-7B-Chat - 한국어 최적화 Llama 2 대화 모델 (~14GB, 고사양)
6. KoAlpaca 5.8B - 한글 대화형 모델 (~12GB, 고사양)
7. KULLM-Polyglot 5.8B - 고려대 NLP 연구실 한글 대화 모델 (~12GB, 고사양)

🚀 로컬 실행 방법

1. 저장소 클론

git clone <repository-url>
cd simple-chatbot-gradio

2. 의존성 설치

pip install -r requirements.txt

3. 환경 변수 설정 (선택사항)

Public 모델만 사용하는 경우 이 단계를 건너뛸 수 있습니다.

Private 모델 접근이 필요한 경우, 환경 변수로 HF_TOKEN을 설정하세요:

export HF_TOKEN=your_hugging_face_token_here

Hugging Face 토큰 발급 방법:

1. Hugging Face에 로그인
2. Settings → Access Tokens 메뉴로 이동
3. "New token" 클릭하여 토큰 생성

4. 애플리케이션 실행

python app.py

브라우저에서 http://localhost:7860으로 접속하세요.

🌐 Hugging Face Spaces 배포

방법 1: 웹 UI 사용

1. Hugging Face Spaces에 접속
2. "Create new Space" 클릭
3. SDK로 "Gradio" 선택
4. 파일 업로드:
   • app.py
   • requirements.txt
   • README.md
5. (선택사항) Private 모델 사용 시: Settings → Repository secrets에서 HF_TOKEN 추가
6. 자동 빌드 및 배포 대기 (첫 빌드는 5-10분 소요)

방법 2: Git 사용

# Hugging Face Space 저장소를 remote로 추가
git remote add space https://huggingface.co/spaces/<username>/<space-name>

# 파일 푸시
git add .
git commit -m "Initial commit"
git push space main

⚙️ 기술 스택

• 프레임워크: Gradio 5.x
• ML 라이브러리: Transformers, PyTorch
• 언어: Python 3.10+
• 주요 라이브러리:
  • gradio - 웹 인터페이스
  • transformers - 모델 로딩 및 추론
  • torch - 딥러닝 프레임워크
  • python-dotenv - 환경 변수 관리

📝 프로젝트 구조

simple-chatbot-gradio/
├── app.py              # 메인 애플리케이션
├── requirements.txt    # Python 의존성
├── README.md          # 프로젝트 문서
├── .env               # 환경 변수 (git ignored)
└── CLAUDE.md          # 개발 가이드

⚠️ 제한사항 및 주의사항

성능

• CPU 실행: GPU 없이 CPU에서 실행되므로 응답이 느릴 수 있습니다 (5-30초)
• 메모리: 모델 크기에 따라 1-16GB RAM 필요
• 첫 실행: 모델 다운로드로 시간 소요 (350MB~14GB)

모델별 특성

• 영어 모델: 한글 입력 시 부자연스러운 응답
• 한글 모델 (Llama 2 기반): 대화 품질 우수하지만 메모리 많이 필요 (14GB+)
• 한글 모델 (Polyglot 기반): 중간 크기, 대화 품질 양호 (12GB+)
• 모든 한글 모델: CPU 환경에서 매우 느림, GPU 권장

Hugging Face Spaces 배포

• 무료 tier: CPU 인스턴스만 제공 (16GB RAM)
• Space Sleep: 48시간 비활성 시 자동 sleep, 첫 로딩 느림
• 메모리 제한: 한글 모델들은 무료 tier에서 실행 불가 (12-14GB 필요)
• 첫 실행: 모델 다운로드로 1-5분 소요
• 권장 모델: DialoGPT Small/Medium, GPT-2만 무료 tier에서 안정적
• 한글 대화: 무료 tier에서는 한글 모델 사용 불가, 유료 GPU tier 필요

🔧 개발 및 커스터마이징

모델 추가

app.py의 MODELS 딕셔너리에 새 모델을 추가하세요:

MODELS = {
    "your-model-id": {
        "name": "모델 표시 이름",
        "max_length": 512,
        "temperature": 0.7,
    },
}

UI 커스터마이징

Gradio Blocks와 ChatInterface를 수정하여 UI를 변경할 수 있습니다. 자세한 내용은 Gradio 문서를 참고하세요.

📄 라이선스

MIT License

🙋‍♂️ 지원

이슈나 질문이 있으시면 GitHub Issues를 통해 문의해주세요.