README.md

---
title: Lily LLM API Server
emoji: 🤖
colorFrom: blue
colorTo: purple
sdk: docker
sdk_version: \"1.0.0\"
app_port: 7860
app_file: app.py
pinned: false
---

# 250826 v1.0.3
- cloudtype migrate, supabase db 연결 계층적 메모리 테스트

# 250825 v1.0.2 test
- lily 컨텍스트 메모리 supabase 데이터베이스 연결

# 250824
- 계층적 메모리 구조 통합 리팩토링, 장기, 중기, 단기

# 250823
- 컨텍스트 매니저, lora, rag 시스템, 문서 요약 + 컨텍스트 확장 시스템 통합 

# 250822
- polyglot 1.3b lora 파라메터 조절, 응답 품질 향상

# 250821
- polyplot 5.8b 응답 속도 개선, 모델별 tokenizer config settings json 변수 명시적으로 기입

# 250820
- lily llm kanana 3b 멀티모달 개선, polyglot 1.3b, 5.8b 응답 품질 개선

# 250819 v1.0.1
- 컨텍스트 창, lora 추가, kanana model 공식 문서대로 다시 다운로드 후 app_v2 및 프로필 리팩토링

# Lily LLM API Server

FastAPI 기반 멀티모달 AI 서버입니다.

## Features
- 텍스트 생성
- 이미지 인식
- RAG 시스템
- 수학 공식 처리

## API Endpoints
- \`GET /health\` - 서버 상태 확인
- \`POST /generate\` - 텍스트/이미지 생성
- \`POST /upload-document\` - 문서 업로드
- \`POST /rag-query\` - RAG 질의

## Model
- Kanana-1.5-v-3b-instruct (한국어 멀티모달)
- 자동 다운로드: gbrabbit/lily-math-model" > README.md


# Lily LLM API - Hugging Face Spaces

## 🤖 소개

Lily LLM API는 다중 모델 지원과 RAG(Retrieval Augmented Generation) 시스템을 갖춘 고성능 AI API 서버입니다.

### ✨ 주요 기능

- **🧠 멀티모달 AI**: Kanana-1.5-v-3b-instruct 모델을 통한 텍스트 및 이미지 처리
- **📚 RAG 시스템**: 문서 기반 질의응답 및 컨텍스트 검색
- **🔍 벡터 검색**: FAISS 기반 고속 유사도 검색
- **📄 문서 처리**: PDF, DOCX, TXT 등 다양한 문서 형식 지원
- **🖼️ 이미지 OCR**: LaTeX-OCR을 통한 수학 공식 인식
- **⚡ 비동기 처리**: Celery 기반 백그라운드 작업
- **🌐 RESTful API**: FastAPI 기반 고성능 웹 API

### 🚀 사용 방법

#### 1. 텍스트 생성

```python
import requests

response = requests.post(
    "https://huggingface.co/spaces/gbrabbit/lily_fast_api/generate",
    data={"prompt": "안녕하세요! 오늘 날씨가 어떤가요?"}
)
print(response.json())
```

#### 2. 이미지와 함께 질의

```python
import requests

with open("image.jpg", "rb") as f:
    response = requests.post(
        "https://https://huggingface.co/spaces/gbrabbit/lily_fast_api/generate",
        data={"prompt": "이미지에서 무엇을 볼 수 있나요?"},
        files={"image1": f}
    )
print(response.json())
```

#### 3. RAG 기반 질의응답

```python
import requests

# 문서 업로드
with open("document.pdf", "rb") as f:
    upload_response = requests.post(
        "https://huggingface.co/spaces/gbrabbit/lily_fast_api/upload-document",
        files={"file": f},
        data={"user_id": "your_user_id"}
    )

document_id = upload_response.json()["document_id"]

# RAG 질의
response = requests.post(
    "https://huggingface.co/spaces/gbrabbit/lily_fast_api/rag-query",
    json={
        "query": "문서의 주요 내용은 무엇인가요?",
        "user_id": "your_user_id",
        "document_id": document_id
    }
)
print(response.json())
```

### 📋 API 엔드포인트

#### 기본 엔드포인트
- `GET /health` - 서버 상태 확인
- `GET /models` - 사용 가능한 모델 목록
- `POST /load-model` - 모델 로드
- `POST /generate` - 텍스트/이미지 생성

#### RAG 시스템
- `POST /upload-document` - 문서 업로드
- `POST /rag-query` - RAG 기반 질의
- `GET /documents/{user_id}` - 사용자 문서 목록
- `DELETE /document/{document_id}` - 문서 삭제

#### 고급 기능
- `POST /batch-process` - 배치 문서 처리
- `GET /task-status/{task_id}` - 작업 상태 확인
- `POST /cancel-task/{task_id}` - 작업 취소

### 🛠️ 기술 스택

- **Backend**: FastAPI, Python 3.11
- **AI Models**: Transformers, PyTorch
- **Vector DB**: FAISS, ChromaDB
- **Task Queue**: Celery, Redis
- **OCR**: LaTeX-OCR, EasyOCR
- **Document Processing**: LangChain

### 📊 모델 정보

#### Kanana-1.5-v-3b-instruct
- **크기**: 3.6B 매개변수
- **언어**: 한국어 특화
- **기능**: 텍스트 생성, 이미지 이해
- **컨텍스트**: 최대 4096 토큰

### 🔧 설정

환경 변수를 통해 다음 설정을 조정할 수 있습니다:

```bash
# 서버 설정
HOST=0.0.0.0
PORT=7860

# 모델 설정
DEFAULT_MODEL=kanana-1.5-v-3b-instruct
MAX_NEW_TOKENS=256
TEMPERATURE=0.7

# 캐시 설정
TRANSFORMERS_CACHE=/app/cache/transformers
HF_HOME=/app/cache/huggingface
```

### 📝 라이선스

이 프로젝트는 MIT 라이선스 하에 배포됩니다.

### 🤝 기여

버그 리포트, 기능 제안, 풀 리퀘스트를 환영합니다!

### 📞 지원

문의사항이 있으시면 GitHub Issues를 통해 연락해 주세요.