PROMPT.md

# Lily LLM RAG 시스템 개발 - 새 채팅창 AI 프롬프트

## 🎯 프로젝트 목표
PDF 문서의 수학 문제 해석 및 해결을 위한 RAG 시스템을 구축하고 있습니다. 현재 CPU 환경에서 작은 테스트 데이터로 빠른 검증을 완료했으며, 다음 단계로 GPU 서버 배포 및 실제 문제 해결 능력 향상을 진행해야 합니다.

## 📋 현재 상황

### ✅ 완료된 작업
1. **텍스트 기반 RAG 시스템 구축**
   - PDF 텍스트 직접 추출 (이미지 OCR 대신)
   - RAG 프로세서 단순화 (멀티모달 처리 제거)
   - LLM 없이도 작동하는 구조화된 응답

2. **테스트 시스템 구축**
   - 서버 연결 및 문서 업로드 테스트
   - 텍스트 기반 RAG 쿼리 테스트
   - 구체적인 수학 문제 질문 테스트

3. **성과 확인**
   - PDF 텍스트 추출 완벽 작동
   - 검색 기능 완벽 작동 (5개 검색 결과)
   - 빠른 처리 (즉시 응답)
   - 실제 수학 문제 내용 정확히 추출

### 🔧 해결된 문제들
1. **토큰 ID 문제**: 텍스트 기반으로 해결
2. **PDF 텍스트 추출**: 실제 문제 내용 추출 성공
3. **빠른 검증**: 작은 테스트 데이터로 성공
4. **구조화된 응답**: 문제 분석과 해결 방법 포함

## 📁 주요 파일 구조

### Core 파일들
- `lily_llm_core/document_processor.py`: PDF 텍스트 추출 개선
- `lily_llm_core/rag_processor.py`: RAG 프로세서 단순화
- `lily_llm_api/app_v2.py`: 엔드포인트 수정

### 테스트 파일들
- `test_simple_rag.py`: 기본 연결 테스트
- `test_text_only_rag.py`: 텍스트 기반 RAG 테스트
- `test_specific_questions.py`: 구체적 질문 테스트
- `test_llm_rag.py`: LLM 포함 테스트

## 🚀 다음 단계 요청사항

### 1. GPU 서버 배포 준비
- 현재 CPU 환경에서 테스트 완료
- GPU 환경에서의 성능 최적화
- 서버 배포 자동화 스크립트 작성

### 2. LLM 통합 개선
- Kanana 모델의 토큰 디코딩 문제 해결
- 실제 수학 문제 풀이 능력 향상
- 더 정확한 답변 생성

### 3. 실제 문제 해결 능력 향상
- 수학 문제 풀이 로직 개선
- 단계별 해결 과정 제시
- 정답과 해설 제공

### 4. 성능 최적화
- 더 큰 데이터셋 처리
- 응답 속도 개선
- 메모리 사용량 최적화

## 💡 기술적 요구사항

### 현재 환경
- **OS**: Windows 10
- **Python**: 가상환경 (lily_llm_env)
- **서버**: FastAPI (포트 8001)
- **모델**: Kanana-1.5-v-3b-instruct
- **벡터 스토어**: FAISS

### 목표 환경
- **GPU 서버**: 더 빠른 처리 속도
- **확장성**: 더 큰 문서 처리
- **정확성**: 실제 문제 해결 능력

## 🔍 현재 테스트 결과

### 성공한 기능들
- ✅ **PDF 텍스트 추출 완벽**: 실제 수학 문제 내용 정확히 추출
- ✅ **검색 기능 완벽**: 관련 문제들을 정확히 찾아냄
- ✅ **빠른 처리**: 즉시 응답 (LLM 없이도 작동)
- ✅ **구조화된 응답**: 문제 분석과 해결 방법 제시
- ✅ **정확한 문제 매칭**: 23번, 24번, 15번 문제 정확히 찾음

### 테스트 결과
- **문서 업로드**: 12개 청크 성공
- **검색 결과**: 5개씩 정확히 반환
- **응답 시간**: 즉시 (토큰 ID 문제 해결됨)
- **문제 인식**: 실제 수학 문제 내용 정확히 추출

## 📝 요청사항

새로운 AI 어시스턴트에게 다음 작업을 요청합니다:

1. **현재 코드베이스 분석**: 위에서 언급된 파일들을 검토하여 현재 상태 파악
2. **GPU 서버 배포 계획 수립**: 현재 CPU 테스트 완료 상태에서 GPU 환경으로 전환
3. **LLM 통합 개선**: 토큰 디코딩 문제 해결 및 실제 문제 해결 능력 향상
4. **성능 최적화**: 더 큰 데이터셋 처리 및 응답 속도 개선
5. **실제 문제 해결**: 수학 문제 풀이 로직 개선 및 정확한 답변 생성

현재 "작은 테스트 데이터로 빠른 검증" 목표는 달성했으므로, 다음 단계인 "실제 문제 해결 능력 향상"과 "GPU 서버 배포"에 집중해주세요.