PROMPT.md

Lily LLM RAG 시스템 개발 - 새 채팅창 AI 프롬프트

🎯 프로젝트 목표

PDF 문서의 수학 문제 해석 및 해결을 위한 RAG 시스템을 구축하고 있습니다. 현재 CPU 환경에서 작은 테스트 데이터로 빠른 검증을 완료했으며, 다음 단계로 GPU 서버 배포 및 실제 문제 해결 능력 향상을 진행해야 합니다.

📋 현재 상황

✅ 완료된 작업

1. 텍스트 기반 RAG 시스템 구축

   • PDF 텍스트 직접 추출 (이미지 OCR 대신)
   • RAG 프로세서 단순화 (멀티모달 처리 제거)
   • LLM 없이도 작동하는 구조화된 응답

2. 테스트 시스템 구축

   • 서버 연결 및 문서 업로드 테스트
   • 텍스트 기반 RAG 쿼리 테스트
   • 구체적인 수학 문제 질문 테스트

3. 성과 확인

   • PDF 텍스트 추출 완벽 작동
   • 검색 기능 완벽 작동 (5개 검색 결과)
   • 빠른 처리 (즉시 응답)
   • 실제 수학 문제 내용 정확히 추출

🔧 해결된 문제들

1. 토큰 ID 문제: 텍스트 기반으로 해결
2. PDF 텍스트 추출: 실제 문제 내용 추출 성공
3. 빠른 검증: 작은 테스트 데이터로 성공
4. 구조화된 응답: 문제 분석과 해결 방법 포함

📁 주요 파일 구조

Core 파일들

• lily_llm_core/document_processor.py: PDF 텍스트 추출 개선
• lily_llm_core/rag_processor.py: RAG 프로세서 단순화
• lily_llm_api/app_v2.py: 엔드포인트 수정

테스트 파일들

• test_simple_rag.py: 기본 연결 테스트
• test_text_only_rag.py: 텍스트 기반 RAG 테스트
• test_specific_questions.py: 구체적 질문 테스트
• test_llm_rag.py: LLM 포함 테스트

🚀 다음 단계 요청사항

1. GPU 서버 배포 준비

• 현재 CPU 환경에서 테스트 완료
• GPU 환경에서의 성능 최적화
• 서버 배포 자동화 스크립트 작성

2. LLM 통합 개선

• Kanana 모델의 토큰 디코딩 문제 해결
• 실제 수학 문제 풀이 능력 향상
• 더 정확한 답변 생성

3. 실제 문제 해결 능력 향상

• 수학 문제 풀이 로직 개선
• 단계별 해결 과정 제시
• 정답과 해설 제공

4. 성능 최적화

• 더 큰 데이터셋 처리
• 응답 속도 개선
• 메모리 사용량 최적화

💡 기술적 요구사항

현재 환경

• OS: Windows 10
• Python: 가상환경 (lily_llm_env)
• 서버: FastAPI (포트 8001)
• 모델: Kanana-1.5-v-3b-instruct
• 벡터 스토어: FAISS

목표 환경

• GPU 서버: 더 빠른 처리 속도
• 확장성: 더 큰 문서 처리
• 정확성: 실제 문제 해결 능력

🔍 현재 테스트 결과

성공한 기능들

• ✅ PDF 텍스트 추출 완벽: 실제 수학 문제 내용 정확히 추출
• ✅ 검색 기능 완벽: 관련 문제들을 정확히 찾아냄
• ✅ 빠른 처리: 즉시 응답 (LLM 없이도 작동)
• ✅ 구조화된 응답: 문제 분석과 해결 방법 제시
• ✅ 정확한 문제 매칭: 23번, 24번, 15번 문제 정확히 찾음

테스트 결과

• 문서 업로드: 12개 청크 성공
• 검색 결과: 5개씩 정확히 반환
• 응답 시간: 즉시 (토큰 ID 문제 해결됨)
• 문제 인식: 실제 수학 문제 내용 정확히 추출

📝 요청사항

새로운 AI 어시스턴트에게 다음 작업을 요청합니다:

1. 현재 코드베이스 분석: 위에서 언급된 파일들을 검토하여 현재 상태 파악
2. GPU 서버 배포 계획 수립: 현재 CPU 테스트 완료 상태에서 GPU 환경으로 전환
3. LLM 통합 개선: 토큰 디코딩 문제 해결 및 실제 문제 해결 능력 향상
4. 성능 최적화: 더 큰 데이터셋 처리 및 응답 속도 개선
5. 실제 문제 해결: 수학 문제 풀이 로직 개선 및 정확한 답변 생성

현재 "작은 테스트 데이터로 빠른 검증" 목표는 달성했으므로, 다음 단계인 "실제 문제 해결 능력 향상"과 "GPU 서버 배포"에 집중해주세요.