README.md

metadata

title: kwmin_probin
emoji: 🥸
colorFrom: indigo
colorTo: purple
sdk: docker
app_file: app.py
pinned: false

📚 TEAM EA - RFP 문서 분석 시스템 (MVP)

Andrew Ng 원칙 기반으로 설계된 RAG 시스템

🎯 프로젝트 목표

"Start Simple, Then Iterate" - Andrew Ng

1. ✅ Week 1: MVP 작동 (PDF 업로드, 질문-답변, 출처 표시)
2. 📈 Week 2: 정확도 70%+ (하이브리드 검색, 리랭킹)
3. 🚀 Week 3: 프로덕션 레벨 (90%+ 정확도, 안정성)

---

🏗️ 아키텍처

PDF 업로드
    ↓
텍스트 추출 (pymupdf4llm)
    ↓
청킹 (800자, 오버랩 150)
    ↓
임베딩 (text-embedding-3-small)
    ↓
ChromaDB 저장
    ↓
질문 입력
    ↓
벡터 검색 (top-10)
    ↓
Grok 답변 생성
    ↓
출처 표시

---

📁 디렉토리 구조

TEAM_EA_V2/
│
├── app.py                    # Streamlit 메인
│
├── config/
│   └── settings.py           # API keys, 설정
│
├── core/
│   ├── pdf_loader.py         # PDF 텍스트 추출
│   ├── chunker.py            # 청킹
│   ├── embedder.py           # 임베딩
│   ├── vectordb.py           # ChromaDB 관리
│   ├── retriever.py          # 검색
│   └── generator.py          # Grok 답변 생성
│
├── utils/
│   ├── logger.py             # 로깅
│   └── helpers.py            # 유틸리티
│
├── ui/
│   ├── components.py         # Streamlit 컴포넌트
│   └── styles.py             # CSS
│
├── data/
│   ├── uploads/              # 업로드된 PDF
│   └── chroma_db/            # ChromaDB 저장소
│
├── requirements.txt
├── .env                      # API keys (gitignore)
└── README.md

---

🚀 빠른 시작

1. 설치

# 가상환경 생성
python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate

# 패키지 설치
pip install -r requirements.txt

2. 환경 설정

.env 파일 생성:

OPENAI_API_KEY=your_openai_api_key_here
XAI_API_KEY=your_grok_api_key_here

3. 실행

streamlit run app.py

브라우저에서 http://localhost:8501 접속

---

💡 사용 방법

1단계: PDF 업로드

• 사이드바 또는 메인 화면에서 PDF 파일 업로드
• "문서 처리 시작" 버튼 클릭

2단계: 질문하기

• 처리가 완료되면 질문 입력창이 활성화
• 질문 입력 후 Enter

3단계: 답변 확인

• Grok이 생성한 답변 확인
• 출처 페이지 및 원문 확인

---

🔧 기술 스택

구성 요소	기술	이유
PDF 전처리	pymupdf4llm + PyMuPDF	테디노트 스타일, 안정적
임베딩	text-embedding-3-small	저렴($0.00002/1K tokens), 빠름
Vector DB	ChromaDB	로컬 실행, Python native
LLM	Grok (xAI)	한국어 성능 우수
UI	Streamlit	빠른 프로토타이핑

---

⚙️ 설정

config/settings.py

# 임베딩 설정
EMBEDDING_MODEL = "text-embedding-3-small"
EMBEDDING_DIMENSION = 1536

# 청킹 설정
CHUNK_SIZE = 800        # 문자 단위
CHUNK_OVERLAP = 150     # 오버랩

# 검색 설정
TOP_K = 10              # 상위 K개 검색

# Grok 설정
GROK_MODEL = "grok-beta"

---

📊 성능 지표

MVP 목표 (Week 1)

• ✅ PDF 업로드 가능
• ✅ 질문-답변 작동
• ✅ 출처 표시
• ✅ 기본 UI

Phase 2 목표 (Week 2)

• ⏳ 하이브리드 검색 (BM25 + Vector)
• ⏳ 리랭킹 (Cohere Rerank)
• ⏳ 하이라이팅
• ⏳ 정확도 70%+

Phase 3 목표 (Week 3)

• ⏳ PDF 추가 업로드
• ⏳ 메타데이터 로깅
• ⏳ 에러 핸들링
• ⏳ 정확도 90%+

---

🐛 트러블슈팅

1. API Key 오류

# .env 파일 확인
OPENAI_API_KEY=sk-...
XAI_API_KEY=xai-...

2. 패키지 설치 오류

# 개별 설치 시도
pip install streamlit
pip install chromadb
pip install openai
pip install pymupdf4llm

3. ChromaDB 오류

# 데이터베이스 초기화
rm -rf data/chroma_db/*

---

📝 개발 로그

v1.0 (MVP)

• PDF 업로드 및 텍스트 추출
• 청킹 및 임베딩
• ChromaDB 저장
• 벡터 검색
• Grok 답변 생성
• Streamlit UI
• 출처 표시

v2.0 (예정)

• 하이브리드 검색
• 리랭킹
• 하이라이팅
• 정확도 측정

---

👨‍💻 개발자

TEAM EA

---

📄 라이선스

MIT License

---

🙏 감사의 말

• Andrew Ng: ML 시스템 설계 원칙
• 테디노트: PDF 처리 방법론
• OpenAI: 임베딩 모델
• xAI: Grok LLM

---

📞 문의

이슈가 있으시면 GitHub Issues에 등록해주세요.