RAG_TESTING.md

RAG 시스템 테스트 및 튜닝 가이드

이 문서는 허깅페이스 스페이스용 세무 챗봇 RAG 시스템의 테스트 및 튜닝 방법을 설명합니다.

📋 개요

RAG (Retrieval-Augmented Generation) 시스템의 성능을 최적화하기 위해 다음 도구들을 제공합니다:

• test_rag.py: 기본 RAG 테스트 및 성능 평가
• tune_rag_config.py: 자동 설정 튜닝
• run_rag_tests.py: 통합 테스트 실행 스크립트

🚀 빠른 시작

1. 전체 테스트 실행

python run_rag_tests.py

2. RAG 시스템 재구축 후 테스트

python run_rag_tests.py --rebuild

3. 빠른 테스트만 실행

python run_rag_tests.py --quick

4. 설정 튜닝만 실행

python run_rag_tests.py --tune

5. 성능 벤치마크만 실행

python run_rag_tests.py --benchmark

📁 파일 구조

clovax-tax-chatbot/
├── rag_system.py          # RAG 시스템 메인 모듈
├── config.py              # 설정 파일
├── law_fetcher.py         # 법령 데이터 페처
├── test_rag.py           # RAG 테스트 스크립트
├── tune_rag_config.py    # 설정 튜닝 스크립트
├── run_rag_tests.py      # 통합 실행 스크립트
├── RAG_TESTING.md        # 이 가이드 문서
│
├── vector_db.faiss       # 벡터 데이터베이스 (생성됨)
├── documents.pkl         # 문서 데이터 (생성됨)
├── metadata.json         # 메타데이터 (생성됨)
│
├── law_cache/            # 법령 데이터 캐시 디렉토리
│   ├── cache_info.json
│   ├── 지방세법.json
│   └── 지방세법시행령.json
│
└── test_results_*.json   # 테스트 결과 파일들 (생성됨)

🔧 상세 사용법

test_rag.py - 기본 RAG 테스트

기능

• 기본 질의응답 테스트 (12개 테스트 쿼리)
• 검색 파라미터 튜닝 테스트
• 하이브리드 가중치 튜닝 테스트
• 성능 벤치마크
• 테스트 결과 저장

실행 방법

# 기존 벡터 DB 사용
python test_rag.py

# RAG 시스템 재구축 후 테스트
python test_rag.py --rebuild

테스트 쿼리 예시

• "취득세율이 얼마인가요?"
• "주택 취득세 계산 방법을 알려주세요"
• "1세대 1주택자 취득세 감면 혜택은?"
• "신혼부부 취득세 감면 조건은?"
• "농지 취득세 감면 규정을 알려주세요"

tune_rag_config.py - 자동 설정 튜닝

기능

• 임베딩 모델 최적화
• 검색 파라미터 최적화 (top_k, similarity_threshold)
• 하이브리드 가중치 최적화 (vector vs tfidf)
• 배치 크기 최적화
• 최적화된 설정 파일 생성

실행 방법

python tune_rag_config.py

평가 기준

• 응답 품질 (40점): 키워드 매칭률
• 소스 문서 수 (20점): 관련 문서 개수
• 응답 속도 (20점): 3초 이내 만점
• 소스 문서 품질 (20점): 관련도 점수

run_rag_tests.py - 통합 실행 스크립트

주요 옵션

python run_rag_tests.py [옵션]

옵션:
  --rebuild     RAG 시스템 재구축 후 테스트
  --tune        설정 튜닝만 실행
  --benchmark   성능 벤치마크만 실행  
  --quick       빠른 테스트 (3개 쿼리만)
  --info        시스템 정보만 표시

📊 결과 파일

테스트 결과 파일 (test_results_YYYYMMDD_HHMMSS.json)

{
  "timestamp": "2024-01-01T12:00:00",
  "config": { ... },
  "test_results": [
    {
      "query": "취득세율이 얼마인가요?",
      "answer": "...",
      "source_count": 3,
      "response_time": 1.23,
      "success": true
    }
  ],
  "summary": {
    "total_tests": 12,
    "successful_tests": 12
  }
}

튜닝 결과 파일 (rag_tuning_results_YYYYMMDD_HHMMSS.json)

{
  "timestamp": "2024-01-01T12:00:00",
  "baseline_config": { ... },
  "best_config": { ... },
  "best_score": 85.2,
  "tuning_history": [ ... ]
}

최적화된 설정 파일 (optimized_config.py)

# optimized_config.py - 튜닝된 RAG 설정
OPTIMIZED_RAG_CONFIG = {
    "embedding_models": ["jhgan/ko-sroberta-multitask"],
    "batch_size": 32,
    "top_k": 5,
    "similarity_threshold": 0.2,
    "hybrid_weights": {"vector": 0.7, "tfidf": 0.3}
}

⚙️ 설정 파라미터 설명

config.py의 RAG_CONFIG

RAG_CONFIG = {
    # 임베딩 모델 (우선순위대로 시도)
    'embedding_models': [
        'jhgan/ko-sroberta-multitask',                    # 한국어 특화
        'sentence-transformers/paraphrase-multilingual-mpnet-base-v2',
        'paraphrase-multilingual-MiniLM-L12-v2'
    ],
    
    # 배치 크기 (메모리 사용량 vs 속도)
    'batch_size': 32,
    
    # 검색 결과 개수
    'top_k': 5,
    
    # 유사도 임계값 (낮을수록 더 많은 문서 포함)
    'similarity_threshold': 0.2,
    
    # 하이브리드 검색 가중치
    'hybrid_weights': {
        'vector': 0.7,  # 의미적 유사도
        'tfidf': 0.3    # 키워드 매칭
    }
}

🎯 튜닝 가이드라인

1. 성능 우선 (허깅페이스 스페이스)

• batch_size: 16-32 (메모리 제한)
• top_k: 3-5 (응답 속도)
• similarity_threshold: 0.15-0.25

2. 정확도 우선 (로컬 환경)

• batch_size: 64-128
• top_k: 7-10
• similarity_threshold: 0.1-0.2

3. 하이브리드 가중치 조정

• 키워드 검색 중심: vector: 0.5, tfidf: 0.5
• 의미 검색 중심: vector: 0.8, tfidf: 0.2
• 균형: vector: 0.7, tfidf: 0.3 (권장)

🔍 문제 해결

Q1: "벡터 DB 파일이 없습니다" 오류

# 해결: RAG 시스템 재구축
python run_rag_tests.py --rebuild

Q2: 메모리 부족 오류

# config.py에서 batch_size 줄이기
'batch_size': 16  # 32 → 16

Q3: 응답 속도가 느림

# config.py에서 top_k 줄이기
'top_k': 3,  # 5 → 3
'similarity_threshold': 0.25  # 임계값 높이기

Q4: 검색 정확도가 낮음

# config.py에서 더 포괄적으로 설정
'top_k': 7,  # 더 많은 문서 검색
'similarity_threshold': 0.15,  # 임계값 낮추기
'hybrid_weights': {'vector': 0.6, 'tfidf': 0.4}  # TF-IDF 가중치 증가

📈 성능 모니터링

주요 지표

• 응답 시간: < 3초 (목표)
• 검색 정확도: 키워드 매칭률 > 80%
• 메모리 사용량: < 2GB (허깅페이스 제한)
• 소스 문서 관련도: > 0.3 (hybrid_score)

모니터링 명령어

# 시스템 정보 확인
python run_rag_tests.py --info

# 빠른 성능 체크
python run_rag_tests.py --quick

# 상세 벤치마크
python run_rag_tests.py --benchmark

🚀 허깅페이스 스페이스 최적화

1. 메모리 최적화

• 벡터 DB를 미리 구축하여 업로드
• 캐시된 법령 데이터 활용
• 작은 배치 크기 사용 (16-32)

2. 응답 속도 최적화

• 싱글톤 패턴으로 RAG 인스턴스 재사용
• 적절한 top_k 설정 (3-5)
• 임계값 조정 (0.2-0.3)

3. 모델 최적화

• 한국어 특화 모델 우선 사용
• 경량화된 임베딩 모델 선택
• GPU 사용 가능시 자동 감지

📞 추가 지원

문제가 발생하거나 추가 기능이 필요한 경우:

1. 테스트 결과 파일 확인 (test_results_*.json)
2. 튜닝 히스토리 분석 (rag_tuning_results_*.json)
3. 시스템 정보 확인 (python run_rag_tests.py --info)

---

업데이트: 2024년 8월 허깅페이스 스페이스 최적화 버전