REMOTE_INDEXING.md

원격 인덱싱 가이드

로컬 맥북의 PDF 파일을 클라우드에서 인덱싱하는 방법

옵션 1: Google Drive 사용 (추천)

1️⃣ PDF를 Google Drive에 업로드

# 로컬 맥북에서
# Google Drive 앱으로 폴더 드래그 앤 드롭

2️⃣ 공유 링크 생성

1. Google Drive에서 폴더 우클릭
2. "공유" → "링크 가져오기"
3. "액세스 권한 있는 모든 사용자" 선택
4. 링크 복사

3️⃣ 클라우드에서 다운로드 & 인덱싱

# scripts/download_and_index.py
import gdown
import os

# Google Drive 폴더 ID (링크에서 추출)
FOLDER_ID = "YOUR_FOLDER_ID_HERE"

# 다운로드
print("PDF 다운로드 중...")
gdown.download_folder(id=FOLDER_ID, output="data/pdfs", quiet=False)

# 인덱싱
print("인덱싱 시작...")
os.system("python scripts/index_pdfs.py")

# GitHub 업로드
os.system("git add data/chroma_db/")
os.system('git commit -m "Add vector database"')
os.system("git push")

실행:

pip install gdown
python scripts/download_and_index.py

---

옵션 2: Dropbox 사용

1️⃣ Dropbox에 업로드

로컬 맥북 → Dropbox 폴더

2️⃣ 공유 링크 생성

파일/폴더 → 공유 → 링크 복사

3️⃣ 다운로드 & 인덱싱

# Dropbox 링크에서 dl=0을 dl=1로 변경
wget "https://www.dropbox.com/...?dl=1" -O pdfs.zip

# 압축 해제
unzip pdfs.zip -d data/pdfs/

# 인덱싱
python scripts/index_pdfs.py

# 업로드
./upload_to_github.sh

---

옵션 3: AWS S3 사용

1️⃣ S3 버킷에 업로드

# 로컬 맥북에서
aws s3 sync /path/to/pdfs s3://your-bucket/pdfs/

2️⃣ 클라우드에서 다운로드

# GitHub Codespaces 또는 EC2에서
aws s3 sync s3://your-bucket/pdfs/ data/pdfs/

# 인덱싱
python scripts/index_pdfs.py

---

옵션 4: 로컬에서 실행 후 벡터 DB만 업로드 (가장 간단)

1️⃣ 로컬 맥북에서 모든 작업 수행

# 전체 과정을 로컬에서
./setup.sh
./run_indexing.sh  # 30-60분

2️⃣ 벡터 DB만 GitHub에 업로드

# 인덱싱 완료 후
./upload_to_github.sh

이 방법이 가장 간단하고 안전합니다!

---

비용 및 시간 비교

방법	업로드 시간	다운로드 시간	인덱싱 시간	총 시간	비용
로컬 실행 ⭐	-	-	30-60분	30-60분	무료
Google Drive	10-30분	10-30분	30-60분	50-120분	무료
Dropbox	10-30분	10-30분	30-60분	50-120분	무료
AWS S3	10-30분	5-10분	30-60분	45-100분	~$1-2

---

추천 방법

🏆 최선: 로컬에서 실행

# 가장 빠르고 간단
./setup.sh
./run_indexing.sh
./upload_to_github.sh

🥈 차선: Google Drive

PDF를 업로드만 하면 나머지는 자동화 가능

---

문제 해결

Q: 인터넷이 느려서 업로드가 오래 걸려요

A: 로컬에서 인덱싱 후 벡터 DB만 업로드 (500MB-2GB)

Q: 클라우드 비용이 걱정돼요

A: 로컬 실행이 무료입니다

Q: 자동화하고 싶어요

A: GitHub Actions로 자동화 가능 (별도 가이드)

---

결론: 대부분의 경우 로컬에서 실행하는 것이 가장 좋습니다!