DATA_PERSISTENCE_SOLUTION.md

Hugging Face Spaces 데이터 영속성 해결 방법

문제 원인

Hugging Face Spaces는 Docker 컨테이너 기반으로 동작하므로, 컨테이너가 재시작되거나 업데이트되면 모든 데이터가 사라집니다.

현재 저장되는 데이터:

• 데이터베이스: instance/finance_analysis.db
• 업로드 파일: uploads/ 폴더
• 벡터 DB: vector_db/ 폴더
• 로그: logs/ 폴더

해결 방법

방법 1: 외부 데이터베이스 사용 (권장)

PostgreSQL, MySQL 등 외부 데이터베이스를 사용하면 데이터가 영구적으로 보존됩니다.

PostgreSQL 사용 예시

1. Supabase, Neon, 또는 Railway에서 무료 PostgreSQL 데이터베이스 생성

2. 환경 변수 설정 (Hugging Face Spaces Settings > Repository secrets):

   DATABASE_URL=postgresql://user:password@host:port/database
   

3. requirements.txt에 PostgreSQL 드라이버 추가:

   psycopg2-binary
   

4. 코드 수정 (app/core/config.py):

   SQLALCHEMY_DATABASE_URI: str = os.getenv(
       'DATABASE_URL', 
       f'sqlite:///{PROJECT_ROOT / "instance" / "finance_analysis.db"}'
   )
   

   이미 환경 변수를 사용하고 있으므로, DATABASE_URL만 설정하면 자동으로 PostgreSQL을 사용합니다.

방법 2: 외부 스토리지 사용 (파일 저장용)

업로드된 파일과 벡터 DB를 외부 스토리지에 저장합니다.

AWS S3 사용 예시

1. boto3 설치:

   pip install boto3
   

2. 환경 변수 설정:

   AWS_ACCESS_KEY_ID=your_access_key
   AWS_SECRET_ACCESS_KEY=your_secret_key
   AWS_S3_BUCKET=your_bucket_name
   

3. 코드 수정: 파일 업로드/다운로드 로직을 S3를 사용하도록 변경

Google Cloud Storage 사용 예시

1. google-cloud-storage 설치:

   pip install google-cloud-storage
   

2. 환경 변수 설정:

   GCS_BUCKET_NAME=your_bucket_name
   GOOGLE_APPLICATION_CREDENTIALS=/path/to/credentials.json
   

방법 3: Hugging Face Dataset 사용 (간단한 방법)

Hugging Face의 Dataset API를 사용하여 데이터를 저장할 수 있습니다.

1. datasets 라이브러리 설치:

   pip install datasets
   

2. 코드 예시:

   from datasets import Dataset
   import json
   
   # 데이터 저장
   def save_to_hf_dataset(data, dataset_name):
       dataset = Dataset.from_dict(data)
       dataset.push_to_hub(dataset_name, token=HF_TOKEN)
   
   # 데이터 로드
   def load_from_hf_dataset(dataset_name):
       dataset = Dataset.from_hub(dataset_name, token=HF_TOKEN)
       return dataset.to_dict()
   

방법 4: 정기적인 백업 시스템

스케줄러를 사용하여 정기적으로 데이터를 백업합니다.

1. 백업 스크립트 생성 (backup_data.py):

   import shutil
   import os
   from datetime import datetime
   from huggingface_hub import HfApi
   
   def backup_to_hf():
       # 데이터베이스 백업
       if os.path.exists('instance/finance_analysis.db'):
           timestamp = datetime.now().strftime('%Y%m%d_%H%M%S')
           backup_name = f'backup_{timestamp}.db'
           shutil.copy('instance/finance_analysis.db', backup_name)
           
           # Hugging Face Hub에 업로드
           api = HfApi()
           api.upload_file(
               path_or_fileobj=backup_name,
               path_in_repo=f'backups/{backup_name}',
               repo_id='your-username/your-repo',
               token=os.getenv('HF_TOKEN')
           )
   

2. 스케줄러 설정: GitHub Actions 또는 외부 스케줄러 사용

즉시 적용 가능한 임시 해결책

환경 변수로 데이터베이스 경로 변경

Hugging Face Spaces의 영속성 스토리지(있는 경우)를 사용:

# app/core/config.py 수정
SQLALCHEMY_DATABASE_URI: str = os.getenv(
    'DATABASE_URL', 
    f'sqlite:///{os.getenv("HF_HOME", str(PROJECT_ROOT / "instance"))}/finance_analysis.db'
)

권장 사항

1. 프로덕션 환경: 방법 1 (외부 데이터베이스) + 방법 2 (외부 스토리지)
2. 개발/테스트 환경: 방법 3 (Hugging Face Dataset) 또는 방법 4 (정기 백업)
3. 중요한 데이터: 항상 외부 데이터베이스 사용

참고

• Hugging Face Spaces 문서
• Supabase (무료 PostgreSQL)
• Neon (서버리스 PostgreSQL)
• Railway (PostgreSQL)