Update cache_db.py

cache_db.py

@@ -18,16 +18,191 @@ from datetime import datetime, timedelta
 from typing import List, Dict, Tuple, Optional, Generator
 from pathlib import Path
 import pytz
+
 logging.basicConfig(level=logging.INFO)
 logger = logging.getLogger(__name__)
-PERSISTENT_DIR = Path("/data") if os.path.exists("/data") else Path("./data")
-CACHE_DIR = PERSISTENT_DIR / "announcement_cache"
+
+# ==================== 영구 스토리지 설정 (AETHER 패턴 적용) ====================
+
+PERSISTENT_DIR = "/data"
+LOCAL_FALLBACK_DIR = "./data"
+
+# 전역 캐시 변수 (한 번만 결정)
+_STORAGE_BASE_PATH = None
+
+def _try_enable_persistent_storage_via_api() -> bool:
+    """HF API로 Persistent Storage 활성화 시도"""
+    hf_token = os.getenv("HF_TOKEN")
+    space_id = os.getenv("SPACE_ID")
+    
+    if not hf_token:
+        logger.warning("⚠️ HF_TOKEN 환경변수 없음 - API 활성화 불가")
+        return False
+    if not space_id:
+        logger.warning("⚠️ SPACE_ID 환경변수 없음 - HF Spaces 환경이 아닌 것 같습니다")
+        return False
+    
+    logger.info(f"🔄 Persistent Storage API 활성화 시도... Space ID: {space_id}")
+    
+    try:
+        from huggingface_hub import HfApi, SpaceStorage
+        api = HfApi(token=hf_token)
+        
+        try:
+            runtime = api.get_space_runtime(repo_id=space_id)
+            current_storage = getattr(runtime, 'storage', None)
+            if current_storage:
+                logger.info(f"✅ Persistent Storage 이미 활성화됨: {current_storage}")
+                return True
+            else:
+                logger.info("📦 Persistent Storage 비활성화 상태 - 활성화 시도...")
+        except Exception as e:
+            logger.warning(f"⚠️ Space 상태 확인 실패: {e}")
+        
+        api.request_space_storage(repo_id=space_id, storage=SpaceStorage.SMALL)
+        logger.info("✅ Persistent Storage SMALL 활성화 요청 완료!")
+        logger.info("⏳ Space가 재시작됩니다. 잠시 후 /data 디렉토리가 생성됩니다.")
+        return True
+        
+    except ImportError:
+        logger.warning("⚠️ huggingface_hub 라이브러리 없음")
+        return False
+    except Exception as e:
+        error_msg = str(e)
+        if "already" in error_msg.lower() or "exists" in error_msg.lower():
+            logger.info(f"✅ Persistent Storage 이미 활성화됨")
+            return True
+        elif "payment" in error_msg.lower() or "billing" in error_msg.lower():
+            logger.warning(f"⚠️ 결제 정보 필요: {error_msg}")
+        else:
+            logger.warning(f"⚠️ API 활성화 실패: {error_msg}")
+        return False
+
+def _determine_storage_path() -> Path:
+    """영구 저장소 경로 결정 (AETHER 패턴)"""
+    global _STORAGE_BASE_PATH
+    
+    # 이미 결정된 경우 캐시 반환
+    if _STORAGE_BASE_PATH is not None:
+        return _STORAGE_BASE_PATH
+    
+    print("\n" + "=" * 60)
+    print("🔍 CoBIZ 캐시 스토리지 초기화 중...")
+    print("=" * 60)
+    
+    # 1. /data 경로 확인 (HF Spaces Persistent Storage)
+    if os.path.exists(PERSISTENT_DIR):
+        try:
+            test_file = os.path.join(PERSISTENT_DIR, ".write_test")
+            with open(test_file, "w") as f:
+                f.write("test")
+            os.remove(test_file)
+            
+            _STORAGE_BASE_PATH = Path(PERSISTENT_DIR)
+            logger.info(f"✅ HF Spaces 영구 스토리지 활성화: {PERSISTENT_DIR}")
+            
+            # 기존 파일 확인
+            existing_files = [f for f in os.listdir(PERSISTENT_DIR) 
+                           if f.endswith('.db') or f.endswith('.json') or f == 'announcement_cache']
+            if existing_files:
+                logger.info(f"📁 기존 파일 발견: {existing_files}")
+            else:
+                logger.info("📁 기존 파일 없음 (새로운 스토리지)")
+            
+            print("=" * 60 + "\n")
+            return _STORAGE_BASE_PATH
+            
+        except Exception as e:
+            logger.warning(f"⚠️ /data 쓰기 테스트 실패: {e}")
+    else:
+        logger.warning(f"⚠️ {PERSISTENT_DIR} 디렉토리 없음")
+        
+        # API로 활성화 시도
+        logger.info("\n🚀 API로 Persistent Storage 활성화 시도...")
+        if _try_enable_persistent_storage_via_api():
+            logger.info("💡 API 요청 완료. Space 재시작 후 /data 사용 가능")
+    
+    # 2. 환경변수로 지정된 경로 확인
+    env_path = os.environ.get("PERSISTENT_DATA_DIR")
+    if env_path:
+        try:
+            os.makedirs(env_path, exist_ok=True)
+            test_file = os.path.join(env_path, ".write_test")
+            with open(test_file, "w") as f:
+                f.write("test")
+            os.remove(test_file)
+            
+            _STORAGE_BASE_PATH = Path(env_path)
+            logger.info(f"✅ 환경변수 스토리지 사용: {env_path}")
+            print("=" * 60 + "\n")
+            return _STORAGE_BASE_PATH
+        except Exception as e:
+            logger.warning(f"⚠️ PERSISTENT_DATA_DIR 쓰기 불가: {e}")
+    
+    # 3. 로컬 폴백 (비영구)
+    os.makedirs(LOCAL_FALLBACK_DIR, exist_ok=True)
+    _STORAGE_BASE_PATH = Path(LOCAL_FALLBACK_DIR)
+    
+    logger.warning(f"\n🟡 현재 로컬 스토리지 사용: {LOCAL_FALLBACK_DIR}")
+    logger.warning("   ⚠️ 재시작 시 모든 데이터가 손실됩니다!")
+    logger.warning("   💡 HF Space Settings → Persistent Storage → Enable 필요!")
+    print("=" * 60 + "\n")
+    
+    return _STORAGE_BASE_PATH
+
+def get_storage_info() -> dict:
+    """스토리지 상태 정보 반환"""
+    base_path = _determine_storage_path()
+    cache_dir = base_path / "announcement_cache"
+    
+    info = {
+        "base_path": str(base_path),
+        "is_persistent": str(base_path) == PERSISTENT_DIR,
+        "cache_dir": str(cache_dir),
+        "cache_exists": cache_dir.exists(),
+        "files": []
+    }
+    
+    if cache_dir.exists():
+        info["files"] = [f for f in os.listdir(cache_dir) if not f.startswith('.')]
+    
+    return info
+
+def verify_storage_persistence():
+    """스토리지 영속성 검증 (디버깅용)"""
+    base_path = _determine_storage_path()
+    cache_dir = base_path / "announcement_cache"
+    
+    logger.info(f"\n🔍 스토리지 영속성 검증:")
+    logger.info(f"   기본 경로: {base_path}")
+    logger.info(f"   영구 저장: {'✅ 예' if str(base_path) == PERSISTENT_DIR else '❌ 아니오'}")
+    logger.info(f"   캐시 디렉토리: {cache_dir}")
+    logger.info(f"   캐시 존재: {cache_dir.exists()}")
+    
+    if cache_dir.exists():
+        files = list(cache_dir.iterdir())
+        logger.info(f"   파일 수: {len(files)}")
+        for f in files[:5]:  # 최대 5개만 표시
+            logger.info(f"   - {f.name}")
+
+# 초기화 실행
+PERSISTENT_DIR_PATH = _determine_storage_path()
+verify_storage_persistence()
+# 경로 설정 (초기화된 PERSISTENT_DIR_PATH 사용)
+CACHE_DIR = PERSISTENT_DIR_PATH / "announcement_cache"
 DB_PATH = CACHE_DIR / "chroma_db"
 METADATA_FILE = CACHE_DIR / "sync_metadata.json"
 CONTENT_INDEX_FILE = CACHE_DIR / "content_index_status.json"
 PROFILE_DIR = CACHE_DIR / "user_profiles"
+
+# 디렉토리 생성
 CACHE_DIR.mkdir(parents=True, exist_ok=True)
 PROFILE_DIR.mkdir(parents=True, exist_ok=True)
+
+# 저장 경로 로깅
+logger.info(f"Cache directory: {CACHE_DIR}")
+logger.info(f"Profile directory: {PROFILE_DIR}")
+logger.info(f"Persistent storage: {'✅ YES' if str(PERSISTENT_DIR_PATH) == PERSISTENT_DIR else '❌ NO (local only)'}")
 try:
     import chromadb
     from chromadb.config import Settings