Update app.py

app.py

@@ -13,6 +13,96 @@ os.environ["STREAMLIT_HOME"] = str(STREAMLIT_DIR)
 os.environ["STREAMLIT_SERVER_HEADLESS"] = "true"
 os.environ["STREAMLIT_BROWSER_GATHER_USAGE_STATS"] = "false"
 
+from huggingface_hub import hf_hub_download
+
+# (선택) 데이터셋 리포를 쓰고 싶으면 환경변수로 지정하세요.
+# 예: HF_DATASET_REPO="yourname/moai-travel-data", HF_DATASET_REV="main"
+HF_DATASET_REPO = os.getenv("HF_DATASET_REPO", None)  # None이면 로컬 우선
+HF_DATASET_REV  = os.getenv("HF_DATASET_REV", "main")
+
+def _is_pointer_bytes(b: bytes) -> bool:
+    head = b[:2048].decode(errors="ignore").lower()
+    return (
+        "version https://git-lfs.github.com/spec/v1" in head
+        or "git-lfs" in head
+        or "xet" in head
+        or "pointer size" in head
+    )
+
+def _read_csv_bytes(b: bytes) -> pd.DataFrame:
+    # utf-8 → cp949 순으로 시도
+    try:
+        return pd.read_csv(io.BytesIO(b), encoding="utf-8")
+    except UnicodeDecodeError:
+        return pd.read_csv(io.BytesIO(b), encoding="cp949")
+
+def load_csv_smart(local_path: str,
+                   hub_filename: str | None = None,
+                   repo_id: str | None = HF_DATASET_REPO,
+                   repo_type: str = "dataset",
+                   revision: str = HF_DATASET_REV) -> pd.DataFrame:
+    """
+    1) 로컬 파일이 있으면 즉시 사용
+    2) 없고 repo_id가 있으면 HF Hub에서 받아서 사용
+    3) 둘 다 실패하면 Streamlit 에러
+    """
+    if hub_filename is None:
+        hub_filename = os.path.basename(local_path)
+
+    # 1) 로컬 우선
+    if os.path.exists(local_path):
+        with open(local_path, "rb") as f:
+            data = f.read()
+        if not _is_pointer_bytes(data):
+            return _read_csv_bytes(data)
+
+    # 2) 허브에서 받기 (repo_id가 설정된 경우)
+    if repo_id:
+        try:
+            cached = hf_hub_download(repo_id=repo_id, filename=hub_filename,
+                                     repo_type=repo_type, revision=revision)
+            # 파일 자체를 다시 읽어서 인코딩 안전처리
+            with open(cached, "rb") as f:
+                data = f.read()
+            return _read_csv_bytes(data)
+        except Exception as e:
+            st.error(f"Hub에서 {hub_filename} 받기 실패: {e}")
+
+    # 3) 최종 실패
+    st.error(f"데이터 파일을 찾을 수 없습니다: {local_path} (또는 Hub: {hub_filename})")
+    st.stop()
+
+def load_json_smart(local_path: str,
+                    hub_filename: str | None = None,
+                    repo_id: str | None = HF_DATASET_REPO,
+                    repo_type: str = "dataset",
+                    revision: str = HF_DATASET_REV):
+    if hub_filename is None:
+        hub_filename = os.path.basename(local_path)
+
+    # 1) 로컬 우선
+    if os.path.exists(local_path):
+        with open(local_path, "rb") as f:
+            data = f.read()
+        if not _is_pointer_bytes(data):
+            try:
+                return json.loads(data.decode("utf-8"))
+            except Exception:
+                return json.loads(data.decode("cp949"))
+
+    # 2) 허브
+    if repo_id:
+        try:
+            cached = hf_hub_download(repo_id=repo_id, filename=hub_filename,
+                                     repo_type=repo_type, revision=revision)
+            with open(cached, "r", encoding="utf-8") as f:
+                return json.load(f)
+        except Exception as e:
+            st.error(f"Hub에서 {hub_filename} 받기 실패: {e}")
+
+    # 3) 최종 실패
+    st.error(f"JSON 파일을 찾을 수 없습니다: {local_path} (또는 Hub: {hub_filename})")
+    st.stop()
 # ──────────────────────────────── CSV 안전 로더 ────────────────────────────────
 def read_csv_safe(path, encodings=("utf-8", "cp949")):
     last_err = None