deleteAll.py

from huggingface_hub import HfApi
import shutil, os
from dotenv import load_dotenv

load_dotenv()
HF_DATA_REPO_ID = os.getenv("HF_DATA_REPO_ID")
HF_DATA_TOKEN = os.getenv("HF_DATA_TOKEN")

api = HfApi()

# 1️⃣ 모든 파일 삭제
files = api.list_repo_files(repo_id=HF_DATA_REPO_ID, repo_type="dataset", token=HF_DATA_TOKEN)
for path in files:
    api.delete_file(path_in_repo=path, repo_id=HF_DATA_REPO_ID, repo_type="dataset", token=HF_DATA_TOKEN)
print("🗑️ repo 내부 파일 모두 삭제 완료")

# 2️⃣ 캐시 삭제
cache_dir = os.path.expanduser("~/.cache/huggingface/datasets")
if os.path.exists(cache_dir):
    shutil.rmtree(cache_dir)
print("🧹 로컬 캐시 초기화 완료")

# 3️⃣ repo 메타데이터 초기화
api.create_repo(HF_DATA_REPO_ID, repo_type="dataset", token=HF_DATA_TOKEN, exist_ok=True, private=True)
print("✅ dataset repo metadata 재설정 완료 (빈 상태)")