deleteAll.py

from datasets import DatasetDict, Dataset
from dotenv import load_dotenv
import os
from huggingface_hub import HfApi

load_dotenv()

HF_DATA_REPO_ID = os.getenv("HF_DATA_REPO_ID")
HF_DATA_TOKEN = os.getenv("HF_DATA_TOKEN")
api = HfApi()

# 1️⃣ repo 내 전체 파일 리스트 가져오기
files = api.list_repo_files(repo_id=HF_DATA_REPO_ID, repo_type="dataset", token=HF_DATA_TOKEN)

print(f"📂 삭제 대상 파일 {len(files)}개:")
for f in files:
    print("-", f)

# 2️⃣ 전체 파일 삭제
for path in files:
    api.delete_file(
        path_in_repo=path,
        repo_id=HF_DATA_REPO_ID,
        repo_type="dataset",
        token=HF_DATA_TOKEN
    )
    print(f"🗑️ {path} 삭제 완료")

print("✅ 허깅페이스 Hub의 /data 포함 모든 파일 삭제 완료")