Blame for tools/upload_data.py

# -*- coding: utf-8 -*-
"""
Đẩy dữ liệu lên một HF Dataset PRIVATE để Space tải về lúc khởi động.

passages.jsonl có nội dung từ tạp chí/trang thương mại nên KHÔNG được để trong
repo Space (repo Space public ai cũng xem được file). Dataset private thì chỉ
người có token đọc được.

    pip install huggingface_hub
    huggingface-cli login                # token quyền write
    python tools/upload_data.py --src ../../nambo_run/data --repo <user>/namboqa-private
"""

import argparse
from pathlib import Path

from huggingface_hub import HfApi

FILES = ["passages.jsonl", "places_clean.json", "qa_final.jsonl"]   # split tự tính bằng chia_tap.py

ap = argparse.ArgumentParser()
ap.add_argument("--src", required=True, help="thư mục dữ liệu, vd ../../nambo_run/data")
ap.add_argument("--repo", required=True, help="vd: minhluan/namboqa-private")
ap.add_argument("--emb", nargs="*", default=[],
                help="(tuỳ chọn) file emb_*.npy đã tính sẵn để Space khỏi mã hoá lại")
a = ap.parse_args()

api = HfApi()
api.create_repo(a.repo, repo_type="dataset", private=True, exist_ok=True)
src = Path(a.src)
for f in FILES + a.emb:
    p = src / f if not Path(f).is_absolute() and (src / f).exists() else Path(f)
    api.upload_file(path_or_fileobj=str(p), path_in_repo=p.name, repo_id=a.repo, repo_type="dataset")
    print("đã đẩy", p.name)
print(f"Xong. Đặt biến DATA_REPO={a.repo} và secret HF_TOKEN (quyền read) cho Space.")