File size: 1,963 Bytes
461adca | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 | #!/usr/bin/env python3
"""
Скрипт для завантаження індексів векторної бази на Hugging Face Dataset
"""
import os
from pathlib import Path
from huggingface_hub import HfApi, login
def upload_indexes():
"""Завантажує індекси на HF Dataset"""
# Використовуємо токен з environment variable або prompt
token = os.environ.get("HF_TOKEN")
if not token:
print("⚠️ HF_TOKEN not found in environment")
print("Please set it: export HF_TOKEN=your_token_here")
print("Or run: python -c 'from huggingface_hub import login; login()'")
return
print("🔐 Авторизація в Hugging Face...")
api = HfApi(token=token)
repo_id = "DocSA/legal-position-indexes"
repo_type = "dataset"
# Шлях до індексів
index_path = Path("Save_Index_Ivan")
if not index_path.exists():
print(f"❌ Директорія {index_path} не знайдена!")
return
print(f"📦 Завантаження індексів з {index_path}...")
print(f"📍 До датасету: {repo_id}")
# Завантажуємо всю директорію
api.upload_folder(
folder_path=str(index_path),
repo_id=repo_id,
repo_type=repo_type,
path_in_repo=".", # Завантажити в корінь датасету
commit_message="Upload vector database indexes for Legal Position Analyzer"
)
print("✅ Індекси успішно завантажено!")
print(f"🌐 Датасет: https://huggingface.co/datasets/{repo_id}")
# Перевіряємо розмір
total_size = sum(f.stat().st_size for f in index_path.rglob('*') if f.is_file())
print(f"📊 Загальний розмір: {total_size / (1024**2):.2f} MB")
if __name__ == "__main__":
upload_indexes()
|