upload_model_weights.py

#!/usr/bin/env python3
"""
Script để tải model weights từ Qwen3-4B-Instruct-2507 và upload lên bank-model repository
Cần cài: pip install huggingface_hub transformers
"""
import os
from huggingface_hub import HfApi, snapshot_download, upload_folder
from pathlib import Path

def upload_model_to_bank_repo():
    """Tải model từ Qwen3 và upload lên bank-model repo"""
    
    source_model = "Qwen/Qwen3-4B-Instruct-2507"
    target_repo = "hainguyen306201/bank-model"
    
    print(f"Bước 1: Tải model từ {source_model}...")
    print("Điều này có thể mất vài phút và cần ~8GB dung lượng...")
    
    # Tải toàn bộ model (bao gồm weights)
    temp_dir = "./temp_qwen_model"
    snapshot_download(
        repo_id=source_model,
        local_dir=temp_dir,
        local_dir_use_symlinks=False  # Tải file thực tế, không phải symlinks
    )
    
    print(f"\nBước 2: Upload model lên {target_repo}...")
    print("Điều này cũng có thể mất vài phút...")
    
    # Upload các file model weights
    api = HfApi()
    
    # Upload từng file
    model_files = [
        "model-00001-of-00003.safetensors",
        "model-00002-of-00003.safetensors", 
        "model-00003-of-00003.safetensors",
        "model.safetensors.index.json"
    ]
    
    for file in model_files:
        file_path = os.path.join(temp_dir, file)
        if os.path.exists(file_path):
            print(f"  Uploading {file}...")
            api.upload_file(
                path_or_fileobj=file_path,
                path_in_repo=file,
                repo_id=target_repo,
                repo_type="model"
            )
    
    # Upload tokenizer.json nếu có
    tokenizer_json = os.path.join(temp_dir, "tokenizer.json")
    if os.path.exists(tokenizer_json):
        print("  Uploading tokenizer.json...")
        api.upload_file(
            path_or_fileobj=tokenizer_json,
            path_in_repo="tokenizer.json",
            repo_id=target_repo,
            repo_type="model"
        )
    
    print(f"\n✅ Đã upload model weights thành công lên {target_repo}!")
    print(f"Bạn có thể xóa thư mục tạm: {temp_dir}")

if __name__ == "__main__":
    upload_model_to_bank_repo()