README.md

from huggingface_hub import snapshot_download

def load_tokenizer_from_hub(repo_name: str = "Kyudan/TeXBLEU-Tokenizer") -> Tokenizer:
    # Hugging Face Hub에서 토크나이저 다운로드
        snapshot_dir = snapshot_download(repo_id=repo_name)
    
    # 다운로드한 토크나이저 불러오기
        tokenizer = Tokenizer.from_file(f"{snapshot_dir}/tokenizer.json")
        return tokenizer