"""
tokenizer.py ile eğitilen ham `tokenizers` çıktısını (tr_en_tokenizer.json),
Hugging Face `AutoTokenizer.from_pretrained(...)` ile doğrudan yüklenebilecek
standart bir HF tokenizer klasörüne çevirir.

Kullanım:
    python convert_tokenizer.py --tokenizer_json tr_en_tokenizer.json --out ./tr_en_llm_ckpt
"""

import argparse

from transformers import PreTrainedTokenizerFast


def convert(tokenizer_json_path: str, out_dir: str, model_max_length: int = 2048):
    tok = PreTrainedTokenizerFast(
        tokenizer_file=tokenizer_json_path,
        unk_token="<unk>",
        pad_token="<pad>",
        bos_token="<bos>",
        eos_token="<eos>",
        sep_token="<sep>",
        mask_token="<mask>",
        additional_special_tokens=["<|user|>", "<|assistant|>", "<|system|>"],
        model_max_length=model_max_length,
    )
    tok.save_pretrained(out_dir)
    print(f"HF tokenizer kaydedildi: {out_dir}")
    print(f"Örnek: {tok('Merhaba dünya, hello world').input_ids}")
    return tok


if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("--tokenizer_json", type=str, required=True)
    parser.add_argument("--out", type=str, default="./tr_en_llm_ckpt")
    parser.add_argument("--model_max_length", type=int, default=2048)
    args = parser.parse_args()
    convert(args.tokenizer_json, args.out, args.model_max_length)