Balochi BPE Tokenizer
Custom BPE tokenizer trained on Balochi text.
Usage
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("hafeez007/bpe_balochi-tokenizer")
tokens = tokenizer.tokenize("باسک یک لبزانکی ءُ المی دیوان انت")
print(tokens)
