SmartCore V4 Tokenizer (48K EN+TR)
Canonical: SentencePiece (tokenizer.model). HuggingFace AutoTokenizer
dönüşümü transformers 5.x'te SP'yi yüklemediği için SP doğrudan kullanılır.
| Özellik | Değer |
|---|---|
| Tür | SentencePiece BPE, byte_fallback, split_digits, split_by_unicode_script |
| vocab_size | 48000 |
| Diller | İngilizce (temel) + Türkçe (ikincil) |
| Korpus | FineWeb-Edu (EN) + FineWeb-2 tur_Latn (TR), ~1.5GB, %45 TR |
| normalization | identity (yok) |
| Özel token | =0, |
| Fertility | EN 1.42, TR 1.77 (TR/EN 1.25) |
Yükleme
import sentencepiece as spm
sp = spm.SentencePieceProcessor(model_file="tokenizer.model")
ids = sp.encode("metin", out_type=int)
txt = sp.decode(ids)
veya pipeline'da: from kod.sc_tokenizer import SCTokenizer; tok = SCTokenizer()