| # SmartCore V4 Tokenizer (48K EN+TR) | |
| Canonical: **SentencePiece** (`tokenizer.model`). HuggingFace AutoTokenizer | |
| dönüşümü transformers 5.x'te SP'yi yüklemediği için SP doğrudan kullanılır. | |
| | Özellik | Değer | | |
| |---|---| | |
| | Tür | SentencePiece BPE, byte_fallback, split_digits, split_by_unicode_script | | |
| | vocab_size | 48000 | | |
| | Diller | İngilizce (temel) + Türkçe (ikincil) | | |
| | Korpus | FineWeb-Edu (EN) + FineWeb-2 tur_Latn (TR), ~1.5GB, %45 TR | | |
| | normalization | identity (yok) | | |
| | Özel token | <unk>=0, <s>=1, </s>=2, <pad>=3 | | |
| | Fertility | EN 1.42, TR 1.77 (TR/EN 1.25) | | |
| ## Yükleme | |
| ```python | |
| import sentencepiece as spm | |
| sp = spm.SentencePieceProcessor(model_file="tokenizer.model") | |
| ids = sp.encode("metin", out_type=int) | |
| txt = sp.decode(ids) | |
| ``` | |
| veya pipeline'da: `from kod.sc_tokenizer import SCTokenizer; tok = SCTokenizer()` | |