# SmartCore V4 Tokenizer (48K EN+TR)

Canonical: **SentencePiece** (`tokenizer.model`). HuggingFace AutoTokenizer
dönüşümü transformers 5.x'te SP'yi yüklemediği için SP doğrudan kullanılır.

| Özellik | Değer |
|---|---|
| Tür | SentencePiece BPE, byte_fallback, split_digits, split_by_unicode_script |
| vocab_size | 48000 |
| Diller | İngilizce (temel) + Türkçe (ikincil) |
| Korpus | FineWeb-Edu (EN) + FineWeb-2 tur_Latn (TR), ~1.5GB, %45 TR |
| normalization | identity (yok) |
| Özel token | <unk>=0, <s>=1, </s>=2, <pad>=3 |
| Fertility | EN 1.42, TR 1.77 (TR/EN 1.25) |

## Yükleme
```python
import sentencepiece as spm
sp = spm.SentencePieceProcessor(model_file="tokenizer.model")
ids = sp.encode("metin", out_type=int)
txt = sp.decode(ids)
```
veya pipeline'da: `from kod.sc_tokenizer import SCTokenizer; tok = SCTokenizer()`