---
language:
- tr
tags:
- tokenizer
- bpe
- turkish
license: unknown
---

# Türkçe BPE Tokenizer

Türkçe Wikipedia'dan (resmi MediaWiki API üzerinden, `action=query&generator=random`) toplanan bir korpus üzerinde eğitilmiş BPE (Byte-Pair Encoding) tokenizer.

## Eğitim Detayları

- **Yöntem**: BPE (Hugging Face `tokenizers` kütüphanesi)
- **Pre-tokenizer**: Whitespace
- **Hedef vocab boyutu**: 256.000
- **Gerçekleşen vocab boyutu**: 78.431 (korpus boyutu hedefe göre daha küçük kaldığı için trainer daha düşük bir vocab'da yakınsadı)
- **Özel tokenlar**: `[UNK]`, `[PAD]`, `[BOS]`, `[EOS]`
- **Korpus kaynağı**: tr.wikipedia.org resmi API, rastgele makaleler (`grnnamespace=0`, düz metin `explaintext=1`)

## Kullanım

```python
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("eraycancelik/BPE-tokenizer")
ids = tokenizer("merhaba dünya")
print(ids)
```

## Bilinen Sınırlamalar

- Vocab boyutu, korpusun küçüklüğü nedeniyle hedeflenen 256K'nın oldukça altında kaldı; daha büyük/çeşitli bir korpusla yeniden eğitim, alt-kelime parçalanma kalitesini artırabilir.
- `Whitespace` pre-tokenizer + eksik bir decoder yapılandırması nedeniyle decode edilen metinde kelime-içi ekstra boşluklar görülebilir (örn. "merhaba" → "mer ha ba"); üretim kullanımından önce `ByteLevel` veya `Metaspace` tipi bir pre-tokenizer/decoder ile yeniden değerlendirilmesi önerilir.