README.md

---
language:
- tr
library_name: tokenizers
tags:
- tokenizer
- bpe
- byte-level
- turkish
- nlp
---

# Turkish Byte-Level BPE Tokenizer

Bu repository, Türkçe metinler üzerinde sıfırdan eğitilmiş özel bir
**Byte-Level BPE tokenizer** içerir.

Bu çalışma, BPE tokenizer oluşturma ve Hugging Face Hub üzerinde
yayınlama ödevi kapsamında hazırlanmıştır.

## Tokenizer özellikleri

- **Algoritma:** Byte-Level BPE
- **Dil:** Türkçe
- **Vocabulary boyutu:** 512
- **Minimum frekans:** 2
- **Unicode normalizasyonu:** NFC
- **Pre-tokenizer:** ByteLevel
- **Decoder:** ByteLevel
- **Maksimum dizi uzunluğu:** 512
- **Eğitim kütüphanesi:** Hugging Face Tokenizers
- **Transformers uyumluluğu:** `PreTrainedTokenizerFast`

## Özel tokenlar

| Token | Açıklama |
|---|---|
| `<unk>` | Bilinmeyen token |
| `<pad>` | Dolgu tokenı |
| `<bos>` | Metin başlangıcı |
| `<eos>` | Metin sonu |

Tokenizer, metinlerin başına `<bos>` ve sonuna `<eos>` tokenı ekleyecek
şekilde yapılandırılmıştır.

## Eğitim verisi

Tokenizer yaklaşık **10.685 karakterden** ve **9 farklı paragraftan**
oluşan Türkçe bir metin üzerinde eğitilmiştir.

Eğitim metni aşağıdaki türlerden örnekler içerir:

- Fantastik kurgu
- Bilim kurgu
- Polisiye
- Siberpunk
- Bilimsel ve teknik metinler
- Türkçe karakterler
- Sayılar ve matematiksel ifadeler

## Kullanım

```python
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(
    "YusufSimsek/turkish-bytelevel-bpe"
)

text = "Merhaba dünya! Türkçe tokenizer çalışıyor."

encoded = tokenizer(
    text,
    add_special_tokens=True
)

print("Token ID'leri:")
print(encoded["input_ids"])

print("Tokenlar:")
print(
    tokenizer.convert_ids_to_tokens(
        encoded["input_ids"]
    )
)

decoded = tokenizer.decode(
    encoded["input_ids"],
    skip_special_tokens=True,
    clean_up_tokenization_spaces=False
)

print("Çözümlenen metin:")
print(decoded)
```

## Sınırlamalar

Bu tokenizer küçük bir eğitim verisi üzerinde eğitilmiştir. Bu nedenle:

- Genel amaçlı büyük dil modelleri için yeterli değildir.
- Eğitim verisinde az görülen kelimeleri çok sayıda alt parçaya bölebilir.
- Vocabulary boyutu deneysel olarak 512 seçilmiştir.
- Daha büyük ve çeşitli bir Türkçe corpus ile yeniden eğitilmesi
  tokenizer verimliliğini artırabilir.

Bu repository bir dil modeli içermez. Yalnızca metinleri tokenlara
dönüştürmek için kullanılan tokenizer dosyalarını içerir.

## Dosyalar

- `tokenizer.json`: Vocabulary ve BPE birleşme kuralları
- `tokenizer_config.json`: Tokenizer yapılandırması
- `special_tokens_map.json`: Özel token eşlemeleri
- `training_report.json`: Eğitim ve test sonuçları

## Geliştirici

**Yusuf Şimşek**

Bu tokenizer eğitim ve öğrenme amaçlı hazırlanmıştır.