Taklaxbr/turkish-law-tokenizer

Not: Bu tokenizer orijinal olarak ocaklisemih tarafından geliştirilmiş olup, VeriPazarı tarafından Türk AI ekosistemi için arşivlenmiştir.

🔗 Orijinal Kaynak: ocaklisemih/turkish-law-tokenizer 🔗 Derleyen Platform: VeriPazarı

Turkish Law Tokenizer (Türkçe Hukuk Tokenizer'ı)

Model Açıklaması

Bu depo (repository), Türkçe hukuk metinleri için özel olarak eğitilmiş bir T5TokenizerFast (BPE tabanlı) modeli barındırmaktadır. Model, Türkiye'deki mahkeme kararlarından oluşan geniş bir külliyattan eğitilmiştir. Özellikle hukuk alanındaki doğal dil işleme (NLP) görevleri için tasarlanmıştır.

• Model tipi: BPE (Byte-Pair Encoding)
• Dil: Türkçe (tr)
• Kütüphane: Transformers
• Kelime Dağarcığı Boyutu (Vocab Size): 20.000
• Özel Token'lar (Special Tokens): [PAD], [UNK], [BOS], [EOS]

Kullanım

Modeli Hugging Face transformers kütüphanesi ile Python ortamınıza kolayca yükleyip kullanabilirsiniz. Tokenizer, fast versiyonuyla birlikte gelir.

from transformers import AutoTokenizer

# Modeli Hugging Face Hub'dan yükle
tokenizer = AutoTokenizer.from_pretrained("ocaklisemih/turkish-law-tokenizer", use_fast=True)

# Örnek bir cümle
metin = "Taraflar arasında görülen dava sonucunda verilen hükmün Yargıtay'ca incelenmesi istenilmekle; temyiz isteğinin süresinde olduğu anlaşıldı."

# Metni tokenize et
tokenler = tokenizer.tokenize(metin)
print("Tokenler:", tokenler)

# Metni encode et (ID'lere çevir)
kodlanmis_metin = tokenizer(metin)
print("Kodlanmış Metin:", kodlanmis_metin)

# ID'leri tekrar metne çevir
cozulmus_metin = tokenizer.decode(kodlanmis_metin["input_ids"])
print("Çözülmüş Metin:", cozulmus_metin)

Eğitim Süreci Detayları

Eğitimde kullanılan temel parametreler şu şekildedir:

• model_type: bpe
• vocab_size: 20000
• character_coverage: 1.0
• user_defined_symbols: [PAD], [UNK], [BOS], [EOS]

---

Bu dosya veripazari.com.tr topluluğu tarafından Hugging Face altyapısında barındırılmaktadır. Orijinal emeğe saygı kuralımız gereği lisans ve model isimleri korunmuştur.