Instructions to use veripazari/turkish_tokenizer_256k with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use veripazari/turkish_tokenizer_256k with Transformers:
# pip install -U transformers accelerate # Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("veripazari/turkish_tokenizer_256k", device_map="auto") - Notebooks
- Google Colab
- Kaggle
Configuration Parsing Warning:Config file tokenizer_config.json cannot be fetched (too big)
Not: Bu tokenizer orijinal olarak aliarda tarafından geliştirilmiş olup, VeriPazarı tarafından Türk yapay zeka topluluğuna katkı sağlamak amacıyla dokümantasyonu Türkçeye çevrilerek arşivlenmiştir.
🔗 Orijinal Kaynak: aliarda/turkish_tokenizer_256k 🔗 Derleyen Platform: VeriPazarı
Türkçe Byte Pair Encoding (BPE) Tokenizer için Model Kartı
Bu model, özellikle Türkçe dili için tasarlanmış bir tokenizer sağlar. 256.000 Türkçe kök kelimeyi, tüm Türkçe eklerin hem küçük hem de büyük harf biçimlerini içerir ve Byte Pair Encoding (BPE) kullanarak yaklaşık 207.000 ek belirteç (token) ile genişletilmiştir. Tokenizer, Türkçe metin içeren doğal dil işleme (NLP) görevleri için tokenizasyon kalitesini artırmayı amaçlamaktadır.
Model Detayları
Model Açıklaması
Bu tokenizer, Türkçenin karmaşık morfolojisini ve eklemeli yapısını ele almak için geliştirilmiştir. Kapsamlı bir kök kelime ve ek setini BPE ile birleştirerek, dilbilimsel yapıyı koruyan ve sonraki görevler için sözlük boyutunu küçülten verimli bir tokenizasyon sağlar.
- Geliştiren: Ali Arda Fincan
- Model tipi: Tokenizer (Byte Pair Encoding ve Önceden Tanımlı Türkçe Kelimeler)
- Dil(ler) (NLP): Türkçe
- Lisans: Apache-2.0
Model Kaynakları [isteğe bağlı]
- Depo: umarigan/turkish_corpus_small
Doğrudan Kullanım
Bu tokenizer, metin sınıflandırma, çeviri veya duygu analizi gibi görevlerde Türkçe metinleri tokenize etmek için doğrudan kullanılabilir. Türkçenin dilbilimsel özelliklerini verimli bir şekilde ele alır, bu da onu morfolojik analiz veya metin işleme gerektiren görevler için uygun hale getirir.
Sonraki (Downstream) Kullanım
Tokenizer, model eğitimi veya çıkarım görevleri dahil olmak üzere Türkçe dil işleme için NLP süreçlerine entegre edilebilir veya ince ayar (fine-tuning) yapılabilir.
Kapsam Dışı Kullanım
Tokenizer, Türkçe olmayan diller veya eğitiminde kapsanmayan, alana özel tokenizasyon gerektiren görevler için tasarlanmamıştır.
Önyargılar, Riskler ve Sınırlamalar
Bu tokenizer Türkçe için optimize edilmiş olsa da, eğitim verileri dengesizlikler veya kalıplaşmış yargılar içeriyorsa önyargılar ortaya çıkabilir. Ayrıca, oldukça gayriresmi veya alana özel metinlerde performansı düşük olabilir.
Öneriler
Kullanıcılar, herhangi bir önyargıyı veya sınırlamayı belirlemek için tokenizer'ı kendi özel veri setleri ve görevleri üzerinde değerlendirmelidir. En iyi sonuçlar için ek ön işleme veya token düzenlemeleri gerekebilir.
Model ile Başlarken
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("aliarda/turkish_tokenizer")
# Örnek kullanım:
text = "Türkçe metin işleme için bir örnek."
tokens = tokenizer.tokenize(text)
print(tokens)
Bu dosya veripazari.com.tr topluluğu tarafından Hugging Face altyapısında barındırılmaktadır. Orijinal emeğe saygı gereği lisans, metadata ve kaynak referansları korunmuştur.