Not: Bu modelin dokümantasyonu Türk yapay zeka topluluğuna katkı sağlamak amacıyla VeriPazarı tarafından Türkçeye çevrilmiştir. Orijinal model cdliai tarafından geliştirilmiş olup, VeriPazarı tarafından Türk AI ekosistemi için arşivlenmiştir.
🔗 Orijinal Kaynak: cdliai/durak 🔗 Derleyen Platform: VeriPazarı
Durak
Durak, "Rust Çekirdeği, Python Arayüzü" mimarisi üzerine inşa edilmiş, yüksek performanslı bir Türkçe Doğal Dil İşleme (NLP) araç setidir. Ağır işlemler (normalizasyon, tokenleştirme, kök bulma) derlenmiş Rust üzerinde çalışarak gerçek paralellik için GIL'i serbest bırakırken, Python araştırmacıları için PyTorch benzeri esnek bir API sunar.
Neden Durak?
- Rust Destekli: Sıfır ek yükle kaynak gömme ile ışık hızında metin işleme
- Gerçek Paralellik: Çok çekirdekli toplu işleme için GIL'den arındırılmış operasyonlar
- Sıfır Bağımlılıklı Dağıtım: Kaynaklar doğrudan ikili dosyaya derlenir
- Araştırmaya Hazır: Tip güvenli, tekrarlanabilir, entegrasyonu kolay
Mimari
┌──────────────────────────────────────┐
│ Python Arayüzü (python/durak/) │ ← Kodunuz burada
│ Pipeline • StopwordManager • API │
├──────────────────────────────────────┤
│ Rust Çekirdeği (src/lib.rs) │ ← Performans kritik
│ Tokenleştirme • Normalizasyon │
│ Gömülü Kaynaklar (include_str!) │
└──────────────────────────────────────┘
Detaylı tasarım dokümantasyonu için ARCHITECTURE.md dosyasına bakın.
Hızlı Başlangıç
Kurulum
pip install durak-nlp
Minimal İşlem Hattı (Pipeline)
from durak import process_text
entries = [
"Türkiye'de NLP zor. Durak kolaylaştırır.",
"Ankara ' da kaldım.",
]
tokens = [
process_text(
entry,
remove_stopwords=True,
rejoin_suffixes=True, # filtrelemeden önce ayrık ekleri birleştirir
)
for entry in entries
]
print(tokens[0])
# ["türkiye'de", "nlp", "zor", ".", "durak", "kolaylaştırır", "."]
print(tokens[1])
# ["ankara'da", "kaldım", "."]
İşlem hattı sırasıyla şunları gerçekleştirir: temizleme → tokenleştirme → ayrık ekleri birleştirme → durdurma kelimelerini (stopwords) kaldırma
Modüler Yapı Taşları
from durak import (
StopwordManager,
attach_detached_suffixes,
clean_text,
remove_stopwords,
tokenize,
)
text = "İstanbul ' a vapurla geçtik."
cleaned = clean_text(text)
tokens = tokenize(cleaned)
tokens = attach_detached_suffixes(tokens)
# Özel durdurma kelimesi yönetimi
manager = StopwordManager(additions=["vapurla"], keep=["istanbul'a"])
filtered = remove_stopwords(tokens, manager=manager)
print(filtered)
# ["istanbul'a", "geçtik", "."]
Rust Çekirdeğine Erişim
from durak import _durak_core
# Yüksek performanslı fonksiyonlar (Python'dan 5-10 kat daha hızlı)
normalized = _durak_core.fast_normalize("İSTANBUL") # "istanbul"
tokens = _durak_core.tokenize_with_offsets("Merhaba dünya!")
# Gömülü kaynaklar (dosya G/Ç yok!)
stopwords = _durak_core.get_stopwords_base() # 100-1000 kat daha hızlı yükleme
suffixes = _durak_core.get_detached_suffixes()
Özellikler
- Unicode uyumlu temizleme: Türkçeye özgü normalizasyon (İ/ı, I/i yönetimi)
- Yapılandırılabilir durdurma kelimesi yönetimi: Tutulacak listeler, özel eklemeler, alana özgü kümeler
- Regex tabanlı tokenleştirici: Türkçe morfolojisini korur (ekler, kesme işaretleri)
- Ofset takibi: NER ve span görevleri için karakter hassasiyetinde konumlandırma
- Gömülü kaynaklar: Dosya G/Ç işlemi gerektirmez, doğrudan ikili dosyaya derlenir
- Tip güvenli: IDE desteği ve statik analiz için tam
.pyitaslakları - Kademeli kök bulma (lemmatization): Sözlük araması + performans metrikleriyle sezgisel yedekleme
Kök Bulma (Lemmatization)
Durak, üç stratejiye sahip yüksek performanslı bir kök bulucu sunar:
from durak import Lemmatizer
# Strateji seçenekleri: "lookup", "heuristic", "hybrid"
lemmatizer = Lemmatizer(strategy="hybrid")
lemmatizer("kitaplar") # "kitap"
lemmatizer("geliyorum") # "gel"
lemmatizer("evlerimde") # "ev"
Stratejiler
lookup: Sadece sözlük (en hızlı, yüksek doğruluk, OOV kelimelerde başarısız)heuristic: Ek çıkarma (OOV kelimeleri işler, bazen fazla kırpabilir)hybrid: Önce sözlükte ara, başarısız olursa sezgisel yönteme geç (önerilen)
Performans Metrikleri
Kök bulma davranışını analiz etmek için metrikleri etkinleştirin:
lemmatizer = Lemmatizer(strategy="hybrid", collect_metrics=True)
for word in large_corpus:
lemma = lemmatizer(word)
print(lemmatizer.get_metrics())
# Lemmatizer Metrikleri:
# Toplam Çağrı: 10,000
# Sözlük İsabeti: 7,234 (%72.3)
# Sezgisel Yedekleme: 2,766
# Ort. Çağrı Süresi: 0.042ms
# Sözlük Süresi: 0.038s
# Sezgisel Süre: 0.004s
Metrikler şunları içerir:
- Çağrı sayıları (sözlük isabet/başarısızlık, sezgisel yedekleme)
- Zamanlama dökümü (strateji başına gecikme)
- Önbellek isabet oranı
- Ortalama çağrı süresi
Kullanım alanları:
- Kendi veri kümenizde stratejileri karşılaştırma
- Kök bulma sorunlarını ayıklama
- Üretim hatlarını optimize etme
- Araştırma performansı raporlama
Strateji karşılaştırma örnekleri için examples/lemmatizer_metrics.py dosyasına bakın.
Kök Doğrulama
Sezgisel kaliteyi kök doğrulama ile kontrol edin:
lemmatizer = Lemmatizer(
strategy="hybrid",
validate_roots=True, # Doğrulamayı etkinleştir
strict_validation=True, # Köklerin sözlükte olmasını zorunlu tut
min_root_length=3, # Minimum 3 karakter
)
lemmatizer("kitaplardan") # Sadece kök ≥3 karakterse ve geçerliyse kırpar
Geliştirme Kurulumu
Kaynaktan Derleme
# Depoyu klonlayın
git clone https://github.com/fbkaragoz/durak.git
cd durak
# Sanal ortam oluşturun
python -m venv .venv
source .venv/bin/activate # Windows'ta: .venv\Scripts\activate
# Rust'ı kurun (yüklü değilse)
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# Rust eklentisi ile derleyin ve kurun
pip install maturin
maturin develop # veya optimize edilmiş derleme için: maturin develop --release
# Geliştirme bağımlılıklarını kurun
pip install -e .[dev]
Testleri Çalıştırma
# Tüm testleri çalıştır
pytest
# Kapsam (coverage) ile
pytest --cov=durak --cov-report=html
# Tip kontrolü
mypy python
# Linting
ruff check .
Proje Yapısı
durak/
├── src/ # Rust kaynağı (motor)
│ └── lib.rs
├── python/ # Python kaynağı (arayüz)
│ └── durak/
├── resources/ # Statik veri dosyaları
│ └── tr/ # Türkçe kaynaklar
├── tests/ # Entegrasyon testleri
├── benchmarks/ # Performans kıyaslamaları
├── examples/ # Kullanım örnekleri
└── docs/ # Dokümantasyon
Dokümantasyon
- Mimari Kılavuzu: Tasarım ilkeleri ve bileşen mimarisi
- Örnekler: Temel ve ileri düzey kullanım gösterimleri
- Kıyaslamalar: Performans karşılaştırması ve optimizasyon ipuçları
- API Tasarım Dokümanları: Detaylı bileşen spesifikasyonları
- Değişiklik Günlüğü: Sürüm geçmişi ve geçiş kılavuzları
- Yol Haritası: Gelecekteki geliştirmeler ve planlanan özellikler
Topluluk & Destek
- Davranış Kuralları: CODE_OF_CONDUCT.md
- Katkıda Bulunma: CONTRIBUTING.md
- Güvenlik: SECURITY.md
- Atıf: CITATION.cff
- Sorunlar: GitHub Issues
Konular: turkish-nlp, nlp, rust, pyo3, maturin, tokenization, lemmatization, text-processing
Performans
Rust ile hızlandırılmış fonksiyonlar önemli hız artışları sağlar:
- Normalizasyon: Saf Python'dan 5-10 kat daha hızlı
- Tokenleştirme: Ofset takibi ile 3-5 kat daha hızlı
- Kaynak Yükleme: 100-1000 kat daha hızlı (gömülü, dosya G/Ç yok)
- Tam İşlem Hattı: Genel olarak 2-4 kat hız artışı
Sisteminizde ölçüm yapmak için python benchmarks/benchmark_rust_vs_python.py komutunu çalıştırın.
Lisans
Durak, Durak Lisansı v1.2 altında dağıtılmaktadır. Ticari veya kurumsal kullanım, yazarın açık yazılı iznini gerektirir.
Ana Sayfa: karagoz.io Depo: github.com/fbkaragoz/durak
Bu dosya veripazari.com.tr topluluğu tarafından Hugging Face altyapısında barındırılmaktadır. Orijinal emeğe saygı gereği lisans, metadata ve kaynak referansları korunmuştur.