Turkish

Not: Bu modelin dokümantasyonu Türk yapay zeka topluluğuna katkı sağlamak amacıyla VeriPazarı tarafından Türkçeye çevrilmiştir. Orijinal model cdliai tarafından geliştirilmiş olup, VeriPazarı tarafından Türk AI ekosistemi için arşivlenmiştir.

🔗 Orijinal Kaynak: cdliai/durak 🔗 Derleyen Platform: VeriPazarı

Durak

PyPI Python Versions Tests License DOI

Durak logo

Durak, "Rust Çekirdeği, Python Arayüzü" mimarisi üzerine inşa edilmiş, yüksek performanslı bir Türkçe Doğal Dil İşleme (NLP) araç setidir. Ağır işlemler (normalizasyon, tokenleştirme, kök bulma) derlenmiş Rust üzerinde çalışarak gerçek paralellik için GIL'i serbest bırakırken, Python araştırmacıları için PyTorch benzeri esnek bir API sunar.

Neden Durak?

  • Rust Destekli: Sıfır ek yükle kaynak gömme ile ışık hızında metin işleme
  • Gerçek Paralellik: Çok çekirdekli toplu işleme için GIL'den arındırılmış operasyonlar
  • Sıfır Bağımlılıklı Dağıtım: Kaynaklar doğrudan ikili dosyaya derlenir
  • Araştırmaya Hazır: Tip güvenli, tekrarlanabilir, entegrasyonu kolay

Mimari

┌──────────────────────────────────────┐
│   Python Arayüzü (python/durak/)     │  ← Kodunuz burada
│   Pipeline • StopwordManager • API   │
├──────────────────────────────────────┤
│   Rust Çekirdeği (src/lib.rs)        │  ← Performans kritik
│   Tokenleştirme • Normalizasyon      │
│   Gömülü Kaynaklar (include_str!)    │
└──────────────────────────────────────┘

Detaylı tasarım dokümantasyonu için ARCHITECTURE.md dosyasına bakın.

Hızlı Başlangıç

Kurulum

pip install durak-nlp

Minimal İşlem Hattı (Pipeline)

from durak import process_text

entries = [
    "Türkiye'de NLP zor. Durak kolaylaştırır.",
    "Ankara ' da kaldım.",
]

tokens = [
    process_text(
        entry,
        remove_stopwords=True,
        rejoin_suffixes=True,  # filtrelemeden önce ayrık ekleri birleştirir
    )
    for entry in entries
]

print(tokens[0])
# ["türkiye'de", "nlp", "zor", ".", "durak", "kolaylaştırır", "."]

print(tokens[1])
# ["ankara'da", "kaldım", "."]

İşlem hattı sırasıyla şunları gerçekleştirir: temizleme → tokenleştirme → ayrık ekleri birleştirme → durdurma kelimelerini (stopwords) kaldırma

Modüler Yapı Taşları

from durak import (
    StopwordManager,
    attach_detached_suffixes,
    clean_text,
    remove_stopwords,
    tokenize,
)

text = "İstanbul ' a vapurla geçtik."
cleaned = clean_text(text)
tokens = tokenize(cleaned)
tokens = attach_detached_suffixes(tokens)

# Özel durdurma kelimesi yönetimi
manager = StopwordManager(additions=["vapurla"], keep=["istanbul'a"])
filtered = remove_stopwords(tokens, manager=manager)

print(filtered)
# ["istanbul'a", "geçtik", "."]

Rust Çekirdeğine Erişim

from durak import _durak_core

# Yüksek performanslı fonksiyonlar (Python'dan 5-10 kat daha hızlı)
normalized = _durak_core.fast_normalize("İSTANBUL")  # "istanbul"
tokens = _durak_core.tokenize_with_offsets("Merhaba dünya!")

# Gömülü kaynaklar (dosya G/Ç yok!)
stopwords = _durak_core.get_stopwords_base()  # 100-1000 kat daha hızlı yükleme
suffixes = _durak_core.get_detached_suffixes()

Özellikler

  • Unicode uyumlu temizleme: Türkçeye özgü normalizasyon (İ/ı, I/i yönetimi)
  • Yapılandırılabilir durdurma kelimesi yönetimi: Tutulacak listeler, özel eklemeler, alana özgü kümeler
  • Regex tabanlı tokenleştirici: Türkçe morfolojisini korur (ekler, kesme işaretleri)
  • Ofset takibi: NER ve span görevleri için karakter hassasiyetinde konumlandırma
  • Gömülü kaynaklar: Dosya G/Ç işlemi gerektirmez, doğrudan ikili dosyaya derlenir
  • Tip güvenli: IDE desteği ve statik analiz için tam .pyi taslakları
  • Kademeli kök bulma (lemmatization): Sözlük araması + performans metrikleriyle sezgisel yedekleme

Kök Bulma (Lemmatization)

Durak, üç stratejiye sahip yüksek performanslı bir kök bulucu sunar:

from durak import Lemmatizer

# Strateji seçenekleri: "lookup", "heuristic", "hybrid"
lemmatizer = Lemmatizer(strategy="hybrid")

lemmatizer("kitaplar")    # "kitap"
lemmatizer("geliyorum")   # "gel"
lemmatizer("evlerimde")   # "ev"

Stratejiler

  • lookup: Sadece sözlük (en hızlı, yüksek doğruluk, OOV kelimelerde başarısız)
  • heuristic: Ek çıkarma (OOV kelimeleri işler, bazen fazla kırpabilir)
  • hybrid: Önce sözlükte ara, başarısız olursa sezgisel yönteme geç (önerilen)

Performans Metrikleri

Kök bulma davranışını analiz etmek için metrikleri etkinleştirin:

lemmatizer = Lemmatizer(strategy="hybrid", collect_metrics=True)

for word in large_corpus:
    lemma = lemmatizer(word)

print(lemmatizer.get_metrics())
# Lemmatizer Metrikleri:
#   Toplam Çağrı: 10,000
#   Sözlük İsabeti: 7,234 (%72.3)
#   Sezgisel Yedekleme: 2,766
#   Ort. Çağrı Süresi: 0.042ms
#   Sözlük Süresi: 0.038s
#   Sezgisel Süre: 0.004s

Metrikler şunları içerir:

  • Çağrı sayıları (sözlük isabet/başarısızlık, sezgisel yedekleme)
  • Zamanlama dökümü (strateji başına gecikme)
  • Önbellek isabet oranı
  • Ortalama çağrı süresi

Kullanım alanları:

  • Kendi veri kümenizde stratejileri karşılaştırma
  • Kök bulma sorunlarını ayıklama
  • Üretim hatlarını optimize etme
  • Araştırma performansı raporlama

Strateji karşılaştırma örnekleri için examples/lemmatizer_metrics.py dosyasına bakın.

Kök Doğrulama

Sezgisel kaliteyi kök doğrulama ile kontrol edin:

lemmatizer = Lemmatizer(
    strategy="hybrid",
    validate_roots=True,        # Doğrulamayı etkinleştir
    strict_validation=True,     # Köklerin sözlükte olmasını zorunlu tut
    min_root_length=3,          # Minimum 3 karakter
)

lemmatizer("kitaplardan")  # Sadece kök ≥3 karakterse ve geçerliyse kırpar

Geliştirme Kurulumu

Kaynaktan Derleme

# Depoyu klonlayın
git clone https://github.com/fbkaragoz/durak.git
cd durak

# Sanal ortam oluşturun
python -m venv .venv
source .venv/bin/activate  # Windows'ta: .venv\Scripts\activate

# Rust'ı kurun (yüklü değilse)
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

# Rust eklentisi ile derleyin ve kurun
pip install maturin
maturin develop  # veya optimize edilmiş derleme için: maturin develop --release

# Geliştirme bağımlılıklarını kurun
pip install -e .[dev]

Testleri Çalıştırma

# Tüm testleri çalıştır
pytest

# Kapsam (coverage) ile
pytest --cov=durak --cov-report=html

# Tip kontrolü
mypy python

# Linting
ruff check .

Proje Yapısı

durak/
├── src/                  # Rust kaynağı (motor)
│   └── lib.rs
├── python/               # Python kaynağı (arayüz)
│   └── durak/
├── resources/            # Statik veri dosyaları
│   └── tr/               # Türkçe kaynaklar
├── tests/                # Entegrasyon testleri
├── benchmarks/           # Performans kıyaslamaları
├── examples/             # Kullanım örnekleri
└── docs/                 # Dokümantasyon

Dokümantasyon

Topluluk & Destek

Konular: turkish-nlp, nlp, rust, pyo3, maturin, tokenization, lemmatization, text-processing

Performans

Rust ile hızlandırılmış fonksiyonlar önemli hız artışları sağlar:

  • Normalizasyon: Saf Python'dan 5-10 kat daha hızlı
  • Tokenleştirme: Ofset takibi ile 3-5 kat daha hızlı
  • Kaynak Yükleme: 100-1000 kat daha hızlı (gömülü, dosya G/Ç yok)
  • Tam İşlem Hattı: Genel olarak 2-4 kat hız artışı

Sisteminizde ölçüm yapmak için python benchmarks/benchmark_rust_vs_python.py komutunu çalıştırın.

Lisans

Durak, Durak Lisansı v1.2 altında dağıtılmaktadır. Ticari veya kurumsal kullanım, yazarın açık yazılı iznini gerektirir.


Ana Sayfa: karagoz.io Depo: github.com/fbkaragoz/durak


Bu dosya veripazari.com.tr topluluğu tarafından Hugging Face altyapısında barındırılmaktadır. Orijinal emeğe saygı gereği lisans, metadata ve kaynak referansları korunmuştur.

Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support