Not: Bu model orijinal olarak newmindai tarafından geliştirilmiş olup, VeriPazarı tarafından Türk yapay zeka topluluğuna katkı sağlamak amacıyla dokümantasyonu Türkçeye çevrilerek arşivlenmiştir.

🔗 Orijinal Kaynak: newmindai/Mursit-Large-TR-Retrieval 🔗 Derleyen Platform: VeriPazarı

Mursit-Large-TR-Retrieval

GitHub HuggingFace Space License

Model Açıklaması

Mursit-Large-TR-Retrieval, tamamen Türkçe ağırlıklı veri setleri üzerinde sıfırdan ön eğitilmiş ve bilgi getirme (retrieval) görevleri için ince ayar yapılmış, büyük ölçekli bir Türkçe gömme (embedding) modelidir. ModernBERT-large mimarisini (403M parametre) temel alan model, özellikle Türk hukuk alanı uygulamaları için optimize edilmiştir. 56.87 MTEB Skoru ve 46.56 Hukuk Skoru ile Türkçe bilgi getirme kıyaslamalarında güçlü bir performans sergileyerek en iyi Türkçe gömme modelleri arasında yer almaktadır.

Temel Özellikler:

  • Yaklaşık 112.7 milyar Türkçe ağırlıklı token üzerinde sıfırdan ön eğitim
  • MS MARCO-TR veri seti üzerinde karşılaştırmalı öğrenme (contrastive learning) kullanılarak gömme görevleri için sonradan eğitilmiştir (post-trained)
  • Türkçe hukuk alanı bilgi getirme kıyaslamalarında güçlü performans
  • Hukuki belgeler üzerinde eğitilmiş özel bir belirteçleyici (tokenizer) ile hukuk alanı için optimize edilmiştir

Model Tipi: Gömme (Embedding)
Parametre Sayısı: 403M
Temel Model: newmindai/Mursit-Large
Mimari: ModernBERT-large
Gömme Boyutu: 1,024
Maksimum Dizi Uzunluğu: 2,048 token

Mimari Detaylar

Model, ModernBERT-large mimarisini temel alır:

  • Dikkat Mekanizması: Değişimli yerel ve küresel dikkat (alternating local and global attention)
  • Normalizasyon: RMSNorm ile katman öncesi normalizasyon
  • Aktivasyon: MLP katmanlarında GeGLU (GELU ile Gated Linear Units)
  • Konum Gömme: θ=20,000 ile Rotary konumsal gömmeler (RoPE)
  • Bağlam Uzunluğu: 2,048 token
  • Katmanlar: 28 transformer katmanı
  • Gizli Boyut: 1,024
  • FFN Boyutu: 2,624
  • Dikkat Başlıkları: Her biri 64 boyutlu 16 başlık
  • Pencere Boyutu: 128 (yerel katmanlarda kayan pencere dikkati için)
  • Sözlük Boyutu: 59,008 token

Eğitim Detayları

Ön Eğitim:

  • Veri Seti: Yaklaşık 112.7 milyar tokenlık Türkçe ağırlıklı külliyat
    • Hukuki Kaynaklar:
      • Yargıtay: 10.3M dizi, ~3.43B token
      • Danıştay: 151K dizi, ~0.11B token
      • Akademik tezler (YÖKTEZ): 21.1M dizi, ~9.61B token (DocsOCR işleminden sonra)
    • Genel Türkçe Kaynaklar:
      • FineWeb2: Genel Türkçe web verisi
      • CulturaX: Çok dilli külliyat (Türkçe alt kümesi)
      • Toplam genel Türkçe: 212M dizi, ~96.17B token
    • Veri İşleme: SemHash tabanlı anlamsal tekilleştirme, FineWeb kalite filtrelemesi, URL tabanlı filtreleme, YÖKTEZ belgeleri için sayfa paketleme
  • Eğitim Yöntemi: %15 maskeleme olasılığı ile Maskelenmiş Dil Modelleme (MLM)
  • Maskeleme Stratejisi: %80 [MASK], %10 rastgele token, %10 değişmeden bırakılan (80-10-10 stratejisi)
  • Çerçeve: Decoupled StableAdamW optimize edici ile MosaicML Composer
  • Öğrenme Oranı: warmup_stable_decay programı ile 8×10⁻⁴
  • Hassasiyet: BF16 karma hassasiyet
  • Donanım Altyapısı:
    • Sistem: Barcelona Süper Bilgisayar Merkezi'nde (BSC) MareNostrum 5 ACC bölümü
    • Hesaplama Düğümleri: 32 düğüm
    • GPU'lar: 128× NVIDIA Hopper H100 64GB GPU (düğüm başına 4 GPU)
    • Düğüm Yapılandırması: Her düğüm 4× H100 GPU, 80 CPU çekirdeği, 512GB DDR5 bellek ile donatılmıştır
    • Ara Bağlantı: Dağıtık eğitim için 800 Gb/s InfiniBand
    • GPU Ara Bağlantısı: Düğüm içi GPU iletişimi için NVLink (düğüm başına 4 GPU NVLink ile bağlıdır)
    • Dağıtık Eğitim: InfiniBand ara bağlantısı ile 32 düğüm üzerinden çok düğümlü dağıtık eğitim

Gömme İçin Sonradan Eğitim (Post-training):

  • Veri Seti: MS MARCO-TR (920,106 üçlü)
  • Kayıp Fonksiyonu: BGE-M3 rehber modeli (568M parametre, 1024 boyutlu gömmeler) ile CachedGISTEmbedLoss
  • Eğitim Çerçevesi: Sentence Transformers
  • Optimizasyon: Türkçe pasaj sıralama veri setinde karşılaştırmalı öğrenme
  • Donanım: 4× H100 GPU (tek düğüm, NVLink ara bağlantısı)
  • Optimize Edici: AdamW (öğrenme oranı: 2×10⁻⁵, ağırlık azalması: 0.01)

MTEB-Türkçe Kıyaslamasında Performans

Aşağıdaki görselleştirme, modelin diğer Türkçe dil modellerine kıyasla performansını göstermektedir:

Model Performans Karşılaştırması

Model Performans Karşılaştırması: Hukuk Skoru vs. MTEB Skoru. Gömme modelleri (yeşil üçgenler), MLM modellerine kıyasla üstün performans göstermektedir. Mursit-Large-TR-Retrieval, 56.87 MTEB Skoru ve 46.56 Hukuk Skoru ile en iyi Türkçe gömme modelleri arasında yer almaktadır.

Bu model, 5 görev türünde 17 görevi içeren kapsamlı MTEB-Türkçe kıyaslamasında değerlendirilmiştir. Kıyaslama, modelleri genel Türkçe NLP görevlerinin yanı sıra alana özgü hukuki bilgi getirme görevlerinde de değerlendirir.

Kapsamlı Kıyaslama Sonuçları

Aşağıdaki tablo, MTEB-Türkçe kıyaslamasında değerlendirilen tüm modellerin kapsamlı sonuçlarını sunmaktadır. Bu modelin sonuçları italik olarak vurgulanmıştır.

Model MTEB Hukuk Sınıf. Küme. Çift Getir. STS Sözleş. Düzen. Dava Param. Tip
embeddinggemma-300m 65.42 50.63 77.74 45.05 80.02 55.06 69.22 83.97 39.56 28.38 307M Emb.
bge-m3 62.87 51.16 75.35 35.86 78.88 54.42 69.83 86.08 38.09 29.3 567M Emb.
Mursit-Embed-Qwen3-1.7B-TR 56.84 34.76 68.46 42.22 59.67 50.1 63.77 70.22 17.94 16.11 1.7B CLM-E.
Mursit-Large-TR-Retrieval 56.87 46.56 67.72 41.15 59.78 51.69 64.01 81.78 32.67 25.24 403M Emb.
Mursit-Base-TR-Retrieval 55.86 47.52 66.25 39.75 61.31 50.07 61.9 80.4 34.1 28.07 155M Emb.
Mursit-Embed-Qwen3-4B-TR 53.65 37.0 67.29 36.68 58.36 51.12 54.77 69.25 24.21 17.56 4B CLM-E.
------- ------ ------- ------ ------ ------ ------ ----- ------- ------ ------ -------- ------
bert-base-turkish-uncased 46.23 24.94 68.05 33.81 60.44 32.01 36.85 52.47 12.05 10.29 110M MLM
turkish-large-bert-cased 45.3 19.12 67.43 34.24 60.11 28.68 36.04 47.57 5.93 3.85 337M MLM
bert-base-turkish-cased 45.17 24.41 66.39 35.28 60.05 30.52 33.62 54.03 10.13 9.07 110M MLM
BERTurk-Legal 42.02 32.63 60.61 26.24 59.51 25.8 37.94 61.4 15.51 20.99 184M MLM
Mursit-Large 41.75 23.71 62.95 25.34 58.04 27.4 35.01 42.74 11.29 17.1 403M MLM
turkish-base-bert-uncased 44.68 27.58 66.22 30.23 58.84 31.4 36.74 56.6 13.39 12.74 110M MLM
Mursit-Base 40.23 17.93 59.78 25.48 58.65 20.82 36.45 36.0 7.4 10.4 155M MLM
mmBERT-base 39.65 12.15 61.84 26.77 59.25 15.83 34.56 34.45 1.33 0.68 306M MLM
TabiBERT 37.77 11.5 59.63 25.75 58.19 14.96 30.32 32.02 1.86 0.63 148M MLM
ModernBERT-base 23.8 2.99 39.06 2.01 53.95 2.1 21.91 7.92 0.62 0.43 149M MLM
ModernBERT-large 23.74 2.44 39.44 3.9 53.73 1.8 19.85 6.12 0.62 0.59 394M MLM

Sütun kısaltmaları: MTEB = görev türleri genelinde ortalama performans; Hukuk = Sözleşmeler, Düzenlemeler ve İçtihatların ağırlıklı ortalaması; Sınıflandırma = Türkçe sınıflandırma görevlerinde doğruluk; Kümeleme = kümeleme görevlerinde V-ölçüsü; Çift Sınıflandırma = NLI gibi çift sınıflandırma görevlerinde ortalama hassasiyet; Bilgi Getirme = bilgi getirme görevlerinde nDCG@10; Anlamsal Metinsel Benzerlik = Spearman korelasyonu; Sözleşmeler = hukuki sözleşme getirmede nDCG@10; Düzenlemeler = düzenleyici metin getirmede nDCG@10; İçtihat = içtihat getirmede nDCG@10; Parametre Sayısı = model parametre sayısı; Model Tipi = model tipi (Gömme, CLM-Gömme, Maskelenmiş Dil Modeli). Kalın değerler her sütundaki en yüksek skoru gösterir.

Temel Bulgular:

  • Model, 56.87 MTEB Skoru ve 46.56 Hukuk Skoru ile güçlü bir performans sergileyerek en iyi Türkçe gömme modelleri arasında yer almaktadır
  • Sözleşme getirme görevindeki güçlü performans (81.78 nDCG@10), hukuki belge arama için etkinliğini kanıtlamaktadır
  • MS MARCO-TR üzerinde yapılan sonradan eğitim, temel MLM modellerine kıyasla bilgi getirme yeteneklerini önemli ölçüde artırmaktadır

Sonradan Eğitim Performans Analizi

Aşağıdaki görselleştirme, sonradan eğitimin bilgi getirme performansı üzerindeki etkisini göstermektedir:

Sonradan Eğitim Bilgi Getirme Performansı

Sonradan Eğitim Bilgi Getirme Performansı Karşılaştırması. Sonradan eğitilmiş modeller (Mursit-Base-TR-Retrieval ve Mursit-Large-TR-Retrieval), temel MLM modellerine kıyasla hukuk alanı bilgi getirme görevlerinde önemli iyileşmeler göstermektedir.

Yeniden Üretilebilirlik

Bu modelin kıyaslama sonuçlarını ve eğitim prosedürlerini yeniden üretmek için lütfen şunlara başvurun:

Kullanım

Kurulum

pip install sentence-transformers

Temel Kullanım

from sentence_transformers import SentenceTransformer

# Modeli yükle
model = SentenceTransformer("newmindai/Mursit-Large-TR-Retrieval")

# Cümleleri kodla
sentences = [
    "Türk hukuk sistemi medeni hukuk geleneğine dayanır",
    "Anayasa Türkiye Cumhuriyeti'nin temel hukuk belgesidir"
]

embeddings = model.encode(sentences)
print(embeddings.shape)  # (2, 1024)

Bilgi Getirme (Information Retrieval)

from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer("newmindai/Mursit-Large-TR-Retrieval")

query = "Sözleşme feshi nasıl yapılır?"
documents = [
    "Sözleşmeler yazılı olarak feshedilebilir.",
    "İş kanunu çalışma koşullarını düzenler."
]

query_embedding = model.encode(query, convert_to_tensor=True)
doc_embeddings = model.encode(documents, convert_to_tensor=True)
scores = util.cos_sim(query_embedding, doc_embeddings)[0]

results = [(doc, score.item()) for doc, score in zip(documents, scores)]
results.sort(key=lambda x: x[1], reverse=True)

for doc, score in results:
    print(f"Skor: {score:.4f} - {doc}")

ONNX Model Çıkarımı

Bu betik, metin gömme üretimi için Hugging Face'teki ONNX modelinin nasıl kullanılacağını göstermektedir.

Modeli ONNX Formatına Aktarma

Modeli ONNX formatına aktarmak için optimum-cli komutunu kullanın:

optimum-cli export onnx \
  -m newmindai/Mursit-Large-TR-Retrieval \
  --task feature-extraction \
  onnx/MursitLargeTRRetrieval

Bu işlem, belirtilen çıktı dizininde model.onnx dosyasını oluşturacaktır.

Kurulum

pip install onnxruntime-gpu transformers huggingface_hub numpy

Kullanım

import onnxruntime as ort
from transformers import AutoTokenizer
from huggingface_hub import hf_hub_download
import numpy as np

model_id = "newmindai/Mursit-Large-TR-Retrieval"

# Belirteçleyiciyi yükle ve ONNX modelini Hugging Face'ten indir
tokenizer = AutoTokenizer.from_pretrained(model_id)
onnx_path = hf_hub_download(repo_id=model_id, filename="model.onnx")

# Varsa GPU kullan, yoksa CPU'ya dön
providers = ["CUDAExecutionProvider", "CPUExecutionProvider"] if "CUDAExecutionProvider" in ort.get_available_providers() else ["CPUExecutionProvider"]

sess = ort.InferenceSession(onnx_path, providers=providers)

texts = ["Bu bir testtir"]
inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="np")

outputs = sess.run(None, {
    "input_ids": inputs["input_ids"].astype(np.int64),
    "attention_mask": inputs["attention_mask"].astype(np.int64),
})

embeddings = outputs[-1]  # cümle gömme genellikle son çıktıdır
print(embeddings.shape)
print(embeddings[:1])

Özellikler

  • Otomatik GPU/CPU seçimi: Varsa CUDA kullanır, aksi takdirde CPU'ya döner
  • Hugging Face entegrasyonu: Model dosyalarını doğrudan Hugging Face Hub'dan indirir
  • Basit API: Metin gömme üretimi için kullanımı kolay arayüz

Kullanım Durumları

  • Türkçe hukuki belgelerde anlamsal arama
  • Hukuki belge getirme ve sıralama
  • Sözleşme benzerliği ve eşleştirme
  • Mevzuat uyumluluk denetimi
  • İçtihat araştırması ve keşfi
  • Hukuk alanı için soru-cevap sistemleri

Teşekkür

Bu çalışma, İspanya'daki Barcelona Süper Bilgisayar Merkezi (BSC) tarafından barındırılan MareNostrum 5 süper bilgisayarına erişim sağlayan etur46 projesi aracılığıyla EuroHPC Ortak Girişimi tarafından desteklenmiştir. MareNostrum 5, EuroHPC JU'ya aittir ve BSC tarafından işletilmektedir. Proje boyunca iş planlama, ortam yapılandırması ve teknik rehberlik konusundaki yardımları için BSC destek ekibine minnettarız.

Bu çalışmada rapor edilen sayısal hesaplamalar, TÜBİTAK ULAKBİM, Yüksek Başarımlı ve Izgara Hesaplama Merkezi'nde (TRUBA kaynakları) tamamen/kısmen gerçekleştirilmiştir. Yazarlar, HPC-AI entegrasyonunda uzman rehberliği ve iş birliği fırsatları için MINERVA Desteği tarafından sağlanan bilgi birikimi için teşekkür ederler.

Referanslar

Bu modeli kullanırsanız, lütfen makalemizi alıntılayın:

@article{mecellem2026,
  title={Mecellem Models: Turkish Models Trained from Scratch and Continually Pre-trained for the Legal Domain},
  author={Uğur, Özgür and Göksu, Mahmut and Çimen, Mahmut and Yılmaz, Musa and Şavirdi, Esra and Demir, Alp Talha and Güllüce, Rumeysa and Çetin, İclal and Sağbaş, Ömer Can},
  journal={arXiv preprint arXiv:2601.16018},
  year={2026},
  month={January},
  url={https://arxiv.org/abs/2601.16018},
  doi={10.48550/arXiv.2601.16018},
  eprint={2601.16018},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}

Temel Model Referansları

@inproceedings{modernbert2025,
  title={ModernBERT: A Modern Bidirectional Encoder Transformer},
  author={Answer.AI and LightOn},
  booktitle={Proceedings of the 2025 Conference on Language Models},
  year={2025}
}
@misc{bge-m3,
  title={BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation}, 
  author={Chen, Jianlv and Xiao, Shitao and Zhang, Peitian and Luo, Kun and Lian, Defu and Liu, Zheng},
  year={2024},
  eprint={2402.03216},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}

Bu dosya veripazari.com.tr topluluğu tarafından Hugging Face altyapısında barındırılmaktadır. Orijinal emeğe saygı gereği lisans, metadata ve kaynak referansları korunmuştur.

Downloads last month
23
Safetensors
Model size
0.4B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for veripazari/Mursit-Large-TR-Retrieval

Quantized
(2)
this model

Datasets used to train veripazari/Mursit-Large-TR-Retrieval

Papers for veripazari/Mursit-Large-TR-Retrieval