Instructions to use veripazari/Mursit-Large-TR-Retrieval with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- sentence-transformers
How to use veripazari/Mursit-Large-TR-Retrieval with sentence-transformers:
from sentence_transformers import SentenceTransformer model = SentenceTransformer("veripazari/Mursit-Large-TR-Retrieval") sentences = [ "The weather is lovely today.", "It's so sunny outside!", "He drove to the stadium." ] embeddings = model.encode(sentences) similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [3, 3] - Notebooks
- Google Colab
- Kaggle
Not: Bu model orijinal olarak newmindai tarafından geliştirilmiş olup, VeriPazarı tarafından Türk yapay zeka topluluğuna katkı sağlamak amacıyla dokümantasyonu Türkçeye çevrilerek arşivlenmiştir.
🔗 Orijinal Kaynak: newmindai/Mursit-Large-TR-Retrieval 🔗 Derleyen Platform: VeriPazarı
Mursit-Large-TR-Retrieval
Model Açıklaması
Mursit-Large-TR-Retrieval, tamamen Türkçe ağırlıklı veri setleri üzerinde sıfırdan ön eğitilmiş ve bilgi getirme (retrieval) görevleri için ince ayar yapılmış, büyük ölçekli bir Türkçe gömme (embedding) modelidir. ModernBERT-large mimarisini (403M parametre) temel alan model, özellikle Türk hukuk alanı uygulamaları için optimize edilmiştir. 56.87 MTEB Skoru ve 46.56 Hukuk Skoru ile Türkçe bilgi getirme kıyaslamalarında güçlü bir performans sergileyerek en iyi Türkçe gömme modelleri arasında yer almaktadır.
Temel Özellikler:
- Yaklaşık 112.7 milyar Türkçe ağırlıklı token üzerinde sıfırdan ön eğitim
- MS MARCO-TR veri seti üzerinde karşılaştırmalı öğrenme (contrastive learning) kullanılarak gömme görevleri için sonradan eğitilmiştir (post-trained)
- Türkçe hukuk alanı bilgi getirme kıyaslamalarında güçlü performans
- Hukuki belgeler üzerinde eğitilmiş özel bir belirteçleyici (tokenizer) ile hukuk alanı için optimize edilmiştir
Model Tipi: Gömme (Embedding)
Parametre Sayısı: 403M
Temel Model: newmindai/Mursit-Large
Mimari: ModernBERT-large
Gömme Boyutu: 1,024
Maksimum Dizi Uzunluğu: 2,048 token
Mimari Detaylar
Model, ModernBERT-large mimarisini temel alır:
- Dikkat Mekanizması: Değişimli yerel ve küresel dikkat (alternating local and global attention)
- Normalizasyon: RMSNorm ile katman öncesi normalizasyon
- Aktivasyon: MLP katmanlarında GeGLU (GELU ile Gated Linear Units)
- Konum Gömme: θ=20,000 ile Rotary konumsal gömmeler (RoPE)
- Bağlam Uzunluğu: 2,048 token
- Katmanlar: 28 transformer katmanı
- Gizli Boyut: 1,024
- FFN Boyutu: 2,624
- Dikkat Başlıkları: Her biri 64 boyutlu 16 başlık
- Pencere Boyutu: 128 (yerel katmanlarda kayan pencere dikkati için)
- Sözlük Boyutu: 59,008 token
Eğitim Detayları
Ön Eğitim:
- Veri Seti: Yaklaşık 112.7 milyar tokenlık Türkçe ağırlıklı külliyat
- Hukuki Kaynaklar:
- Yargıtay: 10.3M dizi, ~3.43B token
- Danıştay: 151K dizi, ~0.11B token
- Akademik tezler (YÖKTEZ): 21.1M dizi, ~9.61B token (DocsOCR işleminden sonra)
- Genel Türkçe Kaynaklar:
- FineWeb2: Genel Türkçe web verisi
- CulturaX: Çok dilli külliyat (Türkçe alt kümesi)
- Toplam genel Türkçe: 212M dizi, ~96.17B token
- Veri İşleme: SemHash tabanlı anlamsal tekilleştirme, FineWeb kalite filtrelemesi, URL tabanlı filtreleme, YÖKTEZ belgeleri için sayfa paketleme
- Hukuki Kaynaklar:
- Eğitim Yöntemi: %15 maskeleme olasılığı ile Maskelenmiş Dil Modelleme (MLM)
- Maskeleme Stratejisi: %80 [MASK], %10 rastgele token, %10 değişmeden bırakılan (80-10-10 stratejisi)
- Çerçeve: Decoupled StableAdamW optimize edici ile MosaicML Composer
- Öğrenme Oranı: warmup_stable_decay programı ile 8×10⁻⁴
- Hassasiyet: BF16 karma hassasiyet
- Donanım Altyapısı:
- Sistem: Barcelona Süper Bilgisayar Merkezi'nde (BSC) MareNostrum 5 ACC bölümü
- Hesaplama Düğümleri: 32 düğüm
- GPU'lar: 128× NVIDIA Hopper H100 64GB GPU (düğüm başına 4 GPU)
- Düğüm Yapılandırması: Her düğüm 4× H100 GPU, 80 CPU çekirdeği, 512GB DDR5 bellek ile donatılmıştır
- Ara Bağlantı: Dağıtık eğitim için 800 Gb/s InfiniBand
- GPU Ara Bağlantısı: Düğüm içi GPU iletişimi için NVLink (düğüm başına 4 GPU NVLink ile bağlıdır)
- Dağıtık Eğitim: InfiniBand ara bağlantısı ile 32 düğüm üzerinden çok düğümlü dağıtık eğitim
Gömme İçin Sonradan Eğitim (Post-training):
- Veri Seti: MS MARCO-TR (920,106 üçlü)
- Kayıp Fonksiyonu: BGE-M3 rehber modeli (568M parametre, 1024 boyutlu gömmeler) ile CachedGISTEmbedLoss
- Eğitim Çerçevesi: Sentence Transformers
- Optimizasyon: Türkçe pasaj sıralama veri setinde karşılaştırmalı öğrenme
- Donanım: 4× H100 GPU (tek düğüm, NVLink ara bağlantısı)
- Optimize Edici: AdamW (öğrenme oranı: 2×10⁻⁵, ağırlık azalması: 0.01)
MTEB-Türkçe Kıyaslamasında Performans
Aşağıdaki görselleştirme, modelin diğer Türkçe dil modellerine kıyasla performansını göstermektedir:
Model Performans Karşılaştırması: Hukuk Skoru vs. MTEB Skoru. Gömme modelleri (yeşil üçgenler), MLM modellerine kıyasla üstün performans göstermektedir. Mursit-Large-TR-Retrieval, 56.87 MTEB Skoru ve 46.56 Hukuk Skoru ile en iyi Türkçe gömme modelleri arasında yer almaktadır.
Bu model, 5 görev türünde 17 görevi içeren kapsamlı MTEB-Türkçe kıyaslamasında değerlendirilmiştir. Kıyaslama, modelleri genel Türkçe NLP görevlerinin yanı sıra alana özgü hukuki bilgi getirme görevlerinde de değerlendirir.
Kapsamlı Kıyaslama Sonuçları
Aşağıdaki tablo, MTEB-Türkçe kıyaslamasında değerlendirilen tüm modellerin kapsamlı sonuçlarını sunmaktadır. Bu modelin sonuçları italik olarak vurgulanmıştır.
| Model | MTEB | Hukuk | Sınıf. | Küme. | Çift | Getir. | STS | Sözleş. | Düzen. | Dava | Param. | Tip |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| embeddinggemma-300m | 65.42 | 50.63 | 77.74 | 45.05 | 80.02 | 55.06 | 69.22 | 83.97 | 39.56 | 28.38 | 307M | Emb. |
| bge-m3 | 62.87 | 51.16 | 75.35 | 35.86 | 78.88 | 54.42 | 69.83 | 86.08 | 38.09 | 29.3 | 567M | Emb. |
| Mursit-Embed-Qwen3-1.7B-TR | 56.84 | 34.76 | 68.46 | 42.22 | 59.67 | 50.1 | 63.77 | 70.22 | 17.94 | 16.11 | 1.7B | CLM-E. |
| Mursit-Large-TR-Retrieval | 56.87 | 46.56 | 67.72 | 41.15 | 59.78 | 51.69 | 64.01 | 81.78 | 32.67 | 25.24 | 403M | Emb. |
| Mursit-Base-TR-Retrieval | 55.86 | 47.52 | 66.25 | 39.75 | 61.31 | 50.07 | 61.9 | 80.4 | 34.1 | 28.07 | 155M | Emb. |
| Mursit-Embed-Qwen3-4B-TR | 53.65 | 37.0 | 67.29 | 36.68 | 58.36 | 51.12 | 54.77 | 69.25 | 24.21 | 17.56 | 4B | CLM-E. |
| ------- | ------ | ------- | ------ | ------ | ------ | ------ | ----- | ------- | ------ | ------ | -------- | ------ |
| bert-base-turkish-uncased | 46.23 | 24.94 | 68.05 | 33.81 | 60.44 | 32.01 | 36.85 | 52.47 | 12.05 | 10.29 | 110M | MLM |
| turkish-large-bert-cased | 45.3 | 19.12 | 67.43 | 34.24 | 60.11 | 28.68 | 36.04 | 47.57 | 5.93 | 3.85 | 337M | MLM |
| bert-base-turkish-cased | 45.17 | 24.41 | 66.39 | 35.28 | 60.05 | 30.52 | 33.62 | 54.03 | 10.13 | 9.07 | 110M | MLM |
| BERTurk-Legal | 42.02 | 32.63 | 60.61 | 26.24 | 59.51 | 25.8 | 37.94 | 61.4 | 15.51 | 20.99 | 184M | MLM |
| Mursit-Large | 41.75 | 23.71 | 62.95 | 25.34 | 58.04 | 27.4 | 35.01 | 42.74 | 11.29 | 17.1 | 403M | MLM |
| turkish-base-bert-uncased | 44.68 | 27.58 | 66.22 | 30.23 | 58.84 | 31.4 | 36.74 | 56.6 | 13.39 | 12.74 | 110M | MLM |
| Mursit-Base | 40.23 | 17.93 | 59.78 | 25.48 | 58.65 | 20.82 | 36.45 | 36.0 | 7.4 | 10.4 | 155M | MLM |
| mmBERT-base | 39.65 | 12.15 | 61.84 | 26.77 | 59.25 | 15.83 | 34.56 | 34.45 | 1.33 | 0.68 | 306M | MLM |
| TabiBERT | 37.77 | 11.5 | 59.63 | 25.75 | 58.19 | 14.96 | 30.32 | 32.02 | 1.86 | 0.63 | 148M | MLM |
| ModernBERT-base | 23.8 | 2.99 | 39.06 | 2.01 | 53.95 | 2.1 | 21.91 | 7.92 | 0.62 | 0.43 | 149M | MLM |
| ModernBERT-large | 23.74 | 2.44 | 39.44 | 3.9 | 53.73 | 1.8 | 19.85 | 6.12 | 0.62 | 0.59 | 394M | MLM |
Sütun kısaltmaları: MTEB = görev türleri genelinde ortalama performans; Hukuk = Sözleşmeler, Düzenlemeler ve İçtihatların ağırlıklı ortalaması; Sınıflandırma = Türkçe sınıflandırma görevlerinde doğruluk; Kümeleme = kümeleme görevlerinde V-ölçüsü; Çift Sınıflandırma = NLI gibi çift sınıflandırma görevlerinde ortalama hassasiyet; Bilgi Getirme = bilgi getirme görevlerinde nDCG@10; Anlamsal Metinsel Benzerlik = Spearman korelasyonu; Sözleşmeler = hukuki sözleşme getirmede nDCG@10; Düzenlemeler = düzenleyici metin getirmede nDCG@10; İçtihat = içtihat getirmede nDCG@10; Parametre Sayısı = model parametre sayısı; Model Tipi = model tipi (Gömme, CLM-Gömme, Maskelenmiş Dil Modeli). Kalın değerler her sütundaki en yüksek skoru gösterir.
Temel Bulgular:
- Model, 56.87 MTEB Skoru ve 46.56 Hukuk Skoru ile güçlü bir performans sergileyerek en iyi Türkçe gömme modelleri arasında yer almaktadır
- Sözleşme getirme görevindeki güçlü performans (81.78 nDCG@10), hukuki belge arama için etkinliğini kanıtlamaktadır
- MS MARCO-TR üzerinde yapılan sonradan eğitim, temel MLM modellerine kıyasla bilgi getirme yeteneklerini önemli ölçüde artırmaktadır
Sonradan Eğitim Performans Analizi
Aşağıdaki görselleştirme, sonradan eğitimin bilgi getirme performansı üzerindeki etkisini göstermektedir:
Sonradan Eğitim Bilgi Getirme Performansı Karşılaştırması. Sonradan eğitilmiş modeller (Mursit-Base-TR-Retrieval ve Mursit-Large-TR-Retrieval), temel MLM modellerine kıyasla hukuk alanı bilgi getirme görevlerinde önemli iyileşmeler göstermektedir.
Yeniden Üretilebilirlik
Bu modelin kıyaslama sonuçlarını ve eğitim prosedürlerini yeniden üretmek için lütfen şunlara başvurun:
- Sonradan Eğitim: github.com/newmindai/mecellem-models/training/post-training-retrieval - MS MARCO-TR veri setinde sonradan eğitilen bilgi getirme modelleri için kod ve yapılandırmaları içerir.
- Gömme Kıyaslama Sonuçları: github.com/newmindai/mecellem-models/benchmark/embedding_model - MTEB-Türkçe kıyaslama sonuçlarını yeniden üretmek için kod ve değerlendirme yapılandırmalarını içerir.
Kullanım
Kurulum
pip install sentence-transformers
Temel Kullanım
from sentence_transformers import SentenceTransformer
# Modeli yükle
model = SentenceTransformer("newmindai/Mursit-Large-TR-Retrieval")
# Cümleleri kodla
sentences = [
"Türk hukuk sistemi medeni hukuk geleneğine dayanır",
"Anayasa Türkiye Cumhuriyeti'nin temel hukuk belgesidir"
]
embeddings = model.encode(sentences)
print(embeddings.shape) # (2, 1024)
Bilgi Getirme (Information Retrieval)
from sentence_transformers import SentenceTransformer, util
model = SentenceTransformer("newmindai/Mursit-Large-TR-Retrieval")
query = "Sözleşme feshi nasıl yapılır?"
documents = [
"Sözleşmeler yazılı olarak feshedilebilir.",
"İş kanunu çalışma koşullarını düzenler."
]
query_embedding = model.encode(query, convert_to_tensor=True)
doc_embeddings = model.encode(documents, convert_to_tensor=True)
scores = util.cos_sim(query_embedding, doc_embeddings)[0]
results = [(doc, score.item()) for doc, score in zip(documents, scores)]
results.sort(key=lambda x: x[1], reverse=True)
for doc, score in results:
print(f"Skor: {score:.4f} - {doc}")
ONNX Model Çıkarımı
Bu betik, metin gömme üretimi için Hugging Face'teki ONNX modelinin nasıl kullanılacağını göstermektedir.
Modeli ONNX Formatına Aktarma
Modeli ONNX formatına aktarmak için optimum-cli komutunu kullanın:
optimum-cli export onnx \
-m newmindai/Mursit-Large-TR-Retrieval \
--task feature-extraction \
onnx/MursitLargeTRRetrieval
Bu işlem, belirtilen çıktı dizininde model.onnx dosyasını oluşturacaktır.
Kurulum
pip install onnxruntime-gpu transformers huggingface_hub numpy
Kullanım
import onnxruntime as ort
from transformers import AutoTokenizer
from huggingface_hub import hf_hub_download
import numpy as np
model_id = "newmindai/Mursit-Large-TR-Retrieval"
# Belirteçleyiciyi yükle ve ONNX modelini Hugging Face'ten indir
tokenizer = AutoTokenizer.from_pretrained(model_id)
onnx_path = hf_hub_download(repo_id=model_id, filename="model.onnx")
# Varsa GPU kullan, yoksa CPU'ya dön
providers = ["CUDAExecutionProvider", "CPUExecutionProvider"] if "CUDAExecutionProvider" in ort.get_available_providers() else ["CPUExecutionProvider"]
sess = ort.InferenceSession(onnx_path, providers=providers)
texts = ["Bu bir testtir"]
inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="np")
outputs = sess.run(None, {
"input_ids": inputs["input_ids"].astype(np.int64),
"attention_mask": inputs["attention_mask"].astype(np.int64),
})
embeddings = outputs[-1] # cümle gömme genellikle son çıktıdır
print(embeddings.shape)
print(embeddings[:1])
Özellikler
- Otomatik GPU/CPU seçimi: Varsa CUDA kullanır, aksi takdirde CPU'ya döner
- Hugging Face entegrasyonu: Model dosyalarını doğrudan Hugging Face Hub'dan indirir
- Basit API: Metin gömme üretimi için kullanımı kolay arayüz
Kullanım Durumları
- Türkçe hukuki belgelerde anlamsal arama
- Hukuki belge getirme ve sıralama
- Sözleşme benzerliği ve eşleştirme
- Mevzuat uyumluluk denetimi
- İçtihat araştırması ve keşfi
- Hukuk alanı için soru-cevap sistemleri
Teşekkür
Bu çalışma, İspanya'daki Barcelona Süper Bilgisayar Merkezi (BSC) tarafından barındırılan MareNostrum 5 süper bilgisayarına erişim sağlayan etur46 projesi aracılığıyla EuroHPC Ortak Girişimi tarafından desteklenmiştir. MareNostrum 5, EuroHPC JU'ya aittir ve BSC tarafından işletilmektedir. Proje boyunca iş planlama, ortam yapılandırması ve teknik rehberlik konusundaki yardımları için BSC destek ekibine minnettarız.
Bu çalışmada rapor edilen sayısal hesaplamalar, TÜBİTAK ULAKBİM, Yüksek Başarımlı ve Izgara Hesaplama Merkezi'nde (TRUBA kaynakları) tamamen/kısmen gerçekleştirilmiştir. Yazarlar, HPC-AI entegrasyonunda uzman rehberliği ve iş birliği fırsatları için MINERVA Desteği tarafından sağlanan bilgi birikimi için teşekkür ederler.
Referanslar
Bu modeli kullanırsanız, lütfen makalemizi alıntılayın:
@article{mecellem2026,
title={Mecellem Models: Turkish Models Trained from Scratch and Continually Pre-trained for the Legal Domain},
author={Uğur, Özgür and Göksu, Mahmut and Çimen, Mahmut and Yılmaz, Musa and Şavirdi, Esra and Demir, Alp Talha and Güllüce, Rumeysa and Çetin, İclal and Sağbaş, Ömer Can},
journal={arXiv preprint arXiv:2601.16018},
year={2026},
month={January},
url={https://arxiv.org/abs/2601.16018},
doi={10.48550/arXiv.2601.16018},
eprint={2601.16018},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Temel Model Referansları
@inproceedings{modernbert2025,
title={ModernBERT: A Modern Bidirectional Encoder Transformer},
author={Answer.AI and LightOn},
booktitle={Proceedings of the 2025 Conference on Language Models},
year={2025}
}
@misc{bge-m3,
title={BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation},
author={Chen, Jianlv and Xiao, Shitao and Zhang, Peitian and Luo, Kun and Lian, Defu and Liu, Zheng},
year={2024},
eprint={2402.03216},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Bu dosya veripazari.com.tr topluluğu tarafından Hugging Face altyapısında barındırılmaktadır. Orijinal emeğe saygı gereği lisans, metadata ve kaynak referansları korunmuştur.
- Downloads last month
- 23
Model tree for veripazari/Mursit-Large-TR-Retrieval
Base model
newmindai/Mursit-Large
