Instructions to use msbayindir/tr-ocr-markdown-deepseek-ocr2-lora-v0.3 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- PEFT
How to use msbayindir/tr-ocr-markdown-deepseek-ocr2-lora-v0.3 with PEFT:
from peft import PeftModel from transformers import AutoModelForCausalLM base_model = AutoModelForCausalLM.from_pretrained("unsloth/DeepSeek-OCR-2") model = PeftModel.from_pretrained(base_model, "msbayindir/tr-ocr-markdown-deepseek-ocr2-lora-v0.3") - Notebooks
- Google Colab
- Kaggle
TR-OCR-Markdown v0.3 — DeepSeek-OCR-2 için Türkçe belge → Markdown LoRA adaptörü
Türkçe basılı belge sayfası görüntüsünü (duyuru, form, sözleşme, tablo, kanun/mevzuat sayfası, kadro cetveli, fatura, fiş, tebligat, dekont, yazışma…) başlık hiyerarşisi, paragraf, liste ve boru tablolarıyla yapılandırılmış Markdown'a çeviren LoRA adaptörü. Taban model unsloth/DeepSeek-OCR-2 (Apache-2.0); adaptör ağırlıklı olarak sentetik, kurmaca Türkçe belgelerle (v0.3: + 18 gerçek taranmış sayfa ve moganai düz metin görevi) eğitildi, gerçek kanun sayfaları, taranmış Resmî Gazete sayfaları ve OCRTurk'ta ölçüldü. Proje: veri üreteci, kalite kontrol, ölçüm araçları, demo ve tam rapor ayrı bir git deposundadır.
Sonuçlar (sabit test kümeleri, eğitimde kullanılmadı)
| Test kümesi | v0.2 (E1) | v0.3 (E3) |
|---|---|---|
| Gerçek kanun sayfaları (born-digital PDF, 55 sayfa) | %4,7 | %4,7 |
| Taranmış Resmî Gazete ilan sayfaları (50 sayfa; etiketler model taslağı + LLM düzeltmesi) | %50,1 | %45,0 |
| OCRTurk (ODTÜ; 165 gerçek sayfa, yalnız ölçüm) | %42,0 | %37,9 |
| test_v03 — fatura, fiş, tebligat, dekont, yazışma + eski türler, %29 kamera bozulması (200 sayfa; sınırlı CER) | — | %1,2 |
| moganai test — fotoğraflanmış fiş/fatura/form/dilekçe, düz metin OCR (300 sayfa) | %42,9 | %18,0 |
CER = karakter hata oranı (düşük iyi). Taranmış ve OCRTurk farkları eşleştirilmiş bootstrap ile anlamlı değildir (−4…−5 pp, %95 aralığı 0'ı içerir); eski gerçek testte tablo hücre doğruluğu %81 → %98. Taranmış daktilo tabloları hâlâ okunamıyor (hücre doğruluğu %2–3). Ölçümlerde v0.3 güvenlik kemerleri açıktır. Ayrıntı: docs/report.md §8.
Bu depodaki metrics/ klasöründe her kümenin ayrıntılı raporu (*_report.json, *_summary.md) ve sürümler arası eşleştirilmiş karşılaştırmalar (compare_*) bulunur.
Kullanım
# transformers==4.57.6, peft==0.20.0 ile doğrulandı (bf16 destekli GPU'da bf16, aksi hâlde fp16)
import torch
from transformers import AutoModel, AutoTokenizer
from peft import PeftModel
BASE, REPO = "unsloth/DeepSeek-OCR-2", "msbayindir/tr-ocr-markdown-deepseek-ocr2-lora-v0.3"
tok = AutoTokenizer.from_pretrained(BASE, trust_remote_code=True)
base = AutoModel.from_pretrained(BASE, trust_remote_code=True, use_safetensors=True, _attn_implementation="eager",
torch_dtype=torch.bfloat16).eval().cuda()
model = PeftModel.from_pretrained(base, REPO).eval()
model = model.merge_and_unload() # isteğe bağlı: 2× hız, çıktı birebir aynı
# Düz metin görevi (fotoğraflanmış fiş/fatura): prompt="<image>\nOCR this image. "
md = model.infer(tok, prompt="<image>\nFree OCR. ", image_file="sayfa.png", output_path="/tmp/out",
base_size=1024, image_size=768, crop_mode=True, save_results=False, test_compress=False, eval_mode=True)
print(md)
Decoding (eğitim ve ölçümle aynı): temperature 0, no_repeat_ngram_size=35, max_new_tokens=2048. Ham çıktıdaki grounding etiketleri için trocr/postprocess.py (proje deposu) kullanılabilir. Çıktı biçimi: output_standard.md (bu depoda).
Model Kartı — TR-OCR-Markdown v0.3 (LoRA adaptörü)
Durum (26.10.2026): v0.3 = E3 (r=16, 1 epoch, v01 + v02 + v03 + 18 gerçek taranmış sayfa + moganai düz metin görevi; Colab A100 bf16). v0.2'ye göre: taranmış Resmî Gazete sayfaları (n=50) CER %50,1 → %45,0, OCRTurk (n=165) %42,0 → %37,9, eski gerçek kanun testi (n=55) %4,7 → %4,7 (tablo hücre %81 → %98), yeni belge türleri (test_v03, n=200) sınırlı CER %1,2, fotoğraflanmış fiş/fatura düz metin OCR (moganai test, n=300) %42,9 → %18,0. Taranmış ve dış kümelerdeki farklar eşleştirilmiş bootstrap ile anlamlı değildir (−4…−5 pp, aralık 0'ı içerir). Ayrıntı:
docs/report.md§8.
Özet
- Tür: Görüntü → metin (belge OCR + Markdown yapılandırma) için LoRA adaptörü; ikinci görev olarak düz metin OCR (ayrı prompt).
- Taban model:
unsloth/DeepSeek-OCR-2(Apache-2.0),deepseek-ai/DeepSeek-OCR-2türevi; 3,5 milyar parametre (DeepEncoder V2 + MoE dil modeli). Revisionenv.jsoniçinde. - Bu adaptör sıfırdan eğitilmiş model değildir; dil modeli projeksiyon katmanlarına (q/k/v/o/gate/up/down) eklenen LoRA ağırlıklarıdır (86 M eğitilebilir parametre, 346 MB). Görüntü kodlayıcıları eğitilmez.
- Görevler: (1)
<image>\nFree OCR.→docs/output_standard.mdbiçiminde Markdown (başlık hiyerarşisi, paragraf, liste, boru tablosu, form alanları; mevzuat kuralları); (2)<image>\nOCR this image.→ düz metin (fotoğraflanmış fiş/fatura/form/dilekçe; moganai görevi). - Dil: Türkçe.
Sürümler
| Adaptör | r / α | Epoch | Eğitim verisi | Gerçek kanun (55) | Taranmış RG (50) | OCRTurk (165) | test_v03 (200) | moganai test (300) |
|---|---|---|---|---|---|---|---|---|
| v0.1 | 16/16 | 1 | v01 (1.995) | %8,2 | — | — | — | — |
| v0.2 (E1) | 16/16 | 1 | v01 + v02 (3.989) | %4,7 | %50,1 | %42,0 | — | %42,9 |
| v0.3 (E3) | 16/16 | 1 | v01 + v02 + v03 + real_train + moganai (9.987) | %4,7 | %45,0 (sınırlı %44,6) | %37,9 (sınırlı %35,8) | %3,9 (sınırlı %1,2) | %18,0 |
| E4 (ablasyon, yayınlanmadı) | 32/32 | 2 | moganai'siz (7.491) | %4,8 | %45,8 | ~%36 (70 sayfa) | — | — |
CER mikro; "sınırlı" = sayfa başına hata en fazla %100. E4: daha büyük adaptör ve iki epoch taranmış sayfalarda kazanç sağlamadı, kaçak üretimi artırdı (%30 → %42); moganai'yi çıkarmak sonucu değiştirmedi. E4'ün adaptörü VM'nin 24 saatlik ömrü dolunca kaybedildi; sayıları results/metrics/E4_eval_* içindedir. Taranmış kümede alt türler (E3): AYM parti denetim kararları (29) %29,2, daktilo dizgili TCMB/Hazine tabloları (19) %60,2 (tablo hücre doğruluğu %2–3: bu tablolar hâlâ okunamıyor), form/metin (2) %4,7.
Eğitim (v0.3)
- Veri:
docs/dataset_card.md— v01 (1.995) + v02 (1.994) + v03 (3.495; fatura, fiş/makbuz, tebligat, dekont, yazışma; %29 kamera bozulması) + real_train (18 taranmış Resmî Gazete sayfası, etiketler model taslağı + LLM düzeltmesi) + moganai (2.496, CC-BY-4.0, düz metin). Doğrulama 48 örnek karışık (yalnız loss). Test kümeleri eğitimde kullanılmaz; real_scan ile real_train farklı RG sayılarından. - Yöntem: Unsloth
FastVisionModel+ PEFT LoRA (dropout 0, seed 3407), bf16, gradient checkpointing,adamw_8bit, lr 1e-4 doğrusal (warmup 10), bs 2 × grad. accum. 4; 1 epoch = 1.249 adım, 12,4 s/adım, 4,3 saat, tepe VRAM 17,7 GB; uzunluk politikası sıra 4.096 / hedef 2.048 token (0 örnek elendi). Doğrulama loss 0,059 → 0,015 (adım 100 → 1.200). Rapor:results/train_v3_E3/. - Örnek başına prompt: her kayıt kendi prompt'unu taşır (
taskalanı: markdown | plain).
Çıkarım ve güvenlik kemerleri
Saf transformers (AutoModel, trust_remote_code=True, bf16) + peft.PeftModel.from_pretrained; merge_and_unload() çıktıyı değiştirmeden 2× hızlandırır (A100'de ~45–70 s/sayfa, CPU-bağlı). Decoding: temperature 0, no_repeat_ngram_size=35, max_new_tokens=2048.
v0.3 ile gelen korumalar (trocr/guards.py, ölçümlerde açık): boş sayfada model çağrılmaz (Otsu mürekkep oranı), seyrek sayfada 512 token sınırı, üretim sırasında döngü durdurucu (periyodik tekrar, düşük çeşitlilik ve bulanık satır tekrarı: son 24 satırın ≥ %60'ı yaklaşık aynıysa durur; tablo satırları hariç), çıktıda tekrar kırpma. Kalibrasyon: 140 temiz sayfada 0 sahte pozitif. Ham çıktı trocr/postprocess.py ile temizlenir ve saklanır.
Birleştirilmiş tam model (scripts/export_merged.py) yeniden yüklendiğinde PEFT yoluyla 0 karakter fark verir; vLLM ile çıkarım bu ortamda doğrulanamadı (rapor §8.8).
Değerlendirme
trocr/evaluate.py + trocr/compare.py (eşleştirilmiş bootstrap). v0.3 ölçüleri: CER/WER, sınırlı CER, uzunluk oranı, erken bitiş ve kaçak üretim payları, token sınırı/döngü oranları, Türkçe karakter yanlış okuma, sayısal alan, tablo hücre (sayısal/metin), başlık/liste F1, okuma sırası τ, blok eşleşme. Kümeler: gerçek kanun (55, born-digital), real_scan (50 taranmış RG sayfası; etiketler v0.2-E1 taslağı + LLM düzeltmesi + örneklem denetimi, veri sahibince doğrulanmadı, E1 lehine çapalama olasılığı), OCRTurk (165; başlık/liste ölçüleri uygulanamaz), test_v03 (200), test_v03 sub100 (85), moganai test (300, düz metin). Sonuçlar results/metrics/, rapor §8.4–8.6.
Kullanım amacı ve sınırlamalar
- Araştırma/demo amaçlı; üretim servisi değildir.
- Kapsam dışı: el yazısı, karmaşık matematik, birleşik hücreli tablolar, 90° döndürülmüş sayfalar, görsel betimleme, çok sayfalı bağlam.
- Taranmış ve fotoğraflanmış belgelerde başarı sınırlıdır: taranmış RG sayfalarında CER %45, daktilo dizgili sayısal tablolar pratikte okunamıyor; OCRTurk'ta %38. Temiz born-digital belgelerde %5 civarı.
- Bilinen zayıflıklar: yoğun sayfada erken bitiş (taranmışta %26), kısmi paragraf tekrarı, nadiren İngilizce halüsinasyon (test_v03'te 1/200, dar fiş görüntüsünde), kenarlıksız tablolarda satır kayması, başlık seviyelerinin standarttan sapması.
- Model özetlemez, düzeltmez, tamamlamaz; halüsinasyon/atlama davranışı tamamen giderilmiş değildir. Çıktılar insan kontrolü olmadan resmî/hukuki işlemde kullanılmamalıdır.
Lisans ve paket
- Adaptör ağırlıkları Apache-2.0 niyetiyle paylaşılır. Eğitim verisinde CC-BY-4.0 (moganai) ve resmî metin (Resmî Gazete, FSEK md. 31) kaynakları vardır; OCRTurk yalnız ölçümde kullanıldı, dağıtılmaz.
- Paket düzeni (
scripts/package_hf.py): kök = E3 adaptörü + bu kart (README.md) +output_standard.md+metrics/+env.json. Önceki sürümler ayrı depolardadır (v0.1, v0.2).
- Downloads last month
- 1
Model tree for msbayindir/tr-ocr-markdown-deepseek-ocr2-lora-v0.3
Collection including msbayindir/tr-ocr-markdown-deepseek-ocr2-lora-v0.3
Evaluation results
- CER (%) on Gerçek kanun sayfaları (born-digital PDF, 55 sayfa)self-reported4.700
- CER (%) on Taranmış Resmî Gazete ilan sayfaları (50 sayfa; etiketler model taslağı + LLM düzeltmesi)self-reported45.000
- CER (%) on OCRTurk (ODTÜ; 165 gerçek sayfa, yalnız ölçüm)self-reported37.900
- CER (%) on test_v03 — fatura, fiş, tebligat, dekont, yazışma + eski türler, %29 kamera bozulması (200 sayfa; sınırlı CER)self-reported1.200
- CER (%) on moganai test — fotoğraflanmış fiş/fatura/form/dilekçe, düz metin OCR (300 sayfa)self-reported18.000