TR-OCR-Markdown v0.3 — DeepSeek-OCR-2 için Türkçe belge → Markdown LoRA adaptörü

Türkçe basılı belge sayfası görüntüsünü (duyuru, form, sözleşme, tablo, kanun/mevzuat sayfası, kadro cetveli, fatura, fiş, tebligat, dekont, yazışma…) başlık hiyerarşisi, paragraf, liste ve boru tablolarıyla yapılandırılmış Markdown'a çeviren LoRA adaptörü. Taban model unsloth/DeepSeek-OCR-2 (Apache-2.0); adaptör ağırlıklı olarak sentetik, kurmaca Türkçe belgelerle (v0.3: + 18 gerçek taranmış sayfa ve moganai düz metin görevi) eğitildi, gerçek kanun sayfaları, taranmış Resmî Gazete sayfaları ve OCRTurk'ta ölçüldü. Proje: veri üreteci, kalite kontrol, ölçüm araçları, demo ve tam rapor ayrı bir git deposundadır.

Sonuçlar (sabit test kümeleri, eğitimde kullanılmadı)

Test kümesi v0.2 (E1) v0.3 (E3)
Gerçek kanun sayfaları (born-digital PDF, 55 sayfa) %4,7 %4,7
Taranmış Resmî Gazete ilan sayfaları (50 sayfa; etiketler model taslağı + LLM düzeltmesi) %50,1 %45,0
OCRTurk (ODTÜ; 165 gerçek sayfa, yalnız ölçüm) %42,0 %37,9
test_v03 — fatura, fiş, tebligat, dekont, yazışma + eski türler, %29 kamera bozulması (200 sayfa; sınırlı CER) — %1,2
moganai test — fotoğraflanmış fiş/fatura/form/dilekçe, düz metin OCR (300 sayfa) %42,9 %18,0

CER = karakter hata oranı (düşük iyi). Taranmış ve OCRTurk farkları eşleştirilmiş bootstrap ile anlamlı değildir (−4…−5 pp, %95 aralığı 0'ı içerir); eski gerçek testte tablo hücre doğruluğu %81 → %98. Taranmış daktilo tabloları hâlâ okunamıyor (hücre doğruluğu %2–3). Ölçümlerde v0.3 güvenlik kemerleri açıktır. Ayrıntı: docs/report.md §8.

Bu depodaki metrics/ klasöründe her kümenin ayrıntılı raporu (*_report.json, *_summary.md) ve sürümler arası eşleştirilmiş karşılaştırmalar (compare_*) bulunur.

Kullanım

# transformers==4.57.6, peft==0.20.0 ile doğrulandı (bf16 destekli GPU'da bf16, aksi hâlde fp16)
import torch
from transformers import AutoModel, AutoTokenizer
from peft import PeftModel

BASE, REPO = "unsloth/DeepSeek-OCR-2", "msbayindir/tr-ocr-markdown-deepseek-ocr2-lora-v0.3"
tok = AutoTokenizer.from_pretrained(BASE, trust_remote_code=True)
base = AutoModel.from_pretrained(BASE, trust_remote_code=True, use_safetensors=True, _attn_implementation="eager",
                                 torch_dtype=torch.bfloat16).eval().cuda()
model = PeftModel.from_pretrained(base, REPO).eval()
model = model.merge_and_unload()   # isteğe bağlı: 2× hız, çıktı birebir aynı
# Düz metin görevi (fotoğraflanmış fiş/fatura): prompt="<image>\nOCR this image. "

md = model.infer(tok, prompt="<image>\nFree OCR. ", image_file="sayfa.png", output_path="/tmp/out",
                 base_size=1024, image_size=768, crop_mode=True, save_results=False, test_compress=False, eval_mode=True)
print(md)

Decoding (eğitim ve ölçümle aynı): temperature 0, no_repeat_ngram_size=35, max_new_tokens=2048. Ham çıktıdaki grounding etiketleri için trocr/postprocess.py (proje deposu) kullanılabilir. Çıktı biçimi: output_standard.md (bu depoda).


Model Kartı — TR-OCR-Markdown v0.3 (LoRA adaptörü)

Durum (26.10.2026): v0.3 = E3 (r=16, 1 epoch, v01 + v02 + v03 + 18 gerçek taranmış sayfa + moganai düz metin görevi; Colab A100 bf16). v0.2'ye göre: taranmış Resmî Gazete sayfaları (n=50) CER %50,1 → %45,0, OCRTurk (n=165) %42,0 → %37,9, eski gerçek kanun testi (n=55) %4,7 → %4,7 (tablo hücre %81 → %98), yeni belge türleri (test_v03, n=200) sınırlı CER %1,2, fotoğraflanmış fiş/fatura düz metin OCR (moganai test, n=300) %42,9 → %18,0. Taranmış ve dış kümelerdeki farklar eşleştirilmiş bootstrap ile anlamlı değildir (−4…−5 pp, aralık 0'ı içerir). Ayrıntı: docs/report.md §8.

Özet

  • Tür: Görüntü → metin (belge OCR + Markdown yapılandırma) için LoRA adaptörü; ikinci görev olarak düz metin OCR (ayrı prompt).
  • Taban model: unsloth/DeepSeek-OCR-2 (Apache-2.0), deepseek-ai/DeepSeek-OCR-2 türevi; 3,5 milyar parametre (DeepEncoder V2 + MoE dil modeli). Revision env.json içinde.
  • Bu adaptör sıfırdan eğitilmiş model değildir; dil modeli projeksiyon katmanlarına (q/k/v/o/gate/up/down) eklenen LoRA ağırlıklarıdır (86 M eğitilebilir parametre, 346 MB). Görüntü kodlayıcıları eğitilmez.
  • Görevler: (1) <image>\nFree OCR. → docs/output_standard.md biçiminde Markdown (başlık hiyerarşisi, paragraf, liste, boru tablosu, form alanları; mevzuat kuralları); (2) <image>\nOCR this image. → düz metin (fotoğraflanmış fiş/fatura/form/dilekçe; moganai görevi).
  • Dil: Türkçe.

Sürümler

Adaptör r / α Epoch Eğitim verisi Gerçek kanun (55) Taranmış RG (50) OCRTurk (165) test_v03 (200) moganai test (300)
v0.1 16/16 1 v01 (1.995) %8,2 — — — —
v0.2 (E1) 16/16 1 v01 + v02 (3.989) %4,7 %50,1 %42,0 — %42,9
v0.3 (E3) 16/16 1 v01 + v02 + v03 + real_train + moganai (9.987) %4,7 %45,0 (sınırlı %44,6) %37,9 (sınırlı %35,8) %3,9 (sınırlı %1,2) %18,0
E4 (ablasyon, yayınlanmadı) 32/32 2 moganai'siz (7.491) %4,8 %45,8 ~%36 (70 sayfa) — —

CER mikro; "sınırlı" = sayfa başına hata en fazla %100. E4: daha büyük adaptör ve iki epoch taranmış sayfalarda kazanç sağlamadı, kaçak üretimi artırdı (%30 → %42); moganai'yi çıkarmak sonucu değiştirmedi. E4'ün adaptörü VM'nin 24 saatlik ömrü dolunca kaybedildi; sayıları results/metrics/E4_eval_* içindedir. Taranmış kümede alt türler (E3): AYM parti denetim kararları (29) %29,2, daktilo dizgili TCMB/Hazine tabloları (19) %60,2 (tablo hücre doğruluğu %2–3: bu tablolar hâlâ okunamıyor), form/metin (2) %4,7.

Eğitim (v0.3)

  • Veri: docs/dataset_card.md — v01 (1.995) + v02 (1.994) + v03 (3.495; fatura, fiş/makbuz, tebligat, dekont, yazışma; %29 kamera bozulması) + real_train (18 taranmış Resmî Gazete sayfası, etiketler model taslağı + LLM düzeltmesi) + moganai (2.496, CC-BY-4.0, düz metin). Doğrulama 48 örnek karışık (yalnız loss). Test kümeleri eğitimde kullanılmaz; real_scan ile real_train farklı RG sayılarından.
  • Yöntem: Unsloth FastVisionModel + PEFT LoRA (dropout 0, seed 3407), bf16, gradient checkpointing, adamw_8bit, lr 1e-4 doğrusal (warmup 10), bs 2 × grad. accum. 4; 1 epoch = 1.249 adım, 12,4 s/adım, 4,3 saat, tepe VRAM 17,7 GB; uzunluk politikası sıra 4.096 / hedef 2.048 token (0 örnek elendi). Doğrulama loss 0,059 → 0,015 (adım 100 → 1.200). Rapor: results/train_v3_E3/.
  • Örnek başına prompt: her kayıt kendi prompt'unu taşır (task alanı: markdown | plain).

Çıkarım ve güvenlik kemerleri

Saf transformers (AutoModel, trust_remote_code=True, bf16) + peft.PeftModel.from_pretrained; merge_and_unload() çıktıyı değiştirmeden 2× hızlandırır (A100'de ~45–70 s/sayfa, CPU-bağlı). Decoding: temperature 0, no_repeat_ngram_size=35, max_new_tokens=2048. v0.3 ile gelen korumalar (trocr/guards.py, ölçümlerde açık): boş sayfada model çağrılmaz (Otsu mürekkep oranı), seyrek sayfada 512 token sınırı, üretim sırasında döngü durdurucu (periyodik tekrar, düşük çeşitlilik ve bulanık satır tekrarı: son 24 satırın ≥ %60'ı yaklaşık aynıysa durur; tablo satırları hariç), çıktıda tekrar kırpma. Kalibrasyon: 140 temiz sayfada 0 sahte pozitif. Ham çıktı trocr/postprocess.py ile temizlenir ve saklanır. Birleştirilmiş tam model (scripts/export_merged.py) yeniden yüklendiğinde PEFT yoluyla 0 karakter fark verir; vLLM ile çıkarım bu ortamda doğrulanamadı (rapor §8.8).

Değerlendirme

trocr/evaluate.py + trocr/compare.py (eşleştirilmiş bootstrap). v0.3 ölçüleri: CER/WER, sınırlı CER, uzunluk oranı, erken bitiş ve kaçak üretim payları, token sınırı/döngü oranları, Türkçe karakter yanlış okuma, sayısal alan, tablo hücre (sayısal/metin), başlık/liste F1, okuma sırası τ, blok eşleşme. Kümeler: gerçek kanun (55, born-digital), real_scan (50 taranmış RG sayfası; etiketler v0.2-E1 taslağı + LLM düzeltmesi + örneklem denetimi, veri sahibince doğrulanmadı, E1 lehine çapalama olasılığı), OCRTurk (165; başlık/liste ölçüleri uygulanamaz), test_v03 (200), test_v03 sub100 (85), moganai test (300, düz metin). Sonuçlar results/metrics/, rapor §8.4–8.6.

Kullanım amacı ve sınırlamalar

  • Araştırma/demo amaçlı; üretim servisi değildir.
  • Kapsam dışı: el yazısı, karmaşık matematik, birleşik hücreli tablolar, 90° döndürülmüş sayfalar, görsel betimleme, çok sayfalı bağlam.
  • Taranmış ve fotoğraflanmış belgelerde başarı sınırlıdır: taranmış RG sayfalarında CER %45, daktilo dizgili sayısal tablolar pratikte okunamıyor; OCRTurk'ta %38. Temiz born-digital belgelerde %5 civarı.
  • Bilinen zayıflıklar: yoğun sayfada erken bitiş (taranmışta %26), kısmi paragraf tekrarı, nadiren İngilizce halüsinasyon (test_v03'te 1/200, dar fiş görüntüsünde), kenarlıksız tablolarda satır kayması, başlık seviyelerinin standarttan sapması.
  • Model özetlemez, düzeltmez, tamamlamaz; halüsinasyon/atlama davranışı tamamen giderilmiş değildir. Çıktılar insan kontrolü olmadan resmî/hukuki işlemde kullanılmamalıdır.

Lisans ve paket

  • Adaptör ağırlıkları Apache-2.0 niyetiyle paylaşılır. Eğitim verisinde CC-BY-4.0 (moganai) ve resmî metin (Resmî Gazete, FSEK md. 31) kaynakları vardır; OCRTurk yalnız ölçümde kullanıldı, dağıtılmaz.
  • Paket düzeni (scripts/package_hf.py): kök = E3 adaptörü + bu kart (README.md) + output_standard.md + metrics/ + env.json. Önceki sürümler ayrı depolardadır (v0.1, v0.2).
Downloads last month
1
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for msbayindir/tr-ocr-markdown-deepseek-ocr2-lora-v0.3

Adapter
(10)
this model

Collection including msbayindir/tr-ocr-markdown-deepseek-ocr2-lora-v0.3

Evaluation results

  • CER (%) on Gerçek kanun sayfaları (born-digital PDF, 55 sayfa)
    self-reported
    4.700
  • CER (%) on Taranmış Resmî Gazete ilan sayfaları (50 sayfa; etiketler model taslağı + LLM düzeltmesi)
    self-reported
    45.000
  • CER (%) on OCRTurk (ODTÜ; 165 gerçek sayfa, yalnız ölçüm)
    self-reported
    37.900
  • CER (%) on test_v03 — fatura, fiş, tebligat, dekont, yazışma + eski türler, %29 kamera bozulması (200 sayfa; sınırlı CER)
    self-reported
    1.200
  • CER (%) on moganai test — fotoğraflanmış fiş/fatura/form/dilekçe, düz metin OCR (300 sayfa)
    self-reported
    18.000