TR-OCR-Markdown v0.4 — DeepSeek-OCR-2 için Türkçe belge → Markdown LoRA adaptörü

Türkçe basılı belge sayfası görüntüsünü (duyuru, form, sözleşme, tablo, kanun/mevzuat sayfası, kadro cetveli, fatura, fiş, tebligat, dekont, yazışma…) başlık hiyerarşisi, paragraf, liste ve boru tablolarıyla yapılandırılmış Markdown'a çeviren LoRA adaptörü. Taban model unsloth/DeepSeek-OCR-2 (Apache-2.0); adaptör ağırlıklı olarak sentetik, kurmaca Türkçe belgelerle (v0.4: + gerçek born-digital PDF sayfaları, LLM ile etiketlenmiş gerçek taranmış akademik/resmî/kitap sayfaları, fiş/fatura Markdown ve LaTeX denklemler) eğitildi, altı gerçek test kümesinde ölçüldü. Proje: veri üreteci, kalite kontrol, ölçüm araçları, demo ve tam rapor ayrı bir git deposundadır.

Sonuçlar (sabit test kümeleri, eğitimde kullanılmadı)

Test kümesi v0.3 (E3) v0.4 (E5)
Gerçek kanun sayfaları (born-digital PDF, 55 sayfa) %4,7 %0,4
Taranmış Resmî Gazete sayfaları (50 sayfa) %45,7 %25,4
OCRTurk (ODTÜ; 165 gerçek sayfa, denklemler LaTeX, yalnız ölçüm) %38,3 %16,9
Taranmış akademik makale sayfaları, DergiPark (109 sayfa) %7,7 %6,8
Resmî belgeler — RG/TBMM taramaları (104 sayfa) %32,3 %6,9
Telif dışı kitap taramaları (49 sayfa) %12,4 %2,0
Fotoğraflanmış fiş/fatura/form, düz metin OCR (moganai, 300 sayfa) %18,0 %1,8
Fotoğraflanmış fiş/fatura/form, Markdown (150 sayfa) — %0,4
Gerçek PDF sayfaları, bozulma uygulanmış (87 sayfa) — %9,2

CER = karakter hata oranı (düşük iyi). Akademik küme dışında v0.3 → v0.4 farkı eşleştirilmiş bootstrap ile anlamlıdır (P = 1,00); akademikte tipik sayfa belirgin iyileşti (ortanca %3,5 → %0,9) ama birkaç kaçak sayfa nedeniyle ortalama fark anlamlı değil. Taranmış Anayasa Mahkemesi kararlarında %29 → %4; daktilo dizgili sayısal tablolar hâlâ zayıf (%44). Gerçek sayfa test etiketleri model/LLM etiketidir, veri sahibince doğrulanmamıştır. Ölçümlerde güvenlik kemerleri açıktır. Ayrıntı: proje deposu docs/report.md §9.

Bu depodaki metrics/ klasöründe her kümenin ayrıntılı raporu (*_report.json, *_summary.md) ve sürümler arası eşleştirilmiş karşılaştırmalar (compare_*) bulunur.

Kullanım

# transformers==4.57.6, peft==0.20.0 ile doğrulandı (bf16 destekli GPU'da bf16, aksi hâlde fp16)
import torch
from transformers import AutoModel, AutoTokenizer
from peft import PeftModel

BASE, REPO = "unsloth/DeepSeek-OCR-2", "msbayindir/tr-ocr-markdown-deepseek-ocr2-lora-v0.4"
tok = AutoTokenizer.from_pretrained(BASE, trust_remote_code=True)
base = AutoModel.from_pretrained(BASE, trust_remote_code=True, use_safetensors=True, _attn_implementation="eager",
                                 torch_dtype=torch.bfloat16).eval().cuda()
model = PeftModel.from_pretrained(base, REPO).eval()
model = model.merge_and_unload()   # isteğe bağlı: 2× hız, çıktı birebir aynı
# Düz metin görevi (fotoğraflanmış fiş/fatura): prompt="<image>\nOCR this image. "

md = model.infer(tok, prompt="<image>\nFree OCR. ", image_file="sayfa.png", output_path="/tmp/out",
                 base_size=1024, image_size=768, crop_mode=True, save_results=False, test_compress=False, eval_mode=True)
print(md)

Decoding (eğitim ve ölçümle aynı): temperature 0, no_repeat_ngram_size=35, max_new_tokens=2048. Ham çıktıdaki grounding etiketleri için trocr/postprocess.py (proje deposu) kullanılabilir. Çıktı biçimi: output_standard.md (bu depoda).


Model Kartı — TR-OCR-Markdown v0.4 (LoRA adaptörü)

Durum (17.11.2026): v0.4 = E5 (r=16, 1 epoch, ~20,5 bin örnek: sentetik v01–v04 + gerçek born-digital PDF sayfaları + gerçekten taranmış etiketli sayfalar + moganai Markdown/düz metin; Colab A100 bf16). v0.3'e (E3) göre gerçek kümelerde CER: taranmış Resmî Gazete (50) %45,7 → %25,4, OCRTurk (165) %38,3 → %16,9, born-digital kanun (55) %4,7 → %0,4; yeni gerçek test kümelerinde akademik makale (109) %7,7 → %6,8 (ortanca %3,5 → %0,9; fark anlamlı değil, birkaç kaçak sayfa ortalamayı belirliyor), resmî belgeler (104) %32,3 → %6,9, kitap (49) %12,4 → %2,0. Akademik dışındaki beş karşılaştırmada fark eşleştirilmiş bootstrap'ta anlamlıdır (P(E5 < E3) = 1,00). Sentetik kümelerde gerileme yok; fotoğraflanmış fiş/fatura düz metin OCR %18,0 → %1,8. Ayrıntı: docs/report.md §9.

Özet

  • Tür: Görüntü → metin (belge OCR + Markdown yapılandırma) için LoRA adaptörü; ikinci görev olarak düz metin OCR (ayrı prompt).
  • Taban model: unsloth/DeepSeek-OCR-2 (Apache-2.0), deepseek-ai/DeepSeek-OCR-2 türevi; 3,5 milyar parametre. Revision env.json içinde.
  • Bu adaptör sıfırdan eğitilmiş model değildir; dil modeli projeksiyon katmanlarına (q/k/v/o/gate/up/down) eklenen LoRA ağırlıklarıdır (86 M eğitilebilir parametre, 346 MB). Görüntü kodlayıcıları eğitilmez.
  • Görevler: (1) <image>\nFree OCR. → docs/output_standard.md biçiminde Markdown (başlık hiyerarşisi, paragraf, liste, boru tablosu, form alanları, iki sütun okuma sırası, dipnot/şekil altyazısı, LaTeX denklemler $…$ / $$…$$); (2) <image>\nOCR this image. → düz metin (fotoğraflanmış fiş/fatura/form).
  • Dil: Türkçe.

Sürümler

Adaptör Eğitim verisi Kanun, born-digital (55) Taranmış RG (50) OCRTurk (165) Akademik (109) Resmî v0.4 (104) Kitap (49)
v0.2 (E1) v01 + v02 (3.989) %4,7 %50,1 %42,4 — — —
v0.3 (E3) + v03, real_train, moganai (9.987) %4,7 %45,7 %38,3 %7,7 %32,3 %12,4
v0.4 (E5) + v04, born-digital, taranmış etiketli, moganai_md (20.549) %0,4 %25,4 %16,9 %6,8 %6,9 %2,0
E6 (ablasyon, yayınlanmadı) E5 − born-digital (16.098) — %28,0 — %6,9 %11,3 —

CER mikro (OCRTurk'te denklemler LaTeX olarak puanlanır). E3'ün akademik/resmî/kitap ölçümleri Kaggle T4'te, diğerleri Colab A100 bf16'da. Alt türler (E5, taranmış RG): Anayasa Mahkemesi kararları (29) %4,1 (E3 %29,2), daktilo dizgili sayısal tablolar (19) %43,8 (E3 %60,2; tablo hücre doğruluğu %3 → %16), form/metin (2) %2,2. OCRTurk alt türleri: tez %3,2, akademik %14,0, sunum %17,5, akademik olmayan %29,1; denklem CER %100 → %28,1. E6 (born-digital sayfaları çıkarılmış) resmî kümede belirgin geride (P = 0,99), diğerlerinde başa baş: born-digital katmanı yararlı, zararsız.

Sentetik test kümeleri (tohumlu 100 sayfalık alt kümeler, Kaggle T4, E3 ile aynı donanım): v01 %1,06 → %0,78, v02 %2,30 → %1,40, v03 %1,46 → %0,70 (v03'te fark anlamlı), yeni v04 (86) %2,58 (ortanca %0); kaçak her ikisinde 0. Eski sentetik kümelerde gerileme yok.

Fotoğraflanmış fiş/fatura/form (moganai, Kaggle T4): düz metin OCR (300) %18,0 → %1,8 (ortanca %2,0 → %0,4, kaçak 13 → 1; P = 1,00); Markdown görevi (150) %0,4 (tablo hücre doğruluğu %97,5). Bozulma uygulanmış gerçek PDF sayfaları (born-digital test, 87): %9,2 (ortanca %1,1; tek sütun %7,7, iki sütun %15,2; denklemli 8 sayfada denklem CER %57); E3 bu kümede ölçülmedi.

Eğitim (v0.4)

  • Veri: docs/dataset_card.md (v0.4 eki). Karışım (results/mix_v04_e5.json): v01 1.995, v02 1.994, v03 3.495, v04 4.000 (makale/tez/slayt/daktilo tablo/menü/bilet/reçete/karne; LaTeX denklemler), born-digital gerçek PDF sayfaları 2.218 ×2 (metin katmanından otomatik etiket + güven filtresi + bozulma), taranmış etiketli sayfalar (akademik 261 ×4, resmî 202 ×2, kitap 88 ×2, eski 18), moganai_md 3.100 ×0,4, moganai düz metin 2.496 ×0,7. Test kümeleri eğitimle belge düzeyinde ayrık (data/splits/disjoint_v04.json).
  • Etiket kökeni: sentetik hedefler üreteçten; born-digital hedefler PDF metin katmanından kurallı dönüşüm; taranmış sayfalar model taslağı + LLM düzeltmesi ya da (testin yarısı) taslaksız çift LLM okuması + uzlaştırma. Gerçek sayfa etiketleri model/LLM etiketidir, veri sahibince doğrulanmamıştır.
  • Yöntem: Unsloth FastVisionModel + PEFT LoRA (r 16, α 16, dropout 0, seed 3407), bf16, gradient checkpointing, adamw_8bit, lr 1e-4 doğrusal (warmup 10), bs 2 × grad. accum. 4; 1 epoch = 2.567 adım, 11,2 s/adım, 7 sa 57 dk, tepe VRAM 17,7 GB; uzunluk politikası sıra 4.096 / hedef 2.048 token (19 örnek elendi). Eğitim loss 0,37 → 0,011; doğrulama loss 0,013. Rapor: results/colab/E5/train/train_report.json.

Çıkarım ve güvenlik kemerleri

Saf transformers (AutoModel, trust_remote_code=True, bf16) + peft.PeftModel.from_pretrained; merge_and_unload() (A100'de sayfa başına ~10–120 s, CPU-bağlı; ortalama ~70 s). Decoding: temperature 0, no_repeat_ngram_size=35, max_new_tokens=2048. Korumalar (trocr/guards.py, ölçümlerde açık): boş sayfada model çağrılmaz, seyrek sayfada 512 token sınırı, üretim sırasında döngü durdurucu (periyodik tekrar, düşük çeşitlilik, bulanık satır tekrarı), çıktıda tekrar kırpma. Ham çıktı trocr/postprocess.py ile temizlenir.

Değerlendirme

trocr/evaluate.py + trocr/compare.py (eşleştirilmiş bootstrap, 2.000 örneklem). Ölçüler: CER/WER, sınırlı CER, uzunluk oranı, erken bitiş ve kaçak üretim payları, Türkçe karakter yanlış okuma, sayısal alan, tablo hücre doğruluğu, başlık/liste F1, okuma sırası τ, denklem CER. Sonuçlar results/metrics/ (E5_eval_*, E6_eval_*, E3_now_* = E3 tahminleri güncel değerlendiriciyle).

Kaçak üretim notu: "kaçak" bayrağı uzunluk taşması, token sınırına ulaşma veya döngü durdurucunun devreye girmesinden herhangi biridir. Taranmış RG'de bayrak oranı E3 %30 → E5 %38'dir; ancak gerçek taşma (çıktı hedeften > %30 uzun) 7 → 5 sayfaya inmiştir. Artışın kaynağı, uzun daktilo tablo sayfalarında 2.048 token sınırına ulaşılmasıdır (bu sayfalarda E5 yine E3'ten düşük hata verir).

Diğer modellerle karşılaştırma (17.11.2026)

Aynı 532 gerçek sayfa, aynı hedefler ve aynı ölçü (yapı işaretleri atılmış metin üzerinden CER, mikro; düşük iyi). Rakipler kendi resmî çıkarım yollarıyla çalıştırıldı: olmOCR-2 olmocr.pipeline (vLLM, FP8, A100), PaddleOCR-VL-1.6 PaddleOCRVL(pipeline_version="v1.6") (sayfa düzeni + tanıma), Tesseract 5.3.4 -l tur --psm 3. Rakip çıktılarındaki HTML tablolar boru tablosuna, \( \) / \[ \] LaTeX işaretleri $…$ / $$…$$ biçimine çevrildi; YAML ön bilgisi ve görsel bağlantıları atıldı. Eğitimsiz DeepSeek-OCR-2 bu adaptörün eğitildiği komutla (Free OCR) ve aynı ayarlarla ölçüldü (Kaggle T4); kendi önerilen komutuyla daha iyi sonuç verebilir.

Küme v0.4 (bu model) olmOCR-2-7B (FP8) PaddleOCR-VL-1.6 Tesseract 5 (tur) DeepSeek-OCR-2 (eğitimsiz)
Kanun, born-digital (55) %0,4 %1,6 %16,6 %1,1 %80,8
Taranmış Resmî Gazete (50) %25,4 %2,1 %3,1 %7,3 %94,0
OCRTurk (165, insan etiketli) %16,9 %4,8 %4,5 %11,0 %87,5
Akademik makale (109) %6,8 %4,4 %10,5 %7,7 %93,0
Resmî belgeler (104) %6,9 %4,5 %7,1 %5,0 %97,2
Kitap taramaları (49) %2,0 %2,3 %3,4 %3,5 %99,4
  • Güçlü yanlar: born-digital kanun sayfalarında tüm rakiplerden iyi (eşleştirilmiş bootstrap P = 1,00); kitap taramalarında PaddleOCR-VL ve Tesseract'tan anlamlı iyi, olmOCR-2 ile başa baş. Tipik sayfada hata çok düşük: ortanca CER akademik %0,9 (olmOCR-2 %3,5), resmî %0,5 (olmOCR-2 %1,4). Rakiplerden farklı olarak başlık/liste/tablo/denklem yapısını bu projenin Markdown standardında üretir.
  • Zayıf yanlar: taranmış Resmî Gazete ve OCRTurk'te olmOCR-2 ve PaddleOCR-VL belirgin önde (P = 1,00). Fark büyük ölçüde kaçak üretimden gelir: bu modelde sayfaların taranmış RG'de %38'i, OCRTurk'te %19'u uzunluk taşması / token sınırı / döngü bayrağı taşır (olmOCR-2: %0 ve %1). En büyük kayıp daktilo dizgili yoğun sayısal tablolardadır (bu model %44, PaddleOCR-VL %4). Akademik ve resmî kümelerde olmOCR-2 ortalamada önde ama fark anlamlı değil (P(v0.4 daha iyi) = 0,11 ve 0,06).
  • Etiket notu: akademik/resmî/kitap test etiketleri model taslağı kullanılmadan LLM ile yazıldı; taranmış RG etiketleri model taslağının LLM düzeltmesidir (bu modelin soyuna hafif avantaj); OCRTurk etiketleri insan doğrulamalıdır; kanun sayfaları PDF metin katmanından. olmOCR-2 7 milyar, PaddleOCR-VL 0,9 milyar, bu model 3,5 milyar parametrelidir. Ayrıntı: results/rivals/summary.md, betikler scripts/rivals/.

Kullanım amacı ve sınırlamalar

  • Araştırma/demo amaçlı; üretim servisi değildir.
  • Kapsam dışı: el yazısı, karmaşık matematik (2×2 matrisin üstü), birleşik hücreli tablolar, 90° döndürülmüş sayfalar, görsel betimleme, çok sayfalı bağlam.
  • Daktilo dizgili yoğun sayısal tablolar hâlâ zayıf (CER ~%44, hücre doğruluğu ~%16); 2.048 token'ı aşan çok yoğun sayfalar kesilir.
  • Etiketleri LLM ile üretilmiş test kümelerinde (taranmış, akademik, resmî, kitap) mutlak sayılar etiket gürültüsü içerir; sürümler arası karşılaştırma aynı etiketlerle yapıldığı için adildir.
  • Akademik sayfalarda E5 sayfaların çoğunda E3'ten iyi (55'e 15) ama az sayıda sayfada (neredeyse boş sayfa, kaynakça) çıktıyı aşırı uzatabiliyor; ortalama hata bu sayfalardan etkileniyor.
  • Taranmış ve yoğun tablolu sayfalarda olmOCR-2 / PaddleOCR-VL gibi genel OCR modellerinin gerisindedir (yukarıdaki karşılaştırma); düz metin doğruluğu öncelikliyse bu modeller tercih edilmelidir.
  • Model özetlemez, düzeltmez, tamamlamaz; halüsinasyon/atlama tamamen giderilmiş değildir. Çıktılar insan kontrolü olmadan resmî/hukuki işlemde kullanılmamalıdır.

Lisans ve paket

  • Adaptör ağırlıkları Apache-2.0 niyetiyle paylaşılır. Eğitim verisinde CC BY / CC BY-SA DergiPark makaleleri, resmî metinler (Resmî Gazete, TBMM; FSEK md. 31), telif dışı kitap taramaları ve CC-BY-4.0 (moganai) kaynakları vardır (docs/v04_sources.md). Gerçek eğitim sayfaları paketle dağıtılmaz; OCRTurk yalnız ölçümde kullanıldı.
  • Paket düzeni (scripts/package_hf.py): kök = E5 adaptörü + bu kart (README.md) + output_standard.md + metrics/ + env.json. Önceki sürümler ayrı depolardadır (v0.1–v0.3).
Downloads last month
43
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for msbayindir/tr-ocr-markdown-deepseek-ocr2-lora-v0.4

Adapter
(10)
this model

Collection including msbayindir/tr-ocr-markdown-deepseek-ocr2-lora-v0.4

Evaluation results

  • CER (%) on Gerçek kanun sayfaları (born-digital PDF, 55 sayfa)
    self-reported
    0.400
  • CER (%) on Taranmış Resmî Gazete sayfaları (50 sayfa)
    self-reported
    25.400
  • CER (%) on OCRTurk (ODTÜ; 165 gerçek sayfa, denklemler LaTeX, yalnız ölçüm)
    self-reported
    16.900
  • CER (%) on Taranmış akademik makale sayfaları, DergiPark (109 sayfa)
    self-reported
    6.800
  • CER (%) on Resmî belgeler — RG/TBMM taramaları (104 sayfa)
    self-reported
    6.900
  • CER (%) on Telif dışı kitap taramaları (49 sayfa)
    self-reported
    2.000
  • CER (%) on Fotoğraflanmış fiş/fatura/form, düz metin OCR (moganai, 300 sayfa)
    self-reported
    1.800
  • CER (%) on Fotoğraflanmış fiş/fatura/form, Markdown (150 sayfa)
    self-reported
    0.400