hitit-cuneiform-ocr / code /METHODOLOGY.md
savastakan's picture
Initial upload: code + 5 record checkpoints + fuse
f211247 verified
|
Raw
History Blame Contribute Delete
4.73 kB

Methodology

Bu proje, Hitit çivi yazılı tabletler için klasik OCR yaklaşımı yerine sign detection + sign classification + philological reranking + human-in-the-loop hattını benimser.

1. Neden klasik OCR değil?

Çivi yazısı:

  • küçük ve yoğun işaretlerden oluşur,
  • aynı işaretin birden fazla paleografik varyantı olabilir,
  • yüzey aşınması ve kırıklar içerir,
  • bağlam olmadan tek görüntüden kesin okunması zordur.

Bu yüzden proje, problemi doğrudan metin üretimi olarak değil, çok aşamalı karar verme sistemi olarak tanımlar.

2. Genel mimari

  1. Detection: Tablet görüntüsündeki işaretleri bul
  2. Classification: Her işaret crop'unu sınıflandır
  3. Reranking: Top-k adayları TLHdig ve transliterasyon bağlamıyla yeniden sırala
  4. Expert review: Uzman nihai kararı onaylasın veya düzeltsin

3. Model seçimi

Detection

  • Ana model: YOLO11m
  • Baseline: YOLOv8m
  • İleri karşılaştırma: RT-DETRv2-m

Neden YOLO11m?

  • küçük obje tespiti için güçlü pratik denge
  • hızlı iterasyon ve deploy kolaylığı
  • RT-DETR'ye göre daha hafif ve daha erişilebilir eğitim süreci

Classification

  • Ana model: ConvNeXt-Small
  • Güçlü karşılaştırma: DINOv3 ViT-B
  • Ek baseline'lar: ResNet50, EfficientNetV2-S

Neden ConvNeXt-Small?

  • transfer learning'de güçlü
  • küçük/orta veri ve dengesiz sınıf yapısında pratik
  • DINOv3'e göre daha hızlı deney döngüsü

Neden DINOv3 ViT-B ikinci deney?

  • daha güçlü foundation temsil potansiyeli var
  • fakat daha ağır ve entegrasyonu daha zahmetli olabilir

4. Veri metodolojisi

Veriler ortak bir şemada toplanır:

  • datasets/unified/detection/
  • datasets/unified/classification/
  • datasets/unified/text/

Kaynaklar

  • yerel Hitit veri kümesi
  • CompVis detection verisi
  • EBL OCR kaynakları
  • CuneiML
  • TLHdig XML
  • transliterated fragments
  • Old Babylonian signs

Mevcut kalite notu

2026-04-15 audit sonucuna göre:

  • detection katmanı deney için hazırdır,
  • birleşik classification manifesti pretraining / transfer learning için güçlüdür,
  • fakat Hittite-only classification evaluation yalnızca yerel crop materialization tamamlandıktan sonra nihai deney seti olarak kullanılmalıdır.

Altyapı kararı

Büyük arşivler disk kotası nedeniyle tamamen extract edilmez. Bunun yerine:

  • manifest tabanlı erişim
  • symlink tabanlı ready dataset
  • zip/tar içinden doğrudan okuma

5. Eğitim stratejisi

Detection

  • pretrained weights ile başla
  • yüksek çözünürlük dene
  • hafif rotation / contrast / blur / noise uygula
  • small-object recall'u ana metriklerden biri yap

Classification

  • ImageNet pretrained checkpoint ile başla
  • 224 ve 256 input size dene
  • weighted CE veya focal loss karşılaştır
  • balanced sampler kullan
  • aşırı augmentation ile işaret morfolojisini bozma

6. Reranking

Classifier tek aday değil, top-k aday listesi üretir. Ardından:

  • TLHdig
  • transliterated fragments
  • satır / komşu işaret bağlamı

kullanılarak adaylar yeniden sıralanır.

Amaç:

  • görsel olarak karışan işaretleri bağlamla çözmek
  • top-5'ten top-1'e geçişi güçlendirmek
  • uzmanın seçim süresini azaltmak

7. Değerlendirme

Detection

  • mAP@50
  • mAP@50:95
  • recall
  • precision
  • small-object recall
  • latency

Classification

  • top-1 accuracy
  • top-5 accuracy
  • macro-F1
  • balanced accuracy
  • rare-class recall

End-to-end

  • pipeline accuracy
  • reranking gain
  • expert acceptance rate
  • time-to-correction

8. Deney planı

Detection deneyleri

  1. YOLOv8m
  2. YOLO11m
  3. YOLOv12m (Area Attention + multi-scale fusion — küçük nesne SOTA, Dec 2024)
  4. RT-DETRv2-m

Classification deneyleri

  1. ResNet50
  2. EfficientNetV2-S
  3. ConvNeXt-Small
  4. DINOv3 ViT-B (frozen + linear head)
  5. DINOv3 ViT-B + LoRA (rank=16, alpha=32; MIDOG 2025 yaklaşımı, arXiv 2508.21041)

Ablation

  • YOLO11m vs YOLOv8m
  • ConvNeXt-Small vs ResNet50
  • ConvNeXt-Small vs DINOv3 ViT-B
  • reranking yok / var
  • top-1 vs top-5
  • context margin yok / var
  • class balancing yok / var

9. Projenin resmi metodolojik cümlesi

Bu proje, Hitit çivi yazılı tabletlerin okunmasını klasik OCR problemi olarak değil, işaret tespiti, işaret sınıflandırması, filolojik bağlam tabanlı yeniden sıralama ve uzman doğrulamasından oluşan hibrit yarı-otomatik bir okuma problemi olarak ele alır.

10. Ana karar

Varsayılan ana konfigürasyon:

  • Detector: YOLO11m
  • Classifier: ConvNeXt-Small
  • Advanced comparison: DINOv3 ViT-B
  • Context layer: TLHdig reranking
  • Final decision: human-in-the-loop