hitit-cuneiform-ocr / code /BEYOND_95.md
savastakan's picture
Initial upload: code + 5 record checkpoints + fuse
f211247 verified
|
Raw
History Blame Contribute Delete
10.9 kB
# %95 Yapısal Tavanı Aşma Roadmap'i
v4 pipeline'ı **literatür tavanına** (~%95) yaklaşıyor. Daha ötesi için **üç paralel yol**:
1. **Veri hacmini büyütme** (307 → 2000+ tablet)
2. **Paradigma değişikliği** (sign classification → image-to-transliteration seq2seq)
3. **Multi-modal zenginleştirme** (RTI, 3D, cross-modal)
Beklenen cumulative ceiling: **%95 → %96.5-98** (paradigm shift başarılıysa).
## ⭐ HIGH-IMPACT Stratejiler (6 ay içinde feasible)
### 1. Veri hacmini 10× büyütme
#### 1.1 Hethitologie-Portal Mainz + TLHdig 1.0 entegrasyonu (+%1-3)
- **Ne**: TLHdig 1.0 (Kasım 2025, Schwemer/Würzburg) — 22K XML doc, 400K transliteration satır, potansiyel foto URL'leri
- **Kaynak**: [HPM](https://www.hethport.uni-wuerzburg.de/HPM/), TLHdig 0.2 → 1.0 geçiş
- **Süreç**: Schwemer grubuyla contact, scraping + photo-transliteration alignment
- **Maliyet**: 1 kişi × 2-3 ay
- **Risk**: CC-BY lisansı muhtemel ama foto her satırda olmayabilir
#### 1.2 Würzburg "Digital Pathways to the Hittite World" konsorsiyumu (+%3-5)
- **Ne**: VolkswagenStiftung grant, Schwemer + Döpper + Schachner (DAI Istanbul) + LLäMmlein LLM
- **Kaynak**: [Arkeonews article](https://arkeonews.net/digital-pathways-to-the-hittite-world-ai-meets-ancient-anatolia/)
- **Süreç**: Institutional partnership, raw tablet foto + fragment metadata erişimi
- **Maliyet**: 1 PI-level researcher, 3-6 ay anlaşma süreci
- **Gain**: Veri hacmi 10× olabilir → en büyük yapısal kazanç
#### 1.3 DAI Istanbul Boğazköy Glass Plates Archive (1906-1930) (+%2-4)
- **Ne**: DAI Istanbul fotoğraf arşivi: 10K+ cam plaka, 44K film negatif, 40K küçük format — büyük kısmı Hattuša kazıları
- **Kaynak**: [DAI Istanbul Photo Archive](https://www.dainst.org/en/departments/istanbul/about-us/organisation/photo-archive), [iDAI.objects](https://arachne.dainst.org/)
- **Domain gap**: Siyah-beyaz cam plaka ↔ modern RGB foto; ayrı pretraining gerek
- **Maliyet**: 1 kişi × 2 ay scraping (CC kısmı ücretsiz)
- **Hitit-spesifik unique value**
#### 1.4 HeiCuBeDa/MaiCuBeDa SSL continual (zaten var, hızlı) (+%1-2)
- **Ne**: ~500 annotated cuneiform tablet Hitit olmasa da wedge grammar aynı
- **Kaynak**: [MaiCuBeDa JOAD 2024](https://openarchaeologydata.metajnl.com/articles/10.5334/joad.172)
- **Maliyet**: 1 GPU hafta
- **Öncelik: HEMEN yapılabilir, veri zaten dataset'imizde**
#### 1.5 DeepScribe Elamite transfer (+%1-2)
- **Ne**: Chicago ISAC 5K tablet, 100K sign bbox
- **Kaynak**: [DeepScribe JOCCH 2025](https://dl.acm.org/doi/10.1145/3716850), [GitHub](https://github.com/edwardclem/deepscribe)
- **Maliyet**: 1 GPU hafta
### 2. Paradigm shift: Classification → Seq2Seq
#### 2.1 End-to-End Image → Transliteration (**BU EN BÜYÜK GAIN**) (+%3-7)
- **Ne**: Sign-level 198-class bottleneck'i ORTADAN KALDIRIR. Image → transliteration doğrudan
- **Kanıt**: [SumTablets ACL ML4AL 2024](https://aclanthology.org/2024.ml4al-1.20/) — 91K tablet / 6.97M glyph, fine-tuned LM **chrF 97.55** raporladı
- **Örnek implementasyon**: [Img2SumGlyphs Stanford CS231N 2024](https://cs231n.stanford.edu/2024/papers/img2sumglyphs-transformer-based-ocr-of-sumerian-cuneiform.pdf)
- **Mimari**: ViT encoder + autoregressive decoder (HATFormer benzer)
- **Avantajlar**:
- 198-class tavanı yok
- Rare sign'ları LM context ile recover
- Transliteration direkt output (pipeline kısalır)
- **Maliyet**: 1 ML engineer × 2-3 ay
- **Risk**: TLHdig foto-transliteration alignment zorlu ama TLHdig'de büyük kısım hazır
- **🔴 ÖNCELIK: PARADIGMA KIRICI, EN YÜKSEK GAIN POTANSİYELİ**
#### 2.2 Image Retrieval + Exemplar Matching (rare class çözümü) (+%1-3, rare +%10)
- **Ne**: Sabit 198-class yerine, query → 21K gallery'de top-k retrieval + paleography fusion
- **Kanıt**: [Kriege et al. Embedded Attributes Cuneiform Sign Spotting (ICFHR 2021)](https://link.springer.com/chapter/10.1007/978-3-030-86331-9_19)
- **Mimari**: DINOv3 features (zaten hazır) + FAISS + reranker
- **Maliyet**: 1 engineer × 1 ay
- **Risk**: DÜŞÜK
### 3. Synthetic data genişletme
#### 3.1 3D-render + illumination augmentation (+%2-4, **paper-validated**)
- **Kanıt**: [Stötzner et al. arXiv:2308.11277](https://arxiv.org/abs/2308.11277) doğrudan cuneiform için +%4 detection performance raporladı
- **Ne**: HeiCuBeDa 3D meshleri GigaMesh'te çoklu ışık yönüyle render, photo augmentation corpusu
- **Kaynak**: [GigaMesh](https://gigamesh.eu/)
- **Maliyet**: 2 hafta render + 1 hafta pipeline
- **Risk**: DÜŞÜK (paper-validated)
### 4. Hitit-spesifik kültürel miras erişimi
#### 4.1 T.C. Kültür ve Turizm Bakanlığı — Müze Dijital Envanteri (+%2-5)
- **Ne**: Anadolu Medeniyetleri Müzesi (Ankara), İstanbul Arkeoloji, Çorum, Boğazkale — structured photography request
- **Mevcut kaynak**: İstanbul Arkeoloji Müzelerinde Boğazköy Tabletleri IV (Eren) — [archive.org/details/ibot-iv](https://archive.org/details/ibot-iv)
- **Google Arts & Culture**: [Hattusha story](https://artsandculture.google.com/story/hattusha-bo%C4%9Fazk%C3%B6y)
- **Süreç**: KVMGM başvurusu, ODTÜ/Hitit Üniversitesi partnership
- **Maliyet**: 3-6 ay bürokratik süreç
- **Hitit-spesifik value, Türkiye'ye avantaj**
#### 4.2 Boğazkale Kazı Başkanlığı + Andreas Schachner (+%1-3)
- DAI başkanlığındaki güncel kazı fotoğraf arşivi
- Yıllık Hititoloji Kongresi yayınları
#### 4.3 Ankara Üniversitesi DTCF Hititoloji (+%1-2)
- Türk hititologlarla collaboration
- Türkçe tez corpusu: transliteration-image pair
### 5. Expert-in-the-loop automation
#### 5.1 Active Learning BUAL (+%1-3 iteratif)
- **Ne**: Ensemble disagreement + entropy → weekly 50-100 sample priority queue
- **Kanıt**: [BUAL arXiv:2402.15198](https://arxiv.org/html/2402.15198)
- **Tool**: Prodigy (600€) veya Label-Studio (ücretsiz)
- **Rate**: 6 ayda 2000+ yeni sample
- **Maliyet**: 1 engineer + 5 saat/hafta paleograph
### 6. RTI Multi-light Imaging
#### 6.1 307 Mevcut tablet için RTI dome (+%2-4)
- **Ne**: Her tablet 50+ ışık yönünden foto → NeuralRTI ile wedge derinliği latent
- **Kanıt**: [Ponchio et al. Visual Computer 2021](https://link.springer.com/article/10.1007/s00371-020-01910-9)
- **Mevcut**: [FSU Cuneiform RTI Collection](https://diginole.lib.fsu.edu/islandora/object/fsu:cuniformtablets)
- **Maliyet**: RTI dome 5-15K€ + 50 saat fotoğraf
- **Risk**: Müzeden fiziksel erişim
- **Hitit-spesifik eşsiz value**
## 🟡 MEDIUM Stratejiler
### 7. Foundation model scaling — DINOv3-7B (+%1-3)
- [DINOv3 arXiv:2508.10104](https://arxiv.org/abs/2508.10104)
- 7B params, Gram anchoring dense feature quality
- 80GB VRAM (A100/H100) + LoRA
- Maliyet: 2 hafta
### 8. ControlNet + SDXL/Flux cuneiform synthesis (+%1-3)
- Cuneiform-spesifik paper YOK ama analog domains (plant/weed) +%3-6
- Risk: wedge geometrisi yanlış öğrenilirse noise
- Human-in-loop filter zorunlu
### 9. Cross-modal SigLIP2/EVA-02-CLIP (+%1-2)
- 354K TLHdig transliteration → image-text pair contrastive
- 2-3 hafta
### 10. Weak supervision (Snorkel) (+%1-2)
- Labeling functions: classifier + KenLM + MaiCuBeDa + VLM + heuristic
- Snorkel generative model → 10-100× data
## 🔵 EXPERIMENTAL
### 11. VLM tutoring — Qwen2.5-VL-72B fine-tune (+%1-2)
- Cuneiform-spesifik VLM benchmark yok → dürüst beklenti düşük
- 8× H100 × 2-3 ay
- Başarı garantisiz
- [Qwen2.5-VL arXiv:2502.13923](https://arxiv.org/pdf/2502.13923)
### 12. Procedural wedge synthesis + physics-based clay (+%1-2)
- Parametric wedge → Blender Cycles clay shader
- 1 artist + 1 ML engineer, 6-8 hafta
### 13. Federated learning across museums
- Kurumlararası olmadan anlamsız
- Privacy-preserving ama compute overhead
## 📅 6-12 Aylık Roadmap
### Ay 1-2 (Quick wins, veri hazır)
```
✓ HeiCuBeDa/MaiCuBeDa SSL continual → +1-2%
✓ Image retrieval + exemplar matching → +1-3% (rare)
✓ Active learning loop kurulumu → sürekli birikim
✓ 3D render illumination aug → +2-4%
```
**Cumulative: ~%95.5 → %97**
### Ay 3-6 (Strategic, veri entegrasyonu + paradigm)
```
✓ TLHdig photo-transliteration pair → +1-3%
✓ End-to-end seq2seq paradigm shift → +3-7% ⭐
✓ DAI Istanbul foto arşivi → +2-4%
✓ DINOv3-7B backbone upgrade → +1-3%
```
**Cumulative: ~%97 → %98+** (paradigm shift başarılıysa)
### Ay 6-12 (Institutional, long-term)
```
✓ Würzburg konsorsiyum partnership → +3-5%
✓ KVMGM/Müze dijital envanter → +2-5%
✓ RTI pilot (307 tablet) → +2-4%
✓ ControlNet synthesis pipeline → +1-3%
```
**Cumulative: %98+ floor, %99 aspiration**
## Dürüst Uyarı
**Gain'ler overlapping.** Aşağıdaki net beklenti:
| Aşama | Realistic | Stretch |
|---|---|---|
| v4 baseline | %93-95 | — |
| + Ay 1-2 enhancements | %95-96 | %97 |
| + Paradigm shift (2.1) | %96-97 | %98 |
| + Institutional data (Ay 6+) | %97-98 | %98.5 |
| **Theoretical ceiling (198 class Hitit)** | **%98-98.5** | **%99** |
**%99+ için**: Expert paleographer feedback loop + RTI + multi-year veri toplama. Tek başına algoritma değil — **ekosistem inşası** gerekir.
## Önem sırasına göre ilk 5 uygulama
1. **End-to-end seq2seq** (2.1) — paradigm shift, en büyük ROI
2. **3D illumination augmentation** (3.1) — paper-validated +%4
3. **TLHdig photo-transliteration entegrasyonu** (1.1) — zaten veri yakın
4. **Image retrieval exemplar matching** (2.2) — rare class ceiling kaldırır
5. **Active learning loop** (5.1) — sürekli birikim, low-cost
## Kaynaklar (key)
- [SumTablets ACL ML4AL 2024](https://aclanthology.org/2024.ml4al-1.20/)
- [Img2SumGlyphs Stanford 2024](https://cs231n.stanford.edu/2024/papers/img2sumglyphs-transformer-based-ocr-of-sumerian-cuneiform.pdf)
- [Stötzner 3D Cuneiform (arXiv:2308.11277)](https://arxiv.org/abs/2308.11277)
- [DeepScribe JOCCH 2025](https://dl.acm.org/doi/10.1145/3716850)
- [MaiCuBeDa JOAD 2024](https://openarchaeologydata.metajnl.com/articles/10.5334/joad.172)
- [Hethitologie-Portal Mainz](https://www.hethport.uni-wuerzburg.de/HPM/)
- [DINOv3 (arXiv:2508.10104)](https://arxiv.org/abs/2508.10104)
- [BUAL Active Learning](https://arxiv.org/html/2402.15198)
- [NeuralRTI Visual Computer 2021](https://link.springer.com/article/10.1007/s00371-020-01910-9)
- [Embedded Attributes Cuneiform ICFHR 2021](https://link.springer.com/chapter/10.1007/978-3-030-86331-9_19)
- [DAI Istanbul Photo Archive](https://www.dainst.org/en/departments/istanbul/about-us/organisation/photo-archive)
- [Digital Pathways Hittite World](https://arkeonews.net/digital-pathways-to-the-hittite-world-ai-meets-ancient-anatolia/)
- [CDLI](https://cdli.earth/), [ORACC](https://oracc.museum.upenn.edu/)
- [Boğazköy Tabletleri IV (archive.org)](https://archive.org/details/ibot-iv)