code/README_UNIFIED.md

Unified Dataset Loader

Bu dosya datasets/unified/ için PyTorch adapter katmanını açıklar.

Dosyalar

• src/unified_dataset.py
• src/unified_loader_demo.py
• configs/unified_classification.yaml

Desteklenen görevler

Classification

Manifest: datasets/unified/classification/manifest.jsonl Desteklenen storage tipleri:

• filesystem (fs)
• tar archive (tar)
• zip archive (zip)

Detection

Manifest: datasets/unified/detection/manifest.jsonl Format: YOLO tek sınıf detection.

Text

Manifest: datasets/unified/text/corpus.jsonl

Hızlı test

cd hitit_ocr/src
python unified_loader_demo.py --task classification --batch-size 8 --min-count 20
python unified_loader_demo.py --task detection --batch-size 4
python unified_loader_demo.py --task text --sources tlhdig

Not

Bu loader, büyük arşivleri tamamını açmadan doğrudan manifest üzerinden okumak için tasarlanmıştır.