| # Unified Dataset Loader | |
| Bu dosya `datasets/unified/` için PyTorch adapter katmanını açıklar. | |
| ## Dosyalar | |
| - `src/unified_dataset.py` | |
| - `src/unified_loader_demo.py` | |
| - `configs/unified_classification.yaml` | |
| ## Desteklenen görevler | |
| ### Classification | |
| Manifest: `datasets/unified/classification/manifest.jsonl` | |
| Desteklenen storage tipleri: | |
| - filesystem (`fs`) | |
| - tar archive (`tar`) | |
| - zip archive (`zip`) | |
| ### Detection | |
| Manifest: `datasets/unified/detection/manifest.jsonl` | |
| Format: YOLO tek sınıf detection. | |
| ### Text | |
| Manifest: `datasets/unified/text/corpus.jsonl` | |
| ## Hızlı test | |
| ```bash | |
| cd hitit_ocr/src | |
| python unified_loader_demo.py --task classification --batch-size 8 --min-count 20 | |
| python unified_loader_demo.py --task detection --batch-size 4 | |
| python unified_loader_demo.py --task text --sources tlhdig | |
| ``` | |
| ## Not | |
| Bu loader, büyük arşivleri tamamını açmadan doğrudan manifest üzerinden okumak için tasarlanmıştır. | |