Yolo / README.md

rabbit1906

Deploy DocLayout-YOLO ONNX weights and inference server

aa9fdf6 verified about 1 month ago

2.19 kB

---
license: apache-2.0
tags:
  - document-layout-analysis
  - yolo
  - onnx
  - vision
  - pdf-processing
pipeline_tag: object-detection
library_name: onnx
---
# DocLayout-YOLO (DocStructBench 1024x1024 ONNX)

Mô hình Thị giác Máy tính chuyên dụng cho việc **Nhận diện và Bóc tách Bố cục Tài liệu Số (Document Layout Analysis)**, được tối ưu hóa cho hệ thống dịch thuật và xử lý văn bản cao cấp.

## 📌 Các Lớp Đối Tượng Nhận Diện (Target Classes)
Mô hình phát hiện chính xác các khối cấu trúc trang tài liệu:
1. `title`: Tiêu đề chính, tiêu đề phụ, đầu mục tài liệu.
2. `text`: Khối văn bản thông thường, đoạn văn, danh sách.
3. `table`: Vùng bảng biểu, lưới dữ liệu, ma trận phức tạp.
4. `figure`: Hình ảnh minh họa, sơ đồ, biểu đồ.
5. `formula`: Công thức toán học (inline & display formulas).
6. `caption`: Chú thích hình ảnh và bảng biểu.

---

## ⚡ Tăng Tốc Phần Cứng (Hardware Acceleration)
* **GPU (NVIDIA CUDA):** Chạy thông qua `onnxruntime-gpu` (hỗ trợ CUDA 11.x / 12.x và TensorRT).
* **CPU:** Tự động fallback chạy đa luồng tối ưu trên CPU nếu không có GPU.

---

## 🚀 Hướng Dẫn Sử Dụng Nhanh (Quick Start)

### 1. Cài đặt thư viện phụ thuộc
```bash
# Nếu dùng GPU NVIDIA:
pip install onnx onnxruntime-gpu opencv-python-headless numpy
# Nếu dùng CPU:
pip install onnx onnxruntime opencv-python-headless numpy
```

### 2. Tải mô hình từ Hugging Face
```python
from huggingface_hub import hf_hub_download
model_path = hf_hub_download(
    repo_id="rabbit1906/Yolo",
    filename="doclayout_yolo_docstructbench_imgsz1024.onnx"
)
```

### 3. Chạy dự đoán bố cục trên ảnh
```bash
python inference.py --image page_1.png --model doclayout_yolo_docstructbench_imgsz1024.onnx
```

### 4. Triển khai API Server (FastAPI)
```bash
pip install fastapi uvicorn
uvicorn app:app --host 0.0.0.0 --port 8000
```
API endpoint: `POST http://localhost:8000/predict` (nhận ảnh trang PDF và trả về tọa độ các khối bounding boxes).

	---
	license: apache-2.0
	tags:
	- document-layout-analysis
	- yolo
	- onnx
	- vision
	- pdf-processing
	pipeline_tag: object-detection
	library_name: onnx
	---

	# DocLayout-YOLO (DocStructBench 1024x1024 ONNX)

	Mô hình Thị giác Máy tính chuyên dụng cho việc Nhận diện và Bóc tách Bố cục Tài liệu Số (Document Layout Analysis), được tối ưu hóa cho hệ thống dịch thuật và xử lý văn bản cao cấp.

	## 📌 Các Lớp Đối Tượng Nhận Diện (Target Classes)
	Mô hình phát hiện chính xác các khối cấu trúc trang tài liệu:
	1. `title`: Tiêu đề chính, tiêu đề phụ, đầu mục tài liệu.
	2. `text`: Khối văn bản thông thường, đoạn văn, danh sách.
	3. `table`: Vùng bảng biểu, lưới dữ liệu, ma trận phức tạp.
	4. `figure`: Hình ảnh minh họa, sơ đồ, biểu đồ.
	5. `formula`: Công thức toán học (inline & display formulas).
	6. `caption`: Chú thích hình ảnh và bảng biểu.

	---

	## ⚡ Tăng Tốc Phần Cứng (Hardware Acceleration)
	* GPU (NVIDIA CUDA): Chạy thông qua `onnxruntime-gpu` (hỗ trợ CUDA 11.x / 12.x và TensorRT).
	* CPU: Tự động fallback chạy đa luồng tối ưu trên CPU nếu không có GPU.

	---

	## 🚀 Hướng Dẫn Sử Dụng Nhanh (Quick Start)

	### 1. Cài đặt thư viện phụ thuộc
	```bash
	# Nếu dùng GPU NVIDIA:
	pip install onnx onnxruntime-gpu opencv-python-headless numpy

	# Nếu dùng CPU:
	pip install onnx onnxruntime opencv-python-headless numpy
	```

	### 2. Tải mô hình từ Hugging Face
	```python
	from huggingface_hub import hf_hub_download

	model_path = hf_hub_download(
	repo_id="rabbit1906/Yolo",
	filename="doclayout_yolo_docstructbench_imgsz1024.onnx"
	)
	```

	### 3. Chạy dự đoán bố cục trên ảnh
	```bash
	python inference.py --image page_1.png --model doclayout_yolo_docstructbench_imgsz1024.onnx
	```

	### 4. Triển khai API Server (FastAPI)
	```bash
	pip install fastapi uvicorn
	uvicorn app:app --host 0.0.0.0 --port 8000
	```
	API endpoint: `POST http://localhost:8000/predict` (nhận ảnh trang PDF và trả về tọa độ các khối bounding boxes).