comments: true
文本检测模块使用教程
一、概述
文本检测模块是OCR(光学字符识别)系统中的关键组成部分,负责在图像中定位和标记出包含文本的区域。该模块的性能直接影响到整个OCR系统的准确性和效率。文本检测模块通常会输出文本区域的边界框(Bounding Boxes),这些边界框将作为输入传递给文本识别模块进行后续处理。
二、支持模型列表
推理耗时仅包含模型推理耗时,不包含前后处理耗时。表格中的“常规模式”耗时对应本地
paddle_static推理引擎。
| 模型 | 模型下载链接 | 检测Hmean(%) | GPU推理耗时(ms) [常规模式 / 高性能模式] |
CPU推理耗时(ms) [常规模式 / 高性能模式] |
模型存储大小(MB) | 介绍 |
|---|---|---|---|---|---|---|
| PP-OCRv6_medium_det | 推理模型/训练模型 | 86.2* | - / - | - / - | 59.4 | PP-OCRv6 的中等规模文本检测模型,基于 PPLCNetV4 + RepLKFPN,精度最高,适合服务端部署 |
| PP-OCRv6_small_det | 推理模型/训练模型 | 84.1* | - / - | - / - | 9.6 | PP-OCRv6 的小型文本检测模型,兼顾精度与效率,适合移动端部署 |
| PP-OCRv6_tiny_det | 推理模型/训练模型 | 80.6* | - / - | - / - | 1.9 | PP-OCRv6 的超轻量文本检测模型(0.43M 参数),适合端侧/IoT 场景 |
| PP-OCRv5_server_det | 推理模型/训练模型 | 83.8 | 89.55 / 70.19 | 383.15 / 383.15 | 84.3 | PP-OCRv5 的服务端文本检测模型,精度更高,适合在性能较好的服务器上部署 |
| PP-OCRv5_mobile_det | 推理模型/训练模型 | 79.0 | 10.67 / 6.36 | 57.77 / 28.15 | 4.7 | PP-OCRv5 的移动端文本检测模型,效率更高,适合在端侧设备部署 |
| PP-OCRv4_server_det | 推理模型/训练模型 | 69.2 | 127.82 / 98.87 | 585.95 / 489.77 | 109 | PP-OCRv4 的服务端文本检测模型,精度更高,适合在性能较好的服务器上部署 |
| PP-OCRv4_mobile_det | 推理模型/训练模型 | 63.8 | 9.87 / 4.17 | 56.60 / 20.79 | 4.7 | PP-OCRv4 的移动端文本检测模型,效率更高,适合在端侧设备部署 |
*注:PP-OCRv6 指标基于内部多场景评估集测得,PP-OCRv5/v4 指标基于通用评估集测得,两者评估集不同,指标不可直接对比。
测试环境说明:
- 性能测试环境
- 测试数据集:PaddleOCR3.0 全新构建多语种(包含中、繁、英、日),覆盖街景、网图、文档、手写、模糊、旋转、扭曲等多个场景的文本检测数据集,包含2677 张图片。
- 硬件配置:
- GPU:NVIDIA Tesla T4
- CPU:Intel Xeon Gold 6271C @ 2.60GHz
- 软件环境:
- Ubuntu 20.04 / CUDA 11.8 / cuDNN 8.9 / TensorRT 8.6.1.6
- paddlepaddle-gpu 3.0.0 / paddleocr 3.0.3
- 推理模式说明
| 模式 | GPU配置 | CPU配置 | 加速技术组合 |
|---|---|---|---|
| 常规模式 | FP32精度 / 无TRT加速 | FP32精度 / 8线程 | PaddleInference |
| 高性能模式 | 选择先验精度类型和加速策略的最优组合 | FP32精度 / 8线程 | 选择先验最优后端(Paddle/OpenVINO/TRT等) |
三、快速开始
❗ 在快速开始前,请先安装 PaddleOCR 的 wheel 包,详细请参考 安装教程。
3.1 环境准备
3.1.1 基础安装
# 安装基础版本(仅包含文本检测功能)
pip install paddleocr
# 安装完整版本(包含所有功能)
pip install "paddleocr[all]"
3.1.2 环境验证
# 验证安装是否成功
import paddleocr
print(f"PaddleOCR版本: {paddleocr.__version__}")
# 验证GPU是否可用
import paddle
print(f"Paddle版本: {paddle.__version__}")
print(f"GPU可用: {paddle.is_compiled_with_cuda()}")
print(f"GPU数量: {paddle.device.cuda.device_count()}")
3.2 命令行快速体验
使用一行命令即可快速体验:
# 使用默认模型进行文本检测
paddleocr text_detection -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/general_ocr_001.png
# 指定模型
paddleocr text_detection -i general_ocr_001.png --model_name PP-OCRv6_small_det
上述示例默认使用 paddle_static 推理引擎,请先按照飞桨框架安装完成 PaddlePaddle 安装。
如果选择 transformers 作为推理引擎,请确保已配置 Transformers 环境,然后执行如下命令:
# 使用 transformers 引擎进行推理
paddleocr text_detection -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/general_ocr_001.png \
--engine transformers
如果选择 onnxruntime 作为推理引擎,请确保已配置 ONNX Runtime 环境,然后执行如下命令:
# 使用 onnxruntime 引擎进行推理
paddleocr text_detection -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/general_ocr_001.png \
--engine onnxruntime
在大多数场景下,默认的 paddle_static 推理引擎通常具备更好的推理性能,建议优先使用。
注:PaddleOCR 官方模型默认从 HuggingFace 获取,如运行环境访问 HuggingFace 不便,可通过环境变量修改模型源为 BOS:PADDLE_PDX_MODEL_SOURCE="BOS",未来将支持更多主流模型源;
3.3 Python API 使用
您也可以将文本检测的模块中的模型推理集成到您的项目中。运行以下代码前,请您下载示例图片到本地。
from paddleocr import TextDetection
model = TextDetection()
output = model.predict("general_ocr_001.png", batch_size=1)
for res in output:
res.print()
res.save_to_img(save_path="./output/")
res.save_to_json(save_path="./output/res.json")
上述示例默认使用 paddle_static 推理引擎,请先按照飞桨框架安装完成 PaddlePaddle 安装。
如果选择 transformers 作为推理引擎,请确保已配置 Transformers 环境,然后执行如下代码:
from paddleocr import TextDetection
model = TextDetection(engine="transformers")
output = model.predict("general_ocr_001.png", batch_size=1)
for res in output:
res.print()
res.save_to_img(save_path="./output/")
res.save_to_json(save_path="./output/res.json")
如果选择 onnxruntime 作为推理引擎,请确保已配置 ONNX Runtime 环境,然后执行如下代码:
from paddleocr import TextDetection
model = TextDetection(engine="onnxruntime")
output = model.predict("general_ocr_001.png", batch_size=1)
for res in output:
res.print()
res.save_to_img(save_path="./output/")
res.save_to_json(save_path="./output/res.json")
在大多数场景下,默认的 paddle_static 推理引擎通常具备更好的推理性能,建议优先使用。
训练后的模型如果想使用 paddle_dynamic 或 transformers 引擎,请参考后文 推理引擎 中的 权重转换 部分将模型由 pdparams 格式通过 PaddleX 转换为 safetensors 格式。
运行后,得到的结果为:
{'res': {'input_path': 'general_ocr_001.png', 'page_index': None, 'dt_polys': array([[[ 75, 549],
...,
[ 77, 586]],
...,
[[ 31, 406],
...,
[ 34, 455]]], dtype=int16), 'dt_scores': [0.873949039891189, 0.8948166013613552, 0.8842595305917041, 0.876953790920377]}}
运行结果参数含义如下:
input_path:表示输入待预测图像的路径page_index:如果输入是PDF文件,则表示当前是PDF的第几页,否则为Nonedt_polys:表示预测的文本检测框,其中每个文本检测框包含一个四边形的四个顶点。其中每个顶点都是一个列表,分别表示该顶点的x坐标和y坐标dt_scores:表示预测的文本检测框的置信度
相关方法、参数等说明如下:
TextDetection类实例化文本检测模型,具体说明如下:参数 参数说明 参数类型 默认值 model_name含义:模型名称。
说明: 如果设置为None,则使用PP-OCRv6_medium_det。str|NoneNonemodel_dir含义:模型存储路径。 str|NoneNonedevice含义:用于推理的设备。
说明: 例如:"cpu"、"gpu"、"npu"、"gpu:0"、"gpu:0,1"。
如指定多个设备,将进行并行推理。
默认情况下,优先使用 GPU 0;若不可用则使用 CPU。str|NoneNoneengine含义:推理引擎。
说明:支持None(默认值)、paddle、paddle_static、paddle_dynamic、transformers、onnxruntime。保持为默认值None时,本地推理默认使用paddle_static引擎。详细说明、取值、兼容性规则与示例请参见 推理引擎与配置说明。str|NoneNoneengine_config含义:推理引擎配置。
说明:推荐与engine搭配使用。详细字段、兼容性规则与示例请参见 推理引擎与配置说明。dict|NoneNoneenable_hpi含义:是否启用高性能推理。 boolFalseuse_tensorrt含义:是否启用 Paddle Inference 的 TensorRT 子图引擎。
说明: 如果模型不支持通过 TensorRT 加速,即使设置了此标志,也不会使用加速。
对于 CUDA 11.8 版本的飞桨,兼容的 TensorRT 版本为 8.x(x>=6),建议安装 TensorRT 8.6.1.6。
boolFalseprecision含义:当使用 Paddle Inference 的 TensorRT 子图引擎时设置的计算精度。
说明: 可选项:"fp32"、"fp16"。str"fp32"enable_mkldnn含义:是否启用 MKL-DNN 加速推理。
说明: 如果 MKL-DNN 不可用或模型不支持通过 MKL-DNN 加速,即使设置了此标志,也不会使用加速。
boolTruemkldnn_cache_capacity含义:MKL-DNN 缓存容量。 int10cpu_threads含义:在 CPU 上推理时使用的线程数量。 int10limit_side_len含义:检测的图像边长限制: int表示边长限制数值。
说明: 如果设置为None,将使用模型默认配置。int|NoneNonelimit_type含义:检测的图像边长限制,检测的边长限制类型。
说明:"min"表示保证图像最短边不小于det_limit_side_len,"max"表示保证图像最长边不大于limit_side_len。如果设置为None,将使用模型默认配置。str|NoneNonemax_side_limit含义:检测的图像边长最大值限制: int限制输入检测模型的图片最长边。
说明: 如果设置为None,将使用模型默认配置。int|NoneNonethresh含义:像素得分阈值。输出概率图中得分大于该阈值的像素点被认为是文本像素。
说明: 如果设置为None,将使用模型默认配置。float|NoneNonebox_thresh含义:检测结果边框内,所有像素点的平均得分大于该阈值时,该结果会被认为是文字区域。
说明: 如果设置为None,将使用模型默认配置。float|NoneNoneunclip_ratio含义:Vatti clipping算法的扩张系数,使用该方法对文字区域进行扩张。
说明: 如果设置为None,将使用模型默认配置。float|NoneNoneinput_shape含义:模型输入图像尺寸,格式为 (C, H, W)。tuple|NoneNone- 调用文本检测模型的
predict()方法进行推理预测,该方法会返回一个结果列表。另外,本模块还提供了predict_iter()方法。两者在参数接受和结果返回方面是完全一致的,区别在于predict_iter()返回的是一个generator,能够逐步处理和获取预测结果,适合处理大型数据集或希望节省内存的场景。可以根据实际需求选择使用这两种方法中的任意一种。predict()方法参数有input、batch_size、limit_side_len、limit_type、thresh、box_thresh、max_candidates、unclip_ratio,具体说明如下:
参数 参数说明 参数类型 默认值 input含义:待预测数据,支持多种输入类型,必填。
说明:- Python Var:如
numpy.ndarray表示的图像数据 - str:如图像文件或者PDF文件的本地路径:
/root/data/img.jpg;如URL链接,如图像文件或PDF文件的网络URL:示例;如本地目录,该目录下需包含待预测图像,如本地路径:/root/data/(当前不支持目录中包含PDF文件的预测,PDF文件需要指定到具体文件路径) - list:列表元素需为上述类型数据,如
[numpy.ndarray, numpy.ndarray],["/root/data/img1.jpg", "/root/data/img2.jpg"],["/root/data1", "/root/data2"]
Python Var|str|listbatch_size含义:批大小
说明: 可设置为任意正整数。int1 limit_side_len含义:参数含义与实例化参数基本相同。
说明: 设置为None表示使用实例化参数,否则该参数优先级更高。int|NoneNonelimit_type含义:参数含义与实例化参数基本相同。
说明: 设置为None表示使用实例化参数,否则该参数优先级更高。str|NoneNonethresh含义:参数含义与实例化参数基本相同。
说明: 设置为None表示使用实例化参数,否则该参数优先级更高。float|NoneNonebox_thresh含义:参数含义与实例化参数基本相同。
说明: 设置为None表示使用实例化参数,否则该参数优先级更高。float|NoneNoneunclip_ratio含义:参数含义与实例化参数基本相同。
说明: 设置为None表示使用实例化参数,否则该参数优先级更高。float|NoneNone- 对预测结果进行处理,每个样本的预测结果均为对应的Result对象,且支持打印、保存为图片、保存为
json文件的操作:
方法 方法说明 参数 参数类型 参数说明 默认值 print()打印结果到终端 format_jsonbool是否对输出内容进行使用 JSON缩进格式化Trueindentint指定缩进级别,以美化输出的 JSON数据,使其更具可读性,仅当format_json为True时有效4 ensure_asciibool控制是否将非 ASCII字符转义为Unicode。设置为True时,所有非ASCII字符将被转义;False则保留原始字符,仅当format_json为True时有效Falsesave_to_json()将结果保存为json格式的文件 save_pathstr保存的文件路径,当为目录时,保存文件命名与输入文件类型命名一致 无 indentint指定缩进级别,以美化输出的 JSON数据,使其更具可读性,仅当format_json为True时有效4 ensure_asciibool控制是否将非 ASCII字符转义为Unicode。设置为True时,所有非ASCII字符将被转义;False则保留原始字符,仅当format_json为True时有效Falsesave_to_img()将结果保存为图像格式的文件 save_pathstr保存的文件路径,当为目录时,保存文件命名与输入文件类型命名一致 无 - 此外,也支持通过属性获取带结果的可视化图像和预测结果,具体如下:
属性 属性说明 json获取预测的 json格式的结果img获取格式为 dict的可视化图像四、二次开发
如果以上模型在您的场景上效果仍然不理想,您可以尝试以下步骤进行二次开发,此处以训练
PP-OCRv5_server_det举例,其他模型替换对应配置文件即可。首先,您需要准备文本检测的数据集,可以参考文本检测 Demo 数据的格式准备,准备好后,即可按照以下步骤进行模型训练和导出,导出后,可以将模型快速集成到上述 API 中。此处以文本检测 Demo 数据示例。在训练模型之前,请确保已经按照安装文档安装了 PaddleOCR 所需要的依赖。4.1 数据集、预训练模型准备
4.1.1 准备数据集
# 下载示例数据集 wget https://paddle-model-ecology.bj.bcebos.com/paddlex/data/ocr_det_dataset_examples.tar tar -xf ocr_det_dataset_examples.tar4.1.2 下载预训练模型
# 下载 PP-OCRv5_server_det 预训练模型 wget https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv5_server_det_pretrained.pdparams4.2 模型训练
PaddleOCR 对代码进行了模块化,训练
PP-OCRv5_server_det识别模型时需要使用PP-OCRv5_server_det的配置文件。训练命令如下:
#单卡训练 (默认训练方式) python3 tools/train.py -c configs/det/PP-OCRv5/PP-OCRv5_server_det.yml \ -o Global.pretrained_model=./PP-OCRv5_server_det_pretrained.pdparams \ Train.dataset.data_dir=./ocr_det_dataset_examples \ Train.dataset.label_file_list='[./ocr_det_dataset_examples/train.txt]' \ Eval.dataset.data_dir=./ocr_det_dataset_examples \ Eval.dataset.label_file_list='[./ocr_det_dataset_examples/val.txt]' #多卡训练,通过--gpus参数指定卡号 python3 -m paddle.distributed.launch --gpus '0,1,2,3' tools/train.py \ -c configs/det/PP-OCRv5/PP-OCRv5_server_det.yml \ -o Global.pretrained_model=./PP-OCRv5_server_det_pretrained.pdparams \ Train.dataset.data_dir=./ocr_det_dataset_examples \ Train.dataset.label_file_list='[./ocr_det_dataset_examples/train.txt]' \ Eval.dataset.data_dir=./ocr_det_dataset_examples \ Eval.dataset.label_file_list='[./ocr_det_dataset_examples/val.txt]'4.3 模型评估
您可以评估已经训练好的权重,如,
output/PP-OCRv5_server_det/best_accuracy.pdprams,使用如下命令进行评估:# 注意将pretrained_model的路径设置为本地路径。若使用自行训练保存的模型,请注意修改路径和文件名为{path/to/weights}/{model_name}。 # demo 测试集评估 python3 tools/eval.py -c configs/det/PP-OCRv5/PP-OCRv5_server_det.yml \ -o Global.pretrained_model=output/PP-OCRv5_server_det/best_accuracy.pdparams \ Eval.dataset.data_dir=./ocr_det_dataset_examples \ Eval.dataset.label_file_list='[./ocr_det_dataset_examples/val.txt]'4.4 模型导出
python3 tools/export_model.py -c configs/det/PP-OCRv5/PP-OCRv5_server_det.yml -o \ Global.pretrained_model=output/PP-OCRv5_server_det/best_accuracy.pdparams \ Global.save_inference_dir="./PP-OCRv5_server_det_infer/"导出模型后,静态图模型会存放于当前目录的
./PP-OCRv5_server_det_infer/中,在该目录下,您将看到如下文件:./PP-OCRv5_server_det_infer/ ├── inference.json ├── inference.pdiparams ├── inference.yml至此,二次开发完成,该静态图模型可以直接集成到 PaddleOCR 的 API 中。
训练后的模型如果想使用
paddle_dynamic或transformers引擎,请参考后文 推理引擎 中的 权重转换 部分将模型由pdparams格式通过 PaddleX 转换为safetensors格式。五、推理引擎 {#五推理引擎}
关于推理引擎的详细说明、取值、兼容性规则与示例请参见 推理引擎与配置说明。
5.1 速度数据
model engine Preprocessing (ms) Inference (ms) PostProcessing (ms) End-to-End (ms) PP-OCRv5_mobile_det paddle_static 11.43 13.80 2.15 27.58 paddle_dynamic 11.70 48.36 2.47 62.71 transformers 14.05 18.45 3.98 37.54 onnxruntime 9.98 5.70 2.04 17.90 PP-OCRv5_server_det paddle_static 13.24 26.91 2.63 43.05 paddle_dynamic 11.82 45.56 2.52 60.10 transformers 14.56 13.76 7.44 36.76 onnxruntime 10.01 13.76 1.92 25.86 PP-OCRv6_medium_det paddle_static 13.89 16.02 2.49 33.14 paddle_dynamic 11.42 26.23 2.30 40.10 transformers 11.40 8.57 8.35 29.57 onnxruntime 10.80 13.06 2.19 26.18 PP-OCRv6_small_det paddle_static 10.91 10.97 2.41 24.45 paddle_dynamic 11.56 22.17 2.66 36.55 transformers 11.70 7.34 3.87 23.89 onnxruntime 11.32 7.46 2.54 21.49 PP-OCRv6_tiny_det paddle_static 11.14 10.71 2.84 24.85 paddle_dynamic 11.52 21.70 2.94 36.31 transformers 10.90 6.99 4.13 23.00 onnxruntime 11.19 6.35 2.79 20.49 测试环境说明:
- 测试数据:示例图片
- 硬件配置:
- GPU:NVIDIA A100 40G
- CPU:Intel(R) Xeon(R) Gold 6248 CPU @ 2.50GHz
- 软件环境:
- Ubuntu 22.04 / CUDA 12.6 / cuDNN 9.5
- paddlepaddle-gpu 3.2.1 / paddleocr 3.5 / transformers 5.4.0 / torch 2.10 / onnxruntime-gpu 1.23.2
5.2 权重转换 {#52-权重转换}
使用推理引擎时,系统会自动下载官方预训练模型。若需使用自训练模型配合
paddle_dynamic或transformers引擎,请参考 PaddleX 文本检测模块权重转换 部分,将pdparams格式通过 PaddleX 转换为safetensors格式,即可无缝集成到 PaddleOCR 的 API 中进行推理。若需使用自训练模型配合onnxruntime引擎,请参考PaddleX 获取 ONNX 模型获取onnx模型,即可无缝集成到 PaddleOCR 的 API 中进行推理。六、常见问题与解决方案
6.1 性能优化问题
Q: GPU推理速度慢怎么办?
A: 可以通过以下方式优化: (1)启用高性能推理:设置
enable_hpi=True,自动选择最优加速策略 (2)启用TensorRT加速:设置use_tensorrt=True,需要CUDA 11.8+和TensorRT 8.6+ (3)使用半精度:设置precision="fp16",可以显著提升速度 (4)调整批处理大小:根据显存大小设置合适的batch_size(5)使用轻量模型:在精度要求不高时使用PP-OCRv6_small/PP-OCRv6_tiny等轻量级模型Q: GPU内存不足(CUDA out of memory)怎么办?
A: 可以通过以下方式解决: (1)减小批处理大小:将
batch_size设置为1 (2)减小图像尺寸:设置det_limit_side_len=640(3)启用内存优化:设置enable_memory_optim=True(4)限制GPU内存使用:设置gpu_mem=200(5)使用轻量模型:切换到PP-OCRv6_small/PP-OCRv6_tiny等轻量级模型6.2 检测精度问题
Q: 检测框不准确或漏检怎么办?
A: 可以通过以下方式优化: (1)调整检测参数:
model = TextDetection( thresh=0.3, # 降低像素阈值 box_thresh=0.5, # 降低检测框阈值 unclip_ratio=2.0, # 增大扩张系数 limit_side_len=1216 # 增大图像尺寸 )(2)使用更精确的后处理模式:设置
det_db_score_mode="slow"(3)启用膨胀处理:设置use_dilation=True6.3 模型选择建议
Q: 如何选择合适的模型?
A: 根据应用场景选择:
- 服务器高精度场景:使用
PP-OCRv6_medium_det,精度最高 - 移动端部署:使用
PP-OCRv6_small_det,兼顾精度与效率 - 端侧/IoT:使用
PP-OCRv6_tiny_det,模型最小 - 实时处理:使用
PP-OCRv6_small_det或PP-OCRv6_tiny_det,推理更快
6.4 参数调优建议
Q: 如何调优检测参数?
A: 通过参数
limit_type和limit_side_len来对图片的尺寸进行限制,limit_type可选参数为[max,min],limit_side_len为正整数,一般设置为 32 的倍数,比如 960。如果输入图形分辨率不大,建议使用
limit_type=min和limit_side_len=960节省计算资源的同时能获得最佳检测效果。如果输入图片的分辨率比较大,而且想使用更大的分辨率预测,可以设置limit_side_len为想要的值,比如 1216。Q: 不同场景的参数配置建议?
A:
- 高精度配置:
limit_side_len=1216,thresh=0.3,box_thresh=0.5,unclip_ratio=1.5 - 高速度配置:
limit_side_len=640,thresh=0.5,box_thresh=0.7,unclip_ratio=1.2 - 平衡配置:
limit_side_len=960,thresh=0.4,box_thresh=0.6,unclip_ratio=1.5
6.5 错误处理
Q: 模型加载失败怎么办?
A: (1)检查模型路径是否正确 (2)确保模型文件完整(inference.pdmodel, inference.pdiparams, inference.json) (3)设置模型下载源:
os.environ['PADDLE_PDX_MODEL_SOURCE'] = 'BOS'(4)使用本地模型:指定model_dir参数Q: 输入数据格式错误怎么办?
A: (1)检查图像文件是否存在 (2)确保图像格式正确(支持PNG、JPG、JPEG) (3)验证图像尺寸(最小10x10像素) (4)检查图像是否为3通道格式
- 调用文本检测模型的