| --- |
| comments: true |
| --- |
| |
| # 文本识别模块使用教程 |
|
|
| ## 一、概述 |
|
|
| 文本识别模块是OCR(光学字符识别)系统中的核心部分,负责从图像中的文本区域提取出文本信息。该模块的性能直接影响到整个OCR系统的准确性和效率。文本识别模块通常接收文本检测模块输出的文本区域的边界框(Bounding Boxes)作为输入,然后通过复杂的图像处理和深度学习算法,将图像中的文本转化为可编辑和可搜索的电子文本。文本识别结果的准确性,对于后续的信息提取和数据挖掘等应用至关重要。 |
|
|
| ## 二、支持模型列表 |
|
|
| > 推理耗时仅包含模型推理耗时,不包含前后处理耗时。表格中的“常规模式”耗时对应本地 <code>paddle_static</code> 推理引擎。 |
| |
| <table> |
| <tr> |
| <th>模型</th><th>模型下载链接</th> |
| <th>识别 Avg Accuracy(%)</th> |
| <th>GPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>CPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>模型存储大小(MB)</th> |
| <th>介绍</th> |
| </tr> |
| <tr> |
| <td>PP-OCRv6_medium_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/PP-OCRv6_medium_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv6_medium_rec_pretrained.pdparams">训练模型</a></td> |
| <td>83.2*</td> |
| <td>- / -</td> |
| <td>- / -</td> |
| <td>73.3</td> |
| <td rowspan="3">PP-OCRv6 文本识别模型,基于 PPLCNetV4 + LightSVTR + CTC/NRTR 多头解码器,单模型支持 50 种语言(tiny 档 49 种)。medium 档相比 PP-OCRv5_server 综合识别精度提升 5.1%。</td> |
| </tr> |
| <tr> |
| <td>PP-OCRv6_small_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/PP-OCRv6_small_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv6_small_rec_pretrained.pdparams">训练模型</a></td> |
| <td>81.3*</td> |
| <td>- / -</td> |
| <td>- / -</td> |
| <td>20.4</td> |
| </tr> |
| <tr> |
| <td>PP-OCRv6_tiny_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/PP-OCRv6_tiny_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv6_tiny_rec_pretrained.pdparams">训练模型</a></td> |
| <td>73.5*</td> |
| <td>- / -</td> |
| <td>- / -</td> |
| <td>4.4</td> |
| </tr> |
| <tr> |
| <td>PP-OCRv5_server_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| PP-OCRv5_server_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv5_server_rec_pretrained.pdparams">训练模型</a></td> |
| <td>86.38</td> |
| <td>8.46 / 2.36</td> |
| <td>31.21 / 31.21</td> |
| <td>81</td> |
| <td rowspan="2">PP-OCRv5_rec 是新一代文本识别模型。该模型致力于以单一模型高效、精准地支持简体中文、繁体中文、英文、日文四种主要语言,以及手写、竖版、拼音、生僻字等复杂文本场景的识别。在保持识别效果的同时,兼顾推理速度和模型鲁棒性,为各种场景下的文档理解提供高效、精准的技术支撑。</td> |
| </tr> |
| <tr> |
| <td>PP-OCRv5_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| PP-OCRv5_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv5_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>81.29</td> |
| <td>5.43 / 1.46</td> |
| <td>21.20 / 5.32</td> |
| <td>16</td> |
| </tr> |
| <tr> |
| <td>PP-OCRv4_server_rec_doc</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| PP-OCRv4_server_rec_doc_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv4_server_rec_doc_pretrained.pdparams">训练模型</a></td> |
| <td>86.58</td> |
| <td>8.69 / 2.78</td> |
| <td>37.93 / 37.93</td> |
| <td>182</td> |
| <td>PP-OCRv4_server_rec_doc是在PP-OCRv4_server_rec的基础上,在更多中文文档数据和PP-OCR训练数据的混合数据训练而成,增加了部分繁体字、日文、特殊字符的识别能力,可支持识别的字符为1.5万+,除文档相关的文字识别能力提升外,也同时提升了通用文字的识别能力</td> |
| </tr> |
| <tr> |
| <td>PP-OCRv4_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/PP-OCRv4_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv4_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>78.74</td> |
| <td>5.26 / 1.12</td> |
| <td>17.48 / 3.61</td> |
| <td>10.5</td> |
| <td>PP-OCRv4的轻量级识别模型,推理效率高,可以部署在包含端侧设备的多种硬件设备中</td> |
| </tr> |
| <tr> |
| <td>PP-OCRv4_server_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/PP-OCRv4_server_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv4_server_rec_pretrained.pdparams">训练模型</a></td> |
| <td>85.19</td> |
| <td>8.75 / 2.49</td> |
| <td>36.93 / 36.93</td> |
| <td>173</td> |
| <td>PP-OCRv4的服务器端模型,推理精度高,可以部署在多种不同的服务器上</td> |
| </tr> |
| <tr> |
| <td>en_PP-OCRv4_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| en_PP-OCRv4_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/en_PP-OCRv4_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>70.39</td> |
| <td>4.81 / 1.23</td> |
| <td>17.20 / 4.18</td> |
| <td>7.5</td> |
| <td>基于PP-OCRv4识别模型训练得到的超轻量英文识别模型,支持英文、数字识别</td> |
| </tr> |
| </table> |
|
|
| > *注:PP-OCRv6 指标基于内部多场景评估集测得,PP-OCRv5/v4 指标基于通用评估集测得,两者评估集不同,指标不可直接对比。 |
| |
| > ❗ 以上列出的是文本识别模块重点支持的<b>4个核心模型</b>,该模块总共支持<b>20个全量模型</b>,包含多个多语言文本识别模型,完整的模型列表如下: |
| |
| <details><summary> 👉模型列表详情</summary> |
| |
| * <b>PP-OCRv6 多场景模型</b> |
|
|
| <table> |
| <tr> |
| <th>模型</th><th>模型下载链接</th> |
| <th>识别 Avg Accuracy(%)</th> |
| <th>GPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>CPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>模型存储大小(MB)</th> |
| <th>介绍</th> |
| </tr> |
| </table> |
|
|
| * <b>PP-OCRv5 多场景模型</b> |
|
|
| <table> |
| <tr> |
| <th>模型</th><th>模型下载链接</th> |
| <th>中文识别 Avg Accuracy(%)</th> |
| <th>英文识别 Avg Accuracy(%)</th> |
| <th>繁体中文识别 Avg Accuracy(%)</th> |
| <th>日文识别 Avg Accuracy(%)</th> |
| <th>GPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>CPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>模型存储大小(MB)</th> |
| <th>介绍</th> |
| </tr> |
| <tr> |
| <td>PP-OCRv6_medium_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/PP-OCRv6_medium_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv6_medium_rec_pretrained.pdparams">训练模型</a></td> |
| <td>83.2*</td> |
| <td>- / -</td> |
| <td>- / -</td> |
| <td>73.3</td> |
| <td rowspan="3">PP-OCRv6 文本识别模型,基于 PPLCNetV4 + LightSVTR + CTC/NRTR 多头解码器,单模型支持 50 种语言(tiny 档 49 种)。medium 档相比 PP-OCRv5_server 综合识别精度提升 5.1%。</td> |
| </tr> |
| <tr> |
| <td>PP-OCRv6_small_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/PP-OCRv6_small_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv6_small_rec_pretrained.pdparams">训练模型</a></td> |
| <td>81.3*</td> |
| <td>- / -</td> |
| <td>- / -</td> |
| <td>20.4</td> |
| </tr> |
| <tr> |
| <td>PP-OCRv6_tiny_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/PP-OCRv6_tiny_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv6_tiny_rec_pretrained.pdparams">训练模型</a></td> |
| <td>73.5*</td> |
| <td>- / -</td> |
| <td>- / -</td> |
| <td>4.4</td> |
| </tr> |
| <tr> |
| <td>PP-OCRv5_server_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| PP-OCRv5_server_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv5_server_rec_pretrained.pdparams">训练模型</a></td> |
| <td>86.38</td> |
| <td>64.70</td> |
| <td>93.29</td> |
| <td>60.35</td> |
| <td>8.46 / 2.36</td> |
| <td>31.21 / 31.21</td> |
| <td>81</td> |
| <td rowspan="2">PP-OCRv5_rec 是新一代文本识别模型。该模型致力于以单一模型高效、精准地支持简体中文、繁体中文、英文、日文四种主要语言,以及手写、竖版、拼音、生僻字等复杂文本场景的识别。在保持识别效果的同时,兼顾推理速度和模型鲁棒性,为各种场景下的文档理解提供高效、精准的技术支撑。</td> |
| </tr> |
| <tr> |
| <td>PP-OCRv5_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| PP-OCRv5_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv5_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>81.29</td> |
| <td>66.00</td> |
| <td>83.55</td> |
| <td>54.65</td> |
| <td>5.43 / 1.46</td> |
| <td>21.20 / 5.32</td> |
| <td>16</td> |
| </tr> |
| </table> |
| |
| * <b>中文识别模型</b> |
| <table> |
| <tr> |
| <th>模型</th><th>模型下载链接</th> |
| <th>识别 Avg Accuracy(%)</th> |
| <th>GPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>CPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>模型存储大小(MB)</th> |
| <th>介绍</th> |
| </tr> |
| <tr> |
| <td>PP-OCRv4_server_rec_doc</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| PP-OCRv4_server_rec_doc_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv4_server_rec_doc_pretrained.pdparams">训练模型</a></td> |
| <td>86.58</td> |
| <td>8.69 / 2.78</td> |
| <td>37.93 / 37.93</td> |
| <td>182</td> |
| <td>PP-OCRv4_server_rec_doc是在PP-OCRv4_server_rec的基础上,在更多中文文档数据和PP-OCR训练数据的混合数据训练而成,增加了部分繁体字、日文、特殊字符的识别能力,可支持识别的字符为1.5万+,除文档相关的文字识别能力提升外,也同时提升了通用文字的识别能力</td> |
| </tr> |
| <tr> |
| <td>PP-OCRv4_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/PP-OCRv4_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv4_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>78.74</td> |
| <td>5.26 / 1.12</td> |
| <td>17.48 / 3.61</td> |
| <td>10.5</td> |
| <td>PP-OCRv4的轻量级识别模型,推理效率高,可以部署在包含端侧设备的多种硬件设备中</td> |
| </tr> |
| <tr> |
| <td>PP-OCRv4_server_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/PP-OCRv4_server_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv4_server_rec_pretrained.pdparams">训练模型</a></td> |
| <td>85.19</td> |
| <td>8.75 / 2.49</td> |
| <td>36.93 / 36.93</td> |
| <td>173</td> |
| <td>PP-OCRv4的服务器端模型,推理精度高,可以部署在多种不同的服务器上</td> |
| </tr> |
| <tr> |
| <td>PP-OCRv3_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| PP-OCRv3_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv3_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>72.96</td> |
| <td>3.89 / 1.16</td> |
| <td>8.72 / 3.56</td> |
| <td>10.3</td> |
| <td>PP-OCRv3的轻量级识别模型,推理效率高,可以部署在包含端侧设备的多种硬件设备中</td> |
| </tr> |
| </table> |
|
|
| <table> |
| <tr> |
| <th>模型</th><th>模型下载链接</th> |
| <th>识别 Avg Accuracy(%)</th> |
| <th>GPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>CPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>模型存储大小(MB)</th> |
| <th>介绍</th> |
| </tr> |
| <tr> |
| <td>ch_SVTRv2_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/ch_SVTRv2_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/ch_SVTRv2_rec_pretrained.pdparams">训练模型</a></td> |
| <td>68.81</td> |
| <td>10.38 / 8.31</td> |
| <td>66.52 / 30.83</td> |
| <td>80.5</td> |
| <td rowspan="1"> |
| SVTRv2 是一种由复旦大学视觉与学习实验室(FVL)的OpenOCR团队研发的服务端文本识别模型,其在PaddleOCR算法模型挑战赛 - 赛题一:OCR端到端识别任务中荣获一等奖,A榜端到端识别精度相比PP-OCRv4提升6%。 |
| </td> |
| </tr> |
| </table> |
|
|
| <table> |
| <tr> |
| <th>模型</th><th>模型下载链接</th> |
| <th>识别 Avg Accuracy(%)</th> |
| <th>GPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>CPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>模型存储大小(MB)</th> |
| <th>介绍</th> |
| </tr> |
| <tr> |
| <td>ch_RepSVTR_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/ch_RepSVTR_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/ch_RepSVTR_rec_pretrained.pdparams">训练模型</a></td> |
| <td>65.07</td> |
| <td>6.29 / 1.57</td> |
| <td>20.64 / 5.40</td> |
| <td>48.8</td> |
| <td rowspan="1"> RepSVTR 文本识别模型是一种基于SVTRv2 的移动端文本识别模型,其在PaddleOCR算法模型挑战赛 - 赛题一:OCR端到端识别任务中荣获一等奖,B榜端到端识别精度相比PP-OCRv4提升2.5%,推理速度持平。</td> |
| </tr> |
| </table> |
|
|
| * <b>英文识别模型</b> |
| <table> |
| <tr> |
| <th>模型</th><th>模型下载链接</th> |
| <th>识别 Avg Accuracy(%)</th> |
| <th>GPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>CPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>模型存储大小(MB)</th> |
| <th>介绍</th> |
| </tr> |
| <tr> |
| <td>en_PP-OCRv5_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| en_PP-OCRv5_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/en_PP-OCRv5_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td> 85.25</td> |
| <td>-</td> |
| <td>-</td> |
| <td>7.5</td> |
| <td>基于PP-OCRv5识别模型训练得到的超轻量级英文识别模型,进一步提升英文文本的识别准确率,优化空格漏识别的问题,并提高对手写英文文本的识别效果。</td> |
| </tr> |
| <tr> |
| <td>en_PP-OCRv4_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| en_PP-OCRv4_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/en_PP-OCRv4_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td> 70.39</td> |
| <td>4.81 / 1.23</td> |
| <td>17.20 / 4.18</td> |
| <td>7.5</td> |
| <td>基于PP-OCRv4识别模型训练得到的超轻量英文识别模型,支持英文、数字识别</td> |
| </tr> |
| <tr> |
| <td>en_PP-OCRv3_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| en_PP-OCRv3_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/en_PP-OCRv3_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>70.69</td> |
| <td>3.56 / 0.78</td> |
| <td>8.44 / 5.78</td> |
| <td>17.3</td> |
| <td>基于PP-OCRv3识别模型训练得到的超轻量英文识别模型,支持英文、数字识别</td> |
| </tr> |
| </table> |
| |
| |
| * <b>多语言识别模型</b> |
| <table> |
| <tr> |
| <th>模型</th><th>模型下载链接</th> |
| <th>识别 Avg Accuracy(%)</th> |
| <th>GPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>CPU推理耗时(ms)<br/>[常规模式 / 高性能模式]</th> |
| <th>模型存储大小(MB)</th> |
| <th>介绍</th> |
| </tr> |
| <tr> |
| <td>korean_PP-OCRv5_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| korean_PP-OCRv5_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/korean_PP-OCRv5_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>88.0</td> |
| <td>5.43 / 1.46</td> |
| <td>21.20 / 5.32</td> |
| <td>14</td> |
| <td>基于PP-OCRv5识别模型训练得到的超轻量韩文识别模型,支持韩文、英文和数字识别</td> |
| </tr> |
| <tr> |
| <td>latin_PP-OCRv5_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| latin_PP-OCRv5_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/latin_PP-OCRv5_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>84.7</td> |
| <td>5.43 / 1.46</td> |
| <td>21.20 / 5.32</td> |
| <td>14</td> |
| <td>基于PP-OCRv5识别模型训练得到的拉丁文识别模型,支持大部分拉丁字母语言、数字识别</td> |
| </tr> |
| <tr> |
| <td>eslav_PP-OCRv5_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| eslav_PP-OCRv5_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/eslav_PP-OCRv5_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>81.6</td> |
| <td>5.43 / 1.46</td> |
| <td>21.20 / 5.32</td> |
| <td>14</td> |
| <td>基于PP-OCRv5识别模型训练得到的东斯拉夫语言识别模型, 支持东斯拉夫语言、英文和数字识别</td> |
| </tr> |
| </tr> |
| <tr> |
| <td>th_PP-OCRv5_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| th_PP-OCRv5_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/th_PP-OCRv5_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>82.68</td> |
| <td>-</td> |
| <td>-</td> |
| <td>7.5</td> |
| <td>基于PP-OCRv5识别模型训练得到的泰语识别模型, 支持泰语、英文和数字识别</td> |
| </tr> |
| <tr> |
| <td>el_PP-OCRv5_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| el_PP-OCRv5_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/el_PP-OCRv5_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>89.28</td> |
| <td>-</td> |
| <td>-</td> |
| <td>7.5</td> |
| <td>基于PP-OCRv5识别模型训练得到的希腊语识别模型, 支持希腊语、英文和数字识别</td> |
| </tr> |
| <tr> |
| <td>arabic_PP-OCRv5_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| arabic_PP-OCRv5_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/arabic_PP-OCRv5_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>81.27</td> |
| <td>-</td> |
| <td>-</td> |
| <td>7.6</td> |
| <td>基于PP-OCRv5识别模型训练得到的超轻量阿拉伯字母识别模型,支持阿拉伯字母、数字识别</td> |
| </tr> |
| <tr> |
| <td>cyrillic_PP-OCRv5_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| cyrillic_PP-OCRv5_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/cyrillic_PP-OCRv5_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>80.27</td> |
| <td>-</td> |
| <td>-</td> |
| <td>7.7</td> |
| <td>基于PP-OCRv5识别模型训练得到的超轻量斯拉夫字母识别模型,支持斯拉夫字母、数字识别</td> |
| </tr> |
| <tr> |
| <td>devanagari_PP-OCRv5_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| devanagari_PP-OCRv5_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/devanagari_PP-OCRv5_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>84.96</td> |
| <td>-</td> |
| <td>-</td> |
| <td>7.5</td> |
| <td>基于PP-OCRv5识别模型训练得到的超轻量天城文识别模型,支持印地文、梵文等字母以及数字识别</td> |
| </tr> |
| <tr> |
| <td>te_PP-OCRv5_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| te_PP-OCRv5_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/te_PP-OCRv5_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>87.65</td> |
| <td>-</td> |
| <td>-</td> |
| <td>7.5</td> |
| <td>基于PP-OCRv5识别模型训练得到的超轻量泰卢固文识别模型,支持泰卢固文、数字识别</td> |
| </tr> |
| <tr> |
| <td>ta_PP-OCRv5_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| ta_PP-OCRv5_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/ta_PP-OCRv5_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>94.2</td> |
| <td>-</td> |
| <td>-</td> |
| <td>7.5</td> |
| <td>基于PP-OCRv5识别模型训练得到的超轻量泰米尔文识别模型,支持泰米尔文、数字识别</td> |
| </tr> |
| <tr> |
| <td>korean_PP-OCRv3_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| korean_PP-OCRv3_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/korean_PP-OCRv3_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>60.21</td> |
| <td>3.73 / 0.98</td> |
| <td>8.76 / 2.91</td> |
| <td>9.6</td> |
| <td>基于PP-OCRv3识别模型训练得到的超轻量韩文识别模型,支持韩文、数字识别</td> |
| </tr> |
| <tr> |
| <td>japan_PP-OCRv3_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| japan_PP-OCRv3_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/japan_PP-OCRv3_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>45.69</td> |
| <td>3.86 / 1.01</td> |
| <td>8.62 / 2.92</td> |
| <td>9.8</td> |
| <td>基于PP-OCRv3识别模型训练得到的超轻量日文识别模型,支持日文、数字识别</td> |
| </tr> |
| <tr> |
| <td>chinese_cht_PP-OCRv3_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| chinese_cht_PP-OCRv3_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/chinese_cht_PP-OCRv3_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>82.06</td> |
| <td>3.90 / 1.16</td> |
| <td>9.24 / 3.18</td> |
| <td>10.8</td> |
| <td>基于PP-OCRv3识别模型训练得到的超轻量繁体中文识别模型,支持繁体中文、数字识别</td> |
| </tr> |
| <tr> |
| <td>te_PP-OCRv3_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| te_PP-OCRv3_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/te_PP-OCRv3_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>95.88</td> |
| <td>3.59 / 0.81</td> |
| <td>8.28 / 6.21</td> |
| <td>8.7</td> |
| <td>基于PP-OCRv3识别模型训练得到的超轻量泰卢固文识别模型,支持泰卢固文、数字识别</td> |
| </tr> |
| <tr> |
| <td>ka_PP-OCRv3_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| ka_PP-OCRv3_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/ka_PP-OCRv3_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>96.96</td> |
| <td>3.49 / 0.89</td> |
| <td>8.63 / 2.77</td> |
| <td>17.4</td> |
| <td>基于PP-OCRv3识别模型训练得到的超轻量卡纳达文识别模型,支持卡纳达文、数字识别</td> |
| </tr> |
| <tr> |
| <td>ta_PP-OCRv3_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| ta_PP-OCRv3_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/ta_PP-OCRv3_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>76.83</td> |
| <td>3.49 / 0.86</td> |
| <td>8.35 / 3.41</td> |
| <td>8.7</td> |
| <td>基于PP-OCRv3识别模型训练得到的超轻量泰米尔文识别模型,支持泰米尔文、数字识别</td> |
| </tr> |
| <tr> |
| <td>latin_PP-OCRv3_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| latin_PP-OCRv3_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/latin_PP-OCRv3_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>76.93</td> |
| <td>3.53 / 0.78</td> |
| <td>8.50 / 6.83</td> |
| <td>8.7</td> |
| <td>基于PP-OCRv3识别模型训练得到的超轻量拉丁文识别模型,支持拉丁文、数字识别</td> |
| </tr> |
| <tr> |
| <td>arabic_PP-OCRv3_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| arabic_PP-OCRv3_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/arabic_PP-OCRv3_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>73.55</td> |
| <td>3.60 / 0.83</td> |
| <td>8.44 / 4.69</td> |
| <td>17.3</td> |
| <td>基于PP-OCRv3识别模型训练得到的超轻量阿拉伯字母识别模型,支持阿拉伯字母、数字识别</td> |
| </tr> |
| <tr> |
| <td>cyrillic_PP-OCRv3_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| cyrillic_PP-OCRv3_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/cyrillic_PP-OCRv3_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>94.28</td> |
| <td>3.56 / 0.79</td> |
| <td>8.22 / 2.76</td> |
| <td>8.7</td> |
| <td>基于PP-OCRv3识别模型训练得到的超轻量斯拉夫字母识别模型,支持斯拉夫字母、数字识别</td> |
| </tr> |
| <tr> |
| <td>devanagari_PP-OCRv3_mobile_rec</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/\ |
| devanagari_PP-OCRv3_mobile_rec_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/devanagari_PP-OCRv3_mobile_rec_pretrained.pdparams">训练模型</a></td> |
| <td>96.44</td> |
| <td>3.60 / 0.78</td> |
| <td>6.95 / 2.87</td> |
| <td>8.7</td> |
| <td>基于PP-OCRv3识别模型训练得到的超轻量梵文字母识别模型,支持梵文字母、数字识别</td> |
| </tr> |
| </table> |
|
|
| <strong>测试环境说明:</strong> |
|
|
| <ul> |
| <li><b>性能测试环境</b> |
| <ul> |
| <li><strong>测试数据集:</strong> |
| <ul> |
| <li> |
| 中文识别模型: PaddleOCR 自建的中文数据集,覆盖街景、网图、文档、手写多个场景,其中文本识别包含 1.1w 张图片。 |
| </li> |
| <li> |
| ch_SVTRv2_rec:<a href="https://aistudio.baidu.com/competition/detail/1131/0/introduction">PaddleOCR算法模型挑战赛 - 赛题一:OCR端到端识别任务</a>A榜评估集。 |
| </li> |
| <li> |
| ch_RepSVTR_rec:<a href="https://aistudio.baidu.com/competition/detail/1131/0/introduction">PaddleOCR算法模型挑战赛 - 赛题一:OCR端到端识别任务</a>B榜评估集。 |
| </li> |
| <li> |
| 英文识别模型:PaddleOCR 自建的英文数据集。 |
| </li> |
| <li> |
| 多语言识别模型:PaddleOCR 自建的多语种数据集。 |
| </li> |
| </ul> |
| </li> |
| <li><strong>硬件配置:</strong> |
| <ul> |
| <li>GPU:NVIDIA Tesla T4</li> |
| <li>CPU:Intel Xeon Gold 6271C @ 2.60GHz</li> |
| </ul> |
| </li> |
| <li><strong>软件环境:</strong> |
| <ul> |
| <li>Ubuntu 20.04 / CUDA 11.8 / cuDNN 8.9 / TensorRT 8.6.1.6</li> |
| <li>paddlepaddle-gpu 3.0.0 / paddleocr 3.0.3</li> |
| </ul> |
| </li> |
| </ul> |
| </li> |
| <li><b>推理模式说明</b></li> |
| </ul> |
| |
| <table border="1"> |
| <thead> |
| <tr> |
| <th>模式</th> |
| <th>GPU配置</th> |
| <th>CPU配置</th> |
| <th>加速技术组合</th> |
| </tr> |
| </thead> |
| <tbody> |
| <tr> |
| <td>常规模式</td> |
| <td>FP32精度 / 无TRT加速</td> |
| <td>FP32精度 / 8线程</td> |
| <td>PaddleInference</td> |
| </tr> |
| <tr> |
| <td>高性能模式</td> |
| <td>选择先验精度类型和加速策略的最优组合</td> |
| <td>FP32精度 / 8线程</td> |
| <td>选择先验最优后端(Paddle/OpenVINO/TRT等)</td> |
| </tr> |
| </tbody> |
| </table> |
| |
| </details> |
|
|
| ## 三、快速开始 |
|
|
| > ❗ 在快速开始前,请先安装 PaddleOCR 的 wheel 包,详细请参考 [安装教程](../installation.md)。 |
|
|
| 使用一行命令即可快速体验: |
|
|
| ```bash |
| paddleocr text_recognition -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/general_ocr_rec_001.png |
| ``` |
|
|
| 上述示例默认使用 <code>paddle_static</code> 推理引擎,请先按照[飞桨框架安装](../paddlepaddle_installation.md)完成 PaddlePaddle 安装。 |
| |
| 如果选择 `transformers` 作为推理引擎,请确保已配置 Transformers 环境,然后执行如下命令: |
| |
| ```bash |
| # 使用 transformers 引擎进行推理 |
| paddleocr text_recognition -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/general_ocr_rec_001.png \ |
| --engine transformers |
| ``` |
| |
| 如果选择 `onnxruntime` 作为推理引擎,请确保已配置 ONNX Runtime 环境,然后执行如下命令: |
|
|
| ```bash |
| # 使用 onnxruntime 引擎进行推理 |
| paddleocr text_recognition -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/general_ocr_rec_001.png \ |
| --engine onnxruntime |
| ``` |
|
|
| 在大多数场景下,默认的 `paddle_static` 推理引擎通常具备更好的推理性能,建议优先使用。 |
|
|
| <b>注:</b>PaddleOCR 官方模型默认从 HuggingFace 获取,如运行环境访问 HuggingFace 不便,可通过环境变量修改模型源为 BOS:`PADDLE_PDX_MODEL_SOURCE="BOS"`,未来将支持更多主流模型源; |
|
|
| 您也可以将文本识别的模块中的模型推理集成到您的项目中。运行以下代码前,请您下载[示例图片](https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/general_ocr_rec_001.png)到本地。 |
|
|
| ```python |
| from paddleocr import TextRecognition |
| model = TextRecognition() |
| output = model.predict(input="general_ocr_rec_001.png", batch_size=1) |
| for res in output: |
| res.print() |
| res.save_to_img(save_path="./output/") |
| res.save_to_json(save_path="./output/res.json") |
| ``` |
|
|
| 上述示例默认使用 <code>paddle_static</code> 推理引擎,请先按照[飞桨框架安装](../paddlepaddle_installation.md)完成 PaddlePaddle 安装。 |
| |
| 如果选择 `transformers` 作为推理引擎,请确保已配置 Transformers 环境,然后执行如下代码: |
| |
| ```python |
| from paddleocr import TextRecognition |
| model = TextRecognition(engine="transformers") |
| output = model.predict(input="general_ocr_rec_001.png", batch_size=1) |
| for res in output: |
| res.print() |
| res.save_to_img(save_path="./output/") |
| res.save_to_json(save_path="./output/res.json") |
| ``` |
| |
| 如果选择 `onnxruntime` 作为推理引擎,请确保已配置 ONNX Runtime 环境,然后执行如下代码: |
|
|
| ```python |
| from paddleocr import TextRecognition |
| model = TextRecognition(engine="onnxruntime") |
| output = model.predict(input="general_ocr_rec_001.png", batch_size=1) |
| for res in output: |
| res.print() |
| res.save_to_img(save_path="./output/") |
| res.save_to_json(save_path="./output/res.json") |
| ``` |
|
|
| 在大多数场景下,默认的 `paddle_static` 推理引擎通常具备更好的推理性能,建议优先使用。 |
|
|
| 训练后的模型如果想使用 `paddle_dynamic` 或 `transformers` 引擎,请参考后文 [推理引擎](#五推理引擎) 中的 [权重转换](#52-权重转换) 部分将模型由 `pdparams` 格式通过 PaddleX 转换为 `safetensors` 格式。 |
|
|
| 运行后,得到的结果为: |
| ```bash |
| {'res': {'input_path': 'general_ocr_rec_001.png', 'page_index': None, 'rec_text': '绿洲仕格维花园公寓', 'rec_score': 0.9823867082595825}} |
| ``` |
|
|
| 运行结果参数含义如下: |
| <ul> |
| <li><code>input_path</code>:表示输入待预测文本行图像的路径</li> |
| <li><code>page_index</code>:如果输入是PDF文件,则表示当前是PDF的第几页,否则为 <code>None</code></li> |
| <li><code>rec_text</code>:表示文本行图像的预测文本</li> |
| <li><code>rec_score</code>:表示文本行图像的预测置信度</li> |
| </ul> |
|
|
| 可视化图片如下: |
|
|
| <img src="https://raw.githubusercontent.com/cuicheng01/PaddleX_doc_images/refs/heads/main/images/modules/text_recog/general_ocr_rec_001.png"/> |
|
|
| 相关方法、参数等说明如下: |
|
|
| * <code>TextRecognition</code>实例化文本识别模型,具体说明如下: |
| <table> |
| <thead> |
| <tr> |
| <th>参数</th> |
| <th>参数说明</th> |
| <th>参数类型</th> |
| <th>默认值</th> |
| </tr> |
| </thead> |
| <tbody> |
| <tr> |
| <td><code>model_name</code></td> |
| <td><b>含义:</b>模型名称。<br/> |
| <b>说明:</b> |
| 如果设置为<code>None</code>,则使用<code>PP-OCRv6_medium_rec</code>。</td> |
| <td><code>str|None</code></td> |
| <td><code>None</code></td> |
| </tr> |
| <tr> |
| <td><code>model_dir</code></td> |
| <td><b>含义:</b>模型存储路径。</td> |
| <td><code>str|None</code></td> |
| <td><code>None</code></td> |
| </tr> |
| <tr> |
| <td><code>device</code></td> |
| <td><b>含义:</b>用于推理的设备。<br/> |
| <b>说明:</b> |
| <b>例如:</b><code>"cpu"</code>、<code>"gpu"</code>、<code>"npu"</code>、<code>"gpu:0"</code>、<code>"gpu:0,1"</code>。<br/> |
| 如指定多个设备,将进行并行推理。<br/> |
| 默认情况下,优先使用 GPU 0;若不可用则使用 CPU。 |
| </td> |
| <td><code>str|None</code></td> |
| <td><code>None</code></td> |
| </tr> |
| <tr> |
| <td><code>engine</code></td> |
| <td><b>含义:</b>推理引擎。<br><b>说明:</b>支持 <code>None</code>(默认值)、<code>paddle</code>、<code>paddle_static</code>、<code>paddle_dynamic</code>、<code>transformers</code>、<code>onnxruntime</code>。保持为默认值 <code>None</code> 时,本地推理默认使用 <code>paddle_static</code> 引擎。详细说明、取值、兼容性规则与示例请参见 <a href="../inference_deployment/local_inference/inference_engine.md">推理引擎与配置说明</a>。</td> |
| <td><code>str|None</code></td> |
| <td><code>None</code></td> |
| </tr> |
| <tr> |
| <td><code>engine_config</code></td> |
| <td><b>含义:</b>推理引擎配置。<br><b>说明:</b>推荐与 <code>engine</code> 搭配使用。详细字段、兼容性规则与示例请参见 <a href="../inference_deployment/local_inference/inference_engine.md">推理引擎与配置说明</a>。</td> |
| <td><code>dict|None</code></td> |
| <td><code>None</code></td> |
| </tr> |
| <tr> |
| <td><code>enable_hpi</code></td> |
| <td><b>含义:</b>是否启用高性能推理。</td> |
| <td><code>bool</code></td> |
| <td><code>False</code></td> |
| </tr> |
| <tr> |
| <td><code>use_tensorrt</code></td> |
| <td><b>含义:</b>是否启用 Paddle Inference 的 TensorRT 子图引擎。<br/> |
| <b>说明:</b> |
| 如果模型不支持通过 TensorRT 加速,即使设置了此标志,也不会使用加速。<br/> |
| 对于 CUDA 11.8 版本的飞桨,兼容的 TensorRT 版本为 8.x(x>=6),建议安装 TensorRT 8.6.1.6。<br/> |
|
|
| </td> |
| <td><code>bool</code></td> |
| <td><code>False</code></td> |
| </tr> |
| <tr> |
| <td><code>precision</code></td> |
| <td><b>含义:</b>当使用 Paddle Inference 的 TensorRT 子图引擎时设置的计算精度。<br/> |
| <b>说明:</b> |
| <b>可选项:</b><code>"fp32"</code>、<code>"fp16"</code>。</td> |
| <td><code>str</code></td> |
| <td><code>"fp32"</code></td> |
| </tr> |
| <tr> |
| <td><code>enable_mkldnn</code></td> |
| <td> |
| <b>含义:</b>是否启用 MKL-DNN 加速推理。<br/> |
| <b>说明:</b> |
| 如果 MKL-DNN 不可用或模型不支持通过 MKL-DNN 加速,即使设置了此标志,也不会使用加速。<br/> |
| </td> |
| <td><code>bool</code></td> |
| <td><code>True</code></td> |
| </tr> |
| <tr> |
| <td><code>mkldnn_cache_capacity</code></td> |
| <td> |
| <b>含义:</b>MKL-DNN 缓存容量。 |
| </td> |
| <td><code>int</code></td> |
| <td><code>10</code></td> |
| </tr> |
| <tr> |
| <td><code>cpu_threads</code></td> |
| <td><b>含义:</b>在 CPU 上推理时使用的线程数量。</td> |
| <td><code>int</code></td> |
| <td><code>10</code></td> |
| </tr> |
| <tr> |
| <td><code>input_shape</code></td> |
| <td><b>含义:</b>模型输入图像尺寸,格式为 <code>(C, H, W)</code>。</td> |
| <td><code>tuple|None</code></td> |
| <td><code>None</code></td> |
| </tr> |
| </tbody> |
| </table> |
| |
| * 调用文本识别模型的 <code>predict()</code> 方法进行推理预测,该方法会返回一个结果列表。另外,本模块还提供了 <code>predict_iter()</code> 方法。两者在参数接受和结果返回方面是完全一致的,区别在于 <code>predict_iter()</code> 返回的是一个 <code>generator</code>,能够逐步处理和获取预测结果,适合处理大型数据集或希望节省内存的场景。可以根据实际需求选择使用这两种方法中的任意一种。<code>predict()</code> 方法参数有 <code>input</code> 和 <code>batch_size</code>,具体说明如下: |
|
|
| <table> |
| <thead> |
| <tr> |
| <th>参数</th> |
| <th>参数说明</th> |
| <th>参数类型</th> |
| <th>默认值</th> |
| </tr> |
| </thead> |
| <tr> |
| <td><code>input</code></td> |
| <td><b>含义:</b>待预测数据,支持多种输入类型,必填。<br/> |
| <b>说明:</b> |
| <ul> |
| <li><b>Python Var</b>:如 <code>numpy.ndarray</code> 表示的图像数据</li> |
| <li><b>str</b>:如图像文件或者PDF文件的本地路径:<code>/root/data/img.jpg</code>;<b>如URL链接</b>,如图像文件或PDF文件的网络URL:<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/general_ocr_rec_001.png">示例</a>;<b>如本地目录</b>,该目录下需包含待预测图像,如本地路径:<code>/root/data/</code>(当前不支持目录中包含PDF文件的预测,PDF文件需要指定到具体文件路径)</li> |
| <li><b>list</b>:列表元素需为上述类型数据,如<code>[numpy.ndarray, numpy.ndarray]</code>,<code>["/root/data/img1.jpg", "/root/data/img2.jpg"]</code>,<code>["/root/data1", "/root/data2"]</code></li> |
| </ul> |
| </td> |
| <td><code>Python Var|str|list</code></td> |
| <td></td> |
| </tr> |
| <tr> |
| <td><code>batch_size</code></td> |
| <td><b>含义:</b>批大小<br/> |
| <b>说明:</b> |
| 可设置为任意正整数。</td> |
| <td><code>int</code></td> |
| <td>1</td> |
| </tr> |
| </table> |
| |
| * 对预测结果进行处理,每个样本的预测结果均为对应的Result对象,且支持打印、保存为图片、保存为<code>json</code>文件的操作: |
| |
| <table> |
| <thead> |
| <tr> |
| <th>方法</th> |
| <th>方法说明</th> |
| <th>参数</th> |
| <th>参数类型</th> |
| <th>参数说明</th> |
| <th>默认值</th> |
| </tr> |
| </thead> |
| <tr> |
| <td rowspan="3"><code>print()</code></td> |
| <td rowspan="3">打印结果到终端</td> |
| <td><code>format_json</code></td> |
| <td><code>bool</code></td> |
| <td>是否对输出内容进行使用 <code>JSON</code> 缩进格式化</td> |
| <td><code>True</code></td> |
| </tr> |
| <tr> |
| <td><code>indent</code></td> |
| <td><code>int</code></td> |
| <td>指定缩进级别,以美化输出的 <code>JSON</code> 数据,使其更具可读性,仅当 <code>format_json</code> 为 <code>True</code> 时有效</td> |
| <td>4</td> |
| </tr> |
| <tr> |
| <td><code>ensure_ascii</code></td> |
| <td><code>bool</code></td> |
| <td>控制是否将非 <code>ASCII</code> 字符转义为 <code>Unicode</code>。设置为 <code>True</code> 时,所有非 <code>ASCII</code> 字符将被转义;<code>False</code> 则保留原始字符,仅当<code>format_json</code>为<code>True</code>时有效</td> |
| <td><code>False</code></td> |
| </tr> |
| <tr> |
| <td rowspan="3"><code>save_to_json()</code></td> |
| <td rowspan="3">将结果保存为json格式的文件</td> |
| <td><code>save_path</code></td> |
| <td><code>str</code></td> |
| <td>保存的文件路径,当为目录时,保存文件命名与输入文件类型命名一致</td> |
| <td>无</td> |
| </tr> |
| <tr> |
| <td><code>indent</code></td> |
| <td><code>int</code></td> |
| <td>指定缩进级别,以美化输出的 <code>JSON</code> 数据,使其更具可读性,仅当 <code>format_json</code> 为 <code>True</code> 时有效</td> |
| <td>4</td> |
| </tr> |
| <tr> |
| <td><code>ensure_ascii</code></td> |
| <td><code>bool</code></td> |
| <td>控制是否将非 <code>ASCII</code> 字符转义为 <code>Unicode</code>。设置为 <code>True</code> 时,所有非 <code>ASCII</code> 字符将被转义;<code>False</code> 则保留原始字符,仅当<code>format_json</code>为<code>True</code>时有效</td> |
| <td><code>False</code></td> |
| </tr> |
| <tr> |
| <td><code>save_to_img()</code></td> |
| <td>将结果保存为图像格式的文件</td> |
| <td><code>save_path</code></td> |
| <td><code>str</code></td> |
| <td>保存的文件路径,当为目录时,保存文件命名与输入文件类型命名一致</td> |
| <td>无</td> |
| </tr> |
| </table> |
|
|
| * 此外,也支持通过属性获取带结果的可视化图像和预测结果,具体如下: |
|
|
| <table> |
| <thead> |
| <tr> |
| <th>属性</th> |
| <th>属性说明</th> |
| </tr> |
| </thead> |
| <tr> |
| <td rowspan="1"><code>json</code></td> |
| <td rowspan="1">获取预测的<code>json</code>格式的结果</td> |
| </tr> |
| <tr> |
| <td rowspan="1"><code>img</code></td> |
| <td rowspan="1">获取格式为<code>dict</code>的可视化图像</td> |
| </tr> |
| </table> |
|
|
|
|
| ## 四、二次开发 |
|
|
| 如果以上模型在您的场景上效果仍然不理想,您可以尝试以下步骤进行二次开发,此处以训练 `PP-OCRv5_server_rec` 举例,其他模型替换对应配置文件即可。首先,您需要准备文本识别的数据集,可以参考[文本识别 Demo 数据](https://paddle-model-ecology.bj.bcebos.com/paddlex/data/ocr_rec_dataset_examples.tar)的格式准备,准备好后,即可按照以下步骤进行模型训练和导出,导出后,可以将模型快速集成到上述 API 中。此处以文本识别 Demo 数据示例。在训练模型之前,请确保已经按照[安装文档](../installation.md)安装了 PaddleOCR 所需要的依赖。 |
|
|
|
|
| ## 4.1 数据集、预训练模型准备 |
|
|
| ### 4.1.1 准备数据集 |
|
|
| ```shell |
| # 下载示例数据集 |
| wget https://paddle-model-ecology.bj.bcebos.com/paddlex/data/ocr_rec_dataset_examples.tar |
| tar -xf ocr_rec_dataset_examples.tar |
| ``` |
|
|
| ### 4.1.2 下载预训练模型 |
|
|
| ```shell |
| # 下载 PP-OCRv5_server_rec 预训练模型 |
| wget https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-OCRv5_server_rec_pretrained.pdparams |
| ``` |
|
|
| ### 4.2 模型训练 |
|
|
| PaddleOCR 对代码进行了模块化,训练 `PP-OCRv5_server_rec` 识别模型时需要使用 `PP-OCRv5_server_rec` 的[配置文件](https://github.com/PaddlePaddle/PaddleOCR/blob/{{PADDLEOCR_GITHUB_REF}}/configs/rec/PP-OCRv5/PP-OCRv5_server_rec.yml)。 |
|
|
|
|
| 训练命令如下: |
|
|
| ```bash |
| #单卡训练 (默认训练方式) |
| python3 tools/train.py -c configs/rec/PP-OCRv5/PP-OCRv5_server_rec.yml \ |
| -o Global.pretrained_model=./PP-OCRv5_server_rec_pretrained.pdparams |
| |
| #多卡训练,通过--gpus参数指定卡号 |
| python3 -m paddle.distributed.launch --gpus '0,1,2,3' tools/train.py -c configs/rec/PP-OCRv5/PP-OCRv5_server_rec.yml \ |
| -o Global.pretrained_model=./PP-OCRv5_server_rec_pretrained.pdparams |
| ``` |
|
|
|
|
| ### 4.3 模型评估 |
|
|
| 您可以评估已经训练好的权重,如,`output/xxx/xxx.pdparams`,使用如下命令进行评估: |
|
|
| ```bash |
| #注意将pretrained_model的路径设置为本地路径。若使用自行训练保存的模型,请注意修改路径和文件名为{path/to/weights}/{model_name}。 |
| #demo 测试集评估 |
| python3 tools/eval.py -c configs/rec/PP-OCRv5/PP-OCRv5_server_rec.yml -o \ |
| Global.pretrained_model=output/xxx/xxx.pdparams |
| ``` |
|
|
| ### 4.4 模型导出 |
|
|
| ```bash |
| python3 tools/export_model.py -c configs/rec/PP-OCRv5/PP-OCRv5_server_rec.yml -o \ |
| Global.pretrained_model=output/xxx/xxx.pdparams \ |
| Global.save_inference_dir="./PP-OCRv5_server_rec_infer/" |
| ``` |
|
|
| 导出模型后,静态图模型会存放于当前目录的`./PP-OCRv5_server_rec_infer/`中,在该目录下,您将看到如下文件: |
| ``` |
| ./PP-OCRv5_server_rec_infer/ |
| ├── inference.json |
| ├── inference.pdiparams |
| ├── inference.yml |
| ``` |
| 至此,二次开发完成,该静态图模型可以直接集成到 PaddleOCR 的 API 中。 |
|
|
| 训练后的模型如果想使用 `paddle_dynamic` 或 `transformers` 引擎,请参考后文 [推理引擎](#五推理引擎) 中的 [权重转换](#52-权重转换) 部分将模型由 `pdparams` 格式通过 PaddleX 转换为 `safetensors` 格式。 |
|
|
| ## 五、推理引擎 {#五推理引擎} |
|
|
| 关于推理引擎的详细说明、取值、兼容性规则与示例请参见 <a href="../inference_deployment/local_inference/inference_engine.md">推理引擎与配置说明</a>。 |
|
|
| ### 5.1 速度数据 |
|
|
| <table border="1"> |
| <thead> |
| <tr> |
| <th>model</th> |
| <th>engine</th> |
| <th>Preprocessing (ms)</th> |
| <th>Inference (ms)</th> |
| <th>PostProcessing (ms)</th> |
| <th>End-to-End (ms)</th> |
| </tr> |
| </thead> |
| <tbody> |
| <tr> |
| <td rowspan="4">PP-OCRv5_mobile_rec</td> |
| <td>paddle_static</td> |
| <td>1.94</td> |
| <td>6.69</td> |
| <td>1.00</td> |
| <td>9.76</td> |
| </tr> |
| <tr> |
| <td>paddle_dynamic</td> |
| <td>1.97</td> |
| <td>35.38</td> |
| <td>1.11</td> |
| <td>38.60</td> |
| </tr> |
| <tr> |
| <td>transformers</td> |
| <td>3.31</td> |
| <td>17.70</td> |
| <td>0.50</td> |
| <td>21.68</td> |
| </tr> |
| <tr> |
| <td>onnxruntime</td> |
| <td>1.82</td> |
| <td>2.05</td> |
| <td>0.91</td> |
| <td>4.91</td> |
| </tr> |
| <tr> |
| <td rowspan="4">PP-OCRv5_server_rec</td> |
| <td>paddle_static</td> |
| <td>1.98</td> |
| <td>11.37</td> |
| <td>1.21</td> |
| <td>14.69</td> |
| </tr> |
| <tr> |
| <td>paddle_dynamic</td> |
| <td>1.98</td> |
| <td>23.89</td> |
| <td>1.32</td> |
| <td>27.34</td> |
| </tr> |
| <tr> |
| <td>transformers</td> |
| <td>3.99</td> |
| <td>11.69</td> |
| <td>0.51</td> |
| <td>16.36</td> |
| </tr> |
| <tr> |
| <td>onnxruntime</td> |
| <td>1.80</td> |
| <td>3.15</td> |
| <td>0.90</td> |
| <td>5.98</td> |
| </tr> |
| <tr> |
| <td rowspan="4">PP-OCRv6_medium_rec</td> |
| <td>paddle_static</td> |
| <td>1.74</td> |
| <td>5.38</td> |
| <td>0.84</td> |
| <td>8.08</td> |
| </tr> |
| <tr> |
| <td>paddle_dynamic</td> |
| <td>1.76</td> |
| <td>13.38</td> |
| <td>0.85</td> |
| <td>16.10</td> |
| </tr> |
| <tr> |
| <td>transformers</td> |
| <td>2.58</td> |
| <td>7.04</td> |
| <td>0.41</td> |
| <td>10.19</td> |
| </tr> |
| <tr> |
| <td>onnxruntime</td> |
| <td>1.74</td> |
| <td>2.28</td> |
| <td>0.84</td> |
| <td>4.97</td> |
| </tr> |
| <tr> |
| <td rowspan="4">PP-OCRv6_small_rec</td> |
| <td>paddle_static</td> |
| <td>1.74</td> |
| <td>4.73</td> |
| <td>0.82</td> |
| <td>7.41</td> |
| </tr> |
| <tr> |
| <td>paddle_dynamic</td> |
| <td>1.76</td> |
| <td>12.43</td> |
| <td>0.87</td> |
| <td>15.18</td> |
| </tr> |
| <tr> |
| <td>transformers</td> |
| <td>2.55</td> |
| <td>6.70</td> |
| <td>0.41</td> |
| <td>9.82</td> |
| </tr> |
| <tr> |
| <td>onnxruntime</td> |
| <td>1.73</td> |
| <td>1.79</td> |
| <td>0.83</td> |
| <td>4.46</td> |
| </tr> |
| <tr> |
| <td rowspan="4">PP-OCRv6_tiny_rec</td> |
| <td>paddle_static</td> |
| <td>1.76</td> |
| <td>2.77</td> |
| <td>0.40</td> |
| <td>5.04</td> |
| </tr> |
| <tr> |
| <td>paddle_dynamic</td> |
| <td>1.75</td> |
| <td>6.96</td> |
| <td>0.36</td> |
| <td>9.19</td> |
| </tr> |
| <tr> |
| <td>transformers</td> |
| <td>2.45</td> |
| <td>3.12</td> |
| <td>0.40</td> |
| <td>6.12</td> |
| </tr> |
| <tr> |
| <td>onnxruntime</td> |
| <td>1.73</td> |
| <td>0.92</td> |
| <td>0.36</td> |
| <td>3.12</td> |
| </tr> |
| </tbody> |
| </table> |
| |
| <strong>测试环境说明:</strong> |
| <ul> |
| <li><strong>测试数据:</strong><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/general_ocr_rec_001.jpg">示例图片</a></li> |
| <li><strong>硬件配置:</strong> |
| <ul> |
| <li>GPU:NVIDIA A100 40G</li> |
| <li>CPU:Intel(R) Xeon(R) Gold 6248 CPU @ 2.50GHz</li> |
| </ul> |
| </li> |
| <li><strong>软件环境:</strong> |
| <ul> |
| <li>Ubuntu 22.04 / CUDA 12.6 / cuDNN 9.5</li> |
| <li>paddlepaddle-gpu 3.2.1 / paddleocr 3.5 / transformers 5.4.0 / torch 2.10 / onnxruntime-gpu 1.23.2</li> |
| </ul> |
| </li> |
| </ul> |
| |
| ### 5.2 权重转换 {#52-权重转换} |
|
|
| 使用推理引擎时,系统会自动下载官方预训练模型。若需使用自训练模型配合 `paddle_dynamic` 或 `transformers` 引擎,请参考 [PaddleX 文字识别模块权重转换](https://paddlepaddle.github.io/PaddleX/latest/module_usage/tutorials/ocr_modules/text_recognition.html#442) 部分,将 `pdparams` 格式通过 PaddleX 转换为 `safetensors` 格式,即可无缝集成到 PaddleOCR 的 API 中进行推理。若需使用自训练模型配合`onnxruntime`引擎,请参考[PaddleX 获取 ONNX 模型](https://paddlepaddle.github.io/PaddleX/latest/pipeline_deploy/paddle2onnx.html)获取onnx模型,即可无缝集成到 PaddleOCR 的 API 中进行推理。 |
|
|
| ## 六、FAQ |
|
|