| --- |
| comments: true |
| --- |
| |
| # 表格分类模块使用教程 |
|
|
| ## 一、概述 |
|
|
| 表格分类模块是计算机视觉系统中的关键组成部分，负责对输入的表格图像进行分类，该模块的性能直接影响到整个表格识别过程的准确性和效率。表格分类模块通常会接收表格图像作为输入，然后通过深度学习算法，根据图像的特性和内容，将其分类到预定义的类别中，例如有线表和无线表。表格分类模块的分类结果将作为输出，供表格识别相关产线使用。 |
|
|
| ## 二、支持模型列表 |
|
|
| > 推理耗时仅包含模型推理耗时，不包含前后处理耗时。表格中的“常规模式”耗时对应本地 <code>paddle_static</code> 推理引擎。 |
| |
| <table> |
| <tr> |
| <th>模型</th><th>模型下载链接</th> |
| <th>Top1 Acc(%)</th> |
| <th>GPU推理耗时（ms）<br/>[常规模式 / 高性能模式]</th> |
| <th>CPU推理耗时（ms）<br/>[常规模式 / 高性能模式]</th> |
| <th>模型存储大小（MB）</th> |
| </tr> |
| <tr> |
| <td>PP-LCNet_x1_0_table_cls</td> |
| <td><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_inference_model/paddle3.0.0/PP-LCNet_x1_0_table_cls_infer.tar">推理模型</a>/<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/official_pretrained_model/PP-LCNet_x1_0_table_cls_pretrained.pdparams">训练模型</a></td> |
| <td>94.2</td> |
| <td>2.62 / 0.60</td> |
| <td>3.17 / 1.14</td> |
| <td>6.6</td> |
| </tr> |
| </table> |
| |
| <strong>测试环境说明:</strong> |
| |
| <ul> |
| <li><b>性能测试环境</b> |
| <ul> |
| <li><strong>测试数据集：</strong>自建的内部评测数据集。</li> |
| <li><strong>硬件配置：</strong> |
| <ul> |
| <li>GPU：NVIDIA Tesla T4</li> |
| <li>CPU：Intel Xeon Gold 6271C @ 2.60GHz</li> |
| </ul> |
| </li> |
| <li><strong>软件环境：</strong> |
| <ul> |
| <li>Ubuntu 20.04 / CUDA 11.8 / cuDNN 8.9 / TensorRT 8.6.1.6</li> |
| <li>paddlepaddle-gpu 3.0.0 / paddleocr 3.0.3</li> |
| </ul> |
| </li> |
| </ul> |
| </li> |
| <li><b>推理模式说明</b></li> |
| </ul> |
| |
| <table border="1"> |
| <thead> |
| <tr> |
| <th>模式</th> |
| <th>GPU配置</th> |
| <th>CPU配置</th> |
| <th>加速技术组合</th> |
| </tr> |
| </thead> |
| <tbody> |
| <tr> |
| <td>常规模式</td> |
| <td>FP32精度 / 无TRT加速</td> |
| <td>FP32精度 / 8线程</td> |
| <td>PaddleInference</td> |
| </tr> |
| <tr> |
| <td>高性能模式</td> |
| <td>选择先验精度类型和加速策略的最优组合</td> |
| <td>FP32精度 / 8线程</td> |
| <td>选择先验最优后端（Paddle/OpenVINO/TRT等）</td> |
| </tr> |
| </tbody> |
| </table> |
| |
| ## 三、快速开始 |
| |
| > ❗ 在快速开始前，请先安装 PaddleOCR 的 wheel 包，详细请参考 [安装教程](../installation.md)。 |
| |
| 使用一行命令即可快速体验： |
| |
| ```bash |
| paddleocr table_classification -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/table_recognition.jpg |
| ``` |
| |
| 上述示例默认使用 <code>paddle_static</code> 推理引擎，请先按照[飞桨框架安装](../paddlepaddle_installation.md)完成 PaddlePaddle 安装。 |
| |
| 如果选择 `transformers` 作为推理引擎，请确保已配置 Transformers 环境，然后执行如下命令： |
| |
| ```bash |
| # 使用 transformers 引擎进行推理 |
| paddleocr table_classification -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/table_recognition.jpg \ |
| --engine transformers |
| ``` |
| |
| 如果选择 `onnxruntime` 作为推理引擎，请确保已配置 ONNX Runtime 环境，然后执行如下命令： |
| |
| ```bash |
| # 使用 onnxruntime 引擎进行推理 |
| paddleocr table_classification -i https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/table_recognition.jpg \ |
| --engine onnxruntime |
| ``` |
| |
| 在大多数场景下，默认的 `paddle_static` 推理引擎通常具备更好的推理性能，建议优先使用。 |
|
|
| <b>注：</b>PaddleOCR 官方模型默认从 HuggingFace 获取，如运行环境访问 HuggingFace 不便，可通过环境变量修改模型源为 BOS：`PADDLE_PDX_MODEL_SOURCE="BOS"`，未来将支持更多主流模型源； |
|
|
| 您也可以将表格分类的模块中的模型推理集成到您的项目中。运行以下代码前，请您下载[示例图片](https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/table_recognition.jpg)到本地。 |
|
|
| ```python |
| from paddleocr import TableClassification |
| model = TableClassification(model_name="PP-LCNet_x1_0_table_cls") |
| output = model.predict("table_recognition.jpg", batch_size=1) |
| for res in output: |
| res.print(json_format=False) |
| res.save_to_json("./output/res.json") |
| ``` |
|
|
| 上述示例默认使用 <code>paddle_static</code> 推理引擎，请先按照[飞桨框架安装](../paddlepaddle_installation.md)完成 PaddlePaddle 安装。 |
| |
| 如果选择 `transformers` 作为推理引擎，请确保已配置 Transformers 环境，然后执行如下代码： |
| |
| ```python |
| from paddleocr import TableClassification |
| model = TableClassification( |
| model_name="PP-LCNet_x1_0_table_cls", |
| engine="transformers", |
| ) |
| output = model.predict("table_recognition.jpg", batch_size=1) |
| for res in output: |
| res.print(json_format=False) |
| res.save_to_json("./output/res.json") |
| ``` |
| |
| 如果选择 `onnxruntime` 作为推理引擎，请确保已配置 ONNX Runtime 环境，然后执行如下代码： |
|
|
| ```python |
| from paddleocr import TableClassification |
| model = TableClassification( |
| model_name="PP-LCNet_x1_0_table_cls", |
| engine="onnxruntime", |
| ) |
| output = model.predict("table_recognition.jpg", batch_size=1) |
| for res in output: |
| res.print(json_format=False) |
| res.save_to_json("./output/res.json") |
| ``` |
|
|
| 在大多数场景下，默认的 `paddle_static` 推理引擎通常具备更好的推理性能，建议优先使用。 |
|
|
| 训练后的模型如果想使用 `paddle_dynamic` 或 `transformers` 引擎，请参考后文 [推理引擎](#五推理引擎) 中的 [权重转换](#52-权重转换) 部分将模型由 `pdparams` 格式通过 PaddleX 转换为 `safetensors` 格式。 |
|
|
| 运行后，得到的结果为： |
|
|
| ``` |
| {'res': {'input_path': 'table_recognition.jpg', 'page_index': None, 'class_ids': array([0, 1], dtype=int32), 'scores': array([0.84421, 0.15579], dtype=float32), 'label_names': ['wired_table', 'wireless_table']}} |
| ``` |
|
|
| 运行结果参数含义如下： |
| <ul> |
| <li><code>input_path</code>：表示输入图片的路径</li> |
| <li><code>page_index</code>：如果输入是PDF文件，则表示当前是PDF的第几页，否则为 <code>None</code></li> |
| <li><code>class_ids</code>：表示预测结果的类别id</li> |
| <li><code>scores</code>：表示预测结果的置信度</li> |
| <li><code>label_names</code>：表示预测结果的类别名</li> |
| </ul> |
| |
| 可视化图像如下： |
|
|
| <img src="https://raw.githubusercontent.com/cuicheng01/PaddleX_doc_images/refs/heads/main/images/modules/table_classification/01.jpg"> |
|
|
| 相关方法、参数等说明如下： |
|
|
| * <code>TableClassification</code>实例化表格分类模型（此处以<code>PP-LCNet_x1_0_table_cls</code>为例），具体说明如下： |
| <table> |
| <thead> |
| <tr> |
| <th>参数</th> |
| <th>参数说明</th> |
| <th>参数类型</th> |
| <th>默认值</th> |
| </tr> |
| </thead> |
| <tbody> |
| <tr> |
| <td><code>model_name</code></td> |
| <td><b>含义：</b>模型名称。<br/> |
| <b>说明：</b> |
| 如果设置为<code>None</code>，则使用<code>PP-LCNet_x1_0_table_cls</code>。</td> |
| <td><code>str|None</code></td> |
| <td><code>None</code></td> |
| </tr> |
| <tr> |
| <td><code>model_dir</code></td> |
| <td><b>含义：</b>模型存储路径。</td> |
| <td><code>str|None</code></td> |
| <td><code>None</code></td> |
| </tr> |
| <tr> |
| <td><code>device</code></td> |
| <td><b>含义：</b>用于推理的设备。<br/> |
| <b>说明：</b> |
| <b>例如：</b><code>"cpu"</code>、<code>"gpu"</code>、<code>"npu"</code>、<code>"gpu:0"</code>、<code>"gpu:0,1"</code>。<br/> |
| 如指定多个设备，将进行并行推理。<br/> |
| 默认情况下，优先使用 GPU 0；若不可用则使用 CPU。 |
| </td> |
| <td><code>str|None</code></td> |
| <td><code>None</code></td> |
| </tr> |
| <tr> |
| <td><code>engine</code></td> |
| <td><b>含义：</b>推理引擎。<br><b>说明：</b>支持 <code>None</code>（默认值）、<code>paddle</code>、<code>paddle_static</code>、<code>paddle_dynamic</code>、<code>transformers</code>、<code>onnxruntime</code>。保持为默认值 <code>None</code> 时，本地推理默认使用 <code>paddle_static</code> 引擎。详细说明、取值、兼容性规则与示例请参见 <a href="../inference_deployment/local_inference/inference_engine.md">推理引擎与配置说明</a>。</td> |
| <td><code>str|None</code></td> |
| <td><code>None</code></td> |
| </tr> |
| <tr> |
| <td><code>engine_config</code></td> |
| <td><b>含义：</b>推理引擎配置。<br><b>说明：</b>推荐与 <code>engine</code> 搭配使用。详细字段、兼容性规则与示例请参见 <a href="../inference_deployment/local_inference/inference_engine.md">推理引擎与配置说明</a>。</td> |
| <td><code>dict|None</code></td> |
| <td><code>None</code></td> |
| </tr> |
| <tr> |
| <td><code>enable_hpi</code></td> |
| <td><b>含义：</b>是否启用高性能推理。</td> |
| <td><code>bool</code></td> |
| <td><code>False</code></td> |
| </tr> |
| <tr> |
| <td><code>use_tensorrt</code></td> |
| <td><b>含义：</b>是否启用 Paddle Inference 的 TensorRT 子图引擎。<br/> |
| <b>说明：</b> |
| 如果模型不支持通过 TensorRT 加速，即使设置了此标志，也不会使用加速。<br/> |
| 对于 CUDA 11.8 版本的飞桨，兼容的 TensorRT 版本为 8.x（x>=6），建议安装 TensorRT 8.6.1.6。<br/> |
|
|
| </td> |
| <td><code>bool</code></td> |
| <td><code>False</code></td> |
| </tr> |
| <tr> |
| <td><code>precision</code></td> |
| <td><b>含义：</b>当使用 Paddle Inference 的 TensorRT 子图引擎时设置的计算精度。<br/> |
| <b>说明：</b> |
| <b>可选项：</b><code>"fp32"</code>、<code>"fp16"</code>。</td> |
| <td><code>str</code></td> |
| <td><code>"fp32"</code></td> |
| </tr> |
| <tr> |
| <td><code>enable_mkldnn</code></td> |
| <td> |
| <b>含义：</b>是否启用 MKL-DNN 加速推理。<br/> |
| <b>说明：</b> |
| 如果 MKL-DNN 不可用或模型不支持通过 MKL-DNN 加速，即使设置了此标志，也不会使用加速。<br/> |
| </td> |
| <td><code>bool</code></td> |
| <td><code>True</code></td> |
| </tr> |
| <tr> |
| <td><code>mkldnn_cache_capacity</code></td> |
| <td> |
| <b>含义：</b>MKL-DNN 缓存容量。 |
| </td> |
| <td><code>int</code></td> |
| <td><code>10</code></td> |
| </tr> |
| <tr> |
| <td><code>cpu_threads</code></td> |
| <td><b>含义：</b>在 CPU 上推理时使用的线程数量。</td> |
| <td><code>int</code></td> |
| <td><code>10</code></td> |
| </tr> |
| </tbody> |
| </table> |
|
|
| * 调用表格分类模型的 <code>predict()</code> 方法进行推理预测，该方法会返回一个结果列表。另外，本模块还提供了 <code>predict_iter()</code> 方法。两者在参数接受和结果返回方面是完全一致的，区别在于 <code>predict_iter()</code> 返回的是一个 <code>generator</code>，能够逐步处理和获取预测结果，适合处理大型数据集或希望节省内存的场景。可以根据实际需求选择使用这两种方法中的任意一种。<code>predict()</code> 方法参数有 <code>input</code> 和 <code>batch_size</code>，具体说明如下： |
| |
| <table> |
| <thead> |
| <tr> |
| <th>参数</th> |
| <th>参数说明</th> |
| <th>参数类型</th> |
| <th>默认值</th> |
| </tr> |
| </thead> |
| <tr> |
| <td><code>input</code></td> |
| <td><b>含义：</b>待预测数据，支持多种输入类型，必填。<br/> |
| <b>说明：</b> |
| <ul> |
| <li><b>Python Var</b>：如 <code>numpy.ndarray</code> 表示的图像数据</li> |
| <li><b>str</b>：如图像文件或者PDF文件的本地路径：<code>/root/data/img.jpg</code>；<b>如URL链接</b>，如图像文件或PDF文件的网络URL：<a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/general_doc_preprocessor_002.png">示例</a>；<b>如本地目录</b>，该目录下需包含待预测图像，如本地路径：<code>/root/data/</code>(当前不支持目录中包含PDF文件的预测，PDF文件需要指定到具体文件路径)</li> |
| <li><b>list</b>：列表元素需为上述类型数据，如<code>[numpy.ndarray, numpy.ndarray]</code>，<code>["/root/data/img1.jpg", "/root/data/img2.jpg"]</code>，<code>["/root/data1", "/root/data2"]</code></li> |
| </ul> |
| </td> |
| <td><code>Python Var|str|list</code></td> |
| <td></td> |
| </tr> |
| <tr> |
| <td><code>batch_size</code></td> |
| <td><b>含义：</b>批大小。<br/> |
| <b>说明：</b> |
| 可设置为任意正整数。</td> |
| <td><code>int</code></td> |
| <td>1</td> |
| </tr> |
| </table> |
|
|
| * 对预测结果进行处理，每个样本的预测结果均为对应的Result对象，且支持打印、保存为图片、保存为<code>json</code>文件的操作: |
|
|
| <table> |
| <thead> |
| <tr> |
| <th>方法</th> |
| <th>方法说明</th> |
| <th>参数</th> |
| <th>参数类型</th> |
| <th>参数说明</th> |
| <th>默认值</th> |
| </tr> |
| </thead> |
| <tr> |
| <td rowspan = "3"><code>print()</code></td> |
| <td rowspan = "3">打印结果到终端</td> |
| <td><code>format_json</code></td> |
| <td><code>bool</code></td> |
| <td>是否对输出内容进行使用 <code>JSON</code> 缩进格式化</td> |
| <td><code>True</code></td> |
| </tr> |
| <tr> |
| <td><code>indent</code></td> |
| <td><code>int</code></td> |
| <td>指定缩进级别，以美化输出的 <code>JSON</code> 数据，使其更具可读性，仅当 <code>format_json</code> 为 <code>True</code> 时有效</td> |
| <td>4</td> |
| </tr> |
| <tr> |
| <td><code>ensure_ascii</code></td> |
| <td><code>bool</code></td> |
| <td>控制是否将非 <code>ASCII</code> 字符转义为 <code>Unicode</code>。设置为 <code>True</code> 时，所有非 <code>ASCII</code> 字符将被转义；<code>False</code> 则保留原始字符，仅当<code>format_json</code>为<code>True</code>时有效</td> |
| <td><code>False</code></td> |
| </tr> |
| <tr> |
| <td rowspan = "3"><code>save_to_json()</code></td> |
| <td rowspan = "3">将结果保存为json格式的文件</td> |
| <td><code>save_path</code></td> |
| <td><code>str</code></td> |
| <td>保存的文件路径，当为目录时，保存文件命名与输入文件类型命名一致</td> |
| <td>无</td> |
| </tr> |
| <tr> |
| <td><code>indent</code></td> |
| <td><code>int</code></td> |
| <td>指定缩进级别，以美化输出的 <code>JSON</code> 数据，使其更具可读性，仅当 <code>format_json</code> 为 <code>True</code> 时有效</td> |
| <td>4</td> |
| </tr> |
| <tr> |
| <td><code>ensure_ascii</code></td> |
| <td><code>bool</code></td> |
| <td>控制是否将非 <code>ASCII</code> 字符转义为 <code>Unicode</code>。设置为 <code>True</code> 时，所有非 <code>ASCII</code> 字符将被转义；<code>False</code> 则保留原始字符，仅当<code>format_json</code>为<code>True</code>时有效</td> |
| <td><code>False</code></td> |
| </tr> |
| </table> |
|
|
| * 此外，也支持通过属性获取带结果的可视化图像和预测结果，具体如下： |
|
|
| <table> |
| <thead> |
| <tr> |
| <th>属性</th> |
| <th>属性说明</th> |
| </tr> |
| </thead> |
| <tr> |
| <td rowspan = "1"><code>json</code></td> |
| <td rowspan = "1">获取预测的<code>json</code>格式的结果</td> |
| </tr> |
| <tr> |
| <td rowspan = "1"><code>img</code></td> |
| <td rowspan = "1">获取可视化图像</td> |
| </tr> |
| </table> |
|
|
| ## 四、二次开发 |
|
|
| 由于 PaddleOCR 并不直接提供表格分类模块的训练，因此，如果需要训练表格分类模型，可以参考 [PaddleX 表格分类模块二次开发](https://paddlepaddle.github.io/PaddleX/latest/module_usage/tutorials/ocr_modules/table_classification.html#_5)部分进行训练。训练后的模型可以无缝集成到 PaddleOCR 的 API 中进行推理。 |
|
|
| 训练后的模型如果想使用 `paddle_dynamic` 或 `transformers` 引擎，请参考后文 [推理引擎](#五推理引擎) 中的 [权重转换](#52-权重转换) 部分将模型由 `pdparams` 格式通过 PaddleX 转换为 `safetensors` 格式。 |
|
|
| ## 五、推理引擎 {#五推理引擎} |
|
|
| 关于推理引擎的详细说明、取值、兼容性规则与示例请参见 <a href="../inference_deployment/local_inference/inference_engine.md">推理引擎与配置说明</a>。 |
|
|
| ### 5.1 速度数据 |
|
|
| <table border="1"> |
| <thead> |
| <tr> |
| <th>model</th> |
| <th>engine</th> |
| <th>Preprocessing (ms)</th> |
| <th>Inference (ms)</th> |
| <th>PostProcessing (ms)</th> |
| <th>End-to-End (ms)</th> |
| </tr> |
| </thead> |
| <tbody> |
| <tr> |
| <td rowspan="4">PP-LCNet_x1_0_table_cls</td> |
| <td>paddle_static</td> |
| <td>3.56</td> |
| <td>3.38</td> |
| <td>0.06</td> |
| <td>7.11</td> |
| </tr> |
| <tr> |
| <td>paddle_dynamic</td> |
| <td>3.57</td> |
| <td>7.77</td> |
| <td>0.07</td> |
| <td>11.52</td> |
| </tr> |
| <tr> |
| <td>transformers</td> |
| <td>9.30</td> |
| <td>3.72</td> |
| <td>0.15</td> |
| <td>14.05</td> |
| </tr> |
| <tr> |
| <td>onnxruntime</td> |
| <td>3.23</td> |
| <td>0.88</td> |
| <td>0.05</td> |
| <td>4.25</td> |
| </tr> |
| </tbody> |
| </table> |
| |
| <strong>测试环境说明:</strong> |
| <ul> |
| <li><strong>测试数据：</strong><a href="https://paddle-model-ecology.bj.bcebos.com/paddlex/imgs/demo_image/general_image_classification_001.jpg">示例图片</a></li> |
| <li><strong>硬件配置：</strong> |
| <ul> |
| <li>GPU：NVIDIA A100 40G</li> |
| <li>CPU：Intel(R) Xeon(R) Gold 6248 CPU @ 2.50GHz</li> |
| </ul> |
| </li> |
| <li><strong>软件环境：</strong> |
| <ul> |
| <li>Ubuntu 22.04 / CUDA 12.6 / cuDNN 9.5</li> |
| <li>paddlepaddle-gpu 3.2.1 / paddleocr 3.5 / transformers 5.4.0 / torch 2.10 / onnxruntime-gpu 1.23.2</li> |
| </ul> |
| </li> |
| </ul> |
| |
| ### 5.2 权重转换 {#52-权重转换} |
|
|
| 使用推理引擎时，系统会自动下载官方预训练模型。若需使用自训练模型配合 `paddle_dynamic` 或 `transformers` 引擎，请参考 [PaddleX 表格分类模块权重转换](https://paddlepaddle.github.io/PaddleX/latest/module_usage/tutorials/ocr_modules/table_classification.html#442) 部分，将 `pdparams` 格式通过 PaddleX 转换为 `safetensors` 格式，即可无缝集成到 PaddleOCR 的 API 中进行推理。若需使用自训练模型配合`onnxruntime`引擎，请参考[PaddleX 获取 ONNX 模型](https://paddlepaddle.github.io/PaddleX/latest/pipeline_deploy/paddle2onnx.html)获取onnx模型，即可无缝集成到 PaddleOCR 的 API 中进行推理。 |
|
|
| ## 六、FAQ |
|
|
