| # Python Serving预测部署 | |
| ## 1. 简介 | |
| Paddle Serving是飞桨开源的服务化部署框架，提供了C++ Serving和Python Pipeline两套框架， | |
| C++ Serving框架更倾向于追求极致性能，Python Pipeline框架倾向于二次开发的便捷性。 | |
| 旨在帮助深度学习开发者和企业提供高性能、灵活易用的工业级在线推理服务，助力人工智能落地应用。 | |
| 更多关于Paddle Serving的介绍，可以参考[Paddle Serving官网repo](https://github.com/PaddlePaddle/Serving)。 | |
| 本文档主要介绍利用Python Pipeline框架实现模型（以yolov3_darknet53_270e_coco为例）的服务化部署。 | |
| ## 2. Python Serving预测部署 | |
| #### 2.1 Python 服务化部署样例程序介绍 | |
| 服务化部署的样例程序的目录地址为：`deploy/serving/python` | |
| ```shell | |
| deploy/ | |
| ├── serving/ | |
| │ ├── python/ # Python 服务化部署样例程序目录 | |
| │ │ ├──config.yml # 服务端模型预测相关配置文件 | |
| │ │ ├──pipeline_http_client.py # 客户端代码 | |
| │ │ ├──postprocess_ops.py # 用户自定义后处理代码 | |
| │ │ ├──preprocess_ops.py # 用户自定义预处理代码 | |
| │ │ ├──README.md # 说明文档 | |
| │ │ ├──web_service.py # 服务端代码 | |
| │ ├── cpp/ # C++ 服务化部署样例程序目录 | |
| │ │ ├──preprocess/ # C++ 自定义OP | |
| │ │ ├──build_server.sh # C++ Serving 编译脚本 | |
| │ │ ├──serving_client.py # 客户端代码 | |
| │ │ └── ... | |
| │ └── ... | |
| └── ... | |
| ``` | |
| ### 2.2 环境准备 | |
| 安装Paddle Serving四个安装包的最新版本， | |
| 分别是：paddle-serving-server(CPU/GPU版本二选一), | |
| paddle-serving-client, paddle-serving-app和paddlepaddle(CPU/GPU版本二选一)。 | |
| ```commandline | |
| pip install paddle-serving-client | |
| # pip install paddle-serving-server # CPU | |
| pip install paddle-serving-server-gpu # GPU 默认 CUDA10.2 + TensorRT6，其他环境需手动指定版本号 | |
| pip install paddle-serving-app | |
| # pip install paddlepaddle # CPU | |
| pip install paddlepaddle-gpu | |
| ``` | |
| 您可能需要使用国内镜像源（例如百度源, 在pip命令中添加`-i https://mirror.baidu.com/pypi/simple`）来加速下载。 | |
| Paddle Serving Server更多不同运行环境的whl包下载地址，请参考：[下载页面](https://github.com/PaddlePaddle/Serving/blob/v0.7.0/doc/Latest_Packages_CN.md) | |
| PaddlePaddle更多版本请参考[官网](https://www.paddlepaddle.org.cn/install/quick?docurl=/documentation/docs/zh/install/pip/linux-pip.html) | |
| ### 2.3 服务化部署模型导出 | |
| 导出步骤参考文档[PaddleDetection部署模型导出教程](../../EXPORT_MODEL.md), | |
| 导出服务化部署模型需要添加`--export_serving_model True`参数，导出示例如下: | |
| ```commandline | |
| python tools/export_model.py -c configs/yolov3/yolov3_darknet53_270e_coco.yml \ | |
| --export_serving_model True \ | |
| -o weights=https://paddledet.bj.bcebos.com/models/yolov3_darknet53_270e_coco.pdparams | |
| ``` | |
| ### 2.4 启动服务端模型预测服务 | |
| 当完成以上环境准备和模型导出后，可以按如下命令启动模型预测服务： | |
| ```commandline | |
| python deploy/serving/python/web_service.py --model_dir output_inference/yolov3_darknet53_270e_coco & | |
| ``` | |
| 服务端模型预测相关配置可在[config.yml](./config.yml)中修改， | |
| 开发者只需要关注如下配置：http_port（服务的http端口），device_type（计算硬件类型），devices（计算硬件ID）。 | |
| ### 2.5 启动客户端访问 | |
| 当成功启动了模型预测服务，可以按如下命令启动客户端访问服务： | |
| ```commandline | |
| python deploy/serving/python/pipeline_http_client.py --image_file demo/000000014439.jpg | |
| ``` | |