模型修改说明:
为了适配5x系列NPU,Yolo系列模型结构需要做一些修改,这里以ultralytics项目的YoloV8检测模型为例进行说明:
项目官方位置:
https://github.com/ultralytics/ultralytics
1、修改激活函数:
5x系列NPU不支持silu算子,因此激活函数需要修改act为leaky relu或relu算子,修改的文件如下:
https://github.com/ultralytics/ultralytics/blob/main/ultralytics/nn/modules/conv.py
将第50行修改为:
default_act = nn.LeakyReLU() # default activation
或者:
default_act = nn.ReLU() # default activation
2、模型最大channel数限制:
5x系列NPU支持最大的channel数为:1024,如果模型结构的某一层的channel>1024,需要将该层的channel减少至<=1024
channel数可以在模型描述文件.yaml中进行修改,yolov8.yaml文件位置:
https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/models/v8/yolov8.yaml
yaml配置如下:
# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'
# [depth, width, max_channels]
n: [0.33, 0.25, 1024] # YOLOv8n summary: 129 layers, 3157200 parameters, 3157184 gradients, 8.9 GFLOPS
s: [0.33, 0.50, 1024] # YOLOv8s summary: 129 layers, 11166560 parameters, 11166544 gradients, 28.8 GFLOPS
m: [0.67, 0.75, 768] # YOLOv8m summary: 169 layers, 25902640 parameters, 25902624 gradients, 79.3 GFLOPS
l: [1.00, 1.00, 512] # YOLOv8l summary: 209 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPS
x: [1.00, 1.25, 512] # YOLOv8x summary: 209 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPS
将channel>1024的修改为<=1024,即可;
3、模型重训练及onnx导出
基于上述2处修改完成后,对模型进行重训练,生成训练模型:yolov8n.pt,然后进行onnx导出;
ultralytics导出yolov8模型onnx的代码如下:
from ultralytics import YOLO
model = YOLO("yolov8n.pt")
path = model.export(format="onnx", imgsz=640, opset=11) # 返回导出模型的路径
*注意:opset需设置为11,imgsz根据需要进行设置
但是直接导出的onnx会将模型head部分的decode_bboxes算子包含进去,decode_bboxes算子5x系列npu无法支持,会导致工具转换无法通过
decode_bboxes算子需要通过cpu进行实现,因此导出onnx不能带上decode_bboxes部分,需要进行修改:
修改文件:
https://github.com/ultralytics/ultralytics/blob/main/ultralytics/nn/modules/head.py
将125行代码:
y = self._inference(x)
修改为:
if self.export:
y = x
else:
y = self._inference(x)
修改上述文件后,重新export即可,导出的onnx参考:models/yolov8n.onnx
或者使用第三方工具手动裁剪onnx
4、模型转换生成axmodel及上板测试
参考: 链接