models/readme.md

# 模型修改说明：
为了适配5x系列NPU，Yolo系列模型结构需要做一些修改，这里以ultralytics项目的YoloV8检测模型为例进行说明：

项目官方位置：
```
https://github.com/ultralytics/ultralytics
```

### 1、修改激活函数：
5x系列NPU不支持silu算子，因此激活函数需要修改act为leaky relu或relu算子，修改的文件如下：
```
https://github.com/ultralytics/ultralytics/blob/main/ultralytics/nn/modules/conv.py
```
将第50行修改为:
```
   default_act = nn.LeakyReLU()   # default activation
```
或者：
```
   default_act = nn.ReLU()    # default activation
```

### 2、模型最大channel数限制：
5x系列NPU支持最大的channel数为：1024，如果模型结构的某一层的channel>1024，需要将该层的channel减少至<=1024

channel数可以在模型描述文件.yaml中进行修改，yolov8.yaml文件位置：
```
https://github.com/ultralytics/ultralytics/blob/main/ultralytics/cfg/models/v8/yolov8.yaml
```

yaml配置如下：
```
# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'
  # [depth, width, max_channels]
  n: [0.33, 0.25, 1024] # YOLOv8n summary: 129 layers, 3157200 parameters, 3157184 gradients, 8.9 GFLOPS
  s: [0.33, 0.50, 1024] # YOLOv8s summary: 129 layers, 11166560 parameters, 11166544 gradients, 28.8 GFLOPS
  m: [0.67, 0.75, 768] # YOLOv8m summary: 169 layers, 25902640 parameters, 25902624 gradients, 79.3 GFLOPS
  l: [1.00, 1.00, 512] # YOLOv8l summary: 209 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPS
  x: [1.00, 1.25, 512] # YOLOv8x summary: 209 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPS
```
将channel>1024的修改为<=1024，即可；


### 3、模型重训练及onnx导出
基于上述2处修改完成后，对模型进行重训练，生成训练模型：yolov8n.pt，然后进行onnx导出;

ultralytics导出yolov8模型onnx的代码如下：
```
from ultralytics import YOLO
model = YOLO("yolov8n.pt")
path = model.export(format="onnx", imgsz=640, opset=11)  # 返回导出模型的路径
```
*注意：opset需设置为11，imgsz根据需要进行设置

但是直接导出的onnx会将模型head部分的decode_bboxes算子包含进去，decode_bboxes算子5x系列npu无法支持,会导致工具转换无法通过

decode_bboxes算子需要通过cpu进行实现，因此导出onnx不能带上decode_bboxes部分，需要进行修改：

修改文件：
```
https://github.com/ultralytics/ultralytics/blob/main/ultralytics/nn/modules/head.py
```
将125行代码：
```
y = self._inference(x)
```
修改为：
```
if self.export:
    y = x
else:
    y = self._inference(x)
```
修改上述文件后，重新export即可，导出的onnx参考：models/yolov8n.onnx

或者使用第三方工具手动裁剪onnx

### 4、模型转换生成axmodel及上板测试
参考：
[链接](https://huggingface.co/AXERA-TECH/ppq-xs/blob/main/config/readme.md)