| --- |
| license: agpl-3.0 |
| datasets: |
| - hkustenterprize/RM26_engineer_exchange |
| pipeline_tag: object-detection |
| tags: |
| - robomaster |
| --- |
| RM2026 工程机器人视觉模型的 **OpenVINO FP16** 部署权重，用于 NUC / 边缘推理。 |
|
|
| ``` |
| RM26_engineer_exchange_mode/ |
| ├── yolopose/v11.02/ # 单阶段：检测 + 12 关键点 |
| ├── yolo/v10.12/ # 仅检测 bbox（两阶段 pipeline 第一阶段） |
| └── litehr/ |
| ├── litehrnet30_v11.0/ # 两阶段：12 点热力图 |
| ├── litehrnet30_v9.1/ # 同上架构，v9.1 数据训练 |
| └── litehrnet18_v11.0/ # 轻量版 12 点热力图 |
| ``` |
|
|
| 每个 `openvino_best/` 含 `.xml` + `.bin`（LiteHR 另含 `.onnx` 备用）。 |
|
|
| --- |
|
|
| ## yolopose / v11.02 |
|
|
| 单阶段 YOLO11s-Pose，同时输出 pillar / exchange 的 bbox 与 12 关键点。 |
|
|
| | 项 | 值 | |
| |----|-----| |
| | **Base model** | YOLO11s-pose（Ultralytics，自 `yolo_v9.121` 权重继续训练） | |
| | **训练数据** | `dataset_finalversion`（45,400 张） | |
| | **运行时** | OpenVINO FP16 | |
| | **文件** | `best.xml`, `best.bin`, `metadata.yaml` | |
|
|
| **Input** |
|
|
| | 属性 | 值 | |
| |------|-----| |
| | 名称 | `x` | |
| | Shape | `[1, 3, 640, 640]` | |
| | 类型 | FP32 | |
| | 预处理 | BGR `uint8` → letterbox 640×640 → `/255` → NCHW | |
|
|
| **Output** |
|
|
| | 属性 | 值 | |
| |------|-----| |
| | Shape | `[1, 300, 42]` | |
| | 类型 | FP32 | |
| | 含义 | 最多 300 个检测；每行 42 维 = `x1,y1,x2,y2,score,class` + 12×`(kx, ky, kscore)` | |
| | 类别 | `0` pillar，`1` exchange | |
| | 关键点 | 12 点：TL, TR, BL, BR, ring, light_BR, light_TR, shell_R, shell_M, shell_L, light_TL, light_BL | |
| |
| 后处理：置信度阈值 + NMS（导出时 `nms: true`）。 |
| |
| --- |
| |
| ## yolo / v10.12 |
| |
| 单阶段 YOLO26s 检测，仅 bbox，无关键点。常与 LiteHR 组成两阶段 pipeline。 |
| |
| | 项 | 值 | |
| |----|-----| |
| | **Base model** | YOLO26s（Ultralytics，自 `yolo26s_det_v10.08` 继续训练） | |
| | **训练数据** | `dataset_v10.0_det` | |
| | **运行时** | OpenVINO FP16，**end2end**（内置 NMS） | |
| | **文件** | `best.xml`, `best.bin`, `metadata.yaml` | |
| |
| **Input** |
| |
| | 属性 | 值 | |
| |------|-----| |
| | Shape | `[1, 3, 640, 640]` | |
| | 类型 | FP32 | |
| | 预处理 | 同 YOLO Pose | |
| |
| **Output** |
| |
| | 属性 | 值 | |
| |------|-----| |
| | Shape | `[1, 300, 6]` | |
| | 类型 | FP32 | |
| | 含义 | 最多 300 个检测；每行 `x1, y1, x2, y2, score, class_id` | |
| | 类别 | `0` pillar，`1` exchange | |
|
|
| --- |
|
|
| ## litehr / litehrnet30_v11.0 |
| |
| Top-down 姿态估计：输入 **已裁剪的 ROI**，输出 12 通道热力图，需 DARK 解码得到关键点。 |
| |
| | 项 | 值 | |
| |----|-----| |
| | **Base model** | MMPose LiteHRNet-30 + `PillarHeatmapHeadWithVis` | |
| | **训练数据** | `dataset_v11.0`（exchange12 标注） | |
| | **运行时** | OpenVINO FP16 | |
| | **文件** | `hrnet_heatmap.xml`, `hrnet_heatmap.bin`, `hrnet_heatmap.onnx` | |
|
|
| **Input** |
|
|
| | 属性 | 值 | |
| |------|-----| |
| | 名称 | `input` | |
| | Shape | `[B, 3, 256, 256]`（B 动态） | |
| | 类型 | FP32 | |
| | 预处理 | BGR → RGB；按 bbox 仿射裁剪至 256×256；ImageNet 归一化 `mean=[123.675, 116.28, 103.53]`, `std=[58.395, 57.12, 57.375]` | |
|
|
| **Output** |
|
|
| | 属性 | 值 | |
| |------|-----| |
| | 名称 | `heatmaps` | |
| | Shape | `[B, 12, 128, 128]` | |
| | 类型 | FP32 | |
| | 后处理 | DARK 解码 → 12 个 `(x, y)` 映射回原图坐标；可选 visibility 分支 | |
|
|
| **关键点**（索引 0–11）：pillar 5 点 + exchange 7 点（同 `dataset_finalversion` schema）。 |
|
|
| > 需外部提供 bbox（通常由 `yolo/v10.12` 给出 pillar 框）。 |
|
|
| --- |
|
|
| ## litehr / litehrnet30_v9.1 |
| |
| 与 **litehrnet30_v11.0** 同架构、同 I/O；差异仅在训练数据版本（`dataset_v9.1` vs `dataset_v11.0`）。 |
| |
| | Input | `[B, 3, 256, 256]` FP32 | |
| | Output | `[B, 12, 128, 128]` FP32 heatmaps | |
| |
| --- |
| |
| ## litehr / litehrnet18_v11.0 |
|
|
| LiteHRNet-**18** 轻量版，I/O 与 v30 相同，参数量更小。 |
|
|
| | 项 | 值 | |
| |----|-----| |
| | **Base model** | MMPose LiteHRNet-18 + `PillarHeatmapHeadWithVis` | |
| | **训练数据** | `dataset_v11.0`（exchange12） | |
| | **文件** | `litehrnet18_exchange12_heatmap.xml`, `.bin`, `.onnx` | |
|
|
| | Input | `[B, 3, 256, 256]` FP32 | |
| | Output | `[B, 12, 128, 128]` FP32 heatmaps | |
|
|
| --- |
|
|
| ## 部署组合 |
|
|
| | 方案 | 模型 | 说明 | |
| |------|------|------| |
| | 单阶段 | `yolopose/v11.02` | bbox + 12 kp 一次输出 | |
| | 两阶段 | `yolo/v10.12` → `litehr/*` | YOLO 检框 + HRNet 精修关键点 | |
|
|
