| --- |
| base_model: |
| - google/owlv2-base-patch16-finetuned |
| pipeline_tag: zero-shot-object-detection |
| tags: |
| - owlv2 |
| --- |
| # OWLv2 on AXERA NPU |
|
|
| 本仓库基于 [google/owlv2-base-patch16-finetuned](https://huggingface.co/google/owlv2-base-patch16-finetuned)，面向 AXERA NPU 平台完成模型移植、量化部署与精度验证。 |
|
|
| 项目重点包括： |
|
|
| - OWLv2 模型适配与部署落地 |
| - 面向 AXERA 工具链的量化流程 |
| - 板端推理联调 |
| - 与原始框架结果的精度对齐与验证 |
|
|
| 详细使用方式请参考 [HOW_TO_USE.md](./HOW_TO_USE.md)。 |
|
|
| ## 1. 原始模型仓库简介 |
|
|
| [OWLv2](https://huggingface.co/google/owlv2-base-patch16-finetuned) 是 Google 提出的开放词汇目标检测模型。与传统只能识别固定类别的检测器不同，OWLv2 可以结合文本提示词完成零样本目标检测，适合需要灵活扩展类别的场景。 |
|
|
| `google/owlv2-base-patch16-finetuned` 是 Hugging Face 上发布的基础版本之一，通常用于： |
|
|
| - 文本条件目标检测 |
| - 开放词汇/零样本检测 |
| - 模型部署与效果验证 |
|
|
| 原始模型通常以“图像 + 文本查询”作为输入，输出候选框、类别匹配结果和对应置信度。 |
|
|
| ## 2. 本仓库说明 |
|
|
| 本仓库不是对 OWLv2 进行重新训练，而是围绕 AXERA NPU 平台打通从原始模型到端侧部署的完整链路，主要包含： |
|
|
| - 模型准备与格式转换 |
| - 量化与编译 |
| - 板端推理验证 |
| - 精度对比与结果分析 |
|
|
| 如果需要查看完整操作步骤、环境依赖、命令示例和验证流程，请直接阅读 [HOW_TO_USE.md](./HOW_TO_USE.md)。 |
|
|
| ## 3. 仓库结构 |
|
|
| 以下为本仓库核心内容示意，具体请以实际文件为准： |
|
|
| ```text |
| . |
| ├── README.md # 项目简介、目录说明与演示 |
| ├── HOW_TO_USE.md # 环境准备、模型转换、量化、部署与验证说明 |
| └── ... # 其余与 AXERA NPU 适配、量化和精度验证相关的脚本/资源 |
| ``` |
|
|
| 如果仓库中包含导出脚本、量化配置、测试样例或结果文件，通常可按以下职责理解： |
|
|
| - `export / convert`：原始模型导出与前后处理适配 |
| - `quantize / build`：量化、编译与部署产物生成 |
| - `demo / samples`：推理示例与可视化结果 |
| - `eval / test`：精度验证与结果对比 |
|
|
| ## 4. 使用流程概览 |
|
|
| 完整步骤请参考 [HOW_TO_USE.md](./HOW_TO_USE.md)。一般流程如下： |
|
|
| 1. 准备 Python、Transformers 与 AXERA 相关环境 |
| 2. 获取或导出 OWLv2 模型 |
| 3. 按 AXERA 工具链要求完成量化与编译 |
| 4. 在 AXERA NPU 平台运行推理 |
| 5. 对比原始框架与 NPU 输出，完成精度验证 |
|
|
| ## 5. 演示内容 |
|
|
| > 以下内容用于 README 展示，命令、日志与指标请以 `HOW_TO_USE.md` 和仓库实际结果为准。 |
|
|
| ### 5.1 文本提示词检测示意 |
|
|
| 输入图像中希望检测的目标类别： |
|
|
| ```text |
| ["person", "car", "bus"] |
| ``` |
|
|
| 示例输出： |
|
|
| ```text |
| [INFO] Detected: person | score=0.92 | bbox=[56, 43, 188, 420] |
| [INFO] Detected: car | score=0.88 | bbox=[210, 260, 472, 418] |
| [INFO] Detected: bus | score=0.81 | bbox=[489, 120, 910, 430] |
| ``` |
|
|
| ### 5.2 AXERA NPU 部署流程示意 |
|
|
| ```text |
| PyTorch / Transformers |
| │ |
| ├── 模型导出 |
| │ |
| ├── 量化校准 |
| │ |
| ├── AXERA 编译部署 |
| │ |
| └── 板端推理与精度验证 |
| ``` |
|
|
| ### 5.3 精度验证示意 |
|
|
| | 验证项 | 说明 | |
| |---|---| |
| | 框位置对齐 | 对比原始框架与 NPU 输出框坐标是否一致或接近 | |
| | 置信度对齐 | 关注量化前后 score 排序与数值偏移 | |
| | 类别匹配 | 检查文本提示词对应的检测类别是否正确 | |
| | 量化损失 | 评估 INT8 部署后精度下降是否在可接受范围内 | |
|
|
| ### 5.4 性能统计 |
|
|
| | 模型版本 | 平台 | 推理时间 (ms) | |
| |---|---|---| |
| | OWLv2 image 4cls | 650N | 205.8 | |
| | OWLv2 text 4cls | 650N | 2.16 | |
| | OWLv2 post 4cls | 650N | 34.38 | |
|
|
| ## 6. 说明 |
|
|
| - 本仓库聚焦于 `google/owlv2-base-patch16-finetuned` 在 AXERA NPU 平台上的移植与验证。 |
| - 详细环境、命令、量化参数和板端操作步骤请查看 [HOW_TO_USE.md](./HOW_TO_USE.md)。 |
| - 若需补充真实演示图、日志和精度表，可直接在本 README 的演示章节中追加。 |
|
|
| ## 7. 参考链接 |
|
|
| - Hugging Face 模型页：<https://huggingface.co/google/owlv2-base-patch16-finetuned> |
| - 使用说明：[`HOW_TO_USE.md`](./HOW_TO_USE.md) |
