| --- |
| language: |
| - zh |
| - en |
| tags: |
| - VLM |
| - MLLM |
| --- |
| # openPangu-VL-7B |
| 中文 | [English](README_EN.md) | [技术报告](doc/technical_report.pdf) |
|
|
| ## 1. 简介 |
|
|
| openPangu-VL-7B 是基于昇腾 NPU ，基于openPangu-Embedded-7B-V1.1语言基模和openPangu-ViT-600M视觉编码器训练的高效多模态模型。openPangu-VL-7B 训练了约 3T tokens，具备通用视觉对话、文档理解、目标定位与计数、视频理解、视觉高阶推理等能力。该模型为快思考模型。 |
|
|
| ## 2. 模型架构 |
|
|
| | | openPangu-VL-7B | |
| | :---------------------------: | :----------------: | |
| | **语言模型** | | |
| | Architecture | Dense | |
| | Parameters (Non-Embedding) | 7B | |
| | Number of Layers | 34 | |
| | Hidden Dimension | 12800 | |
| | Attention Mechanism | GQA | |
| | Number of Attention Heads | 32 for Q，8 for KV | |
| | Vocabulary Size | 153k | |
| | Context Length (Natively) | 128k | |
| | **视觉编码器** | | |
| | Architecture | 22 Window Attention + 4 Full Attention | |
| | Number of Layers | 26 | |
| | Attention Hidden Size | 1536 | |
| | FFN Hidden Size | 4608 | |
| | Number of Attention Heads | 16 | |
| | Parameters | 615M | |
|
|
| ## 3. 测评结果 |
|
|
| | 测评集 | openPangu-VL-7B | |
| | :------------: | :--------: | |
| | **通用视觉对话** | | |
| | MMBench V1.1 DEV | 86.5 | |
| | MMStar | 70.1 | |
| | RealWorldQA | 76.1 | |
| | AI2D | 84.7 | |
| | **光学符号识别/文档理解** | | |
| | OCRBench | 907 | |
| | TextVQA | 85.1 | |
| | DocVQA | 96.0 | |
| | ChartQA | 88.3 | |
| | CharXiv dq/rq | 83.9/54.3 | |
| | **视觉学科能力** | | |
| | MMMU | 65.2 | |
| | MMMU-Pro | 52.6 | |
| | MathVista | 75.0 | |
| | **目标定位/计数** | | |
| | RefCOCO-avg | 90.6 | |
| | ODinW-13 | 51.5 | |
| | CountBench | 96.1 | |
| | Point-Bench | 65.4 | |
| | **多图** | | |
| | BLINK | 63.3 | |
| | MUIRBench | 61.6 | |
| | **视频理解** | | |
| | MVBench | 74.0 | |
| | VideoMME (w/o sub) | 68.0 | |
| | MLVU | 76.9 | |
| | **语言能力** | | |
| | MMLU-Pro | 78.2 | |
| | MMLU-Redux | 87.3 | |
| | GPQA-Diamond | 65.2 | |
| | C-Eval | 83.2 | |
| | AIME25 | 36.5 | |
| | Math-500 | 89.4 | |
| | LiveCodeBenchV6 | 24.6 | |
| | MBPP+ | 68.5 | |
| | IFEval | 83.0 | |
|
|
| **注：** 评测使用**vllm-ascend部署推理，系统prompt为空**。一般而言，图片最小分辨率设置为2304\*28\*28能获得最优的测评效果。（OCRBench中的极小图OCR除外，建议设置为不大于64\*28\*28。）具体prompt和分辨率设置参见[技术报告](doc/technical_report.pdf)附录。 |
|
|
| ## 4. 部署和使用 |
|
|
| ### vllm-ascend部署（推荐） |
| - 使用vllm-ascend推理框架，参考[[vllm_ascend_for_openpangu_vl_7b](doc/vllm_ascend_for_openpangu_vl_7b.md)]进行服务部署。 |
|
|
| - 完成推理服务部署后，使用此脚本测试是否部署成功。 |
| ```bash |
| cd inference/vllm_ascend/examples; python quick_start.py |
| ``` |
|
|
| ### 直接推理 |
| 环境配置： |
| - python==3.10 |
| - CANN==8.1.RC1 |
| ```bash |
| cd inference; pip install -r requirements.txt |
| ``` |
|
|
| 推理： |
| ```bash |
| cd inference; python generate.py |
| ``` |
|
|
| ### 能力展示 |
| - 更多推理样例和能力展示，请参见`cookbooks`。 |
|
|
| ## 5. 模型许可证 |
| 除文件中对开源许可证另有约定外，openPangu-VL-7B 模型根据 OPENPANGU MODEL LICENSE AGREEMENT VERSION 1.0 授权，旨在允许使用并促进人工智能技术的进一步发展。有关详细信息，请参阅模型存储库根目录中的 [LICENSE](LICENSE) 文件。 |
|
|
| ## 6. 免责声明 |
| 由于 openPangu-VL-7B （“模型”）所依赖的技术固有的限制，以及人工智能生成的内容是由盘古自动生成的，华为无法对以下事项做出任何保证： |
| - 该模型的输出通过AI算法自动生成，不能排除某些信息可能存在缺陷、不合理或引起不适的可能性，生成的内容不代表华为的态度或立场； |
| - 无法保证该模型100%准确、可靠、功能齐全、及时、安全、无错误、不间断、持续稳定或无任何故障； |
| - 该模型的输出内容不构成任何建议或决策，也不保证生成的内容的真实性、完整性、准确性、及时性、合法性、功能性或实用性。生成的内容不能替代医疗、法律等领域的专业人士回答您的问题。生成的内容仅供参考，不代表华为的任何态度、立场或观点。您需要根据实际情况做出独立判断，华为不承担任何责任。 |
|
|
| ## 7. 反馈 |
| 如果有任何意见和建议，请提交issue或联系[openPangu@huawei.com](url)。 |
