Upload README.md with huggingface_hub
Browse files
README.md
CHANGED
|
@@ -1,3 +1,29 @@
|
|
| 1 |
-
-
|
| 2 |
-
|
| 3 |
-
--
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# Penguin-VL (ncnn)
|
| 2 |
+
|
| 3 |
+
腾讯 [`tencent/Penguin-VL`](https://huggingface.co/tencent/Penguin-VL)（基于 Qwen3 的视觉语言模型，VLM）的 **ncnn 格式推理权重**，用于 C++ 端到端推理（图像 + 文字 → 文本），无需 Python 运行时。
|
| 4 |
+
|
| 5 |
+
## 模型结构
|
| 6 |
+
- 视觉编码器：ViT（hidden=1024，28 层）
|
| 7 |
+
- 语言模型：Qwen3（hidden=1024，28 层，16 注意力头 / 8 KV 头 GQA，vocab=151936，RoPE θ=1e6）
|
| 8 |
+
- 视觉投影器：2 层 MLP（1024 → 2048 → 1024）
|
| 9 |
+
|
| 10 |
+
## 文件清单
|
| 11 |
+
| 文件 | 说明 |
|
| 12 |
+
|---|---|
|
| 13 |
+
| `decoder.ncnn.{param,bin}` | LLM 解码器（28 层，含最终 RMSNorm + out0） |
|
| 14 |
+
| `embed.ncnn.{param,bin}` | token 嵌入 |
|
| 15 |
+
| `lm_head.ncnn.{param,bin}` | 输出投影（与词嵌入共享） |
|
| 16 |
+
| `vision_embed_patch.ncnn.*` | 图像 patch 嵌入 |
|
| 17 |
+
| `vision_encoder.ncnn.*` | ViT 视觉编码器（28 层） |
|
| 18 |
+
| `vision_projector.ncnn.*` | 视觉特征投影器 |
|
| 19 |
+
| `vocab.txt` / `merges.txt` | BPE 分词器 |
|
| 20 |
+
| `model.json` | 模型配置 |
|
| 21 |
+
|
| 22 |
+
## 使用方法
|
| 23 |
+
```bash
|
| 24 |
+
penguin_vl_run.exe --model . --image test.png --prompt "请描述这张图片。" --gen 128
|
| 25 |
+
```
|
| 26 |
+
|
| 27 |
+
## 说明
|
| 28 |
+
- 权重由 pnnx 从原始 PyTorch 模型导出为 ncnn，经数值校验与 PyTorch 一致（vision encoder 输出 cos≈0.9999，全视觉链路 cos≈0.99998）。
|
| 29 |
+
- 本仓库仅含推理权重；导出脚本与 C++ 运行时请参阅源项目。
|