SkyContact/VideoChat3-4B-GGUF

VideoChat3-4B GGUF

MCG-NJU/VideoChat3-4B 的 GGUF 量化版本， 配套推理引擎 SkyVision.cpp。

仅供 SkyVision.cpp 使用。 GGUF 里 general.architecture = videochat3， 是自研的 Qwen3 + VideoChat3 ViT 结构，llama.cpp / ollama / LM Studio 等通用 GGUF 运行时无法加载本仓库文件。 本仓库与通用 GGUF 生态不兼容，请勿据此判断"能不能跑"。

文件	量化	大小	说明
videochat3-4b-q6_k.gguf	Q6_K	~3.9 GB	单文件自包含：Qwen3 文本解码器 + 27 层 ViT + multimodal projector

单个 GGUF 装下全部张量，不需要额外的 vision 文件（这一点与 moondream3.1 不同）。 ViT 与 multimodal projector 保持 F16，学习式位置编码表保持 F32（由宿主端做双三次插值）。

模型结构：

• 文本主干 Qwen3：36 层、d=2560、32 heads / 8 KV heads（GQA）、head_dim 128、ff 9728、词表 151936、RoPE theta 5e6
• 视觉：27 层 ViT、d=1152、16 heads、ff 4304、patch 14、空间 merge 2、时间 merge 4、位置表 64×64
• 默认上下文 n_ctx = 8192

运行要求

• 引擎：SkyVision.cpp（vqa-cli），CUDA 与 CPU 后端均可。
• 分词器不打包进 GGUF：运行时需从基座仓库 MCG-NJU/VideoChat3-4B 取 tokenizer.json （--tokenizer <检查点目录>）。
• 视频输入：vqa-cli --video <file> --fps 2 --max-frames 32，走 ffmpeg 管道解码，需要 PATH 上有 ffmpeg。
• 大图注意：视觉 token 数 ≈ (H/28)×(W/28)，默认 n_ctx 8192 大致只装得下 6 MP 以内的图片； 更大的图请先缩小，否则会报 context overflow。

相关链接

• 推理引擎源码：SkyVision.cpp
• 基座模型：MCG-NJU/VideoChat3-4B

许可证

Apache-2.0，继承自基座模型。