| --- |
| license: apache-2.0 |
| language: |
| - zh |
| - en |
| base_model: Qwen/Qwen3.5-4B |
| base_model_relation: finetune |
| library_name: gguf |
| pipeline_tag: text-generation |
| tags: |
| - gguf |
| - llama.cpp |
| - qwen |
| - qwen3.5 |
| - xenomi |
| - quantum-research |
| model_name: Xenomi-mini |
| --- |
| |
| # 玄幂 Xenomi-mini（4B）GGUF |
|
|
| Xenomi-mini 是玄幂家族的桌面档，面向**对话、科研摘要 / 科普、内容风险与产品判断**。 |
| 本仓库提供合并后的 GGUF，可用 llama.cpp / `llama-cli` / `llama-server` 直接加载。 |
|
|
| - **出品：** 北京中科国光量子科技有限公司（国光量子 / GGQUANTA） |
| - **基座：** [`Qwen/Qwen3.5-4B`](https://huggingface.co/Qwen/Qwen3.5-4B)（Apache 2.0） |
| - **训练：** 垂类数据 + LoRA / SFT，再 merge 为完整权重并转为 GGUF |
| - **角色：** 单卡桌面生成，不是端侧 nano，也不是机房旗舰档 |
|
|
| 同家族：0.8B = [Xenomi-nano](https://huggingface.co/GGQuanta/Xenomi-nano)，27B = Xenomi-pro（规划），122B-A10B = Xenomi-max（规划）。 |
|
|
| ## 选哪个文件 |
|
|
| | 场景 | 建议 | |
| | --- | --- | |
| | 本机先跑起来 / 内存有限 | **Q4_K_M**（约 2.6 GB） | |
| | 产品对话、路由、NER、短文本 | **产品轨 BF16**（约 7.8 GB） | |
| | 摘要、科普、格式、内容风险、Agent 决策 | **科研轨 BF16**（约 7.8 GB） | |
|
|
| | 文件 | 用途 | 体积 | |
| | --- | --- | --- | |
| | `xenomi-4b-sft-v0-id-r5-Q4_K_M.gguf` | 量化档，便于本机与端侧试用 | 约 2.6 GB | |
| | `xenomi-4b-classic-v0-id8b-BF16.gguf` | 产品轨完整精度 | 约 7.8 GB | |
| | `xenomi-4b-research-qrouter-v1-BF16.gguf` | 科研轨完整精度 | 约 7.8 GB | |
|
|
| GGUF **不含**独立量子读出头。身份金句门（thin-A）是**服务侧规则**，权重本身不内置拦截。 |
| 量化档便于部署，**不能**把产品 / 科研 BF16 的五维或 Layer A 分数直接写成该 Q4 文件的实测结果。 |
|
|
| ## 重要声明 |
|
|
| - **相对基座的准确率优势**归因于垂类数据与 LoRA / SFT，**不**归因于量子硬件或「量子优越性」。 |
| - 产品五维、科研 Layer A 来自训练侧 **CUDA LoRA（PEFT）** 对照（RTX 5070，bf16，约 2026-07-31 至 2026-08-06）。对应 BF16 GGUF 为 adapter 合并转出，**未在 llama.cpp 上重跑同一套 eval**。 |
| - Agent 决策三项来自 **llama.cpp BF16** 与当场转出的 Qwen3.5-4B 基座同口径（2026-08-18），**不与 CUDA PEFT 历史分混写**。 |
| - Acc / F1 按任务分别呈现，不能加总为「通用能力分」。部分任务端到端更快，主要来自更短、更规范的生成；**不宣称 tokens/s 提升**。 |
| - 已知回退：产品轨 RAG 87.5 → 85.0；科研轨摘要 must 50.0 → 45.8。 |
|
|
| ## 评测 |
|
|
| ### 产品轨（相对 Qwen3.5-4B） |
|
|
| | 模型 | 路由 Acc | RAG Acc | NER micro-F1 | Keyword F1 | 短文本 Acc | Parse-OK | |
| | --- | ---: | ---: | ---: | ---: | ---: | ---: | |
| | Qwen3.5-4B | 70.0 | 87.5 | 50.4 | 21.8 | 76.2 | 100.0 | |
| | Xenomi-mini 产品 | **95.0** | 85.0 | **78.1** | **60.5** | **100.0** | 100.0 | |
|
|
| Identity FAQ（`--no-thin-a`）：**91%**。 |
|
|
| ### 科研轨 Layer A（相对 Qwen3.5-4B） |
|
|
| | 模型 | 摘要槽位 | 摘要 must | 科普 must | Format | 风险 F1 | |
| | --- | ---: | ---: | ---: | ---: | ---: | |
| | Qwen3.5-4B | 100.0 | 50.0 | 14.6 | 95.8 | 44.2 | |
| | Xenomi-mini 科研 | 100.0 | 45.8 | **41.7** | **100.0** | **100.0** | |
|
|
| ### Agent 决策（llama.cpp BF16，相对同口径基座） |
|
|
| | 任务 | 基座 | Xenomi-mini 科研 | |
| | --- | ---: | ---: | |
| | 风险决策 | 57.4 | **95.9** | |
| | 工具决策 | 92.5 | **95.4** | |
| | 结束决策 | 33.3 | **70.8** | |
|
|
| ## 用法 |
|
|
| ```bash |
| # 量化档（推荐先试这个） |
| llama-cli -hf GGQuanta/Xenomi-mini:Q4_K_M -cnv --jinja --reasoning off -c 8192 |
| |
| # 产品轨 / 科研轨 BF16：先下载对应文件 |
| hf download GGQuanta/Xenomi-mini xenomi-4b-classic-v0-id8b-BF16.gguf |
| llama-cli -m xenomi-4b-classic-v0-id8b-BF16.gguf -cnv --jinja --reasoning off -c 8192 |
| |
| hf download GGQuanta/Xenomi-mini xenomi-4b-research-qrouter-v1-BF16.gguf |
| llama-cli -m xenomi-4b-research-qrouter-v1-BF16.gguf -cnv --jinja --reasoning off -c 8192 |
| |
| # OpenAI 兼容服务 |
| llama-server -m xenomi-4b-sft-v0-id-r5-Q4_K_M.gguf --jinja --port 8080 |
| ``` |
|
|
| 仓库里有两份 BF16，`-hf …:BF16` 会有歧义，请按文件名下载。Chat 模板为 Qwen3.5 / ChatML。默认可关思考（`--reasoning off`）。 |
|
|
| 建议系统提示（可选）： |
|
|
| ```text |
| 你是玄幂（Xenomi），由中科国光量超训练的量子计算 / 科研领域模型。 |
| ``` |
|
|
| 非思考采样可从 `temperature=0.7`、`top_p=0.8`、`top_k=20` 起步。 |
|
|
| ## 许可 |
|
|
| 基座与本仓库权重按 **Apache 2.0** 提供。使用时请同时遵守 Qwen3.5 的许可与使用政策。 |
|
|
