Add Xenomi-mini GGUF model card

README.md

@@ -0,0 +1,112 @@
+---
+license: apache-2.0
+language:
+- zh
+- en
+base_model: Qwen/Qwen3.5-4B
+base_model_relation: finetune
+library_name: gguf
+pipeline_tag: text-generation
+tags:
+- gguf
+- llama.cpp
+- qwen
+- qwen3.5
+- xenomi
+- quantum-research
+model_name: Xenomi-mini
+---
+
+# 玄幂 Xenomi-mini（4B）GGUF
+
+Xenomi-mini 是玄幂家族的桌面档，面向**对话、科研摘要 / 科普、内容风险与产品判断**。  
+本仓库提供合并后的 GGUF，可用 llama.cpp / `llama-cli` / `llama-server` 直接加载。
+
+- **出品：** 北京中科国光量子科技有限公司（国光量子 / GGQUANTA）
+- **基座：** [`Qwen/Qwen3.5-4B`](https://huggingface.co/Qwen/Qwen3.5-4B)（Apache 2.0）
+- **训练：** 垂类数据 + LoRA / SFT，再 merge 为完整权重并转为 GGUF
+- **角色：** 单卡桌面生成，不是端侧 nano，也不是机房旗舰档
+
+同家族：0.8B = [Xenomi-nano](https://huggingface.co/GGQuanta/Xenomi-nano)，27B = Xenomi-pro（规划），122B-A10B = Xenomi-max（规划）。
+
+## 选哪个文件
+
+| 场景 | 建议 |
+| --- | --- |
+| 本机先跑起来 / 内存有限 | **Q4_K_M**（约 2.6 GB） |
+| 产品对话、路由、NER、短文本 | **产品轨 BF16**（约 7.8 GB） |
+| 摘要、科普、格式、内容风险、Agent 决策 | **科研轨 BF16**（约 7.8 GB） |
+
+| 文件 | 用途 | 体积 |
+| --- | --- | --- |
+| `xenomi-4b-sft-v0-id-r5-Q4_K_M.gguf` | 量化档，便于本机与端侧试用 | 约 2.6 GB |
+| `xenomi-4b-classic-v0-id8b-BF16.gguf` | 产品轨完整精度 | 约 7.8 GB |
+| `xenomi-4b-research-qrouter-v1-BF16.gguf` | 科研轨完整精度 | 约 7.8 GB |
+
+GGUF **不含**独立量子读出头。身份金句门（thin-A）是**服务侧规则**，权重本身不内置拦截。  
+量化档便于部署，**不能**把产品 / 科研 BF16 的五维或 Layer A 分数直接写成该 Q4 文件的实测结果。
+
+## 重要声明
+
+- **相对基座的准确率优势**归因于垂类数据与 LoRA / SFT，**不**归因于量子硬件或「量子优越性」。
+- 产品五维、科研 Layer A 来自训练侧 **CUDA LoRA（PEFT）** 对照（RTX 5070，bf16，约 2026-07-31 至 2026-08-06）。对应 BF16 GGUF 为 adapter 合并转出，**未在 llama.cpp 上重跑同一套 eval**。
+- Agent 决策三项来自 **llama.cpp BF16** 与当场转出的 Qwen3.5-4B 基座同口径（2026-08-18），**不与 CUDA PEFT 历史分混写**。
+- Acc / F1 按任务分别呈现，不能加总为「通用能力分」。部分任务端到端更快，主要来自更短、更规范的生成；**不宣称 tokens/s 提升**。
+- 已知回退：产品轨 RAG 87.5 → 85.0；科研轨摘要 must 50.0 → 45.8。
+
+## 评测
+
+### 产品轨（相对 Qwen3.5-4B）
+
+| 模型 | 路由 Acc | RAG Acc | NER micro-F1 | Keyword F1 | 短文本 Acc | Parse-OK |
+| --- | ---: | ---: | ---: | ---: | ---: | ---: |
+| Qwen3.5-4B | 70.0 | 87.5 | 50.4 | 21.8 | 76.2 | 100.0 |
+| Xenomi-mini 产品 | **95.0** | 85.0 | **78.1** | **60.5** | **100.0** | 100.0 |
+
+Identity FAQ（`--no-thin-a`）：**91%**。
+
+### 科研轨 Layer A（相对 Qwen3.5-4B）
+
+| 模型 | 摘要槽位 | 摘要 must | 科普 must | Format | 风险 F1 |
+| --- | ---: | ---: | ---: | ---: | ---: |
+| Qwen3.5-4B | 100.0 | 50.0 | 14.6 | 95.8 | 44.2 |
+| Xenomi-mini 科研 | 100.0 | 45.8 | **41.7** | **100.0** | **100.0** |
+
+### Agent 决策（llama.cpp BF16，相对同口径基座）
+
+| 任务 | 基座 | Xenomi-mini 科研 |
+| --- | ---: | ---: |
+| 风险决策 | 57.4 | **95.9** |
+| 工具决策 | 92.5 | **95.4** |
+| 结束决策 | 33.3 | **70.8** |
+
+## 用法
+
+```bash
+# 量化档（推荐先试这个）
+llama-cli -hf GGQuanta/Xenomi-mini:Q4_K_M -cnv --jinja --reasoning off -c 8192
+
+# 产品轨 / 科研轨 BF16：先下载对应文件
+hf download GGQuanta/Xenomi-mini xenomi-4b-classic-v0-id8b-BF16.gguf
+llama-cli -m xenomi-4b-classic-v0-id8b-BF16.gguf -cnv --jinja --reasoning off -c 8192
+
+hf download GGQuanta/Xenomi-mini xenomi-4b-research-qrouter-v1-BF16.gguf
+llama-cli -m xenomi-4b-research-qrouter-v1-BF16.gguf -cnv --jinja --reasoning off -c 8192
+
+# OpenAI 兼容服务
+llama-server -m xenomi-4b-sft-v0-id-r5-Q4_K_M.gguf --jinja --port 8080
+```
+
+仓库里有两份 BF16，`-hf …:BF16` 会有歧义，请按文件名下载。Chat 模板为 Qwen3.5 / ChatML。默认可关思考（`--reasoning off`）。
+
+建议系统提示（可选）：
+
+```text
+你是玄幂（Xenomi），由中科国光量超训练的量子计算 / 科研领域模型。
+```
+
+非思考采样可从 `temperature=0.7`、`top_p=0.8`、`top_k=20` 起步。
+
+## 许可
+
+基座与本仓库权重按 **Apache 2.0** 提供。使用时请同时遵守 Qwen3.5 的许可与使用政策。