Instructions to use PelaAI/KnowLine-31B-Gen1 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use PelaAI/KnowLine-31B-Gen1 with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-classification", model="PelaAI/KnowLine-31B-Gen1")# pip install -U transformers accelerate # Load model directly from transformers import AutoProcessor, AutoModelForMultimodalLM processor = AutoProcessor.from_pretrained("PelaAI/KnowLine-31B-Gen1") model = AutoModelForMultimodalLM.from_pretrained("PelaAI/KnowLine-31B-Gen1", device_map="auto") - Notebooks
- Google Colab
- Kaggle
Download README.zh.md from PelaAI/KnowLine-31B-Gen1: direct link, hf CLI and curl.
- Browser
- Download file 24.2 kB
-
https://huggingface.co/PelaAI/KnowLine-31B-Gen1/resolve/main/README.zh.md
- Command line
-
hf download hf://PelaAI/KnowLine-31B-Gen1/README.zh.md
-
curl -L -o README.zh.md https://huggingface.co/PelaAI/KnowLine-31B-Gen1/resolve/main/README.zh.md
KnowLine-31B-Gen1
PelaAI System One 决策模型第一个基于稠密 Gemma 4 底座的版本:31B 参数,与 KnowLine-26B-A4B、KnowLine-35B-A3B 和 KnowLine-4B 系列在同一套由 AI agent 运行的数据循环里训练,并以"读两遍"方式推理。
推理说明 · English · 权重 Apache-2.0 · 同系列:KnowLine-26B-A4B-Gen2.5、KnowLine-35B-A3B-Gen1.5、KnowLine-4B-Gen5.5
亮点:
Decision Index 0.3 公开套件:70.13(自测,全新完整运行,读两遍)。KnowLine-35B-A3B-Gen1.5 和 KnowLine-26B-A4B-Gen2.5 在同一套件、同样的推理方式下分别为 70.72 和 68.21,见横向对比。
新领域决策任务: 在我们规模较大的一套新领域决策任务上(34 个任务,领域均不在训练数据中)得分 74.9(26B-A4B-Gen2.5 为 66.4,35B-A3B-Gen1.5 为 56.2)。在我们较早的 10 个任务的一套上得分 57.7(26B-A4B-Gen2.5 为 56.6,35B-A3B-Gen1.5 为 56.6)。
其他评测: 自建中文留出集 75.9 / 75.9(26B-A4B-Gen2.5 为 73.7 / 71.0),C-Eval 82.5(77.9),Open-Jev 1.1 测试 / OOD 91.3 / 94.8(92.7 / 92.7),JevBench / JevBench 难题集 90.5 / 80.2(90.5 / 81.1),自建英文集 70.2(70.5),见评测。
植入的指令: 状态里植入的指令改变了 0.4% 的答案,用训练里没见过的注入模板时为 5.3%,两者都高于 KnowLine-26B-A4B-Gen2.5(0.1% 和 1.7%),见局限。
校准过的概率: 权重里折入了一个温度。按榜单的方法在公开套件上计算,ECE 约 0.012-0.021,Brier 分数约 0.23-0.26(KnowLine-26B-A4B-Gen2.5 为 0.013-0.018 和 0.24-0.27);在我们自己的留出集上校准较弱,见校准。
没有图片训练也能看图: 只用文本训练,保留了底座模型的视觉塔。在我们按 Decision Index 0.3.1 视觉榜公开套件复现的评测上得分 69.9(26B-A4B-Gen2 为 64.7,35B-A3B-Gen1 为 71.2),用官方工具跑视觉榜公开套件得 69.3(自测),见图片输入。
没有框选训练也能框选: 让它找图片里指定的目标,它能零样本返回边界框:ScreenSpot 中心点命中 81.3,RefCOCO IoU≥0.5 为 77.3(文档较弱,FUNSD 35.3),见框选。
拳皇 '98 评测:对 StartLux-Decision-35B-A3B 为 16 胜 2 负,对 KnowLine-35B-A3B-Gen1 为 4 胜 14 负(单回合同角色镜像对战);对 Jev 的一组没有跑。见游戏评测。
一个 AI agent 端到端地运行了整个循环。 每一轮它都会:
- 找出模型的薄弱之处;
- 提出一组有针对性的数据;
- 构建数据并去污染;
- 在这组数据上训练并评测模型;
- 根据证据保留或放弃这次改动。
本模型的情况见Gen1 是怎么做出来的。
KnowLine 是独立开发的模型,与 TypeSafe、Jev 或 Google 没有隶属关系,未获其背书,也不是基于 TypeSafe 或 Jev 开发的。
它做什么
你发送一段状态(文本或对话)和最多 64 道带类型的问题:是/否、k 选一、按细则打分。模型对每道题给出各选项的概率分布:
- 每道题只做一次前向计算,不生成文本;
- 生成的是各选项标签 token 的概率;
- 现有 Jev 客户端只需修改 base URL 即可接入;其他 KnowLine 模型的用户换模型名即可,接口不变。
| 底座模型 | google/gemma-4-31B-it(Apache-2.0):稠密模型,约 31B 参数 |
| 训练 | LoRA 监督微调(rank 32,alpha 64,只训语言模型部分),训练一个 epoch,合并为 bf16 权重;再与底座模型逐个张量做平均:0.75 × 微调后 + 0.25 × gemma-4-31B-it(见Gen1 是怎么做出来的) |
| 发布格式 | bf16 权重(约 63 GB),最后一层 norm 的权重和最终 logit 的软上限里折入了读出温度 T = 1.44(见校准);前端按等效温度 1.0 读出打分题(temperatures.json)。视觉塔与底座模型相同;分词器是 Gemma 4 的,不是基于 Qwen 的 KnowLine 模型的分词器。 |
| 推理 | serve_knowline.sh:和 26B-A4B 一样,SGLang 以 bf16 运行(这个模型我们没有测试加载时转 FP8);knowline_server.py 把较短的请求读两遍,与 KnowLine-26B-A4B-Gen2.5 和 KnowLine-35B-A3B-Gen1.5 相同(默认开启;--no-read-twice 则每个请求只读一遍)。SGLang 默认占用 GPU 显存的 85%(MEM),权重约 63 GB。我们的全部评测都是单张 96 GB H20 跑一个服务。 |
| 语言 | 英文、简体中文、繁体中文 |
快速开始
pip install "sglang==0.5.21" "transformers==5.12.1" requests
bash serve_knowline.sh PelaAI/KnowLine-31B-Gen1 0 8080 # SGLang(bf16)监听 :9080,/v1/systemone 监听 :8080
curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -d '{
"model": "m",
"state": "Customer: my order arrived broken, I want my money back.",
"questions": {"refund": {"type": "noul", "instructions": "Should the agent offer a refund?"},
"tone": {"type": "choice", "instructions": "Customer tone?",
"criteria": {"angry": "Angry", "neutral": "Neutral", "happy": "Happy"}}}}'
- 前端:
knowline_server.py,旁边放knowline_layout.py;两者只依赖 transformers 和 requests。文本请求的渲染与 KnowLine-26B-A4B-Gen2.5 的前端逐条 prompt 相同。 - 完整设置: 我们跑 Decision Index 时的完整设置见 INFERENCE.md。
Gen1 是怎么做出来的
- 为什么用稠密底座? 我们的混合专家模型在公开套件和同技能私有测试上表现不错,但在新领域的决策任务上落后于榜单上 30B 左右的稠密模型。我们在这个底座上训练了 KnowLine-26B-A4B-Gen1 的数据,看新领域的差距有多少来自底座模型。
- 数据。 KnowLine-26B-A4B-Gen1 的数据,一次训完:35B 系列最新一轮的数据,按 Gemma 的对话模板渲染,加上抗注入样本(状态里植入的、不应改变答案的指令)。所有数据都经过与之前版本相同的去污染检查,见披露。
- 训练。 用一个 LoRA 适配器(rank 32)训练一个 epoch,合并进权重。
- 与底座模型平均。 微调后的权重再与底座模型 google/gemma-4-31B-it(Apache-2.0)的权重逐个张量做平均:0.75 × 微调后 + 0.25 × 底座。LoRA 适配器没有训练的张量(例如词嵌入和视觉塔)本来就与底座相同,平均后不变。
- 推理方式和温度。 与 KnowLine-26B-A4B-Gen2.5 和 KnowLine-35B-A3B-Gen1.5 一样以读两遍方式推理。在这种推理方式下,用我们训练内的评测集拟合出一个温度 T = 1.44,折入权重。它改变概率的大小,不改变排第一的选项。
- 选择。 我们在发布检查中比较了只做微调的模型和两种平均(微调占 0.75 和 0.5),发布的是 0.75 的平均。
横向对比
下表为 Decision Index 的分数。从 Decision Index 0.4 起,榜单总分由同技能私有测试(60%)和新领域私有任务(40%)组成;公开套件分数仍然显示,但不再计入总分。本模型目前还没有榜单条目。
| 模型 | 规模 | DI 0.3 公开分 | DI 0.4.1 总分 | 来源 |
|---|---|---|---|---|
| KnowLine-31B-Gen1 | 31B | 70.13 | 尚未评分 | 自测,官方工具 |
| KnowLine-35B-A3B-Gen1.5 | 35B-A3B | 70.72 | 65.77 | 榜单 |
| KnowLine-26B-A4B-Gen2.5 | 26B-A4B | 68.21 | 64.57 | 榜单 |
| Fastino GLiDE V1.2 | – | 71.99 | 71.52 | 榜单 |
| Jeffan-31b-1710 | 31B | 73.13 | 69.75 | 榜单 |
| mammoth-1 | 27B | 75.34 | 68.44 | 榜单 |
| Perplexity Decider v1.2 | 27B | 67.74 | 67.98 | 榜单 |
| StartLux-Decision v1.1 27B | 27B | 72.88 | 67.92 | 榜单 |
| FlexDM · Gemma-4-31B | 31B | 63.63 | 67.56 | 榜单 |
| Jev 1.14 | (API) | 60.70 | 60.24 | 榜单 |
榜单行取自 2026-10-22 的榜单数据(20:10 UTC,Decision Index 0.4.1)。
各领域的公开套件 skill(DI 0.3,三者都以读两遍方式推理):
| 领域 | KnowLine-31B-Gen1 | KnowLine-26B-A4B-Gen2.5 | KnowLine-35B-A3B-Gen1.5 |
|---|---|---|---|
| 知识与推理 | 59.4 | 55.1 | 55.0 |
| 语言 | 72.0 | 71.2 | 72.9 |
| 检索与路由 | 73.0 | 70.9 | 75.4 |
| 工具与 Agent | 84.7 | 83.3 | 88.2 |
| 艺术与品味 | 60.5 | 61.4 | 64.2 |
版本记录
模型在自我演进的循环里训练,之后还会有新版本。
| 模型 | 日期 | DI 0.3 公开分 | 金标准留出集(英 / 简中 / 繁中) | 说明 |
|---|---|---|---|---|
| KnowLine-31B-Gen1(本模型) | 2026-10-24 | 70.13 | 70.2 / 75.9 / 75.9 | 第一个基于稠密 Gemma 4 底座的版本;读两遍推理 |
| KnowLine-26B-A4B-Gen2.5 | 2026-10-22 | 68.21 | 70.5 / 73.7 / 71.0 | Gen2 的权重,读两遍推理 |
| KnowLine-35B-A3B-Gen1.5 | 2026-10-22 | 70.72 | 70.8 / 74.6 / 73.2 | 35B-A3B Gen1 的权重,读两遍推理 |
| KnowLine-4B-Gen5.5 | 2026-10-22 | 66.75 | 70.3 / 72.1 / 67.5 | Gen5 的权重,读两遍推理 |
| KnowLine-4B-Gen5 | 2026-10-21 | 65.67 | 69.6 / 71.7 / 67.1 | 4B,第五版 |
| KnowLine-26B-A4B-Gen2 | 2026-10-19 | 66.94 | 70.6 / 72.6 / 69.8 | 26B-A4B,第二版 |
| KnowLine-26B-A4B-Gen1 | 2026-10-19 | 65.76 | 70.6 / 72.2 / 69.2 | 第一个基于 Gemma 4 的版本 |
| KnowLine-35B-A3B-Gen1 | 2026-10-12 | 69.49 | 70.3 / 73.8 / 72.1 | 35B-A3B 第一版 |
评测
以下结果均为自测,没有经过第三方核实。本模型的所有数字都通过它的发布前端测得(读两遍开启)。从这个版本起,新领域任务集的数字附一条脚注,说明其中与我们训练数据相似的任务。26B-A4B-Gen2.5 和 35B-A3B-Gen1.5 的数字来自它们发布时用同一前端做的评测。
留出集和中文评测
| 评测 | 31B-Gen1 | 26B-A4B-Gen2.5 | 35B-A3B-Gen1.5 |
|---|---|---|---|
| 自建评测集,英文 | 70.2 | 70.5 | 70.8 |
| 自建评测集,简体中文 | 75.9 | 73.7 | 74.6 |
| 自建评测集,繁体中文 | 75.9 | 71.0 | 73.2 |
| C-Eval(4 个大类,宏平均) | 82.5 | 77.9 | 88.1 |
| Open-Jev 1.1 测试 / OOD | 91.3 / 94.8 | 92.7 / 92.7 | 93.4 / 93.6 |
| JevBench / JevBench 难题集 | 90.5 / 80.2 | 90.5 / 81.1 | 87.0 / 73.0 |
| 新领域决策任务(自建,34 个任务)¹ | 74.9 | 66.4 | 56.2 |
| 新领域决策任务(自建,10 个任务)¹ | 57.7 | 56.6 | 56.6 |
| 提示注入:答案被改变(越低越好) | 0.4% | 0.1% | 0.0% |
| 提示注入,使用训练里没见过的模板(越低越好) | 5.3% | 1.7% | 1.0% |
- 与 KnowLine-26B-A4B-Gen2.5 做配对符号检验:自建简体中文集、繁体中文集、C-Eval 和 Open-Jev 1.1 OOD 更高(各 p < 0.001),Open-Jev 1.1 测试更低(p = 0.04);自建英文集(p = 0.61)、JevBench 和 JevBench 难题集(p = 1.0)没有差别。换成没见过的注入模板时,600 个答案里有 32 个被带到植入的选项上,26B-A4B-Gen2.5 为 10 个(p < 0.001)。
- 与 KnowLine-35B-A3B-Gen1.5 相比:自建简体中文集(p = 0.03)和繁体中文集(p = 0.004)更高,C-Eval(p < 0.001)和 Open-Jev 1.1 测试(p = 0.002)更低;自建英文集(p = 0.42)、Open-Jev 1.1 OOD(p = 0.07)、JevBench 和 JevBench 难题集(p = 0.06)在 p < 0.05 下没有差别。换成没见过的注入模板时为 32 个对 6 个(p < 0.001)。
- ¹ 我们自建的新领域决策任务(领域均不在训练数据中),三个模型在同样的推理方式下跑过(读两遍通过我们评测用的前端实现,布局与发布前端相同)。34 个任务里有 11 个(规则、政策、状态跟踪)与我们训练数据里的程序化合成任务相似;在其余 23 个上得分 73.3(26B-A4B-Gen2.5 为 66.1,35B-A3B-Gen1.5 为 57.1)。
网页操作(Mind2Web 官方测试集,仅用于评测)
| 测试集 | 31B-Gen1 元素选择 | 31B-Gen1 操作(类别平衡) | 26B-A4B-Gen2.5 元素选择 | 26B-A4B-Gen2.5 操作(类别平衡) |
|---|---|---|---|---|
| test_task(训练里见过的网站,新任务) | 91.5 | 92.8 | 89.8 | 90.3 |
| test_website(新网站) | 91.5 | 95.9 | 89.2 | 94.0 |
| test_domain(新领域) | 90.4 | 96.6 | 89.6 | 92.9 |
元素选择在三个测试集上都比 KnowLine-26B-A4B-Gen2.5 高(配对检验 p = 0.05、0.01 和 0.11);操作准确率在误差范围内(p ≥ 0.09)。没有请求失败。
任务是从候选集里选出目标元素:目标元素加上从页面里抽样的最多 5 个其他元素。这比 Mind2Web 的原始设定简单,请勿与 Mind2Web 排行榜比较。
图片输入(零样本)
- 没有图片训练: 视觉塔是底座模型的,未做改动,训练中也没有见过图片。
knowline_server.py接受对话状态里 OpenAI 风格的image/image_url内容块并传给 SGLang;每道题仍然只做一次 prefill。带图片的请求只读一遍(读两遍只作用于纯文本请求)。 - 怎么测的: 与之前的版本相同,用我们按 Decision Index 0.3.1 视觉榜公开套件复现的评测(11 个基准,按随机水平校正的 skill,以及榜单的权重),通过发布服务运行,0 个请求失败。我们也用官方工具跑了视觉榜公开套件(12,210 行,完整,0 失败)。
| 基准 | 31B-Gen1(我们的复现) | 31B-Gen1(官方视觉套件) | 26B-A4B-Gen2(我们的复现) | 35B-A3B-Gen1(我们的复现) |
|---|---|---|---|---|
| CV-Bench | 73.9 | 74.1 | 70.5 | 75.8 |
| BLINK | 65.7 | 58.0 | 57.4 | 59.8 |
| RealWorldQA | 57.2 | 55.9 | 54.2 | 71.9 |
| CharXiv | 65.8 | 74.7 | 61.9 | 66.9 |
| InfographicVQA | 86.9 | 91.3 | 81.4 | 90.7 |
| Mind2Web | 77.3 | 73.4 | 70.8 | 86.4 |
| Winoground | 85.5 | 86.0 | 78.5 | 80.0 |
| KIE(CORD+FUNSD) | 94.3 | 93.7 | 95.1 | 96.2 |
| 内容审核(Hateful Memes) | 49.7 | 44.4 | 41.1 | 41.1 |
| R-Bench-M | 30.3 | 30.3 | 26.2 | 29.1 |
| MMMU-Pro vision | 38.7 | 36.2 | 28.0 | 45.1 |
| 加权公开指数 | 69.9 | 69.3 | 64.7 | 71.2 |
- 介于 26B-A4B 和 35B-A3B 之间: 在我们的复现上比 KnowLine-26B-A4B-Gen2 高 5.2 分,比 KnowLine-35B-A3B-Gen1 低 1.3 分;相对 26B-A4B 提升最大的是 MMMU-Pro vision(+10.7)、Hateful Memes(+8.6)和 BLINK(+8.3);KIE 低 0.8。
- 仅供参考: 复现是我们自己做的,不是榜单的数据;官方套件一列是用官方工具自测的结果。
框选(零样本,未训练)
- 做什么: 框选题指出图片里的一个目标,服务返回它的边界框;模型没有给出框时返回拒答。没有做过框选训练:这是底座模型本身的能力,通过发布前端读出(
--box-prompt gemma --box-coords yxyx)。 - 怎么测的: 每条一个请求,通过发布服务运行,每张图 280 个图像 soft token,图片每边不超过 1,568 像素,最多生成 64 个新 token。所有条目都计入,拒答算作未命中;0 个请求失败。
| 评测集 | n | 指标 | 31B-Gen1 | 拒答 |
|---|---|---|---|---|
| ScreenSpot(6 个子集 × 50) | 300 | 中心点落在目标内 | 81.3 | 5.3% |
| RefCOCO val | 300 | IoU ≥ 0.5(平均 IoU) | 77.3(72.7) | 5.0% |
| FUNSD | 150 | IoU ≥ 0.5(中心点落在目标内) | 35.3(58.7) | 4.0% |
| 业务系统界面截图,中/英(自建)² | 1,500 | 中心点落在目标内 | 60.5(英文 67.4,中文 56.2) | 5.8% |
| 发票,中/英(自建)² | 800 | IoU ≥ 0.5 | 44.6(清晰 74.8,拍照 43.4,扫描 34.6) | 0.1% |
- 文档较弱: 在发布使用的 280 个 soft token 下,表单和文档字段较弱(FUNSD 35.3)。更高的图片分辨率对文档有帮助,本版本不提供。
- 文字目标比图标容易: ScreenSpot 上图标为 68.0 / 70.0 / 74.0,文字为 92.0 / 94.0 / 90.0(桌面 / 手机 / 网页)。
- 置信度: 框选的置信度不是校准过的概率(ECE:ScreenSpot 0.238,RefCOCO 0.153,FUNSD 0.247)。我们没有附带框选校准文件。
- ² 我们自建的合成留出集,仅供参考,不是公开基准。
游戏评测(拳皇 '98)
- 设置:单回合同角色镜像对战,每对 18 局,取 argmax 动作;与其他 KnowLine 版本相同。
- 结果:对 StartLux-Decision-35B-A3B 为 16 胜 2 负,对 KnowLine-35B-A3B-Gen1 为 4 胜 14 负;合计 20 胜 16 负(26B-A4B-Gen2 为 17 胜 1 负、6 胜 6 负 6 平)。
- Jev:没有跑:本次评测期间我们无法使用 Jev API。
- 胜负方式:对 StartLux-Decision-35B-A3B 的 16 胜里 6 局 K.O.、10 局时间到;对 KnowLine-35B-A3B-Gen1,4 胜里 3 局 K.O.,14 负里 9 局被 K.O.、5 局时间到。
- 出招风格:重踢 57%、special_2 25%、重拳 8%、special_3 5%、special_1 5%。
- 注意:每对只有 18 局,区间很宽;这是在这个评测环境下测得的结果,不代表一般的格斗游戏水平。
校准
在 0.3 公开套件上按 Decision Index 榜单描述的方法计算:每个字段判对错,置信度取所选选项的概率,各基准等权,分 10 个等宽区间。
| 指标 | 31B-Gen1 | 26B-A4B-Gen2.5 | 35B-A3B-Gen1.5 |
|---|---|---|---|
| ECE(越低越好) | 0.012-0.021 | 0.013-0.018 | 0.03-0.04 |
| Brier 分数(越低越好) | 0.23-0.26 | 0.24-0.27 | 0.24-0.26 |
| 置信度 ≥95% 却答错 | 0.9-1.0% | 0.9% | 1.5% |
| 平均置信度 / 准确率 | 0.83-0.84 / 0.81-0.83 | 0.82-0.83 / 0.80-0.82 | 0.85-0.86 / 0.81-0.83 |
- 权重里的温度: 最后一层 norm 的权重和最终 logit 的软上限里折入了读出温度 T = 1.44,它是在读两遍推理方式下用我们训练内的评测集拟合出来的,所以每个最终 logit 在对选项标签做 softmax 之前都除以 1.44。排第一的选项不变。在我们的留出集上,所有题都按这个温度读时 ECE 为 0.044,不加温度(T = 1)时为 0.102。
- 打分题按温度 1.0 读出(本版本新增):
serve_knowline.sh传入temperatures.json({"score": 0.6944}),前端把打分(细则)题的 logit 再除以 0.6944,即按等效温度 1.44 × 0.6944 = 1.0 读出;是/否题和选择题仍为 1.44。打分题常按量表上的期望值读出,温度越高,期望值越被拉向中间。这是推理设置,不是权重改动,之前的 KnowLine 版本没有用过;启动knowline_server.py时不传--temperatures(或knowline_engine.py用--option temperatures=none),则所有题都按 1.44 读出。代价是校准:按发布的推理设置,在我们的留出集上 ECE 为 0.064(打分题也按 1.44 时为 0.044;KnowLine-26B-A4B-Gen2.5 为 0.027,KnowLine-35B-A3B-Gen1.5 为 0.023)。 - 为什么给范围: 榜单没有公布校准用的是哪些基准,所以和之前的版本一样,我们给出在各种可能的基准组合下的范围。
- 建议: 温度是在我们的数据上拟合的。如果你的用法依赖概率阈值,请在自己的数据上检查校准。
披露
- Decision Index 格式的训练数据: 训练数据就是 KnowLine-26B-A4B-Gen1 的数据(906,122 行,一次训完)。约 33% 的行以 Decision Index 基准的请求格式或其改写形式为目标:改写成该格式的公开数据集训练集(例如 WinoGrande XL、ACOS 和 GSM8K),以及按同样格式编写的合成样本。另有 0.5% 是同样样本以其他格式渲染的副本,2.6%(23,722 行)是抗注入样本。
- 去污染: 所有训练数据都用与之前版本相同的工具,对照 Decision Index 0.3 的每一行、我们的全部评测集以及我们报告的其他公开基准(Intern-Decision、S1MB、JevBench、MMDM)做了检查。为 KnowLine-26B-A4B-Gen1 构建这批数据时,删除了 491 行与评测样本几乎重复、复述了其问题或论断、或包含其完整状态的数据。
- 与底座模型平均: 每个张量都是 0.75 × 微调后的张量 + 0.25 × google/gemma-4-31B-it 的张量(Apache-2.0,与本模型的许可相同),词嵌入和视觉塔也包括在内(LoRA 适配器没有训练的张量本来就与底座相同)。平均的比例是在我们的评测集上选定的(见下一条)。
- 按评测做的选择: 我们在读两遍推理方式下,用发布检查比较了只做微调的模型和两种与底座的平均,发布的是 0.75 的平均。它在 C-Eval 和 Open-Jev 1.1 测试上仍低于 KnowLine-35B-A3B-Gen1.5,也比这两个同系列模型更容易被植入的指令带偏(见评测)。
- 没有用模型输出作标签: 没有用 Jev 或任何其他决策模型的输出作为训练标签。
- 教师模型标注的合成数据: 我们的合成任务由 LLM 教师模型编写和标注。标签经过了过滤,但并非全部经过人工检查。
局限
- 规模和速度: bf16 权重约 63 GB,且是稠密模型,每个 token 都用到全部 31B 参数;我们只在 96 GB 的卡上运行过。单张 H20、一次一个请求,中位数 340 ms、平均 910 ms(第 95 百分位 3,977 ms),KnowLine-26B-A4B-Gen2.5 为 66.3 ms 和 151 ms,见 INFERENCE.md。
- 读两遍: 不超过 3,000 token 的纯文本请求会写两遍,在 Decision Index 套件上 prompt token 约为 1.54 倍。如果延迟更重要,可以用
--no-read-twice;本模型卡里我们没有评测过不读两遍的情况。 - 植入的指令: 比我们的其他模型更容易被带偏:换成训练里没见过的注入模板时,5.3% 的答案被带到植入的选项上,KnowLine-26B-A4B-Gen2.5 为 1.7%,KnowLine-35B-A3B-Gen1.5 为 1.0%(见过的模板为 0.4%)。请把不可信的文本清楚地隔开。
- C-Eval 和 Open-Jev 1.1 测试: 低于 KnowLine-35B-A3B-Gen1.5(C-Eval 82.5 对 88.1,Open-Jev 1.1 测试 91.3 对 93.4)。
- 在我们评测集上的校准: 打分题按等效温度 1.0 读出时,我们留出集上的 ECE 为 0.064,高于 KnowLine-26B-A4B-Gen2.5(0.027)和 KnowLine-35B-A3B-Gen1.5(0.023)。
- 图片: 没有做过图片训练,请在自己的数据上检查图片用法。
- 框选: 零样本(没有框选训练);表单和文档字段较弱,框选置信度没有校准,见框选。
- 拳皇 '98: 在我们的评测环境下对 KnowLine-35B-A3B-Gen1 为 4 胜 14 负(18 局,区间很宽),见游戏评测。
- 其他攻击: 其他提示注入手法仍可能奏效。
- 私有测试: 公开套件的部分分数来自训练数据里有同类任务的基准,所以私有测试的分数可能更低。
引用
@misc{knowline31bgen1,
title = {KnowLine-31B-Gen1: a 31B decision model},
author = {PelaAI},
year = {2026},
url = {https://huggingface.co/PelaAI/KnowLine-31B-Gen1}
}
许可
- 权重: Apache-2.0,与底座模型相同。
- 底座模型的许可: google/gemma-4-31B-it 以 Apache-2.0 发布,见 Google 的许可页面 ai.google.dev/gemma/docs/gemma_4_license。
- 代码:
knowline_server.py、knowline_layout.py和knowline_engine.py为 MIT 许可(见文件开头)。