KnowLine-4B-Gen4
PelaAI 推出的 4B System One 决策模型第四版，在单台一体机上，由 Agent 驱动的数据迭代循环训练出来。
推理说明 · English · 权重 Apache-2.0 · 上一版：KnowLine-4B-Gen3
亮点：
- Decision Index 0.3 公开套件：64.90（自测），比 Gen3（63.11）高 1.79。涨分大部分来自训练数据里有同类任务的少数几个基准，其中 BPoMP 最多，见本版做了什么。作为对照：Perplexity Decider v1.1（27B）为 62.25，Jev 1.13 为 57.96（榜单）；榜单上 ≤5B 模型的最高公开分为 50.82，见横向对比。
- 更不容易被植入的指令带偏：状态里植入的指令改变答案的比例从 Gen3 的 3.4% 降到 1.6%；换成训练里没见过的注入模板，从 10.2% 降到 6.2%。
- 概率经过校准：权重里已折入一个温度。按榜单的方法计算，ECE 约 0.04-0.05（榜单中位数 0.084），Brier 分数约 0.29-0.31，在榜单 114 个模型里约排第 2-3，见校准。
- 其他评测与 Gen3 持平：JevBench / JevBench 难题集 86.1 / 72.1（Gen3 为 86.6 / 72.1），Open-Jev 1.1 测试 / OOD 88.4 / 87.1（88.4 / 87.2），C-Eval 78.7（79.2）。
- 没有做过图片训练，也能处理图片：Gen4 只用文本训练，但推理接口支持图片输入，决策能力能迁移到图片上。在我们按 Decision Index 0.3.1 视觉榜公开套件复现的评测上得分 66.4，同一套评测下原版 Qwen3.5-4B 为 59.4（自测），见图片输入。
- 拳皇 '98 评测：对 Jev 1.13 为 14 胜 3 负 1 平，对 StartLux-Decision-4B 为 10 胜 4 负 4 平（单回合同角色镜像对战），打法见游戏评测。
- 整个迭代循环由 AI Agent 端到端执行：分析模型在哪些领域效果不佳，提出针对性的数据组，构建数据并去污染，训练、评测，最后根据证据决定保留还是否决这次改动。这一版具体做了什么见本版做了什么。
KnowLine 是独立开发的模型，与 TypeSafe 或 Jev 没有隶属关系，未获其背书，也不是基于它们开发的。
它做什么
你发送一段状态（文本或对话）和最多 64 道带类型的问题：是/否、k 选一、按细则打分。模型对每道题给出各选项的概率分布：
- 每道题只做一次前向计算，不生成文本；
- 生成的是各选项标签 token 的概率；
- 现有 Jev 客户端只需修改 base URL 即可接入；之前版本的用户换模型名即可，接口和推理设置都不变。
| 底座模型 | Qwen/Qwen3.5-4B（Apache-2.0） |
| 训练方式 | LoRA 监督微调（rank 32，alpha 64，只训语言模型部分），合并为 bf16 权重 |
| 发布格式 | bf16 权重；最后一层 norm 的权重里已折入读出温度 T = 1.32（见校准）；视觉部分和 MTP 头与底座相同，配置、分词器和对话模板与 Gen1-Gen3 完全一致 |
| 语言 | 英文、简体中文、繁体中文 |
快速开始
pip install "sglang==0.5.21" "transformers==5.12.1" requests
bash serve_knowline.sh PelaAI/KnowLine-4B-Gen4 0 8080 # SGLang（加载时转 FP8）监听 :9080，/v1/systemone 监听 :8080
curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -d '{
"model": "m",
"state": "Customer: my order arrived broken, I want my money back.",
"questions": {"refund": {"type": "noul", "instructions": "Should the agent offer a refund?"},
"tone": {"type": "choice", "instructions": "Customer tone?",
"criteria": {"angry": "Angry", "neutral": "Neutral", "happy": "Happy"}}}}'
- 前端：
knowline_server.py是单个文件，只依赖 transformers 和 requests，与 Gen3 是同一个文件。 - 完整设置：我们跑 Decision Index 时的完整设置见 INFERENCE.md。
本版做了什么
找短板。 知识与推理（43.9）仍是最弱的领域；除此之外，Agent 还看了哪些能力换个场景就用不上：同一道题换种格式问、没见过的注入模板、在几乎一样的工具里选对工具，以及训练里没有的领域的任务。
新一轮数据。 针对这些短板的数据组：写在状态里的任务说明、已有题目的格式变体、更多工具检索和难区分的工具选择题、商品搜索相关性、十来个新任务类型、带新模板的注入对照题（同一状态有无植入指令），以及新闻主题分类。前几轮的算术、知识和 Jev 风格数据做了回放。全部数据都用改进后的去污染工具检查过，见披露。
训练。 在 Gen3 上用这些数据接着训，再和 Gen3 各占一半做平均。接着训让模型更自信，所以拟合了一个温度并折入权重；它只改变概率的大小，不改变哪个选项排第一。
挑选。 本轮共比较了 37 个候选（新训练的模型、在 Gen3 上接着训的模型，以及它们和 Gen3 的平均），DI 0.3 公开分在 61.18-65.39 之间。每个候选都要和 Gen3 比过同一套检查：留出集、Open-Jev 1.1 OOD 和 JevBench 难题集没有显著下降，注入比例不超过 4%，新领域任务、同类技能、格式一致性、没见过的注入模板和校准（按加温度之后计算）的退步都不超过设定的幅度。在通过检查的候选里，Gen4 的公开分最高。有几个公开分更高的平均版本，因为 JevBench 难题集丢题或格式一致性下降而被否决。
涨分在哪里。 比 Gen3 高的 1.79 分里，约 1.58 分（88%）来自本轮训练数据里加了同类任务的基准：
- BPoMP，54.5 → 90.7（占总分 0.60 分）：同样风格的原版与改写版打油诗对比题，之前的版本没有这类数据；
- Amazon ESCI，38.9 → 45.6：ESCI 训练集里的查询-商品对；
- cfcolor，25.4 → 35.2：与该基准同一来源数据集（O'Donovan 等，2014）的配色；
- Humicroedit，23.1 → 32.0：SemEval-2020 Task 7 的训练集、开发集和 FunLines，该基准用的是测试集；
- 涨得较少的：ToolRet（61.2 → 64.9）、BRIGHT（39.2 → 42.0）、SATA-Bench（29.2 → 33.6）、FinEntity（86.8 → 90.2）和 ACOS（43.3 → 46.1）。
在没参与训练的同类技能基准上（BPoMP 对应 BLiMP，Humicroedit 对应 HaHackathon，ESCI 对应 WANDS，ToolRet 对应 Toucan），变化很小或有涨有跌，所以这部分涨分大多只在这几类任务上。下降最多的几个基准降幅都很小，最多的是 WinoGrande（78.8 → 77.7）。
横向对比
下表为 Decision Index 0.3 公开套件的分数。0.3 的总分还要加上只由维护者运行的私有测试（同技能 0.5、新领域 0.3），我们的总分暂时还没有。
| 模型 | 规模 | DI 0.3 公开分 | DI 0.3 总分 | 来源 |
|---|---|---|---|---|
| KnowLine-4B-Gen4 | 4B | 64.90 | 尚未评测 | 自测，官方工具包 |
| KnowLine-4B-Gen3 | 4B | 63.11 | 尚未评测 | 自测，官方工具包 |
| KnowLine-4B-Gen2 | 4B | 62.54 | 尚未评测 | 自测，官方工具包 |
| KnowLine-4B-Gen1 | 4B | 60.47 | 尚未评测 | 自测，官方工具包 |
| Perplexity Decider v1.1 | 27B | 62.25 | 62.75 | 榜单 |
| Clef | 27B | 61.71 | 53.08 | 榜单 |
| Jev 1.13 | （API） | 57.96 | 60.11 | 榜单 |
| RSI-Jev v6.1-VL | 4B | 50.98 | 未上榜 | 自报 |
| ezjev 4B s2 | 4B | 50.82 | 46.95 | 榜单 |
| jiwo 4B | 4B | 45.76 | 42.86 | 榜单 |
| Nox 4B | 4B | 44.21 | 44.95 | 榜单 |
各子领域的公开套件评分如下（均为 0.3 公开）：
| 领域 | KnowLine-4B-Gen4 | KnowLine-4B-Gen3 | Perplexity Decider v1.1（27B） | Jev 1.13 |
|---|---|---|---|---|
| 知识与推理 | 44.6 | 43.9 | 52.0 | 53.9 |
| 语言 | 65.5 | 64.8 | 67.5 | 59.2 |
| 检索与路由 | 72.5 | 70.9 | 61.3 | 55.4 |
| 工具与 Agent | 87.6 | 86.6 | 78.9 | 75.1 |
| 艺术与品味 | 59.2 | 49.8 | 47.0 | 39.1 |
版本
本模型使用自进化的模式进行训练，将持续产生新版本。
| 模型 | 日期 | DI 0.3 公开 | DI 0.2.1 | 黄金集留出（英 / 简 / 繁） | 说明 |
|---|---|---|---|---|---|
| KnowLine-4B-Gen4（本模型） | 2026-10-10 | 64.90 | — | 69.7 / 70.1 / 65.1 | 第四版 |
| KnowLine-4B-Gen3 | 2026-10-09 | 63.11 | — | 69.4 / 70.8 / 65.0 | 第三版 |
| KnowLine-4B-Gen2 | 2026-10-08 | 62.54 | — | 69.7 / 71.2 / 64.8 | 第二版 |
| KnowLine-4B-Gen1 | 2026-10-07 | 60.47 | 60.92 | 68.7 / 69.9 / 64.1 | 首次发布 |
从 Gen2 起只跑 Decision Index 0.3，不再跑 0.2.1。
评测
以下结果均为自测，未经第三方复核。
留出评测与中文评测
| 测试集 | Gen4 | Gen3 |
|---|---|---|
| 自建评测数据集（英文部分） | 69.7 | 69.4 |
| 自建评测数据集（简体中文部分） | 70.1 | 70.8 |
| 自建评测数据集（繁体中文部分） | 65.1 | 65.0 |
| C-Eval（4 大类宏平均） | 78.7 | 79.2 |
| Open-Jev 1.1 测试 / OOD | 88.4 / 87.1 | 88.4 / 87.2 |
| 提示注入改变答案的比例（越低越好） | 1.6% | 3.4% |
| 训练中没见过的注入模板改变答案的比例（越低越好） | 6.2% | 10.2% |
自建评测数据集和 Open-Jev 1.1 OOD 上的差别，在配对符号检验下都不显著。
网页操作（Mind2Web 官方测试集，仅用于评测）
| 划分 | Gen4 选元素 | Gen4 选操作（三类平均） | Gen3 选元素 | Gen3 选操作（三类平均） |
|---|---|---|---|---|
| test_task（训练中见过的网站、新任务） | 92.9 | 97.0 | 92.7 | 97.0 |
| test_website（新网站） | 91.9 | 95.7 | 91.3 | 97.3 |
| test_domain（新领域） | 91.7 | 97.2 | 91.8 | 97.2 |
- 与 Gen3 基本持平。test_website 的选操作分数偏低，是因为它的 72 个 SELECT 步骤里多错了 3 个；差别在误差范围内。
- 目前仅用于探索该模型在 RPA 自动化等领域的情况，并验证存在一定的泛化性。
- 任务是从目标元素和页面上随机抽取的最多 5 个其他候选里选出目标，比 Mind2Web 原始评测简单，因此请勿与其排行榜比较。
图片输入（零样本）
- 没有图片训练：Gen4 保留了底座原装、未经改动的视觉部分，训练中没有用过任何图片。
knowline_server.py支持在对话状态里放 OpenAI 格式的image/image_url内容并转给 SGLang，每道题仍只做一次前向计算。 - 评测方法：我们按榜单公布的说明，尽量还原了 Decision Index 0.3.1 视觉榜的公开套件：11 个基准，能对上的都按榜单题量，图片上限 1.6 MP，按扣除随机水平的 skill 计分，按榜单权重加权。用发布的服务端跑了一遍，共 12,192 个请求，0 失败。
| 基准 | Gen4 | 原版 Qwen3.5-4B（同一前端） |
|---|---|---|
| CV-Bench | 75.7 | 72.1 |
| BLINK | 58.1 | 59.9 |
| RealWorldQA | 64.7 | 59.7 |
| CharXiv | 66.3 | 52.4 |
| InfographicVQA | 86.3 | 73.2 |
| Mind2Web | 77.4 | 65.3 |
| Winoground | 80.5 | 73.5 |
| KIE（CORD+FUNSD） | 95.5 | 95.7 |
| 内容审核（Hateful Memes） | 27.1 | 18.4 |
| R-Bench-M | 14.6 | 6.3 |
| MMMU-Pro vision | 31.9 | 21.4 |
| 加权公开分 | 66.4 | 59.4 |
- 决策能力能泛化到图片：Gen4 比原版高 7.0，提升最多的是图表、信息图、网页截图和试卷类题目，而训练中没有任何图片数据。
- 仅供参考：以上是我们在自行复现的题集上的自测结果，不是榜单的官方题目。我们的 CharXiv 干扰项偏向数值题，Mind2Web 的标注框和 KIE 题目由我们自行构造。
- 较弱的部分：Hateful Memes、R-Bench-M 和 MMMU-Pro 的专业题，以及 BLINK（多图感知）。
游戏评测（拳皇 '98）
- 赛制：单回合同角色镜像对战，每组 18 局，每步选概率最高的动作，设置与 Gen1-Gen3 相同。
- 结果：对 Jev 1.13 为 14 胜 3 负 1 平，对 StartLux-Decision-4B 为 10 胜 4 负 4 平，对 Gen3 为 3 胜 11 负 4 平；合计 27 胜 18 负 9 平，得分率 0.583 [0.45, 0.71]。对 Jev 和 StartLux 的成绩比 Gen3（16 胜 1 负 1 平、12 胜 4 负 2 平）略低，在较宽的置信区间之内。
- 打法：会按距离选招：近身多用 623C 对空升龙（79%），中距离（69%）和远距离（92%）多用必杀技 special_2；整体 special_2 使用率 52%，升龙 28%。
- 说明：
- 每组只有 18 局，置信区间较宽。
- 54 局中有 39 局以时间到结束，多数胜局按剩余血量判定；Gen4 有 7 局是 K.O. 获胜（对 Jev 4 局、对 StartLux 2 局、对 Gen3 1 局），输给 Gen3 的 11 局里有 8 局是被 K.O.。
- 这是在该评测环境中的实测结果，不代表具备全面的格斗游戏能力。
校准
按 Decision Index 榜单说明的方法，在 0.3 公开套件上计算：逐字段判断对错，置信度取所选选项的概率，各基准等权，10 个等宽分箱。
| 指标 | Gen4 | Gen3 | 榜单中位数（114 个模型） | Jev 1.13 |
|---|---|---|---|---|
| ECE（越低越好） | 0.04-0.05 | 0.07-0.08 | 0.084 | 0.074 |
| Brier 分数（越低越好） | 0.29-0.31 | 0.31-0.33 | 0.49 | 0.36 |
| 置信度 ≥95% 但答错的比例 | 1.7% | 2.7% | 1.3% | 2.1% |
| 平均置信度 / 准确率 | 0.82 / 0.77 | 0.84 / 0.76 | 0.81 / 0.74 |
- 权重里的温度：最后一层 norm 的权重里折入了读出温度 T = 1.32，相当于每个 logit 先除以 1.32，再对选项标签做 softmax。哪个选项排第一不会变，所以 Decision Index 分数也不变，只是概率不那么极端。T 是在我们自己的一组评测题上拟合的，这组题的分布训练数据里有覆盖；没有用留出集，也没有用 Decision Index 的题。
- 为什么是区间：榜单没有公布具体用了哪 32 个基准。我们用三个公开了结果的榜单模型核对，自算的 ECE 与榜单值最多相差约 0.015，所以按几种可能的基准组合给出区间。
- 仍略偏自信：平均置信度比准确率高约 3-5 个点。偏差集中在难推理题（HLE、CRUXEval、MuSR）和 New Yorker 漫画配文。
- 建议：温度是在我们的数据上拟合的；对概率阈值敏感的用法，请在自己的数据上再核对一次校准。
披露
Decision Index 格式的训练数据：Gen4 来自四轮训练。本轮约 34% 的数据按 Decision Index 各基准的请求格式构建（其中一部分换了指令措辞），另有 11% 是同一批题改写成其他格式的副本。其中包括改写成这种格式的公开数据集训练集（例如 GSM8K、WinoGrande XL、ACOS、Amazon ESCI），以及按同样格式编写的合成题。
去污染：
- 本轮的全部训练数据（新数据和回放数据）都用改进后的工具，与所有 Decision Index 0.3 题目、我们全部的评测集以及文中引用的其他公开评测（Intern-Decision、S1MB、JevBench、MMDM）做了比对。
- 与评测题近乎重复、重复了题目的问题或论断、或包含整段评测状态的训练行都已删除：539,647 行里删了 1,909 行。只是与评测题共用同一来源段落的行（例如同一段维基百科或同一份工具说明）保留了下来，共 23,684 行。
- BPoMP 和 cfcolor 的训练题与这两个基准来自同一个源数据集（OEDILF 打油诗；O'Donovan 等人的配色评分），但排除了基准里的全部题目。逐条核对两者各 5,000 道 Decision Index 题，没有共用的诗，也没有共用的评分题。
按评测挑选：37 个候选里，我们在通过全部发布检查的候选中，选了 DI 0.3 公开分最高的一个。
游戏数据：标签来自模拟器推演或引擎，随机种子和起始局面都与评测局面不重叠。
不用模型输出作标签：从未把 Jev 或其他任何决策模型的输出用作训练标签。
教师模型标注的合成数据：合成任务由大语言模型教师编写和标注。标签经过筛选，但并非全部经过人工核对。
局限
- 知识密集型推理：弱于更大的模型。知识领域 44.6（0.3）；MMLU-Pro（51.6）变化不大，HLE 仍在随机水平。
- 数学：没有推理过程。0.3 重建版 GSM8K 为 61.6，与 Gen3 基本持平，分数来自 GSM8K 训练集按同样格式改写后的训练。
- 新领域：在我们自建的、训练里没有的领域的任务上，Gen4 与 Gen3 基本持平（49.3 对 49.5）。这一版的进步在稳健性和校准，不在新领域能力。
- 提示注入：在我们的注入测试集上，状态里植入的指令约有 2% 的概率改变答案；换成训练里没见过的模板约为 6%。请把不可信文本清楚地隔开。
- 图片：没有针对图片做过训练。上面的图片分数是零样本、在我们自建题集上的自测结果，正式使用前请在自己的数据上再核对。
- 私有测试：公开套件上比 Gen3 多出的分数，大部分来自训练数据里有同类任务的基准，0.3 私有测试的涨幅可能小得多，甚至更低。
引用
@misc{knowline4bgen4,
title = {KnowLine-4B-Gen4: a 4B decision model},
author = {PelaAI},
year = {2026},
url = {https://huggingface.co/PelaAI/KnowLine-4B-Gen4}
}
许可证
- 权重：Apache-2.0，与底座模型相同。
- 代码：
knowline_server.py为 MIT 许可（见文件开头）。