KnowLine-31B-Gen1 / README.zh.md
PEScn's picture
Model card: remove internal evaluation details from the selection notes
8f052a8 verified
|
Raw History Blame Contribute Delete
24.2 kB

KnowLine-31B-Gen1

PelaAI System One 决策模型第一个基于稠密 Gemma 4 底座的版本:31B 参数,与 KnowLine-26B-A4B、KnowLine-35B-A3B 和 KnowLine-4B 系列在同一套由 AI agent 运行的数据循环里训练,并以"读两遍"方式推理。

推理说明 · English · 权重 Apache-2.0 · 同系列:KnowLine-26B-A4B-Gen2.5、KnowLine-35B-A3B-Gen1.5、KnowLine-4B-Gen5.5

亮点:

  • Decision Index 0.3 公开套件:70.13(自测,全新完整运行,读两遍)。KnowLine-35B-A3B-Gen1.5 和 KnowLine-26B-A4B-Gen2.5 在同一套件、同样的推理方式下分别为 70.72 和 68.21,见横向对比。

  • 新领域决策任务: 在我们规模较大的一套新领域决策任务上(34 个任务,领域均不在训练数据中)得分 74.9(26B-A4B-Gen2.5 为 66.4,35B-A3B-Gen1.5 为 56.2)。在我们较早的 10 个任务的一套上得分 57.7(26B-A4B-Gen2.5 为 56.6,35B-A3B-Gen1.5 为 56.6)。

  • 其他评测: 自建中文留出集 75.9 / 75.9(26B-A4B-Gen2.5 为 73.7 / 71.0),C-Eval 82.5(77.9),Open-Jev 1.1 测试 / OOD 91.3 / 94.8(92.7 / 92.7),JevBench / JevBench 难题集 90.5 / 80.2(90.5 / 81.1),自建英文集 70.2(70.5),见评测。

  • 植入的指令: 状态里植入的指令改变了 0.4% 的答案,用训练里没见过的注入模板时为 5.3%,两者都高于 KnowLine-26B-A4B-Gen2.5(0.1% 和 1.7%),见局限。

  • 校准过的概率: 权重里折入了一个温度。按榜单的方法在公开套件上计算,ECE 约 0.012-0.021,Brier 分数约 0.23-0.26(KnowLine-26B-A4B-Gen2.5 为 0.013-0.018 和 0.24-0.27);在我们自己的留出集上校准较弱,见校准。

  • 没有图片训练也能看图: 只用文本训练,保留了底座模型的视觉塔。在我们按 Decision Index 0.3.1 视觉榜公开套件复现的评测上得分 69.9(26B-A4B-Gen2 为 64.7,35B-A3B-Gen1 为 71.2),用官方工具跑视觉榜公开套件得 69.3(自测),见图片输入。

  • 没有框选训练也能框选: 让它找图片里指定的目标,它能零样本返回边界框:ScreenSpot 中心点命中 81.3,RefCOCO IoU≥0.5 为 77.3(文档较弱,FUNSD 35.3),见框选。

  • 拳皇 '98 评测:对 StartLux-Decision-35B-A3B 为 16 胜 2 负,对 KnowLine-35B-A3B-Gen1 为 4 胜 14 负(单回合同角色镜像对战);对 Jev 的一组没有跑。见游戏评测。

  • 一个 AI agent 端到端地运行了整个循环。 每一轮它都会:

    • 找出模型的薄弱之处;
    • 提出一组有针对性的数据;
    • 构建数据并去污染;
    • 在这组数据上训练并评测模型;
    • 根据证据保留或放弃这次改动。

    本模型的情况见Gen1 是怎么做出来的。

KnowLine 是独立开发的模型,与 TypeSafe、Jev 或 Google 没有隶属关系,未获其背书,也不是基于 TypeSafe 或 Jev 开发的。

它做什么

你发送一段状态(文本或对话)和最多 64 道带类型的问题:是/否、k 选一、按细则打分。模型对每道题给出各选项的概率分布:

  • 每道题只做一次前向计算,不生成文本;
  • 生成的是各选项标签 token 的概率;
  • 现有 Jev 客户端只需修改 base URL 即可接入;其他 KnowLine 模型的用户换模型名即可,接口不变。
底座模型 google/gemma-4-31B-it(Apache-2.0):稠密模型,约 31B 参数
训练 LoRA 监督微调(rank 32,alpha 64,只训语言模型部分),训练一个 epoch,合并为 bf16 权重;再与底座模型逐个张量做平均:0.75 × 微调后 + 0.25 × gemma-4-31B-it(见Gen1 是怎么做出来的)
发布格式 bf16 权重(约 63 GB),最后一层 norm 的权重和最终 logit 的软上限里折入了读出温度 T = 1.44(见校准);前端按等效温度 1.0 读出打分题(temperatures.json)。视觉塔与底座模型相同;分词器是 Gemma 4 的,不是基于 Qwen 的 KnowLine 模型的分词器。
推理 serve_knowline.sh:和 26B-A4B 一样,SGLang 以 bf16 运行(这个模型我们没有测试加载时转 FP8);knowline_server.py 把较短的请求读两遍,与 KnowLine-26B-A4B-Gen2.5 和 KnowLine-35B-A3B-Gen1.5 相同(默认开启;--no-read-twice 则每个请求只读一遍)。SGLang 默认占用 GPU 显存的 85%(MEM),权重约 63 GB。我们的全部评测都是单张 96 GB H20 跑一个服务。
语言 英文、简体中文、繁体中文

快速开始

pip install "sglang==0.5.21" "transformers==5.12.1" requests
bash serve_knowline.sh PelaAI/KnowLine-31B-Gen1 0 8080          # SGLang(bf16)监听 :9080,/v1/systemone 监听 :8080
curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -d '{
  "model": "m",
  "state": "Customer: my order arrived broken, I want my money back.",
  "questions": {"refund": {"type": "noul", "instructions": "Should the agent offer a refund?"},
                "tone": {"type": "choice", "instructions": "Customer tone?",
                         "criteria": {"angry": "Angry", "neutral": "Neutral", "happy": "Happy"}}}}'
  • 前端: knowline_server.py,旁边放 knowline_layout.py;两者只依赖 transformers 和 requests。文本请求的渲染与 KnowLine-26B-A4B-Gen2.5 的前端逐条 prompt 相同。
  • 完整设置: 我们跑 Decision Index 时的完整设置见 INFERENCE.md。

Gen1 是怎么做出来的

  1. 为什么用稠密底座? 我们的混合专家模型在公开套件和同技能私有测试上表现不错,但在新领域的决策任务上落后于榜单上 30B 左右的稠密模型。我们在这个底座上训练了 KnowLine-26B-A4B-Gen1 的数据,看新领域的差距有多少来自底座模型。
  2. 数据。 KnowLine-26B-A4B-Gen1 的数据,一次训完:35B 系列最新一轮的数据,按 Gemma 的对话模板渲染,加上抗注入样本(状态里植入的、不应改变答案的指令)。所有数据都经过与之前版本相同的去污染检查,见披露。
  3. 训练。 用一个 LoRA 适配器(rank 32)训练一个 epoch,合并进权重。
  4. 与底座模型平均。 微调后的权重再与底座模型 google/gemma-4-31B-it(Apache-2.0)的权重逐个张量做平均:0.75 × 微调后 + 0.25 × 底座。LoRA 适配器没有训练的张量(例如词嵌入和视觉塔)本来就与底座相同,平均后不变。
  5. 推理方式和温度。 与 KnowLine-26B-A4B-Gen2.5 和 KnowLine-35B-A3B-Gen1.5 一样以读两遍方式推理。在这种推理方式下,用我们训练内的评测集拟合出一个温度 T = 1.44,折入权重。它改变概率的大小,不改变排第一的选项。
  6. 选择。 我们在发布检查中比较了只做微调的模型和两种平均(微调占 0.75 和 0.5),发布的是 0.75 的平均。

横向对比

下表为 Decision Index 的分数。从 Decision Index 0.4 起,榜单总分由同技能私有测试(60%)和新领域私有任务(40%)组成;公开套件分数仍然显示,但不再计入总分。本模型目前还没有榜单条目。

模型 规模 DI 0.3 公开分 DI 0.4.1 总分 来源
KnowLine-31B-Gen1 31B 70.13 尚未评分 自测,官方工具
KnowLine-35B-A3B-Gen1.5 35B-A3B 70.72 65.77 榜单
KnowLine-26B-A4B-Gen2.5 26B-A4B 68.21 64.57 榜单
Fastino GLiDE V1.2 – 71.99 71.52 榜单
Jeffan-31b-1710 31B 73.13 69.75 榜单
mammoth-1 27B 75.34 68.44 榜单
Perplexity Decider v1.2 27B 67.74 67.98 榜单
StartLux-Decision v1.1 27B 27B 72.88 67.92 榜单
FlexDM · Gemma-4-31B 31B 63.63 67.56 榜单
Jev 1.14 (API) 60.70 60.24 榜单

榜单行取自 2026-10-22 的榜单数据(20:10 UTC,Decision Index 0.4.1)。

各领域的公开套件 skill(DI 0.3,三者都以读两遍方式推理):

领域 KnowLine-31B-Gen1 KnowLine-26B-A4B-Gen2.5 KnowLine-35B-A3B-Gen1.5
知识与推理 59.4 55.1 55.0
语言 72.0 71.2 72.9
检索与路由 73.0 70.9 75.4
工具与 Agent 84.7 83.3 88.2
艺术与品味 60.5 61.4 64.2

版本记录

模型在自我演进的循环里训练,之后还会有新版本。

模型 日期 DI 0.3 公开分 金标准留出集(英 / 简中 / 繁中) 说明
KnowLine-31B-Gen1(本模型) 2026-10-24 70.13 70.2 / 75.9 / 75.9 第一个基于稠密 Gemma 4 底座的版本;读两遍推理
KnowLine-26B-A4B-Gen2.5 2026-10-22 68.21 70.5 / 73.7 / 71.0 Gen2 的权重,读两遍推理
KnowLine-35B-A3B-Gen1.5 2026-10-22 70.72 70.8 / 74.6 / 73.2 35B-A3B Gen1 的权重,读两遍推理
KnowLine-4B-Gen5.5 2026-10-22 66.75 70.3 / 72.1 / 67.5 Gen5 的权重,读两遍推理
KnowLine-4B-Gen5 2026-10-21 65.67 69.6 / 71.7 / 67.1 4B,第五版
KnowLine-26B-A4B-Gen2 2026-10-19 66.94 70.6 / 72.6 / 69.8 26B-A4B,第二版
KnowLine-26B-A4B-Gen1 2026-10-19 65.76 70.6 / 72.2 / 69.2 第一个基于 Gemma 4 的版本
KnowLine-35B-A3B-Gen1 2026-10-12 69.49 70.3 / 73.8 / 72.1 35B-A3B 第一版

评测

以下结果均为自测,没有经过第三方核实。本模型的所有数字都通过它的发布前端测得(读两遍开启)。从这个版本起,新领域任务集的数字附一条脚注,说明其中与我们训练数据相似的任务。26B-A4B-Gen2.5 和 35B-A3B-Gen1.5 的数字来自它们发布时用同一前端做的评测。

留出集和中文评测

评测 31B-Gen1 26B-A4B-Gen2.5 35B-A3B-Gen1.5
自建评测集,英文 70.2 70.5 70.8
自建评测集,简体中文 75.9 73.7 74.6
自建评测集,繁体中文 75.9 71.0 73.2
C-Eval(4 个大类,宏平均) 82.5 77.9 88.1
Open-Jev 1.1 测试 / OOD 91.3 / 94.8 92.7 / 92.7 93.4 / 93.6
JevBench / JevBench 难题集 90.5 / 80.2 90.5 / 81.1 87.0 / 73.0
新领域决策任务(自建,34 个任务)¹ 74.9 66.4 56.2
新领域决策任务(自建,10 个任务)¹ 57.7 56.6 56.6
提示注入:答案被改变(越低越好) 0.4% 0.1% 0.0%
提示注入,使用训练里没见过的模板(越低越好) 5.3% 1.7% 1.0%
  • 与 KnowLine-26B-A4B-Gen2.5 做配对符号检验:自建简体中文集、繁体中文集、C-Eval 和 Open-Jev 1.1 OOD 更高(各 p < 0.001),Open-Jev 1.1 测试更低(p = 0.04);自建英文集(p = 0.61)、JevBench 和 JevBench 难题集(p = 1.0)没有差别。换成没见过的注入模板时,600 个答案里有 32 个被带到植入的选项上,26B-A4B-Gen2.5 为 10 个(p < 0.001)。
  • 与 KnowLine-35B-A3B-Gen1.5 相比:自建简体中文集(p = 0.03)和繁体中文集(p = 0.004)更高,C-Eval(p < 0.001)和 Open-Jev 1.1 测试(p = 0.002)更低;自建英文集(p = 0.42)、Open-Jev 1.1 OOD(p = 0.07)、JevBench 和 JevBench 难题集(p = 0.06)在 p < 0.05 下没有差别。换成没见过的注入模板时为 32 个对 6 个(p < 0.001)。
  • ¹ 我们自建的新领域决策任务(领域均不在训练数据中),三个模型在同样的推理方式下跑过(读两遍通过我们评测用的前端实现,布局与发布前端相同)。34 个任务里有 11 个(规则、政策、状态跟踪)与我们训练数据里的程序化合成任务相似;在其余 23 个上得分 73.3(26B-A4B-Gen2.5 为 66.1,35B-A3B-Gen1.5 为 57.1)。

网页操作(Mind2Web 官方测试集,仅用于评测)

测试集 31B-Gen1 元素选择 31B-Gen1 操作(类别平衡) 26B-A4B-Gen2.5 元素选择 26B-A4B-Gen2.5 操作(类别平衡)
test_task(训练里见过的网站,新任务) 91.5 92.8 89.8 90.3
test_website(新网站) 91.5 95.9 89.2 94.0
test_domain(新领域) 90.4 96.6 89.6 92.9
  • 元素选择在三个测试集上都比 KnowLine-26B-A4B-Gen2.5 高(配对检验 p = 0.05、0.01 和 0.11);操作准确率在误差范围内(p ≥ 0.09)。没有请求失败。

  • 任务是从候选集里选出目标元素:目标元素加上从页面里抽样的最多 5 个其他元素。这比 Mind2Web 的原始设定简单,请勿与 Mind2Web 排行榜比较。

图片输入(零样本)

  • 没有图片训练: 视觉塔是底座模型的,未做改动,训练中也没有见过图片。knowline_server.py 接受对话状态里 OpenAI 风格的 image / image_url 内容块并传给 SGLang;每道题仍然只做一次 prefill。带图片的请求只读一遍(读两遍只作用于纯文本请求)。
  • 怎么测的: 与之前的版本相同,用我们按 Decision Index 0.3.1 视觉榜公开套件复现的评测(11 个基准,按随机水平校正的 skill,以及榜单的权重),通过发布服务运行,0 个请求失败。我们也用官方工具跑了视觉榜公开套件(12,210 行,完整,0 失败)。
基准 31B-Gen1(我们的复现) 31B-Gen1(官方视觉套件) 26B-A4B-Gen2(我们的复现) 35B-A3B-Gen1(我们的复现)
CV-Bench 73.9 74.1 70.5 75.8
BLINK 65.7 58.0 57.4 59.8
RealWorldQA 57.2 55.9 54.2 71.9
CharXiv 65.8 74.7 61.9 66.9
InfographicVQA 86.9 91.3 81.4 90.7
Mind2Web 77.3 73.4 70.8 86.4
Winoground 85.5 86.0 78.5 80.0
KIE(CORD+FUNSD) 94.3 93.7 95.1 96.2
内容审核(Hateful Memes) 49.7 44.4 41.1 41.1
R-Bench-M 30.3 30.3 26.2 29.1
MMMU-Pro vision 38.7 36.2 28.0 45.1
加权公开指数 69.9 69.3 64.7 71.2
  • 介于 26B-A4B 和 35B-A3B 之间: 在我们的复现上比 KnowLine-26B-A4B-Gen2 高 5.2 分,比 KnowLine-35B-A3B-Gen1 低 1.3 分;相对 26B-A4B 提升最大的是 MMMU-Pro vision(+10.7)、Hateful Memes(+8.6)和 BLINK(+8.3);KIE 低 0.8。
  • 仅供参考: 复现是我们自己做的,不是榜单的数据;官方套件一列是用官方工具自测的结果。

框选(零样本,未训练)

  • 做什么: 框选题指出图片里的一个目标,服务返回它的边界框;模型没有给出框时返回拒答。没有做过框选训练:这是底座模型本身的能力,通过发布前端读出(--box-prompt gemma --box-coords yxyx)。
  • 怎么测的: 每条一个请求,通过发布服务运行,每张图 280 个图像 soft token,图片每边不超过 1,568 像素,最多生成 64 个新 token。所有条目都计入,拒答算作未命中;0 个请求失败。
评测集 n 指标 31B-Gen1 拒答
ScreenSpot(6 个子集 × 50) 300 中心点落在目标内 81.3 5.3%
RefCOCO val 300 IoU ≥ 0.5(平均 IoU) 77.3(72.7) 5.0%
FUNSD 150 IoU ≥ 0.5(中心点落在目标内) 35.3(58.7) 4.0%
业务系统界面截图,中/英(自建)² 1,500 中心点落在目标内 60.5(英文 67.4,中文 56.2) 5.8%
发票,中/英(自建)² 800 IoU ≥ 0.5 44.6(清晰 74.8,拍照 43.4,扫描 34.6) 0.1%
  • 文档较弱: 在发布使用的 280 个 soft token 下,表单和文档字段较弱(FUNSD 35.3)。更高的图片分辨率对文档有帮助,本版本不提供。
  • 文字目标比图标容易: ScreenSpot 上图标为 68.0 / 70.0 / 74.0,文字为 92.0 / 94.0 / 90.0(桌面 / 手机 / 网页)。
  • 置信度: 框选的置信度不是校准过的概率(ECE:ScreenSpot 0.238,RefCOCO 0.153,FUNSD 0.247)。我们没有附带框选校准文件。
  • ² 我们自建的合成留出集,仅供参考,不是公开基准。

游戏评测(拳皇 '98)

  • 设置:单回合同角色镜像对战,每对 18 局,取 argmax 动作;与其他 KnowLine 版本相同。
  • 结果:对 StartLux-Decision-35B-A3B 为 16 胜 2 负,对 KnowLine-35B-A3B-Gen1 为 4 胜 14 负;合计 20 胜 16 负(26B-A4B-Gen2 为 17 胜 1 负、6 胜 6 负 6 平)。
  • Jev:没有跑:本次评测期间我们无法使用 Jev API。
  • 胜负方式:对 StartLux-Decision-35B-A3B 的 16 胜里 6 局 K.O.、10 局时间到;对 KnowLine-35B-A3B-Gen1,4 胜里 3 局 K.O.,14 负里 9 局被 K.O.、5 局时间到。
  • 出招风格:重踢 57%、special_2 25%、重拳 8%、special_3 5%、special_1 5%。
  • 注意:每对只有 18 局,区间很宽;这是在这个评测环境下测得的结果,不代表一般的格斗游戏水平。

校准

在 0.3 公开套件上按 Decision Index 榜单描述的方法计算:每个字段判对错,置信度取所选选项的概率,各基准等权,分 10 个等宽区间。

指标 31B-Gen1 26B-A4B-Gen2.5 35B-A3B-Gen1.5
ECE(越低越好) 0.012-0.021 0.013-0.018 0.03-0.04
Brier 分数(越低越好) 0.23-0.26 0.24-0.27 0.24-0.26
置信度 ≥95% 却答错 0.9-1.0% 0.9% 1.5%
平均置信度 / 准确率 0.83-0.84 / 0.81-0.83 0.82-0.83 / 0.80-0.82 0.85-0.86 / 0.81-0.83
  • 权重里的温度: 最后一层 norm 的权重和最终 logit 的软上限里折入了读出温度 T = 1.44,它是在读两遍推理方式下用我们训练内的评测集拟合出来的,所以每个最终 logit 在对选项标签做 softmax 之前都除以 1.44。排第一的选项不变。在我们的留出集上,所有题都按这个温度读时 ECE 为 0.044,不加温度(T = 1)时为 0.102。
  • 打分题按温度 1.0 读出(本版本新增): serve_knowline.sh 传入 temperatures.json({"score": 0.6944}),前端把打分(细则)题的 logit 再除以 0.6944,即按等效温度 1.44 × 0.6944 = 1.0 读出;是/否题和选择题仍为 1.44。打分题常按量表上的期望值读出,温度越高,期望值越被拉向中间。这是推理设置,不是权重改动,之前的 KnowLine 版本没有用过;启动 knowline_server.py 时不传 --temperatures(或 knowline_engine.py 用 --option temperatures=none),则所有题都按 1.44 读出。代价是校准:按发布的推理设置,在我们的留出集上 ECE 为 0.064(打分题也按 1.44 时为 0.044;KnowLine-26B-A4B-Gen2.5 为 0.027,KnowLine-35B-A3B-Gen1.5 为 0.023)。
  • 为什么给范围: 榜单没有公布校准用的是哪些基准,所以和之前的版本一样,我们给出在各种可能的基准组合下的范围。
  • 建议: 温度是在我们的数据上拟合的。如果你的用法依赖概率阈值,请在自己的数据上检查校准。

披露

  • Decision Index 格式的训练数据: 训练数据就是 KnowLine-26B-A4B-Gen1 的数据(906,122 行,一次训完)。约 33% 的行以 Decision Index 基准的请求格式或其改写形式为目标:改写成该格式的公开数据集训练集(例如 WinoGrande XL、ACOS 和 GSM8K),以及按同样格式编写的合成样本。另有 0.5% 是同样样本以其他格式渲染的副本,2.6%(23,722 行)是抗注入样本。
  • 去污染: 所有训练数据都用与之前版本相同的工具,对照 Decision Index 0.3 的每一行、我们的全部评测集以及我们报告的其他公开基准(Intern-Decision、S1MB、JevBench、MMDM)做了检查。为 KnowLine-26B-A4B-Gen1 构建这批数据时,删除了 491 行与评测样本几乎重复、复述了其问题或论断、或包含其完整状态的数据。
  • 与底座模型平均: 每个张量都是 0.75 × 微调后的张量 + 0.25 × google/gemma-4-31B-it 的张量(Apache-2.0,与本模型的许可相同),词嵌入和视觉塔也包括在内(LoRA 适配器没有训练的张量本来就与底座相同)。平均的比例是在我们的评测集上选定的(见下一条)。
  • 按评测做的选择: 我们在读两遍推理方式下,用发布检查比较了只做微调的模型和两种与底座的平均,发布的是 0.75 的平均。它在 C-Eval 和 Open-Jev 1.1 测试上仍低于 KnowLine-35B-A3B-Gen1.5,也比这两个同系列模型更容易被植入的指令带偏(见评测)。
  • 没有用模型输出作标签: 没有用 Jev 或任何其他决策模型的输出作为训练标签。
  • 教师模型标注的合成数据: 我们的合成任务由 LLM 教师模型编写和标注。标签经过了过滤,但并非全部经过人工检查。

局限

  • 规模和速度: bf16 权重约 63 GB,且是稠密模型,每个 token 都用到全部 31B 参数;我们只在 96 GB 的卡上运行过。单张 H20、一次一个请求,中位数 340 ms、平均 910 ms(第 95 百分位 3,977 ms),KnowLine-26B-A4B-Gen2.5 为 66.3 ms 和 151 ms,见 INFERENCE.md。
  • 读两遍: 不超过 3,000 token 的纯文本请求会写两遍,在 Decision Index 套件上 prompt token 约为 1.54 倍。如果延迟更重要,可以用 --no-read-twice;本模型卡里我们没有评测过不读两遍的情况。
  • 植入的指令: 比我们的其他模型更容易被带偏:换成训练里没见过的注入模板时,5.3% 的答案被带到植入的选项上,KnowLine-26B-A4B-Gen2.5 为 1.7%,KnowLine-35B-A3B-Gen1.5 为 1.0%(见过的模板为 0.4%)。请把不可信的文本清楚地隔开。
  • C-Eval 和 Open-Jev 1.1 测试: 低于 KnowLine-35B-A3B-Gen1.5(C-Eval 82.5 对 88.1,Open-Jev 1.1 测试 91.3 对 93.4)。
  • 在我们评测集上的校准: 打分题按等效温度 1.0 读出时,我们留出集上的 ECE 为 0.064,高于 KnowLine-26B-A4B-Gen2.5(0.027)和 KnowLine-35B-A3B-Gen1.5(0.023)。
  • 图片: 没有做过图片训练,请在自己的数据上检查图片用法。
  • 框选: 零样本(没有框选训练);表单和文档字段较弱,框选置信度没有校准,见框选。
  • 拳皇 '98: 在我们的评测环境下对 KnowLine-35B-A3B-Gen1 为 4 胜 14 负(18 局,区间很宽),见游戏评测。
  • 其他攻击: 其他提示注入手法仍可能奏效。
  • 私有测试: 公开套件的部分分数来自训练数据里有同类任务的基准,所以私有测试的分数可能更低。

引用

@misc{knowline31bgen1,
  title  = {KnowLine-31B-Gen1: a 31B decision model},
  author = {PelaAI},
  year   = {2026},
  url    = {https://huggingface.co/PelaAI/KnowLine-31B-Gen1}
}

许可

  • 权重: Apache-2.0,与底座模型相同。
  • 底座模型的许可: google/gemma-4-31B-it 以 Apache-2.0 发布,见 Google 的许可页面 ai.google.dev/gemma/docs/gemma_4_license。
  • 代码: knowline_server.py、knowline_layout.py 和 knowline_engine.py 为 MIT 许可(见文件开头)。