PEScn commited on
Commit
779944d
·
verified ·
1 Parent(s): 78d8ece

Model cards: remove the KOF section

Browse files
Files changed (3) hide show
  1. README.md +0 -15
  2. README.zh.md +0 -10
  3. SHA256SUMS +2 -2
README.md CHANGED
@@ -53,7 +53,6 @@ Highlights:
53
  reference hardware); see [INFERENCE.md](INFERENCE.md).
54
  - **Images: unchanged.** Requests with images are sent exactly as in Gen5, so Gen5's image results apply; see
55
  [Images](#images-zero-shot).
56
- - **KOF '98 harness: 16-1-1 against StartLux-Decision-4B and 10-6-2 against KnowLine-4B-Gen4** in single-bout mirror matches; see [Game harness](#game-harness-kof-98).
57
 
58
  KnowLine is an independent model. It is not affiliated with, endorsed by, or derived from TypeSafe or Jev.
59
 
@@ -201,20 +200,6 @@ Gen5.5 front end (read twice on). Unless noted, the Gen5 numbers were measured a
201
  Qwen3.5-4B: 59.4); see the [Gen5 card](https://huggingface.co/PelaAI/KnowLine-4B-Gen5#images-zero-shot) for the
202
  per-benchmark table.
203
 
204
- ### Game harness (KOF '98)
205
-
206
- - **Setup:** single-bout character-mirror matches, 18 games per pair, argmax actions; the same settings as for Gen5.
207
- - **Result:** 16-1-1 against StartLux-Decision-4B and 10-6-2 against KnowLine-4B-Gen4; 26-7-3 overall, a score of
208
- 0.764 [0.60, 0.87] (Gen5 against the same two opponents: 14-3-1 and 9-9-0).
209
- - **No games against Jev this time:** our TypeSafe API credits had run out when these games were played, so every Jev
210
- request failed; those games are excluded and there is no Jev result for Gen5.5.
211
- - **How the games ended:** against StartLux-Decision-4B, 7 of the 16 wins were by K.O. and 9 at time-out, and the loss
212
- and the draw came at time-out; against KnowLine-4B-Gen4, 5 of the 10 wins and 3 of the 6 losses were by K.O., and
213
- both draws at time-out.
214
- - **Play style:** special_2 50%, special_1 20%, roll forward 10%, heavy punch 8%, heavy kick 7%.
215
- - **Caveats:** 18 games per pair give wide intervals; this is a measured result in this harness, not general
216
- fighting-game skill.
217
-
218
  ### Calibration
219
 
220
  Computed on the 0.3 public suite using the method described by the Decision Index board: each field is scored right or
 
53
  reference hardware); see [INFERENCE.md](INFERENCE.md).
54
  - **Images: unchanged.** Requests with images are sent exactly as in Gen5, so Gen5's image results apply; see
55
  [Images](#images-zero-shot).
 
56
 
57
  KnowLine is an independent model. It is not affiliated with, endorsed by, or derived from TypeSafe or Jev.
58
 
 
200
  Qwen3.5-4B: 59.4); see the [Gen5 card](https://huggingface.co/PelaAI/KnowLine-4B-Gen5#images-zero-shot) for the
201
  per-benchmark table.
202
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
203
  ### Calibration
204
 
205
  Computed on the 0.3 public suite using the method described by the Decision Index board: each field is scored right or
README.zh.md CHANGED
@@ -17,7 +17,6 @@
17
  - **校准:** 权重里折入的温度不变(T = 1.50)。按榜单的方法计算,ECE 约 0.035-0.046(Gen5 为 0.037-0.049),Brier 分数约 0.27-0.30(Gen5 为 0.28-0.31),见[校准](#校准)。
18
  - **代价:** 在 Decision Index 套件上,prompt token 约为 Gen5 的 1.56 倍。单张 H20、一次一个请求:中位数 42.1 ms、平均 83 ms,Gen5 为 31.6 ms 和 58.8 ms(我们自己的测量,不是榜单的参考硬件),见 [INFERENCE.md](INFERENCE.md)。
19
  - **图片:不变。** 带图片的请求与 Gen5 的发送方式完全相同,所以 Gen5 的图片结果同样适用,见[图片输入](#图片输入零样本)。
20
- - **拳皇 '98 评测:对 StartLux-Decision-4B 为 16 胜 1 负 1 平,对 KnowLine-4B-Gen4 为 10 胜 6 负 2 平**(单回合同角色镜像对战),见[游戏评测](#游戏评测拳皇-98)。
21
 
22
  KnowLine 是独立开发的模型,与 TypeSafe 或 Jev 没有隶属关系,未获其背书,也不是基于 TypeSafe 或 Jev 开发的。
23
 
@@ -141,15 +140,6 @@ curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -
141
  - **与 Gen5 相同:** 读两遍只作用于纯文本请求。带图片的请求与 Gen5 逐字节相同,发给同样的权重,所以 Gen5 的图片结果对 Gen5.5 同样成立,我们没有重跑。
142
  - **Gen5 的结果:** 在我们按 Decision Index 0.3.1 视觉榜公开套件复现的评测上得分 66.0(Gen4 为 66.4,原版 Qwen3.5-4B 为 59.4);各基准的明细见 [Gen5 模型卡](https://huggingface.co/PelaAI/KnowLine-4B-Gen5#images-zero-shot)。
143
 
144
- ### 游戏评测(拳皇 '98)
145
-
146
- - **设置:** 单回合同角色镜像对战,每对 18 局,按最高概率出招;设置与 Gen5 相同。
147
- - **结果:** 对 StartLux-Decision-4B 16 胜 1 负 1 平,对 KnowLine-4B-Gen4 10 胜 6 负 2 平;合计 26 胜 7 负 3 平,得分 0.764 [0.60, 0.87](Gen5 对同样两个对手为 14 胜 3 负 1 平和 9 胜 9 负)。
148
- - **这次没有对 Jev 的对局:** 跑这批对局时我们的 TypeSafe API 额度已经用完,所有 Jev 请求都失败了;这些对局已排除,所以 Gen5.5 没有对 Jev 的结果。
149
- - **胜负方式:** 对 StartLux-Decision-4B 的 16 胜里 7 局 K.O.、9 局时间到,一场负局和一场平局都是时间到;对 KnowLine-4B-Gen4,10 胜里 5 局 K.O.,6 负里 3 局被 K.O.,两局平局都是时间到。
150
- - **出招风格:** special_2 50%、special_1 20%、前滚 10%、重拳 8%、重踢 7%。
151
- - **注意:** 每对 18 局,置信区间较宽;这是在这套评测里测得的结果,不代表一般的格斗游戏能力。
152
-
153
  ### 校准
154
 
155
  在 0.3 公开套件上按 Decision Index 榜单描述的方法计算:每个字段判对错,置信度取所选选项的概率,各基准等权,分 10 个等宽区间。
 
17
  - **校准:** 权重里折入的温度不变(T = 1.50)。按榜单的方法计算,ECE 约 0.035-0.046(Gen5 为 0.037-0.049),Brier 分数约 0.27-0.30(Gen5 为 0.28-0.31),见[校准](#校准)。
18
  - **代价:** 在 Decision Index 套件上,prompt token 约为 Gen5 的 1.56 倍。单张 H20、一次一个请求:中位数 42.1 ms、平均 83 ms,Gen5 为 31.6 ms 和 58.8 ms(我们自己的测量,不是榜单的参考硬件),见 [INFERENCE.md](INFERENCE.md)。
19
  - **图片:不变。** 带图片的请求与 Gen5 的发送方式完全相同,所以 Gen5 的图片结果同样适用,见[图片输入](#图片输入零样本)。
 
20
 
21
  KnowLine 是独立开发的模型,与 TypeSafe 或 Jev 没有隶属关系,未获其背书,也不是基于 TypeSafe 或 Jev 开发的。
22
 
 
140
  - **与 Gen5 相同:** 读两遍只作用于纯文本请求。带图片的请求与 Gen5 逐字节相同,发给同样的权重,所以 Gen5 的图片结果对 Gen5.5 同样成立,我们没有重跑。
141
  - **Gen5 的结果:** 在我们按 Decision Index 0.3.1 视觉榜公开套件复现的评测上得分 66.0(Gen4 为 66.4,原版 Qwen3.5-4B 为 59.4);各基准的明细见 [Gen5 模型卡](https://huggingface.co/PelaAI/KnowLine-4B-Gen5#images-zero-shot)。
142
 
 
 
 
 
 
 
 
 
 
143
  ### 校准
144
 
145
  在 0.3 公开套件上按 Decision Index 榜单描述的方法计算:每个字段判对错,置信度取所选选项的概率,各基准等权,分 10 个等宽区间。
SHA256SUMS CHANGED
@@ -1,7 +1,7 @@
1
  535a52ce3bca0cd70a77564f413a28bbf7046cd30517abc7bd9525332f002b36 INFERENCE.md
2
  50cbab8a892c5f2993b8c7351a99182507472def3b1374558308605d99b86b32 LICENSE
3
- 827efd6b0198627fd03cbea31c5b05419a9cfa507a6c7836d690709821ecd295 README.md
4
- 3714439c4efff74b5b8ebc53862bb5fa8d32d04b11340bfaffa1649a5273dc46 README.zh.md
5
  a4aee8afcf2e0711942cf848899be66016f8d14a889ff9ede07bca099c28f715 chat_template.jinja
6
  ddc63e1c717afa86c865bb5e01313d89d72bb53b97ad4a8a03ba8510c0621670 config.json
7
  f888421726665e8a84b738eed42a64875aed79de8be7daade851ac8bf4c0cef9 configuration.json
 
1
  535a52ce3bca0cd70a77564f413a28bbf7046cd30517abc7bd9525332f002b36 INFERENCE.md
2
  50cbab8a892c5f2993b8c7351a99182507472def3b1374558308605d99b86b32 LICENSE
3
+ e67f63f5724952994612ab49a510c1622c16fa12033e1dadccf519e07783a92b README.md
4
+ 0c801278e98411d7ebc0882a4165a20a55e8db413374dbc3dbd14fe447a39502 README.zh.md
5
  a4aee8afcf2e0711942cf848899be66016f8d14a889ff9ede07bca099c28f715 chat_template.jinja
6
  ddc63e1c717afa86c865bb5e01313d89d72bb53b97ad4a8a03ba8510c0621670 config.json
7
  f888421726665e8a84b738eed42a64875aed79de8be7daade851ac8bf4c0cef9 configuration.json