从 X2.5 到 X2.6:小模型怎样把长上下文、工具调用和推理速度一起做好?

#37
by FenjuFu - opened

让一个端侧模型读完长文档,还能接着改表格、调用工具,最后在本地设备上流畅运行——这些要求放到一起,才是小模型真正面对的考验。本文整理自 2026 年 11 月 14 日「端侧较真挑战赛」的技术分享,沿着 Spark X2.5 到 X2.6 的演进,介绍模型能力、架构与训练方法,以及开发者已经带来的应用反馈。

以下结合六张会议截图整理。评测数据按分享材料所列版本与条件解读,历史榜单、下载量和未来计划均保留其当时口径。

1. X2.5:先把长上下文、代码与工具调用打牢

Spark X2.5 系列于 9 月 1 日开源,提供 4B 与 1.7B 两个尺寸,原生支持约 100 万 Token 上下文,重点增强代码生成与通用智能体工具调用能力。

分享中的多任务评测显示,4B 版本的代码平均得分为 **50.6%**、通用智能体平均得分为 **46.8%**;1.7B 版本的代码平均得分为 **44.6%**。在 2026 年高考数学五套卷测试中,4B 与 1.7B 的平均分分别为 133.42 分和 114.80 分。这些数字对应图中各自的评测集合,不能作为所有代码任务或真实业务的通用成功率。

Spark X2.5 多任务性能得分与数学评测,来自会议截图

支撑长上下文能力的,是层间异构的混合注意力架构:将滑动窗口注意力与全局注意力组合,并使用 GQA 减少键值缓存开销,协调长上下文效果与端侧资源消耗。支持的上下文长度不等于任意设备都能直接运行满长度,实际部署仍需结合内存和推理后端配置。

训练分为三个阶段:有监督微调(SFT)→ 领域专家强化学习 → 多教师在线策略蒸馏。最后一个阶段结合多个领域教师提供的信号,继续提升推理、代码及指令遵循等能力;原图标注的方法为 M-OPD。

X2.5 混合注意力架构与三阶段训练流程,来自会议截图

2. X2.6:从“能够调用工具”走向“完成更多实际任务”

X2.6 在延续 X2.5 模型架构的基础上,通过改进后训练增强编程、智能体与长上下文能力。会议材料中的 4B 对比展示了几项具体进步:

任务 X2.5-4B X2.6-4B
办公文档处理 68.8% 80.2%
本地表格操作 72.5% 79.6%
多轮工具调用(τ²-bench) 75.1% 86.9%

这些提升覆盖了文档、表格和连续工具调用等不同任务,不只是单轮问答。完整评测项与比较模型见下图。

X2.6 智能体任务能力对比,来自会议截图

思考预算也可以按任务调节。 模型提供 无、低、高(none / low / high)三档选择。官方模型卡给出的高档与低档对比中,4B 版本切换到低档后,平均得分下降 1.7 分,平均输出长度减少 **22.0%**。对于需要权衡质量、等待时间与生成成本的应用,这提供了一个可调节的选项。

推理速度方面,会议材料展示了 DSpark 推理加速方案的结果。在所列任务平均值中,RTX 4090 上的 BF16 从约 95 token/s 提升至 203 token/s;Q4_K_M 配置从约 226 token/s 提升至 447 token/s。表中平均加速比分别为 2.14× 与 1.98×;它们是指定软硬件与任务条件下的加速结果,不代表仅更换模型权重就能在所有后端获得同样收益。

Spark X2.6 与 DSpark 推理加速性能,含 RTX 4090 和 M5 Pro 配置,来自会议截图

3. 生态与下一步:把模型能力带到更多设备和应用里

分享回顾了 Spark X2.5 与 vLLM、LM Studio 等推理工具的适配,以及 llama.cpp 支持和 Hugging Face 趋势榜表现。社区的价值也体现在量化、格式适配与实际应用反馈中。

截图中的 500 万+ 下载,指该历史统计时点的 Spark X2.5 与 X2.6 官方模型及社区衍生模型合计。其中官方渠道约 219 万、社区衍生模型约 291 万;它不是“发布一周内社区衍生模型下载 500 万”,也不等于去重用户数。

Spark X2.5 与 X2.6 历史下载里程碑及开发者反馈,来自会议截图

外部评测部分,会议材料引用了 2026 年 10 月 29 日的 BenchLM 榜单:Spark X2.6-4B 综合得分 40.8,在当时该榜单的 100 亿参数以下模型中位列首位。NanoBench 部分列出 97.5 分,12 项任务中 11 项完全通过;这些是两个不同评测平台的结果,分数不能直接互比,也不代表所有实际场景的通过率。

分享还展示了本地 AI 应用 Osaurus 对 Spark X2.5-4B 的采用,用于其 Raptor 0.6 基础模型。这里对应的是 X2.5,不能写成 X2.6 已被该应用采用。

BenchLM、NanoBench 评测及 Osaurus 应用案例,来自会议截图

面向下一代,分享提出计划在 2027 年初开源新的星火端侧模型,探索 9B 等更大尺寸及更多结构,持续增强智能体能力,并优化思考内容过多的问题。这是分享时的规划,具体规格和时间以正式发布为准。

你更希望端侧模型先做好哪一件事:长文档分析、本地办公、代码助手,还是连续工具调用?欢迎分享你的设备、模型版本、思考档位,以及实际任务中遇到的表现与限制。

参考:Spark X2.6-4B 官方模型卡 · Spark X2.5 官方项目

Sign up or log in to comment