Instructions to use XHToken/Spark-X2.6-4B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use XHToken/Spark-X2.6-4B with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="XHToken/Spark-X2.6-4B", trust_remote_code=True) messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# pip install -U transformers accelerate # Load model directly from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("XHToken/Spark-X2.6-4B", trust_remote_code=True, device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use XHToken/Spark-X2.6-4B with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "XHToken/Spark-X2.6-4B" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "XHToken/Spark-X2.6-4B", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/XHToken/Spark-X2.6-4B
- SGLang
How to use XHToken/Spark-X2.6-4B with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "XHToken/Spark-X2.6-4B" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "XHToken/Spark-X2.6-4B", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "XHToken/Spark-X2.6-4B" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "XHToken/Spark-X2.6-4B", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use XHToken/Spark-X2.6-4B with Docker Model Runner:
docker model run hf.co/XHToken/Spark-X2.6-4B
从 X2.5 到 X2.6:小模型怎样把长上下文、工具调用和推理速度一起做好?
让一个端侧模型读完长文档,还能接着改表格、调用工具,最后在本地设备上流畅运行——这些要求放到一起,才是小模型真正面对的考验。本文整理自 2026 年 11 月 14 日「端侧较真挑战赛」的技术分享,沿着 Spark X2.5 到 X2.6 的演进,介绍模型能力、架构与训练方法,以及开发者已经带来的应用反馈。
以下结合六张会议截图整理。评测数据按分享材料所列版本与条件解读,历史榜单、下载量和未来计划均保留其当时口径。
1. X2.5:先把长上下文、代码与工具调用打牢
Spark X2.5 系列于 9 月 1 日开源,提供 4B 与 1.7B 两个尺寸,原生支持约 100 万 Token 上下文,重点增强代码生成与通用智能体工具调用能力。
分享中的多任务评测显示,4B 版本的代码平均得分为 **50.6%**、通用智能体平均得分为 **46.8%**;1.7B 版本的代码平均得分为 **44.6%**。在 2026 年高考数学五套卷测试中,4B 与 1.7B 的平均分分别为 133.42 分和 114.80 分。这些数字对应图中各自的评测集合,不能作为所有代码任务或真实业务的通用成功率。
支撑长上下文能力的,是层间异构的混合注意力架构:将滑动窗口注意力与全局注意力组合,并使用 GQA 减少键值缓存开销,协调长上下文效果与端侧资源消耗。支持的上下文长度不等于任意设备都能直接运行满长度,实际部署仍需结合内存和推理后端配置。
训练分为三个阶段:有监督微调(SFT)→ 领域专家强化学习 → 多教师在线策略蒸馏。最后一个阶段结合多个领域教师提供的信号,继续提升推理、代码及指令遵循等能力;原图标注的方法为 M-OPD。
2. X2.6:从“能够调用工具”走向“完成更多实际任务”
X2.6 在延续 X2.5 模型架构的基础上,通过改进后训练增强编程、智能体与长上下文能力。会议材料中的 4B 对比展示了几项具体进步:
| 任务 | X2.5-4B | X2.6-4B |
|---|---|---|
| 办公文档处理 | 68.8% | 80.2% |
| 本地表格操作 | 72.5% | 79.6% |
| 多轮工具调用(τ²-bench) | 75.1% | 86.9% |
这些提升覆盖了文档、表格和连续工具调用等不同任务,不只是单轮问答。完整评测项与比较模型见下图。
思考预算也可以按任务调节。 模型提供 无、低、高(none / low / high)三档选择。官方模型卡给出的高档与低档对比中,4B 版本切换到低档后,平均得分下降 1.7 分,平均输出长度减少 **22.0%**。对于需要权衡质量、等待时间与生成成本的应用,这提供了一个可调节的选项。
推理速度方面,会议材料展示了 DSpark 推理加速方案的结果。在所列任务平均值中,RTX 4090 上的 BF16 从约 95 token/s 提升至 203 token/s;Q4_K_M 配置从约 226 token/s 提升至 447 token/s。表中平均加速比分别为 2.14× 与 1.98×;它们是指定软硬件与任务条件下的加速结果,不代表仅更换模型权重就能在所有后端获得同样收益。
3. 生态与下一步:把模型能力带到更多设备和应用里
分享回顾了 Spark X2.5 与 vLLM、LM Studio 等推理工具的适配,以及 llama.cpp 支持和 Hugging Face 趋势榜表现。社区的价值也体现在量化、格式适配与实际应用反馈中。
截图中的 500 万+ 下载,指该历史统计时点的 Spark X2.5 与 X2.6 官方模型及社区衍生模型合计。其中官方渠道约 219 万、社区衍生模型约 291 万;它不是“发布一周内社区衍生模型下载 500 万”,也不等于去重用户数。
外部评测部分,会议材料引用了 2026 年 10 月 29 日的 BenchLM 榜单:Spark X2.6-4B 综合得分 40.8,在当时该榜单的 100 亿参数以下模型中位列首位。NanoBench 部分列出 97.5 分,12 项任务中 11 项完全通过;这些是两个不同评测平台的结果,分数不能直接互比,也不代表所有实际场景的通过率。
分享还展示了本地 AI 应用 Osaurus 对 Spark X2.5-4B 的采用,用于其 Raptor 0.6 基础模型。这里对应的是 X2.5,不能写成 X2.6 已被该应用采用。
面向下一代,分享提出计划在 2027 年初开源新的星火端侧模型,探索 9B 等更大尺寸及更多结构,持续增强智能体能力,并优化思考内容过多的问题。这是分享时的规划,具体规格和时间以正式发布为准。
你更希望端侧模型先做好哪一件事:长文档分析、本地办公、代码助手,还是连续工具调用?欢迎分享你的设备、模型版本、思考档位,以及实际任务中遇到的表现与限制。





