Instructions to use PelaAI/KnowLine-9B-Gen1 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use PelaAI/KnowLine-9B-Gen1 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("image-text-to-text", model="PelaAI/KnowLine-9B-Gen1")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoProcessor, AutoModelForMultimodalLM

processor = AutoProcessor.from_pretrained("PelaAI/KnowLine-9B-Gen1")
model = AutoModelForMultimodalLM.from_pretrained("PelaAI/KnowLine-9B-Gen1", device_map="auto")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use PelaAI/KnowLine-9B-Gen1 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "PelaAI/KnowLine-9B-Gen1"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "PelaAI/KnowLine-9B-Gen1",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker

docker model run hf.co/PelaAI/KnowLine-9B-Gen1

SGLang

How to use PelaAI/KnowLine-9B-Gen1 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "PelaAI/KnowLine-9B-Gen1" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "PelaAI/KnowLine-9B-Gen1",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "PelaAI/KnowLine-9B-Gen1" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "PelaAI/KnowLine-9B-Gen1",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Docker Model Runner
How to use PelaAI/KnowLine-9B-Gen1 with Docker Model Runner:
```
docker model run hf.co/PelaAI/KnowLine-9B-Gen1
```

KnowLine-9B-Gen1 / README.zh.md

PEScn

Report full DI 0.3 results and serial consistency validation

a421fc4 verified 10 days ago

preview code

Raw History Blame Contribute Delete

5.25 kB

metadata

license: apache-2.0
library_name: transformers
base_model: Qwen/Qwen3.5-9B
base_model_relation: finetune
pipeline_tag: image-text-to-text
language:
  - en
  - zh
tags:
  - qwen3.5
  - decision-model
  - structured-prediction
  - text-classification
  - image-text-to-text

KnowLine-9B-Gen1

KnowLine-9B-Gen1 是基于 Qwen3.5-9B 的 9B 决策模型。它接收结构化 state 和一个或多个类型化问题，返回给定选项上的概率。支持选择题、是/否题和有序评分题；决策读出阶段不生成自由文本推理。

这是合并后的 bf16 权重。视觉组件保持 Qwen3.5-9B 底座状态；本版本主要面向文本决策任务，9B Gen1 的训练混合中没有图像训练，图像能力应视为零样本结果。

能力

最多 255 个命名选项的选择题；
是/否题；
有序评分题；
读出温度已折入语言模型 norm；
短文本请求默认读两遍。

快速开始

安装兼容的 PyTorch/CUDA 环境和 SGLang，然后启动随包提供的前端：

bash serve_knowline.sh /path/to/KnowLine-9B-Gen1 0 8080

前端提供 /v1/systemone 接口。随包提供的 knowline_server.py、knowline_engine.py 和 knowline_layout.py 实现了评测使用的打分路径。默认前端对短文本请求读两遍，并直接读取选项标签的概率。

Gen1 的制作方式

底座模型：Qwen/Qwen3.5-9B。
训练：LoRA 监督微调，一个 epoch，rank 32、alpha 64，只训练语言模型线性层，bf16。
训练数据：清洗后的 mixU Qwen3.5 决策数据，共 1,143,656 行渲染后的训练样本。
最大训练序列长度：12,288 token。
最终 checkpoint 是 9B-U 训练后的 WiSE 0.90 候选。
读出温度 T=1.18 已折入 model.language_model.norm.weight，详见 CALIBRATION.json。

训练数据不包含在本仓库中。本仓库包含 checkpoint、tokenizer、chat template、推理前端和校验和。

评测

完整公开 Decision Index 0.3

2026-10-25 使用发布权重与修正后的 bf16 前端实测，开启读两遍：

指标	结果
公开 Decision Index	65.67
公开 raw index	73.88
请求数 / 可计分请求数	140,620 / 140,178
可计分请求成功 / 错误 / 不支持	140,178 / 0 / 0
单请求串行延迟，中位数 / 均值	96.7 / 207.7 ms

完整套件新跑于两张H20，16个客户端分片。首轮两条HTTP 504传输错误在不改请求、权重和推理设置的情况下重试；没有按答案正确与否重试成功请求。官方评分排除442个请求，无输入截断。另用300个请求串行复测，与本模型自己的完整运行比较477个答案：476个相同，唯一差异是近似平局（两次margin为0.006和0.021）。这些是H20测量值，不是榜单硬件延迟或私有Full分。

先前内部候选比较

下表是FP8-at-load的子样本及代理指标，用于比较9B候选；不是完整公开运行或官方私有榜单分。

候选	Decision Index 公开子样本	S	O noproc	预测榜单 Full	NDT5 headline
KnowLine-9B-Gen1 WiSE 0.90	65.68	60.10	43.80	59.55	62.4
kf9b 基线	67.88	60.84	40.80	58.52	59.3

预测榜单 Full 使用内部 9B 对比口径 full_noproc + 1.0。该候选低于当前 9B 榜单参考 elephant-1 的 60.26，不作为榜单领先模型宣传。

mix T 试点评测在六组配对口径开发集上都显示出稳定收益。这证明的是数据干预有效，不是榜单排名声明。

训练暴露说明

1,143,656行混合由873,134行or1d、241,781行or1d未包含的Kf样本、16,824行新增注入不变性样本和11,917行配对口径试点组成。包含公开基准的训练切分，以及程序和教师生成的决策样本。构建报告按DI格式口径统计为32.1%（其中1.2%是其他格式副本）；训练暴露不止通用指令数据。

整份混合对照公开DI套件和项目评测根做了standard与strict去污。执行过滤及规定的注入恢复规则后，从1,160,834行减至1,143,656行，其中包括最后删除的10行残留影子探针命中。这不代表Qwen3.5预训练没有接触过相关数据。六个试点开发集未进入训练；WiSE比例通过内部评测选择。

校准

CALIBRATION.json 记录了折入权重的读出温度。由于温度已经折入 norm，前端按温度 1 读取，不要再次重复应用同一个温度。

局限

9B Gen1 的训练混合小于目前最大的公开决策模型数据混合；
本版本没有图像训练，图像能力是零样本；
本模型没有训练 block-bidirectional attention；
长请求受模型和服务端上下文限制，前端不会静默截断请求；
本模型不是通用聊天助手，而是结构化决策读出模型。

文件与许可

模型权重和代码按 Apache 2.0 发布。SHA256SUMS 覆盖本仓库全部文件。Qwen3.5-9B 底座仍适用其自身许可证和使用条款。

引用

@misc{knowline9bgen1,
  title        = {KnowLine-9B-Gen1},
  author       = {PelaAI},
  year         = {2026},
  howpublished = {Hugging Face model repository}
}