CandiGate-Qwen3-4B

简体中文 | English

CandiGate-Qwen3-4B 是基于 Hugging Face Hub 上的 Qwen/Qwen3-4B 训练的候选约束 Agent 决策 LoRA，用于复现 Jev 的可观察决策行为。

模型信息

项目	内容
Hub 仓库	CullenYap/CandiGate-Qwen3-4B
版本	v0.2.0-0921
模型类型	PEFT LoRA adapter
训练	1 epoch，3 个随机种子重复
LoRA	rank 16，alpha 32，dropout 0.05
决策原语	choice、noul
推荐温度	1.5496953009
许可证	Apache-2.0

主要结果

同协议横向对比

模型 / 推理方式	v0.2 validation Accuracy
Qwen3-4B Generate	72.79%
Qwen3-4B candidate logits	75.13%
CandiGate v0.2（选中 seed）	97.66%

模型	BFCL multiple/irrelevance	BFCL live_irrelevance
Qwen3-4B	70.42%	38.11%
CandiGate v0.1.0	80.29%	60.56%
CandiGate v0.2.0	81.57%	61.32%

Agent v2 推理方式	p50	p95	p99	相对 Generate	Episode 成功率	决策准确率	不安全执行
Qwen3-4B Generate	92.89 ms	93.57 ms	93.82 ms	1.00×	50.00%	79.72%	1 / 144
Qwen3-4B candidate logits	26.46 ms	27.41 ms	27.70 ms	3.51×	50.00%	79.72%	1 / 144
CandiGate v0.2 candidate logits	20.43 ms	21.26 ms	21.49 ms	4.55×	75.69%	92.47%	0 / 144

Agent v2 包含 48 个独立场景和 3 次候选重排，共 144 个 episode/推理方式。测试在单张 RTX 4090 上以 BF16、batch 1、concurrency 1 运行，完成预热后按单次决策统计延迟。CandiGate v0.2 相比 Qwen3-4B Generate 的 p50 延迟降低 78.0%；加速比由未四舍五入的 p50 计算。

v0.2 独立结果

评测	结果
三种子 validation Accuracy	97.26% ± 0.29%
冻结 test Accuracy（1,560 条）	96.35%
冻结 test ECE	0.25%
困难动态工具语义 Accuracy	99.77%
困难动态工具 no-tool Accuracy	100.00%
BFCL simple 固定 8 候选留出	99.22%

横向表只使用相同数据与协议。v0.1 的内部 test 为 1,956 条，v0.2 采用重新分组的 1,560 条冻结 test，两者分别保留为各版本独立结果。v0.2 冻结 test 在 RTX 4090、batch 1、concurrency 1、预热后的 p50/p95/p99 为 26.55/36.40/37.74 ms。

下载与运行

from huggingface_hub import snapshot_download

adapter_dir = snapshot_download(
    repo_id="CullenYap/CandiGate-Qwen3-4B",
    revision="v0.2.0-0921",
)

pip install -r requirements.txt
python inference.py \
  --base-model Qwen/Qwen3-4B \
  --adapter CullenYap/CandiGate-Qwen3-4B \
  --input example_request.json \
  --temperature 1.5496953009

本版本验证 A–I 为唯一、稳定的单 token continuation。训练数据包括 MASSIVE v1.1（CC BY 4.0）和项目生成的语义簇隔离 Agent 决策样本；合成样本及标签由公开、可审计的规则生成。

基座模型论文：Qwen Team, Qwen3 Technical Report, 2025。论文信息见 Qwen/Qwen3-4B 基座模型卡。

版本历史

• v0.2.0-0921：当前版本。新增困难正负例、三随机种子选择、独立校准与冻结测试，并扩展受控 Agent 评测。
• v0.1.0-0920：首个 Hugging Face Hub 公开版本。