license: other
license_name: s2-mas-controlled-research-v1.2
license_link: https://huggingface.co/ya9919/FinQ/blob/main/LICENSE
language:
- en
base_model: Qwen/Qwen3.5-4B-Base
tags:
- s2-mas
- financial-qa
- decision-head
- qwen3_5
- peft
- lora
FinQ · Qwen3.5-4B-Base + LoRA + 决策 head · 200k QA
模型命名与实验标签
FinQ——Qwen3.5-4B-Base + LoRA + 决策 head，200,000 条独立 QA 指本仓库按 development 协议选出的 best checkpoint。FinL 是并列的英语基座完整六轮 encoder 路线，FinL-mlx 是其 MLX FP16 运行格式。上游模型名称保持为 Qwen/Qwen3.5-4B-Base；head-only、50k 和 9B Qwen 版本继续使用明确的比较版本名称。
论文：S²-MAS。本卡片的比较口径为固定预算适配结果与相同下游评测方法。
项目背景
S²-MAS 是面向社会规模的多智能体仿真框架，用于研究家庭决策对消费、现金储备与支付的影响。论文将 5 亿条构造家庭 persona 记录、学习得到的决策策略、可复用金融场景与状态转移引擎连接起来；购置融资应用评估 1,200 万个独立合成家庭 agent。完整数据训练的 FinL 为该应用提供策略，本仓库的 FinQ 则是共同决策模型比较中的固定预算适配 checkpoint。决策学习使用 real-survey data；GENESE／MAS 引擎实现保持私有。
共同 benchmark 将十二个系统分为六类决策路线：encoder 选项评分、语言模型与学习得到的决策 head、next-token 决策 SFT、动态 schema 分类、多模态 encoder 决策以及 provider 决策接口。共同 benchmark 均使用文本输入。17 个模型仓库条目包括 10 个固定预算训练版本（5 个原生 Laya、5 个 Qwen 版本）、6 个 checkpoint／运行格式条目及 1 个兼容入口。
本模型的角色
FinQ 采用语言模型与学习得到的决策 head 路线。LoRA adapter 与共享标量决策 head 在 Qwen3.5-4B-Base 上联合训练；相同 200k 预算的 head-only 比较版本保持 backbone 固定，用于衡量表征适配的作用。完整 development 分区先比较两种 200k Qwen4B 适配方法并选出 LoRA 方法，再进行单独的 9B 训练。
训练设计与 checkpoint
- 方法：
lora。 - 独立下游训练记录：固定决策 QA training 分区中的 200,000 条。
- 初始化：Qwen/Qwen3.5-4B-Base，官方仅预训练 Base 版本。
- 本阶段终点 row exposures：200,000；选中 checkpoint 的本阶段 exposures：200,000。
- 选中 checkpoint 的累计 row exposures：200,000；累计独立记录：200,000。
- 固定 20,000 条 development 样本选择本 checkpoint；完整 412,873 条 development 分区比较两种 200k Qwen4B 适配方法。
性能与相同比较口径
输入语言：英语。推理精度：BF16 Qwen backbone，FP32 候选评分。
共同 held-out test 包含 240,458 条 QA、119 个问题版本及 8,275 个受访者／家庭组。checkpoint 在读取该测试之前通过 development 数据选定。
| Checkpoint／比较版本 | Accuracy (%) | Question-macro F1 (%) | 无效选择 |
|---|---|---|---|
| FinQ · Qwen3.5-4B-Base + LoRA + head · 200k QA | 74.1435 | 36.7343 | 0 |
| Qwen4B head-only，相同 200k 独立 QA | 67.2841 | 30.8995 | 0 |
Accuracy 对每条测试记录等权，无效选择计为错误。Question-macro F1 先在每个问题版本内对完整候选类别的 F1 取平均，再对 119 个版本等权平均。
Head-only 比较版本使用相同预训练 backbone、独立样本与共同测试，保持 backbone 固定；FinQ 同时通过 LoRA 适配 backbone 表征。
模型包与推理
本模型包包含 LoRA adapter 与共享标量决策 head；官方 backbone 及 tokenizer 需单独取得。
- 模型文件：
head.pt、adapter/adapter_config.json、adapter/adapter_model.safetensors。 - 共同测试使用 BF16 Qwen backbone 与 FP32 候选评分。
- 单独取得配置所指定的官方 Qwen backbone 与 tokenizer。
- 推理对完整状态、问题和全部候选菜单评分。
配套 qwen_decision.py 提供候选评分推理接口，传入本地模型包及 decision_config.json 指定的官方 backbone 和 tokenizer。
许可与访问
项目模型贡献适用 S²-MAS Controlled Model Research License v1.2：限非商业科学研究，不得再分发，不得未经授权进行逆向工程、提取或蒸馏。训练与评估记录不随模型分发；来源数据访问须取得 provider 授权。许可申请：yli9919@hku.hk。
项目仓库：s2-mas。