# Final Ensemble

## 正式最终系统

本仓库的正式最终系统是一个 **7-voter Logistic Regression Stacking** 方案。它不是规则硬投票，也不是探索阶段的静态加权投票，而是基于连续分数学习出来的 stacking 模型。

正式结果入口：

- `results/final-system/ds13/ensemble_meta.json`
- `configs/ensemble_config.json`
- `results/final-system/upstream-voters/ds13/`

## 7 个 voter 包含什么

| Voter | 类型 | 仓库里保留的资产 | 在最终系统中的角色 |
|---|---|---|---|
| `qwen7b_general` | LoRA adapter | `models/qwen-adapters/general/` | 通用主力分支 |
| `qwen7b_short` | LoRA adapter | `models/qwen-adapters/short/` | 补强 76-180 字短文本 |
| `qwen7b_extreme_short` | LoRA adapter | `models/qwen-adapters/ultra-short/` | 补强 0-75 字极短文本 |
| `bert` | 微调分类模型 | `models/bert-final/` | 最终 LR 权重最高 |
| `roberta` | 微调分类模型 | `models/roberta-final/` | 与 BERT 和 Qwen 分支形成互补 |
| `FastDetectGPT` | 零样本 detector | 算法脚本 + 结果文件 | 提供生成痕迹分数 |
| `Binoculars` | 零样本 detector | 算法脚本 + 结果文件 | 提供另一类生成痕迹分数 |

这里最容易被误解的是最后两个 detector。`FastDetectGPT` 和 `Binoculars` 不是单独训练出来的新分类模型，它们是零样本检测算法分支：

- `FastDetectGPT` 使用 `Qwen2.5-3B-Instruct` 与 `Qwen2.5-3B` 的对比分数。
- `Binoculars` 也基于同一对 3B 模型，只是打分公式不同。
- 对应实现位于 `scripts/inference/run_zero_shot_detectors.py`。

因此仓库不会给这两个 detector 单独保存“分类器权重目录”。它们的可交付形式是：算法说明、推理脚本、实验留档和最终分数文件。

## 最终权重如何确定

正式 DS13 系统的权重学习流程如下：

1. 收集 7 个 voter 在 dev 上的连续输出分数。
2. 构造特征矩阵，并额外加入长度特征 `len_norm = length / 1000.0`。
3. 通过 `StandardScaler` 标准化特征。
4. 用 `sklearn.linear_model.LogisticRegression(solver="lbfgs", C=1.0)` 拟合二分类 stacking 模型。
5. 在 dev 上按 F1 搜索最优阈值，得到最终推理阈值。

对应实现可从 `scripts/inference/run_logistic_regression_ensemble.py` 看出，正式参数以结果文件为准，而不是以脚本默认参数猜测。

## DS13 正式 LR 系数与阈值

以下数字直接来自 `results/final-system/ds13/ensemble_meta.json` 与 `configs/ensemble_config.json`：

| Feature | Coefficient |
|---|---:|
| `bert` | 2.0188854029 |
| `qwen7b_general` | 1.8788706258 |
| `roberta` | 1.8788624937 |
| `qwen7b_short` | 1.2970493780 |
| `qwen7b_extreme_short` | 0.8596312618 |
| `FastDetectGPT` | 0.2563906985 |
| `Binoculars` | 0.2295749248 |
| `len_norm` | 0.0062348417 |

补充参数：

- `intercept = 1.6861943699`
- `threshold = 0.1307`

可以直接把这些系数理解成“正式最终系统的权重”。如果有人去看 `src/enhanced_replica/voter_registry.py`，会看到 `default_weight_champion` 和 `bucket_weights`。这些值属于 E04 / E06 探索阶段的硬投票默认值，只服务于探索期脚本，不代表正式最终 DS13 ensemble 权重。

## 分桶方式与 DS13 的 fallback

本仓库保留的 bucket 定义为：

- `extreme_short = 0-75`
- `short = 76-180`
- `general = 181+`

DS13 正式 bundle 虽然同时保存了 `lr_global` 和 `lr_bucket` 两套结果，但 `lr_bucket` 在 DS13 上没有学出单独桶模型，而是全部回退到 global：

| Bucket | `n_dev` | 是否回退到 global |
|---|---:|---|
| `extreme_short` | 1 | 是 |
| `short` | 0 | 是 |
| `general` | 9 | 是 |

这意味着：

- DS13 的 bucket 流程被保留了。
- 但因为 dev 样本极少，正式结果实际上等价于 global LR。
- 所以 DS13 上讨论“bucket 权重”没有意义，真正需要看的就是全局 LR 系数。

## 为什么会回退到 DS01 dev

DS13 dev 过小，不足以稳定拟合 7-voter LR stacking。因此最终配置明确采用了 fallback 思路：用更稳定的 dev 参考来拟合 LR，再迁移到 DS13 test 评估。仓库里保留 `results/final-system/ds01-reference/`，是为了让这条 fallback 逻辑有一个可追溯的参考 bundle。

需要注意的是，`ds01-reference` 是参考证据区，不是第二个正式最终系统入口。对于 DS13 的正式最终权重，始终以：

- `results/final-system/ds13/ensemble_meta.json`
- `configs/ensemble_config.json`

为准。

## DS13 正式最终结果

### 总体结果

- `F1 = 0.986091`
- `Accuracy = 0.986182`
- `Precision = 0.992448`
- `Recall = 0.979815`

### 子集结果

| Subset | N | F1 | Precision | Recall | Accuracy |
|---|---:|---:|---:|---:|---:|
| `normal` | 4000 | 0.997505 | 0.995518 | 0.999500 | 0.997500 |
| `mixed_attack` | 1000 | 0.962810 | 0.993603 | 0.933868 | 0.964000 |
| `paraphrase_attack` | 1000 | 0.979675 | 0.995868 | 0.964000 | 0.980000 |
| `perturbation_attack` | 1000 | 0.996000 | 0.996000 | 0.996000 | 0.996000 |
| `len_64` | 1000 | 0.940452 | 0.966245 | 0.916000 | 0.942000 |
| `len_128` | 1000 | 0.982880 | 0.989858 | 0.976000 | 0.983000 |
| `len_256` | 1000 | 0.994995 | 0.995992 | 0.994000 | 0.995000 |
| `len_512` | 1000 | 0.998004 | 0.996016 | 1.000000 | 0.998000 |

这里最值得保留的结论是：短文本仍然最难，`len_64` 明显低于长文本段。这也解释了为什么最终系统没有只保留一个通用 Qwen 分支，而是把 `short` 和 `extreme_short` 两个长度专门化 adapter 一起保留下来。

## 上游 voter 结果为什么也要保留

`results/final-system/upstream-voters/ds13/` 保存了 7 个 voter 的 dev / test 输出。保留它们不是为了让人手动拼装提交，而是为了做到两件事：

1. 让最终 DS13 ensemble 可追溯。
2. 让后续研究者能直接看到每个 voter 的分数文件，从而复算 stacking、阈值与误差来源。

## 一句话区分两类“权重”

- 正式最终系统权重：看 `results/final-system/ds13/ensemble_meta.json` 和 `configs/ensemble_config.json`。
- 探索期硬投票默认值：看 `src/enhanced_replica/voter_registry.py`，只属于 E04 / E06 研究路线。