# Evaluation

## 功能范围

模型对单份三维 FLAIR NIfTI 进行病例级二分类

- `yes` 表示模型检出脑肿瘤相关影像模式
- `no` 表示模型未检出该模式

模型不输出肿瘤分级、亚型、体积或分割掩码

## 预处理

- 将图像转换为 RAS 方向
- 按非零前景选择最多 25 张轴位有效切片
- 按前景体素的第 1 和第 99 百分位进行强度归一化
- 使用保存的 ViT 图像预处理器

病例概率为切片阳性概率均值
病例概率大于或等于 `0.548381` 时输出 `yes`

## 训练设置

- 初始化主干 `google/vit-base-patch16-224-in21k`
- 重新初始化二分类头
- 训练数据为 BraTS 肿瘤病例与 OpenNeuro ds004199 健康对照
- 训练病例数为 55 加 55
- 验证病例数为 15 加 15
- 固定测试病例数为 15 加 15

## 评测边界

UCSF-PDGM 和 HBN-SSI 已在开发阶段用于方案比较

UPENN-GBM 与 OpenNeuro ds003592 在最终评测前未用于训练、阈值选择或模型方案选择

| 集合 | 病例数 | 结果 |
| --- | ---: | --- |
| 内部固定测试 | 30 | 29 / 30 正确 |
| UCSF-PDGM 外部开发阳性集 | 20 | 灵敏度 16 / 20 |
| HBN-SSI 外部开发健康集 | 12 | 特异度 12 / 12 |
| UPENN-GBM 最终盲测阳性集 | 10 | 灵敏度 9 / 10 |
| OpenNeuro ds003592 最终盲测健康集 | 10 | 特异度 10 / 10 |
| 合并最终盲测分类 | 20 | 19 / 20 正确 |

最终盲测阳性集的配套分割流程平均 WT Dice 为 `0.859082`
该指标不属于本仓库分类模型输出

## 已知范围

- 当前版本仅在 FLAIR 输入上评测
- 外部阳性集灵敏度低于终盲测阳性集
- 跨机构扫描协议仍可能造成分类漏检
- 推荐与配套分割模型的结果一并使用