Evaluation
功能范围
模型对单份三维 FLAIR NIfTI 进行病例级二分类
yes表示模型检出脑肿瘤相关影像模式no表示模型未检出该模式
模型不输出肿瘤分级、亚型、体积或分割掩码
预处理
- 将图像转换为 RAS 方向
- 按非零前景选择最多 25 张轴位有效切片
- 按前景体素的第 1 和第 99 百分位进行强度归一化
- 使用保存的 ViT 图像预处理器
病例概率为切片阳性概率均值
病例概率大于或等于 0.548381 时输出 yes
训练设置
- 初始化主干
google/vit-base-patch16-224-in21k - 重新初始化二分类头
- 训练数据为 BraTS 肿瘤病例与 OpenNeuro ds004199 健康对照
- 训练病例数为 55 加 55
- 验证病例数为 15 加 15
- 固定测试病例数为 15 加 15
评测边界
UCSF-PDGM 和 HBN-SSI 已在开发阶段用于方案比较
UPENN-GBM 与 OpenNeuro ds003592 在最终评测前未用于训练、阈值选择或模型方案选择
| 集合 | 病例数 | 结果 |
|---|---|---|
| 内部固定测试 | 30 | 29 / 30 正确 |
| UCSF-PDGM 外部开发阳性集 | 20 | 灵敏度 16 / 20 |
| HBN-SSI 外部开发健康集 | 12 | 特异度 12 / 12 |
| UPENN-GBM 最终盲测阳性集 | 10 | 灵敏度 9 / 10 |
| OpenNeuro ds003592 最终盲测健康集 | 10 | 特异度 10 / 10 |
| 合并最终盲测分类 | 20 | 19 / 20 正确 |
最终盲测阳性集的配套分割流程平均 WT Dice 为 0.859082
该指标不属于本仓库分类模型输出
已知范围
- 当前版本仅在 FLAIR 输入上评测
- 外部阳性集灵敏度低于终盲测阳性集
- 跨机构扫描协议仍可能造成分类漏检
- 推荐与配套分割模型的结果一并使用