File size: 1,738 Bytes
8999949 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 | # Evaluation
## 功能范围
模型对单份三维 FLAIR NIfTI 进行病例级二分类
- `yes` 表示模型检出脑肿瘤相关影像模式
- `no` 表示模型未检出该模式
模型不输出肿瘤分级、亚型、体积或分割掩码
## 预处理
- 将图像转换为 RAS 方向
- 按非零前景选择最多 25 张轴位有效切片
- 按前景体素的第 1 和第 99 百分位进行强度归一化
- 使用保存的 ViT 图像预处理器
病例概率为切片阳性概率均值
病例概率大于或等于 `0.548381` 时输出 `yes`
## 训练设置
- 初始化主干 `google/vit-base-patch16-224-in21k`
- 重新初始化二分类头
- 训练数据为 BraTS 肿瘤病例与 OpenNeuro ds004199 健康对照
- 训练病例数为 55 加 55
- 验证病例数为 15 加 15
- 固定测试病例数为 15 加 15
## 评测边界
UCSF-PDGM 和 HBN-SSI 已在开发阶段用于方案比较
UPENN-GBM 与 OpenNeuro ds003592 在最终评测前未用于训练、阈值选择或模型方案选择
| 集合 | 病例数 | 结果 |
| --- | ---: | --- |
| 内部固定测试 | 30 | 29 / 30 正确 |
| UCSF-PDGM 外部开发阳性集 | 20 | 灵敏度 16 / 20 |
| HBN-SSI 外部开发健康集 | 12 | 特异度 12 / 12 |
| UPENN-GBM 最终盲测阳性集 | 10 | 灵敏度 9 / 10 |
| OpenNeuro ds003592 最终盲测健康集 | 10 | 特异度 10 / 10 |
| 合并最终盲测分类 | 20 | 19 / 20 正确 |
最终盲测阳性集的配套分割流程平均 WT Dice 为 `0.859082`
该指标不属于本仓库分类模型输出
## 已知范围
- 当前版本仅在 FLAIR 输入上评测
- 外部阳性集灵敏度低于终盲测阳性集
- 跨机构扫描协议仍可能造成分类漏检
- 推荐与配套分割模型的结果一并使用
|