default444/ham10000-skin-diagnosis

多模态皮肤病变分类系统 (Multimodal Skin Lesion Classification)

基于双向交叉注意力的多模态皮肤病变分类模型。使用 EfficientNet-B4 提取图像特征，结合患者元数据（年龄、性别、病灶部位），通过双向交叉注意力进行多模态融合。

性能指标

指标	值
准确率	90.22%
宏平均 F1	84.53%
平衡准确率	85.01%
df 召回率	100% (从基线 16.7% 提升)

可用模型

名称	文件	模型结构	分辨率	说明
v18-380 (主模型)	best_model.pth	EfficientNet-B4 + 双向交叉注意力	380×380	90.22% acc, 84.53% F1
v19-Swin	my_v19_swin.pth	Swin Transformer + 交叉注意力	380×380	Swin 消融实验，90.72% acc
v18-improved	my_v18_improved.pth	EfficientNet-B4 + 交叉注意力	224×224	v18 改进版
v18	my_v18.pth	EfficientNet-B4 + 交叉注意力	224×224	基础版
v16	my_v16.pth	EfficientNet-B4 + 注意力融合	224×224	早期原型

加载不同模型

# 主模型
from model_v18_380 import Multimodal_V4_BiDirectional_Res
model = Multimodal_V4_BiDirectional_Res(num_classes=7, metadata_feature_dim=19, pretrained=False)
model.load_state_dict(torch.load("best_model.pth", map_location="cpu"))

# Swin 消融实验
from model_v19 import MultimodalWithSwinCrossAttention
model = MultimodalWithSwinCrossAttention(num_classes=7, metadata_feature_dim=19)
model.load_state_dict(torch.load("my_v19_swin.pth", map_location="cpu"))

License

MIT