四模态病理对齐实验报告

H&E 图像 · 文本 · mIF 蛋白 · RNA，ImageBind 式对齐到 UNI2 H&E 空间｜结果截至 2026-10-22（含 13 种训练方式对比）

总体结论：H&E↔mIF 很强，几乎能一一对上；H&E↔文本和 H&E↔RNA 中等；从未一起训练的模态之间（如 mIF↔RNA、文本↔RNA）能对上，约为瞎猜的 4–10 倍，但很弱。模型在同类组织上能迁移，在 DLPFC（脑）外部测试上失败。

0.726

H&E↔mIF R@1（17 通道）
配对准确率 0.935

0.237

H&E↔文本 R@1（TCGA）
R@10 0.73

0.148

H&E↔RNA R@1（HEST）
R@10 0.55

≈0.10

mIF↔RNA，从未一起训练
约为瞎猜的 10 倍

指标说明：R@1 = 从 100 个候选里第一个就找对的比例（瞎猜 0.01）；配对准确率 = 100 对做一对一最优匹配后的正确率（瞎猜 0.01）。均为测试集、5 折平均、两个检索方向平均。

数据与评估协议

模态	和 H&E 配对的数据	规模	划分（训练 / 验证 / 测试）
mIF（蛋白）	ORION 结直肠	3,187 个 tile，17 个通道	按病人 5 折 + 官方划分
RNA	HEST-1k Visium	9,484 个 spot，16 种器官，57 个研究	按研究/病人分组 5 折
文本	TCGA（PathGen 系列）	6,144 张图，清理后 6,115 条真实文本	按病人 5 折

只用真实配对训练。验证集只用于早停，结果全部来自测试集，病人或研究不会跨划分。
虚拟数据只用于评估：MIPHEI 虚拟 mIF、STPath 虚拟 RNA、GPT few-shot 合成文本。
循环表示两侧都由同一张 H&E 生成（如 H&E↔由这张 H&E 预测的虚拟 mIF），只能作参考，不能证明模型学到了什么。

一、训练过的配对（真实数据）

配对	数据	R@1	R@10	配对准确率	评价
H&E↔mIF（17 通道）	ORION 5 折	0.726 ±0.031	0.989	0.935	很强
H&E↔mIF（16 通道）	ORION 5 折	0.689	0.984	0.901	通道越多越好
H&E↔mIF（10 通道）	ORION 5 折	0.644	0.979	0.863
H&E↔mIF（17 通道）	ORION 官方测试	0.665	1.000	0.948	109 个 tile
H&E↔文本	TCGA 5 折	0.237 ±0.012	0.730	0.248	中等
H&E↔RNA	HEST 5 折	0.148 ±0.026	0.547	0.166	中等

H&E↔mIF 17 通道

0.726

H&E↔mIF 16 通道

0.689

H&E↔mIF 10 通道

0.644

H&E↔文本

0.237

H&E↔RNA

0.148

R@1，满刻度 1.0；红线 = 瞎猜（0.01）

H&E↔RNA 在同一器官内很弱：只在同一器官内找时，脑 0.021、乳腺 0.040、肠 0.070。0.148 中相当一部分靠的是先认出器官。
H&E↔文本受限于文本本身：很多文本描述的是一类组织，而不是这张图独有的特征。按文本类型：caption 0.28、总结 0.29、开放问答 0.22、选择题 0.13。

二、从未一起训练的配对（各自只和 H&E 对齐）

没有数据集同时测了这些模态的两边，所以一侧必须用虚拟数据。

配对	数据	R@1	R@10	配对准确率	约为瞎猜
mIF（16 通道）↔RNA（STPath 虚拟）	ORION 5 折	0.108	0.512	0.149	11×
mIF（10 通道）↔RNA（STPath 虚拟）	ORION 5 折	0.098	0.495	0.131	10×
mIF↔文本（GPT 合成）	ORION 5 折	0.074	0.437	0.072	7×
文本↔RNA（虚拟）	TCGA 5 折	0.056	0.319	0.057	5.6×
文本↔mIF（MIPHEI 虚拟）	TCGA 5 折	0.036	0.237	0.038	3.6×

四个模态确实对齐到了同一个空间，但精度只有直接训练过的配对的 1/3 到 1/6。
链条上最弱的一环决定上限：H&E↔文本和 H&E↔RNA 本身只有 0.15–0.24。

三、虚拟数据能否代替真实数据做验证

校准方法：在同一批测试样本上，把真实数据换成虚拟数据，看配对效果保留多少。只算虚拟模型没训练过的样本。

虚拟数据	校准对比	真实	虚拟	结论
MIPHEI 虚拟 mIF	H&E↔mIF 配对准确率（ORION 官方测试，MIPHEI 未见过）	0.921	0.553	可用，约 0.6×
STPath 虚拟 RNA	H&E↔RNA R@1（STPath 未见过的 spot）	0.086	0.080	可用
GPT 合成文本	H&E↔文本 R@1（同一批 TCGA 图）	0.219	0.162	可用，约 0.75×，偏保守
GigaTIME 虚拟 mIF	H&E↔mIF R@1（ORION 5 折）	0.644	0.038	不可用，已弃用

MIPHEI 用 ORION 官方训练集训练过，因此只有官方测试切片（CRC02、CRC11）和 TCGA 对它是干净的。
通道均值和真实 mIF 的相关性：MIPHEI 0.70，GigaTIME 0.25。
直接用虚拟配对训练（文本↔虚拟 RNA / 虚拟蛋白）没有超过经 H&E 间接对齐：蛋白 0.596 vs 0.678（AUROC），RNA 打平。所以虚拟数据只用于评估。

四、外部测试：DLPFC（脑）

spatialLIBD Visium，482 个 spot / 12 张切片 / 3 名供体。这 12 张切片原本也在 HEST 里，测试前已把整个 spatialLIBD 研究从训练中剔除。

配对	类型	R@1（100 候选，瞎猜 0.01）	同切片内（35 候选，瞎猜 0.029）
H&E↔RNA	真实，训练过的配对	0.010	0.031
RNA↔MIPHEI 虚拟 mIF	真实×虚拟	0.008	0.027
RNA↔合成文本	真实×虚拟	0.010	0.032
H&E↔合成文本循环	参考	0.022	0.054
H&E↔MIPHEI 虚拟 mIF 循环	参考	0.017	0.040

全部在瞎猜水平。只在同一张切片内比较也一样，所以不是样本差异造成的。
原因：脑皮层不同 spot 在 H&E 上本来就很难区分（HEST 内部脑也只有 0.021），这批图视野只有 112 µm 且模糊。GPT 也把 59% 的 spot 写成了淋巴组织，只有 6% 认出是脑组织。

五、每个模态最好的编码器

按最终协议的划分逐折比较；文本那项在干净文本上重跑。“领先”= 最好减对比项；p 为 5 折配对 t 检验（5 折全胜时 p 最低约 0.06）。

模态	最好	对比（领先 / 赢几折 / p）	结论
文本	BiomedCLIP 0.237	CONCH 文本 +0.021（5/5，p=0.03）；PLIP +0.026（5/5，p=0.007）；ImageBind +0.036（5/5，p=0.002）	明确最好
H&E（对齐文本）	Phikon-v2 0.241 ≈ CONCH 0.241 ≈ UNI2 0.237	GigaPath 0.223（UNI2 +0.014，4/5，p=0.05）	三者打平
H&E（对齐 mIF）	UNI2 0.727	GigaPath +0.009（不显著）；CONCH +0.155（5/5，p<0.001）	UNI2 ≈ GigaPath ≫ CONCH
H&E（对齐 RNA）	UNI2 0.148	GigaPath +0.035（4/5，p=0.05）	UNI2
mIF	ConvNeXt-T（从头训练）0.758	VirTues（冻结）+0.030（5/5，p=0.07）	差距小；VirTues 跨模态更好
RNA	Geneformer-V2 0.159	scGPT +0.005（3/5，不显著）；MLP +0.011（4/5，p=0.05）	打平

H&E × 文本编码器（干净文本，R@1）

H&E \ 文本	BiomedCLIP	CONCH 文本	PLIP	ImageBind
Phikon-v2	0.241	0.223	0.211	0.207
CONCH	0.241	0.221	0.213	0.209
UNI2	0.237	0.216	0.211	0.201
GigaPath	0.223	0.201	0.191	0.189

UNI2 是唯一在任何配对上都没被显著超过的 H&E 编码器；Phikon-v2 只测了文本（HEST 只提供 UNI2 和 GigaPath 的特征）。CONCH 在文本上好，但 H&E↔mIF 的配对准确率只有 UNI2 的一半。

六、文本清理

去掉 365 / 6,480 条垃圾文本：353 条只有选择题答案字母（如 “A A B B”），4 条 “error error”，8 条少于 5 个词的残缺答案。
256 张图因此没有任何真实文本：它们保留在原划分里，用 3-shot GPT 生成描述，只用于评估。H&E↔合成文本 0.150，和有真实文本的校准集（0.162）一致。
用干净文本重训后：H&E↔文本 0.229 → 0.237。但旧模型在干净测试集上也有 0.236，所以提升几乎全部来自测试集变干净；重训本身 +0.001（5 折 3 胜 2 负），属于噪声。

七、训练方式对比：分开训练 vs 联合训练

13 种方式，统一用同一套划分、同一份干净真实数据、同一种对齐头和优化器；虚拟数据只用于评估。数值为 R@1（5 折平均）。“相对 S1”= 各配对 R@1 除以 S1 后取平均。

方式	H&E↔mIF	H&E↔RNA	H&E↔文本	mIF↔RNA(虚)	mIF↔文本(合)	文本↔RNA(虚)	文本↔mIF(虚)	训练过的相对 S1	未一起训练相对 S1
S1 分开·冻结锚点（原方案）	0.680	0.148	0.234	0.108	0.076	0.060	0.038	1.00	1.00
S2 分开·双塔（CLIP 式）	0.794	0.130	0.195	0.019	0.022	0.014	0.013	0.96	0.26
S3 分开·冻结·全线性头	0.642	0.156	0.237	0.123	0.070	0.069	0.038	1.00	1.05
S4 分开·冻结·mIF 用 MLP，RNA/文本用线性	0.680	0.152	0.234	0.117	0.074	0.071	0.037	1.01	1.05
J1 联合·冻结锚点	0.706	0.148	0.237	0.094	0.065	0.056	0.031	1.02	0.87
J2 联合·共享可训练 H&E 头	0.761	0.147	0.204	0.061	0.060	0.044	0.031	0.99	0.72
J3 J2 + 按数据量采样	0.740	0.138	0.187	0.063	0.060	0.039	0.031	0.94	0.70
J4 J2 + 锚点蒸馏 λ=1	0.765	0.144	0.202	0.062	0.058	0.043	0.030	0.99	0.71
J4b J2 + 锚点蒸馏 λ=10	0.768	0.149	0.209	0.067	0.058	0.047	0.030	1.01	0.74
J5 联合·UNI2 + 共享残差适配器	0.762	0.142	0.201	0.058	0.059	0.044	0.029	0.98	0.71
J6 J2 + 不确定性自动加权	0.765	0.136	0.195	0.057	0.055	0.041	0.027	0.96	0.66
J7 两阶段：S1 → 联合残差微调	0.776	0.150	0.234	0.100	0.076	0.055	0.035	1.05	0.94
J8 两阶段：S4 → 联合残差微调	0.762	0.164	0.232	0.112	0.073	0.068	0.035	1.07	1.01

S1 原方案

1.00

S2 双塔

0.96

J2 共享 H&E 头

0.99

J7 两阶段

1.05

J8 两阶段 + 混合头

1.07

训练过的配对，相对 S1（满刻度 2.0）

S1 原方案

1.00

S2 双塔

0.26

J2 共享 H&E 头

0.72

J7 两阶段

0.94

J8 两阶段 + 混合头

1.01

从未一起训练的配对，相对 S1（满刻度 2.0）

从头训练 H&E 侧（S2、J2–J6）：H&E↔mIF 涨 0.08–0.11，但 H&E↔文本降 0.03–0.05，从未一起训练的配对损失 26–74%。共享的 H&E 头被最容易的 mIF 任务“拉走”。按数据量采样和不确定性加权更差；蒸馏到 UNI2 结构只略有帮助。
联合但锚点冻结（J1）：只是训练步数变了，mIF +0.026，但未一起训练的配对 −13%。
线性头：RNA 和文本用线性头，跨模态迁移比 MLP 更好（+5%）；mIF 仍需要 MLP。
J8 对比 S1（5 折配对）：H&E↔mIF +0.083（5/5，p=0.01），H&E↔RNA +0.015（5/5，p=0.03），文本↔RNA(虚) +0.008（5/5，p=0.02）；其余配对差 ≤0.004，不显著。配对准确率 mIF 0.897→0.929，RNA 0.172→0.198。

八、最佳训练方案

两阶段训练（J8，13 种方式中最好）：
- 第一阶段：冻结 UNI2 当锚点，每个模态各自分开训练对齐头（ImageBind 做法）。
- 第二阶段：所有头一起联合微调，同时给 UNI2 加一个三个数据集共享、初始化为零的残差适配器；lr 1e-4，1000 步，三个损失相加，加相似度蒸馏（λ=1），按三项验证 R@1 的几何平均早停。
- 不要从头训练 H&E 侧（双塔或共享 H&E 头）：H&E↔mIF 会更高，但文本和跨模态对齐明显变差。
编码器：
- H&E：UNI2
- 文本：BiomedCLIP（冻结）+ 线性对齐头
- mIF：VirTues（冻结）+ MLP 对齐头，尽量用全部通道；只关心 H&E↔mIF 时 ConvNeXt-T 从头训练高 0.03
- RNA：2000 个高变基因，log1p CP10k，线性对齐头（Geneformer / scGPT 打平）；外部数据按数据集各自 z-score
对齐头与超参数：MLP 为 3 层（隐藏 512，LayerNorm），对称 InfoNCE（同一张图有多条文本时都当正例），可学习温度（初始 0.07），AdamW lr 3e-4、weight decay 0.05、OneCycle，batch 256，60–100 epoch，每张 H&E 8 个增强视图训练时随机取一个，按验证集 R@1 早停。
数据：只用真实配对；按病人或研究划分（按 tile 随机划分会偏乐观）；训练前清掉垃圾文本。
不要用虚拟配对训练。直接训练没有超过经 H&E 间接对齐，蛋白还更差；虚拟数据只用于评估。

九、下一步最值得做的

找同一组织同时测了两个模态的真实数据（如 Visium + CODEX 同切片），这样 RNA↔mIF 能直接训练和直接测，不再依赖虚拟数据。
提高 RNA 在同一器官内的区分能力：同器官困难负样本，或更大的 spot 视野。
文本：以 caption 和总结类长文本为主训练，弱化选择题。