首页 > 资讯 > 华中师大 CoReFuse-Med：先净化再融合，让低质模态不再拖后腿｜ACM MM 2026

华中师大 CoReFuse-Med：先净化再融合，让低质模态不再拖后腿｜ACM MM 2026

雷锋网 2026-10-19 20:47 3 阅读查看原文

来源：多模态信息融合

文章链接：https://mp.weixin.qq.com/s/SVr9DmtPyzORLYad-tNR-g

多模态融合

何时失效？

ACM MM 2026 · CoReFuse-Med

多模态并不是越多越好。当MRI已经空间对齐，但是T1、T2、FLAIR等模态的采样质量差别很大时，低质量模态可能会把高质量模态中产生的重采样伪影一起带入到融合网络中去。CoReFuse-Med从浅层污染和深层模态偏置这两个方面来对症下药地进行修复。

论文标题：When Fusion Fails: Corruption-Aware Rebalanced Fusion for Multi-Modal Medical Image Segmentation

作者：Yuchen Pei, Xiaoyu Hu, Yixiong Zou, Dingwen Hu, Hui Chu, Yutao Ma, Shijun Qiu, Gang Li

单位：华中师范大学、华中科技大学、广州中医药大学及其第一附属医院、北卡罗来纳大学教堂山分校

论文链接：

https://arxiv.org/abs/2609.10261

代码链接：

https://github.com/lrever/CoReFuse

对齐好了，但是融合为什么还不能成功呢？

FUSION FAILURE · FIG. 1

论文在IH EPVS数据集中对高分辨率T1单模态DSC进行了观察，并发现了一个出乎意料的结果：高分辨率T1单模态DSC为0.703，融合T1、T2 和 FLAIR 后反而降到大约 0.695。空间对齐并不等同于信息质量的一致性。低分辨率序列经过重采样之后，其图像和T1同大小，但是可能会含有不可靠的信息。

三个证据：污染和偏见

作者把问题限定在了分辨率不同所引起的质量问题下降上，并没有涉及到未对齐或者模态全部缺失的情况。首先比较浅层特征的F-CNR，然后联合训练梯度和遮挡测试，最后跟踪跳跃连接的噪声传播：由此可以解释为什么“弱训练贡献”也有可能是“强推理干扰”。

证据一：低分辨率产生噪声

论文中提出的特征对比噪声比F-CNR：用病灶区和背景区的均值之差除以背景区的标准差来衡量可分性。第三页特征可视化显示，T1的F-CNR值是1.0283，T2的F-CNR值是0.4301，FLAIR的F-CNR值只有0.2980；T1 约为 FLAIR 的 3.4 倍。即使从几何上来说是重合的，但是浅层表征的可靠性却不一样。

式(1)｜F-CNR：病灶和背景特征可以区分

证据二：优化和推理不一致

在EPVS的3D U-Net中，T1占据了77.4%的梯度贡献，FLAIR只占到了13.1%；但是遮挡FLAIR会使DSC降低70.2%，和遮挡T1的影响一样大。梯度更新次数少，并不代表在预测的时候就没有影响了。论文把反差看作是优化——推理不一致性的主要证据。

证据三｜Skip 连接会传染

U 型网络中的 skip connections 本来是用来把空间细节送入解码器的；在各向异性MRI中，它也会把重采样的结构伪影一起带到新的图像中去。网络又倾向于依靠更加“干净”的、容易被优化的高质量模态，因此出现了特征污染和贪婪模态选择的问题。

T1、T2、FLAIR等浅层特征F-CNR

Table 1 梯度贡献、模态遮挡之后DSC下降

首先进行净化，然后对各个模态的贡献进行平衡

COREFUSE-MED·FIG.3

CoReFuse-Med 不是简单的再堆一个更强大的cross-attention，而把融合分成两部分：LACE首先给每个MRI序列构建出高效的各向异性编码；IMSH对浅层结构基底和残差之间的可靠传递负责；MBCF 在深层次共享语义空间中重新校准模态贡献。仍然是一套三流、对称U型分割网络。

LACE+IMSH浅层先“去污染”

LACE 使用局部DoubleConv和沿着D、H、W三个方向的条带卷积分支来分别保留细节、捕获轴向上下文，之后用可选的通道注意力融合两支特征。IMSH使用无参数的3×3×3平均池化分离结构作为基础，并且用高频残差来代替低频残差：基底部分用竞争性的Softmax权重选择可靠解剖结构，残差部分由共享Sigmoid门控过滤重采样伪影组成，最后用轻量级DSConv3D来整合。

LACE 双分支选择性融合：局部边界和轴向上下文分别提取出来之后，再用自适应权重进行合成。

式(2)LACE选择性特征融合

IMSH 空间尺度分解：平滑分量承担共享解剖布局，残差包含有效的细节和重采样的噪声。

式(3)｜平均池化构建结构基底和残差

式(4)｜竞争加权之后回写浅层特征

MBCF｜对深层纠正模态偏见

MBCF的作用是针对L3-L4深层跳连特征。首先把T1、T2、FLAIR的全局描述拼接起来，经过共享MLP产生通道权重；再利用空间门控来排除由于位置不稳而产生的不可靠响应；最后得到的是一个不属于任何一个单一模态的公共查询Q，对三模态拼接并下采样K、V执行对称交叉注意力。目的并不是要迫使所有的模态都以相同的权重来发言，而是在融合的时候给可信的信息合理的贡献。

全局通道校准并不是通过Softmax强行使三个模态的权重相加等于1，而是在共享MLP和Sigmoid之间产生条件化的通道权重；空间门控和共享查询更加限制了模态的竞争。

式(5)为全局通道可靠性的校正

式(6)不依赖于一个单一的模态来共享查询

式(7)｜三模态拼接和降采样的后K、V

式(8)对称跨模态注意力融合

实验的结果和边界：怎么去读呢？

在EPVS上Ours(Med)DSC=0.7326、HD95=7.35，好于对比中的MedNeXt的0.7085、8.17；在 BraTS 上DSC=0.8528、HD95=4.43，比MedNeXt的0.8314、7.59要好一些。在 WMH 上DSC=0.80，HD95=6.22，IAVD=0.171，参数量只有2.665M。

论文还对BraTS中20%和30%轴向切片的保留情况进行考察，并且分别重新训练了每个模型，在两种不同的设置下取得了最好的DSC/HD95；但这不是同一个权重直接跨退化等级测试。额外的高斯噪声是作为补充来验证的。

消融实验：在EPVS中，BaselineDSC为0.7146；组合LACE+IMSH+MBCF之后的Ours(Base)为0.7322，表示这三个模块之间存在互相补充的作用。在EPVS上已经严重退化的地区，模型主要是防止污染破坏T1，并不是“凭空恢复”T2/FLAIR已经丢失的信息。

研究边界：主要问题就是空间对齐之后的分辨率下降，并不是所有的模态都缺失了，也没有解决所有的强噪声场景。未来的方向是动态模态缺失以及更多的采集伪影。

华中师大 CoReFuse-Med：先净化再融合，让低质模态不再拖后腿｜ACM MM 2026

相关推荐