SPM

论文:《Learning with Explicit Shape Priors for Medical Image Segmentation》(TMI 2023)

探索形状先验(shape priors)对分割性能的影响

基于unet的医学图像分割模型的局限性:cnn的感受野有限,无法利用器官或组织之间的远距离和全局空间关系,无法实现精细的形状表示。(注意力模块扩大模型的感受野,隐式地捕获形状信息)

注:通过设计特定的损失函数,而不是Dice损失或交叉熵损失,将明确的形状先验集成到分割框架中。但这些损失函数是特定于任务的,不能很容易地扩展到不同的数据集

提出了显式形状模型(SPM),以形状先验作为额外的输入来增强模型的形状表示能力。

image-20231120152537182

image-20231120163304452

其中F代表模型的前向传播,S代表构造图像I和标签L之间映射的形状先验。

注意力图:生成的形状先验在推断阶段充当了注意力图,用于定位感兴趣的区域,并抑制背景区域

SPM模块:

image-20231120153357914

SPM模块由the self-update block (SUB)、cross-update block (CUB)

the self-update block (SUB):以形状先验作为输入,用于生成全局形状先验

image-20231120154358605

SUB的结构缺乏对局部视觉结构的建模,全局形状先验不具有精确的形状和轮廓信息。

cross-update block (CUB):建模局部形状先验

image-20231120160130787

:一个C × N矩阵,用于评估C通道特征映射Fo和N通道形状先验之间的关系。

下采样生成局部形状先验:

image-20231120160808202

增强的形状先验融合了SUB生成全局形状先验及CUB生成的局部形状先验

实验部分:

与其他方法的对比:

image-20231120202559717

image-20231120202723390

image-20231120202732327

消融实验:在BRATS 2020(脑肿瘤)、VerSe2019(脊柱)、ACDC(心脏)

image-20231120201045294

表明SPM有增强模型对相对规则的形状区域的表示能力