ASSNet: Adaptive Semantic Segmentation Network for Microtumors and Multi-Organ Segmentation

论文：

《ASSNet: Adaptive Semantic Segmentation Network for Microtumors and Multi-Organ Segmentation》（arXiv 2024）

主要贡献：

  • 设计了一种结合ResUnet和Swin-transformer优点的混合模型ASSNet，该模型具有窗口注意力、空间注意力、U型架构和残差连接，以实现高效分割。
  • 提出了一种自适应特征融合(AFF)解码器，该解码器能够最大化利用多尺度特征，同时捕捉远程依赖并细化目标边界。

网络整体结构：

image-20241008195242686

编码器：

image-20241012125942275

  • 通过在不同分辨率上应用窗口注意力，编码器能够捕捉到图像中的多尺度信息
  • 引入了一个增强的多层感知器，以在特征提取过程中显式地建模长距离依赖关系
  • EFFN结合深度卷积和像素卷积来增强局部特征的提取能力

Adaptive Feature Fusion (AFF) Decoder:

该解码器包含三个关键组件:长距离依赖(LRD)块、多尺度特征融合(MFF)块和自适应语义中心(ASC)块。

Adaptive Feature Fusion (AFF) Decoder是为了解决多尺度特征融合和长距离依赖建模问题而设计的。

image-20241012130531795

  • 长距离依赖块(LRD)：通过一系列的卷积操作建模远距离像素间的关联。

  • 多尺度特征融合块(MFF):接收来自编码器不同分辨率层次的特征图,通过跳跃连接（skip connections）将这些多尺度特征与当前解码层的特征图进行融合。然后通过膨胀卷积扩张卷积处理这些融合的特征，提取出每个尺度下的关键信息。

  • 自适应语义中心块(ASC):类似于传统边缘检测方法,作者使用一种自适应平均池化（Adaptive Average Pooling）操作，结合全连接层对通道特征进行增强。