SCConv: Spatial and Channel Reconstruction Convolution for Feature Redundancy

SCConv: Spatial and Channel Reconstruction Convolution for Feature Redundancy

论文：《SCConv: Spatial and Channel Reconstruction Convolution for Feature Redundancy》（cvpr2023）

SCConv由空间重构单元（SRU)和通道重构单元（CRU)组成。

• SRU采用分离重构的方法来抑制空间冗余
• CRU采用分离变换融合的策略减少通道冗余

SCConv的结构

利用SRU运算获得空间细化特征$X^w$,然后利用CRU运算获得通道细化特征Y,通过SCConv可以减少中间特征映射之间的冗余并增强CNN的特征表示

空间重构单元（SRU)：

空间重构单元(SRU)利用了分离和重构操作，分离操作的目的是将信息丰富的特征图与空间内容对应的信息较少的特征图分离开来

• 利用组归一化（GN)中的因子$\gamma$来评估不同特征图的信息内容：

注：因子$\gamma$是可训练的参数$\gamma\in{R^C}$,可利用其测量通道的像素方差，更丰富的空间信息反映了更多空间像素的变化，从而导致更大的$\gamma$

• 归一化后的权重$W_{\gamma}$通过下式得到：

注:通过Gate门控来得到信息权重$W_1$和非信息权重$W_2$（Gate门控通过设置一个阈值，大于阈值置为1得到信息权重，小于置为0得到非信息权重）

• 然后用输入特征X分别乘以信息权重$W_1$和非信息权重$W_2$，得到信息量大的$X_1^w$和信息量小的$X_2^w$

• 最后，使用交叉重构运算将加权后的两个不同的信息特征结合起来

​ 注：∪是concat操作

通道重构单元（CRU)：

使用CRU来取代了标准卷积，其通过三个操作符实现（Split、Transform、Fuse)

• Split:将输入的$X^w$的通道分割为αC和(1-α)C两部分（α是分割比），之后再使用1×1卷积来压缩特征通道，来提高计算效率

• Transform:

  • 对$X_{up}$​​使用（GWC、PWC)取代标准卷积来降低计算成本，之后再对输出进行汇总：

    

  • 对$X_{low}$使用PWC作为对$X_{up}$的补充

• Fuse:对$Y_1$和$Y_2$进行融合