13黄鳍、EMA模塊
論文《Efficient Multi-Scale Attention Module with Cross-Spatial Learning》
1吁恍、作用
論文提出了一種新穎的高效多尺度注意力（EMA）模塊店诗，專注于在保留每個(gè)通道信息的同時(shí)降低計(jì)算成本暑诸。EMA模塊通過將部分通道重塑到批量維度并將通道維度分組為多個(gè)子特征余赢，使得空間語義特征在每個(gè)特征組內(nèi)得到良好分布宿稀。該模塊的設(shè)計(jì)旨在提高圖像分類和對(duì)象檢測任務(wù)中的特征提取能力，通過編碼全局信息來重新校準(zhǔn)每個(gè)并行分支中的通道權(quán)重嵌洼，并通過跨維度交互進(jìn)一步聚合兩個(gè)并行分支的輸出特征案疲，捕獲像素級(jí)的成對(duì)關(guān)系。
2麻养、機(jī)制
1褐啡、EMA模塊：
通過分組結(jié)構(gòu)修改了坐標(biāo)注意力（CA）的順序處理方法，提出了一個(gè)不進(jìn)行維度降低的高效多尺度注意力模塊鳖昌。EMA模塊通過在不同空間維度上進(jìn)行特征分組和多尺度結(jié)構(gòu)處理备畦，有效地建立了短程和長程依賴關(guān)系，以實(shí)現(xiàn)更好的性能许昨。
2懂盐、跨空間學(xué)習(xí)方法：
EMA模塊通過跨空間學(xué)習(xí)方法，將兩個(gè)并行子網(wǎng)絡(luò)的輸出特征圖融合糕档，這種方法使用矩陣點(diǎn)積操作來捕獲像素級(jí)的成對(duì)關(guān)系莉恼，并突出全局上下文，以豐富特征聚合速那。
3类垫、獨(dú)特優(yōu)勢
1、高效的多尺度感知能力：
EMA模塊通過結(jié)合1x1和3x3卷積核的并行子網(wǎng)絡(luò)琅坡，有效捕獲不同尺度的空間信息，同時(shí)保留精確的空間結(jié)構(gòu)信息残家。
2榆俺、跨空間特征融合：
通過跨空間學(xué)習(xí)方法，EMA能夠有效整合來自不同空間位置的特征信息坞淮，提高了特征表示的豐富性和準(zhǔn)確性茴晋。
3、參數(shù)效率和計(jì)算效率：
與現(xiàn)有的注意力機(jī)制相比回窘，EMA在提高性能的同時(shí)诺擅，還實(shí)現(xiàn)了更低的參數(shù)數(shù)量和計(jì)算復(fù)雜度，特別是在進(jìn)行圖像分類和對(duì)象檢測任務(wù)時(shí)啡直。
4烁涌、代碼
import torch
from torch import nn
# 定義EMA模塊
class EMA(nn.Module):
def __init__(self, channels, factor=8):
super(EMA, self).__init__()
# 設(shè)置分組數(shù)量苍碟，用于特征分組
self.groups = factor
# 確保分組后的通道數(shù)大于0
assert channels // self.groups > 0
# softmax激活函數(shù)，用于歸一化
self.softmax = nn.Softmax(-1)
# 全局平均池化撮执，生成通道描述符
self.agp = nn.AdaptiveAvgPool2d((1, 1))
# 水平方向的平均池化微峰，用于編碼水平方向的全局信息
self.pool_h = nn.AdaptiveAvgPool2d((None, 1))
# 垂直方向的平均池化，用于編碼垂直方向的全局信息
self.pool_w = nn.AdaptiveAvgPool2d((1, None))
# GroupNorm歸一化抒钱，減少內(nèi)部協(xié)變量偏移
self.gn = nn.GroupNorm(channels // self.groups, channels // self.groups)
# 1x1卷積蜓肆，用于學(xué)習(xí)跨通道的特征
self.conv1x1 = nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size=1, stride=1, padding=0)
# 3x3卷積，用于捕捉更豐富的空間信息
self.conv3x3 = nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size=3, stride=1, padding=1)
def forward(self, x):
b, c, h, w = x.size()
# 對(duì)輸入特征圖進(jìn)行分組處理
group_x = x.reshape(b * self.groups, -1, h, w) # b*g,c//g,h,w
# 應(yīng)用水平和垂直方向的全局平均池化
x_h = self.pool_h(group_x)
x_w = self.pool_w(group_x).permute(0, 1, 3, 2)
# 通過1x1卷積和sigmoid激活函數(shù)谋币，獲得注意力權(quán)重
hw = self.conv1x1(torch.cat([x_h, x_w], dim=2))
x_h, x_w = torch.split(hw, [h, w], dim=2)
# 應(yīng)用GroupNorm和注意力權(quán)重調(diào)整特征圖
x1 = self.gn(group_x * x_h.sigmoid() * x_w.permute(0, 1, 3, 2).sigmoid())
x2 = self.conv3x3(group_x)
# 將特征圖通過全局平均池化和softmax進(jìn)行處理仗扬，得到權(quán)重
x11 = self.softmax(self.agp(x1).reshape(b * self.groups, -1, 1).permute(0, 2, 1))
x12 = x2.reshape(b * self.groups, c // self.groups, -1) # b*g, c//g, hw
x21 = self.softmax(self.agp(x2).reshape(b * self.groups, -1, 1).permute(0, 2, 1))
x22 = x1.reshape(b * self.groups, c // self.groups, -1) # b*g, c//g, hw
# 通過矩陣乘法和sigmoid激活獲得最終的注意力權(quán)重，調(diào)整特征圖
weights = (torch.matmul(x11, x12) + torch.matmul(x21, x22)).reshape(b * self.groups, 1, h, w)
# 將調(diào)整后的特征圖重塑回原始尺寸
return (group_x * weights.sigmoid()).reshape(b, c, h, w)
# 測試EMA模塊
if __name__ == '__main__':
block = EMA(64).cuda() # 實(shí)例化EMA模塊蕾额，并移至CUDA設(shè)備
input = torch.rand(1, 64, 64, 64).cuda() # 創(chuàng)建隨機(jī)輸入數(shù)據(jù)
output = block(input) # 前向傳播
print(output.shape) # 打印輸入和輸出的尺寸
