36.1 輸入輸出的channel相同時(shí)咙崎,MAC最小
卷積層的輸入和輸出特征通道數(shù)相等時(shí)MAC最小兜辞,此時(shí)模型速度最快。
- 假設(shè)feature map的大小為h*w,輸入通道昼浦,輸出通道袖肥。
-
已知:
-
- 根據(jù)均值不等式得到(c1-c2)^2>=0霞揉,等式成立的條件是c1=c2有额,也就是輸入特征通道數(shù)和輸出特征通道數(shù)相等時(shí),在給定FLOPs前提下慕蔚,MAC達(dá)到取值的下界丐黄。
36.2 減少組卷積的數(shù)量
過多的group操作會(huì)增大MAC,從而使模型速度變慢
- 由以上公式可知孔飒,group卷積想比與傳統(tǒng)的卷積可以降低計(jì)算量灌闺,提高模型的效率
- 如果在相同的FLOPs時(shí),group卷積為了滿足FLOPs會(huì)是使用更多channels坏瞄,可以提高模型的精度
- 但是隨著channel數(shù)量的增加桂对,也會(huì)增加MAC。
-
FLOPs:
-
MAC:
-
由MAC鸠匀,F(xiàn)LOPs可知:
- 當(dāng)FLOPs固定(B不變)時(shí)蕉斜,g越大,MAC越大
大數(shù)據(jù)視頻推薦:
網(wǎng)易云課堂
CSDN
人工智能算法競賽實(shí)戰(zhàn)
AIops智能運(yùn)維機(jī)器學(xué)習(xí)算法實(shí)戰(zhàn)
ELK7 stack開發(fā)運(yùn)維實(shí)戰(zhàn)
PySpark機(jī)器學(xué)習(xí)從入門到精通
AIOps智能運(yùn)維實(shí)戰(zhàn)
騰訊課堂
大數(shù)據(jù)語音推薦:
ELK7 stack開發(fā)運(yùn)維
企業(yè)級大數(shù)據(jù)技術(shù)應(yīng)用
大數(shù)據(jù)機(jī)器學(xué)習(xí)案例之推薦系統(tǒng)
自然語言處理
大數(shù)據(jù)基礎(chǔ)
人工智能:深度學(xué)習(xí)入門到精通