Alberto Bietti, Julien Mairal
1.論文通過構(gòu)造一個(gè)多層的深度卷積核網(wǎng)絡(luò)巡验，并且研究對(duì)應(yīng)的再生核希爾伯特空間的幾何結(jié)構(gòu)呆抑，來研究深度信號(hào)表示的平移不變性以及微分同胚作用的穩(wěn)定性绍载，既不會(huì)丟失信號(hào)的信息墨榄。
2.首先定義了連續(xù)域空間中的信號(hào)的操作膨报，patch extraction静浴、kernel map堰氓、linear pooling。然后進(jìn)行離散化苹享，并且說明了了離散信號(hào)通過這些操作可以進(jìn)行信號(hào)的保存和恢復(fù)双絮。關(guān)于核近似，這里通過有限維的近似形成卷積核網(wǎng)絡(luò)的模型得问，并且RKHS（再生核希爾伯特空間）的映射是通過對(duì)有限維的子空間的映射來近似獲得的囤攀。這個(gè)近似是兼容的，也就是說近似的映射也在相應(yīng)的RKHS中宫纬，并且由于這個(gè)映射的非擴(kuò)展性焚挠，使得穩(wěn)定性也得到了保存。
3.接下來文章對(duì)變形和平移不變性和穩(wěn)定性進(jìn)行了說明漓骚，利用微分同胚的知識(shí)蝌衔，用下面這個(gè)公式來進(jìn)行穩(wěn)定的描述（表示）：
然后對(duì)右邊進(jìn)行bound
最后得到上述結(jié)論榛泛，與（4）式的所需的格式相匹配，和散射變換不同的是噩斟，由于pooling層的原因曹锨，隨著深度的增加而減小。但是這種情況可以通過增加一個(gè)非線性的預(yù)測(cè)層進(jìn)行緩解剃允。
對(duì)核近似的穩(wěn)定性進(jìn)行說明沛简，在RKHS層的有窮維子空間上增加映射的步驟，并重新定義了核映射操作符斥废，這樣
也不保持范數(shù)不變了椒楣，丟失的信息對(duì)應(yīng)點(diǎn)z(u)上的核近似的質(zhì)量。由于增加的映射的非擴(kuò)張性营袜，
也具有非擴(kuò)張性
撒顿。
4.討論變換群的全局不變性丑罪。
前面討論的是用于保證局部變換穩(wěn)定性的背部pooling層荚板，而全局不變性主要是通過最后一個(gè)pooling層實(shí)現(xiàn)的。
5.核表示與CNN之間的聯(lián)系吩屹。
RKHS范數(shù)較小的函數(shù)(即“大邊界”)可以更好地泛化未知數(shù)據(jù)跪另，也就是說少量的樣本就能獲得很好的泛化性能。
