??stn網(wǎng)絡包含3個部分衷笋,如圖所示,分別是Localisation net辟宗,Grid generator,Sampler泊脐。
??上圖中的網(wǎng)絡輸入是U容客,輸出是V,V是由U計算得來的缩挑,U和V大小尺寸可以不一致。V根據(jù)U中的對應的像素點按照一定的映射規(guī)則來計算得到供置,這樣就需要如何解決如下問題:1)由哪些像素點來映射;2)如何映射紧阔,映射的參數(shù)是什么。上面的3個組件的作用就是解決以上問題的擅耽,Localisation net計算映射的參數(shù)物遇;Grid generator計算對應的像素點;Sampler根據(jù)像素點和參數(shù)計算出V的值挎挖。
??stn可以應用在網(wǎng)絡的各個層,一般可以提高網(wǎng)絡的性能蕉朵。