1.在聚類中使用不變性和等變性的無監(jiān)督語義分割

2.什么是無監(jiān)督語義分割呢择份？如這張圖片所示铺韧，將沒有標(biāo)簽的數(shù)據(jù)集作為輸入，能夠?qū)D中的每個(gè)像素都輸出為標(biāo)記成不同事物的標(biāo)簽缓淹，例如下面的藍(lán)色一部分標(biāo)記為天空哈打，綠色為樹，灰色為房子讯壶，褐色為地面料仗。

3.在無監(jiān)督的語義分割中會(huì)遇到很多的問題，其中最重要的就是像素怎樣學(xué)習(xí)到高級(jí)語義概念伏蚊。這篇文章所提出的PICIE方法立轧，通過將光度不變性和幾何等變性融入深度卷積框架來學(xué)習(xí)高級(jí)語義概念，它是是第一個(gè)能夠區(qū)分stuff和things的無監(jiān)督語義分割方法躏吊，且無需超參數(shù)和預(yù)處理氛改。

4.左圖為PiCIE的整體流程，其基于深度卷積框架比伏。首先將數(shù)據(jù)集輸入胜卤，經(jīng)過光度不變、幾何等變以及卷積神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)換從而得到每個(gè)像素的特征表示赁项，而后經(jīng)過聚類得到聚類中心并且為每個(gè)像素分配標(biāo)簽葛躏，再將得到的標(biāo)簽作為偽Groundtrue進(jìn)行迭代，最終得到一個(gè)穩(wěn)定的結(jié)果悠菜。右圖為光度不變性以及幾何等變性的具體操作方法舰攒。接下來詳細(xì)介紹該模型。

5.首先是該方法的基線DeepCluster悔醋，什么是DeepCluster呢摩窃，DeepCluster其實(shí)就是在獲得特征表示以及聚類之間迭代，使用卷積后的標(biāo)簽作為偽Groundtrue來訓(xùn)練特征表示芬骄。如下圖猾愿，將圖片輸入后通過卷積神經(jīng)網(wǎng)絡(luò)獲得特征表示，然后對(duì)特征表示進(jìn)行聚類從而通過分類器打上標(biāo)簽德玫，打上標(biāo)簽后再將標(biāo)簽反饋給神經(jīng)網(wǎng)絡(luò)匪蟀，并更新分類器，以此循環(huán)迭代宰僧，最終得到穩(wěn)定的結(jié)果材彪。本論文的基線方法在兩步中循環(huán)

1.將當(dāng)前的 embedding 通過 k-means 聚類，得到標(biāo)簽及聚類中心琴儿，其中表示第i張圖片的像素點(diǎn)p的特征表示段化，為聚類中心。

2.其實(shí)就是交叉熵的一個(gè)標(biāo)準(zhǔn)算法造成，通過計(jì)算最小損失來更新显熏，其中SK為參數(shù)分類器的得分結(jié)果。

但是在無監(jiān)督的環(huán)境中既要既要不斷的改變偽標(biāo)簽又要訓(xùn)練參數(shù)分類器這是十分困難的晒屎，并且當(dāng)參數(shù)分類器學(xué)習(xí)不好時(shí)會(huì)對(duì)下一次的聚類產(chǎn)生噪聲喘蟆。因此該論文提出了舍棄參數(shù)分類器的方法缓升，而改用計(jì)算簇中心與特征表示之間的距離來分類。因此其損失函數(shù)則改變?yōu)檫@樣蕴轨，其中d為特征表示與簇心的距離港谊。到此，模型的第一個(gè)改動(dòng)完成橙弱，實(shí)現(xiàn)了無超參化歧寺。

6.接下來是光度不變性，首先什么是光度不變性呢棘脐？其實(shí)就是當(dāng)一幅圖像的光照強(qiáng)度發(fā)生輕微的抖動(dòng)時(shí)在同一位置的像素應(yīng)該被劃分得到相同的標(biāo)簽斜筐，而不應(yīng)該改變。在此論文中表現(xiàn)為將每一個(gè)像素點(diǎn)進(jìn)行兩種不同的光度變換后得到的特征表示應(yīng)當(dāng)相同蛀缝。圖中P1,P2就表示為同一像素點(diǎn)的兩種不同光度變換顷链，式子6、7為同一像素點(diǎn)兩種光度變換后的結(jié)果内斯。由于光度不變的想法蕴潦，我們對(duì)Z1,Z2聚類后他們應(yīng)當(dāng)滿足 與自身的簇中心越近越好（用Lwithin約束），以及 自身應(yīng)當(dāng)也與另一光度變換的簇心越近越好（用Lcross約束）俘闯。到此就實(shí)現(xiàn)了光度的不變性潭苞。

7.然后是幾何的等變性，那么什么又是幾何等變性呢真朗？它其實(shí)就是當(dāng)一張圖片發(fā)生放大此疹、縮小、旋轉(zhuǎn)時(shí)遮婶，同一位置的像素應(yīng)該被劃分得到相同的標(biāo)簽蝗碎。論文中體現(xiàn)為在得到光度變換的基礎(chǔ)上，對(duì)其中一個(gè)進(jìn)行幾何變換旗扑，而另一個(gè)保持不變蹦骑，這樣就形成了兩種不同的幾何形式。如圖中進(jìn)行卷積網(wǎng)絡(luò)之前下方進(jìn)行了G的幾何變換而上方卻沒有（上方卷積網(wǎng)絡(luò)之后加入了與下方相同的幾何轉(zhuǎn)變是為了聚類后位置的相互對(duì)應(yīng)）臀防。與光度變換一樣眠菇，Z1,Z2應(yīng)當(dāng)滿足自身的約束，以及相互之間的約束袱衷，因此總的損失函數(shù)則變化為兩種損失之和捎废。到此實(shí)現(xiàn)了論文的全部思想。

8.這是模型的一個(gè)整體代碼流程致燥，首先進(jìn)行光度變換登疗、幾何變換以及卷積網(wǎng)絡(luò)，為每個(gè)像素點(diǎn)得到兩種不同的特征表示形式，通過聚類算法得到標(biāo)簽以及簇心辐益，后迭代循環(huán)不斷更新得到穩(wěn)定的結(jié)果f映射函數(shù)断傲。

初學(xué)語義分割方面上的內(nèi)容，如有理解不對(duì)的地方智政，請(qǐng)諒解并希望能夠指出艳悔，謝謝。