??最近遇到個(gè)階梯網(wǎng)絡(luò)柜与，利用標(biāo)簽從樣本中提取“干凈”的任務(wù)相關(guān)信息和樣本中與任務(wù)無(wú)關(guān)的“噪聲”信息掷漱，如果任務(wù)是分類(lèi)秦士，那么提取任務(wù)相關(guān)信息就是利用交叉熵?fù)p失來(lái)實(shí)現(xiàn)频鉴，而無(wú)關(guān)信息只能利用樣本自身所帶有的信息栓辜，這邊是重構(gòu)損失。補(bǔ)充下垛孔，其實(shí)樣本自身所帶有的信息來(lái)進(jìn)行無(wú)監(jiān)督的學(xué)習(xí)藕甩，最近有類(lèi)稱(chēng)為自監(jiān)督學(xué)習(xí)，可以對(duì)樣本分割排序周荐，利用序號(hào)作為標(biāo)簽狭莱，或者旋轉(zhuǎn)樣本，使用角度作為標(biāo)簽等信息來(lái)創(chuàng)造樣本自身所帶有的信息來(lái)學(xué)習(xí)概作。
??特征解耦前提是學(xué)習(xí)特征腋妙，解耦是分離出任務(wù)相關(guān)特征和無(wú)關(guān)特征，以分類(lèi)為例讯榕，解耦的是類(lèi)別特征和無(wú)關(guān)的背景及樣式等特征骤素。
??這兩類(lèi)方法的動(dòng)機(jī)都是分離樣本信息，階梯網(wǎng)絡(luò)對(duì)樣本注入噪聲來(lái)完成愚屁，而特征解耦一般利用信息熵或者變換空間后的數(shù)學(xué)特性來(lái)完成谆甜，以上是個(gè)人淺見(jiàn)，錄以備忘集绰。
