遷移學(xué)習(xí)理論學(xué)習(xí)

前言

本文旨在學(xué)習(xí)和記錄斟薇，如需轉(zhuǎn)載，請(qǐng)附出處http://www.reibang.com/p/f1995148800e

遷移學(xué)習(xí)問(wèn)題

我們都知道，在深度判別模型中计盒，如果訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)是獨(dú)立同分布的，在訓(xùn)練集上訓(xùn)練的深度模型會(huì)在測(cè)試集上表現(xiàn)的比較好芽丹。但是北启，現(xiàn)實(shí)生活中的數(shù)據(jù)并不一定是獨(dú)立同分布的，所以，如何在源域上訓(xùn)練的模型能在目標(biāo)域上泛化的很好是一個(gè)新興的問(wèn)題咕村，另外场钉，在何種條件下，在什么時(shí)候源域上訓(xùn)練的模型能夠在目標(biāo)域上泛化的很好懈涛。直觀的逛万，在特征層面上進(jìn)行對(duì)齊遷移（采用某種度量標(biāo)準(zhǔn)）已經(jīng)促進(jìn)了domain adaptation的發(fā)展。在2006年批钠，Ben-David就遷移學(xué)習(xí)的理論進(jìn)行證明宇植，并提出了domain adaptation的泛化邊界，并指出了在DA問(wèn)題上設(shè)計(jì)一個(gè)特征表示平衡訓(xùn)練源域分類(lèi)誤差和減小源域目標(biāo)域的差異的理論可行性埋心。

參數(shù)介紹

$\chi$ :數(shù)據(jù)集
$D_{s}$ :源域數(shù)據(jù)集（原始分布）
$D_{t}$ :目標(biāo)域數(shù)據(jù)集（原始分布）
$\tilde{D_{s}}$ :源域特征分布
$\tilde{D_{t}}$ :目標(biāo)域特征分布
$f$ :真實(shí)標(biāo)簽函數(shù){0,1}二分類(lèi)指郁，我們訓(xùn)練得到 $f$ 。 $\chi\rightarrow {{0,1}}$ ,原始數(shù)據(jù)分布映射到標(biāo)簽分布拷呆。
$h$ :自己設(shè)計(jì)的預(yù)測(cè)函數(shù)闲坎，給定特征 $z$ ，得到對(duì)應(yīng)的標(biāo)簽洋腮。 $z\rightarrow{0,1}$ 箫柳，特征分布映射到標(biāo)簽分布。
$R$ : $\chi\rightarrow{z}$ 啥供。原始數(shù)據(jù)映射到特征分布悯恍。
定義特征到標(biāo)簽的真實(shí)映射函數(shù)
$\tilde{f}(z)=E_{x-D_{s}}[f(x)|R(x)=z]$
因?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=%5Ctilde%7Bf%7D" alt="\tilde{f}" mathimg="1">是隨機(jī)的。即使數(shù)據(jù)到標(biāo)簽的分布是已知確定的伙狐，在給定特征z的情況下涮毫，z可能來(lái)源于不同的x。
源域錯(cuò)誤率
$\epsilon_{S}(h)=E_{z-\tilde{D}_{S}}[E_{y-\tilde{f}(z)}[y\neq h(z)]]$
$\epsilon_{S}(h)=E_{z-\tilde{D}_{S}}[\tilde{f}(z)- h(z)]$
相似的贷屎，目標(biāo)域的錯(cuò)誤率也可能寫(xiě)成這個(gè)樣子罢防，但是前提是目標(biāo)域標(biāo)簽已知。

域距離度量標(biāo)準(zhǔn)

作者提出來(lái)一個(gè) $\mathbf{A}$ 距離唉侄，是計(jì)算兩個(gè)概率分布的距離咒吐。其定義為：

$d_{\mathbf{A}}(D_{S}',D_{T}')=2sup_{A\in \mathbf{A} }|Pr_{D_{S}'}[A]-Pr_{D_{T}'}'[A]|$
其中 $\mathbf{A}$ 是整個(gè)的集合，A是其中一個(gè)子集属划。意思就是取所有的 $\mathbf{A}$ 子集恬叹，找出 $D_{T}'$ 和 $D_{S}'$ 的概率差的最大值。
為了使用 $\mathbf{A}$ 距離同眯，限制了真實(shí) $f$ 函數(shù)的復(fù)雜度绽昼。將源域和目標(biāo)域的錯(cuò)誤率固定在一個(gè)小范圍內(nèi)。
$inf_{h \in \mathbf{H}}[\epsilon_{S}(h)+\epsilon_{T}(h)]\leq \lambda$
針對(duì)二分類(lèi)問(wèn)題须蜗，我們可以將A具體化：
$A\rightarrow I(h)={z \in Z:h(z)=1,h\in H}$
上式可以理解為對(duì)特征到標(biāo)簽的映射上硅确，源域特征和目標(biāo)域特征分類(lèi)為1的概率差目溉。
則此時(shí)的 $\mathbf{A}$ 距離具體化為 $\mathbf{H}$ ：
$d_{\mathbf{H}}(D_{S}',D_{T}')=2sup_{h\in \mathbf{H} }|Pr_{D_{S}'}[I(h)]-Pr_{D_{T}'}'[I(h)]|$
定義對(duì)稱(chēng)假設(shè)空間 $\mathbf{H}\Delta\mathbf{H}$
$\mathbf{H}\Delta\mathbf{H}={ {h(z)}\oplus h'(z), h,h'\in \mathbf{H}}$ 代表異或。
$d_{\mathbf{H}\Delta\mathbf{H}}(D_{S}',D_{T}')=2sup_{h_{1},h_{2}\in \mathbf{H} }|Pr_{D_{S}'}[{z:h_{1}(z)\neq h_{2}(z)}]-Pr_{D_{T}'}'[{z:h_{1}(z)\neq h_{2}(z)}]|$
$d_{\mathbf{H}\Delta\mathbf{H}}(D_{S}',D_{T}')=2sup_{\eta \in \mathbf{H}\Delta\mathbf{H} }|Pr_{D_{S}'}[{z:\eta(z)=1}]-Pr_{D_{T}'}'[{z:\eta(z)=1}|$
where
$z^{*}={z:h_{1}(z)\oplus h_{2}(z)},h_{1}菱农、h_{2}\in \mathbf{H},\eta(z^{*})=1$
則我們可以進(jìn)而進(jìn)行具體化：
$d_{\mathbf{H}\Delta\mathbf{H}}(D_{S}',D_{T}')=2sup_{\eta \in \mathbf{H}\Delta\mathbf{H} }|Pr_{D_{S}'}[{z:\eta(z)=1}]-Pr_{D_{T}'}'[{z:\eta(z)=1}|$
$d_{\mathbf{H}\Delta\mathbf{H}}(D_{S}',D_{T}')\leq 2sup_{\eta \in Hd}|Pr_{D_{S}'}[{z:\eta(z)=1}]-Pr_{D_{T}'}'[{z:\eta(z)=1}|$
$d_{\mathbf{H}\Delta\mathbf{H}}(D_{S}',D_{T}')\leq 2sup_{\eta \in Hd}|Pr_{D_{S}'}[{z:\eta(z)=1}]+Pr_{D_{T}'}'[{z:\eta(z)=0]-1}|$
通過(guò)上式推導(dǎo)缭付，只要我們?cè)O(shè)置函數(shù)集合 $Hd$ 比 $\mathbf{H}\Delta\mathbf{H}$ 復(fù)雜就可。這個(gè)在神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中是簡(jiǎn)易的大莫。

目標(biāo)域的誤差邊界

$\epsilon_{T}(h) \leq \epsilon_{S}(h)+d_{\mathbf{H}\Delta\mathbf{H}}(D_{S}',D_{T}')+\lambda$
condition:
$h^{*}=argmin_{h \in \mathbf{H}\Delta\mathbf{H}}(\epsilon_{T}(h) +\epsilon_{S}(h))$
$在h^{*}下蛉腌，定義\lambda_{S}=\epsilon_{S}(h^{*}),\lambda_{T}=\epsilon_{T}(h^{*})$
$\lambda =\lambda_{S}+\lambda_{T}$
說(shuō)明：目標(biāo)域的誤差邊界有三項(xiàng)。第一項(xiàng)為源域誤差邊界只厘，第二項(xiàng)為源域和目標(biāo)域映射在特征層面上的距離度量烙丛，第三項(xiàng)為 $\lambda$ ，是個(gè)常數(shù)可以不管羔味。
證明：
$Z_{h}={z \in Z:h(z)=1}$
$\epsilon_{T}(h) \leq\lambda_{T}+Pr_{\tilde D_{T}}[Z_{h} \Delta Z_{h^{*}}]$
$\epsilon_{T}(h) \leq\lambda_{T}+Pr_{\tilde D_{S}}[Z_{h} \Delta Z_{h^{*}}]+|Pr_{\tilde D_{S}}[Z_{h} \Delta Z_{h^{*}}]-Pr_{\tilde D_{T}}[Z_{h} \Delta Z_{h^{*}}]|$
$\epsilon_{T}(h) \leq\lambda_{T}+Pr_{\tilde D_{S}}[Z_{h} \Delta Z_{h^{*}}]+d_{\mathbf{H}\Delta\mathbf{H}}(\tilde D_{S},\tilde D_{T}) /2$
$\epsilon_{T}(h) \leq\lambda_{T}+\lambda_{S}+\epsilon_{S}(h)+d_{\mathbf{H}\Delta\mathbf{H}}(\tilde D_{S},\tilde D_{T}) /2$
$\epsilon_{T}(h) \leq\lambda+\epsilon_{S}(h)+d_{\mathbf{H}\Delta\mathbf{H}}(\tilde D_{S},\tilde D_{T}) /2$
解釋?zhuān)?/strong>
證明推導(dǎo)第一個(gè)公式代表的是特征被判別為1的概率河咽，
第一個(gè)不等式第一項(xiàng)代表 $h^{*}$ 情況下的誤差，第二項(xiàng)代表的是對(duì)目標(biāo)域 $h^{*}$ 和 $h$ 不同的情況下的距離度量赋元，這是顯而易見(jiàn)的忘蟹。
第二個(gè)不等式推導(dǎo)將目標(biāo)域的不同的誤差轉(zhuǎn)換成源域的和兩個(gè)域之差進(jìn)行度量，這樣這個(gè)距離就可以采用 $\mathbf{H}\Delta\mathbf{H}$ 距離來(lái)度量搁凸。
進(jìn)而媚值，我們可以將泛化誤差轉(zhuǎn)化成經(jīng)驗(yàn)誤差的形式，一般經(jīng)驗(yàn)誤差可以理解為我們的訓(xùn)練誤差护糖。
則最后的公式可以寫(xiě)成
$\epsilon_{T}(h) \leq\lambda+\hat\epsilon_{S}(h)+\sqrt{\frac{4}{m}(dlog\frac{2em}y0p20ml+log\frac{4}{\delta})}+\hat d_{\mathbf{H}\Delta\mathbf{H}}(\tilde D_{S},\tilde D_{T}) /2+4\sqrt{(\frac{dlog(2m')+log\frac{4}{\delta}}{m'}}$
其中 $m,m'$ 代表源域和目標(biāo)域的個(gè)數(shù)褥芒。

結(jié)論

可以自己構(gòu)造 $\eta$ 函數(shù)來(lái)對(duì)源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)進(jìn)行域判別，然后約束其損失進(jìn)而轉(zhuǎn)換成域距離嫡良。這樣有了理論保證锰扶。

參考文獻(xiàn)

《遷移學(xué)習(xí)》: 領(lǐng)域自適應(yīng)(Domain Adaptation)的理論分析

Analysis of Representations for Domain Adaptation

DANN

說(shuō)明

如有錯(cuò)誤，歡迎指正寝受！

最后編輯于：2019.10.16 20:05:26

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末坷牛，一起剝皮案震驚了整個(gè)濱河市，隨后出現(xiàn)的幾起案子很澄，更是在濱河造成了極大的恐慌京闰，老刑警劉巖，帶你破解...
沈念sama閱讀 221,430評(píng)論 6贊 515
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件甩苛，死亡現(xiàn)場(chǎng)離奇詭異蹂楣，居然都是意外死亡，警方通過(guò)查閱死者的電腦和手機(jī)浪藻，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 94,406評(píng)論 3贊 398
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門(mén)，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)乾翔，“玉大人爱葵，你說(shuō)我怎么就攤上這事施戴。” “怎么了萌丈？”我有些...
開(kāi)封第一講書(shū)人閱讀 167,834評(píng)論 0贊 360
道士緝兇錄：失蹤的賣(mài)姜人
文/不壞的土叔我叫張陵赞哗，是天一觀的道長(zhǎng)。經(jīng)常有香客問(wèn)我辆雾，道長(zhǎng)肪笋，這世上最難降的妖魔是什么？我笑而不...
開(kāi)封第一講書(shū)人閱讀 59,543評(píng)論 1贊 296
?港島之戀（遺憾婚禮）
正文為了忘掉前任度迂，我火速辦了婚禮藤乙，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘惭墓。我一直安慰自己坛梁，他們只是感情好，可當(dāng)我...
茶點(diǎn)故事閱讀 68,547評(píng)論 6贊 397
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開(kāi)白布腊凶。她就那樣靜靜地躺著划咐，像睡著了一般。火紅的嫁衣襯著肌膚如雪钧萍。梳的紋絲不亂的頭發(fā)上褐缠，一...
開(kāi)封第一講書(shū)人閱讀 52,196評(píng)論 1贊 308
城市分裂傳說(shuō)
那天，我揣著相機(jī)與錄音风瘦，去河邊找鬼队魏。笑死，一個(gè)胖子當(dāng)著我的面吹牛弛秋，可吹牛的內(nèi)容都是我干的器躏。我是一名探鬼主播，決...
沈念sama閱讀 40,776評(píng)論 3贊 421
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開(kāi)眼蟹略，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼登失！你這毒婦竟也來(lái)了？” 一聲冷哼從身側(cè)響起挖炬，我...
開(kāi)封第一講書(shū)人閱讀 39,671評(píng)論 0贊 276
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤揽浙，失蹤者是張志新（化名）和其女友劉穎，沒(méi)想到半個(gè)月后意敛，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體馅巷，經(jīng)...
沈念sama閱讀 46,221評(píng)論 1贊 320
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 38,303評(píng)論 3贊 340
?白月光啟示錄
正文我和宋清朗相戀三年草姻，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了钓猬。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點(diǎn)故事閱讀 40,444評(píng)論 1贊 352
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡撩独，死狀恐怖敞曹，靈堂內(nèi)的尸體忽然破棺而出账月，到底是詐尸還是另有隱情，我是刑警寧澤澳迫，帶...
沈念sama閱讀 36,134評(píng)論 5贊 350
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布局齿，位于F島的核電站，受9級(jí)特大地震影響橄登，放射性物質(zhì)發(fā)生泄漏抓歼。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,810評(píng)論 3贊 333
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一拢锹、第九天我趴在偏房一處隱蔽的房頂上張望谣妻。院中可真熱鬧，春花似錦面褐、人聲如沸拌禾。這莊子的主人今日做“春日...
開(kāi)封第一講書(shū)人閱讀 32,285評(píng)論 0贊 24
一樁弒父案展哭，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)湃窍。三九已至，卻和暖如春匪傍，著一層夾襖步出監(jiān)牢的瞬間您市，已是汗流浹背。一陣腳步聲響...
開(kāi)封第一講書(shū)人閱讀 33,399評(píng)論 1贊 272
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工役衡，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留茵休，地道東北人。一個(gè)月前我還...
沈念sama閱讀 48,837評(píng)論 3贊 376
代替公主和親
正文我出身青樓手蝎，卻偏偏與公主長(zhǎng)得像榕莺，于是被迫代替她去往敵國(guó)和親。傳聞我的和親對(duì)象是個(gè)殘疾皇子棵介，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 45,455評(píng)論 2贊 359

遷移學(xué)習(xí)理論學(xué)習(xí)

前言

遷移學(xué)習(xí)問(wèn)題

參數(shù)介紹

域距離度量標(biāo)準(zhǔn)

目標(biāo)域的誤差邊界

結(jié)論

參考文獻(xiàn)

說(shuō)明

推薦閱讀更多精彩內(nèi)容