真誠(chéng)的向大家推薦這個(gè)UP主，論文講述的方法清楚敞临，脈絡(luò)清晰态辛，聽(tīng)君一席話勝讀十年書(shū)。
論文題目:Representation Learning with Contrastive Predictive Coding
從論文的標(biāo)題上我們可以看出挺尿，本質(zhì)上是通過(guò)predictive feature來(lái)預(yù)測(cè)未來(lái)這樣一個(gè)任務(wù)的奏黑，通過(guò)加入對(duì)比學(xué)習(xí)的手段來(lái)學(xué)習(xí)到一個(gè)好的representation。
目錄：1. Intuition 2. Contrastive Predictive Coding 3. InfoNCE & Mutual Information Est 4.Results
1. Intuition
首先编矾，出于各種理由熟史，我們總是希望能夠?qū)W習(xí)到一個(gè)好的representation。比如predict the feature洽沟，這一步也是希望能夠幫助我們學(xué)習(xí)到一個(gè)好的representation的手段以故。對(duì)于人而言蜗细，對(duì)于預(yù)測(cè)未來(lái)幾秒內(nèi)發(fā)生的事情（未來(lái)幾秒內(nèi)產(chǎn)生的動(dòng)作）還是比較有信心的裆操。但是以視頻來(lái)說(shuō)，計(jì)算機(jī)必須理解視頻中的內(nèi)容炉媒，通過(guò)一個(gè)好的representation去表達(dá)視頻中的內(nèi)容踪区，在此基礎(chǔ)之上才可能去預(yù)測(cè)在未來(lái)的幾幀內(nèi)視頻畫(huà)面會(huì)發(fā)生什么樣的變化。
一個(gè)好的representation吊骤，可以幫助我們更好的預(yù)測(cè)未來(lái)缎岗。去理解高維度、低抽象的信息白粉。
為了得到好的representation传泊，我們需要進(jìn)一步最大化互信息。互信息表示的是兩個(gè)變量他們能夠相互描述的程度馅巷。這個(gè)值越高就說(shuō)明我們能夠用一個(gè)變量更好的表達(dá)另一個(gè)變量尘执。
原始的信號(hào)被切分成一個(gè)個(gè)小段，每一個(gè)時(shí)刻的原始信號(hào)為溪椎，經(jīng)過(guò)一個(gè)encoder之后普舆，得到latent representation?
，同時(shí)還維護(hù)了一個(gè)auto regressive的model校读，將之前所有的latent representation記到hidden state中沼侣。此處，將hidden state記為C歉秫。在t時(shí)刻即為
蛾洛。
此處的預(yù)測(cè)未來(lái)就是指，在t時(shí)刻結(jié)合雁芙，
雅潭，預(yù)測(cè)未來(lái)t+1時(shí)刻，t+2時(shí)刻...的latent representation是什么樣的却特。這樣也可以避免直接去預(yù)測(cè)
這類(lèi)的高維的信息扶供。所以需要使
能夠盡可能多的表達(dá)當(dāng)前信號(hào)
。所以我們必須最大化
和
之間的mutual information裂明。
互信息的表達(dá)式為：
注意到是一個(gè)很高維的變量椿浓，通過(guò)
直接預(yù)測(cè)出
來(lái)時(shí)很難的。且直接這樣預(yù)測(cè)闽晦，并不能夠直接最大化mutual information（后面會(huì)解釋為什么）扳碍。所以作者提到，此處的預(yù)測(cè)是預(yù)測(cè)latent representation在未來(lái)的值是多少仙蛉。
2. Contrastive Predictive Coding
在這一部分我們將介紹作者是如何實(shí)現(xiàn)這個(gè)預(yù)測(cè)的笋敞。
直接預(yù)測(cè)
是非常困難的。
所以作者提出荠瘪，直接使用model去近似mutual information夯巷。
將左側(cè)的
看做是概率分布，右側(cè)的
就是待求的隨機(jī)變量哀墓，mutual infomation就是寫(xiě)作了期望的形式趁餐，所以我們的model只需要描述
所以主要model滿足以下關(guān)系：
（只要model能夠正比于右側(cè)，則就可以用來(lái)建模mutual information）
在本文的實(shí)踐中臀突，作者使用了log-bilinear model勉抓，其表達(dá)式為：
其中的w是我們需要學(xué)習(xí)的參數(shù)，w有下標(biāo)k是因?yàn)槲覀冾A(yù)測(cè)不同未來(lái)候学，使用的是不同的參數(shù)琳状。
encoder 使用的是GNN，auto-regressive model使用的是GRU盒齿。
3. InfoNCE loss
