最近學(xué)習(xí)了一些詞向量的表示方法治专，GloVe模型作為其中代表性的方法竞穷，自然也是花了不少功夫來(lái)學(xué)習(xí)的吴藻。這篇文章是我學(xué)習(xí)GloVe模型的筆記，大部分參照了理解GloVe模型以及加入了本人對(duì)論文的一些理解懈凹。
GloVe模型是一種詞向量分布表示模型蜀变，是一種無(wú)監(jiān)督學(xué)習(xí)算法〗槠溃總體上看库北，GloVe模型是一種對(duì)“詞-詞”矩陣進(jìn)行分解從而得到詞表示的方法。其步驟如下：
共現(xiàn)矩陣
設(shè)共現(xiàn)矩陣為威沫，其元素為
贤惯。
的意義為：在整個(gè)語(yǔ)料庫(kù)中，單詞
和單詞
共同出現(xiàn)在一個(gè)窗口中的次數(shù)棒掠。
舉例：
設(shè)有語(yǔ)料庫(kù)：
i love you but you love him i am sad
這個(gè)小小的語(yǔ)料庫(kù)只有1個(gè)句子孵构，涉及到7個(gè)單詞：i、love烟很、you颈墅、but蜡镶、him、am恤筛、sad官还。
如果我們采用一個(gè)窗口寬度為5（左右長(zhǎng)度都為2）的統(tǒng)計(jì)窗口，那么就有以下窗口內(nèi)容：
| 窗口標(biāo)號(hào) | 中心詞 | 窗口內(nèi)容 |
|---|---|---|
| 0 | i | i love you |
| 1 | love | i love you but |
| 2 | you | i love you but you |
| 3 | but | love you but you love |
| 4 | you | you but you love him |
| 5 | love | but you love him i |
| 6 | him | you love him i am |
| 7 | i | love him i am sad |
| 8 | am | him i am sad |
| 9 | sad | i am sad |
窗口0毒坛、1長(zhǎng)度小于5是因?yàn)橹行脑~左側(cè)內(nèi)容少于2個(gè)望伦，同理窗口8、9長(zhǎng)度也小于5煎殷。
以窗口5為例說(shuō)明如何構(gòu)造共現(xiàn)矩陣：
中心詞為love投放，語(yǔ)境詞為but菠红、you莽鸭、him荤懂、i；則執(zhí)行：
使用窗口將整個(gè)語(yǔ)料庫(kù)遍歷一遍弓乙，即可得到共現(xiàn)矩陣末融。
模型
首先定義幾個(gè)符號(hào)：
其實(shí)就是矩陣單詞那一行的和；
條件概率暇韧，表示單詞出現(xiàn)在單詞
語(yǔ)境中的概率勾习；
兩個(gè)條件概率的比率。
而這個(gè)指標(biāo)是有規(guī)律的锨咙，統(tǒng)計(jì)規(guī)律如下：
| 單詞 |
單詞 |
|
|---|---|---|
| 單詞 |
趨近1 | 很大 |
| 單詞 |
很小 | 趨近1 |
假設(shè)我們已經(jīng)得到了詞向量语卤，如果我們用詞向量追逮、
酪刀、
通過(guò)某種函數(shù)計(jì)算
，能夠同樣得到這樣的規(guī)律的話钮孵，就意味著我們?cè)~向量與共現(xiàn)矩陣具有很好的一致性骂倘，也就說(shuō)明我們的詞向量中蘊(yùn)含了共現(xiàn)矩陣中所蘊(yùn)含的信息。
設(shè)用詞向量巴席、
历涝、
計(jì)算
的函數(shù)為
（我們先不去管具體的函數(shù)形式），那么應(yīng)該有：
即：
即二者應(yīng)該盡可能地接近漾唉；
很容易想到用二者的差方來(lái)作為代價(jià)函數(shù)：
但是仔細(xì)一看荧库，模型中包含3個(gè)單詞，這就意味著要在的復(fù)雜度上進(jìn)行計(jì)算赵刑，太復(fù)雜了分衫，最好能再簡(jiǎn)單點(diǎn)。
現(xiàn)在我們來(lái)仔細(xì)思考,或許它能幫上忙般此；
作者的腦洞是這樣的：
- 要考慮單詞
和單詞
之間的關(guān)系蚪战，那
中大概要有這么一項(xiàng)吧：
牵现；嗯，合理邀桑，在線性空間中考察兩個(gè)向量的相似性瞎疼，不失線性地考察，那么
是個(gè)標(biāo)量贼急，那么
%20%5E%20%7B%20T%20%7D%20v%20_%20%7B%20k%20%7D)
- 然后作者又往
，得到最終的
%20%3D%20%5Cexp%20%5Cleft(%20%5Cleft(%20v%20_%20%7B%20i%20%7D%20-%20v%20_%20%7B%20j%20%7D%20%5Cright)%20%5E%20%7B%20T%20%7D%20v%20_%20%7B%20k%20%7D%20%5Cright))
最關(guān)鍵的第3步照弥，為什么套了一層腻异？
套上之后，我們的目標(biāo)是讓以下公式盡可能地成立：
即：
即：
即：
然后就發(fā)現(xiàn)找到簡(jiǎn)化方法了：只需要讓上式分子對(duì)應(yīng)相等这揣，分母對(duì)應(yīng)相等悔常，即：且
然而分子分母形式相同，就可以把兩者統(tǒng)一考慮了给赞，即：
本來(lái)我們追求：
現(xiàn)在只需要追求：
兩邊取個(gè)對(duì)數(shù)：
那么代價(jià)函數(shù)就可以簡(jiǎn)化為：
現(xiàn)在只需要在的復(fù)雜度上進(jìn)行計(jì)算机打，而不是
，現(xiàn)在關(guān)于為什么第3步中片迅，外面套一層exp()就清楚了残邀，正是因?yàn)樘琢艘粚觘xp()，才使得差形式變成商形式柑蛇，進(jìn)而等式兩邊分子分母對(duì)應(yīng)相等芥挣，進(jìn)而簡(jiǎn)化模型。
然而耻台，出了點(diǎn)問(wèn)題空免。仔細(xì)看這兩個(gè)式子：和
不等于
但是
等于
；即等式左側(cè)不具有對(duì)稱性盆耽，但是右側(cè)具有對(duì)稱性蹋砚。
數(shù)學(xué)上出了問(wèn)題。
補(bǔ)救一下好了摄杂。
現(xiàn)將代價(jià)函數(shù)中的條件概率展開(kāi)：
即：
將其變?yōu)椋?br>
即將吸收到偏差項(xiàng)
中坝咐，同時(shí)為了保持對(duì)稱性，添了一個(gè)偏差項(xiàng)
析恢。
于是代價(jià)函數(shù)就變成了：
然后基于出現(xiàn)頻率越高的詞對(duì)兒權(quán)重應(yīng)該越大的原則墨坚，在代價(jià)函數(shù)中添加權(quán)重項(xiàng)，于是代價(jià)函數(shù)進(jìn)一步完善：
具體權(quán)重函數(shù)應(yīng)該是怎么樣的呢氮昧？
首先應(yīng)該是非減的框杜，其次當(dāng)詞頻過(guò)高時(shí)浦楣，權(quán)重不應(yīng)過(guò)分增大，作者通過(guò)實(shí)驗(yàn)確定權(quán)重函數(shù)為：
