詞向量黑界，顧名思義庐橙，就是使用向量來表達(dá)詞。最常見的表達(dá)方式就是"one-hot"砚亭，其向量維度為整個語料庫中詞的總數(shù)曾棕，每一維代表語料庫中的一個詞（出現(xiàn)為1扣猫，不出現(xiàn)為0）。假設(shè)語料庫為：
- I like deep learning
- I like NLP
- I enjoy flying
那么該語料庫的字符集為：{I, like, deep, learning, NLP, enjoy, flying}翘地，其對應(yīng)的"one-hot"表達(dá)方式為：
- [1000000] -> I
- [0100000] -> like
- [0010000] -> deep
- [0001000] -> learning
- [0000100] -> NLP
- [0000010] -> enjoy
- [0000001] -> flying
“one-hot”表達(dá)方式的最大問題在于其只能表達(dá)詞本身是否出現(xiàn)申尤，而無法表達(dá)詞與詞之間的關(guān)系。為了解決此問題衙耕，便有了使用相鄰詞來表達(dá)詞本身的方式昧穿。
Cooccurrence Matrix
基于窗口的共現(xiàn)矩陣是對詞與詞相鄰關(guān)系的最直接表達(dá)。還是以上面的語料庫為例橙喘，假設(shè)窗口大小為1（即以每一個詞為中心时鸵，向左/右延伸長度為1），那對應(yīng)的共現(xiàn)矩陣為：
由于共現(xiàn)是雙向的厅瞎，所以上述矩陣是對稱的饰潜。隨著語料庫變大，該共現(xiàn)矩陣將會變的非常巨大和簸，于是便需要通過SVD(Singular Value Decomposition)進(jìn)行降維彭雾，相關(guān)理論在此不進(jìn)行展開。但共現(xiàn)矩陣還是存在很多問題锁保，如無法處理新詞等薯酝。
Word2Vec
另外一種基于詞相鄰關(guān)系的表達(dá)方式就是word2vec(Mikolov et al. 2013)，其主題思想是通過每一個詞本身來預(yù)測其相鄰的詞爽柒。
回顧一下大部分機(jī)器學(xué)習(xí)模型的訓(xùn)練過程吴菠，先設(shè)定 Objective Function，然后隨機(jī)設(shè)定初始狀態(tài)浩村，再通過 Gradient Descent 進(jìn)行迭代做葵，逐步逼近最優(yōu)解。word2vec 模型本質(zhì)上也一樣心墅，還是從 Objective Function 入手
第一個 Sigma 表示從頭到尾過一遍語料庫中的每一個詞蜂挪，第二個 Sigma 表示對于每一個詞重挑，過一遍其窗口內(nèi)的所有詞（除自己外）。最后一部分表示基于中心詞預(yù)測其窗口內(nèi)上下文的概率棠涮。如果基于本文開頭的簡短語料庫，設(shè)定窗口大小為1刺覆，將 Objective Function 展開就會是這個樣子
從 Objective Funection 的具體形式严肪，可以看出 word2vec 與先前表達(dá)方式的本質(zhì)區(qū)別，在這里引用一段英文資料的解釋：
Maximize the likelihood of seeing this context given the word over, instead of maximizing the likelihood of co-occurrence counts.
接下來谦屑，我們需要弄清楚 p 究竟是什么驳糯。首先，我們的目標(biāo)是得到語料庫中每一個詞的向量表示方法氢橙，所以相應(yīng)的變量應(yīng)該是詞向量酝枢；然后，在上述 Objective Function 中悍手，語料庫中每一個詞既有可能做為中心詞帘睦，也有可能做為上下文，為了區(qū)分這兩種情況坦康，我們會對每一個詞分別維護(hù)兩個向量竣付。
說明：在訓(xùn)練過程中，對每一個詞維護(hù)兩個向量不是必須的滞欠。也就是說古胆，做為中心詞時(shí)使用的向量與做為上下文時(shí)使用的向量可以共用一個，但相關(guān)試驗(yàn)結(jié)果證明筛璧，區(qū)分這兩個向量會得到更好的結(jié)果逸绎。
繼續(xù)，我們已經(jīng)有了兩個向量夭谤，那么最簡單直接的想法就是 Cosine Similarity棺牧，但它的結(jié)果區(qū)間是從-1到1，需要把它轉(zhuǎn)化成0到1的概率區(qū)間沮翔，于是原論文中使用了 Softmax 函數(shù)陨帆。
至此，我們完成了最簡單版本 word2vec 模型的 Objective Function采蚀。接下來是迭代過程疲牵，迭代過程相對比較簡單，分別兩個向量進(jìn)行求導(dǎo)榆鼠，然后對語料庫中每一個實(shí)例進(jìn)行迭代
關(guān)于上述公式中的求導(dǎo)過程纲爸，感興趣的同學(xué)可以看看斯坦福的公開課，自己也在紙上演算了一遍：
上述 word2vec 推導(dǎo)只是原論文中最簡單的模型妆够，后續(xù)我會針對復(fù)雜模型單獨(dú)進(jìn)行整理分析识啦。
GloVe
上面负蚊，我們已經(jīng)梳理了基于共現(xiàn)矩陣與 word2vec 的詞向量表達(dá)方式。相比而言颓哮，基于共現(xiàn)矩陣的詞向量表達(dá)方式訓(xùn)練速度快家妆、充分利用了統(tǒng)計(jì)信息，主要用于計(jì)算詞與詞的相似度冕茅；而word2vec 詞向量表達(dá)方式訓(xùn)練速度相對較慢伤极，并沒有充分利用統(tǒng)計(jì)信息，但能表達(dá)出更加復(fù)雜的信息姨伤。GloVe 模型結(jié)合了兩者的優(yōu)勢哨坪，訓(xùn)練速度比 word2vec 更快，其效果與 word2vec 相當(dāng)乍楚，甚至更好一些当编。其 Objective Function 為：
其中 P 為兩個詞在原語料庫中的共現(xiàn)次數(shù)，f 為共現(xiàn)次數(shù)與權(quán)重的函數(shù)關(guān)系徒溪，Objective Function 的主體思想為：
- 在最終詞向量模型中忿偷，任何兩個詞向量的內(nèi)積結(jié)果應(yīng)盡量與兩個詞的共現(xiàn)次數(shù)一致。
- 如果某 word-pair 共現(xiàn)次數(shù)較低词渤，應(yīng)該弱化其對 Objective Function 的影響牵舱，避免噪音。
- 如果某 word-pair 共現(xiàn)次數(shù)過高缺虐，很有可能 dominate 整體模型的訓(xùn)練過程芜壁，應(yīng)設(shè)定影響力上限。
基于上面的思想高氮，便有了下述 f 函數(shù)形式：
這個是斯坦福的官方鏈接慧妄，包含了論文以及實(shí)現(xiàn)，感興趣的同學(xué)可以試試剪芍。
Reference
- http://cs224d.stanford.edu/syllabus.html 斯坦福的網(wǎng)絡(luò)公開課塞淹，本文算是該課程的學(xué)習(xí)筆記
- http://nlp.stanford.edu/projects/glove/ GolVe
- https://www.youtube.com/watch?v=vkfXBGnDplQ 另外一個很好的視頻
