轉(zhuǎn)載自http://www.fanyeong.com/2018/02/19/glove-in-detail/
Glove詞向量出自于論文《Glove:Global Vectors for Word Representation》
什么是Glove苍在？
Glove的全稱是Global Vectors for Word Representation,中文意思是全局詞向量赤惊，它是一個(gè)基于全局詞頻統(tǒng)計(jì)（count-based&overall statistics）的詞表征(word representation)工具塞淹。
跟word2vec一樣纽绍，它可以把一個(gè)單詞表示成一個(gè)由實(shí)數(shù)組成的向量，向量可以捕捉單詞之間的一些語(yǔ)義特性础芍，如相似性（similarity）旗闽、類比性（analogy）。并且通過(guò)對(duì)向量的運(yùn)算鲸郊，如歐幾里得距離或cosine相似度，可以計(jì)算兩個(gè)單詞之間的 語(yǔ)義相似性货邓。
Glove是如何實(shí)現(xiàn)的秆撮？
根據(jù)語(yǔ)料庫(kù)（corpus）構(gòu)建一個(gè)共現(xiàn)矩陣（Co-occurrence Matrix），矩陣中每一個(gè)元素
代表單詞
和單詞
在特定大小的上下文窗口（context window）內(nèi)共同出現(xiàn)的次數(shù)换况。一般职辨，這個(gè)次數(shù)的最小值是1，但Glove做了進(jìn)一步處理：它根據(jù)兩個(gè)單詞在上下文窗口的距離
戈二，提出了一個(gè)衰減函數(shù)（decreasing weighting）：
用于計(jì)算權(quán)重舒裤，也就是說(shuō)距離越遠(yuǎn)的兩個(gè)單詞所占總計(jì)數(shù)（total count）的權(quán)重越小。
構(gòu)建詞向量（Word Vector）和共現(xiàn)矩陣（Co-occurrence Matrix）之間的近似關(guān)系：
其中觉吭，和
是要求的詞向量腾供，
和
分別是兩個(gè)詞向量的偏置項(xiàng)鲜滩。
3.構(gòu)造loss function：
這個(gè)損失函數(shù)是最簡(jiǎn)單的mean square loss伴鳖，只不過(guò)在此基礎(chǔ)上增加了一個(gè)權(quán)重函數(shù)，它的作用在于：對(duì)于在一個(gè)語(yǔ)料庫(kù)中經(jīng)常一起出現(xiàn)的單詞（frequent occurrence）绒北，
這些單詞的權(quán)重要大于那些很少在一起出現(xiàn)的單詞（rare occurrence）黎侈，所以這個(gè)函數(shù)是非遞減函數(shù)察署；
這些單詞的權(quán)重也不能太大（overweighted）闷游，當(dāng)?shù)竭_(dá)一定程度之后應(yīng)該不再增加；
如果兩個(gè)單詞沒(méi)有在一起出現(xiàn)，即
脐往，那么它們不應(yīng)該參與到loss function 的計(jì)算中去休吠，即
文中，作者采用了符合上述條件的分段函數(shù)：
文中的所有實(shí)驗(yàn)业簿，的取值都是
的取值都是
。
Glove是怎么訓(xùn)練的梅尤？
雖然很多人聲稱Glove是一種無(wú)監(jiān)督（unsupervised learning）的學(xué)習(xí)方式柜思，即不需要人工標(biāo)注數(shù)據(jù)，但實(shí)際上它還是有標(biāo)簽的巷燥，這個(gè)標(biāo)簽就是赡盘，而向量
和
就是要不斷更新學(xué)習(xí)的參數(shù)。因此缰揪，本質(zhì)上它的訓(xùn)練方式和監(jiān)督學(xué)習(xí)的訓(xùn)練方式?jīng)]有什么不同陨享，都是基于梯度下降的。
訓(xùn)練的具體做法是：采用AdaGrad的梯度下降算法钝腺，對(duì)矩陣中的所有非零元素進(jìn)行隨機(jī)采樣抛姑，學(xué)習(xí)率設(shè)置為0.05，在vector size小于300的情況下迭代50次艳狐，其他大小的vector size迭代100次定硝，直至收斂。
因?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=X" alt="X" mathimg="1">是對(duì)稱的毫目，所以最終學(xué)到的兩個(gè)詞向量和
應(yīng)該也是對(duì)稱的喷斋，等價(jià)的，只不過(guò)由于初始值不一樣蒜茴，導(dǎo)致最終的值不一樣星爪。為了提高魯棒性，最終選擇兩者之和
作為最終的詞向量（兩者的初始化不同相當(dāng)于加了不同的隨機(jī)噪聲所以能提高魯棒性）粉私。
這個(gè)圖一共采用了三個(gè)指標(biāo)：語(yǔ)義準(zhǔn)確度顽腾，語(yǔ)法準(zhǔn)確度以及總體準(zhǔn)確度。那么我們不難發(fā)現(xiàn)Vector Dimension在300時(shí)能達(dá)到最佳诺核，而context Windows size大致在6到10之間抄肖。
Glove與LSA、word2vec的比較
- LSA（Latent Semantic Analysis）是一種比較早的count-based的詞向量 表征工具窖杀，是基于co-occurence matrix的漓摩。其采用基于奇異值分解（SVD）的矩陣分解技術(shù)對(duì)大矩陣進(jìn)行降維，因?yàn)镾VD的復(fù)雜度很高入客，所以計(jì)算代價(jià)比較大管毙。此外腿椎，它對(duì)所有單詞的統(tǒng)計(jì)權(quán)重都是一致的。
- word2vec最大的缺點(diǎn)是只利用了固定窗口內(nèi)的語(yǔ)料夭咬，而沒(méi)有充分利用所有的語(yǔ)料啃炸。
所以Glove是把兩者的優(yōu)點(diǎn)結(jié)合了起來(lái)。
參考實(shí)踐代碼
如果本身語(yǔ)料比較小卓舵，微調(diào)沒(méi)什么作用南用，或者自己直接訓(xùn)練沒(méi)有很強(qiáng)的算力，直接使用采用大數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的glove詞向量也會(huì)有比較好的效果掏湾。
import numpy as np
DEFAULT_FILE_PATH = "utils/datasets/glove.6B.50d.txt"
def loadWordVectors(tokens, filepath=DEFAULT_FILE_PATH, dimensions=50):
"""Read pretrained GloVe vectors"""
wordVectors = np.zeros((len(tokens), dimensions))
with open(filepath) as ifs:
for line in ifs:
line = line.strip()
if not line:
continue
row = line.split()
token = row[0]
if token not in tokens:
continue
data = [float(x) for x in row[1:]]
if len(data) != dimensions:
raise RuntimeError("wrong number of dimensions")
wordVectors[tokens[token]] = np.asarray(data)
return wordVectors