讀后感：Tomas Mikolov, “Efficient Estimation of Word Representations in Vector Space”
本文包括討論：
1）問(wèn)題的提出
2）為什么相關(guān)的詞芒澜，映射到表示空間中后历谍，距離會(huì)接近？
3）為什么詞向量滿足向量空間的代數(shù)運(yùn)算蔓腐？
注：在這里我們不聊具體論文細(xì)節(jié)、公式龄句、數(shù)學(xué)這些東西回论，就隨便聊聊個(gè)人思考的一些小東西散罕。
神秘面紗
? ? ? ? 凡是第一次見到上面（1）式的人，都會(huì)被這樣漂亮的結(jié)果深深吸引傀蓉；其實(shí)再靜下來(lái)想想看欧漱，也沒(méi)那么神秘；即便不能針對(duì)每個(gè)案例給出詳細(xì)的解釋葬燎，我們也可以從宏觀角度粗略地分析一下误甚，本質(zhì)上，這一切都是語(yǔ)言的結(jié)構(gòu)使然谱净；兩句以蔽之：“相似的上下文產(chǎn)生距離相近的詞向量窑邦，模型線性性誘導(dǎo)出向量空間代數(shù)運(yùn)算”。
相關(guān)的詞壕探，映射成表示空間中的稠密向量后冈钦，距離很近？
從訓(xùn)練過(guò)程來(lái)看
? ? ? ? 既然涉及距離計(jì)算浩蓉，那么我們用的是什么度量呢派继？在softmax或sigmoid分類模型的意義下，我們可以認(rèn)為是“內(nèi)積”捻艳，當(dāng)然內(nèi)積并不是一個(gè)真正意義上的度量驾窟，畢竟非負(fù)性就沒(méi)滿足。我們引入兩個(gè)術(shù)語(yǔ)“本真距離”用于描述兩個(gè)詞作為描述語(yǔ)言結(jié)構(gòu)所體現(xiàn)出來(lái)的內(nèi)在距離认轨，是不可縮小的绅络；“模型距離”就是相應(yīng)的詞向量之間的距離，在訓(xùn)練過(guò)程中變化嘁字。
? ? ? ? 我們想想詞向量是怎么來(lái)的恩急？比如：在skip-gram模型下，我們通過(guò)將當(dāng)前詞的稠密表示纪蜒，通過(guò)一個(gè)softmax線性分類映射衷恭，然后最大化預(yù)測(cè)真實(shí)的上下文單詞的概率。通過(guò)將誤差梯度傳回到稠密表示層（嵌入層）纯续，進(jìn)而修改随珠、微調(diào)當(dāng)前的詞表示。（其實(shí)這和機(jī)器視覺里的風(fēng)格遷移模型有著異曲同工之妙猬错，順便遛遛N多年前我跑出來(lái)的梵高風(fēng)格貓咪）
舉個(gè)例子
? ? ? ? 比如：對(duì)于單詞“King”窗看，在某一次訓(xùn)練迭代中的上下文是“The angry king is blaming ministers”；但是倦炒，當(dāng)前模型是用“The gental husband is cooking for his wife”訓(xùn)練出來(lái)的显沈，若“King”的詞向量此時(shí)剛好包含作為“Queen”的husband那部分性質(zhì)，則可能預(yù)測(cè)出來(lái)的結(jié)果是"The gental King is cooking for his wife"逢唤；這顯然是不對(duì)的拉讯，因?yàn)檫@不符合“King”的行為涤浇。在這里模型預(yù)測(cè)使用了“King”的一部分屬性，即“國(guó)王”和“男人”所共有的那部分屬性遂唧；但是另外一些“國(guó)王”特有的屬性就沒(méi)有體現(xiàn)出來(lái)芙代。
????????于是，下面對(duì)計(jì)算出來(lái)的損失進(jìn)行求導(dǎo)盖彭，通過(guò)梯度對(duì)上下文單詞和當(dāng)前詞的詞向量
進(jìn)行“微調(diào)”，使得在“King”的詞向量上體現(xiàn)更多的貴族階級(jí)和統(tǒng)治者相關(guān)的屬性页滚，事實(shí)上在這個(gè)例子中召边，有效的梯度主要由”blaming ministers“來(lái)產(chǎn)生。
? ? ? ? 同樣裹驰，如果還有語(yǔ)料“The angry queen is?blaming ministers”隧熙，則”king“和”queen“有相同的上下文，則在固定當(dāng)前參數(shù)幻林，并具有相同的上下文情況下贞盯，會(huì)對(duì)“Queen”產(chǎn)生相同的梯度，進(jìn)而將”Queen“的詞向量在余弦距離的意義下推向“King”沪饺。
一些備注
? ? ? ? 由于作者引入了降低計(jì)算量的技巧（比如“負(fù)采樣”）后躏敢，輸出層實(shí)際上只是計(jì)算一個(gè)個(gè)單獨(dú)的-log_sigmoid損失；這樣的話相當(dāng)于整個(gè)計(jì)算就是兩組向量之間的內(nèi)積整葡，第一組就是目標(biāo)詞向量構(gòu)成的矩陣件余；第二組原本是softmax分類器對(duì)應(yīng)的參數(shù)矩陣，實(shí)際上輸出層的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)的用來(lái)和當(dāng)前輸入向量vector(“King”)計(jì)算內(nèi)積的參數(shù)遭居，也可以被看作該輸出層節(jié)點(diǎn)對(duì)應(yīng)的詞向量啼器。因此有人會(huì)說(shuō)，word2vector模型一次訓(xùn)練俱萍，得到兩組不同的詞向量端壳。
形式化討論
? ? ? ? 我們稍微形式化一下這樣的過(guò)程：假設(shè)當(dāng)前單詞“King”的詞向量表示是，當(dāng)前上下文的詞向量為
枪蘑，則我們希望最大化
损谦；這等價(jià)于使得
都變大。所以腥寇，使得
變大是一個(gè)必要條件成翩。
????????記，我們稱之為上下文平均向量赦役，如何調(diào)整
使得
變大麻敌，即使得
變大呢？1）當(dāng)
和
夾角大于90度時(shí)：要么縮小
掂摔，要么縮小
术羔；2）當(dāng)
與
的夾角小于90度時(shí)：要么繼續(xù)縮小
赢赊，要么增大
。事實(shí)上级历，由
便可以看出來(lái)释移。
? ? ? ? 不過(guò)，不管哪種情況寥殖，都可以使用梯度上升來(lái)優(yōu)化玩讳，比如：在迭代次數(shù)
充分大時(shí)
，顯然會(huì)越來(lái)越大（注意嚼贡，這里的梯度優(yōu)化是簡(jiǎn)化版的關(guān)于內(nèi)積的梯度熏纯，并非實(shí)際中的梯度）。
? ? ? ? 和實(shí)際情況一樣粤策，在這個(gè)過(guò)程中樟澜，由于并沒(méi)有約束向量的范數(shù)，因此在夾角為銳角的情況下
可以增加它的長(zhǎng)度叮盘，從而來(lái)增加內(nèi)積的大小秩贰，但是由于sigmoid的飽和性質(zhì)，這種過(guò)程也不會(huì)一直持續(xù)下去柔吼。所以即便兩個(gè)向量的模型距離很小毒费，它們的歐幾里得距離可以很大（但不會(huì)無(wú)限增大）。因此我們可以通過(guò)規(guī)范化來(lái)得到一個(gè)合理的度量嚷堡，而在這種度量（余弦距離）下蝗罗，兩個(gè)向量的距離會(huì)更接近單詞之間的“本真距離”。
繼續(xù)討論例子
? ? ? ? 在上面的例子中蝌戒，由于“King”和“Queen”在相同的上下文和固定的模型下得到相同梯度串塑，因此它們同時(shí)會(huì)向“上下文平均向量”靠攏，因而得到作為“權(quán)貴階級(jí)和統(tǒng)治者”相關(guān)的維度屬性北苟。但是“Queen”和“King”又可以作為“woman”和“man”在不同的上下文會(huì)更新到不同的具體性別屬性桩匪。
? ? ? ? 我們說(shuō)“本真距離”是由于一個(gè)語(yǔ)言的結(jié)構(gòu)所帶來(lái)的單詞之間的內(nèi)在差異，是不可以通過(guò)優(yōu)化來(lái)縮小的友鼻；如果單詞A和單詞B在語(yǔ)言
中任何一句話中都可以互換傻昙，則在這個(gè)語(yǔ)言下，它們被視為同一個(gè)單詞彩扔。所以妆档，正是不同的上下文，才造成了詞與詞之間的距離虫碉。所以贾惦，當(dāng)任意兩個(gè)詞向量之間的距離都降低到了它們的“本真距離”后，詞向量模型就是完美的了。
? ? ? ? 在上面须板，我們假設(shè)單詞“King”的詞向量在某種意義下會(huì)靠近上下文的平均詞向量碰镜，但是上下文中的單詞的詞向量呢？它們又會(huì)在這種意義下各自接近它們?cè)谡Z(yǔ)言中的平均向量习瑰。從隨機(jī)初始化開始绪颖，我們可以將這個(gè)過(guò)程看作一個(gè)動(dòng)態(tài)收斂的過(guò)程，類似于EM算法或是醒-眠算法過(guò)程甜奄；舉個(gè)簡(jiǎn)單的例子：先根據(jù)單詞A的臨近單詞B優(yōu)化更新單詞A的詞向量柠横，然后可能再用更新過(guò)的單詞A來(lái)優(yōu)化更新單詞B的詞向量，最后達(dá)到某種動(dòng)態(tài)平衡贺嫂；好似馬爾可夫鏈磨合到了平穩(wěn)分布那種感覺滓鸠；或者回想一下PageRank算法。
????????其實(shí)我更愿意將整個(gè)語(yǔ)言看作一個(gè)大的有限狀態(tài)圖第喳，而每個(gè)語(yǔ)句就對(duì)應(yīng)著圖上的一次合法的游走，而訓(xùn)練過(guò)程就相當(dāng)于擬合這些合法的路徑踱稍，這就像卷積網(wǎng)絡(luò)對(duì)圖的局部特征（局部路徑）的提取過(guò)程（當(dāng)然曲饱，更好的還是和圖神經(jīng)網(wǎng)絡(luò)作類比，但是我沒(méi)有研究過(guò)圖神經(jīng)網(wǎng)絡(luò)）珠月。
詞向量滿足向量空間的代數(shù)運(yùn)算扩淀？
? ? ? ? 回到表達(dá)式（1），我們想再分析一下這是如何做到的啤挎。我想了半天驻谆，也沒(méi)找到好的解釋。不如我們繼續(xù)倒推一下庆聘，記胜臊，則我們要判斷
是在所有詞向量中使得
最大的那個(gè)，即證明
近似平行于向量
（再次注意伙判，式（1）中的約等號(hào)
指的是度量下的距離運(yùn)算象对，而不是向量空間的向量判等運(yùn)算，所以我們使用了余弦距離）宴抚。
我們不妨設(shè)勒魔，并且繼續(xù)設(shè)
我們將進(jìn)行展開得到：
? ? ? ? 這相當(dāng)于，將所有和“Queen”相關(guān)的詞向量相加菇曲，并且乘以一個(gè)縮放系數(shù)冠绢，使得具有適當(dāng)?shù)某叨取＿M(jìn)而我們還可以繼續(xù)對(duì)上面所有的這些Royal specified和Woman specified的詞向量常潮，進(jìn)一步分解弟胀；并且，進(jìn)一步將每個(gè)單詞乘以對(duì)應(yīng)的縮放系數(shù)，在迭代過(guò)程中邮利，系數(shù)的指數(shù)級(jí)衰退弥雹，使得詞向量級(jí)數(shù)不會(huì)發(fā)散。但是這樣的遞歸過(guò)程能觸底嗎延届？現(xiàn)在在復(fù)雜的自然語(yǔ)言中剪勿，單詞之間存在的千絲萬(wàn)縷的互相作用；這是一個(gè)有環(huán)圖方庭，沒(méi)有閉式解厕吉，所以我們只能使用迭代方法。
? ? ? ? 再有械念，為什么我可以使用向量加法头朱、向量數(shù)乘運(yùn)算，來(lái)進(jìn)行單詞語(yǔ)義層面上的運(yùn)算呢龄减？這合理嗎项钮？其實(shí)，這是由模型的線性性質(zhì)來(lái)保證希停，這就是為什么作者使用線性模型的很重要的一個(gè)原因烁巫。由于沒(méi)有激活函數(shù)，每次疊加到當(dāng)前詞向量上的梯度宠能，就是上下文向量乘以一個(gè)學(xué)習(xí)率亚隙；這不就是上面我們的展開式嗎？只不過(guò)在訓(xùn)練過(guò)程中违崇，所有的這些詞向量是沒(méi)有收斂的阿弃；而上面我們展開時(shí)中的是模型收斂后的，平穩(wěn)的向量羞延≡荆回想一下前面討論過(guò)的，就會(huì)發(fā)現(xiàn)這種線性模型的訓(xùn)練過(guò)程中肴楷，就等價(jià)于每次迭代中水由，往對(duì)應(yīng)的目標(biāo)詞向量中添加少許的上下文詞向量的成份，添加劑量用學(xué)習(xí)率和梯度范數(shù)一起來(lái)控制赛蔫。
瞎猜
????????所以我猜測(cè)：越能準(zhǔn)確表達(dá)砂客、越細(xì)致的語(yǔ)言，可能學(xué)出來(lái)的詞向量的代數(shù)運(yùn)算精度也越高呵恢；但是可能泛化性能不如其它表達(dá)上更加自由的語(yǔ)言鞠值；比如是否有英語(yǔ)詞向量精度高于漢語(yǔ)，而靈活性不如漢語(yǔ)呢渗钉？
