我們?cè)谄饺盏纳钪兴f的話語局义，如何使用計(jì)算機(jī)自動(dòng)構(gòu)造出來呢惊来？
一.探究我們?cè)谡f一句話時(shí)蝗罗，無形中做了什么
1.人類語言通俗剖析
我想吃晚飯
??通過以上內(nèi)容夹纫，我們可以把句的意思拆分為：我·想·吃·晚飯栖忠。
我們通常在說“我”的時(shí)候崔挖，大腦其實(shí)是在思考下一個(gè)詞贸街，即“想”，然后說了“想”了同時(shí)狸相，開始思考下一個(gè)詞“吃”薛匪，以此類推。
??也就是說脓鹃，我們每一次說出下一個(gè)詞的時(shí)候逸尖，是基于上一個(gè)詞說的是什么而定的，這樣才能在表達(dá)出自己意思的同時(shí)能順利組織成一句話瘸右。
??這種思想很像條件概率娇跟？沒有錯(cuò)，這種思想確實(shí)可以用條件概率表達(dá)出來：
此處的P(S)被稱為語言模型太颤，也用來計(jì)算一個(gè)句子的概率苞俘。
??通過以上式子可看出，每次新出現(xiàn)的詞匯龄章，都和之前已經(jīng)出現(xiàn)的詞匯有很強(qiáng)的關(guān)聯(lián)（條件概率嘛）吃谣，所以越到后面的詞匯，所需要的條件概率越稀疏做裙，并且參數(shù)巨大（每個(gè)詞都是一個(gè)參數(shù)喲８诒铩）
- 數(shù)據(jù)過于稀疏
- 參數(shù)空間太大
2.-N-gram模型的出現(xiàn)
??而事實(shí)上,當(dāng)一個(gè)句子非常非常長(zhǎng)的時(shí)候(特別是中文),后面出現(xiàn)的詞匯很有可能和前面說的東西，產(chǎn)生的因果關(guān)系不大了锚贱。那么我們就可以進(jìn)行如下假設(shè)：
我們每個(gè)詞匯出現(xiàn)的概率仔戈，只和前面一個(gè)詞匯相關(guān)：
我們每個(gè)詞出現(xiàn)概率，只和前面兩個(gè)詞相關(guān)：
以此類推惋鸥，還可以每個(gè)詞和前面3個(gè)相關(guān)杂穷，4個(gè)等等....(對(duì)于處女座悍缠，這種玩法太難受了卦绣，但確實(shí)把問題化簡(jiǎn)了很多！)
??這種玩法就是傳說中的-N-gram模型飞蚓，其中N代表的就是和前面N個(gè)詞條件相關(guān)滤港。
??假設(shè)語料庫的規(guī)模是N，相關(guān)詞匯量是n趴拧，模型的參數(shù)量級(jí)為溅漾。由此我們可以看到，隨著相關(guān)n的增長(zhǎng)著榴，參數(shù)規(guī)模增長(zhǎng)是十分迅速的添履。所以在進(jìn)行模型設(shè)計(jì)時(shí)，要考慮到小伙伴電腦的牛逼程度才行脑又，目前主流計(jì)算機(jī)能支持到n=10的程度暮胧。一般讓n=4锐借，5都是ok的。
二.詞向量
1.Hierarchical softmax
①CBOW(Continuous Bag-of-Words）
根據(jù)上下文預(yù)測(cè)出某個(gè)空的詞是的內(nèi)容
-
根據(jù)詞頻往衷，對(duì)語句進(jìn)行哈夫曼樹的構(gòu)造(由底至上濟(jì)寧構(gòu)建)钞翔，詞頻即為哈夫曼權(quán)值。
構(gòu)造過程
2.開始進(jìn)行計(jì)算啦席舍！
在計(jì)算之前布轿，首先解釋一下各個(gè)參數(shù)含義：
：從根節(jié)點(diǎn)出發(fā)到達(dá)w對(duì)應(yīng)葉子節(jié)點(diǎn)的路徑。
：路徑中包含的葉子節(jié)點(diǎn)個(gè)數(shù)来颤。
：
：
：
哈夫曼樹是一種二叉樹結(jié)構(gòu)，也就是說福铅，利用二分類可以一步一步找到葉子節(jié)點(diǎn)东且，我們這里使用sigmod進(jìn)行二分類。所以：
正例：
負(fù)例：
通過以上兩個(gè)公式本讥，我們找到目標(biāo)的過程珊泳，無非可總結(jié)為以下兩種情況：
- 走向正例時(shí)：
- 走向負(fù)例時(shí)：
程序每次下尋找一次，都會(huì)經(jīng)歷上述兩個(gè)公式其中之一拷沸，最終會(huì)找到目標(biāo)詞匯色查，同時(shí)會(huì)留下一條路徑，把路徑的每一部都連乘起來就是：
在累乘計(jì)算時(shí)撞芍，計(jì)算可能會(huì)比較困難秧了，我們把上述等式兩邊同時(shí)取對(duì)數(shù)：
從公式可知，這里的概率值越大越好序无！所以此題目為求解梯度上升验毡。
對(duì)求導(dǎo)，得：
由梯度上升可知帝嗡，更新形式為：
同樣晶通，對(duì)投影層的進(jìn)行求導(dǎo)：
投影中的并不是單獨(dú)的詞向量，而是由詞向量拼接而成的一個(gè)大向量哟玷，然而狮辽，2013年google粗暴的將這個(gè)導(dǎo)數(shù)更新到各個(gè)詞向量中：
②Skip-Gram模型
其實(shí)就是把CBOW的流程倒過來，回推出各個(gè)詞向量巢寡。
2. 負(fù)采樣
??當(dāng)語料庫非常龐大的時(shí)候喉脖，將會(huì)構(gòu)造出非常龐大的哈夫曼樹，這樣仍然會(huì)增加計(jì)算機(jī)的壓力抑月，影響計(jì)算速度树叽。如何解決呢？那么我們下回分解谦絮！
