宗成慶自然語(yǔ)言理解筆記 02 數(shù)學(xué)基礎(chǔ)

2.1 概率論基礎(chǔ)

全概率公式

圖2.1.1 全概率公式1

圖2.1.2全概率公式2

貝葉斯法則(Bayes' theorem)

圖2.1.3 貝葉斯法則

貝葉斯決策理論(Bayesian decision theory)

圖2.1.4 貝葉斯決策理論1

圖2.1.5 貝葉斯決策理論2

2.2 信息論基礎(chǔ)

熵(entropy)

圖2.2.1 熵

熵又稱為自信息(self-information)呀舔，表示信源 $X$ 每發(fā)一個(gè)符號(hào)（不論發(fā)什么符號(hào)）所提供的平均信息量缸沃。熵也可以被視為描述一個(gè)隨機(jī)變量的不確定性的數(shù)量儒拂。一個(gè)隨機(jī)變量的熵越大仙蛉，它的不確定性越大宛琅。那么浅碾，正確估計(jì)其值的可能性就越小髓考。越不確定的隨機(jī)變量越需要大的信息量用以確定其值纵刘。可將其物理意義理解為：熵越大犬第，進(jìn)行編碼時(shí)所需要的bit位數(shù)越多锦积。

聯(lián)合熵(joint entropy)

圖2.2.2 聯(lián)合熵

條件熵(conditional entropy)

圖2.2.3 條件熵1

圖2.2.4 條件熵2

圖2.2.5 條件熵3

互信息(mutual information)

圖2.2.6 互信息1

圖2.2.7 互信息2

圖2.2.8 互信息3

相對(duì)熵(relative entropy or Kullback-Leibler divergence)

圖2.2.9 相對(duì)熵1

KL距離是不對(duì)稱的，即 $D(p\ ||\ q) \neq D(q\ ||\ p)$ 歉嗓。

圖2.2.10 相對(duì)熵2

交叉熵(cross entropy)

圖2.2.11 交叉熵1

圖2.2.12 交叉熵2

其中丰介， $x_1^n$ 表示 $n$ 個(gè)句子。

圖2.2.13 交叉熵3

由此，我們可以根據(jù)模型 $q$ 和一個(gè)含有大量數(shù)據(jù)的 $L$ 的樣本來(lái)計(jì)算交叉熵哮幢。在設(shè)計(jì)模型 $q$ 時(shí)带膀，我們的目的是使交叉熵最小，從而使模型最接近真實(shí)的概率分布 $p(x)$ 橙垢。

困惑度(perplexity)

圖2.2.14 困惑度

雙字耦合度

有研究表明漢語(yǔ)使用詞有6000多個(gè)垛叨，常用一級(jí)詞有2000多個(gè)，常用二級(jí)詞有3000多個(gè)柜某。
關(guān)于互信息的應(yīng)用嗽元，例如在漢語(yǔ)斷詞問(wèn)題中：“為人民服務(wù)”的“為人民”部分，是分成“為人”和“民”還是分成“為”和“人民”喂击？可以利用互信息來(lái)估計(jì)兩個(gè)漢字結(jié)合的強(qiáng)度剂癌。通常，互信息值越大翰绊，表示兩個(gè)漢字之間的結(jié)合越緊密佩谷，越有可能成詞；反之辞做，斷開(kāi)的可能性越大琳要。當(dāng)兩個(gè)漢字 $x$ 和 $y$ 關(guān)聯(lián)度較強(qiáng)時(shí)，其互信息值 $I(x;y)>0$ 秤茅； $x$ 和 $y$ 關(guān)系弱時(shí)稚补， $I(x;y)\approx0$ ；而當(dāng) $I(x;y)<0$ 時(shí)框喳，稱 $x$ 和 $y$ 為“互補(bǔ)分布”课幕。
在漢語(yǔ)分詞研究中，也有學(xué)者使用雙字耦合度的概念來(lái)代替互信息五垮。設(shè) $C_i$ 乍惊、 $C_{i+1}$ 是兩個(gè)連續(xù)出現(xiàn)的漢字，統(tǒng)計(jì)樣本中 $C_i$ 放仗、 $C_{i+1}$ 連續(xù)出現(xiàn)在一個(gè)詞中的次數(shù)和連續(xù)出現(xiàn)的總次數(shù)润绎，二者之比就是 $C_i$ 、 $C_{i+1}$ 的雙字耦合度值诞挨。即：
$\begin{equation} Couple(C_i,C_{i+1})=\frac{N(\cdots C_i C_{i+1} \cdots)}{N(\cdots C_i C_{i+1}\cdots)+N(\cdots C_i|C_{i+1} \cdots)} \end{equation}$
總結(jié)下兩個(gè)漢字出現(xiàn)時(shí)的所有情況：
1.兩個(gè)漢字連續(xù)出現(xiàn)莉撇，并且在一個(gè)詞中；
2.兩個(gè)漢字連續(xù)出現(xiàn)惶傻，但是分屬兩個(gè)不同的詞棍郎；
3.兩個(gè)漢字非連續(xù)出現(xiàn)。
在實(shí)際應(yīng)用中银室，有些漢字雖然出現(xiàn)得比較頻繁涂佃，但是連續(xù)一起出現(xiàn)的情況比較少励翼。一旦連在一起出現(xiàn)，就很可能是一個(gè)詞辜荠。這種情況下計(jì)算出來(lái)的互信息會(huì)比較小汽抚，而實(shí)際的結(jié)合度應(yīng)該是比較高的。雙字耦合度恰恰計(jì)算的是兩個(gè)連續(xù)漢字出現(xiàn)在一個(gè)詞中的概率侨拦，并不考慮兩個(gè)漢字非連續(xù)出現(xiàn)的情況殊橙，即計(jì)算的是相對(duì)頻次辐宾。
因此狱从，在漢語(yǔ)分詞任務(wù)中，耦合度相較于互信息效果常更好叠纹。例如季研，“教務(wù)”以連續(xù)字符串形式在統(tǒng)計(jì)樣本中共出現(xiàn)了16次，而“教”字出現(xiàn)了14945次誉察，“務(wù)”字出現(xiàn)了6015次与涡。(“教”,“務(wù)”)的互信息只有-0.5119，屬于較小的值持偏，利用互信息進(jìn)行斷定時(shí)需要將它們切開(kāi)驼卖。可通過(guò)實(shí)驗(yàn)得到的結(jié)果為：在判斷兩個(gè)連續(xù)漢字之間的結(jié)合強(qiáng)度方面鸿秆，雙字耦合度要比互信息更合適一些酌畜。

噪聲信道模型(noisy channel model)

在信號(hào)傳輸?shù)倪^(guò)程中都要進(jìn)行雙重性處理：一方面要通過(guò)壓縮消除所有的冗余，使得傳輸?shù)牧吭蕉嘣胶们溥矗硪环矫嬗忠黾尤哂嗫刂魄虐由闲ｒ?yàn)位，通過(guò)增加一定的可控冗余以保障輸入信號(hào)經(jīng)過(guò)噪聲信道后可以很好地恢復(fù)原狀考婴。冗余位太多贩虾，影響傳輸容量；冗余位太少沥阱，不能校驗(yàn)傳輸?shù)恼鎸?shí)信號(hào)缎罢。這樣的話，信息編碼時(shí)要盡量占有少量的空間考杉，但又必須保持足夠的冗余以便能夠檢測(cè)和校驗(yàn)錯(cuò)誤策精。而接收到的信號(hào)需要被解碼使其盡量恢復(fù)到原始的輸入信號(hào)。
噪聲信道模型的目標(biāo)就是優(yōu)化噪聲信道中信號(hào)傳輸?shù)耐掏铝亢蜏?zhǔn)確率奔则，其基本假設(shè)是一個(gè)信道的輸出以一定的概率依賴于輸入蛮寂。

圖2.2.15 噪聲信道模型1

圖2.2.16 噪聲信道模型2

圖2.2.17 噪聲信道模型3

圖2.2.18 噪聲信道模型4

圖2.2.19 噪聲信道模型5

圖2.2.20 噪聲信道模型6

圖2.2.21 噪聲信道模型7

2.3 應(yīng)用舉例：詞匯歧義消解問(wèn)題

如何區(qū)分不同上下文中的詞匯語(yǔ)義，就是詞匯歧義消解需要解決的問(wèn)題易茬，或稱為詞義消歧(word sense disambiguation, WSD)問(wèn)題酬蹋。詞義消歧是自然語(yǔ)言處理中的基本問(wèn)題之一及老。每個(gè)詞表達(dá)不同的含義時(shí)，其上下文（語(yǔ)境）往往不同范抓。也就是說(shuō)骄恶，不同的詞義對(duì)應(yīng)不同的上下文。因此匕垫，如果能夠?qū)⒍嗔x詞的上下文區(qū)別開(kāi)來(lái)僧鲁，其詞義自然也就明確了。例如象泵，“他/P 很/D 會(huì)/V 與/C (-2)人/N(-1) 打/V(0) 交道/N(+1) 寞秃。/PU(+2)”首先使用了大小為2的上下文窗口。

基于上下文分類的消歧方法 ------ 基于貝葉斯分類器(Gale et al., 1992)

數(shù)學(xué)描述

假設(shè)某個(gè)多義詞 $w$ 所處的上下文語(yǔ)境為 $C$ 偶惠，如果 $w$ 的多個(gè)語(yǔ)義記作 $s_i(i\ge2)$ 春寿。那么，可以通過(guò)計(jì)算 $arg\max_{s_i} \ p(s_i|C)$ 來(lái)確定 $w$ 的詞義忽孽。
$p(s_i|C)=\frac{p(s_i) \times p(C|s_i)}{p(C)}$
考慮分母的歸一化绑改，并運(yùn)用如下獨(dú)立性假設(shè)：
$p(C|s_i)=\prod_{v_k \in C}p(v_k|s_i)$
因此，
$\hat{s_i}=arg\max_{s_i} \ [ p(s_i)\prod_{v_k \in C}p(v_k|s_i)]$
結(jié)合最大似然統(tǒng)計(jì)兄一，得：
$p(v_k|s_i)=\frac{N(v_k,s_i)}{N(s_i)}$

算法描述

對(duì)于多義詞 $w$ 的每個(gè)語(yǔ)義 $s_i$ 執(zhí)行如下循環(huán)：對(duì)于詞典中所有的詞 $v_k$ 計(jì)算：
$p(v_k|s_i)=\frac{N(v_k,s_i)}{N(s_i)}$
對(duì)于多義詞 $w$ 的每個(gè)語(yǔ)義 $s_i$ 計(jì)算：
$p(s_i)=\frac{N(s_i)}{N(w)}$
對(duì)于多義詞 $w$ 的每個(gè)語(yǔ)義 $s_i$ 計(jì)算 $p(s_i)$ 厘线，并根據(jù)上下文中的每個(gè)詞 $v_k$ 計(jì)算 $p(w|s_i)$ ，選擇：
$\hat{s_i}=arg\max_{s_i} \ [ p(s_i)\prod_{v_k \in C}p(v_k|s_i)]$
即出革，
$\hat{s_i}=arg\max_{s_i} \ [log\ p(s_i)+\sum_{v_k \in C}log\ p(v_k|s_i)]$
取對(duì)數(shù)后將小數(shù)放大造壮，避免下溢錯(cuò)誤。

基于最大熵的消歧方法

熵是對(duì)一個(gè)信息變量不確定性的預(yù)測(cè)蹋盆。熵值最大時(shí)反映該模型是最隨機(jī)费薄、最不受約束的時(shí)候。
在只掌握關(guān)于未知分布的部分知識(shí)的情況下栖雾，符合已知知識(shí)的概率分布可能有多個(gè)楞抡。但是，使得熵值最大的概率分布最真實(shí)地反映了事件的分布情況析藕。因?yàn)殪囟x了隨機(jī)變量的不確定性召廷，當(dāng)熵最大時(shí)，隨機(jī)變量最不確定账胧，最難準(zhǔn)確地預(yù)測(cè)其行為竞慢。也就是說(shuō)，在已知部分知識(shí)的前提下治泥，關(guān)于未知分布最合理的推斷應(yīng)該是符合已知知識(shí)下最不確定或最大隨機(jī)的推斷筹煮。
對(duì)于詞義消歧問(wèn)題來(lái)說(shuō)，確定一個(gè)多義詞的某個(gè)義項(xiàng)可以看成是一個(gè)事件 $a$ 居夹，多義詞周圍（上下文）出現(xiàn)的詞及其詞性看成是這個(gè)事件發(fā)生的條件 $b$ 败潦。利用條件熵 $H(a|b)$ 最大時(shí)的概率 $p(a|b)$ 推斷多義詞使用某一義項(xiàng)的可能性本冲。
用 $A$ 表示某一個(gè)多義詞所有義項(xiàng)的集合， $B$ 表示所有上下文的集合劫扒。定義 $\{ 0, 1 \}$ 域上的二值函數(shù) ${f(a,b)}$ 來(lái)表示上下文條件與義項(xiàng)之間的關(guān)系檬洞， $f(a,b)$ 表達(dá)式如下所示：
$\begin{equation} f(a,b)=\left\{ \begin{array}{rcl} 1 & & {若(a,b)\in (A,B)，且滿足某種條件}\\ 0 & & {否則} \end{array} \right. \end{equation}$
經(jīng)驗(yàn)概率分布 $\tilde{p}(a,b)$ 是通過(guò)對(duì)已知的樣本空間進(jìn)行統(tǒng)計(jì)獲得的沟饥，算出的數(shù)學(xué)期望值記為 $E_{\tilde{p}}(f)=\sum_{a,b}\tilde{p}(a,b)f(a,b)$ 添怔。
假設(shè)所建立的模型的概率分布為 $p(a,b)$ ，則特征 $f$ 關(guān)于 $p(a,b)$ 的數(shù)學(xué)期望為 $E_{p}(f)=\sum_{a,b}p(a,b)f(a,b)$ 贤旷。
使用 $\tilde{p}(b)$ 表示 $b$ 在已知樣本中的概率分布广料，則 $E_{p}(f)=\sum_{a,b}\tilde{p}(b)p(a|b)f(a,b)$ 。
如果特征 $f$ 對(duì)模型是有效的遮晚，那么模型預(yù)測(cè)的數(shù)學(xué)期望和已知樣本統(tǒng)計(jì)的結(jié)果數(shù)學(xué)期望應(yīng)該是一樣的性昭。
假設(shè)我們存在 $k$ 個(gè)特征，這些特征在建模時(shí)對(duì)輸出有影響县遣。建立的模型 $p$ 應(yīng)該屬于 $C=\{p\in\Gamma|E_{p}(f_i)=E_{\tilde{p}}(f_i),i\in\{1,2,\cdots,k\}\}$ 這個(gè)范圍中。
條件熵為 $H(p)=-\sum_{a,b}\tilde{p}(b)p(a|b)log(a|b)$ 汹族。在滿足 $k$ 個(gè)約束的前提下萧求，基于使得這個(gè)條件熵取最大值的概率模型來(lái)推斷使用每一個(gè)義項(xiàng)的可能性。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末顶瞒，一起剝皮案震驚了整個(gè)濱河市夸政，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌榴徐，老刑警劉巖守问，帶你破解...
沈念sama閱讀 210,914評(píng)論 6贊 490
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場(chǎng)離奇詭異坑资，居然都是意外死亡耗帕，警方通過(guò)查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 89,935評(píng)論 2贊 383
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門袱贮，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)仿便，“玉大人，你說(shuō)我怎么就攤上這事攒巍∷砸牵” “怎么了？”我有些...
開(kāi)封第一講書人閱讀 156,531評(píng)論 0贊 345
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵柒莉，是天一觀的道長(zhǎng)闻坚。經(jīng)常有香客問(wèn)我，道長(zhǎng)兢孝，這世上最難降的妖魔是什么窿凤？我笑而不...
開(kāi)封第一講書人閱讀 56,309評(píng)論 1贊 282
?港島之戀（遺憾婚禮）
正文為了忘掉前任搀擂，我火速辦了婚禮，結(jié)果婚禮上卷玉，老公的妹妹穿的比我還像新娘哨颂。我一直安慰自己，他們只是感情好相种，可當(dāng)我...
茶點(diǎn)故事閱讀 65,381評(píng)論 5贊 384
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開(kāi)白布威恼。她就那樣靜靜地躺著，像睡著了一般寝并。火紅的嫁衣襯著肌膚如雪箫措。梳的紋絲不亂的頭發(fā)上，一...
開(kāi)封第一講書人閱讀 49,730評(píng)論 1贊 289
城市分裂傳說(shuō)
那天衬潦，我揣著相機(jī)與錄音斤蔓，去河邊找鬼。笑死镀岛，一個(gè)胖子當(dāng)著我的面吹牛弦牡，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播漂羊，決...
沈念sama閱讀 38,882評(píng)論 3贊 404
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開(kāi)眼驾锰，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了走越？” 一聲冷哼從身側(cè)響起椭豫，我...
開(kāi)封第一講書人閱讀 37,643評(píng)論 0贊 266
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎旨指，沒(méi)想到半個(gè)月后赏酥，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 44,095評(píng)論 1贊 303
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡谆构，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 36,448評(píng)論 2贊 325
?白月光啟示錄
正文我和宋清朗相戀三年裸扶，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片低淡。...
茶點(diǎn)故事閱讀 38,566評(píng)論 1贊 339
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡姓言，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出蔗蹋，到底是詐尸還是另有隱情何荚，我是刑警寧澤，帶...
沈念sama閱讀 34,253評(píng)論 4贊 328
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布猪杭，位于F島的核電站餐塘，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏皂吮。R本人自食惡果不足惜戒傻，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 39,829評(píng)論 3贊 312
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一税手、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧需纳，春花似錦芦倒、人聲如沸。這莊子的主人今日做“春日...
開(kāi)封第一講書人閱讀 30,715評(píng)論 0贊 21
一樁弒父案兵扬，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)。三九已至口蝠，卻和暖如春器钟，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背妙蔗。一陣腳步聲響...
開(kāi)封第一講書人閱讀 31,945評(píng)論 1贊 264
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工傲霸，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人眉反。一個(gè)月前我還...
沈念sama閱讀 46,248評(píng)論 2贊 360
代替公主和親
正文我出身青樓昙啄，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親禁漓。傳聞我的和親對(duì)象是個(gè)殘疾皇子跟衅，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 43,440評(píng)論 2贊 348