寫在之前

如需轉(zhuǎn)載庭惜，請注明出處。如有侵權(quán)或者其他問題穗酥，煩請告知护赊。

第1章　文字和語言 vs 數(shù)字和信息

文字和語言與數(shù)學(xué)，從產(chǎn)生起原本就有相通性砾跃，雖然它們的發(fā)展一度分道揚(yáng)鑣骏啰，但是最終還是能走到一起。
1　信息
2　文字和數(shù)字

瑪雅文明采用20進(jìn)制抽高，即數(shù)完全部的手指和腳趾才開始進(jìn)位判耕。因此瑪雅人的一個(gè)世紀(jì)，他們稱為太陽集翘骂，是四百年祈秕。

3　文字和語言背后的數(shù)學(xué)

猶太學(xué)者每抄一個(gè)圣經(jīng)，需要把每一行的文字加起來雏胃，看看新的校驗(yàn)碼是否和原文的相同请毛。
4　小結(jié)

第2章　自然語言處理——從規(guī)則到統(tǒng)計(jì)

人類對機(jī)器理解自然語言的認(rèn)識走了一條大彎路。早期的研究集中采用基于規(guī)則的方法瞭亮，雖然解決了一些簡單的問題方仿，但是無法從根本上將自然語言理解實(shí)用化。直到20多年后统翩，人們開始嘗試用基于統(tǒng)計(jì)的方法進(jìn)行自然語言處理仙蚜，才有了突破性進(jìn)展和實(shí)用的產(chǎn)品。
1　機(jī)器智能

20世紀(jì)60年代厂汗，學(xué)術(shù)界對人工智能和自然語言的普遍觀點(diǎn)是：要讓機(jī)器完成翻譯或者語音識別等人類才能做的事委粉，就必須讓計(jì)算機(jī)理解自然語言，而做到這一點(diǎn)就必須讓計(jì)算機(jī)擁有類似我們?nèi)祟愌b的智能娶桦。當(dāng)時(shí)普遍的認(rèn)識是做好兩件事：分析語句和獲取語義贾节。文法規(guī)則數(shù)量及其龐大，和句子有關(guān)衷畦，且需要人工總結(jié)栗涂。

在計(jì)算機(jī)科學(xué)中，圖靈獎(jiǎng)得主高德納 (Donald Knuth) 提出了用計(jì)算復(fù)雜度來衡量算法的耗時(shí)祈争。對于上下文無關(guān)文法斤程，算法的復(fù)雜度基本上是語句長度的二次方，而對于上下文有關(guān)文法菩混，計(jì)算復(fù)雜度基本上是語句長度的六次方忿墅，也就是說扁藕，長度同為 10 的程序語言的語句和自然語言的語句，計(jì)算機(jī)對它們進(jìn)行文法分析 (Syntactic Parsing) 的計(jì)算量疚脐，后者是前者的一萬倍亿柑。而且隨著句子長度的增長，二者計(jì)算時(shí)間的差異會(huì)以非沉敛埽快的速度擴(kuò)大橄杨。即使今天，有了很快的計(jì)算機(jī) (英特爾 i7 四核處理器)照卦，分析上面這個(gè)二三十個(gè)詞的句子也需要兩分鐘的時(shí)間式矫。因此，在 20 世紀(jì) 70 年代役耕，即使是制造大型機(jī)的 IBM 公司采转，也不可能采用規(guī)則的方法分析一些真實(shí)的語句。

上個(gè)世紀(jì) 70 年代瞬痘，基于規(guī)則的句分析 （包括文法分析或者語義分析）就走到了盡頭故慈。而對于語義的處理則遇到了更大的麻煩。

首先框全，自然語言中詞的多義性很難用規(guī)則來描述察绷，而是嚴(yán)重依賴于上下文，甚至是常識津辩。1966 年拆撼，著名人工智能專家明斯基 (前文提到的達(dá)特茅斯會(huì)議的發(fā)起者之一) 舉了一個(gè)簡單的反例，說明計(jì)算機(jī)處理語言的難處喘沿，闸度。The pen is in the box，The box is in the pen蚜印。中兩個(gè) pen 的區(qū)別莺禁。第一詞話很好理解，學(xué)過半年英語的學(xué)生都懂窄赋。但是第二句話則會(huì)讓外國人很困惑哟冬，為什么盒子可以裝到鋼筆里? 其實(shí)，第二句話對于英語是母語的人來講很簡單寝凌，因?yàn)檫@里 pen 是圍欄的意思柒傻。整句話翻譯成中文就是：盒子在圍欄里。這里面 pen 是指鋼筆還是圍欄较木，通過上下文已經(jīng)不能解決，需要常識青柄，具體來說就是「鋼筆可以放到盒子里伐债，但是盒子比鋼筆大预侯，所以不能放到鋼筆里》逅」這是一個(gè)很簡單的例子萎馅，但清晰地說明了當(dāng)時(shí)自然語言處理研究方法上存在的問題。

1966 年的明斯基已經(jīng)不是十年前那個(gè)默默無名的年輕人了虹蒋，而是當(dāng)時(shí)世界上數(shù)一數(shù)二的人工智能專家糜芳。他的意見對美國政府的科技決策部門產(chǎn)生了重大影響，自然科學(xué)基金會(huì)等部門對傳統(tǒng)的自然語言處理研究非常失望魄衅，以至于在較長時(shí)間里對這方面的研究資助大大減少峭竣。可以說晃虫，利用計(jì)算機(jī)處理自然語言的努力直到 20 世紀(jì) 70 年代初是相當(dāng)失敗的皆撩。

1970 年以后統(tǒng)計(jì)語言學(xué)的出現(xiàn)使得自然語言處理重獲新生，并取得了今天的非凡成就哲银。推動(dòng)這個(gè)技術(shù)路線轉(zhuǎn)變的關(guān)鍵人物是弗里德里克·貿(mào)里尼克 (Frederick Jelinek) 和他領(lǐng)導(dǎo)的 IBM 華生實(shí)驗(yàn)室(T.J.Watson)扛吞。最初听隐，他們也沒有想解決整個(gè)自然語言處理的各種問題皿哨，而只是希望解決語音識別的問題。采用基于統(tǒng)計(jì)的方法臼隔，IBM 將當(dāng)時(shí)的語音識別率從 70% 提升到 90%做院，同時(shí)語音識別的規(guī)模從幾百單詞上升到幾萬單間盲泛，這樣語音識別就有了從實(shí)驗(yàn)室走向?qū)嶋H應(yīng)用的可能。

基于規(guī)則的自然語言處理和基于統(tǒng)計(jì)的自然語言處理的爭執(zhí)后來還持續(xù)了 15 年左右山憨，直到上個(gè)世紀(jì) 90 年代初查乒。15 年，對于一個(gè)學(xué)者來講是一段非常長的時(shí)間郁竟，如果哪個(gè)人從做博士開始就選錯(cuò)了方向并且堅(jiān)持錯(cuò)誤玛迄，到 15 年后發(fā)現(xiàn)時(shí)，基本上這一輩子可能就一事無成了棚亩。

2　從規(guī)則到統(tǒng)計(jì)
3　小結(jié)

第3章　統(tǒng)計(jì)語言模型

統(tǒng)計(jì)語言模型是自然語言處理的基礎(chǔ)蓖议，并且被廣泛應(yīng)用于機(jī)器翻譯、語音識別讥蟆、印刷體或手寫體識別勒虾、拼寫糾錯(cuò)、漢字輸入和文獻(xiàn)查詢瘸彤。
1　用數(shù)學(xué)的方法描述語言規(guī)律

一個(gè)文字序列是否能構(gòu)成一個(gè)大家能理解的句子修然，顯示給使用者。對這個(gè)問題，我們可以用一個(gè)簡單的統(tǒng)計(jì)模型來解決這個(gè)問題愕宋。
$$
P(S) = P(w_1)P(w_2|w_1)P(w_3| w_1 w_2)…P(w_n|w_1 w_2…w_{n-1})
$$
$P(w_n|w_1 w_2…w_{n-1})$的可能性太多玻靡，從19世紀(jì)到20世紀(jì)初，馬爾科夫提出了一種偷懶并且可靠的辦法：假設(shè)任意一個(gè)詞$W_i$出現(xiàn)的概率只同它前面的詞有關(guān)

根據(jù)大數(shù)定律中贝，只要統(tǒng)計(jì)量足夠囤捻，相對頻度就等于概率。這件事使得原本名不見經(jīng)傳的李開復(fù)一下子成為了語音識別領(lǐng)域的專家邻寿。
2　延伸閱讀：統(tǒng)計(jì)語言模型的工程訣竅
3　小結(jié)

第4章　談?wù)劮衷~

中文分詞是中文信息處理的基礎(chǔ)蝎土，它同樣走過了一段彎路，目前依靠統(tǒng)計(jì)語言模型已經(jīng)基本解決了這個(gè)問題绣否。
1　中文分詞方法的演變
2　延伸閱讀：如何衡量分詞的結(jié)果
3　小結(jié)

第5章　隱含馬爾可夫模型

隱含馬爾可夫模型最初應(yīng)用于通信領(lǐng)域誊涯，繼而推廣到語音和語言處理中，成為連接自然語言處理和通信的橋梁枝秤。同時(shí)醋拧，隱含馬爾可夫模型也是機(jī)器學(xué)習(xí)的主要工具之一。
1　通信模型
2　隱含馬爾可夫模型
3　延伸閱讀：隱含馬爾可夫模型的訓(xùn)練
4　小結(jié)

第6章　信息的度量和作用

信息是可以量化度量的淀弹。信息熵不僅是對信息的量化度量丹壕，也是整個(gè)信息論的基礎(chǔ)。它對于通信薇溃、數(shù)據(jù)壓縮菌赖、自然語言處理都有很強(qiáng)的指導(dǎo)意義。
1　信息熵
2　信息的作用
3　互信息
4　延伸閱讀：相對熵
5　小結(jié)

第7章　賈里尼克和現(xiàn)代語言處理

作為現(xiàn)代自然語言處理的奠基者沐序，賈里尼克教授成功地將數(shù)學(xué)原理應(yīng)用于自然語言處理領(lǐng)域中琉用，他的一生富于傳奇色彩。
1　早年生活
2　從水門事件到莫妮卡·萊溫斯基
3　一位老人的奇跡

第8章　簡單之美——布爾代數(shù)和搜索引擎

布爾代數(shù)雖然非常簡單策幼，卻是計(jì)算機(jī)科學(xué)的基礎(chǔ)邑时，它不僅把邏輯和數(shù)學(xué)合二為一，而且給了我們一個(gè)全新的視角看待世界特姐，開創(chuàng)了數(shù)字化時(shí)代晶丘。
1　布爾代數(shù)
2　索引
3　小結(jié)

第9章　圖論和網(wǎng)絡(luò)爬蟲

互聯(lián)網(wǎng)搜索引擎在建立索引前需要用一個(gè)程序自動(dòng)地將所有的網(wǎng)頁下載到服務(wù)器上，這個(gè)程序稱為網(wǎng)絡(luò)爬蟲唐含，它的編寫是基于離散數(shù)學(xué)中圖論的原理浅浮。
1　圖論
2　網(wǎng)絡(luò)爬蟲
3　延伸閱讀：圖論的兩點(diǎn)補(bǔ)充說明
4　小結(jié)

第10章　PageRank——Google的民主表決式網(wǎng)頁排名技術(shù)

網(wǎng)頁排名技術(shù)PageRank是早期Google的殺手锏，它的出現(xiàn)使得網(wǎng)頁搜索的質(zhì)量上了一個(gè)大的臺階捷枯。它背后的原理是圖論和線性代數(shù)的矩陣運(yùn)算滚秩。
1　PageRank 算法的原理
2　延伸閱讀：PageRank的計(jì)算方法
3　小結(jié)

第11章　如何確定網(wǎng)頁和查詢的相關(guān)性

確定網(wǎng)頁和查詢的相關(guān)性是網(wǎng)頁搜索的根本問題，其中確定查詢中每個(gè)關(guān)鍵詞的重要性有多高是關(guān)鍵淮捆。TF-IDF是目前通用的關(guān)鍵詞重要性的度量郁油，其背后的原理是信息論本股。
1　搜索關(guān)鍵詞權(quán)重的科學(xué)度量TF-IDF
2　延伸閱讀：TF-IDF的信息論依據(jù)
3　小結(jié)

第12章　有限狀態(tài)機(jī)和動(dòng)態(tài)規(guī)劃——地圖與本地搜索的核心技術(shù)

地圖和本地服務(wù)中要用到有限狀態(tài)機(jī)和動(dòng)態(tài)規(guī)劃技術(shù)。這兩項(xiàng)技術(shù)是機(jī)器智能和機(jī)器學(xué)習(xí)的工具已艰，它們的應(yīng)用非常廣泛痊末，還包括語音識別蚕苇、拼寫和語法糾錯(cuò)哩掺、拼音輸入法、工業(yè)控制和生物的序列分析等涩笤。
1　地址分析和有限狀態(tài)機(jī)
2　全球?qū)Ш胶蛣?dòng)態(tài)規(guī)劃
3　延伸閱讀：有限狀態(tài)傳感器
4　小結(jié)

第13章　Google AK-47的設(shè)計(jì)者——阿米特·辛格博士

在所有輕武器中最有名的是AK-47沖鋒槍嚼吞，因?yàn)樗鼜牟豢ぃ灰讚p壞蹬碧，可在任何環(huán)境下使用舱禽，可靠性好，殺傷力大并且操作簡單恩沽。Google的產(chǎn)品就是按照上述原
則設(shè)計(jì)的誊稚。

第14章　余弦定理和新聞的分類

計(jì)算機(jī)雖然讀不懂新聞，卻可以準(zhǔn)確地對新聞進(jìn)行分類罗心。其數(shù)學(xué)工具是看似毫不相干的余弦定理里伯。
1　新聞的特征向量
2　向量距離的度量
3　延伸閱讀：計(jì)算向量余弦的技巧
4　小結(jié)

第15章　矩陣運(yùn)算和文本處理中的兩個(gè)分類問題

無論是詞匯的聚類還是文本的分類，都可以通過線性代數(shù)中矩陣的奇異值分解來進(jìn)行渤闷。這樣一來疾瓮，自然語言處理的問題就變成了一個(gè)數(shù)學(xué)問題。
1　文本和詞匯的矩陣
2　延伸閱讀：奇異值分解的方法和應(yīng)用場景
3　小結(jié)

第16章　信息指紋及其應(yīng)用

世間萬物都有一個(gè)唯一標(biāo)識的特征飒箭，信息也是如此狼电。每一條信息都有它特定的指紋，通過這個(gè)指紋可以區(qū)別不同的信息弦蹂。
1　信息指紋
2　信息指紋的用途
3　延伸閱讀：信息指紋的重復(fù)性和相似哈希
4　小結(jié)

第17章　由電視劇《暗算》所想到的——談?wù)劽艽a學(xué)的數(shù)學(xué)原理

密碼學(xué)的根本是信息論和數(shù)學(xué)肩碟。沒有信息論指導(dǎo)的密碼是非常容易被破解的。只有在信息論被廣泛應(yīng)用于密碼學(xué)后凸椿，密碼才真正變得安全削祈。
1　密碼學(xué)的自發(fā)時(shí)代
2　信息論時(shí)代的密碼學(xué)
3　小結(jié)

第18章　閃光的不一定是金子——談?wù)勊阉饕娣醋鞅讍栴}和搜索結(jié)果的權(quán)威性問題

閃光的不一定是金子，搜索引擎中排名靠前的網(wǎng)頁也未必是有用的網(wǎng)頁削饵。消除這些作弊網(wǎng)頁的原理和通信中過濾噪音的原理相同岩瘦。這說明信息處理和通信的很多原理是相通的。
1　搜索引擎的反作弊
2　搜索結(jié)果的權(quán)威性
3　小結(jié)

第19章　談?wù)剶?shù)學(xué)模型的重要性

正確的數(shù)學(xué)模型在科學(xué)和工程中至關(guān)重要窿撬，而發(fā)現(xiàn)正確模型的途徑常常是曲折的启昧。正確的模型在形式上通常是簡單的。

第20章　不要把雞蛋放到一個(gè)籃子里——談?wù)勛畲箪啬Ｐ?/h2>

最大熵模型是一個(gè)完美的數(shù)學(xué)模型劈伴。它可以將各種信息整合到一個(gè)統(tǒng)一的模型中密末，在信息處理和機(jī)器學(xué)習(xí)中有著廣泛的應(yīng)用握爷。它在形式上非常簡單、優(yōu)美严里，而在實(shí)現(xiàn)時(shí)需要有精深的數(shù)學(xué)基礎(chǔ)和高超的技巧新啼。
1　最大熵原理和最大熵模型
2　延伸閱讀：最大熵模型的訓(xùn)練
3　小結(jié)

第21章　拼音輸入法的數(shù)學(xué)原理

漢字的輸入過程本身就是人和計(jì)算機(jī)之間的通信。好的輸入法會(huì)自覺或不自覺地遵循通信的數(shù)學(xué)模型刹碾。當(dāng)然要做出最有效的輸入法燥撞，應(yīng)當(dāng)自覺使用信息論做指導(dǎo)。
1　輸入法與編碼
2　輸入一個(gè)漢字需要敲多少個(gè)鍵——談?wù)勏戕r(nóng)第一定理
3　拼音轉(zhuǎn)漢字的算法
4　延伸閱讀：個(gè)性化的語言模型
5　小結(jié)

第22章　自然語言處理的教父馬庫斯和他的優(yōu)秀弟子們

將自然語言處理從基于規(guī)則的研究方法轉(zhuǎn)到基于統(tǒng)計(jì)的研究方法上迷帜，賓夕法尼亞大學(xué)的教授米奇馬庫斯功不可沒物舒。他創(chuàng)立了今天在學(xué)術(shù)界廣泛使用的LCD語料庫，同時(shí)培養(yǎng)了一大批精英人物戏锹。
1　教父馬庫斯
2　從賓夕法尼亞大學(xué)走出的精英們

第23章　布隆過濾器

日常生活中冠胯，經(jīng)常要判斷一個(gè)元素是否在一個(gè)集合中。布隆過濾器是計(jì)算機(jī)工程中解決這個(gè)問題最好的數(shù)學(xué)工具锦针。
1　布隆過濾器的原理
2　延伸閱讀：布隆過濾器的誤識別問題
3　小結(jié)

第24章　馬爾可夫鏈的擴(kuò)展——貝葉斯網(wǎng)絡(luò)

貝葉斯網(wǎng)絡(luò)是一個(gè)加權(quán)的有向圖荠察，是馬爾可夫鏈的擴(kuò)展。而從認(rèn)識論的層面看：貝葉斯網(wǎng)絡(luò)克服了馬爾可夫鏈那種機(jī)械的線性約束奈搜，它可以把任何有關(guān)聯(lián)的事件統(tǒng)一到它的框架下面悉盆。它在生物統(tǒng)計(jì)、圖像處理媚污、決策支持系統(tǒng)和博弈論中都有廣泛的使用舀瓢。
1　貝葉斯網(wǎng)絡(luò)
2　貝葉斯網(wǎng)絡(luò)在詞分類中的應(yīng)用
3　延伸閱讀：貝葉斯網(wǎng)絡(luò)的訓(xùn)練
4　小結(jié)

第25章　條件隨機(jī)場、文法分析及其他

條件隨機(jī)場是計(jì)算聯(lián)合概率分布的有效模型耗美，而句法分析似乎是英文課上英語老師教的東西京髓，這兩者有什么聯(lián)系呢？
1　文法分析——計(jì)算機(jī)算法的演變
2　條件隨機(jī)場
3　條件隨機(jī)場在其他領(lǐng)域的應(yīng)用
4　小結(jié)

第26章　維特比和他的維特比算法

維特比算法是現(xiàn)代數(shù)字通信中使用最頻繁的算法商架，同時(shí)也是很多自然語言處理的解碼算法堰怨。可以毫不夸張地講蛇摸，維特比是對我們今天生活的影響力最大的科學(xué)家之一备图，因?yàn)槿缃窕贑DMA的3G移動(dòng)通信標(biāo)準(zhǔn)主要就是他創(chuàng)辦的高通公司制定的。
1　維特比算法
2　CDMA技術(shù)——3G移動(dòng)通信的基礎(chǔ)
3　小結(jié)

第27章　上帝的算法——期望最大化算法

只要有一些訓(xùn)練數(shù)據(jù)赶袄，再定義一個(gè)最大化函數(shù)揽涮，采用EM算法，利用計(jì)算機(jī)經(jīng)過若干次迭代饿肺，就可以得到所需要的模型蒋困。這實(shí)在是太美妙了，這也許是我們的造物主刻意安排的敬辣。所以我把它稱作上帝的算法雪标。
1　文本的自收斂分類
2　延伸閱讀：期望最大化和收斂的必然性
3　小結(jié)

第28章　邏輯回歸和搜索廣告

邏輯回歸模型是一種將影響概率的不同因素結(jié)合在一起的指數(shù)模型零院，它不僅在搜索廣告中起著重要的作用，而且被廣泛應(yīng)用于信息處理和生物統(tǒng)計(jì)中村刨。
1　搜索廣告的發(fā)展
2　邏輯回歸模型
3　小結(jié)

第29章　各個(gè)擊破算法和Google云計(jì)算的基礎(chǔ)

Google頗為神秘的云計(jì)算中最重要的MapReduce工具告抄，其原理就是計(jì)算機(jī)算法中常用的“各個(gè)擊破”算法，它的原理原來這么簡單——將復(fù)雜的大問題分解成很多小問題分別求解嵌牺，然后再把小問題的解合并成原始問題的解打洼。由此可見，在生活中大量用到的髓梅、真正有用的方法常常都是簡單樸實(shí)的拟蜻。
1　分治算法的原理
2　從分治算法到MapReduce
3　小結(jié)

第30章　Google大腦和人工神經(jīng)網(wǎng)絡(luò)

Google大腦并不是一個(gè)什么都能思考的大腦，而是一個(gè)很能計(jì)算的人工神經(jīng)網(wǎng)絡(luò)枯饿。因此，與其說Google大腦很聰明诡必，不如說它很能算奢方。不過，換個(gè)角度來說爸舒，隨著計(jì)算能力的不斷提高蟋字，計(jì)算量大但簡單的數(shù)學(xué)方法有時(shí)能夠解決很復(fù)雜的問題。
1　人工神經(jīng)網(wǎng)絡(luò)
2　訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)
3　人工神經(jīng)網(wǎng)絡(luò)與貝葉斯網(wǎng)絡(luò)的關(guān)系
4　延伸閱讀：Google大腦
5　小結(jié)

第31章　大數(shù)據(jù)的威力——談?wù)剶?shù)據(jù)的重要性

如果說在過去的40年里扭勉，主導(dǎo)全球IT產(chǎn)業(yè)發(fā)展的是摩爾定律鹊奖，那么在今后的20年里，主導(dǎo)IT行業(yè)繼續(xù)發(fā)展的動(dòng)力則來自于數(shù)據(jù)涂炎。
切比雪夫不等式：
$$
P(|X-E(X)| \geq \varepsilon) < \frac{\sigma^{2}}{n \varepsilon^2}
$$
樣本數(shù)足夠多時(shí)忠聚，一個(gè)隨機(jī)變量和它的數(shù)學(xué)期望值之間的誤差可以任意小。

根據(jù)點(diǎn)擊數(shù)據(jù)可以訓(xùn)練一個(gè)概率模型唱捣，來決定搜索結(jié)果的排列順序两蟀。這個(gè)搜索算法被稱為點(diǎn)擊模型，只要統(tǒng)計(jì)數(shù)量足夠震缭，這種根據(jù)點(diǎn)擊確定的排名就非常準(zhǔn)確赂毯。點(diǎn)擊模型貢獻(xiàn)了今天搜索排序至少60%的權(quán)重。搜索行業(yè)存在馬太效應(yīng)拣宰，搜索量不足的搜索引擎因?yàn)橛脩酎c(diǎn)擊數(shù)據(jù)量的不足党涕，搜索質(zhì)量會(huì)越變越差；相反巡社，質(zhì)量好的搜索引擎會(huì)因?yàn)閿?shù)據(jù)量大而越變越好膛堤。
[博客][http://blog.csdn.net/wenyusuran/article/details/40780435]