以下內(nèi)容學習、摘錄自《數(shù)學之美》
我們常常說信息很多朋其，或者信息較少王浴，但卻很難說清楚信息到底有多少。比如梅猿，一本50多萬字的中文書《史記》到底有多少信息量氓辣。我們也常說信息有用，那么它的作用是如何客觀袱蚓、定量地體現(xiàn)出來的呢?信息用途的背后是否有理論基礎(chǔ)呢?對于這兩個問題钞啸，幾千年來都沒有人給出很好的解答。直到1948年喇潘，香農(nóng)( ClaudeShannon)在他著名的論文“通信的數(shù)學原理”( A Mathematic Theory ofCommunication)中提出了“信息熵”的概念体斩，才解決了信息的度量問題，并且量化出信息的作用颖低。
一條信息的信息量與其不確定性有著直接的關(guān)系絮吵。比如說，我們要搞清楚一件非常非常不確定的事忱屑，或是我們一無所知的事情蹬敲，就需要了解大量的信息。相反莺戒，如果已對某件事了解較多伴嗡，則不需要太多的信息就能把它搞清楚。所以从铲，從這個角度來看瘪校，可以認為，信息量就等于不確定性的多少名段。
那么如何量化信息量的度量呢?來看一個例子阱扬。大家都很關(guān)心誰會是世界杯足球賽冠軍。假如我錯過了看世界杯吉嫩，賽后我問一個知道比賽結(jié)果的觀眾“哪支球隊是冠軍”?他不愿意直接告訴我价认，而讓我猜嗅定，并且我每猜一次自娩，他要收一元錢才肯告訴我是否猜對了，那么我要掏多少錢才能知道誰是冠軍呢?我可以把球隊編上號渠退，從1到32忙迁，然后提問:“冠軍球隊在1-16號中嗎?”假如他告訴我猜對了，我會接著問:“冠軍在1-8號中嗎?”假如他告訴我猜錯了碎乃，我自然知道冠軍隊在9-16號中姊扔。這樣只需要五次，我就能知道哪支球隊是冠軍梅誓。所以恰梢，誰是世界杯冠軍這條消息的信息量只值5塊錢佛南。
當然，香農(nóng)不是用錢嵌言，而是用“比特”(Bit)這個概念來度量信息量嗅回。一個比特是一位二進制數(shù)，在計算機中摧茴，一個字節(jié)就是8比特绵载。在上面的例子中，這條消息的信息量是5比特苛白。(如果有朝一日有64支球隊進人決賽階段的比賽娃豹，那么“誰是世界杯冠軍”的信息量就是6比特，因為要多猜一次购裙。)讀者可能已經(jīng)發(fā)現(xiàn)懂版，信息量的比特數(shù)和對數(shù)函數(shù)log有關(guān)：log32=5，log64=6躏率。
有些讀者會發(fā)現(xiàn)實際上可能不需要猜五次就能猜出誰是冠軍定续，因為像西班牙、巴西禾锤、德國私股、意大利這樣的球隊奪得冠軍的可能性比日本、南非恩掷、韓國等球隊大得多倡鲸。因此，第一次猜測時不需要把32支球隊等分成兩個組黄娘，而可以把少數(shù)幾支最可能的球隊分成一組峭状，把其他球隊分成另一組。然后猜冠軍球隊是否在那幾支熱門隊中逼争。重復這樣的過程优床，根據(jù)奪冠概率對余下候選球隊分組，直至找到冠軍隊誓焦。這樣胆敞，也許三次或四次就猜出結(jié)果。因此杂伟，當每支球隊奪冠的可能性(概率)不等時移层，“誰是世界杯冠軍”的信息量比5比特少。
香農(nóng)指出赫粥，它的準確信息量應該是：
H=-(P1·logP1+P2·logP2+…+P32·logP32)
其中观话，P1，P2越平，…频蛔，P32分別是這32支球隊奪冠的概率灵迫。香農(nóng)把它稱為“信息熵”（Entropy），一般用符號H表示晦溪，單位是比特龟再。
有了“熵”這個概念，就可以回答本文開始提出的問題尼变，即一本50萬字的中文書平均有多少信息量利凑。我們知道，常用的漢字(一級二級國標)大約有7000字嫌术。假如每個字等概率哀澈，那么大約需要13比特(即13位二進制數(shù))表示一個漢字。但漢字的使用頻率不是均等的度气。實際上割按，前10%的漢字占常用文本的95%以上。因此磷籍，即使不考慮上下文的相關(guān)性适荣，而只考慮每個漢字的獨立概率，那么院领，每個漢字的信息熵大約也只有8-9比特弛矛。如果再考慮上下文相關(guān)性，每個漢字的信息熵就只有5比特左右比然。所以丈氓，一本50萬字的中文書，信息量大約是250萬比特强法。
需要指出的是這里講的250萬比特是個平均數(shù)万俗，同樣長度的書，所含的信息量可以相差很多饮怯。如果一本書重復的內(nèi)容很多闰歪，它的信息量就小，冗余度就大蓖墅。不同語言的冗余度差別很大库倘，而漢語在所有語言中冗余度是相對小的大家可能都有這個經(jīng)驗，一本英文書置媳，翻譯成漢語于樟，如果字體大小相同那么中譯本一般都會薄很多。這和人們普遍的認識一漢語是最簡潔的語言一是一致的拇囊。
自古以來，信息和消除不確定性是相聯(lián)系的靶橱。在英語里寥袭，信息和情報是同一個詞(information)路捧，而我們知道情報的作用就是排除不確定性。
網(wǎng)頁搜索本質(zhì)上也是利用信息（用戶輸入的關(guān)鍵字）消除不確定性的過程传黄。如果提供的信息不夠多杰扫，比如搜索詞是常用的關(guān)鍵詞，諸如“中國”膘掰、“經(jīng)濟”之類的章姓，那么會有好多相關(guān)的結(jié)果，用戶可能還是無從選擇识埋。這時正確的做法是挖掘新的隱含信息凡伊，比如網(wǎng)頁本身的質(zhì)量信息。如果這些信息還是不夠消除不確定性窒舟，不妨再問問用戶系忙。這就是相關(guān)搜索的理論基礎(chǔ)。不正確的做法是在這個關(guān)鍵詞上玩數(shù)字和公式的游戲惠豺，由于沒有額外的信息引入银还，這種做法沒有效果，這就是很多做搜索質(zhì)量的人非常辛苦卻很少有收獲的原因洁墙。最糟糕的做法是引入人為的假設(shè)蛹疯，這和“蒙”沒什么差別。其結(jié)果是似乎滿足了個別用戶的口味热监，但是對大部分用戶來講搜索結(jié)果反而變得更糟苍苞。合理利用信息，而非玩弄什么公式和機器學習算法狼纬，是做好搜索的關(guān)鍵羹呵。知道的信息越多，隨機事件的不確定性就越小疗琉。
當獲取的信息和要研究的事物“有關(guān)系”時冈欢，這些信息才能幫助我們消除不確定性。當然“有關(guān)系”這種說法太模糊盈简，太不科學凑耻，最好能夠量化地度量“相關(guān)性”。比如常識告訴我們柠贤，一個隨機事件“過去24小時北京空氣的濕度”和隨機變量“今天北京下雨”的相關(guān)性很大香浩，但似乎就和“舊日金山的天氣”相關(guān)性不大。為此臼勉，香農(nóng)在信息論中提出了一個“互信息”（Mutual Information）的概念作為兩個隨機事件“相關(guān)性”的量化度量邻吭。
機器翻譯中，最難的兩個問題之一是詞義的二義性(又稱歧義性宴霸，Ambiguation)問題囱晴。有一個笑話膏蚓，2004年美國總統(tǒng)競選被稱為“灌木叢”總統(tǒng)，“小母呕矗”參議員的競爭”（Bush一詞可以是美國總統(tǒng)布什的名字驮瞧，也可以是灌木叢；Kerry可以是美國副總統(tǒng)克里的名字枯芬，也可以是小母牛）论笔。具體的解決辦法大致如下:首先從大量文本中找出和總統(tǒng)布什一起出現(xiàn)的互信息最大的一些詞，比如總統(tǒng)千所、美國狂魔、國會、華盛頓真慢，等等毅臊，當然，再用同樣的方法找出和灌木叢一起出現(xiàn)的互信息最大的詞黑界，比如土壤管嬉、植物、野生朗鸠，等等蚯撩。有了這兩組詞，在翻譯Bush時烛占，看看上下文中哪類相關(guān)的詞多就可以了胎挎。
信息熵不僅是對信息的量化度量而且是整個信息論的基礎(chǔ)。它對于通信忆家、數(shù)據(jù)壓縮犹菇、自然語言處理都有很大的指導意義。信息熵的物理含義是對一個信息系統(tǒng)不確定性的度量芽卿，在這一點上揭芍，它和熱力學中熵的概念有相似之處，因為后者就是一個系統(tǒng)無序的度量卸例，從另一個角度講也是對一種不確定性的度量称杨。這說明科學上很多看似不同的學科之間也會有很強的相似性。
對信息論有興趣又有一定數(shù)學基礎(chǔ)的讀者筷转，可以閱讀斯坦福大學托馬斯·科弗( Thomas Cover)教授的專著《信息論基礎(chǔ)》( Elements ofInformation Theory)姑原。
