前言：自己一直很懊悔舍咖，初中時(shí)因厭惡數(shù)學(xué)老師矩父，跟其做對(duì)，然后被他暴打一頓排霉，本來(lái)不錯(cuò)的數(shù)學(xué)因此一落千丈窍株，高中便選擇了文科。 自此攻柠，數(shù)學(xué)就沒(méi)有及格過(guò)球订。若是在初中時(shí)，遇到吳君軍大神的這本書(shū)瑰钮，對(duì)數(shù)學(xué)的興趣一定陡生冒滩。
第一部分：信息論
看了這本書(shū)最值得分享的，就是信息論浪谴】總覺(jué)得這門(mén)學(xué)問(wèn)因苹，有著難以言表的強(qiáng)大，好吧篇恒，我又在瞎逼逼地廢話(huà)了扶檐。
香農(nóng)是誰(shuí)？
信息論的開(kāi)創(chuàng)者是香農(nóng)博士胁艰，生于1916年款筑，我認(rèn)為他最牛逼的地方是提出了一套測(cè)量信息的方法。
大家想想看腾么，
我們每天走了多少路奈梳，可以測(cè)量距離，使用步數(shù)解虱；想知道我們自己的體重攘须，可以測(cè)量重量，使用重量單位殴泰，如kg阻课；
那我們每天交流的信息呢，有多少的量呢艰匙，該怎么測(cè)量呢限煞？
香農(nóng)說(shuō)，我們可以測(cè)量信息中的熵值员凝，單位是比特署驻。
他在1948年，通信的數(shù)學(xué)原理健霹，這篇論文中旺上，正式提了出來(lái)，之后信息論發(fā)展成為顯學(xué)糖埋，深深影響了之后的時(shí)代宣吱，當(dāng)然，我們現(xiàn)在所處的信息科技時(shí)代瞳别，更是站在了香農(nóng)這位巨人的肩膀上的征候。
如何測(cè)算信息的量呢？
如果我告訴你兩個(gè)信息：
- 太陽(yáng)從東邊出來(lái)祟敛。
- 明天會(huì)出太陽(yáng)疤坝，是晴天。
你覺(jué)得哪個(gè)信息的信息量更大呢馆铁？
首先跑揉，太陽(yáng)從東邊出來(lái)，是你本來(lái)就知道的信息，所以這個(gè)對(duì)你來(lái)講历谍，一定算不得有信息量现拒；
但是，你不知道明天的天氣是晴天望侈，還是雨天具练，我告訴了你，明天是晴天甜无，你可以不用準(zhǔn)備一把傘了，這對(duì)于你來(lái)講哥遮，一定比上一條信息更有價(jià)值岂丘，我們可以理解為，第二條信息更有信息量眠饮。這個(gè)我想大家不會(huì)有太大的爭(zhēng)議奥帘。
那么，請(qǐng)問(wèn)仪召，這兩條信息之間的差別到底是什么寨蹋？
那就是不確定性。
如果扔茅，我問(wèn)你"太陽(yáng)從哪邊出來(lái)已旧？"，從你腦海中只有一個(gè)可能的選項(xiàng)：東邊召娜。 你不需要引入其他的信息运褪，就能回答這個(gè)問(wèn)題。
但如果玖瘸，我問(wèn)你"明天的天氣怎樣秸讹？"，你腦海中會(huì)有晴天雅倒，陰天璃诀，雨天，雪天蔑匣。劣欢。。裁良，至少5個(gè)可能性的選項(xiàng)氧秘，此時(shí)的狀態(tài)可以稱(chēng)為充滿(mǎn)5種不確定性。
而我告訴你明天是晴天趴久，是不是相當(dāng)于直接幫你消除了4種不確定性丸相，那么我這段信息的量肯定遠(yuǎn)高于第一種啊。
所以彼棍，可以簡(jiǎn)單總結(jié)為：
想知道一條信息的信息量大小灭忠，就去測(cè)量其中不確定性的多少膳算。 （就如想知道一輛車(chē)性能如何，可以去測(cè)他的行駛速度弛作。）
這點(diǎn)理解后涕蜂，那么我們?cè)撊绾稳ゾ_地計(jì)算一段信息中的量，有多少單位呢映琳？ 或者更官方地說(shuō)机隙，其信息量有多少比特呢？
那咱們來(lái)回答這樣一個(gè)問(wèn)題吧：
世界杯足球賽萨西，入圍的一共有32只球隊(duì)有鹿，但你并沒(méi)有看比賽，卻又想知道冠軍是哪只球隊(duì)谎脯，你能猜出哪只是冠軍球隊(duì)嗎葱跋？
如果你沒(méi)有任何足球常識(shí)的話(huà)，那么這個(gè)問(wèn)題的答案源梭，就有32個(gè)可能性選項(xiàng)娱俺，你需要引入足夠的信息，消除掉其中的31個(gè)可能性選項(xiàng)废麻。
（引入信息荠卷，消除不確定性）
好吧，雖然你沒(méi)看比賽烛愧，但是我看了僵朗，我知道結(jié)果，所以你來(lái)問(wèn)我到底誰(shuí)是冠軍屑彻？
但验庙，俺是一個(gè)愛(ài)錢(qián)的人，所以我讓你猜社牲，然后只提示你粪薛，猜測(cè)得對(duì)還是不對(duì)，但是你每猜一次搏恤，我就收你一塊錢(qián)违寿？ 那么，你要花多少錢(qián)熟空，才能猜到呢藤巢？
如果你憑感覺(jué)猜得話(huà)，最多可能會(huì)花32元息罗，當(dāng)然一下命中的話(huà)掂咒，只需要花1元錢(qián)。
不過(guò)，如果你對(duì)足球和各大球隊(duì)绍刮，一點(diǎn)都不了解的話(huà)温圆，有一種方法，能夠保證只花5塊錢(qián)孩革，絕對(duì)能猜出來(lái)岁歉。
你把32支球隊(duì)，從1到32編上號(hào)膝蜈。對(duì)半分成兩組锅移，即1－16號(hào)為A組，17－31號(hào)為B組饱搏，然后問(wèn)我：冠軍在A組嗎非剃？ 如果我回答是，你就把A組再對(duì)半分組窍帝，繼續(xù)問(wèn)；當(dāng)然诽偷，我回答不是坤学，你就把B組對(duì)半分組，繼續(xù)問(wèn)报慕，重復(fù)這個(gè)過(guò)程深浮，只需要問(wèn)5次，就會(huì)得到最終結(jié)果眠冈。
然后飞苇，你開(kāi)心地給我5塊錢(qián)。
根據(jù)信息論蜗顽，這5塊錢(qián)就是這條消息的信息量布卡。
當(dāng)然，信息的單位不是錢(qián)雇盖，而是比特忿等。
嚴(yán)格來(lái)說(shuō)，這條消息的信息量崔挖，就是5比特贸街。
當(dāng)然，如果你具備足球常識(shí)狸相，知道冠軍球隊(duì)只會(huì)在西班牙薛匪，巴西，德國(guó)脓鹃，意大利這些強(qiáng)隊(duì)中產(chǎn)生逸尖，那么你可能只需要兩三元就能猜到，也就說(shuō)這條消息的信息量對(duì)于懂足球的人來(lái)說(shuō)，就更低了冷溶。
也許有好奇寶寶會(huì)問(wèn)渐白，"你這樣也沒(méi)有告訴我，到底如何計(jì)算一條信息的信息量俺哑怠纯衍？"
還是回到剛才的猜球隊(duì)的例子，我們從32支球隊(duì)中苗胀，猜出冠軍襟诸，花了5次分組核實(shí)。 那你知道基协，這個(gè)32和5歌亲，之間是什么關(guān)系嗎？
2^5=32
如果你還記得一點(diǎn)對(duì)數(shù)log的概念澜驮，那么信息論的大門(mén)就被你打開(kāi)了陷揪。
log^32=5
信息量的比特?cái)?shù)就等于所有可能情況的對(duì)數(shù)。
好吧杂穷，記住這個(gè)公式
H＝－（p.log^p)
通過(guò)這個(gè)公式悍缠，就能準(zhǔn)確計(jì)算出一段信息的信息量有多少啦。
