百科事典棒
在引入具體地數學討論之前，我們先來聊一個好玩的腦洞射赛。這個腦洞據說出自村上春樹的《世界盡頭與冷酷仙境》多柑，后來幾經輾轉被寫進《天才在左，瘋子在右》這本書里楣责。腦洞假定了存在某個外星文明掌握了非常高的科技竣灌，外星人來到地球后將地球上的所有知識進行數字編碼得到一個很長的數字串，在數字串最前面加上一個小數點腐魂，那么這串數字就會變成一個介于0-1之間的實數帐偎，外星人只要優(yōu)雅地拿出一根牙簽，將牙簽的長度視為1蛔屹，在這個實數對應的點的位置做一個記號削樊，便可以將地球文明的所有信息記錄并帶回自己的星球做研究。
這是一個蠻有趣的腦洞兔毒，它引出這樣一個問題：我們能否利用實數的無限性漫贞，來傳遞任意長度的信息呢？
香農定理
敏銳的同學可能已經發(fā)現育叁，上文中的腦洞的關鍵漏洞在于迅脐，我們無法做到無限的精度。在低精度下我們可以忽略很多誤差豪嗽，但是隨著精度的升高谴蔑，那些誤差會變成足以改變信息的誤會。
香農定理龟梦，就是在探究隐锭，在一定的誤差范圍下，能夠傳輸的不會因誤差產生誤會的信息最多能有多少计贰。
我們將這個牙簽的長度設為256钦睡，假設誤差不超過0.5，那么躁倒，我們可以將牙簽分成256段荞怒，從到
, 這樣我們就可以用這個牙簽傳輸8bit的數據，只要在這個數據對應的二進制的那一段的正中間下刀即可--我們的誤差限制保證了我們想要下刀的地方和實際下刀的地方一定在同一段秧秉，也就是所謂的“誤差不足以產生誤解”褐桌。
如果將牙簽長度看做總功率，誤差的總波動范圍看做噪聲功率象迎，那么信息功率與噪聲功率的比例就是127撩嚼，將信噪比寫作S/N, 則我們一次信號傳輸的信息量最多是bit,然后香農公式就出來了。
當然，香農公式的嚴格證明比這個復雜的多完丽，這里只是提供一個非常直觀淺顯的解釋恋技。
