? ? 工業(yè)時(shí)代我們習(xí)慣了牛頓的思維模式，一切都是確定性的睡腿、可測(cè)量的语御、可觀測(cè)的、可預(yù)測(cè)的嫉到，當(dāng)然牛頓世界觀改變了我們的生活沃暗，對(duì)于我們還是至關(guān)重要的，但是你有沒有發(fā)現(xiàn)呢現(xiàn)在好多事物都是不確定性的何恶。比如股市的此起彼伏孽锥，不管多么重量級(jí)的人去預(yù)測(cè)總有很多的失誤很大的不確定性。面對(duì)這個(gè)不確定性的世界我們?cè)撊绾螒?yīng)對(duì)呢细层？下面給大家介紹下香農(nóng)的信息論惜辑，從信息的角度來理解不確定性。
1.如何度量信息
? ? 香農(nóng)把信息和世界的不確定性（無序狀態(tài)）聯(lián)系到了一起疫赎，稱作信息熵盛撑，可以用來度量信息。熵用來描述一個(gè)系統(tǒng)中趨向于恒溫的程度捧搞，當(dāng)這個(gè)系統(tǒng)完全達(dá)到恒溫時(shí)就無法做功了抵卫，這時(shí)熵最大。
? ? 那么可以用信息來消除這種不確定性嗎胎撇？玻爾茲曼給我們介紹了一種方法論介粘，把熵（宏觀特性）和封閉系統(tǒng)的無序狀態(tài)（每一個(gè)分子的微觀特性u(píng)）聯(lián)系起來。E＝Klog (u)
信息論是建立在不確定性基礎(chǔ)上晚树，要消除不確定性就要引入信息姻采。用不確定性眼光看世界，再用信息消除不確定性爵憎。
2.對(duì)具有相關(guān)性的信息又該如何度量呢
? ? ? 互信息這個(gè)概念實(shí)現(xiàn)了對(duì)相關(guān)性的量化度量慨亲，相關(guān)性。
3.香農(nóng)的兩個(gè)定律
? ? 兩個(gè)相關(guān)信息處理和通信的最基本的規(guī)律即香農(nóng)第一定理宝鼓。對(duì)于信源發(fā)出的所有信息設(shè)計(jì)一種編碼刑棵，那么編碼的平均長(zhǎng)度一定大于該信源的信息熵，但一定存在一種編碼方式(最優(yōu)的)使得編碼的平均長(zhǎng)度無限接近于它的信息熵(不確定性)愚铡。比如說給漢字編碼铐望，怎么做到最優(yōu)化呢？霍夫曼給了一個(gè)非常簡(jiǎn)單的方法－只要把只要把最短的編碼分配給最常見的漢字即可。與經(jīng)濟(jì)學(xué)上的吉爾德定律即盡量多地采用便宜的資源正蛙，盡可能節(jié)省貴的資源督弓，本質(zhì)上是相同的。摩爾定律使得計(jì)算機(jī)越來越便宜乒验，人力成本越來越貴愚隧，用機(jī)器替代人力就是很好的例子。
? ? 香農(nóng)第二定律即信息的傳播速率不可能超過信道的容量锻全。比如互聯(lián)網(wǎng)發(fā)展的各個(gè)階段實(shí)際上是建立在不斷拓寬帶寬的基礎(chǔ)之上的狂塘。早期使用電話調(diào)制解調(diào)器，到使用DSL（數(shù)字用戶線路）再到后來使用寬帶電纜鳄厌，最后光纖都是圍繞著不斷增加信道容量而進(jìn)行的荞胡。如人脈就是人與人交往的寬帶，人脈越多發(fā)出的信息和獲得的信息越多了嚎，生意做的也就越大泪漂。
? ? 信息時(shí)代的香農(nóng)定律就相當(dāng)于工業(yè)時(shí)代的牛頓定律，用不確定性來看待世界歪泳，再永信息來消除這種不確定性萝勤。
4.最大熵原理
? ? ? 最大熵原理即當(dāng)我們要對(duì)未知事件尋找一個(gè)概率模型時(shí)，這個(gè)模型應(yīng)當(dāng)滿足我們所有已經(jīng)看到的數(shù)據(jù)呐伞，但對(duì)未知的情況不要做任何主觀假設(shè)敌卓。被廣泛用于機(jī)器學(xué)習(xí)。已經(jīng)不同于“大膽假設(shè)伶氢、小心求證”的方法論趟径，因?yàn)樗蟛灰胫饔^的假設(shè)。不做主觀假設(shè)的前提是取得了足夠多的數(shù)據(jù)癣防，否則最大熵模型只能給出一些平均值而已蜗巧，而不能對(duì)任何細(xì)節(jié)進(jìn)行描述和預(yù)測(cè)。
? ? 人最難改變的就是人的思維模式劣砍，但是我們已經(jīng)無法選擇了惧蛹，必須接受這個(gè)世界扇救。學(xué)會(huì)用不確定性來看待這個(gè)世界刑枝，用概率思維來看待這個(gè)世界，用自己盡可能多的信息來消除不確定性迅腔。希望能對(duì)你有用装畅，有啟發(fā)。
