一、度量的概念
??在自然界中的物體都是有單位可以度量的食听，比如蘋果的重量可以采用 克胸蛛、千克等單位衡量。人體的身高 可以采用cm樱报、m等單位來衡量葬项。那么信息呢？ 信息應(yīng)該采用什么來衡量的迹蛤。
??信息還包括有價(jià)值信息和無價(jià)值信息民珍。我們在度量信息時(shí)襟士，應(yīng)該度量的是那部分的信息量呢？
二嚷量、重量的度量
??首先敌蜂，先來考察下一箱蘋果重量的度量。 現(xiàn)實(shí)中津肛，我們知道1KG重量這個(gè)標(biāo)準(zhǔn)單位，也就是具體1KG的重量是多少汗贫。那么在衡量一箱蘋果的重量時(shí)身坐，我們只需要考察這一箱蘋果的重量等于多少個(gè)1KG的總和，就能衡量出這一箱蘋果的重量落包。
??其次部蛇，我們在進(jìn)一步抽象，假如我們起先定義一個(gè)重量為M的一個(gè)物體咐蝇， 那么要衡量一箱蘋果的重量G涯鲁，我們只需要計(jì)算一箱蘋果的重量等于多少M(fèi)就可以了， 也就是 G/M有序。
?? 故抹腿，質(zhì)量為M的物體為參照物(單位)。一箱蘋果為待測物體旭寿。同時(shí)警绩，也得出一個(gè)重要的概念，待測物體一定是可以細(xì)分 為參照物的盅称。
三肩祥、熵--信息不確定性的度量
?? 由于現(xiàn)實(shí)中的信息都具有不確定性，那么如何度量信息的不確定性呢缩膝？按照二中的思路混狠，我們需要找到一種參考信息的不確定性來衡量，而且該參考信息的不確定性是有信息細(xì)分而來的疾层。
?? 舉例描述一：
?? 假如待測事件為将饺，拋擲3次硬幣的最終正反結(jié)果。由此可見待測事件具有不確定性云芦。選擇每次拋擲硬幣的不確定性作為度量結(jié)果俯逾，也就是沒次拋擲一次硬幣的度量結(jié)果為2(正反為單位)。
??在質(zhì)量的度量中舅逸，待測物體質(zhì)量 = 次數(shù) * 度量單位桌肴。 而在當(dāng)前信息的度量時(shí)，情況則不同琉历。因?yàn)?待測拋硬幣的不確定性 = 2^度量單位坠七。這是一種指數(shù)關(guān)系水醋，而非乘數(shù)關(guān)系。
??那么彪置，這里的信息度量 = log2(待測拋硬幣的不確定性).當(dāng)然拄踪，這里假定硬幣的正反結(jié)果出現(xiàn)的概率都是均等的50%。
?? 舉例描述二：
?? 我們將情況推廣到更一般的情形拳魁，選取一個(gè)信息的參考物(注意信息的參考物選取是一定的惶桐，只有正確 或者錯(cuò)誤兩種情況，我們稱為bit)潘懊。
??選取任何一個(gè)信息事件來度量姚糊，那么首先將該信息事件拆解為n個(gè)參考物信息。衡量每個(gè)拆分后的參考物信息在待度量信息中發(fā)生的概率授舟。這樣就可以度量出 該待測信息中 某一參考物的熵救恨，pi * log2(1/pi)。 將所有的拆分結(jié)果全部加起來就是 該信息的熵释树。
故：
均勻分布時(shí)：熵為 log2(M)
一般分布時(shí)：熵為 \sigma Pi*log2(1/Pi)
