信息與物質(zhì)一樣, 也是實在的, 它也有度量, 如同質(zhì)量的是物質(zhì)密度的度量. 信息也存在一種度量,叫信息熵
任何一條信息, 可以用任何你想得到的方式, 工具來表示, 但它有一個臨界的度量值, 這是它本質(zhì)固有的, 不跟你選擇的工具或方法而異.
比如, 你要表示一個二元的信號量, 即只有開和關(guān)兩個狀態(tài), 可以用下面的任一方式來表示:
- 用一盞燈來表示: 暗表示關(guān), 亮表示開.
- 也可以用兩盞燈來表示, 紅的表示關(guān), 綠的表示開.
- 甚至你可以用三盞燈來表示, 比如紅紅紅表示關(guān), 綠綠綠表示開.
- . ...
- . ...
可以想見, 你可以用任何你能想像的數(shù)量的燈來表示這個信息. 但是, 無論多少, 都只表示了兩種狀態(tài). 這本質(zhì)地暗含: 這個信息最少需要用１盞燈來表示, 或者說１個單位的信息熵.
那如果信息是個三元量, 有開, 關(guān), 半開半關(guān),
則顯然,∷构弧１盞燈(假定這燈非亮即滅)是無論如何也表示不了的. 容易證明, 至少需要２盞燈.
由此, 可以發(fā)現(xiàn), 任何一條信息, 都存在一個臨界的度量, 用少于這個度量的方式, 你勢必無法完全地表示這個信息, 換句話說, 你會丟失信息.
所以, 你可以壓縮信息, 就如同開始用１０盞燈來表示開和關(guān)兩個狀態(tài), 壓縮后變成只用１盞燈來表示, 但無法再繼續(xù)減少燈的數(shù)量了. 對于壓縮, 同理.
