信息量的定義：
信息量度量的是一個(gè)具體事件發(fā)生所帶來(lái)的信息恕曲，衡量信息量大小就看這個(gè)信息消除不確定性的程度蟀悦；
信息量的大小和事件發(fā)生的概率成反比仁期。
信息熵的定義：
信息量度量的是一個(gè)具體事件發(fā)生所帶來(lái)的信息计螺，而熵則是在結(jié)果出來(lái)之前對(duì)可能產(chǎn)生的信息量的期望——考慮該隨機(jī)變量的所有可能取值蕾各，即所有可能發(fā)生事件所帶來(lái)的信息量的期望蕊温。
信息熵是用來(lái)衡量事物不確定性的袱箱。信息熵越大遏乔，事物越具不確定性，事物越復(fù)雜发笔。
