Entropy

Entropy（熵）

一個(gè)信息源發(fā)出多種信號，如果某個(gè)信號概率大肤舞，那么它后面出現(xiàn)的機(jī)會也大冲秽，不確定性會小磨确。反之就會機(jī)會小，不確定性就大也榄，即不確定性函數(shù) f 是概率 p 的單調(diào)遞減函數(shù)。

那如果有兩個(gè)信號A、B纷闺，他們產(chǎn)生的不確定性應(yīng)該是各自不確定性的和，即 $f(P_{A},P_{B}) = f(P_{A}) + f(P_{B})$ ,它們具有可加性份蝴。

那么不確定性 f 的函數(shù)體要滿足幾個(gè)條件：1.單調(diào)遞減 2.具有可加性 3. $f(p)\geq0(p\geq0)$ 所以很容易想到對數(shù)函數(shù)犁功，即 $f(P) = -logP$

%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np

p = np.arange(0.4, 0.99, 0.01)
f = [-1 * np.log2(a) for a in p]
plt.plot(p,f)

image.png

那么如果考慮這個(gè)信息源的不確定性，即是考慮所有信號產(chǎn)生不確定性的統(tǒng)計(jì)平均值婚夫。若信息源產(chǎn)生的各信息 $1..i..n$ 的不確定性有 n 種取值： $U_{1}..U_{i}..U_{n}$ 浸卦，對應(yīng)的概率為 $P_{1}..P_{i}..P_{n}$ ，并且它們彼此獨(dú)立案糙。信息的不確定性應(yīng)該為 $-logP_{i}$ 的統(tǒng)計(jì)平均值(期望)(E)限嫌，這就是信息熵（Information Entropy）,即 $H(U) = E[-logP_{i}] = -\sum_{i=1}^{n} p_{i}logp_{i}$
因?yàn)椴淮_定性是抽象出來的，并非實(shí)際值时捌，所以對于對數(shù)的底數(shù)的取值也并無要求怒医，當(dāng)我們以2為底的時(shí)候，單位為bit奢讨；底是e的時(shí)候稚叹，單位是nat。所以這里用2為底拿诸。

同時(shí)扒袖，有 $0\leq H(U) \leq logn$ ，證明如下（拉格朗日乘子法）：

目標(biāo)函數(shù)： $H(x)=H[p(1),p(2),..,p(n)]=-[p(1)logp(1)+p(2)logp(2)+..+p(n)logp(n)]$

因?yàn)? $p(1)+p(2)+..p(n)=1$

設(shè)置約束條件： $G(x)=g[p(1),p(2),..,p(n),\lambda]=\lambda*[p(1)+p(2)+..+p(n)-1]=0$

設(shè)置拉格朗日函數(shù)：
$L[p(1),p(2),..,p(n),\lambda]=H(x)+G(x)$
對 $p(1),p(2),..,p(n),\lambda$ 依次求偏導(dǎo)佳镜，令偏導(dǎo)為0僚稿，有：
$\frac{\partial L}{\partial p(1)}=\lambda-log[e*p(1)]=0$
$\frac{\partial L}{\partial p(2)}=\lambda-log[e*p(1)]=0$
$...$
$\frac{\partial L}{\partial p(n)}=\lambda-log[e*p(1)]=0$
$\frac{\partial L}{\partial \lambda}=p(1)+p(2)+..+p(n)-1=0$

聯(lián)立得 $p(1)=p(2)=..=p(n)$

即 $p(1)=p(2)=..=p(n)=\frac{1}{n}$

則 $H(\frac{1}{n},\frac{1}{n},..,\frac{1}{n})=-(\frac{1}{n}log\frac{1}{n}+\frac{1}{n}log\frac{1}{n}+..+\frac{1}{n}log\frac{1}{n})=logn$

當(dāng)然最簡單的單符號信號源僅取 0 和 1 兩個(gè)元素，其概率為 P 和 1 - P蟀伸，該信源的熵為下面所示

p = np.arange(0.001, 1, 0.001)
H = [-1 * a * np.log2(a) - (1 - a) * np.log2(1 - a) for a in p]
plt.gca().set_ylim([0,1])
plt.gca().set_xlim([0,1])
plt.plot(p,H)

image.png

Joint entropy(聯(lián)合熵)

當(dāng)我們從一維隨機(jī)變量分布推廣到多維隨機(jī)變量分布蚀同，則其聯(lián)合熵(Joint entropy)為：
$H(X,Y)=-\sum_{x\in\mathcal{X},y\in\mathcal{Y}}p(x,y)logp(x,y)= -\sum_{i=1}^{n} \sum_{j=1}^{m}p(x_{i},y_{j})logp(x_{i},y_{j})$

Conditional entropy（條件熵）

條件熵 $H(Y|X)$ 表示在已知隨機(jī)變量 $X$ 的條件下隨機(jī)變量 $Y$ 的不確定性
條件熵 $H(Y|X) (X \in \mathcal{X},Y \in \mathcal{Y})$ 定義為在 $X$ 給定條件下 $Y$ 的條件概率分布的熵對 $X$ 的數(shù)學(xué)期望:
$H(Y|X) \equiv \sum_{x\in\mathcal{X}}p(x)H(Y|X=x)$
$= -\sum_{x\in\mathcal{X}}p(x)\sum_{y\in\mathcal{Y}}p(y|x)logp(y|x)$
$= -\sum_{x\in\mathcal{X}}\sum_{y\in\mathcal{Y}}p(x,y)logp(y|x)$
$= -\sum_{x\in\mathcal{X},y\in\mathcal{Y}}p(x,y)logp(y|x)$
$= -\sum_{x\in\mathcal{X},y\in\mathcal{Y}}p(x,y)log\frac{p(x,y)}{p(x)}$
$= \sum_{x\in\mathcal{X},y\in\mathcal{Y}}p(x,y)log\frac{p(x)}{p(x,y)}$
同時(shí)缅刽，條件熵 $H(Y|X) = H(X,Y) - H(X)$ ，證明如下：

$H(Y,X) = -\sum_{x\in\mathcal{X},y\in\mathcal{Y}}p(x,y)logp(x,y)$
$= -\sum_{x\in\mathcal{X},y\in\mathcal{Y}}p(x,y)log(p(y|x)p(x))$
$= -\sum_{x\in\mathcal{X},y\in\mathcal{Y}}p(x,y)logp(y|x) - \sum_{x\in\mathcal{X},y\in\mathcal{Y}}p(x,y)logp(x)$
$= H(Y|X)-\sum_{x\in\mathcal{X}}\sum_{y\in\mathcal{Y}}p(x,y)logp(x)$
$= H(Y|X)-\sum_{x\in\mathcal{X}}logp(x)\sum_{y\in\mathcal{Y}}p(x,y)$
$= H(Y|X)-\sum_{x\in\mathcal{X}}logp(x)p(x)$
$= H(Y|X)-\sum_{x\in\mathcal{X}}p(x)logp(x)$
$= H(Y|X)+H(X)$

即為上式所證

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末蠢络，一起剝皮案震驚了整個(gè)濱河市衰猛，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌刹孔，老刑警劉巖啡省，帶你破解...
沈念sama閱讀 222,681評論 6贊 517
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異髓霞，居然都是意外死亡卦睹，警方通過查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 95,205評論 3贊 399
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門方库，熙熙樓的掌柜王于貴愁眉苦臉地迎上來结序，“玉大人，你說我怎么就攤上這事纵潦⌒旌祝” “怎么了？”我有些...
開封第一講書人閱讀 169,421評論 0贊 362
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵邀层，是天一觀的道長返敬。經(jīng)常有香客問我，道長寥院，這世上最難降的妖魔是什么劲赠？我笑而不...
開封第一講書人閱讀 60,114評論 1贊 300
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮只磷，結(jié)果婚禮上经磅，老公的妹妹穿的比我還像新娘。我一直安慰自己钮追，他們只是感情好预厌，可當(dāng)我...
茶點(diǎn)故事閱讀 69,116評論 6贊 398
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著元媚，像睡著了一般轧叽。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上刊棕，一...
開封第一講書人閱讀 52,713評論 1贊 312
城市分裂傳說
那天炭晒，我揣著相機(jī)與錄音，去河邊找鬼甥角。笑死网严，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的嗤无。我是一名探鬼主播震束，決...
沈念sama閱讀 41,170評論 3贊 422
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼怜庸，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了垢村？” 一聲冷哼從身側(cè)響起割疾，我...
開封第一講書人閱讀 40,116評論 0贊 277
萬榮殺人案實(shí)錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎嘉栓，沒想到半個(gè)月后宏榕，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 46,651評論 1贊 320
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡侵佃，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 38,714評論 3贊 342
?白月光啟示錄
正文我和宋清朗相戀三年麻昼，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片趣钱。...
茶點(diǎn)故事閱讀 40,865評論 1贊 353
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡涌献，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出首有，到底是詐尸還是另有隱情，我是刑警寧澤枢劝，帶...
沈念sama閱讀 36,527評論 5贊 351
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布井联，位于F島的核電站，受9級特大地震影響您旁，放射性物質(zhì)發(fā)生泄漏烙常。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 42,211評論 3贊 336
男人毒藥：我在死后第九天來索命
文/蒙蒙一鹤盒、第九天我趴在偏房一處隱蔽的房頂上張望蚕脏。院中可真熱鬧，春花似錦侦锯、人聲如沸驼鞭。這莊子的主人今日做“春日...
開封第一講書人閱讀 32,699評論 0贊 25
一樁弒父案尺碰，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽挣棕。三九已至，卻和暖如春亲桥，著一層夾襖步出監(jiān)牢的瞬間洛心，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 33,814評論 1贊 274
情欲美人皮
我被黑心中介騙來泰國打工题篷，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留词身，地道東北人。一個(gè)月前我還...
沈念sama閱讀 49,299評論 3贊 379
代替公主和親
正文我出身青樓番枚，卻偏偏與公主長得像法严，于是被迫代替她去往敵國和親璧瞬。傳聞我的和親對象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 45,870評論 2贊 361

Entropy

Entropy（熵）

Joint entropy(聯(lián)合熵)

Conditional entropy（條件熵）

推薦閱讀更多精彩內(nèi)容