機器學習中的數(shù)學——概率論

隨機變量定義

若對隨機試驗的每一種可能結果 $\omega$ $\in$ $\Omega$ 都有一個唯一的實數(shù) $\xi$ ( $\omega$ ) 與之對應, 則稱數(shù)值為隨機變量. 實際上, 隨機變量是將試驗的結果映射到實數(shù)空間中. 比如男女分別為1, 0.$
隨機變量可以是離散是連續(xù)的

隨機變量的數(shù)字特征概率分布

分為離散型分布:
$p(x_{i})$
連續(xù)類型分布:
$p(x)$
累計分布函數(shù)為:
$F(x)= \int_\infty^x{p(\xi)d\xi}$
其積分求和為0.
使用拋硬幣來說 $p(0)=0.5;p(1)=0.5$

隨機變量數(shù)字特征期望

數(shù)字特征：用以刻畫隨機變量某方面特征的量闹蒜，稱為隨機變量的數(shù)字特征

常用的數(shù)字特征:數(shù)學期望, 方差, 矩, 眾數(shù), 中位數(shù), 協(xié)方差, 相關系數(shù)

離散類型期望：

設離散型隨機變量 $X$ 的概率分布為:
$P(X=x_i)=p_i,~~~ i=1, 2, 3,....$
若 $\sum_{i=1}^\infty{x_ip_i}$ 絕對收斂, 則稱 $\sum_{i=1}^\infty{x_ip_i}$ 為隨機變量X的期望或均值, 記為 $EX$ , 即
$EX = \sum_{i=1}^\infty{x_ip_i}$
注:

$EX$ 度量了隨機變量X的加權平均
$p_i(i=1, 2, 3...)$ 為權重 $

連續(xù)型隨機變量的期望:

定義:設隨機變量X的密度函數(shù)為 $f(x)$ , 若 $\int_{-\infty}^{+\infty}{xf(x)dx}$ 絕對收斂, 則稱 $\int_{-\infty}^{+\infty}{xf(x)dx}$ 為隨機變量 $X$ 的期望或均值, 記為 $EX$ .

隨機變量函數(shù)的數(shù)學期望:

定義:設 $X$ 為隨機變量, $y=g(x)$ 為實函數(shù)

設 $X$ 為離散型隨機變量, 概率分布為 $P(X=x_i)=p_i, ~~i=1, 2, 3, ...$ ,若 $\sum_{i=1}^\infty{g(x)p_i}$ 絕對收斂, 則 $E[g(x)]$ 存在,且
$E[g(x)]=\sum_{i=1}^\infty{g(x)p_i}$
設 $X$ 為連續(xù)型隨機變量, 密度函數(shù)為 $f(x)$ , 若 $\int_{-\infty}^{+\infty}{g(x)f(x)dx}$ 絕對收斂, 則 $E[g(x)]$ 存在, 且
$E[g(x)]=\int_{-\infty}^{+\infty}{g(x)f(x)dx}$

例: 設隨機變量的概率分布為:

$X$	0	1	2
$P$	0.1	0.6	0.3

求 $E[x-EX]^2$ .
解:
$EX=0*0.1+1*0.6+2*0.3=1.2$
$E[X-EX]^2=(0-1.2)^2\times 0.1+(1-1.2)^2\times 0.6+(2-1.2)^2\times 0.3=0.36$

隨機變量的方差

對隨機變量 $X$ ,知道了它的數(shù)學期望 $EX$ , 雖然對該隨機變量有了一定了解, 但還不夠.
例: 為評估一批燈泡的好壞, 從某種途徑了解到其平均壽命為1000h, 即 $EX=1000$ , 但不能完全肯定其質量的好壞.

有可能產(chǎn)品的壽命平均集中在950~1050h, 質量穩(wěn)定!
有可能一半壽命為700小時, 另一半壽命為1300小時, 質量相對不穩(wěn)定!

故需要找一個值阔墩，能夠度量隨機變量 $X$ 與 $EX$ 的偏離程度.

$X-EX$ ---->不能! $X-EX$ 是隨機變量
$E(X-EX)$ ---->不能! $E(X-EX)=EX-EX=0$ (正負偏差相互抵消)
$E|X-EX|$ ---->不便于計算
得: $E(X-EX)^2$

定義:設隨機變量 $X$ 的數(shù)學期望為 $EX$ , 則稱 $E(X-EX)^2$ 為隨機變量 $X$ 的方差, 記為 $D(X)$ , 或 $Var(X)$ ,并稱 $\sqrt{D(X)}$ 為 $X$ 的標準差.
方差的計算:
考慮到方差實際上是隨機變量函數(shù)的數(shù)學期望: $g(X)(X-EX)^2$ , 因此
若 $X$ 為離散型隨心變量, 概念分布為 $p_i=P(X=x_i), ~~i=1,2,3...$ 則
$D(X)=E(X-EX)^2=\sum_{i=1}^\infty{(x_i-EX)^2p_i}$
若 $X$ 為連續(xù)型隨機變量, 概率密度為f(x), 則:
$D(X)=E(X-EX)^2=\int_{-\infty}^{+\infty}{(x_i-EX)^2f(x)dx}$
有如下公式:
$D(X)=E(X^2)-(EX)^2$
證^[1]:

$D(X)=E(X-EX)^2 = E(X^2 -2X*EX+(EX)^2)$
$=E(X^2)-2(EX)^2+(EX)^2$
$=E(X^2)-(EX)^2$
方差的性質:

$D(C)=0~~C為常數(shù)$
$D(X+C)=D(X)$
$D(CX)=C^2D(X)$

協(xié)方差

百度百科:協(xié)方差

在概率論和統(tǒng)計學中蚣录，協(xié)方差用于衡量兩個變量的總體誤差颈渊。而方差是協(xié)方差的一種特殊情況垂谢，即當兩個變量是相同的情況家坎。

<font color='red'> $Cov(X,Y)=E[(X-EX)(Y-EY)]$ </font>
$=E(XY)-2E(X)E(Y)+E(X)E(Y)$
$=E(XY)-E(X)E(Y)$

從直觀上來看，協(xié)方差表示的是兩個變量總體誤差的期望撬呢。

根據(jù)【隨機變量函數(shù)的數(shù)學期望】計算伦吠。 ?

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市魂拦，隨后出現(xiàn)的幾起案子毛仪，更是在濱河造成了極大的恐慌，老刑警劉巖芯勘，帶你破解...
沈念sama閱讀 222,627評論 6贊 517
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件箱靴，死亡現(xiàn)場離奇詭異，居然都是意外死亡荷愕，警方通過查閱死者的電腦和手機衡怀，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 95,180評論 3贊 399
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來安疗，“玉大人抛杨，你說我怎么就攤上這事〖隼啵” “怎么了怖现？”我有些...
開封第一講書人閱讀 169,346評論 0贊 362
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長玉罐。經(jīng)常有香客問我屈嗤，道長潘拨，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 60,097評論 1贊 300
?港島之戀（遺憾婚禮）
正文為了忘掉前任饶号，我火速辦了婚禮铁追，結果婚禮上，老公的妹妹穿的比我還像新娘茫船。我一直安慰自己脂信，他們只是感情好，可當我...
茶點故事閱讀 69,100評論 6贊 398
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布透硝。她就那樣靜靜地躺著，像睡著了一般疯搅。火紅的嫁衣襯著肌膚如雪濒生。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 52,696評論 1贊 312
城市分裂傳說
那天幔欧，我揣著相機與錄音罪治，去河邊找鬼。笑死礁蔗，一個胖子當著我的面吹牛觉义，可吹牛的內容都是我干的。我是一名探鬼主播浴井，決...
沈念sama閱讀 41,165評論 3贊 422
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼晒骇，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了磺浙？” 一聲冷哼從身側響起洪囤，我...
開封第一講書人閱讀 40,108評論 0贊 277
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎撕氧，沒想到半個月后瘤缩，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 46,646評論 1贊 319
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡伦泥，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內容為張勛視角年9月15日...
茶點故事閱讀 38,709評論 3贊 342
?白月光啟示錄
正文我和宋清朗相戀三年剥啤，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片不脯。...
茶點故事閱讀 40,861評論 1贊 353
活死人
序言：一個原本活蹦亂跳的男人離奇死亡府怯，死狀恐怖，靈堂內的尸體忽然破棺而出跨新，到底是詐尸還是另有隱情富腊，我是刑警寧澤，帶...
沈念sama閱讀 36,527評論 5贊 351
?日本核電站爆炸內幕
正文年R本政府宣布域帐，位于F島的核電站赘被，受9級特大地震影響是整，放射性物質發(fā)生泄漏。R本人自食惡果不足惜民假，卻給世界環(huán)境...
茶點故事閱讀 42,196評論 3贊 336
男人毒藥：我在死后第九天來索命
文/蒙蒙一浮入、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧羊异，春花似錦事秀、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 32,698評論 0贊 25
一樁弒父案易迹，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至平道，卻和暖如春睹欲，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背一屋。一陣腳步聲響...
開封第一講書人閱讀 33,804評論 1贊 274
情欲美人皮
我被黑心中介騙來泰國打工窘疮，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人冀墨。一個月前我還...
沈念sama閱讀 49,287評論 3贊 379
代替公主和親
正文我出身青樓闸衫，卻偏偏與公主長得像，于是被迫代替她去往敵國和親诽嘉。傳聞我的和親對象是個殘疾皇子蔚出，可洞房花燭夜當晚...
茶點故事閱讀 45,860評論 2贊 361