概率統(tǒng)計(jì)組隊(duì)學(xué)習(xí) 之隨機(jī)事件與隨機(jī)變量

摘要：隨機(jī)事件岁钓、隨機(jī)變量の學(xué)習(xí)筆記

涉及概念：隨機(jī)事件升略，概率，古典概型屡限，條件概率品嚣，全概率公式，貝葉斯公式钧大，隨機(jī)變量翰撑，伯努利實(shí)驗(yàn)，二項(xiàng)分布啊央，數(shù)學(xué)期望眶诈，方差，協(xié)方差瓜饥，相關(guān)系數(shù)
預(yù)警：筆記很長Ｊ徘恕（然鵝只是知識海洋中滄海一粟）
???此文包含一堆文字定義和公式（一遍讀不順就多讀幾遍??）

一、隨機(jī)事件

?1. 基本概念

???i. 隨機(jī)現(xiàn)象：一件事情在某條件下的結(jié)果不能預(yù)先完全確定压固，只能確定
?????????是多種可能結(jié)果中的一種球拦。
????????（例如：拋一枚硬幣是一個(gè)隨機(jī)現(xiàn)象 – 因?yàn)榻Y(jié)果可能是正面靠闭，
?????????也可能是反面）
???ii. 隨機(jī)試驗(yàn)（ $E$ ）：隨機(jī)現(xiàn)象的實(shí)現(xiàn)和對它觀察的全過程帐我。
??????????????滿足條件：
??????????????1. 可以在相同條件下重復(fù)進(jìn)行
??????????????2. 結(jié)果有多種可能性且所有可能結(jié)果事先已知
??????????????3.做一次試驗(yàn)究竟哪個(gè)結(jié)果出現(xiàn)事先不能確定
???iii. 樣本空間（ $\Omega$ ）：隨機(jī)試驗(yàn)的所有可能結(jié)果組成的集合。
???iv. 樣本點(diǎn)（ $\omega$ ）：[讀作omega] ?隨機(jī)試驗(yàn)的每一個(gè)可能的結(jié)果愧膀。
???v. 隨機(jī)事件（ $A, B, C$ ….）：樣本空間中滿足一定條件的子集拦键。
??????????????????隨機(jī)事件可能出現(xiàn)也可能不出現(xiàn)。
???vi. 必然事件：每次試驗(yàn)中總是發(fā)生的事件檩淋。
?????????（比如樣本空間（ $\Omega$ ）為必然事件芬为，因?yàn)槠浒怂?br>??????????樣本點(diǎn)，構(gòu)成該事件的一個(gè)樣本點(diǎn)必然會出現(xiàn)）
???vii. 不可能事件：每次試驗(yàn)中總不發(fā)生的事件蟀悦。
??????????（比如空集（ $\phi$ ）為不可能事件媚朦，因?yàn)椴话魏螛颖军c(diǎn)）
?????舉個(gè)栗子：
??????扔一枚六面的骰子：
??????隨機(jī)現(xiàn)象：扔一枚骰子，可能出現(xiàn) $1,2,3,4,5,6$ 中任意一個(gè)數(shù)字
??????隨機(jī)試驗(yàn)：扔一枚骰子日戈，觀察出現(xiàn)的點(diǎn)數(shù)
??????樣本空間： $\Omega$ ={ $1,2,3,4,5,6$ }
??????樣本點(diǎn)：出現(xiàn)的每一個(gè)數(shù)字都是一個(gè)樣本點(diǎn)
??????隨機(jī)事件：比如出現(xiàn)的數(shù)字為偶數(shù)就是一個(gè)隨機(jī)事件询张，
???????????記為 $A$ ={ $2,4,6$ }， $A$ 為 $\Omega$ 的一個(gè)子集
??????必然事件： $\Omega$ ={ $1,2,3,4,5,6$ }
??????不可能事件： $\phi$ （比如結(jié)果為大于6的數(shù)字）

?2. 概率

???i. 定義：
?????隨機(jī)試驗(yàn) $E$ , 樣本空間為 $\Omega$ 浙炼，對于每個(gè)事件 $A$ 賦予一個(gè)實(shí)數(shù) $P(A)$ 份氧，
?????稱為事件 $A$ 的概率唯袄。函數(shù) $P(.)$ 滿足條件：
????????1. 非負(fù)性：每一個(gè)事件 $A$ ， $0 < P(A) <= 1$
????????2. 規(guī)范性： $P(\Omega) = 1$
????????3. 可列可加性：若事件 $A_1, A_2,…$ 兩兩互斥蜗帜，
???????????????即 $i恋拷，j=1,2,...，i \neq j ,A_i \cap A_j = \phi$
?????????????則 $P(A_1 \cup A_2 \cup ...)=P(A_1) +P(A_2) +...$

???ii. 主要性質(zhì)：
?????1. 任一事件 $A$ 厅缺，均有 $P(\overline{A})=1-P(A)$
?????2. 兩個(gè)事件 $A$ 和 $B$ 蔬顾，若 $A \subset B$ ，
??????則有 $P(B) >P(A)湘捎， P(B-A) = P(B) - P(A)$
?????3. 任意兩個(gè)事件 $A$ 和 $B$ 阎抒，
???????有 $P(A \cup B) = P(A) + P(B) - P(A\cap B)$
?????舉栗：
??????投骰子，假設(shè) $A$ = { $1,2$ }, $B$ = { $1,2,3$ }
??????因?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=1%2C2%2C3%2C4%2C5%2C6" alt="1,2,3,4,5,6" mathimg="1">出現(xiàn)的概率均為 $1/6$ 消痛，所以：
?????? $P(A)=1/3$
?????? $P(B)=1/2$
?????? $P(\overline{A})=1-1/3 = 2/3$
?????? $P(B-A)=1/2-1/3=1/6$
?????? $P(A∪B)=1/3+1/2-1/3=1/2$
??? ???[此處 $P(A∩B)=P(A)=1/3$ ]

?3. 古典概型（等可能概型 / classical probability）

???i. 定義：
?????隨機(jī)事件 $E$ 的樣本空間有有限個(gè)樣本點(diǎn)且叁，每個(gè)樣本點(diǎn)出現(xiàn)是等可能的，
??? ??每次試驗(yàn)有且僅有一個(gè)樣本點(diǎn)發(fā)生秩伞，稱為古典概型逞带。
??? ??其中 $P(A) = \frac{m} {n} = \frac{事件A包含的基本事件數(shù)} {基本事件總數(shù)}$
?????兩個(gè)小栗子：
????1. 假設(shè)有 $k$ 個(gè)不同顏色的球，每個(gè)球以同樣的概率 $1/l$ 落到 $l$ 個(gè)格子
??? ?? $(l>=k)$ 的每個(gè)中纱新，且每個(gè)格子可容納任意多個(gè)球展氓。
??? ??求事件 $A$ 和 $B$ 的概率。
??? ?? $A:$ 指定的 $k$ 個(gè)格子中各有一個(gè)球脸爱。
??? ?? $B:$ 存在 $k$ 個(gè)格子遇汞，其中各有一個(gè)球。
???????解題思路：
?????基本事件總數(shù)：每一個(gè)球都可能扔到 $l$ 個(gè)格子中的一個(gè)簿废，一共 $k$ 個(gè)球空入，
??? ??? ? ? ? ? ? 共 $l^k$ 種情況
?????事件 $A$ ： $k$ 個(gè)格子各一個(gè)球，相當(dāng)于 $k$ 個(gè)球排列,情況有 $k!$ 種
????????? $P(A) = \frac{k!} {l^k}$
?????事件 $B$ ：在每個(gè)事件 $A$ 基礎(chǔ)上族檬，從 $l$ 格子里選 $k$ 個(gè)格子有 $C^k_l$ 種組合
????????? $P(B) = \frac {C^k_lk歪赢！} {l^k} = \frac {l！} {l^k（l-k）!}$

????2.生日問題: k個(gè)同班同學(xué)沒有生日相同的概率
??????（思路轉(zhuǎn)換：想象每個(gè)人是個(gè)球单料，被扔到時(shí)間的格子里埋凯，一年365天，
?????所以 $l$ =365扫尖，此事件類似栗子1中的事件 $B$ ）
?????所以假設(shè) $k=40$ 白对，
????? $P(B)=\frac{365!}{365^{40} * (365-40)!}= 0.109$
?????生日相同的概率 $P(\overline{B})$ = $1-0.109=0.891$
?????[ 學(xué)好概率就不會在遇到同一天生日的人的時(shí)候大驚小怪了 hh ]

         '''Python 代碼實(shí)現(xiàn)栗子2中的 P(B) 的計(jì)算'''
         # 函數(shù)遞歸實(shí)現(xiàn)階乘 
         def factorial(n): 
           if n == 0:
               return 1
           else:
               return (n * factorial (n-1)) 

         l_fact = factorial(365)
         l_k_fact = factorial(365-40)
         l_k_exp = 365 ** 40

         P_B = l_fact / (l_k_fact * l_k_exp)
         print("事件B的概率為：", P_B )

?4. 條件概率（Conditional Probability）

???i. 定義：
?????? $A$ 和 $B$ 兩個(gè)事件,且 $P(B)>0$ , 在事件 $B$ 發(fā)生的條件下，事件 $A$
??????發(fā)生的概率為： $P(A|B) = \frac{P(AB)}{P(B)}$
?????栗子：
?????? $N$ 個(gè)男性换怖， $M$ 個(gè)女性甩恼，其中男色盲患者 $n$ 人，女色盲患者 $m$ 人。
?????? $A$ 表示全體女性集合媳拴， $B$ 表示全體色盲集合：則
?????? $P(A) = \frac{M}{M+N}$
?????? $P(B) = \frac{m+n}{M+N}$
?????? $P(AB) = \frac{m}{M+N}$
?????? $P(B|A) = \frac{\frac{m}{M+N}}{\frac{M}{M+N}} = \frac{m}{M}$ (在女性中隨機(jī)抽一個(gè)人為色盲的概率)

?5. 全概率公式（Law of Total Probability）

????由條件概率公式可得: $P(AB)=P(B|A)P(A) =P(A|B)P(B)$
????設(shè) $B_1,B_2,...$ 是樣本空間 $\Omega$ 的一個(gè)劃分黄橘， $A$ 為任一事件，則
? ??????全概率公式： $P(A) = \sum_{i=1}^{\infty } {P(B_i)}P(A|B_i)$

?6. 貝葉斯公式（Bayes’ Theorem）

????設(shè) $B_1,B_2,...$ 是樣本空間 $\Omega$ 的一個(gè)劃分屈溉，則對任一事件
???? $A(P(A)>0)$ ,有
???? $P(B_i|A) =\frac {P(B_i A)} {P(A)} = \frac {P(A|B_i )P(B_i)} {\sum_{j=1}^{\infty }P( B_j)P(A|B_j)} ,i=1,2,...$
????其中 $P(B_i)(i=1,2,...)$ 為先驗(yàn)概率塞关，
?????? $P(B_i|A)（i=1,2,...）$ 為后驗(yàn)概率
?????貝葉斯公式示例
???假定用血清甲胎蛋白法診斷肝癌。用 $C$ 表示被檢驗(yàn)者有肝癌這一事件子巾，
???用 $A$ 表示被檢驗(yàn)者為陽性反應(yīng)這一事件帆赢。當(dāng)前有肝癌的患者被檢測呈陽性
???反應(yīng)的概率為0.95。即 $P(A|C) = 0.95$ 线梗。當(dāng)前非肝癌的患者被檢測呈陰
???性反應(yīng)的概率為0.9椰于。即 $P(\overline {A}|\overline {C}) = 0.90$ 。若某人群中肝癌患者概率為
???0.0004仪搔，即 $P(C) = 0.0004$ 瘾婿，現(xiàn)在有一人呈陽性反應(yīng)，求此人確為肝癌
???患者的概率是多少烤咧？
?????解題思路：

畫個(gè)圖也許更清晰.jpg

$P(C|A) = \frac {P(C)P(A|C)} {P(C)P(A|C)+P(\overline {C} )P(A|\overline {C})} =\frac {0.00040.95}{0.00040.95 + 0.9996*0.1} =0.0038$

二偏陪、隨機(jī)變量

?1. 隨機(jī)變量及其分布

???i. 定義：
?????? $E$ 為隨機(jī)試驗(yàn)，樣本空間為 $\Omega$ 煮嫌，對于每一個(gè) $\omega \in \Omega$ 笛谦，都有一個(gè)
??????確定的實(shí)數(shù) $X(\omega)$ 與之對應(yīng)，若對于任意實(shí) $x \in R$ ,
??????有 ${\omega ：X(\omega) < x } \in F$ 昌阿，則稱 $\Omega$ 上的單值實(shí)函數(shù) $X(\omega)$
??????為一個(gè)隨機(jī)變量饥脑。
???ii. 定義理解：
??????隨機(jī)變量取值在實(shí)數(shù)域上的函數(shù)，自變量是隨機(jī)試驗(yàn)的結(jié)果懦冰，結(jié)果
??????出現(xiàn)具有隨機(jī)性灶轰，所以隨機(jī)變量取值也具有隨機(jī)性，區(qū)別于普通函數(shù)

???iii. 分布函數(shù)（概率累積函數(shù)）定義：
?????? $F(x) = P { (X<=x)} , x \in (- \infty ,+ \infty)$
?????? $F(x)$ 在 $x$ 處取值為隨機(jī)變量 $X$ 落在區(qū)間 $(- \infty, + x]$ 上的概率

?2. 離散型隨機(jī)變量（ $X$ 的全部取值為有限多個(gè)或可列無窮多個(gè)）

?????? $P { (X =x_k) } =p_k,k=1,2,...$
?????? $F (x) = P { (X<=x) } =\sum_{x_k <=x}{ P { (X=x_k) } } = \sum_{x_k <=x}{ P_k}$

?3. 常見離散型分布

???i. 伯努利實(shí)驗(yàn) (Bernoulli trail)
?????定義：隨機(jī)試驗(yàn)只有兩種可能的結(jié)果 $A$ 和 $\overline A$ （實(shí)現(xiàn)目標(biāo)和未實(shí)現(xiàn)目標(biāo)）
???????? $P(A) = p儿奶，P(\overline A) =1-p=q$
???ii. 二項(xiàng)分布 (binomial distribution)
????? $n$ 次獨(dú)立的伯努利試驗(yàn)的結(jié)果服從二項(xiàng)分布: $X$ ~ $B(n, p)$
?????其中 $P(A_k） =C^k_np^k(1-p)^{n-k},k=0,1,2,...n.$
?????分布律為： $P { (X=k) } =C^k_np^k(1-p)^{n-k},k=0,1,2,...n.$
?????分布函數(shù)為： $F(x) = \sum_{k=}^{[x]} {C^k_np^k(1-p)^{n-k}},k=0,1,2,...n.$
?????其中框往， $[x]$ 表示下取整鳄抒，即不超過 $x$ 的最大整數(shù)闯捎。

?4. 隨機(jī)變量的數(shù)字特征

???i. 數(shù)學(xué)期望 (Expectation), 代表隨機(jī)變量取值的平均值
?????通常情況下對離散型隨機(jī)變量 $X$ ，
?????分布律為 $P { X=x_i} = p_i ,i =1许溅，2瓤鼻，...$ ，若 $\sum_{i} {|x_i|p_i}$ 收斂贤重，
????? $E(X) = \sum_{i} {x_ip_i}$
???ii. 數(shù)學(xué)期望的一些性質(zhì)：
?????1. 若 $c$ 為常數(shù)茬祷， $E(c)=c$
?????2. $E(aX+bY) = aE(X)+bE(Y)$ , $a$ 、 $b$ 為任意常數(shù)
?????3. 若 $X$ , $Y$ 相互獨(dú)立不互相影響并蝗，則 $E(XY)=E(X)E(Y)$

???iii. 方差(Variance)祭犯，描述隨機(jī)變量取值相對于均值的離散程度
????? $X$ 為隨機(jī)變量秸妥，如果 $E{[X-E(X)]^2}$ 存在，則記為 $X$ 的方差：
????? $Var(X) = E{[X-E(X)]^2} = \sum_{i} (i-E(X))^2P(X=i)$
????? $\sqrt{Var(X)}$ 為 $X$ 的標(biāo)準(zhǔn)差或均方差
???iv. 方差的性質(zhì)：
?????1. 若 $c$ 為常數(shù)沃粗， $Var(c)=0$
?????2. $Var(aX+b) = a^2Var(X)$ 粥惧， $a$ 、 $b$ 為任意常數(shù)
?????3. 若 $X$ , $Y$ 相互獨(dú)立最盅，
??????則 $Var(X+Y) = Var(X) + Var(Y)$ [離散程度增加]

?5. 二維隨機(jī)變量 $X$ , $Y$ 的關(guān)系

???i. 協(xié)方差 (Covariance)：
????通俗理解：參考知乎問答兩個(gè)變量在變化過程中是同方向還是反方向突雪？
?????????同向或反向程度如何？
???? $Cov(X, Y) = E{ [X-E(X)] [Y-E(Y)]}$
???ii. 協(xié)方差性質(zhì)：
?????1. $Cov(X, Y) = Cov(Y, X)$
?????2. $Cov(aX+b涡贱，cY+d) =ac Cov( X咏删，Y)$
?????? $a,b,c,d$ 為任意常數(shù)
?????3. $Cov(X_1+X_2，Y) =Cov( X_1问词，Y) +Cov( X_2督函，Y)$
?????4. $Cov(X，Y) =E( X激挪，Y) -E( X)E(Y)$
??????當(dāng) $X,Y$ 相互獨(dú)立時(shí)侨核，有 $Cov(X，Y) = 0$
?????5. $|Cov(X灌灾，Y)| <= \sqrt {Var(X)} \sqrt {Var(Y)}$
?????6. $Cov(X搓译，X) =Var( X)$

???iii. 相關(guān)系數(shù)(correlation coefficient)：
?????用來衡量兩個(gè)變量之間的相關(guān)程度铣耘，一種剔除了兩個(gè)變量量綱影響蛛蒙、
?????標(biāo)準(zhǔn)化后的特殊協(xié)方差（參考知乎問答）
?????當(dāng) $\sqrt {Var(X)} >0 蜓竹，\sqrt {Var(Y)} >0$ 時(shí)慢宗，
?????相關(guān)性系數(shù) $\rho（X,Y） = \frac{Cov(X悄晃，Y)}{\sqrt {Var(X)} \sqrt {Var(Y)}}$
???iv. 相關(guān)系數(shù)解讀：
?????1. 沒有單位练链，只是一個(gè)代數(shù)值
?????2. 取值范圍 $[-1,1]$ ,小于 $0$ 表示負(fù)相關(guān)沃但，大于 $0$ 表示正相關(guān)可款，
??????絕對值越接近 $1$ 表示相關(guān)度越大