目錄
- 1.概率論基礎
- 2.統(tǒng)計量
- 3.大數(shù)定律
- 4.中心極限定理
- 5.最大似然估計
1. 概率論基礎
1.1 概率論基本概念
1.1.1 什么是概率
表示事件發(fā)生可能大小的一個量叫做概率梦重。
1.1.2 概率公式
（1）條件概率公式
P(A|B)稱為事件B發(fā)生的情況下A發(fā)生的概率兑燥，計算公式如下：
通常，條件概率P(A|B)和無條件概率P(A)是不同的琴拧。
（2）全概率公式
在很多實際問題中降瞳，往往不易直接求出概率
P(A)，但卻容易找到S的一個劃分B1,B2,...,Bn蚓胸，且Bi和P(A|Bi)為已知挣饥，則根據(jù)全概率公式很容易求出P(A)。
（3）貝葉斯公式
根據(jù)前面條件概率公式和全概率公式可以推導出貝葉斯公式沛膳，如下：
在這里扔枫，P(Bi)是B的先驗概率，之所以稱為“先驗”锹安，是因為不需要考慮任何A方面的因素短荐。
1.2 常見概率分布
1.2.1 0-1分布
0-1分布是經(jīng)常遇到的一種分布，定義如下：
并且：
期望 E(X) = 1p + 0(1-p) = p
方差 D(X) = E(X^2) - [E(X)]^2 = pq
1.2.2 二項分布
設實驗E只有兩個可能結(jié)果A和B八毯，則稱E為伯努利(Bernoulli)實驗倡勇，設P(A)=p（0<p<1）献酗，此時P(B)=1-p清酥，將E獨立重復的執(zhí)行n次购公，則稱這一串的重復實驗為n重伯努利實驗。
伯努利實驗的特點：
- 重復泊交，即每次實驗的概率是相同的
- 獨立乳讥，各次實驗的結(jié)果互不影響
- 每次實驗可能的結(jié)果只有兩個柱查，即A&B
二項分布即重復n次的伯努利實驗，每次實驗結(jié)果為A的概率是p云石，結(jié)果為B的概率是q(其中q=1-p)唉工，則在n次實驗中有k次為A，n-k次結(jié)果為B的概率為：
即有
顯然
觀察下面這個表達式
發(fā)現(xiàn)剛好是(p+q)^n 的展開式中出現(xiàn)p^k的那一項汹忠，我們稱隨機變量X服從參數(shù)為n,p的二項分布淋硝，并記為X~b(n,p)。
當n=1時宽菜，二項分布就是(0-1)分布
期望E(X)為
方差D(X)為
1.2.3 泊松分布
泊松分布適合描述單位時間（空間）內(nèi)隨機事件的發(fā)生次數(shù)谣膳，例如，一本書一頁中的印刷錯誤數(shù)铅乡、某地區(qū)一個時間間隔內(nèi)發(fā)生交通事故的次數(shù)等继谚。
在總結(jié)以下幾個概率分布前，先解釋一下連續(xù)型隨機變量阵幸。
一般花履，如果對于隨機變量X的分布函數(shù)F(x)，存在非負函數(shù)f(x)挚赊，使對于任意實數(shù)x有
則稱X為連續(xù)性隨機變量诡壁，其中函數(shù)f(x)稱為X的概率密度函數(shù)，簡稱概率密度咬腕。
實際應用中遇到的基本上是離散型或者連續(xù)性隨機變量欢峰，本文也只討論這兩種隨機變量。
概率密度函數(shù)有以下幾個特點：
下面總結(jié)一下三種重要的連續(xù)型隨機變量的概率密度涨共。
1.2.4 均勻分布
若連續(xù)型隨機變量X具有概率密度
則稱X在區(qū)間(a,b)上服從均勻分布，記為X~U(a,b)
很容易推導出X的分布函數(shù)為
1.2.5 指數(shù)分布
若連續(xù)型隨機變量X概率密度為
其中宠漩，θ>0為常數(shù)举反，則稱X服從參數(shù)為θ的指數(shù)分布。
1.2.6 正態(tài)分布
若連續(xù)型隨機變量X的概率密度為
其中μ,σ(σ>0)為常數(shù)扒吁，則稱X服從參數(shù)為μ,σ的正態(tài)分布或高斯分布(Gauss)火鼻，記為X~N(μ,σ^2)
1.2.7 Beta分布
暫時省去500字
2.統(tǒng)計量
2.1 獨立和不相關
給定A,B兩個事件，如果滿足等式
P(AB) = P(A)P(B)
則稱事件A,B相互獨立雕崩，簡稱A,B獨立魁索。
其中：
獨立一定不相關；
不相關不一定獨立盼铁；
實際上不相關就是兩者沒有線性關系粗蔚，但是不排除存在其他關系的可能性，而獨立就是不存在任何關系饶火。
2.2 期望
2.2.1 定義
-
離散型
-
連續(xù)型
2.2.2 性質(zhì)
-
無條件成立
- E(kX) = kE(X)
- E(X + Y) = E(X) + E(Y)
若X和Y相互獨立
E(XY) = E(X)E(Y) 反之不成立
2.2 方差
2.2.1 定義
設X是一個隨機變量鹏控，若E{[X-E(X)]^2}存在致扯，則稱E{ [X-E(X)]^2 }是X的方差，記做D(X)或者Var(x)当辐，即
D(X)=Var(x)=E{[X-E(X)]^2}
2.2.2 性質(zhì)
-
無條件成立
- Var(c) = 0
- Var(X+c) = Var(X)
- Var(kX) = k^2Var(X)
-
X和Y相互獨立
- Var(X+Y) = Var(X) + Var(Y)
2.3 協(xié)方差
2.3.1 定義
E{[X-E(X)][Y-E(Y)]}稱為隨機變量X與Y的協(xié)方差抖僵，記為Cov(X,Y)。
協(xié)方差是兩個變量是否具有相同變化趨勢的度量：
- 若Cov(X,Y) > 0缘揪，他們的變化趨勢相同耍群；
- 若Cov(X,Y) < 0，他們的變化趨勢相反找筝；
- 若Cov(X,Y) = 0蹈垢，他們不相關；
2.3.2 性質(zhì)
- Cov(X,Y) = Cov(Y,X)
- Cov(aX+b, cY+d) = acCov(X,Y)
- Cov(X1+X2,Y) = Cov(X1,Y) + Cov(X2,Y)
- Cov(XY) = E(XY) - E(X)E(Y)
而
稱為隨機變量X和Y的相關系數(shù)
參考資料：
[1] 《概率論與數(shù)理統(tǒng)計（浙大 第四版）》
