最近在看《數(shù)據挖掘——實用機器學習工具與技術》一書，書中的第四章節(jié)提到了貝葉斯公式链方、信息熵等知識。由于筆者把大學時學的數(shù)學知識基本忘光了，剛接觸到這一塊時一頭霧水硫麻，讀起來非常費力，而且看了半天也不能理解這公式怎么來的樊卓，含義又是什么拿愧。后來索性一狠心重新自學了一遍概率論的基本知識，再查閱各種介紹文章和視頻碌尔，才逐漸對貝葉斯公式和信息熵有了個初步的理解浇辜。
相信有很多讀者和我一樣，概率論都忘得差不多了唾戚，所以這篇文章會從最基本的概率基本知識開始講起柳洋。本文的寫作目的是為了理解貝葉斯公式和信息熵，所以只會粗略的講下概率論的知識叹坦，一些特定的限定條件或者概念如果不涉及理解熊镣，不會特別提及。
概率的基本概念
假設有一枚質量均勻的硬幣立由，拋擲一次轧钓，得到正面的概率是多少？
一枚硬幣拋擲一次一共有兩種可能結果锐膜，正面（Head）朝上{H}和背面（Tile）朝上{T}毕箍。考慮到硬幣質量是均勻的道盏，我們相信出現(xiàn)正面和背面的機會是相等的而柑，所以P(H) = P(T) = 0.5 =50%，正面和背面各有50%的概率出現(xiàn)荷逞。
另一個試驗媒咳，我們用一枚質量均勻的硬幣連續(xù)拋擲三次，一共會得到222共8種可能結果
HHH, HHT, HTH, THH, HTT, TTH, THT, TTT
由于硬幣是質量均勻的种远，所以每種結果都是等概率出現(xiàn)的涩澡。一共有八種可能結果，所以每種結果的概率是1/8坠敷。
我們設試驗的所有可能結果為樣本空間妙同，試驗的每一種可能結果為事件。上述第一個試驗的樣本空間為{H, T}膝迎，事件為{H}和{T}粥帚。上述第二個試驗的樣本空間為{HHH, HHT, HTH, THH, HTT, TTH, THT, TTT}， 事件為{HHH}, {HHT}, {HTH}, {THH}, {HTT}, {TTH}, {THT}, {TTT}限次。
由前兩個試驗可知芒涡，若每個試驗結果是等概率的，那么事件A的概率P(A)的計算公式為
我們進一步討論一些例子。
假設有一個質量均勻的六面骰子费尽，拋擲一次后所有可能結果為{1, 2, 3, 4, 5, 6}赠群。則
點數(shù)為1的概率為P(1)=1/6
點數(shù)為4的概率為P(4)=1/6
點數(shù)為1或者5的概率為P(1或5)=2/6=1/3
點數(shù)為偶數(shù)的概率為P(偶數(shù))=3/6=1/2
再假設將一個質量均勻的四面骰子連續(xù)拋擲兩次，則一共可能出現(xiàn)4*4共16種可能結果依啰，則
P(第一次點數(shù)與第二次點數(shù)相同)=4/16=1/4
P(至少有一次點數(shù)等于4)=7/16
關于概率的基本知識先講到這里乎串，下一章節(jié)將介紹條件概率店枣。
（未完待續(xù)）
參考資料
- 《概率導論》第2版修訂版速警，【美】Dimitri P. Bertsekas, John N. Tsitsiklis 著, 人民郵電出版社
- Probability and statistics--KHANACADEMY
