這一節(jié)是講解關于機器學習中的概率的督惰。
概率是基于統(tǒng)計的機器學習中最重要的基礎知識赃蛛。由于從零開始講解概率是有點不現(xiàn)實的，同時考慮大家在高中時學習的概率知識還有些記憶的前提下宅粥，下面從「高中的概率」和「機器學習中的概率」的不同點出發(fā)劫哼，以這種形式進行講解。
機器學習和概率
首先，先明確一下對于機器學習，概率到底發(fā)揮著什么樣的作用秧秉。
實際上，在機器學習中纬凤，概率并不是必須的福贞。甚至像神經網絡撩嚼，支持向量機等有名的方法都是「非概率型機器學習」停士，除此之外還有很多方法。但是完丽，「非概率型機器學習」的方法中大部分都有「結果排序困難(由于評價值無法進行大小比較)」「條件不同導致無法比較」等缺點恋技。
與此相對，「概率型機器學習」中可以通過概率計算評價結果和推定的參數(shù)有「多大的信用度」(最可能的)逻族。因為概率之間是可以比較的蜻底，所以為計算結果排序，比較前提條件不同的結果(經常用在探索更優(yōu)模型上)都是很自然能做到的聘鳞。
而且薄辅，可以列舉出的「概率可以與其他手法結合使用」「具有通過模型生成數(shù)據的特征」等，都是使用概率的優(yōu)點抠璃。
為了達到這些優(yōu)點站楚，本來沒有使用概率的方法，被擴展到概率上也是很多的搏嗡×海總之為了達到更好效果的方法，是離不開概率的采盒。
概率函數(shù)和概率分布
首先說明一下概率中使用的符號和專業(yè)詞匯旧乞。
使用P(X)來表示概率。這里面磅氨，X是「隨機變量」尺栖，p(X)是「變量X的概率分布」或者簡單的說是「變量X的概率」。當變量X取值a時烦租，對應的概率表示為p(X=a)或者簡寫為p(a)延赌。
這種標記方法，需要注意「概率分布的種類通過隨機變量表示」左权。其他的隨機變量Y的隨機分布也使用P來表示皮胡，寫作p(Y)。這種標記方式與函數(shù)中表示兩個不同函數(shù)f(x)和g(x)不同赏迟。
p(X)作為概率分布屡贺，有兩個重要的條件。
〇概率值：大于等于0，小于等于1
〇所有可取值的概率和為1
嚴密來講甩栈，通過事件和集合來說明是更好的泻仙，在這里省略。
這里通過常見的骰子的例子來證明量没。X表示投擲骰子所得點數(shù)的「隨機變量」玉转，p(X)是該變量的「概率分布」。所以殴蹄，X的取值是1~6的六種結果究抓。假設所有點數(shù)出現(xiàn)的概率都是一樣的，從「概率和為1」的條件推理可得袭灯，p(X=1)=...=p(6)=1/6刺下。
然而，雖然很明確的說「假設所有點數(shù)以相同概率出現(xiàn)」了稽荧，真的是這樣嗎橘茉？最初學習概率時，你想過「雖然說點數(shù)1出現(xiàn)的概率出現(xiàn)的概率是1/6姨丈，但是擲6次篩子也不一定正好出現(xiàn)一次點數(shù)1啊」嗎畅卓？
對于這個問題，經常解釋為「無數(shù)次投擲后蟋恬，平均每6次出現(xiàn)1次」翁潘，雖然當時認同了，但是心里面有沒有反駁「不行筋现，骰子是不可能被無限次投擲的」呢唐础？
實際上，基于統(tǒng)計的機器學習的最終目標是：以工程學思維(現(xiàn)實地)解決「也可以說進行的有限次數(shù)的試驗中矾飞，每個點數(shù)以相同概率出現(xiàn)」的問題一膨。
我想高中時為這樣的問題苦惱過的人會非常期待學習機器學習。
聯(lián)合概率和條件概率
至此洒沦，都是只有一個隨機變量的情況，還有多個隨機變量的情況申眼。特別是在機器學習中瞒津，即使是很簡單的例題也包含多個隨機變量，學會處理多個隨機變量是必須的括尸。
首先巷蚪，和剛才一樣，先學習專業(yè)術語濒翻。以隨機變量個數(shù)為2的情況來講解屁柏，3個以上也是一樣的啦膜。
對應兩個隨機變量X，Y的概率分布寫作：P(X淌喻，Y)僧家，稱作：X和Y的「同時分布」或者「聯(lián)合概率」。
隨機變量Y被賦予某值時的X的概率寫作：P(X|Y)裸删。稱作：Y為某值時八拱，X的條件概率。
也有不考慮隨機變量Y涯塔，只考慮隨機變量X的情況肌稻。把該情況稱作「邊緣概率」，單純的寫作P(X)伤塌。
參照具體例子灯萍，講解這3個概率分布轧铁。這里使用機器學習(自然語言處理)中實際使用的bag-of-words模型的迷你版每聪。
bag-of-words模型中，不考慮單詞的排列順序齿风，只考慮本章中是否包含單詞药薯，并把結果數(shù)值化：包含=1，不包含=0救斑。也有使用計算單詞使用頻度的方式童本，這次只考慮「包含？還是不包含穷娱？」运沦。
很明顯這個模型的適用范圍被大大限制了。但是携添，「想實現(xiàn)的東西能夠解決問題的話嫁盲，就沒有必要再考慮必要以上的模型了」是機器學習的鐵的法則。這些東西羞秤，請參照前章的內容左敌。
下面瘾蛋，計算模型的構建將從隨機變量的設定開始。
X是「文章中含有單詞“program”」的隨機變量矫限，Y是「文章中含有單詞“application”」隨機變量哺哼。二者，都是在包含時取值為1匹摇，不包含時取值為0甲葬。
因為真實的數(shù)字具有說服力，所以調查了gihyo上開發(fā)者平臺上1560篇文章中每個每個單詞出現(xiàn)的概率坡垫。
p(X=1, Y=1) = 0.082
p(X=1, Y=0) = 0.271
p(X=0, Y=1) = 0.172
p(X=0, Y=0) = 0.475
上面分別表示「同時包含兩個單詞的概率」「僅包含“program”的概率」「僅包含“application”的概率」「不包含兩個單詞的任一個」画侣。
雖然處理的范圍很小，卻是個優(yōu)秀的“模型”配乱。
這里試著考慮一下，把隨機變量Y放一邊桑寨，只考慮X的概率的情況忿檩。
P(X=1)燥透，總之在求「文章中含有單詞“program”」的概率時，考慮是否含有“application”的兩種情況便行了肢藐，通過下面的式子求：
p(X=1) = p(X=1, Y=1) + p(X=1, Y=0) = 0.082 + 0.271 = 0.353
同樣孽尽，P(X=0)，總之在求「文章中含有單詞“program”」的概率時杉女，考慮是否含有“application”的兩者情況便行了熏挎，通過下面的式子求：
p(X=0) = p(X=0, Y=1) + p(X=0, Y=0) = 0.172 + 0.475 = 0.647
因為滿足：p(X=0) +p(X=1)=1，所以可以使用下式求解：
p(X=0) = 1 - p(X=1) = 1 - 0.353 = 0.647
這樣求出的是隨機變量X的邊緣概率：p(X=1)?和 p(X=0)坎拐。同樣养匈，隨機變量Y也可以求出都伪。作為習題，請大家嘗試一下猬仁。
下面先誉，已知X=1的情況下，試求Y的概率褐耳。也就是，「含有“program”的文章中铃芦，含有“application”」的概率。從聯(lián)合概率漓穿，求出滿足X=1的概率注盈。
p(X=1, Y=1) = 0.082
p(X=1, Y=0) = 0.271
上面是「包含“program”叙赚，且包含“application”的概率」老客，下面為「包含“program”震叮，不含“application”的概率」。這樣看起來還不錯尉间，但是二者之和為0.353击罪，不滿足「所有取值的概率之和為1」的必要條件。
這個0.353的值眠副，和之前求出的邊緣概率p(X=1)=0.353一致竣稽。因為事先已經知道X=1了霍弹，p(X=1)=0.353中兩個概率的比例作為新的概率娃弓，也就是兩者都除以0.353台丛，相加后得到1。這就是條件概率P(Y|X)私恬。
p(Y=1|X=1) = p(X=1, Y=1) / p(X=1) = 0.082 / 0.353 = 0.232
p(Y=0|X=1) = p(X=1, Y=0) / p(X=1) = 0.271 / 0.353 = 0.768
同樣炼吴，先得出X=0的情況的條件概率。
p(Y=1|X=0) = p(X=0, Y=1) / p(X=0) = 0.172 / 0.647 = 0.266
p(Y=0|X=0) = p(X=0, Y=0) / p(X=0) = 0.475 / 0.647 = 0.734
使用條件概率就能以概率的形式表現(xiàn)「和使用“program”的文章相比荣德，沒有使用“program”的文章中使用“application”的可能性更高」的信息童芹。
p(X|Y)也同樣可以求得。這里作為演習署咽，請一定要嘗試一下生音。
概率的加法定理?乘法定理
以公式的形式表現(xiàn)二者的計算方法。
概率的加法定理：
對于兩個隨機變量X慕匠，Y域醇，聯(lián)合概率p(X譬挚，Y)和邊緣概率p(X)滿足下面的等式：
左邊的Σ，表示隨機變量Y的可取值之和狠角。
概率的乘法定理：
關于2個隨機變量X蚪腋，Y姨蟋，聯(lián)合概率p(X眼溶，Y)晓勇，條件概率p(Y|X)，邊緣概率p(X)绰筛，滿足下面的等式描融。
p(X, Y) = p(Y|X) p(X)
乘法定理，不僅僅可以通過條件概率和邊緣概率求解聯(lián)合概率骏庸，請注意：通過三個概率中的任意2個年叮，求出剩下的1個。實際的p(Y|X)計算時一姿，就是通過邊緣概率和聯(lián)合概率求出條件概率改执。
加法定理經常被說為：「概率分布的邊緣化」或「p(X辈挂，Y)中Y的偏微分」裹粤。
另外，雖然條件概率和聯(lián)合概率看起來挺相似拇泣，但是矮锈，與從聯(lián)合概率能計算出條件概率不同，僅僅通過條件概率不能求出聯(lián)合概率债朵。總之臭杰，也就是谚中，條件概率比聯(lián)合概率包含的信息量少。
這些東西對于直觀的理解機器學習的很多演算是很有效的磁奖，記住的話會很有幫助某筐。
實際上来吩，基于統(tǒng)計的機器學習就是，反復使用這兩個定理最終引導出想求得概率的基本步驟戚长。如果能把怠苔，概率的加法定理和乘法定理像99乘法口訣一樣熟練使用的話，是和掌握機器學習等價的迫肖。不好意思蟆湖，言過其實了玻粪。
事后概率和貝葉斯公式
和聯(lián)合概率p(X，Y)相對的條件概率伦仍，可以從「給定Y值時很洋，p(X|Y)」，「給定X值時谓苟，p(Y|X)」兩方面考慮。X和Y同時出現(xiàn)的概率(例如：同時擲2個骰子确买，每個骰子的點數(shù))纱皆，這兩個都很簡單可以作為條件概率來考慮派草。
另一方面，X是應該先發(fā)生的艺普，或者X作為模型的參數(shù)鉴竭，Y為觀測值，等「決定X值后瑰步，之后最初的Y值可以確定璧眠≡鹁玻」的模型中，給Y賦值時题翻，X的值必須已經實現(xiàn)確定了腰鬼，p(X|Y)的概率是未知的。
概率的定義是「表示事情有多大可能發(fā)生的值」。但是卻不存在這樣的值袜炕。暫且把前后的事情放一邊偎窘，這樣的條件概率p(X|Y)被稱為「事后概率」或「事后分布」溜在，下面接著講解他托。
事后概率p(X|Y)赏参，形式上是條件概率的一種。因此纫溃，對Y和X使用乘法概率韧掩，下面的等式成立：
p(X, Y) = p(X|Y) p(Y) = p(Y|X) p(X)
第2個式子和第3個式子除以p(Y)后，推導出下面的等式坊谁，也就是「貝葉斯公式」口芍。
這是在機器學習中最常用的公式简珠，只有2個隨機變量的容易理解的問題還行聋庵，在更復雜的模型使用時容易出錯。
如上面的推導一樣氧映，每次考慮聯(lián)合概率時都要展開為兩個等式脱货，是不容易出錯的，也不會成為黑盒子臼疫，不用考慮「貝葉斯公式倒是以怎樣的順序推導出的扣孟？」就能解決問題，非常建議這樣使用鸽斟。
但是富蓄，這么惡心的認同「事后概率」真的沒關系嗎？不擔心嗎灭红？
ここで少し歴史の話でもしてみましょう帐萎。「事後確率」について最初に言及したのは18世紀の數(shù)學者赁项，トーマス?ベイズです澈段。
高校數(shù)學での確率のような「どのくらい起こりうるか」という考え方では都合が悪いことに気づいたベイズは败富，確率を「どれくらい信用できるか（もっともらしいか）」を表す量（信念の度合い）として広く再定義します。すると芬骄，さきほどの p(Y|X) も「與えられた Y は鹦聪，どの X から導かれたと信じられるか」を表す値となり泽本，事後確率が意味のある存在になったのです。
數(shù)學者としてベイズを紹介しましたが蒲牧，ベイズの本職は実は牧師でした赌莺。いわゆる「市井の數(shù)學者」艘狭，アマチュアだったのです喘蟆。一方のラプラスは鼓鲁，當事すでに數(shù)學者として大きな実績を持っていました骇吭。彼の名前で発表したら歧寺，もっと大きな問題になると考えたのでしょう（なにしろ，今でも一部では論爭が続いているそうですから……）龙致。
その論爭に參加するのも別の意味で楽しそうですが目代，ここではやはり「どれくらい信用できるか（もっともらしいか）」を新しい確率の定義と認めることにしましょう嗤练。新しい定義によって様々な不確かさを足したり掛けたり比較したりできる「確率」で表せるようになり，機械學習の力は大きく広がるのですから霜大。
機械學習に限らず战坤，様々な統(tǒng)計的手法の発展に大きく貢獻したその新しい確率は残拐，ベイズの名を冠して「ベイズ的確率」と呼ばれています”钠铮現(xiàn)在では，様々な分野でベイズの名前がついた技術が用いられています边败。アマチュア數(shù)學者だったベイズ自身は捎废，何百年も後に登疗，自分の名前がこれほど多くの分野の多くの人の口にのぼるとは嫌蚤，まさか夢にも思わなかったでしょうね断傲。
模型的參數(shù)個數(shù)
下面講解概率學中另一個重要的概念「獨立性」认罩，還要回到之前的「文章中含有單詞」垦垂。
X代表「文章中包含單詞“program”嗎?」的隨機變量,Y代表「文章中包含“application”嗎？」的隨機變量间校。各自概率如下：
p(X=1, Y=1) = 0.082
p(X=1, Y=0) = 0.271
p(X=0, Y=1) = 0.172
p(X=0, Y=0) = 0.475
這些聯(lián)合概率有4個值页慷，這些值都是已知的差购，可以完整的表述這個模型了。另外找蜜，因為所有概率和為1稳析，其實已知3個概率值時彰居，剩下的一個自動就求出來了，所以也可以說這個模型的參數(shù)個數(shù)為3畦徘。
下面抬闯，在模型中增加1個處理的單詞(例:"internet")溶握，變成了3個個變量的情況，那么為了表述這個模型需要幾個參數(shù)呢萍肆？
第三個隨機變量定為Z。X包雀，Y，Z都有0和1兩種取值勿负，為了表述所有的聯(lián)合概率馏艾，共需要2^3=8個。存在「總和=1」的條件奴愉，可以去掉一個，參數(shù)個數(shù)變?yōu)?铁孵。
即使單詞增加到100種锭硼，同理可得，參數(shù)個數(shù)為2^100-1≒10^30蜕劝。
參數(shù)暴增，編程實現(xiàn)時需要多大的內存空間呢岖沛？
按照1個值占用4byte計算暑始，4,000,000,000,000,000,000T的內存的話可以滿足。但是這是不可能的婴削。
一般情況下廊镜，人類語言含有2萬~10萬的詞匯，怎么看都不可能處理的單詞數(shù)唉俗。怎樣才能實現(xiàn)這個模型呢嗤朴？
隨機變量的獨立性和「更好的模型」
這里雖然有點突然，「隨機變量的獨立性」定義如下：
對于隨機變量 X和Y虫溜，p(Y|X) = p(Y) 成立時雹姊，可以說X和Y是獨立的。 同時衡楞，X和Y 顛倒順序后吱雏，由乘法定理導出，p(X|Y) = p(X) 也成立瘾境。
p(Y|X) = p(Y) 實際上就等同于歧杏，Y 的概率和X的取值無關。X=1 也好寄雀，X=0 也好得滤，或者X 的值未知。Y 的概率不發(fā)生變化盒犹。無關的東西也可以說為「獨立」略水。
之前只有2個單詞種類的模型中：
p(Y=1|X=1) = 0.232
p(Y=1|X=0) = 0.266
p(Y=1) = 0.254
所以痪蝇，X和Y不相互獨立葱淳。
如果用語言描述獨立性的條件的話，就成了「即使文章中不含單詞“program”龄捡，包含單詞“application”的概率發(fā)生變化嗎？」慷暂。
相關性高的單詞在同一篇文章中使用的概率高聘殖。反之則低。感覺這個模型不是獨立的行瑞，這是很自然的事奸腺。
明知道隨機變量 X?和?Y 是不獨立的，還去假定「X?和 Y 是獨立的」血久。雖然明顯是矛盾的突照，還請稍稍忍耐一下。
在上面的假設下氧吐，下式成立讹蘑，已知p(X)?和 p(Y) 的話，可以求出聯(lián)合概率筑舅。
p(X, Y) = p(X|Y)p(Y) = p(X)p(Y)
具體說明：由p(X=1) = 0.353, p(Y=1) = 0.254 兩個值座慰，可以求出：p(X=0) = 1 - 0.353 = 0.647, p(Y=0) = 1 - 0.254 = 0.746 ，所以所有的聯(lián)合概率都可以求出翠拣。
p(X=1, Y=1) = p(X=1) * p(Y=1) = 0.090
p(X=1, Y=0) = p(X=1) * p(Y=0) = 0.263
p(X=0, Y=1) = p(X=0) * p(Y=1) = 0.164
p(X=0, Y=0) = p(X=0) * p(Y=0) = 0.483
表述模型必須的參數(shù)有p(X=1)?和 p(Y=1) 2個版仔，少了1個。
有三種單詞的模型也一樣邦尊，3個隨機變量， 假定X?，Y?， Z 中任意兩個是獨立的（這里只是說「 X と Y と Z 是獨立的」），就可以求出p(X=1)?典予， p(Y=1)?， p(Z=1) 三個變量的聯(lián)合概率。
即使單詞種類增加至100個，同理參數(shù)個數(shù)只需要100個就足夠了。本來需要2^100 - 1 ≒ 1030個參數(shù)是騙人的霎终。 這樣的話，單詞種類增至100萬時谅海，計算機也是可以處理的。
但是枫吧，看似解決了參數(shù)個數(shù)過多的問題宣蠕，但是這樣求出的聯(lián)合概率和「真正的聯(lián)合概率值」是不一樣的羡微。這由于是把原本不相互獨立的事件假定為獨立造成的妈倔。
雖然本文中的例子中誤差很小博投，但是隨著單詞種類的增加，會產生更大的偏差盯蝴。那么是不是可以斷定毅哗，這樣不正確的方法沒有意義呢？
但是捧挺，無論多么正確的方法虑绵，如果沒有辦法計算的話是更沒有意義的。機器學習中闽烙，機械學習では翅睛，「可計算性」是最首要的。平衡計算成本和結果的可信度是很重要的黑竞。計算簡單捕发，且結果足夠滿意的就是「好模型」。
所以很魂，即使是降低準確度的假設扎酷，也要采用。
具有獨立性的模型（無論是真的莫换，還是假設的）要比非獨立性模型容易計算的多霞玄。另外，處理獨立性處理拉岁，還有很多技術(近似法)可以削減計算量坷剧。要對得出的結果進行評價。有機會的話喊暖，會對近似法和評價方法進行講解惫企。
基于樸素貝葉斯的文本分類
最后，至此講解的事后概率都是在獨立性的假定下進行的，下面講解文章分類模型狞尔。
X 為「文章類別」丛版，Y1, Y2, …… 為「文章中是否含有單詞」的隨機變量。Y 的下標對應的單詞都是事先確定的偏序。
gihyo.jp上有「デベロッパステージ」「アドニミストレータステージ」「WEB＋デザインステージ」的博客區(qū)页畦，把這些作為文章類別。
為了簡化研儒，限定為只有「デベロッパステージ」と「アドニミストレータステージ」兩個分類豫缨，每個博客區(qū)文章數(shù)所占的比例作為X的概率。實際值如下：
p(X=dev) = 0.652
p(X=admin) = 0.348
注意端朵，隨機變量 X=dev 指「デベロッパステージ」好芭，X=admin 指「アドミニストレータステージ」。
使用條件概率描述的話冲呢，「雖然dev中單詞“program”經常使用舍败，admin中不怎么用」的情報可以數(shù)值化表示。
そこで敬拓，文章に“プログラム”が含まれる確率(=Y1)を各ステージごとに調べてみました邻薯。
p(Y1=1|X=dev) = 0.271
p(Y1=1|X=admin) = 0.136
條件付き確率 p(Y1=1|X=dev) は「デベロッパステージの文章で，“プログラム”が含まれる確率」です乘凸。X=admin の方も同様です弛说。
確かに p(Y1=1|X=dev) > p(Y1=1|X=admin) となっていますね。
同じように翰意，確率変數(shù) Y2 を「文章に“アプリケーション”が含まれる」として，その確率を求めておきましょう信柿。
p(Y2=1|X=dev) = 0.172
p(Y2=1|X=admin) = 0.523
それでは「“アプリケーション”は含まれているが“プログラム”は含まれていない文書」があったときに冀偶，それがどのカテゴリの文書かを判斷したいとします。
この條件に対応する確率変數(shù)は Y1=0, Y2=1 ですが渔嚷，カテゴリを表す X の値はまだわかっていません进鸠。ここで，p(X=dev|Y1=0, Y2=1) と p(X=admin|Y1=0, Y2=1) を求めれば形病，その確率の大きい方が「信用できる X の値」をさしている客年，と判斷することができます。
文章を書くときに漠吻，中身を書いてからカテゴリを考える量瓜，なんてことは普通ありませんよね。つまり途乃，p(X|Y1, Y2) はまさに事後確率であり绍傲，これを計算することは，実際にそこにあるもの（観測値）から隠れた情報（例えば「この文章はデベロッパーステージに載せるつもりで書いたよ！」）を推測する手段であるわけです烫饼。
この一連の流れが猎塞，統(tǒng)計的機械學習の代表的な考え方の一つになっています。
