1页慷、概率 & 似然

概率是在知道參數(shù)的情況下，預(yù)測接下來可能出現(xiàn)的結(jié)果执庐。
似然是在已知觀測結(jié)果時酪耕，對有關(guān)事物的性質(zhì)的參數(shù)進(jìn)行估計。

2轨淌、泛化能力

即模型舉一反三的能力迂烁，如果對訓(xùn)練集很友好，而對測試集不友好递鹉，則說明泛化能力差盟步，過擬合。

3躏结、歸納偏好

舉個栗子却盘，就用大佬愛吃的西瓜為例。我們現(xiàn)在要去買西瓜媳拴，而判斷買不買的標(biāo)準(zhǔn)(特征/屬性)有三個黄橘，顏色/瓜藤彎曲程度/響聲(其實我忘記西瓜書常用的特征是什么了，就以這三個為例吧屈溉，hhh)塞关。
如果我們從別人那尋得的經(jīng)驗不夠多，只總結(jié)出來了一下三條（*表示不關(guān)心此特征）：

• 深綠子巾，瓜藤彎曲帆赢，* ? =>瓜甜小压，買了
• 淺綠，瓜藤直直椰于，* ? =>不甜怠益，沒錢
• *， *廉羔， 響聲悶 ??? =>瓜甜溉痢，買了

那么現(xiàn)在來了個淺綠&瓜藤直直&響聲悶的瓜僻造，根據(jù)以上三條經(jīng)驗憋他，我是買還是不買呢？畢竟口袋空空髓削，萬一買了個不甜的瓜竹挡，可就虧大發(fā)了。
所以立膛，這時揪罕，要么把這三個特征排列組合的經(jīng)驗都收集了。要么設(shè)置個偏好宝泵，比如我對三個特征的關(guān)注程度為顏色>瓜藤彎曲程度>響聲好啰，那么問題就解決了，我就不用擔(dān)心買錯瓜了儿奶！

4框往、AI 是一門預(yù)測的學(xué)問

概率論有兩種思想學(xué)派主導(dǎo)。
一方是頻率派闯捎，堅信隨機(jī)事件發(fā)生的頻次才能刻畫概率椰弊。
另一方則是貝葉斯派，認(rèn)為概率應(yīng)該表示事件發(fā)生的不確定性大小瓤鼻。這時不僅要描述事件的不確定性秉版，還要考慮選擇模型的不確定性。貝葉斯理論希望確定最佳模型下參數(shù)的不確定性（最大熵模型）茬祷。貝葉斯學(xué)派建立的概率理論更適用于機(jī)器學(xué)習(xí)清焕。

5、先驗概率 & 后驗概率 & 似然函數(shù)

參考：一個例子搞清楚（先驗分布/后驗分布/似然估計）
???先驗概率祭犯、后驗概率以及共軛先驗
哇咔咔耐朴，在搞了幾個小時查了n多網(wǎng)頁之后，終于弄明白了盹憎，那叫一個醍醐灌頂筛峭，那叫一個恍然大悟，那叫一個豁然開朗陪每！不過現(xiàn)在自己可能理解地還是不是很透徹影晓，留個坑镰吵，日后補(bǔ)充自己地看法」仪看不懂我寫的內(nèi)容的讀者可移步參考鏈接疤祭，以更加深入地了解。
背景：現(xiàn)在隔壁老王有三種交通方式饵婆，步行/騎行/開車勺馆，去公園。
我們要研究老王到達(dá)公園的時間侨核，這是結(jié)果草穆，也是我們要觀察的隨機(jī)事件，記為 X搓译。達(dá)到去公園這個目的的原因悲柱，是三種交通方式，記為 theta些己。
先驗概率
在結(jié)果發(fā)生前根據(jù)歷史經(jīng)驗推斷原因的概率分布豌鸡，也稱古典概率。
放到背景中段标，就是老王還沒出發(fā)涯冠，我們根據(jù)他懶的特質(zhì)，可以預(yù)測他到公園會開車逼庞。這時候交通方式和到達(dá)公園花費的時間沒什么關(guān)系蛇更，畢竟他還沒有動身。
記為p(交通方式)/p(歷史條件下的原因)/p(theta)往堡。
后驗概率
在已知結(jié)果后計算事件發(fā)生的原因的概率分布械荷，也稱條件概率。自變量是 X虑灰。
放到背景中吨瞎，就是老王到了公園，我們知道他花費了多少時間穆咐，我們要根據(jù)他花費的時間估計他是采用的哪種交通方式颤诀。
記為p(交通方式|花費時間)/p(因|果)/p(theta|X)。
似然函數(shù)
自變量是參數(shù)的函數(shù)对湃，記為L(theta|X)崖叫，在數(shù)值上等于p(X|theta)。先定下來原因拍柒，根據(jù)原因來估計結(jié)果的概率分布即 似然估計心傀。根據(jù)原因來統(tǒng)計各種可能結(jié)果的概率即似然函數(shù)。
放到背景中拆讯，同樣是我們要估計老王采用的交通方式脂男，只不過我們不知道路上花費的時間养叛。這時有效的猜測方法就是，我們假設(shè)老王采用了某種交通方式宰翅，來統(tǒng)計老王花費時間的概率分布弃甥。
記為p(花費時間|交通方式)/p(果|因)/p(X|theta)。