李宏毅機(jī)器學(xué)習(xí)任務(wù)四】

負(fù)責(zé)人：王佳旭

課程設(shè)計(jì)人：王佳旭

#任務(wù)時(shí)間#

請(qǐng)于5月25日22:00前完成色迂，逾期尚未打卡的會(huì)被清退

學(xué)習(xí)視頻內(nèi)容：

觀看觀看李宏毅課程內(nèi)容：p8

視頻連接：

https://www.bilibili.com/video/av35932863/?p=8

學(xué)習(xí)Datawhale整理筆記

https://datawhalechina.github.io/Leeml-Book/#/chapter8/chapter8(目前已100%復(fù)現(xiàn))

https://datawhalechina.github.io/Leeml-Book/#/chapter8/chapter8

說(shuō)明：

筆記內(nèi)容將會(huì)隨著學(xué)習(xí)任務(wù)進(jìn)行放出

學(xué)習(xí)打卡內(nèi)容：

從基礎(chǔ)概率推導(dǎo)貝葉斯公式针姿，樸素貝葉斯公式(1)

學(xué)習(xí)先驗(yàn)概率(2)

學(xué)習(xí)后驗(yàn)概率(3)

學(xué)習(xí)LR和linear regreeesion之間的區(qū)別(4)

推導(dǎo)sigmoid function公式(5)

要求：

我將將會(huì)對(duì)打卡鏈接進(jìn)行查看，要求打卡學(xué)習(xí)任務(wù)不得少于3個(gè)(上述學(xué)習(xí)內(nèi)容序號(hào))

如果少于3個(gè)學(xué)習(xí)任務(wù)將會(huì)被清退

可以晚點(diǎn)提交并說(shuō)明情況歌径，如果出現(xiàn)假打卡情況，立即清退告喊。

（1）從基礎(chǔ)概率推導(dǎo)貝葉斯公式岭粤，樸素貝葉斯公式

給定一個(gè)場(chǎng)景惜索，假設(shè)兩個(gè)盒子，各裝了5個(gè)球剃浇，還得知隨機(jī)抽一個(gè)球巾兆，抽到的是盒子1的球的概率是P(B1)，是盒子2的球的概率是P(B2)虎囚。從盒子中藍(lán)色球和綠色球的分配可以得到：

在盒子1中隨機(jī)抽一個(gè)球角塑，是藍(lán)色的概率為P(blue|B1)，綠的的概率為P(green|B1)

在盒子2中隨機(jī)抽一個(gè)球淘讥，是藍(lán)色的概率為P(blue|B2)圃伶，綠的的概率為P(green|B2)

現(xiàn)在需要求解：如果從兩個(gè)盒子中隨機(jī)抽一個(gè)球，結(jié)果是從盒子1中抽到藍(lán)色球的概率是多少。

問(wèn)題可分兩步解決：1）求抽到藍(lán)色球的概率窒朋；2）這個(gè)藍(lán)色球是從盒子1中抽到的概率搀罢。

1）求抽到藍(lán)色球的概率。

從兩個(gè)盒子中隨機(jī)抽一個(gè)球侥猩，抽到藍(lán)色球的可能性有兩個(gè):

a.從盒子1中抽到藍(lán)色的球榔至，其概率為：

b.從盒子2中抽到藍(lán)色的球.，其概率為：

因而欺劳，從兩個(gè)盒子中隨機(jī)抽取1個(gè)球唧取，抽到藍(lán)色球的概率為：

2）這個(gè)藍(lán)色球是從盒子1中抽到的概率：

將上面的例子一般化，即球的顏色即為樣本的特征x划提，盒子1和盒子2為樣本的分類C1和C2枫弟，可以將上式改寫為：

上式即為樸素貝葉斯公式。

（2）學(xué)習(xí)先驗(yàn)概率

先驗(yàn)概率即根據(jù)訓(xùn)練樣本獲得一個(gè)樣本分布的概率模型鹏往，實(shí)現(xiàn)當(dāng)輸入一個(gè)樣本x時(shí)媒区，可以計(jì)算出P(x).

我們想得到樣本分布的概率分布假定為高斯分布，這里需要理解高斯分布（Gaussian Distribution）掸犬。

關(guān)于高斯分布（正態(tài)分布）需要知道多為高斯分布的公式，以及里面涉及到的μ（均值）和∑（協(xié)方差）绪爸，參考https://www.cnblogs.com/jermmyhsu/p/8195588.html湾碎，這篇博客把協(xié)方差講的很清楚，我邊看博客邊記筆記奠货，把多維協(xié)方差和多維高斯分布的求解方式給理解介褥。

在李宏毅機(jī)器學(xué)習(xí)課程中，老師提到递惋，給出一個(gè)樣本柔滔，滿足這個(gè)樣本的高斯分布有很多，原因是高斯分布是在整個(gè)空間范圍內(nèi)萍虽，所以需要用最大似然估計(jì)方法睛廊，來(lái)求得一組μ和∑的高斯分布，使得樣本分布的可能性最大杉编。

其中似然函數(shù)為：

通過(guò)對(duì)μ和∑求偏微分并等于0超全，求得L的最大似然估計(jì)對(duì)應(yīng)的μ和∑為：

? ? ? ?

而通常來(lái)說(shuō)，不會(huì)給每個(gè)高斯分布都計(jì)算出一套不同的最大似然估計(jì)邓馒，協(xié)方差矩陣是和輸入feature大小的平方成正比嘶朱，所以當(dāng)feature很大的時(shí)候，協(xié)方差矩陣是可以增長(zhǎng)很快的光酣。此時(shí)考慮到model參數(shù)過(guò)多疏遏，容易Overfitting，為了有效減少參數(shù)，給描述這兩個(gè)類別的高斯分布相同的協(xié)方差矩陣财异。

此時(shí)倘零，似然函數(shù)為：

同樣视事，求得最大似然估計(jì)對(duì)應(yīng)的μ1，μ2和∑為：

μ1和μ2的求解公式一樣庆揩，求各自的平均值俐东；

∑不一樣，

（3）學(xué)習(xí)后驗(yàn)概率

情景一：已知從兩個(gè)箱子里面抽了一個(gè)藍(lán)色的球订晌，問(wèn)這個(gè)藍(lán)色的球是從盒子1拿出來(lái)的概率是多少虏辫。

分析過(guò)程是：根據(jù)以往的經(jīng)驗(yàn)（樣本數(shù)據(jù)），求一個(gè)使得樣本發(fā)生概率最大的高斯分布函數(shù)锈拨。即先驗(yàn)概率砌庄，然后再利用貝葉斯公式求得藍(lán)色球是從盒子1拿出來(lái)的概率。

情景二：根據(jù)天上有烏云（原因或者證據(jù)/觀察數(shù)據(jù)）奕枢，下雨（結(jié)果）的概率娄昆。

后驗(yàn)概率即條件概率，即在當(dāng)前特征情況下計(jì)算結(jié)果發(fā)生的概率缝彬。

（4） 學(xué)習(xí)Logistic Regression和linear regression之間的區(qū)別

a.logistic regression通過(guò)sigmoid 方程萌焰，所以輸出是0~1，而linear regression的輸出是R谷浅；

b.Logistic regression的目標(biāo)是利用最大似然法扒俯，求w和b，而linear regression是通過(guò)最小二乘法求w和b一疯；

c.liner regression期望擬合訓(xùn)練數(shù)據(jù),通過(guò)feature的線性加權(quán)來(lái)預(yù)測(cè)結(jié)果; logistic regression是在訓(xùn)練一個(gè)最大似然分類器撼玄。

（5）推導(dǎo)sigmoid function公式