第四章 機器學(xué)習(xí)
“如果一個系統(tǒng)能夠通過執(zhí)行某個過程改進它的性能肖抱，這就是學(xué)習(xí)”——西蒙
現(xiàn)在的機器學(xué)習(xí)方法主要是統(tǒng)計機器學(xué)習(xí)。機器學(xué)習(xí)可以按以下分類：監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)死相、半監(jiān)督學(xué)習(xí)忿墅、強化學(xué)習(xí)扁藕。
主要內(nèi)容：
- Naive Bayes 樸素貝葉斯
- SVM SMO
- 決策樹（ID3：按信息增益最大 ；C4.5：按信息增益比最大疚脐；決策樹剪枝）
樸素貝葉斯
根據(jù)貝葉斯法則推出的最簡單的分類器亿柑。求已知x的情況下，標(biāo)簽為c_k的條件概率棍弄。然后選擇條件概率最大的c_k望薄，作為x的標(biāo)簽疟游，實現(xiàn)對x的分類。
一般情況下痕支，x是一個向量颁虐。這時候P（x｜c）就有指數(shù)數(shù)量的參數(shù)，不好求取卧须。在貝葉斯分類器里面另绩，假設(shè)x的每一個元素都是獨立的，從而有：
P（x｜c）＝P（x_1｜c）P（x_2｜c）...P（x_n｜c）
得到貝葉斯分類器：
y=arg max_ck P(ck)P(x|c)
在計算條件概率P(x|c)的時候故慈，有時分母會為0板熊，這時候可以引入平滑方法。其中最簡單的方法是Laplace平滑察绷。（簡書上打公式太不方便了干签，看課件吧）
支持向量機SVM
支持向量機是一個二分類器。分為線性可分支持向量機拆撼、線性支持向量機和非線性支持向量機容劳。
線性和非線性可以統(tǒng)一。非線性實際上就是線性的加一個映射闸度。
SVM的推導(dǎo)是竭贩，將原問題轉(zhuǎn)化成一個求條件極值問題，并用拉格朗日乘子法求條件極值莺禁。公式太復(fù)雜了就不在這里寫了留量。
這個地方很有可能會考一個手算題，畢竟課上那個例題算起來也不算很難哟冬，不過要細(xì)心楼熄。
