最近開始系統(tǒng)性學(xué)習(xí)機(jī)器學(xué)習(xí)器予，做如下簡(jiǎn)述挪丢。日后再分門別類地詳細(xì)說(shuō)明。
決策樹
決策跟編程語(yǔ)言中的if esle有異曲同工之妙喜命。根據(jù)樣本的特征是否滿足某一條件沟沙，按是和否分支，最后葉子節(jié)點(diǎn)表示某個(gè)分類壁榕。在它基礎(chǔ)之上的算法有隨機(jī)森林等
SVM
最簡(jiǎn)單的版本就是在二維平面上尋找兩種分類的最優(yōu)超平面矛紫。可通過(guò)核函數(shù)將低維數(shù)據(jù)映射到高維牌里。SVM的數(shù)學(xué)原理很完善颊咬。本質(zhì)上是最小化支持向量到超平面的距離，可以用拉格朗日函數(shù)求解凸優(yōu)化問題牡辽，或者獲取其對(duì)偶函數(shù)喳篇，再結(jié)合KKT條件。
樸素貝葉斯分類
基于貝葉斯定理和特征獨(dú)立态辛，主要運(yùn)用條件概率
邏輯回歸（LR）
有待學(xué)習(xí)
K近鄰
對(duì)某個(gè)待測(cè)樣本選擇離他最近的K個(gè)樣本麸澜，這K個(gè)樣本大多屬于哪個(gè)類別，就認(rèn)為這個(gè)待測(cè)樣本屬于哪個(gè)類別奏黑。（不需要訓(xùn)練炊邦？）
K-means
初始化k（類別數(shù)）個(gè)點(diǎn)作為類別中心。令各訓(xùn)練樣本的類別為中心最近的類型熟史，再重新計(jì)算中心馁害，迭代至收斂。
隨機(jī)森林
多個(gè)決策樹的集合蹂匹。每個(gè)決策樹的訓(xùn)練樣本是總樣本的一部分蜗细。
感知機(jī)
模擬人腦神經(jīng)元
神經(jīng)網(wǎng)絡(luò)
多個(gè)感知機(jī)組成，使用BP算法更新權(quán)值
集成學(xué)習(xí)
將多個(gè)弱分類器集成在一起
常見Boosting等怒详，隨機(jī)森林也會(huì)集成學(xué)習(xí)
馬爾科夫鏈
隨機(jī)過(guò)程中炉媒，每個(gè)單詞之前不是獨(dú)立的
主成分分析（PCA）
有待學(xué)習(xí)
奇異值分解（SVD）
有待學(xué)習(xí)
獨(dú)立成分分析（ICA）
有待學(xué)習(xí)
