正則化算法（Regularization Algorithms）
回歸的拓展，會基于模型復(fù)雜性對其進行懲罰播赁，它喜歡相對簡單能夠更好的泛化的模型颂郎。
嶺回歸（Ridge Regression）
最小絕對收縮與選擇算子（LASSO）
GLASSO
彈性網(wǎng)絡(luò)（Elastic Net）
最小角回歸（Least-Angle Regression）
優(yōu)缺點：
其懲罰會減少過擬合；造成欠擬合容为；很難校準(zhǔn)乓序；
集成算法（Ensemble Algorithms）
多個較弱的模型集成模型組，模型可以單獨進行訓(xùn)練坎背，預(yù)測能以某種方式結(jié)合去做總體預(yù)測替劈；比使用單個模型預(yù)測出來的結(jié)果要精確；
Boosting
Bootstrapped Aggregation（Bagging）
AdaBoost
層疊泛化（Stacked Generalization）（blending）
梯度推進機（Gradient Boosting Machines得滤，GBM）
梯度提升回歸樹（Gradient Boosted Regression Trees陨献，GBRT）
隨機森林（Random Forest）
決策樹算法（Decision Tree Algorithm）
決策樹算法（Decision Tree Algorithm）
使用一個決策樹作為一個預(yù)測模型，它將對一個 item（表征在分支上）觀察所得映射成關(guān)于該 item 的目標(biāo)值的結(jié)論（表征在葉子中）懂更。
目標(biāo)是可變的眨业，可以采一組有限值急膀，被稱為分類樹；在這些樹結(jié)構(gòu)中龄捡，葉子表示類標(biāo)簽卓嫂，分支表示表征這些類標(biāo)簽的連接的特征。分類和回歸樹（Classification and Regression Tree聘殖，CART）
I- terative Dichotomiser 3（ID3）C4.5 和 C5.0（一種強大方法的兩個不同版本）
優(yōu)缺點：
非參數(shù)易理解晨雳；容易過擬合 陷入局部最小奸腺；沒有在線學(xué)習(xí)悍募；
回歸（Regression）
能在給定自變量的條件下估計出因變量的條件期望；
普通最小二乘回歸（Ordinary Least Squares Regression洋机，OLSR）
線性回歸（Linear Regression）
邏輯回歸（Logistic Regression）
逐步回歸（Stepwise Regression）
多元自適應(yīng)回歸樣條（Multivariate Adaptive Regression Splines坠宴，MARS）
本地散點平滑估計（Locally Estimated Scatterplot Smoothing，LOESS）
優(yōu)缺點：
嚴(yán)格假設(shè)绷旗；異常值處理喜鼓；
人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）
受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)，模式匹配衔肢，用于回歸和分類庄岖；
感知器
反向傳播
Hopfield 網(wǎng)絡(luò)
徑向基函數(shù)網(wǎng)絡(luò)（Radial Basis Function Network，RBFN）
深度學(xué)習(xí)（Deep Learning）
支持向量機（Support Vector Machine）
降維算法（Dimensionality Reduction Algorithms）
聚類算法（Clustering Algorithms）
基于實例的算法（Instance-based Algorithms）
貝葉斯算法（Bayesian Algorithms）
關(guān)聯(lián)規(guī)則學(xué)習(xí)算法（Association Rule Learning Algorithms）
圖模型（Graphical Models）
https://zhuanlan.zhihu.com/p/25327755
