1个唧、參數(shù)模型

如果我們對所要學習的問題有足夠的認識，具備一定的先驗知識白嘁，此時我們一般會假定要學習的目標函數(shù)f(x)或分布P(y|x)的具體形式坑鱼。然后，通過訓練數(shù)據(jù)集，基于經(jīng)驗風險最小化（ERM）鲁沥、結(jié)構風險最小化（SRM）呼股、最大似然估計（MLE）、最大后驗概率估計（MAP）等學習策略画恰，可以估計出f(x)或P(y|x)中含有的未知參數(shù)彭谁。一旦未知參數(shù)估計完畢，訓練數(shù)據(jù)一般來說允扇，就失去其作用了缠局，因為這些估計出來的參數(shù)就是訓練數(shù)據(jù)的濃縮。通過這種方式建立起來的模型就是參數(shù)模型考润。

1.1 常見的參數(shù)機器學習算法

邏輯回歸
感知機
線性成分分析
樸素貝葉斯

1.2 參數(shù)模型的優(yōu)點

簡單：易于理解和解釋結(jié)果狭园；
快速：參數(shù)模型學習和訓練的速度都很快；
需要的數(shù)據(jù)少：不需要太多的訓練數(shù)據(jù)糊治，甚至可以很好地擬合有缺陷的數(shù)據(jù)唱矛；

1.3 參數(shù)模型的局限性

函數(shù)約束：以選定函數(shù)形式的方式來學習本身就限制了模型；
*復雜度低：這些方法更適合于簡單的問題井辜；
擬合效果較差：在實踐中绎谦，這些方法不太可能匹配潛在的目標（映射）函數(shù)；

2粥脚、非參數(shù)模型

當我們對所要學習的問題知之甚少窃肠，此時我們一般不會對潛在的模型做過多的假設。在面對預測任務的時候刷允，我們通常會用上所有的訓練數(shù)據(jù)冤留，通過這種方式建立的模型就是非參數(shù)模型。
非參數(shù)模型之所以叫做非參數(shù)恃锉，并不是因為模型中沒有參數(shù)搀菩。實際上，非參數(shù)模型中一般會含有一個或多個超參數(shù)破托，外加無窮多個普通的參數(shù)肪跋。
非參數(shù)模型不存在模型的錯誤假定問題，可以證明土砂，當訓練數(shù)據(jù)量趨于無窮大的時候州既，非參數(shù)模型可以逼近任意復雜的真實模型。這正是非參數(shù)模型誘人的一點萝映。

2.1 常見的非參數(shù)機器學習算法

KNN
決策樹
SVM

2.2 非參數(shù)模型的優(yōu)點

靈活性：以擬合許多不同的函數(shù)形式吴叶；
模型強大：對于目標函數(shù)不作假設或者作微小的假設；
性能：可以產(chǎn)生更高性能的預測模型序臂；

2.3 非參數(shù)模型的局限性

需要更多的數(shù)據(jù)：需要更多的訓練數(shù)據(jù)用于訓練目標函數(shù)蚌卤；
訓練速度慢：因為需要訓練更多的參數(shù)实束，訓練過程通常比較慢；
過擬合：有更高的風險發(fā)生過擬合逊彭，對于預測也比較難以解釋咸灿；

時下流行的深度學習，其本質(zhì)是一個半?yún)?shù)模型的神經(jīng)網(wǎng)絡侮叮。通過加大網(wǎng)絡的深度(加大隱層數(shù)目)以及寬度(增加每一層神經(jīng)元的個數(shù))避矢，使假設空間的復雜度得到極大的提高。復雜的假設空間有極強的表達能力囊榜，當訓練數(shù)據(jù)量很大的時候审胸，不會陷入過擬合。所以卸勺，深度學習的成功砂沛，從理論上講，一方面來源于海量的訓練數(shù)據(jù)曙求，另一方面來源于其復雜的網(wǎng)絡結(jié)構尺上。
參數(shù)模型的一個很重要的特點是，如果對于模型的假設正確圆到，那么只需要很少的訓練數(shù)據(jù)就可以從假設空間中學出一個很好的模型。但是卑吭，如果模型的假設錯誤芽淡，那么無論訓練的數(shù)據(jù)量有多大，甚至趨于無窮大豆赏，學出的模型都會與實際模型出現(xiàn)不可磨滅的偏差挣菲。感知機、邏輯斯特回歸掷邦、高斯判別分析白胀、樸素貝葉斯、線性支持向量機都屬于參數(shù)模型抚岗。對于神經(jīng)網(wǎng)絡來說或杠，當固定了隱層的數(shù)目以及每一層神經(jīng)元的個數(shù)，它也屬于參數(shù)模型宣蔚。但由于隱層數(shù)目與每一層神經(jīng)元個數(shù)的不確定性向抢，很多時候，神經(jīng)網(wǎng)絡都被歸類為半?yún)?shù)模型胚委。

3挟鸠、半?yún)?shù)模型

半?yún)?shù)模型作為非參數(shù)模型和參數(shù)模型之間的一類模型，既繼承了非參數(shù)模型的靈活性亩冬，又繼承了參數(shù)模型的可解釋性艘希，可以進一步改善非參數(shù)模型的缺陷。
對于神經(jīng)網(wǎng)絡來說，當固定了隱層的數(shù)目以及每一層神經(jīng)元的個數(shù)覆享，它也屬于參數(shù)模型佳遂。但由于隱層數(shù)目與每一層神經(jīng)元個數(shù)的不確定性，很多時候淹真，神經(jīng)網(wǎng)絡都被歸類為半?yún)?shù)模型讶迁。
[1]:參考文獻
[2]:參考文獻
[3]:參考文獻
[4]:參考文獻

參數(shù)和非參數(shù)機器學習算法