參考來源：
https://zhuanlan.zhihu.com/p/428297409
一、統(tǒng)計學(xué)習(xí)方法由三要素
統(tǒng)計學(xué)習(xí)方法之間的不同，主要來自其模型言疗、策略、算法的不同。確定了模型、策略舵稠、算法，統(tǒng)計學(xué)習(xí)的方法也就確定了入宦，這也就是將其稱為統(tǒng)計學(xué)習(xí)三要素的原因哺徊。
二、實現(xiàn)統(tǒng)計學(xué)習(xí)方法的步驟
(1) 獲取數(shù)據(jù)集合：有限數(shù)據(jù)集合云石，用于訓(xùn)練
(2) 確定假設(shè)空間：包含所有可能的模型唉工，即學(xué)習(xí)模型的集合
(3) 確定學(xué)習(xí)策略：模型選擇的準(zhǔn)則
(4) 實現(xiàn)求解算法：最優(yōu)化模型的算法
(5) 尋優(yōu)求解：使用求解算法選擇最優(yōu)模型
(6) 預(yù)測或分析：利用學(xué)習(xí)的最優(yōu)模型對新數(shù)據(jù)進行預(yù)測或分析
三、 模型
假設(shè)空間用可以定義為決策函數(shù)的集合汹忠，通常是由一個參數(shù)向量決定的條件概率分布族淋硝，由決策函數(shù)表示的模型為非概率模型雹熬，由條件概率表示的模型為概率模型。
四谣膳、 策略
統(tǒng)計學(xué)習(xí)的目標(biāo)在于從假設(shè)空間中選取最優(yōu)模型竿报。
1、描述模型優(yōu)劣的評價指標(biāo)：
(1) 損失函數(shù)：度量模型一次預(yù)測的好壞继谚；
(2) 風(fēng)險函數(shù)：度量平均意義下模型預(yù)測的好壞烈菌，即損失函數(shù)的期望；
(3) 經(jīng)驗風(fēng)險：關(guān)于訓(xùn)練數(shù)據(jù)集的平均損失估計花履，也稱為 經(jīng)驗損失芽世，可實際用于尋優(yōu)的目標(biāo)函數(shù)。
2诡壁、監(jiān)督學(xué)習(xí)的兩個基本策略：經(jīng)驗風(fēng)險最小化和結(jié)構(gòu)風(fēng)險最小化.
2.1 济瓢、經(jīng)驗風(fēng)險最小化(empirical risk minimization,ERM)策略：經(jīng)驗風(fēng)險最小的模型是最優(yōu)的模型；
當(dāng)樣本容量足夠大時妹卿，經(jīng)驗風(fēng)險最小化能保證有很好的學(xué)習(xí)效果旺矾，在現(xiàn)實中被廣泛采用，比如夺克，極大似然估計就是經(jīng)驗風(fēng)險最小化的一個例子箕宙。當(dāng)模型是條件概率分布，損失函數(shù)是對數(shù)損失函數(shù)時铺纽，經(jīng)驗風(fēng)險最小化就等價于極大似然估計柬帕。
當(dāng)樣本容量很小時，經(jīng)驗風(fēng)險最小化學(xué)習(xí)的效果就未必很好狡门，會產(chǎn)生"過擬合"現(xiàn)象雕崩。
2.2、結(jié)構(gòu)風(fēng)險最小化(structural risk minimization,SRM)：在經(jīng)驗風(fēng)險上加上表示模型復(fù)雜度的正則化項或罰項融撞；
正則化項防止過擬合的原因：結(jié)構(gòu)風(fēng)險小需要經(jīng)驗風(fēng)險與模型復(fù)雜度同時小，模型復(fù)雜度較小則假設(shè)空間較小就不易過擬合粗蔚，因此結(jié)構(gòu)風(fēng)險小的模型往往對訓(xùn)練數(shù)據(jù)以及未知的測試數(shù)據(jù)都有較好的預(yù)測尝偎；
模型是條件概率分布、損失函數(shù)是對數(shù)損失函數(shù)鹏控、模型復(fù)雜度由模型的先驗概率表示時致扯，結(jié)構(gòu)風(fēng)險最小化就等價于最大后驗概率估計。這樣当辐，監(jiān)督學(xué)習(xí)問題就變成了經(jīng)驗風(fēng)險或結(jié)構(gòu)風(fēng)險函數(shù)的最優(yōu)化問題抖僵。這時經(jīng)驗或結(jié)構(gòu)風(fēng)險函數(shù)是最優(yōu)化的目標(biāo)函數(shù)
五、尋優(yōu)算法
尋優(yōu)算法就是尋找根據(jù)上述策略評價最優(yōu)模型的算法缘揪，通常該問題不存在解析解耍群，這就需要用數(shù)值計算的方法求解义桂。
設(shè)計尋優(yōu)算法的目標(biāo)：保證找到全局最優(yōu)解，并使求解的過程更高效蹈垢。
接下來計劃：
常見的模型慷吊、策略、尋優(yōu)方法原理和使用方法曹抬、使用場景溉瓶。
