【輸入--->模型--->輸出】
監(jiān)督學習的目的在于找到最好的這樣的模型，由假設(shè)空間中N多個模型中產(chǎn)生缠俺。
分為學習過程和預(yù)測過程：
? ? ? ?學習過程是系統(tǒng)通過給定的訓(xùn)練數(shù)據(jù)集得到一個模型显晶，一邊向此模型中輸入數(shù)據(jù)，用輸出數(shù)據(jù)與訓(xùn)練數(shù)據(jù)集中的已知數(shù)據(jù)相互比較壹士，一邊不斷優(yōu)化模型磷雇，使二者的差足夠小，最后用條件概率密度函數(shù)或決策函數(shù)表示模型躏救。
? ? ? ?預(yù)測過程是向已得到的模型輸入數(shù)據(jù)唯笙，然后得到輸出數(shù)據(jù)螟蒸。
統(tǒng)計學三要素：【方法=模型+策略+算法】
模型在監(jiān)督學習中就是要學習的條件概率密度函數(shù)或者決策函數(shù)，其假設(shè)空間就是所有可能的函數(shù)的集合崩掘，可以由一個參數(shù)向量決定的函數(shù)組表示七嫌。有條件概率密度函數(shù)和決策函數(shù)兩種表示方法。
策略苞慢，就是考慮用什么準則來學習或選擇最優(yōu)模型
——損失函數(shù)诵原，度量模型一次預(yù)測的好壞。是非負實值函數(shù)挽放，值越小绍赛，模型越好。
——風險函數(shù)辑畦，度量模型平均預(yù)測的好壞吗蚌。損失函數(shù)的期望就是風險函數(shù)或期望損失，是模型關(guān)于聯(lián)合概率分布的平均損失纯出，但是風險函數(shù)中的P（X,Y）聯(lián)合分布是未知的蚯妇，所以又提出經(jīng)驗風險。
——經(jīng)驗風險是模型關(guān)于訓(xùn)練數(shù)據(jù)集的平均損失暂筝，而期望風險是模型關(guān)于聯(lián)合概率分布的平均損失箩言，所以當訓(xùn)練數(shù)據(jù)集中的樣本為無窮時，經(jīng)驗風險趨于期望風險乖杠。問題則轉(zhuǎn)向經(jīng)驗風險最小化分扎。
——經(jīng)驗風險最小化，當樣本容量足夠大時胧洒，效果顯著畏吓。但是樣本有限時就會出現(xiàn)偏差，出現(xiàn)“過擬合”現(xiàn)象卫漫。
——結(jié)構(gòu)風險最小化菲饼，防止“過擬合”現(xiàn)象，由經(jīng)驗風險和模型復(fù)雜度構(gòu)成列赎，二者同時小時宏悦，就能有較好的預(yù)測。
總：監(jiān)督學習的問題就變成了經(jīng)驗風險和結(jié)構(gòu)風險最優(yōu)化的問題包吝，經(jīng)驗風險函數(shù)和結(jié)構(gòu)風險函數(shù)就是目標函數(shù)饼煞。
注：梯度下降（gd）是最小化風險函數(shù)、損失函數(shù)的一種常用方法诗越，隨機梯度下降和批量梯度下降是兩種迭代求解思路砖瞧。
輔助鏈接：
01【梯度下降算法】
02【隨機梯度下降和批量梯度下降的公式對比、實現(xiàn)對比】
算法嚷狞，確定了策略便可尋找合適的算法來解決問題了块促。
