方法 ＝ 模型∈昊椤＋策略×跣濉＋ 算法
????????統(tǒng)計學習首要考慮的問題是學習什么樣的模型。在監(jiān)督學習過程中挣输，模型就是所要學習的條件概率分布或決策函數(shù)纬凤。模型的假設(shè)空間（hypothesis space）包含所有可能的條件概率分布或決策函數(shù)。例如歧焦，假設(shè)決策函數(shù)是輸入變量的線性函數(shù)移斩，那么模型的假設(shè)空間就是所有這些線性函數(shù)構(gòu)成的函數(shù)集合肚医。假設(shè)空間中的模型一般有無窮多個绢馍。
? ??????有了做模型的假設(shè)空間向瓷，統(tǒng)計學習接著需要考慮的是按照什么樣的準則學習或選擇最優(yōu)的模型。統(tǒng)計學習的目標在于從假設(shè)空間中選取最優(yōu)模型舰涌。
（按照何種準則學習最優(yōu)的模型猖任，就是學習策略）
????????首先引入損失函數(shù)與風險函數(shù)的概念。損失函數(shù)度量模型一次預(yù)測的好壞瓷耙，風險函數(shù)度量平均意義下模型預(yù)測的好壞朱躺。
? ??????監(jiān)督學習問題是在假設(shè)空間Γ中選取模型f作為決策函數(shù)，對于給定的輸入X搁痛，由f(X)給出相應(yīng)的輸出Y长搀，這個輸出的預(yù)測值f(X)與真實值Y可能一樣可能不一樣，用一個損失函數(shù)（loss function）或代價函數(shù)（cost function）來度量預(yù)測錯誤的程度鸡典。損失函數(shù)f(X)和Y的非負實值函數(shù)源请，記作L（Y，f(X)）.
統(tǒng)計學習常用的損失函數(shù)有以下幾種：
????????????（1）0-1損失函數(shù)（0-1 loss function）
L(Y,f(X))={1,0,Y is not equal to f(X)Y is equal to f(X)
????????????（2）平方損失函數(shù)（quadratic loss function）????
L(Y,f(Y))=(Y?f(X))2
????????????（3）絕對損失函數(shù)（absolute loss function）
L(Y,f(Y))=|(Y?f(X)|
????????????（4）對數(shù)損失函數(shù)（logarithmic loss function）或?qū)?shù)似然損失函數(shù)（loglikelihood loss function）
L(Y,P(Y|X))=?logP(Y|X)
損失函數(shù)值越小彻况，模型就越好谁尸。由于模型的輸入、輸出（X,Y）是隨機變量纽甘，遵循聯(lián)合分布P（X,Y）良蛮，所以損失函數(shù)的期望是
????????????????????Rexp(f)=Ep[L(Y,f(X))]=∫x?yL(y,f(x))P(x,y)dXdy
這是理論上模型f(X)關(guān)于聯(lián)合分布P（X,Y）的平均意義下的損失，稱為風險函數(shù)（risk function）或期望損失（expected loss）悍赢。
? ??????學習的目標就是選擇期望風險最小的模型决瞳。由于聯(lián)合分布P(X,Y)是未知的，$R_{exp}(f)$不能直接計算左权。實際上，如果知道聯(lián)合分布P{X,Y}涮总，可以從聯(lián)合分布直接求出條件概率分布P(Y|X),也就不需要學習了胸囱。正因為不知道聯(lián)合概率分布，所以才需要進行學習瀑梗。這樣一來烹笔，一方面根據(jù)期望風險最小學習模型要用到聯(lián)合分布，另一方面聯(lián)合分布又是未知的抛丽，所以監(jiān)督學習就稱為一個病態(tài)為題（ill-formed problem）
? ? ? ? ? ?期望風險Rexp（f）是模型關(guān)于聯(lián)合分布的期望損失谤职，經(jīng)驗風險Remp是模型關(guān)于訓練樣本集的平均損失。根據(jù)大數(shù)定律亿鲜，當樣本容量N趨于無窮時允蜈，經(jīng)驗風險Remp（f）趨于期望風險Rexp（f）.所以一個很自然的想法是用經(jīng)驗風險估計期望風險冤吨。但是，由于現(xiàn)實中訓練樣本數(shù)目有限饶套，甚至很小漩蟆，所以用經(jīng)驗風險估計期望風險常常不理想，要對現(xiàn)實中訓練樣本數(shù)目有限妓蛮，甚至很少怠李，所以用經(jīng)驗風險估計期望風險常常并不理想，要對經(jīng)驗風險進行一定的矯正蛤克，這就關(guān)系到監(jiān)督學習的兩個基本策略：經(jīng)驗風險最小化與結(jié)構(gòu)風險最小化捺癞。
? ??????當樣本容量足夠大時，經(jīng)驗風險最小化能保證有很好的學習效果构挤，在現(xiàn)實中被廣泛采用髓介。比如，極大似然估計（maximum likelihood estimation）就是經(jīng)驗風險最小化的一個例子筋现。當模型是條件概率分布唐础，損失函數(shù)是對數(shù)損失函數(shù)時，經(jīng)驗風險最小化就等價于極大似然估計夫否。
但是彻犁，當樣本容量很小時，經(jīng)驗風險最小化學習的效果就未必很好凰慈，會產(chǎn)生后邊將要敘述的“過擬合（over-fitting）”現(xiàn)象汞幢。
????????結(jié)構(gòu)風險最小化（structural risk minimization，SRM）是為了防止過擬合而提出來的策略微谓。結(jié)構(gòu)風險最小化等價于正則化（regularization）森篷。結(jié)構(gòu)風險在經(jīng)驗風險上加上表示模型復(fù)雜度的正則化項（regularizer）或罰項（penalty term）。
????????????算法是指學習模型的具體計算方法豺型。統(tǒng)計學習基于訓練數(shù)據(jù)集仲智，根據(jù)學習策略，從假設(shè)空間中選擇最優(yōu)模型姻氨，最后需要考慮用什么樣的計算方法求解最優(yōu)模型钓辆。這時，統(tǒng)計學習問題歸結(jié)為最優(yōu)化問題肴焊，統(tǒng)計學習的算法成為求解最優(yōu)化問題的算法前联。
非常好的一篇技術(shù)文檔，啦啦啦娶眷，我是勤勞的搬運工～
https://www.2cto.com/kf/201609/546221.html
