統(tǒng)計(jì)學(xué)習(xí)
- 定義：如果一個(gè)系統(tǒng)能夠通過(guò)執(zhí)行某個(gè)過(guò)程改進(jìn)它的性能卿嘲，這就是學(xué)習(xí)。(by Herbert A. Simon)
- 統(tǒng)計(jì)學(xué)習(xí)三要素：模型，策略录淡，算法
- 監(jiān)督學(xué)習(xí)的學(xué)習(xí)方法可以概括如下：從給定的、有限的表箭、用于學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集合出發(fā)赁咙，假設(shè)數(shù)據(jù)是獨(dú)立同分布產(chǎn)生的；并且假設(shè)要學(xué)習(xí)的模型屬于某個(gè)函數(shù)的集合免钻，稱為假設(shè)空間彼水；應(yīng)用某個(gè)評(píng)價(jià)準(zhǔn)則，從假設(shè)空間中選取一個(gè)最優(yōu)的模型极舔，使它對(duì)已知訓(xùn)練數(shù)據(jù)及未知測(cè)試數(shù)據(jù)在給定的評(píng)價(jià)準(zhǔn)則下有最優(yōu)的預(yù)測(cè)凤覆；最優(yōu)模型的選取由算法實(shí)現(xiàn)。
- 實(shí)現(xiàn)統(tǒng)計(jì)學(xué)習(xí)方法的步驟如下：
（1） 得到一個(gè)有限的訓(xùn)練數(shù)據(jù)集合
（2） 確定包含所有可能的模型的假設(shè)空間拆魏，即學(xué)習(xí)模型的集合
（3）確定模型選擇的準(zhǔn)則盯桦，即學(xué)習(xí)的策略
（4）實(shí)現(xiàn)求解最優(yōu)模型的算法，即學(xué)習(xí)的算法
（5）通過(guò)學(xué)習(xí)方法選擇最優(yōu)模型
（6）利用學(xué)習(xí)的最優(yōu)模型對(duì)新數(shù)據(jù)進(jìn)行預(yù)測(cè)或分析 - 監(jiān)督學(xué)習(xí)分為兩個(gè)過(guò)程渤刃，由學(xué)習(xí)系統(tǒng)與預(yù)測(cè)系統(tǒng)完成
監(jiān)督學(xué)習(xí)
統(tǒng)計(jì)學(xué)習(xí)三要素
-
策略
6.1 損失函數(shù)與風(fēng)險(xiǎn)函數(shù)
損失函數(shù)用于度量預(yù)測(cè)錯(cuò)誤的程度拥峦，是 f(X) 和 Y 的非負(fù)實(shí)值函數(shù)，記作L(Y, f(X)) 形式：0-1 quadratic absolute logarithmic
四種形式.jpg
損失函數(shù)的期望稱為風(fēng)險(xiǎn)函數(shù)
學(xué)習(xí)的目標(biāo)就是選擇期望風(fēng)險(xiǎn)最小的模型
監(jiān)督問(wèn)題是一個(gè)病態(tài)問(wèn)題
6.2 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化和結(jié)構(gòu)風(fēng)險(xiǎn)最小化
結(jié)構(gòu)風(fēng)險(xiǎn).jpg
