這本書主講的內(nèi)容包括：
1.統(tǒng)計(jì)學(xué)習(xí)的定義众旗、研究對(duì)象與方法夕土；
2.監(jiān)督學(xué)習(xí)
3.統(tǒng)計(jì)學(xué)習(xí)方法的三要素：方法=模型+策略+算法
4.介紹模型選擇，包括正則化井誉、交叉驗(yàn)證與學(xué)習(xí)的泛化能力
5.介紹生成模型與判別模型
6.監(jiān)督學(xué)習(xí)方法的應(yīng)用：分類問題蕉扮、標(biāo)注問題、回歸問題
1.1 統(tǒng)計(jì)學(xué)習(xí)
1.統(tǒng)計(jì)學(xué)習(xí)的目的：考慮什么樣的模型送悔、如何學(xué)習(xí)該模型慢显、盡可能優(yōu)化模型提高效率
2.假設(shè)空間：假設(shè)要學(xué)習(xí)的模型的屬于某個(gè)函數(shù)集合，學(xué)習(xí)模型是H(x)
3.統(tǒng)計(jì)學(xué)習(xí)方法的步驟：得到有限的訓(xùn)練數(shù)據(jù)集合欠啤、確定包含所有模型的假設(shè)空間、確定模型的選擇準(zhǔn)則屋灌，即學(xué)習(xí)方法洁段、實(shí)現(xiàn)求解最優(yōu)模型的算法，即學(xué)習(xí)的算法共郭、通過學(xué)習(xí)算法選擇最優(yōu)模型祠丝、利用最優(yōu)模型最數(shù)據(jù)進(jìn)行預(yù)測(cè)和分析。
1.2監(jiān)督學(xué)習(xí)
4.特征空間：輸出的實(shí)例由特征向量表示X=(x1,x2,...,xn)除嘹，特征向量存在的空間是特征空間
5.回歸問題：輸入變量和輸出變量均為連續(xù)變量的預(yù)測(cè)問題
6.分類問題：輸出變量為有限個(gè)離散變量的預(yù)測(cè)問題
1.3統(tǒng)計(jì)學(xué)習(xí)的三要素
7.模型：假設(shè)空間
8.策略：引入損失函數(shù)或代價(jià)函數(shù)的概念
? ? ? ? ? ? ?(1)損失或者代價(jià)函數(shù)：度量模型的一次預(yù)測(cè)的好壞
? ? ? ? ? ? ?(2)風(fēng)險(xiǎn)函數(shù)：度量平均意義下模型的好壞??
? ? ? ? ? ? ?(3)經(jīng)驗(yàn)風(fēng)險(xiǎn)：模型f(x)關(guān)于訓(xùn)練數(shù)據(jù)集的平均損失
9.經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化與結(jié)構(gòu)風(fēng)險(xiǎn)最小化
? ? ? ? ? ? ?(1)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化：平均損失最小写半，模型達(dá)到最優(yōu)化
? ? ? ? ? ? ?(2)結(jié)構(gòu)風(fēng)險(xiǎn)最小化：經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化+懲罰項(xiàng)（防止過擬合）
1.4模型評(píng)估與模型選擇
10.測(cè)試誤差：當(dāng)損失函數(shù)給定時(shí)，基于損失函數(shù)的模型的測(cè)試誤差（測(cè)試樣本）
11.訓(xùn)練誤差：當(dāng)損失函數(shù)給定時(shí)尉咕，基于損失函數(shù)的模型的訓(xùn)練誤差（訓(xùn)練樣本）
（兩者都需要確定下來損失函數(shù)）
12.過擬合:意為追求提高訓(xùn)練數(shù)據(jù)的預(yù)測(cè)能力叠蝇，所選模型的復(fù)雜度則往往比真模型高。為了防止過擬合我們引入懲罰項(xiàng)年缎，使高次項(xiàng)減少來降低模型的復(fù)雜度悔捶。
1.5正則化與交叉驗(yàn)證
13.正則化：正則化是結(jié)構(gòu)風(fēng)險(xiǎn)的最小化策略的實(shí)現(xiàn)，即結(jié)構(gòu)風(fēng)險(xiǎn)=經(jīng)驗(yàn)風(fēng)險(xiǎn)+正則化
正則化項(xiàng)可以是參數(shù)向量化的L2范數(shù)或者L1范數(shù)：
14.交叉驗(yàn)證：訓(xùn)練集单芜、驗(yàn)證集蜕该、測(cè)試集
? ? ? ? ? ? ? ? ? ? ? ?(1).訓(xùn)練集：訓(xùn)練模型
? ? ? ? ? ? ? ? ? ? ? ?(2).驗(yàn)證集：用于模型的選擇
? ? ? ? ? ? ? ? ? ? ? ?(3).測(cè)試集：用于對(duì)最終方法的評(píng)估
1.6泛化能力
15.學(xué)習(xí)方法的泛化能力：是指由該方法學(xué)習(xí)到的模型對(duì)未知數(shù)據(jù)的預(yù)測(cè)能力。
16.泛化誤差：所學(xué)習(xí)到的模型的期望風(fēng)險(xiǎn)
17.泛化誤差上界的性質(zhì)：
? ? ? ? ? ? ? ? ? ? ? (1)樣本容量增加洲鸠，泛化誤差上界趨于0(這樣泛化能力越強(qiáng))堂淡；
? ? ? ? ? ? ? ? ? ? ? (2)假設(shè)空間容量越大，模型越難學(xué)扒腕，泛化誤差上界也越大;
1.7生成模型和判別模型
18.監(jiān)督學(xué)習(xí)方法：生成方法和判別方法
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?生成方法->生成模型
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 判別方法->判別模型
生成模型：數(shù)據(jù)學(xué)習(xí)聯(lián)合概率P(X,Y)然后求出條件概率作為預(yù)測(cè)的模型(NB绢淀、HMM)
判別模型：直接學(xué)習(xí)決策函數(shù)f(x)或者條件概率p(y|x)，關(guān)心的是給定的x預(yù)測(cè)輸出什么樣的y（KNN SVM袜匿、logist更啄、感知機(jī)、DT）
1.8分類問題? ??
? ? ? ? 重點(diǎn)關(guān)注2分類問題
1.9標(biāo)注問題
? ? ? ? 標(biāo)注問題也是監(jiān)督學(xué)習(xí)問題祭务。標(biāo)注問題的輸入是觀測(cè)序列内狗，輸出是標(biāo)記序列或者狀態(tài)序列。
????????詳述見書20頁
2.0回歸問題
? ? ? ? 學(xué)習(xí)系統(tǒng)和預(yù)測(cè)系統(tǒng)
