? 本周的內(nèi)容主要分為兩部分蒸播，第一部分：主要內(nèi)容是偏差睡榆、方差以及學(xué)習(xí)曲線相關(guān)的診斷方法，為改善機(jī)器學(xué)習(xí)算法的決策提供依據(jù)袍榆；第二部分：主要內(nèi)容是機(jī)器學(xué)習(xí)算法的錯(cuò)誤分析以及數(shù)值評(píng)估標(biāo)準(zhǔn)：準(zhǔn)確率（交叉驗(yàn)證集的誤差）胀屿、查準(zhǔn)率（precision）、查全率（recall）以及F值包雀，還有大數(shù)據(jù)對(duì)機(jī)器學(xué)習(xí)的作用宿崭，并給出了機(jī)器學(xué)習(xí)算法的設(shè)計(jì)流程。
第一部分?
（一）模型選擇
? ? ? ? 在評(píng)估假設(shè)函數(shù)時(shí)才写，我們通常把數(shù)據(jù)集分成三部分：60%training set, 20%cross validation set, 20%test set. 分別用于擬合函數(shù)葡兑，模型選擇和預(yù)測(cè)奖蔓。
三個(gè)集合的誤差如下所示（注意是沒(méi)有正則化參數(shù)的）：
基于上面的劃分，我們對(duì)模型選擇的步驟為：
1讹堤、用測(cè)試集training set對(duì)多個(gè)模型（例如一次函數(shù)吆鹤、二次函數(shù)、三次函數(shù)）進(jìn)行訓(xùn)練洲守；
2疑务、用交叉驗(yàn)證集cross validation set驗(yàn)證上一步得到的多個(gè)假設(shè)函數(shù)，選擇交叉驗(yàn)證集誤差最小的模型梗醇；
3暑始、用測(cè)試集test set對(duì)上一步選擇的最優(yōu)模型進(jìn)行預(yù)測(cè)。
? 下面是模型選擇的過(guò)程：
以上問(wèn)題其實(shí)是指關(guān)系到模型選擇的中的一點(diǎn)——多項(xiàng)式的次數(shù)d婴削。實(shí)際上我們還會(huì)去考慮這樣兩個(gè)參數(shù)：正則化參數(shù)λ、樣本量m牙肝。而這些知識(shí)點(diǎn)涉及到我們下面要說(shuō)的偏差（bias）唉俗、方差（variance）。
（二）偏差（bias）配椭、方差（variance）虫溜、學(xué)習(xí)曲線（learning curve）
根據(jù)上圖我們可以發(fā)現(xiàn)以下對(duì)應(yīng)關(guān)系
下面介紹特征量的度d、正則化參數(shù)λ股缸、數(shù)據(jù)量m以及學(xué)習(xí)曲線：
1衡楞、特征量的度d
? ? ? ? 例如上面線性回歸的例子，當(dāng)我們用二次函數(shù)擬合時(shí)敦姻，訓(xùn)練集和交叉驗(yàn)證集的誤差都很小瘾境。但是當(dāng)使用直線擬合時(shí)，不管使用多高級(jí)的算法去減小代價(jià)函數(shù)镰惦，偏差依然很大迷守，這時(shí)候即：多項(xiàng)式次數(shù)d太小，導(dǎo)致高偏差旺入、欠擬合兑凿；類似的當(dāng)我們使用10次曲線去擬合，每個(gè)樣本點(diǎn)都可以經(jīng)過(guò)茵瘾，訓(xùn)練集的誤差近乎為0礼华，但是當(dāng)我們使用交叉驗(yàn)證集時(shí)會(huì)發(fā)現(xiàn)效果很差，誤差很大拗秘，這時(shí)候即：多項(xiàng)式次數(shù)d太大圣絮，導(dǎo)致高方差、過(guò)擬合雕旨。
多項(xiàng)式次數(shù)d與訓(xùn)練集晨雳、交叉驗(yàn)證集誤差時(shí)間的關(guān)系為：
2行瑞、正則化參數(shù)λ
正則化參數(shù)在第三周的學(xué)習(xí)中提到過(guò)，即λ越大餐禁，對(duì)θ懲罰越大：θ->0血久，假設(shè)函數(shù)是一條水平線，即欠擬合帮非、高偏差氧吐；正則化參數(shù)越小，相當(dāng)于正則化作用越弱末盔，即過(guò)擬合筑舅、高方差。關(guān)系如下圖所示：
3陨舱、樣本量m和學(xué)習(xí)曲線learning curve
學(xué)習(xí)曲線是誤差與訓(xùn)練集和交叉驗(yàn)證集之間的關(guān)系翠拣，分為高偏差和高方差兩種情況（欠擬合和過(guò)擬合）
（三）如何決策
綜上所訴，發(fā)現(xiàn)以下結(jié)論：
①訓(xùn)練集誤差大游盲、交叉驗(yàn)證集誤差也大：欠擬合误墓、高偏差、多項(xiàng)式次數(shù)d太小益缎、λ太大谜慌；
②訓(xùn)練集誤差小、交叉驗(yàn)證集誤差卻很大：過(guò)擬合莺奔、高方差欣范、多項(xiàng)式次數(shù)d太大、λ太下令哟、樣本量太少恼琼。
一般來(lái)說(shuō)，使用一個(gè)大型的神經(jīng)網(wǎng)絡(luò)并使用正則化來(lái)修正過(guò)擬合通常比使用一個(gè)小型神經(jīng)網(wǎng)絡(luò)效果更好屏富。但容易出現(xiàn)的問(wèn)題是計(jì)算量會(huì)比較大驳癌。
