《Machine Learning Yearning》是吳恩達(dá)歷時兩年，根據(jù)自己多年實踐經(jīng)驗整理出來的一本機(jī)器學(xué)習(xí)芥挣、深度學(xué)習(xí)實踐經(jīng)驗寶典吱瘩。注意，這還是一本總結(jié)實踐經(jīng)驗的書葫松，這相比于市面上絕大部分側(cè)重于模型理論與證明推導(dǎo)的機(jī)器學(xué)習(xí)書籍不同，是鮮有的涉及工程實踐經(jīng)驗的一本書底洗。每一章內(nèi)容都短小精悍腋么，干貨十足，強(qiáng)烈推薦給從事數(shù)據(jù)領(lǐng)域工作的朋友亥揖。
其實本書的每一章節(jié)的內(nèi)容都非常精煉珊擂，想要從中提煉什么要點，難免會損失書中所涉及到的很多重要的邏輯思維方法费变。所以這里的要點總結(jié)一方面只是作為個人閱讀記錄摧扇，另一方面則主要力圖概括每個章節(jié)涉及的知識內(nèi)容，方便沒有閱讀本書的朋友們快速了解本書內(nèi)容結(jié)構(gòu)挚歧。
1~3節(jié)
本書前三節(jié)屬于介紹性內(nèi)容扛稽，說明了本書的目的在于幫助大家理解如何為一個機(jī)器學(xué)習(xí)項目設(shè)定技術(shù)方向，如何制定合適的學(xué)習(xí)策略滑负。
4~7節(jié)
這部分介紹了數(shù)據(jù)規(guī)模和可用性是機(jī)器學(xué)習(xí)得以發(fā)展的主要因素在张。而解決訓(xùn)練數(shù)據(jù)集的準(zhǔn)備問題是開展機(jī)器學(xué)習(xí)項目的首要問題。
用于訓(xùn)練的數(shù)據(jù)要盡量符合應(yīng)用實際
機(jī)器學(xué)習(xí)需要搜集數(shù)據(jù)集用于訓(xùn)練和檢測矮慕。并通常使用70% / 30%的比例來隨機(jī)劃分獲得的數(shù)據(jù)集來獲得訓(xùn)練集和檢驗集帮匾。但要注意到，在很多實際應(yīng)用中痴鳄，搜集到的數(shù)據(jù)集往往與真實的應(yīng)用場景搜索不同瘟斜。（原文中將用于交叉檢驗的訓(xùn)練集分為訓(xùn)練集和開發(fā)集）
這就需要合理的選擇訓(xùn)練集和檢驗集，使之能夠代表將來實際數(shù)據(jù)的情況夏跷。要盡量想辦法模擬實際使用場景來獲取數(shù)據(jù)哼转。
訓(xùn)練集和檢驗集的分布要一致
此外，不能武斷地認(rèn)為檢驗集的分布和訓(xùn)練集是相同的槽华。要盡可能的選擇最終期望算法能夠正確處理的樣本作為檢驗集壹蔓，而不是隨便選擇一個你恰好擁有的訓(xùn)練集樣本。
如果一套訓(xùn)練系統(tǒng)在訓(xùn)練集上運(yùn)行性能良好猫态，但在檢驗集上卻效果不佳佣蓉。只有在訓(xùn)練集和檢驗集的分布相同時披摄，才能夠確定算法是在訓(xùn)練集上過擬合了。但如果訓(xùn)練集和檢驗集分布不一致勇凭，則無法排除數(shù)據(jù)本身對結(jié)果的影響疚膊，從而無法確定算法是否有問題。
訓(xùn)練集和檢驗集的大小
訓(xùn)練集的規(guī)模應(yīng)該盡量大虾标，這樣才能在交叉驗證的過程中分辨出學(xué)習(xí)器之間的性能差異寓盗。一個只有100個樣本的訓(xùn)練集無法檢測出兩個性能差距0.1%的學(xué)習(xí)器之間的差別。
檢驗集是用來評估學(xué)習(xí)器性能的數(shù)據(jù)集璧函，所以檢驗集的大小要能夠滿足對整體系統(tǒng)性能進(jìn)行一個高可信度的評估傀蚌。一般在數(shù)據(jù)總量貼近10000左右的情況下，采取30%比重的數(shù)據(jù)作為檢驗集是可以檢測到0.1%的性能提升的蘸吓。但在大數(shù)據(jù)時代善炫，數(shù)據(jù)總量非常龐大，并不需要按比例劃分檢驗集才能檢測到這0.1%的性能差異库继，只需要有足夠量的數(shù)據(jù)可以箩艺。
8~10節(jié)
介紹了學(xué)習(xí)器的評價指標(biāo)。
使用多個評價指標(biāo)宪萄，往往由于不同學(xué)習(xí)器在不同指標(biāo)上各有優(yōu)劣艺谆，難以抉擇。使用單評價指標(biāo)則能幫助你更快地做出判斷雨膨。
取平均值或者加權(quán)平均值是將多個指標(biāo)合并為一個指標(biāo)的最常用方法之一擂涛。此外，還可以設(shè)置多個“滿意度指標(biāo)”和一個“優(yōu)化指標(biāo)”聊记。篩選“滿意度指標(biāo)”達(dá)到指定目標(biāo)范圍下，“優(yōu)化指標(biāo)”最好的一個學(xué)習(xí)器恢暖。
而通過評價指標(biāo)評價學(xué)習(xí)器性能排监，可以指導(dǎo)我們不斷地迭代，改進(jìn)系統(tǒng)構(gòu)建的策略和想法杰捂。在特定訓(xùn)練集下舆床，可以清楚地比較每次迭代后的效果如何。
11~12節(jié)
在機(jī)器學(xué)習(xí)項目的實踐過程中嫁佳，訓(xùn)練集挨队、檢驗集和評價指標(biāo)并不是選定后就不改變的。
如果在實踐過程中漸漸發(fā)現(xiàn)初始的訓(xùn)練集蒿往、檢驗集和評價指標(biāo)與期望的目標(biāo)有一定差距時盛垦，就要盡快想辦法改進(jìn)它們。
通常有三個方面的錯誤需要進(jìn)行修正：
1瓤漏、實際的數(shù)據(jù)分布和訓(xùn)練集/檢驗集的數(shù)據(jù)分布不同腾夯。
2颊埃、學(xué)習(xí)器在訓(xùn)練集上過擬合了。
3蝶俱、評價指標(biāo)不能反映項目優(yōu)化的目標(biāo)。
