1有監(jiān)督學(xué)習(xí)：
定義：訓(xùn)練數(shù)據(jù)的樣本包含輸?向量以及對應(yīng)的?標(biāo)向量的應(yīng)?叫做有監(jiān)督學(xué)習(xí)（supervised learning）問題。
舉例：數(shù)字識別就是這個(gè)問題的?個(gè)例?碳柱，它的?標(biāo)是給每個(gè)輸?向量分配到有限數(shù)量離散標(biāo)簽中的?個(gè)，被稱為分類（classification）問題夯尽。如果要求的輸出由?個(gè)或者多個(gè)連續(xù)變量組成扒磁，那么這個(gè)任務(wù)被稱為回歸（regression）袱箱。
2在其他的模式識別問題中，訓(xùn)練數(shù)據(jù)由?組輸?向量x組成义矛，沒有任何對應(yīng)的?標(biāo)值犯眠。在這樣的?監(jiān)督學(xué)習(xí)（unsupervised learning）問題中，?標(biāo)可能是發(fā)現(xiàn)數(shù)據(jù)中相似樣本的分組症革，這被稱為聚類（clustering）筐咧，或者決定輸?空間中數(shù)據(jù)的分布，這被稱為密度估計(jì)（density estimation）.
3前提知識：
概率論噪矛、決策論量蕊、信息論
4線性模型
5.對已?個(gè)給定的模型復(fù)雜度，當(dāng)數(shù)據(jù)集的規(guī)模增加時(shí)艇挨，過擬合問題變得不那么嚴(yán)重残炮。另?種表述?式是，數(shù)據(jù)集規(guī)模越?缩滨，我們能夠?來擬合數(shù)據(jù)的模型就越復(fù)雜（即越靈活）.
6.不得不根據(jù)可得到的訓(xùn)練集的規(guī)模限制參數(shù)的數(shù)量势就，根據(jù)待解決的問題的復(fù)雜性來選擇模型的復(fù)雜性。尋找模型參數(shù)
的最?平??法代表了最?似然（maximum likelihood）（將在1.2.5節(jié)討論）的?種特殊情形脉漏，并且過擬合問題可以被理解為最?似然的?個(gè)通?屬性苞冯。實(shí)際上，?個(gè)貝葉斯模型中侧巨，參數(shù)的有效（effective）數(shù)量會?動(dòng)根據(jù)數(shù)據(jù)集的規(guī)模調(diào)節(jié)舅锄。
7.公式（1.4）中的誤差函數(shù)也可以?解析的形式求出最?值。像這樣的技術(shù)在統(tǒng)計(jì)學(xué)的?獻(xiàn)中被叫做收縮（shrinkage）?法司忱，因?yàn)檫@種?法減?了系數(shù)的值皇忿。?次正則項(xiàng)的?個(gè)特殊情況被稱為?脊回歸（ridge regression）（Hoerl and Kennard, 1970）。在
神經(jīng)?絡(luò)的情形中坦仍，這種?法被叫做權(quán)值衰減（weight decay）鳍烁。
