第一章 緒論
1.1 引言
日常生活中摇邦，我們?nèi)祟?lèi)依據(jù)經(jīng)驗(yàn)汞窗，對(duì)未知的事物進(jìn)行預(yù)測(cè)。
機(jī)器學(xué)習(xí)致力于研究如何通過(guò)計(jì)算的手段刊苍，利用經(jīng)驗(yàn)來(lái)改善系統(tǒng)自身的性能既们。
機(jī)器學(xué)習(xí)的主要內(nèi)容是關(guān)于在計(jì)算機(jī)上從數(shù)據(jù)中產(chǎn)生“模型”（model）的算法，即“學(xué)習(xí)算法”（learning algorithm）班缰。有了學(xué)習(xí)算法贤壁，我們把經(jīng)驗(yàn)數(shù)據(jù)提供給他，它就能基于這些經(jīng)驗(yàn)數(shù)據(jù)產(chǎn)生模型埠忘，在面對(duì)新的情況的時(shí)候脾拆，模型會(huì)給我們提供相應(yīng)的判斷馒索。
1.2 基本術(shù)語(yǔ)
數(shù)據(jù)集（data set）
示例（instance） 或 樣本（sample） 或 特征向量（feature vector）
屬性（attribute） 或 特征（feature）
屬性值（attribute Value）
屬性空間（attribute space） ?由屬性張成
樣本的維數(shù)（dimensionality）
樣例（example） ? 由 示例 ——> 標(biāo)記
1.3 假設(shè)空間
歸納（induction）和演繹（deduction）是 科學(xué)推理的兩大基本手段，
前者是從特殊到一般的“泛化”（generalization）過(guò)程名船，即從具體的事實(shí)到一般性規(guī)律绰上；
后者是從一般到特殊的“特化”（specialization）過(guò)程，即從基礎(chǔ)原理推演出具體狀況渠驼；
我們把學(xué)習(xí)過(guò)程看作一個(gè)在所有假設(shè)（hypothesis）組成的空間中進(jìn)行搜索的過(guò)程蜈块，搜索目標(biāo)是找到與訓(xùn)練集“匹配”（fit）的假設(shè)，即能夠?qū)⒂?xùn)練集中的結(jié)果判斷正確的假設(shè)迷扇。
假設(shè)的表示一旦確定下來(lái)百揭，假設(shè)的空間及其規(guī)模大小就確定了。
產(chǎn)生模型的過(guò)程就是在假設(shè)空間中不斷刪除與正例不一致 或 與假例一直的假設(shè)蜓席，最終得到與訓(xùn)練集一直的假設(shè)器一。但很多時(shí)候最終得到的假設(shè)不止一個(gè)，而是一個(gè)假設(shè)集合厨内，我們稱這個(gè)假設(shè)集合為“版本空間”（version space）
1.4 歸納偏好
機(jī)器學(xué)習(xí)算法在學(xué)習(xí)過(guò)程中對(duì)某種類(lèi)型假設(shè)的偏好祈秕，稱為“歸納偏好”（inductive bias）
任何一個(gè)有效的機(jī)器學(xué)習(xí)算法必有其歸納偏好
“奧卡姆剃刀”（Accam's razor）是一種常用的、自然科學(xué)研究中最基本的原則雏胃，即“若多個(gè)假設(shè)與觀察一致请毛，則選擇最簡(jiǎn)單的那個(gè)”
算法的歸納偏是否與問(wèn)題本身匹配，大多數(shù)時(shí)候?qū)⒅苯佑绊懰惴軌蛉〉煤玫男阅?/p>
