第一章主要對機器學習的基本術語，目的及原理做了簡單闡述
1.
機器學習的目的：通過經(jīng)驗對新情況做出預判
機器學習研究如何通過計算（產(chǎn)生模型）的手段省核，利用經(jīng)驗（數(shù)據(jù)）來改善系統(tǒng)自身的性能
基于數(shù)據(jù)產(chǎn)生模型
研究 學習算法（給定數(shù)據(jù)和參數(shù)空間上的實例化）
對經(jīng)驗進行學習
模型: 從數(shù)據(jù)中學的的結(jié)果
訓練: 從數(shù)據(jù)中學的模型的過程
2.基本術語
對對象的描述 ：數(shù)據(jù)集 （事例蔓挖，樣本集合）
對對象某方面的描述 ：屬性
屬性上的取值 ：屬性值
屬性張成的空間里：屬性空間（一個屬性一條坐標軸呕缭，每個樣本可以找到一個坐標）
模型（假設）（學習器）對應數(shù)據(jù)（訓練數(shù)據(jù) 訓練樣本 訓練集）的規(guī)律（真相）斥废，包含訓練樣本的數(shù)據(jù)和結(jié)果
對于（x,y) 饱亿，y是實例x的標記蚜退，Y是所有標記的集合（標記空間闰靴，輸出空間）
{(X1' Y1) , (X2 , Y2) ,..., (Xm , Ym)} 是一個訓練集
監(jiān)督學習（訓練數(shù)據(jù)擁有標志信息（結(jié)果））
? 分類 預測離散值
? ? ? 二分類（正類，反類）Y = {-1 钻注，十 1} 或 {O蚂且， l};
? ? ? 多分類 IYI >2
? ? 回歸 預測連續(xù)值（程度）Y= R，R 為實數(shù)集
無監(jiān)督學習（訓練數(shù)據(jù)無標志信息）：聚類
學得模型后幅恋，使用其預測的過程稱為"測試" 杏死，被預測的樣本 稱為測試樣本" .y = f(x).
機器學習的目標是使學得的模型能很好地適用于"新樣本”（泛化能力），而不是僅僅在訓練樣本上工作得很好
3.假設空間
歸納 ：泛化過程 從特殊事例到一般規(guī)律
演繹 ：特化過程 從公理推導出定理
狹義的歸納學習 概念學習
學習過程：在所有假設中進行搜索的過程
一個假設："好瓜：(色澤= *) ^(根蒂=蜷縮)^(敲聲=濁響)"
假設空間的規(guī)模大欣弧：所有屬性的可能取值數(shù)量相乘加一（不存在這個標記淑翼，屬性可能取值為空集）
對假設空間進行搜索，刪除與正例不一致的假設（得不到是的結(jié)果）零渐，獲得與訓練集一致的假設窒舟。
假設空間存在多個與訓練集一致的集合（版本空間）（某一屬性的可能取值換成通配值也成立）
假設空間是所有可能取值的集合，版本空間是假設空間內(nèi)所有與訓練集一致的集合诵盼。
4.歸納偏好
由于算法對模型（屬性取值的選擇）的偏好作出不同的選擇 對結(jié)果造成影響
如果沒有偏好惠豺，算法會隨機抽取等效假設，產(chǎn)生不穩(wěn)定的結(jié)果
"奧卡姆剃刀" 是一種常用的风宁、自然科學 研究中最基本的原則洁墙，即"若有多個假設與觀察一致，則選最簡單的那個戒财。
模型的選擇應該關注正在解決的問題热监，而對是否能在相似的問題上成為好方案不關心，要考慮具體的問題饮寞，即學習算法的偏好是否與問題相匹配孝扛。
