本章節(jié)是對我學(xué)習(xí)完機(jī)器學(xué)習(xí)（周志華）第一章 所做出來的總結(jié)
第一章緒論
1.1 引言
機(jī)器學(xué)習(xí)的定義：致力于如何通過計算的手段，利用經(jīng)驗來改善系統(tǒng)自身的性能窜管。
機(jī)器學(xué)習(xí)所研究的主要內(nèi)容怠惶，是關(guān)于在計算機(jī)上從數(shù)據(jù)中產(chǎn)生“模型”的算法酬凳，也就是“學(xué)習(xí)算法”取募。
1.2 基本術(shù)語
數(shù)據(jù)集：由數(shù)據(jù)組成的集合壮吩。有時整個數(shù)據(jù)集也可稱為一個“樣本”不皆，因為它可看作對樣本空間的一個采樣贯城。
樣本：數(shù)據(jù)集中每條記錄關(guān)于一個事件或?qū)ο蟮拿枋觯卜Q為“示例”霹娄。
樣例：擁有標(biāo)記信息的示例能犯。
屬性：反應(yīng)事件或?qū)ο笤谀撤矫娴谋憩F(xiàn)或性質(zhì)的事項，也稱為“特征”犬耻。
屬性值：屬性的取值踩晶。
屬性空間：屬性張成的空間，也稱為“樣本空間”或“輸入空間”香追。
學(xué)習(xí)：從數(shù)據(jù)中學(xué)得模型的過程合瓢，也稱為“訓(xùn)練”。這個過程通過執(zhí)行某個學(xué)習(xí)算法來完成透典。
訓(xùn)練數(shù)據(jù)：訓(xùn)練過程中使用的數(shù)據(jù)晴楔。
訓(xùn)練樣本：訓(xùn)練數(shù)據(jù)中的每個樣本。
訓(xùn)練集：訓(xùn)練樣本組成的集合峭咒。
分類：預(yù)測的是離散值税弃，例如：“好瓜” “壞瓜”。
回歸：預(yù)測的是連續(xù)值凑队，例如西瓜的成熟度0.95则果、0.37。
聚類：將訓(xùn)練集中的西瓜分為若干組漩氨，每組稱為一個“簇”西壮；這些自動形成的簇可能對應(yīng)一些潛在的概念劃分，例如“淺色瓜” “深色瓜”叫惊，甚至“本地瓜” “外地瓜”款青。
在聚類學(xué)習(xí)中，“淺色瓜” “深色瓜”這樣的概念我們事先是不知道的霍狰，而且學(xué)習(xí)過程中使用的訓(xùn)練樣本通常不擁有標(biāo)記信息抡草。
分類和聚類的區(qū)別：https://blog.csdn.net/u010412719/article/details/46726625/
監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)：根據(jù)訓(xùn)練數(shù)據(jù)可以分為監(jiān)督學(xué)習(xí)（分類饰及、回歸）和無監(jiān)督學(xué)習(xí)（聚類），也稱為有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)康震。
二分類：只涉及兩個類別燎含。一個為“正類”，一個為“反類”腿短。樣本空間——>輸出空間屏箍；輸出空間={+1，-1}或{0答姥，1}铣除。
多分類：涉及多個類別，|輸出空間|>2鹦付。
泛化能力：學(xué)得模型適用于新樣本的能力尚粘。機(jī)器學(xué)習(xí)的目標(biāo)是使學(xué)得的模型能很好地適用于“新樣本”，而不是僅僅在訓(xùn)練樣本上工作得很好敲长；即便對聚類這樣的無監(jiān)督學(xué)習(xí)任務(wù)郎嫁，也希望學(xué)得的簇劃分能適用于沒在訓(xùn)練集中出現(xiàn)的樣本。
1.3 假設(shè)空間
歸納學(xué)習(xí)有廣義和狹義之分祈噪。
廣義的歸納學(xué)習(xí)：從樣例中學(xué)習(xí)泽铛。
狹義的歸納學(xué)習(xí)：從訓(xùn)練數(shù)據(jù)中學(xué)得概念，因此又稱為“概念學(xué)習(xí)”或“概念形成”辑鲤。
概念學(xué)習(xí)中最基本的是布爾概念學(xué)習(xí)盔腔，即對“是” “不是”這樣的可表示為0/1布爾值的目標(biāo)概念的學(xué)習(xí)。
假設(shè)空間：由所有假設(shè)組成的空間月褥。這里我們由“色澤” “根蒂” “敲聲”組成假設(shè)空間弛随，分別有3、3宁赤、3種可能取值舀透，則假設(shè)空間的規(guī)模大小為：4*4*4+1=65，圖中*代表任意值
1.4 歸納偏好
歸納偏好：機(jī)器學(xué)算法在學(xué)習(xí)過程中對某種類型假設(shè)的偏好决左。
任何一個有效的機(jī)器學(xué)習(xí)算法必有其歸納偏好愕够，否則它將被假設(shè)空間中看似在訓(xùn)練集上“等效”的假設(shè)所迷惑，而無法產(chǎn)生確定的學(xué)習(xí)結(jié)果佛猛。如沒有偏好每個假設(shè)都是等效的惑芭，那么對于一個新瓜，學(xué)得模型時而說是好瓜继找、時而說是壞瓜强衡，這樣的結(jié)果明顯沒有意義。
可用“奧卡姆剃刀”來引導(dǎo)算法確立“正確”的偏好。
奧卡姆剃刀原則：如多個假設(shè)與觀察一致漩勤，則選用最簡單那個。
如果采用奧卡姆剃刀原則缩搅，并且假設(shè)“更平滑”則“更簡單”越败，那么在下圖中，我們會自然的偏好“平滑”的曲線A硼瓣。
“沒有免費的午餐”定理（簡稱NFL定理）：對于一個學(xué)習(xí)算法A究飞，若它在某些問題上比學(xué)習(xí)算法B好，則必然存在另一些問題堂鲤，在那里算法B會比算法A好亿傅。這個結(jié)論對任何算法都成立。也就是說無論學(xué)習(xí)算法A多聰明瘟栖、學(xué)習(xí)算法B多笨拙葵擎，它們的期望性能都相同。
NFL定理最重要的寓意是讓我們清楚地認(rèn)識到酬滤，脫離具體問題，空乏地談?wù)摗笆裁磳W(xué)習(xí)算法更好”毫無意義寓涨。
