監(jiān)督學(xué)習(xí):
- 簡(jiǎn)單定義: 根據(jù)例題來做新的習(xí)題,根據(jù)有結(jié)果的數(shù)據(jù), 來訓(xùn)練沒有結(jié)果的數(shù)據(jù), 有預(yù)期的
- 模型的生命周期是有限的
- 流程: 輸入數(shù)據(jù)->特征工程->模型訓(xùn)練->模型部署->模型應(yīng)用
輸入空間和輸出空間
- 輸入空間(Input Space): 將輸入的所有可能取值的集合稱作輸入空間
- 輸出空間(Output Space): 將輸出的所有可能取值的集合稱作輸出空間
- 輸入空間和輸出空間可以是有限元素的集合, 也可以是整個(gè)歐式空間
- 輸入空間和輸出空間可以是連續(xù)值集合, 也可以是離散值集合
- 輸入空間和輸出空間可以是同一個(gè)空間, 也可以是不同的空間
- 通常輸出空間會(huì)比輸入空間小
特征空間
- 特征(Feature): 即屬性, 每個(gè)輸入實(shí)例的各個(gè)組成部分(屬性)稱作原始特征, 基于原始特征還可以擴(kuò)展出更多的衍生特征.
- 特征向量(Feature Vector): 由多個(gè)特征組成的集合, 稱作特征向量
- 特征空間(Feature Space): 將特征向量存在的空間成為特征空間
1.特征空間中每一個(gè)維都對(duì)應(yīng)了一個(gè)特征(屬性)
2.特征空間可以和輸入空間相同, 也可以不同
3.需將將實(shí)例從輸入空間映射到特征空間
4.模型實(shí)際上是定義于特征空間之上的
假設(shè)空間
- 假設(shè)空間(Hypothesis Space): 由輸入空間到輸出空間的映射的集合, 稱作假設(shè)空間
用兩位大神的話來解釋的話:
監(jiān)督學(xué)習(xí)的目的在于學(xué)習(xí)一個(gè)由輸入到輸出的映射, 這一映射由模型來表示, 換句話說, 學(xué)習(xí)的目的在于找到最好的這樣的模型. 模型屬于由輸入空間到輸出空間的映射集合, 這個(gè)集合就是假設(shè)空間. 假設(shè)空間的確定意味著學(xué)習(xí)范圍的確定. ---------------------<統(tǒng)計(jì)學(xué)習(xí)方法> 李航
假設(shè)空間指的是問題所有假設(shè)組成的空間, 我們可以把學(xué)習(xí)過程看作是在假設(shè)空間中搜索的過程, 搜索目標(biāo)是尋找和訓(xùn)練集"匹配"的假設(shè)
----------周志華<機(jī)器學(xué)習(xí)>
假設(shè)個(gè)數(shù)的計(jì)算
機(jī)器學(xué)習(xí)方法的三要素
機(jī)器學(xué)習(xí)方法通常都是由模型, 策略和算法三個(gè)部分構(gòu)成:方法=模型+策略+算法
-
模型: 輸入空間到輸出空間的映射關(guān)系, 學(xué)習(xí)過程即為從假設(shè)空間中搜索合適當(dāng)前數(shù)據(jù)的假設(shè)
模型 -
策略: 從假設(shè)空間眾多的假設(shè)中選擇到最優(yōu)的模型的學(xué)習(xí)標(biāo)準(zhǔn)或規(guī)則
- 要從假設(shè)空間中選擇一個(gè)最合適的模型出來, 需要解決以下問題:
- 評(píng)估某個(gè)模型對(duì)單個(gè)訓(xùn)練樣本的效果
- 評(píng)估某個(gè)模型對(duì)訓(xùn)練集的整體效果
- 評(píng)估某個(gè)模型對(duì)包括訓(xùn)練集, 預(yù)測(cè)集在內(nèi)的所有數(shù)據(jù)的整體效果
- 定義幾個(gè)指標(biāo)用來衡量上述問題
- 損失函數(shù): 0-1損失函數(shù), 平方損失函數(shù), 絕對(duì)損失函數(shù), 對(duì)損失函數(shù)等
- 風(fēng)險(xiǎn)函數(shù): 經(jīng)驗(yàn)風(fēng)險(xiǎn), 期望風(fēng)險(xiǎn), 結(jié)構(gòu)風(fēng)險(xiǎn)
- 基本策略
- 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小(EMR: Empirical Risk Minimization)
- 結(jié)構(gòu)風(fēng)險(xiǎn)最小(SRM: Structural Risk Minimization)
- 要從假設(shè)空間中選擇一個(gè)最合適的模型出來, 需要解決以下問題:
-
算法: 學(xué)習(xí)模型的具體的計(jì)算方法, 通常是求解最優(yōu)化問題
三要素
