第一節(jié)作業(yè)
- 機(jī)器學(xué)習(xí)
- 題目：說(shuō)明最大似然派&貝葉斯派、判別模型&生成模型、淺層學(xué)習(xí)&深層學(xué)習(xí)、顯變量學(xué)習(xí)&隱變量學(xué)習(xí)的不同勺远。
- 回答：
- 一、最大似然派&貝葉斯派
-
最大似然派：利用已知的樣本結(jié)果粤咪，反推最有可能（最大概率）導(dǎo)致這樣結(jié)果的參數(shù)值谚中，可以求出具體的值。
- 公式定義與推導(dǎo)：
- 對(duì)數(shù)似然函數(shù):
- 對(duì)數(shù)似然函數(shù):
- 公式定義與推導(dǎo)：
-
貝葉斯派：在我們有限的觀察次數(shù)下寥枝，事件A出現(xiàn)的概率應(yīng)該服從一定的概率分布宪塔。
- 公式定義與推導(dǎo)：
- 公式定義與推導(dǎo)：
- 最大似然派，只能得到概率的最大似然估計(jì)囊拜。但是通過(guò)貝葉斯公式得到概率后驗(yàn)分布函數(shù)后某筐，我們可以進(jìn)行各種處理，比如取概率期望冠跷，概率中位數(shù)南誊，概率極大值等等。
- 當(dāng)數(shù)據(jù)量比較小時(shí)蜜托，貝葉斯估計(jì)相比于極大似然估計(jì)更接近真實(shí)值抄囚；當(dāng)數(shù)據(jù)量較大時(shí)，貝葉斯估計(jì)和極大似然估計(jì)效果相差不大橄务。
-
最大似然派：利用已知的樣本結(jié)果粤咪，反推最有可能（最大概率）導(dǎo)致這樣結(jié)果的參數(shù)值谚中，可以求出具體的值。
- 二幔托、判別模型&生成模型
-
判別模型：學(xué)習(xí)得到概率分布
,即在特征
出現(xiàn)的情況下標(biāo)記
出現(xiàn)的概率.典型的判別模型包括k近鄰，感知級(jí)，決策樹(shù)重挑，支持向量機(jī)嗓化，boosting方法 (AdaBoost等)等，CNN谬哀。
-
生成模型：學(xué)習(xí)得到聯(lián)合分布
,即特征
-
判別模型：學(xué)習(xí)得到概率分布
- 三史煎、淺層學(xué)習(xí)&深層學(xué)習(xí)
-
淺層學(xué)習(xí)：只含有一層隱層節(jié)點(diǎn)的淺層模型谦屑。
- 特點(diǎn)：1、被動(dòng)接受 2篇梭、記憶與復(fù)制 3伦仍、容易忘記
- 其局限性在于有限樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)的表示能力有限，針對(duì)復(fù)雜分類問(wèn)題其泛化能力受到一定制約很洋。
-
深層學(xué)習(xí)：一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近隧枫，表征輸入數(shù)據(jù)分布式表示喉磁。其實(shí)質(zhì)，是通過(guò)構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)官脓，來(lái)學(xué)習(xí)更有用的特征协怒，從而最終提升分類或預(yù)測(cè)的準(zhǔn)確性。
- 特點(diǎn)：強(qiáng)調(diào)了模型結(jié)構(gòu)的深度卑笨，通常有5層孕暇、6層，甚至10多層的隱層節(jié)點(diǎn),明確突出了特征學(xué)習(xí)的重要性赤兴，也就是說(shuō)妖滔，通過(guò)逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間桶良，從而使分類或預(yù)測(cè)更加容易座舍。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來(lái)學(xué)習(xí)特征陨帆，更能夠刻畫(huà)數(shù)據(jù)的豐富內(nèi)在信息曲秉。
-
淺層學(xué)習(xí)：只含有一層隱層節(jié)點(diǎn)的淺層模型谦屑。
- 四、顯變量學(xué)習(xí)&隱變量學(xué)習(xí)
- 顯變量學(xué)習(xí)：可以直接觀測(cè)的變量組成疲牵，常常為高維數(shù)據(jù)承二，用于描述數(shù)據(jù)。
-
隱變量學(xué)習(xí)：隱變量模型（LVM）就是將顯變量和隱變量聯(lián)系起來(lái)的模型纲爸。因子分析（factor analysis）就是一個(gè)典型的隱變量模型(因子即為隱變量)亥鸠。其他的比如，隱馬過(guò)程缩焦，潛語(yǔ)義分析（Latent semantic analysis）读虏，Latent Dirichlet allocation等责静，EM算法常用于對(duì)隱變量模型進(jìn)行參數(shù)估計(jì)。
- 特點(diǎn)：
- 1）變量對(duì)應(yīng)于對(duì)象的真實(shí)特征盖桥，但是無(wú)法被量化
- 2）抽象的質(zhì)量灾螃，該質(zhì)量現(xiàn)實(shí)不存在，但是在模型中存在且起作用
- 特點(diǎn)：
- 一、最大似然派&貝葉斯派
- 深度學(xué)習(xí)
