監(jiān)督/非監(jiān)督學(xué)習(xí)
監(jiān)督學(xué)習(xí)
K近鄰算法
線性回歸
邏輯回歸
支持向量機(jī)（SVM）
決策樹(shù)和隨機(jī)森林
神經(jīng)網(wǎng)絡(luò)
非監(jiān)督學(xué)習(xí)
聚類(lèi)
K 均值
層次聚類(lèi)分析（Hierarchical Cluster Analysis畸肆，HCA）
期望最大值（Experimental Maximization EM）
可視化和降維
主成分分析（Principal Component Analysis验懊，PCA）
核主成分分析（Kernel PCA）
局部線性嵌入（Locally-Linear Embedding本股，LLE）
t-分布鄰域嵌入算法（t-distributed Stochastic Neighbor Embedding循狰，t-SNE）
關(guān)聯(lián)性規(guī)則學(xué)習(xí)（Associatation rule learning）
Apriori 算法
Eclat 算法
半監(jiān)督學(xué)習(xí)
一些算法可以處理部分帶標(biāo)簽的訓(xùn)練數(shù)據(jù)，通常是大量不帶標(biāo)簽數(shù)據(jù)加上小部分帶標(biāo)簽數(shù)據(jù)逞盆。這稱(chēng)作半監(jiān)督學(xué)習(xí)檀蹋。
深度信念網(wǎng)絡(luò)（deep belief networks）
是基于被稱(chēng)為互相疊加的受限玻爾茲曼機(jī)（restricted Boltzmann machines，RBM）的非監(jiān)督組件云芦。
RBM
是先用非監(jiān)督方法進(jìn)行訓(xùn)練俯逾，再用監(jiān)督學(xué)習(xí)方法進(jìn)行整個(gè)系統(tǒng)微調(diào)。
強(qiáng)化學(xué)習(xí)
學(xué)習(xí)系統(tǒng)在這里被稱(chēng)為智能體（agent）舅逸，可以對(duì)環(huán)境進(jìn)行觀察桌肴，選擇和執(zhí)行動(dòng)作，獲得獎(jiǎng)勵(lì)（負(fù)獎(jiǎng)勵(lì)是懲罰）琉历。然后它必須自己學(xué)習(xí)哪個(gè)是最佳方法（稱(chēng)為策略坠七，policy），以得到長(zhǎng)久的最大獎(jiǎng)勵(lì)旗笔。策略決定了智能體在給定情況下應(yīng)該采取的行動(dòng)彪置。
批量和在線學(xué)習(xí)
Batch learning
在批量學(xué)習(xí)中，系統(tǒng)不能進(jìn)行持續(xù)學(xué)習(xí)：必須用所有可用數(shù)據(jù)進(jìn)行訓(xùn)練蝇恶。這通常會(huì)占用大量
時(shí)間和計(jì)算資源拳魁，所以一般是線下做的。首先是進(jìn)行訓(xùn)練撮弧，然后部署在生產(chǎn)環(huán)境且停止學(xué)
習(xí)潘懊，它只是使用已經(jīng)學(xué)到的策略。這稱(chēng)為離線學(xué)習(xí)贿衍。
在線學(xué)習(xí) Online Learning
在在線學(xué)習(xí)中授舟，是用數(shù)據(jù)實(shí)例持續(xù)地進(jìn)行訓(xùn)練，可以一次一個(gè)或一次幾個(gè)實(shí)例（稱(chēng)為小批量）贸辈。每個(gè)學(xué)習(xí)步驟都很快且廉價(jià)释树，所以系統(tǒng)可以動(dòng)態(tài)地學(xué)習(xí)到達(dá)的新數(shù)據(jù)。
在線學(xué)習(xí)很適合系統(tǒng)接收連續(xù)流的數(shù)據(jù)（比如裙椭，股票價(jià)格）躏哩，且需要自動(dòng)對(duì)改變作出調(diào)整。如果計(jì)算資源有限揉燃，在線學(xué)習(xí)是一個(gè)不錯(cuò)的方案：一旦在線學(xué)習(xí)系統(tǒng)學(xué)習(xí)了新的數(shù)據(jù)實(shí)例，它就不再需要這些數(shù)據(jù)了筋栋，所以扔掉這些數(shù)據(jù)（除非你想滾回到之前的一個(gè)狀態(tài)炊汤，再次使用數(shù)據(jù)）。這樣可以節(jié)省大量的空間。
在線學(xué)習(xí)算法也可以當(dāng)機(jī)器的內(nèi)存存不下大量數(shù)據(jù)集時(shí)抢腐，用來(lái)訓(xùn)練系統(tǒng)（這稱(chēng)作核外學(xué)習(xí)姑曙，out-of-core learning）。算法加載部分的數(shù)據(jù)迈倍，用這些數(shù)據(jù)進(jìn)行訓(xùn)練伤靠，重復(fù)這個(gè)過(guò)程，直到用所有數(shù)據(jù)都進(jìn)行了訓(xùn)練啼染。
在線學(xué)習(xí)系統(tǒng)的一個(gè)重要參數(shù)是宴合，它們可以多快地適應(yīng)數(shù)據(jù)的改變：這被稱(chēng)為學(xué)習(xí)速率。如果你設(shè)定一個(gè)高學(xué)習(xí)速率迹鹅，系統(tǒng)就可以快速適應(yīng)新數(shù)據(jù)卦洽，但是也會(huì)快速忘記老數(shù)據(jù)（你可不想讓垃圾郵件過(guò)濾器只標(biāo)記最新的垃圾郵件種類(lèi)）。相反的斜棚，如果你設(shè)定的學(xué)習(xí)速率低阀蒂，系統(tǒng)的惰性就會(huì)強(qiáng)：即，它學(xué)的更慢弟蚀，但對(duì)新數(shù)據(jù)中的噪聲或沒(méi)有代表性的數(shù)據(jù)點(diǎn)結(jié)果不那么敏感蚤霞。
基于實(shí)例/基于模型的學(xué)習(xí)
基于實(shí)例 （Instance Based）
系統(tǒng)先用記憶學(xué)習(xí)案例，然后使用相似度測(cè)量推廣到新的例子义钉。
Model Based
從樣本集進(jìn)行歸納的方法是建立這些樣本的模型争便，然后使用這個(gè)模型進(jìn)行預(yù)測(cè)。
