分類算法：C4.5需了，樸素貝葉斯（Naive Bayes），SVM对嚼，KNN，Adaboost绳慎，CART

聚類算法：K-Means纵竖，EM

關(guān)聯(lián)分析：Apriori

連接分析：PageRank

1. C4.5

C4.5算法是得票最高的算法漠烧，可以說是十大算法之首。C4.5是決策樹的算法靡砌，它創(chuàng)造性地在決策樹構(gòu)造過程中就進(jìn)行了剪枝已脓，并且可以處理連續(xù)的屬性，也能對(duì)不完整的數(shù)據(jù)進(jìn)行處理通殃。它可以說是決策樹分類中度液，具有里程碑式意義的算法。

2. 樸素貝葉斯（Naive Bayes）

樸素貝葉斯模型是基于概率論的原理画舌，它的思想是這樣的：對(duì)于給出的未知物體想要進(jìn)行分類堕担，就需要求解在這個(gè)未知物體出現(xiàn)的條件下各個(gè)類別出現(xiàn)的概率，哪個(gè)最大骗炉，就認(rèn)為這個(gè)未知物體屬于哪個(gè)分類照宝。

3. SVM

SVM的中文叫支持向量機(jī)，英文是Support Vector Machine句葵，簡(jiǎn)稱SVM。SVM在訓(xùn)練中建立了一個(gè)超平面的分類模型兢仰。如果你對(duì)超平面不理解乍丈，沒有關(guān)系，我在后面的算法篇會(huì)給你進(jìn)行介紹把将。

4. KNN

KNN也叫K最近鄰算法轻专，英文是 K-Nearest Neighbor。所謂K近鄰察蹲，就是每個(gè)樣本都可以用它最接近的K個(gè)鄰居來代表请垛。如果一個(gè)樣本，它的K個(gè)最接近的鄰居都屬于分類A洽议，那么這個(gè)樣本也屬于分類A宗收。

5. AdaBoost

Adaboost在訓(xùn)練中建立了一個(gè)聯(lián)合的分類模型。boost在英文中代表提升的意思亚兄，所以Adaboost是個(gè)構(gòu)建分類器的提升算法混稽。它可以讓我們多個(gè)弱的分類器組成一個(gè)強(qiáng)的分類器，所以Adaboost也是一個(gè)常用的分類算法审胚。

6. CART

CART代表分類和回歸樹匈勋，英文是 Classification and Regression Trees。像英文一樣膳叨，它構(gòu)建了兩棵樹：一顆是分類樹洽洁，另一個(gè)是回歸樹。和C4.5一樣菲嘴，它是一個(gè)決策樹學(xué)習(xí)方法饿自。

7. Apriori

Apriori是一種挖掘關(guān)聯(lián)規(guī)則（association rules）的算法碎浇，它通過挖掘頻繁項(xiàng)集（frequent item sets）來揭示物品之間的關(guān)聯(lián)關(guān)系，被廣泛應(yīng)用到商業(yè)挖掘和網(wǎng)絡(luò)安全等領(lǐng)域中璃俗。頻繁項(xiàng)集是指經(jīng)常出現(xiàn)在一起的物品的集合奴璃，關(guān)聯(lián)規(guī)則暗示著兩種物品之間可能存在很強(qiáng)的關(guān)系。

8. K-Means

K-Means 算法是一個(gè)聚類算法城豁。你可以這么理解苟穆，最終我想把物體劃分成K類。假設(shè)每個(gè)類別里面唱星，都有個(gè)“中心點(diǎn)”雳旅，即意見領(lǐng)袖，它是這個(gè)類別的核心〖淞模現(xiàn)在我有一個(gè)新點(diǎn)要?dú)w類攒盈，這時(shí)候就只要計(jì)算這個(gè)新點(diǎn)與K個(gè)中心點(diǎn)的距離，距離哪個(gè)中心點(diǎn)近哎榴，就變成了哪個(gè)類別型豁。

9. EM

EM算法也叫最大期望算法，是求參數(shù)的最大似然估計(jì)的一種方法尚蝌。原理是這樣的：假設(shè)我們想要評(píng)估參數(shù)A和參數(shù)B迎变，在開始狀態(tài)下二者都是未知的，并且知道了A的信息就可以得到B的信息飘言，反過來知道了B也就得到了A衣形。可以考慮首先賦予A某個(gè)初值姿鸿，以此得到B的估值谆吴，然后從B的估值出發(fā)，重新估計(jì)A的取值苛预，這個(gè)過程一直持續(xù)到收斂為止句狼。

EM算法經(jīng)常用于聚類和機(jī)器學(xué)習(xí)領(lǐng)域中。

10. PageRank

PageRank起源于論文影響力的計(jì)算方式碟渺，如果一篇文論被引入的次數(shù)越多鲜锚，就代表這篇論文的影響力越強(qiáng)。同樣PageRank被Google創(chuàng)造性地應(yīng)用到了網(wǎng)頁權(quán)重的計(jì)算中：當(dāng)一個(gè)頁面鏈出的頁面越多苫拍，說明這個(gè)頁面的“參考文獻(xiàn)”越多芜繁，當(dāng)這個(gè)頁面被鏈入的頻率越高，說明這個(gè)頁面被引用的次數(shù)越高绒极】チ睿基于這個(gè)原理，我們可以得到網(wǎng)站的權(quán)重劃分垄提。

算法可以說是數(shù)據(jù)挖掘的靈魂榔袋，也是最精華的部分周拐。這10個(gè)經(jīng)典算法在整個(gè)數(shù)據(jù)挖掘領(lǐng)域中的得票最高的，后面的一些其他算法也基本上都是在這個(gè)基礎(chǔ)上進(jìn)行改進(jìn)和創(chuàng)新凰兑。今天你先對(duì)十大算法有一個(gè)初步的了解妥粟，你只需要做到心中有數(shù)就可以了，具體內(nèi)容不理解沒有關(guān)系吏够，后面我會(huì)詳細(xì)給你進(jìn)行講解勾给。

數(shù)據(jù)挖掘的數(shù)學(xué)原理

1. 概率論與數(shù)理統(tǒng)計(jì)

很多算法的本質(zhì)都與概率論相關(guān)，所以說概率論與數(shù)理統(tǒng)計(jì)是數(shù)據(jù)挖掘的重要數(shù)學(xué)基礎(chǔ)锅知。

2. 線性代數(shù)

向量和矩陣是線性代數(shù)中的重要知識(shí)點(diǎn)播急，它被廣泛應(yīng)用到數(shù)據(jù)挖掘中，比如我們經(jīng)常會(huì)把對(duì)象抽象為矩陣的表示售睹，一幅圖像就可以抽象出來是一個(gè)矩陣桩警，我們也經(jīng)常計(jì)算特征值和特征向量，用特征向量來近似代表物體的特征昌妹。這個(gè)是大數(shù)據(jù)降維的基本思路捶枢。

基于矩陣的各種運(yùn)算，以及基于矩陣的理論成熟捺宗，可以幫我們解決很多實(shí)際問題柱蟀，比如PCA方法、SVD方法蚜厉，以及MF、NMF方法等在數(shù)據(jù)挖掘中都有廣泛的應(yīng)用畜眨。

3. 圖論

社交網(wǎng)絡(luò)的興起昼牛，讓圖論的應(yīng)用也越來越廣。人與人的關(guān)系康聂，可以用圖論上的兩個(gè)節(jié)點(diǎn)來進(jìn)行連接贰健，節(jié)點(diǎn)的度可以理解為一個(gè)人的朋友數(shù)。我們都聽說過人脈的六度理論恬汁，在Facebook上被證明平均一個(gè)人與另一個(gè)人的連接伶椿，只需要3.57個(gè)人。當(dāng)然圖論對(duì)于網(wǎng)絡(luò)結(jié)構(gòu)的分析非常有效氓侧，同時(shí)圖論也在關(guān)系挖掘和圖像分割中有重要的作用脊另。

4. 最優(yōu)化方法

最優(yōu)化方法相當(dāng)于機(jī)器學(xué)習(xí)中自我學(xué)習(xí)的過程，當(dāng)機(jī)器知道了目標(biāo)约巷，訓(xùn)練后與結(jié)果存在偏差就需要迭代調(diào)整偎痛，那么最優(yōu)化就是這個(gè)調(diào)整的過程。一般來說独郎，這個(gè)學(xué)習(xí)和迭代的過程是漫長(zhǎng)踩麦、隨機(jī)的枚赡。最優(yōu)化方法的提出就是用更短的時(shí)間得到收斂，取得更好的效果