C4.5算法
C4.5算法的核心思想是ID3算法商源，是ID3算法的改進(jìn)：
用信息增益率來選擇屬性疗我，克服了用信息增益來選擇屬性時(shí)變相選擇取值多的屬性的不足垮庐；
在樹的構(gòu)造過程中進(jìn)行剪枝银觅；
能處理非離散化數(shù)據(jù)；
能處理不完整數(shù)據(jù)践宴。
優(yōu)點(diǎn)：
產(chǎn)生的分類規(guī)則易于理解觉义，準(zhǔn)確率高。
缺點(diǎn)：
在構(gòu)造過程中浴井，需要對(duì)數(shù)據(jù)集進(jìn)行多次的順序掃描和排序晒骇，因而導(dǎo)致算法的低效；
C4.5算法只適合于能夠駐留內(nèi)存的數(shù)據(jù)集磺浙，當(dāng)訓(xùn)練集大得無法在內(nèi)存容納時(shí)洪囤，程序無法運(yùn)行。
K-means算法
簡(jiǎn)單的聚類撕氧，吧n個(gè)對(duì)象根據(jù)他們的屬性分為k個(gè)類瘤缩，k
算法的核心是要優(yōu)化失真函數(shù)J，使其收斂到局部最小值而不是全局最小值：
J=∑n=1N∑k=1Krnk||xn?uk||2,J=∑n=1N∑k=1Krnk||xn?uk||2,
rnkrnk表示n數(shù)據(jù)第k個(gè)類伦泥，ukuk是第k個(gè)類中心值剥啤。
然后求出最優(yōu)的ukuk：
uk=∑rnkxn∑nrnkuk=∑rnkxn∑nrnk
優(yōu)點(diǎn)：
算法速度快。
缺點(diǎn)：
分組的數(shù)目k是一個(gè)輸入?yún)?shù)不脯，不適合的k可能返回較差的結(jié)果府怯。
樸素貝葉斯算法
樸素貝葉斯法是基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類方法。
算法的基礎(chǔ)是概率問題,分類原理是通過某對(duì)象的先驗(yàn)概率,利用貝葉斯公式計(jì)算出其后驗(yàn)概率,即該對(duì)象屬于某一類的概率,選擇具有最大后驗(yàn)概率的類作為該對(duì)象所屬的類防楷。
樸素貝葉斯假設(shè)是約束性很強(qiáng)的假設(shè),假設(shè)特征條件獨(dú)立,但樸素貝葉斯算法簡(jiǎn)單,快速, 具有較小的出錯(cuò)率牺丙。
在樸素貝葉斯的應(yīng)用中,主要研究了電子郵件過濾以及文本分類研究。
K最近鄰算法
缺點(diǎn)：
K值需要預(yù)先設(shè)定复局，而不能自適應(yīng)
當(dāng)樣本不平衡時(shí)冲簿，如一個(gè)類的樣本容量很大，二其他類樣本容量很小亿昏，有可能導(dǎo)致當(dāng)輸入一個(gè)新樣本時(shí)峦剔，該樣本的K個(gè)鄰居中大容量類的樣本占多數(shù)。
該算法適用于對(duì)樣本容量比較大的類域進(jìn)行自動(dòng)分類角钩。
EM最大期望算法
EM算法是基于模型的聚類算法吝沫，是在概率模型中尋找參數(shù)最大思然估計(jì)的算法，其中概率模型依賴于無法觀測(cè)的隱藏變量彤断。
E步估計(jì)隱含變量野舶，M步估計(jì)其他參數(shù)易迹，交替將極值推向最大宰衙。
EM算法比K-means算法計(jì)算復(fù)雜，收斂較慢睹欲，不適合大規(guī)模數(shù)據(jù)集和高維數(shù)據(jù)供炼，但比K-means算法計(jì)算結(jié)構(gòu)穩(wěn)定一屋、準(zhǔn)確。
EM算法經(jīng)常用在機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺的數(shù)據(jù)集聚（data clustering）領(lǐng)域袋哼。
PageRank算法
Google的頁(yè)面排序算法冀墨。
基于從許多優(yōu)質(zhì)的網(wǎng)頁(yè)鏈接過來的 網(wǎng)頁(yè),必定還是優(yōu)質(zhì)網(wǎng)頁(yè)的回歸關(guān)系,來判定所有網(wǎng)頁(yè)的重要性。
一個(gè)人有越多牛逼的朋友涛贯，他牛逼的概率就越大诽嘉。
優(yōu)點(diǎn)：
完全獨(dú)立于查詢，只依賴于網(wǎng)頁(yè)鏈接結(jié)構(gòu)弟翘，可以離線計(jì)算虫腋。
缺點(diǎn)：
PageRank算法忽略了網(wǎng)頁(yè)搜索的時(shí)效性；
舊網(wǎng)頁(yè)排序很高稀余，存在時(shí)間長(zhǎng)悦冀，積累了大量的in-links，擁有最新資訊的網(wǎng)頁(yè)排名卻很低睛琳，因?yàn)樗鼈儙缀鯖]有in-links盒蟆。
AdaBoost
Adaboost是一種迭代算法，其核心思想是針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器（弱分類器）师骗，然后把這些弱分類器集合起來历等，構(gòu)成一個(gè)更強(qiáng)的最終分類器（強(qiáng)分類器）。
算法本事該百諾數(shù)據(jù)分布來實(shí)現(xiàn)的辟癌，它根據(jù)每次訓(xùn)練集中每一個(gè)樣本的分類是否正確募闲，以及上一次的總體分類準(zhǔn)確率，來確定沒個(gè)樣本的權(quán)值愿待。
將修改過權(quán)值的新數(shù)據(jù)集送給下層分類器進(jìn)行訓(xùn)練浩螺，最后將每次訓(xùn)練得到的分類器最后融合起來，作為最后的決策分類器仍侥。
算法流程：
先通過對(duì)N個(gè)訓(xùn)練樣本的學(xué)習(xí)得到第一個(gè)弱分類器要出；
將分錯(cuò)的樣本和其他的新數(shù)據(jù)一起構(gòu)成一個(gè)新的N個(gè)訓(xùn)練樣本，通過學(xué)習(xí)得到第二個(gè)弱分類器农渊；
講前面都分錯(cuò)的樣本加上新的樣本構(gòu)成另一個(gè)新的N個(gè)訓(xùn)練樣本集患蹂，通過學(xué)習(xí)得到第三個(gè)弱分類器；
如此反復(fù)砸紊，最終得到經(jīng)過提升的強(qiáng)分類器传于。
目前 AdaBoost 算法廣泛的應(yīng)用于人臉檢測(cè)、目標(biāo)識(shí)別等領(lǐng)域醉顽。
Apriori算法
Apriori算法是一種挖掘關(guān)聯(lián)規(guī)則的算法沼溜，用于挖掘其內(nèi)涵的、未知的卻又實(shí)際存在的數(shù)據(jù)關(guān)系游添，其核心是基于兩階段頻集思想的遞推算法系草。
Apriori算法的兩個(gè)階段：
尋找頻繁項(xiàng)集通熄；
有頻繁項(xiàng)集找關(guān)聯(lián)規(guī)則。
算法缺點(diǎn)：
在每一步產(chǎn)生侯選項(xiàng)目集時(shí)循環(huán)產(chǎn)生的組合過多,沒有排除 不應(yīng)該參與組合的元素;
每次計(jì)算項(xiàng)集的支持度時(shí),都對(duì)數(shù)據(jù)庫(kù)中的全部記錄進(jìn)行了一遍掃描比較,需要很大的I/O 負(fù)載找都。
SVM支持向量機(jī)
支持向量機(jī)是一種基于分類邊界的方法唇辨。
基本原理：
如果訓(xùn)練數(shù)據(jù)分布在二維平面上的點(diǎn),它們按照其分類 聚集在不同的區(qū)域。
基于分類邊界的分類算法的目標(biāo)是能耻，通過訓(xùn)練赏枚，找到這些分類之間的邊界。
對(duì)于多維數(shù)據(jù)（N維）晓猛，可以將他們視為N維空間中的點(diǎn)嗡贺，而分類邊界就是N維空間中的面，稱為超面鞍帝。
線性分類器使用超平面類型的邊界诫睬，非線性分類器使用超曲面。
支持向量機(jī)的原理是將低維空間的點(diǎn)映射到高維空間,使它們成為線性可分,再使用線性劃分的原理來判斷分類邊界帕涌。在高維空間中是一種線性劃分,而在原有的數(shù)據(jù)空間中,是一種非線性劃分摄凡。
CART樹
決策樹的分類方法，基于最小距離的基尼指數(shù)估計(jì)函數(shù)蚓曼，用來決定由該子數(shù)據(jù)集生成的決策樹的拓展形亲澡。
如果目標(biāo)變量是標(biāo)稱的，稱為分類樹纫版；如果目標(biāo)變量是連續(xù)的床绪，稱為回歸樹。
優(yōu)點(diǎn)：
非常靈活其弊，可以允許有部分錯(cuò)分成本癞己，還可指定先驗(yàn)概率分布，可使用自動(dòng)的成本復(fù)雜性剪枝來得到歸納性更強(qiáng)的樹梭伐。
面對(duì)存在缺失值痹雅、變量數(shù)多等問題時(shí)，CART數(shù)顯得非常穩(wěn)健糊识。
