本篇文章將給大家介紹一些宏觀的核心概念和測(cè)度來(lái)評(píng)價(jià)分類算法和分類器的表現(xiàn)蘸鲸，尤其是如何評(píng)價(jià)分類器預(yù)測(cè)中會(huì)產(chǎn)生的一些錯(cuò)誤妖谴。
偽陽(yáng)性(False Positives)和偽陰性(False Positives)
首先講的是偽陽(yáng)性和偽陰性，英文叫做False Positives和False Negatives。先回到之前邏輯回歸的例子膝舅，下圖畫(huà)出了sigmod函數(shù)嗡载，用來(lái)預(yù)測(cè)某件事情是否會(huì)發(fā)生，比如用戶是否會(huì)購(gòu)買產(chǎn)品仍稀。
我們把概率小于0.5的視作不會(huì)買洼滚，超過(guò)0.5的用戶會(huì)購(gòu)買。假設(shè)現(xiàn)在已知四個(gè)用戶技潘，13沒(méi)有購(gòu)買遥巴，24購(gòu)買了。但我們依然可以用分類器去嘗試預(yù)測(cè)結(jié)果享幽。
我們將數(shù)據(jù)點(diǎn)投射到頭像上铲掐，會(huì)發(fā)現(xiàn)有兩種不同的錯(cuò)誤，對(duì)于3號(hào)用戶的錯(cuò)誤值桩，我們稱作偽陽(yáng)性摆霉，或者叫做1型錯(cuò)誤，對(duì)于2號(hào)錯(cuò)誤颠毙，稱作偽陰性或者叫做2型錯(cuò)誤。一般來(lái)說(shuō)2型錯(cuò)誤比1型錯(cuò)誤要嚴(yán)重的多砂碉。比如判斷艾滋病蛀蜜，假設(shè)如果我們判斷一個(gè)沒(méi)有疾病的人是陽(yáng)性的，這個(gè)結(jié)果有一定的嚴(yán)重性增蹭，但會(huì)做再次的檢測(cè)最終解決掉滴某。但如果實(shí)際上是病毒攜帶者但判斷成陰性，這個(gè)結(jié)果相對(duì)來(lái)說(shuō)要嚴(yán)重的多滋迈，因?yàn)榭赡軙?huì)耽誤對(duì)疾病的治療霎奢。
混淆矩陣(Confusion Matrix)
混淆矩陣在之前的文章有提及過(guò)，這里再大致解釋一下饼灿。如下圖所示幕侠，橫軸指的是實(shí)際的值，縱軸是預(yù)測(cè)的值碍彭。
35代表的就是實(shí)際值是0我們預(yù)測(cè)也是0的個(gè)數(shù)晤硕，50指的是實(shí)際1預(yù)測(cè)也是1的個(gè)數(shù)。顯然這里也可以看出5代表偽陽(yáng)性的個(gè)數(shù)庇忌，10代表偽陰性的個(gè)數(shù)舞箍。此時(shí)可以得到兩個(gè)比值，一個(gè)是正確率即正確的判斷個(gè)數(shù)35+50=85除以總的個(gè)數(shù)100皆疹，一個(gè)是錯(cuò)誤的個(gè)數(shù)10+5=15除以總個(gè)數(shù)100疏橄。
準(zhǔn)確率悖論
混淆矩陣中有時(shí)候這兩個(gè)比值并不能說(shuō)明太大的問(wèn)題，有時(shí)候需要更加高級(jí)的方法評(píng)價(jià)分類器的好壞略就。來(lái)看看下面的矩陣：
很顯然可以計(jì)算出正確率等于98%捎迫，這時(shí)是否能說(shuō)明這個(gè)分類器的質(zhì)量很好晃酒？現(xiàn)在我們給出一個(gè)新的分類方法，不管什么養(yǎng)的數(shù)據(jù)立砸，都預(yù)測(cè)為0.就相當(dāng)于右邊一列的數(shù)字都加到左邊一列中∫创現(xiàn)在再計(jì)算準(zhǔn)確率，會(huì)發(fā)現(xiàn)準(zhǔn)確率變成了98.5%颗祝。也就是說(shuō)雖然用的方法很簡(jiǎn)單粗暴浊闪，但實(shí)際準(zhǔn)確率卻比前一個(gè)更好。這說(shuō)明通過(guò)這種方式在這種情景下不適合判斷分類的結(jié)果螺戳，需要使用其他更好的方法搁宾。
累計(jì)準(zhǔn)確曲線(Cumulative Accuracy Profile)
上面的案例中可以看出通過(guò)混淆矩陣有時(shí)候不能很好的判斷分類結(jié)果的質(zhì)量，現(xiàn)在來(lái)看一個(gè)更加高級(jí)的判斷方法倔幼，叫做累計(jì)準(zhǔn)確曲線(CAP)盖腿。來(lái)看下面的例子，橫走為我們聯(lián)系的客戶损同，縱軸為后買的客戶數(shù)量翩腐。
那么這時(shí)可以得到一條直線，這些客戶都是通過(guò)我們隨機(jī)抽樣聯(lián)系的客戶膏燃，隨著抽樣人數(shù)的增加茂卦，會(huì)購(gòu)買的用戶數(shù)量會(huì)逐漸變多。此時(shí)假設(shè)我們使用訓(xùn)練好的算法來(lái)判斷用戶是否會(huì)購(gòu)買產(chǎn)品组哩，得到預(yù)測(cè)的結(jié)果后等龙，我們可以優(yōu)先去聯(lián)系預(yù)測(cè)結(jié)果是會(huì)購(gòu)買產(chǎn)品的客戶，這樣我們剛開(kāi)始聯(lián)系的客戶會(huì)有很大概率是會(huì)購(gòu)買產(chǎn)品的伶贰，隨著聯(lián)系人數(shù)的增加蛛砰，比如到了60000，預(yù)測(cè)剩下的人不會(huì)購(gòu)買產(chǎn)品黍衙，此時(shí)從公司的角度出發(fā)實(shí)際上是可以不去聯(lián)系這剩下的客戶泥畅，因?yàn)樗麄冑?gòu)買的概率比較小。但這里為了完整畫(huà)出曲線琅翻，還是繼續(xù)畫(huà)出后面的點(diǎn)涯捻。也就是說(shuō)不管用什么樣的模型，當(dāng)我們完整的聯(lián)系所有的客戶群望迎，也就是100000個(gè)客戶障癌，最后的點(diǎn)一定是重合的。
很顯然這條曲線在之前的圖像之上辩尊，因?yàn)槲覀兪褂昧藱C(jī)器學(xué)習(xí)算法涛浙，使得公司的運(yùn)營(yíng)更加的有效率。這個(gè)模型越好，那么這個(gè)模型就會(huì)越凸〗瘟粒現(xiàn)在將橫縱軸上的值變成百分比疮薇。橫軸的100%指的是百分百的客戶群，縱軸的100%指的是估算出的會(huì)購(gòu)買的用戶總數(shù)我注。
假設(shè)現(xiàn)在有另一個(gè)模型按咒，沒(méi)有紅色的模型好。那么它可能的圖像就會(huì)如上面綠色曲線但骨。因?yàn)槿绻酶玫哪Ｐ屠撸敲茨硞€(gè)點(diǎn)中實(shí)際上會(huì)購(gòu)買的用戶的量應(yīng)該是比較靠上的。相對(duì)于之前的混淆矩陣奔缠，這是提供了更多的信息來(lái)判斷模型的好壞掠抬。假設(shè)這時(shí)有個(gè)非常好的模型，我們稱作做Crystal Ball校哎，這個(gè)圖像會(huì)是什么樣子两波？我們之前隨機(jī)抽樣中知道10000中大約有10000個(gè)人會(huì)購(gòu)買產(chǎn)品，也就是說(shuō)有百分之十的人會(huì)購(gòu)買闷哆，那么這個(gè)最好的模型就是一開(kāi)始就找到這百分之十的人腰奋。
如上圖黑色的線，在10%的位置就達(dá)到圖像的頂點(diǎn)抱怔，后面是一條與橫軸平行的直線劣坊。這種模型可以說(shuō)是最完美的模型，幾乎不可能達(dá)到的野蝇，所以叫做水晶球模型讼稚。如果我們有條曲線出現(xiàn)在藍(lán)色的曲線下方的話括儒，這說(shuō)明這個(gè)模型非但沒(méi)取到更好的預(yù)測(cè)效果绕沈，甚至不如一個(gè)隨機(jī)的抽樣，這是比較容易發(fā)現(xiàn)的帮寻。
除了CAP曲線乍狐，實(shí)際生活中，還有一種可能用到的曲線和其類似固逗，叫做ROC(Receiver Operating Characteristic)浅蚪，大家可以自行去查詢資料。
那么我們知道上圖中紅色的曲線是越靠近完美曲線說(shuō)明模型越好烫罩，現(xiàn)在來(lái)看看如何來(lái)量化這種好與不好惜傲。我們定義表示完美曲線和藍(lán)色曲線所包含的面積，定義
為自己機(jī)器學(xué)習(xí)模型和藍(lán)色曲線的面積贝攒。此時(shí)再定義
盗誊，則這個(gè)比值越接近1說(shuō)明我們建立的模型效果越好。現(xiàn)在已經(jīng)有一些統(tǒng)計(jì)學(xué)上的工具來(lái)計(jì)算這個(gè)比值。但自己手動(dòng)計(jì)算或者用機(jī)器來(lái)計(jì)算都比較麻煩哈踱，那么現(xiàn)在提供一個(gè)簡(jiǎn)單的經(jīng)驗(yàn)法則來(lái)判斷模型的好壞荒适。
這時(shí)要用到一個(gè)50%的閾值，就是在x軸上找到50%的點(diǎn)开镣，看看在模型上的點(diǎn)y軸坐標(biāo)是多少刀诬。通過(guò)這個(gè)點(diǎn)就能提供很好的信息。
如上圖所示邪财，我們將X的值劃分不同的區(qū)間陕壹，當(dāng)X的值坐落于不同區(qū)間時(shí)，給出不同的評(píng)價(jià)卧蜓。由于隨機(jī)模型它在50%的點(diǎn)達(dá)到了50%帐要，則X<60%說(shuō)明比隨機(jī)好不了多少，則判定其是個(gè)特別差的模型弥奸。再好一點(diǎn)就是一個(gè)比較差的模型榨惠，繼續(xù)往上就是好的模型，隨著X的增大則這個(gè)模型越來(lái)越好盛霎。
但超過(guò)90%時(shí)赠橙，這個(gè)模型就好的夸張了，這時(shí)候要引起注意愤炸。這并不是我們想要的結(jié)果期揪。第一種情況，如果有個(gè)自變量和因變量有著非常緊密的因果關(guān)系時(shí)规个，比如跟用戶打電話的次數(shù)凤薛，這是有著非常強(qiáng)的因果關(guān)系，那么這個(gè)時(shí)候就需要把這個(gè)特征從我們的自變量中剔除诞仓。第二種情況就是過(guò)擬合缤苫，就是模型過(guò)多的注意到訓(xùn)練集中的噪音，這也是需要注意的墅拭。但也有一些情況坐落的大于90%是因?yàn)橛?xùn)練集質(zhì)量非常高活玲，或者說(shuō)建的模型非常好。
分類算法總結(jié)
分類算法目前已經(jīng)講了6個(gè)谍婉，下面提供各個(gè)分類模型優(yōu)劣的匯總于說(shuō)明(此部分主要節(jié)選于于機(jī)器學(xué)習(xí)A-Z課程的第三部分小結(jié))：
對(duì)于不同的案例舒憾，如何選擇模型，首先第一步判斷線性還是非線性：
- 假如是線性的問(wèn)題穗熬，您應(yīng)該選擇邏輯回歸（logistic regression）或者支持向量機(jī)SVM镀迂。
- 假如是非線性的問(wèn)題，您應(yīng)該選擇樸素貝葉斯（naive bayes）唤蔗，決策樹(shù)（decision tree）或者是隨機(jī)森林（random forest）探遵。在接下來(lái)的課程中我們會(huì)講到神經(jīng)網(wǎng)絡(luò)（neural network）唧瘾，也是一個(gè)十分強(qiáng)大的方法。
從實(shí)際操作的角度也有一些規(guī)則：
- 假如您想要給最終預(yù)測(cè)概率進(jìn)行排序别凤，您應(yīng)該選擇邏輯回歸（logistic regression）或是樸素貝葉斯（Naive Bayes）饰序。舉個(gè)例子：您想要預(yù)測(cè)不同客戶購(gòu)買某項(xiàng)產(chǎn)品的概率镐作，并將這些概率從大到小進(jìn)行排序降允，以便鎖定目標(biāo)客戶群。在這樣的情形下膨更，如果您的問(wèn)題是線性的诉稍，您應(yīng)該運(yùn)用邏輯回歸（logistic regression）蝠嘉；假如您的問(wèn)題是非線性的，您應(yīng)該選擇樸素貝葉斯（naive bayes）模型杯巨。
- 假如您想要預(yù)測(cè)每一個(gè)客戶屬于哪一個(gè)劃分（segment）蚤告，您應(yīng)該選擇SVM。市場(chǎng)和客戶群體的劃分可以是已完成的市場(chǎng)調(diào)研或者集群分析（clustering）的結(jié)果服爷。
- 假如您想要非常直觀地展示／闡述模型杜恰，那么決策樹(shù)（Decision Tree）是最佳選擇。
- 假如您想要最好的模型的分類表現(xiàn)仍源，并且不太在意模型的展示／闡述心褐，那么隨機(jī)森林（random forest）是不錯(cuò)的選擇。
以上笼踩，就是對(duì)分類模型的性能評(píng)價(jià)及選擇的相關(guān)基礎(chǔ)知識(shí)點(diǎn)逗爹。
