一、基本概念
異常對象被稱作離群點(diǎn)夕吻。異常檢測也稱偏差檢測和例外挖掘。
常見的異常成因：數(shù)據(jù)來源于不同的類（異常對象來自于一個(gè)與大多數(shù)數(shù)據(jù)對象源（類）不同的源（類）的思想），自然變異孩等，以及數(shù)據(jù)測量或收集誤差。
異常檢測的方法：
（1）基于模型的技術(shù)：首先建立一個(gè)數(shù)據(jù)模型采够，異常是那些同模型不能完美擬合的對象肄方；如果模型是簇的集合，則異常是不顯著屬于任何簇的對象蹬癌；在使用回歸模型時(shí)权她，異常是相對遠(yuǎn)離預(yù)測值的對象。
（2）基于鄰近度的技術(shù)：通呈判剑可以在對象之間定義鄰近性度量隅要，異常對象是那些遠(yuǎn)離其他對象的對象。
（3）基于密度的技術(shù)：僅當(dāng)一個(gè)點(diǎn)的局部密度顯著低于它的大部分近鄰時(shí)才將其分類為離群點(diǎn)董济。
二步清、異常點(diǎn)檢測的方法
1、統(tǒng)計(jì)方法檢測離群點(diǎn)
統(tǒng)計(jì)學(xué)方法是基于模型的方法虏肾，即為數(shù)據(jù)創(chuàng)建一個(gè)模型廓啊，并且根據(jù)對象擬合模型的情況來評估它們。大部分用于離群點(diǎn)檢測的統(tǒng)計(jì)學(xué)方法都是構(gòu)建一個(gè)概率分布模型封豪，并考慮對象有多大可能符合該模型谴轮。離群點(diǎn)的概率定義：離群點(diǎn)是一個(gè)對象，關(guān)于數(shù)據(jù)的概率分布模型吹埠，它具有低概率第步。這種情況的前提是必須知道數(shù)據(jù)集服從什么分布疮装，如果估計(jì)錯(cuò)誤就造成了重尾分布。異常檢測的混合模型方法：對于異常檢測雌续，數(shù)據(jù)用兩個(gè)分布的混合模型建模斩个，一個(gè)分布為普通數(shù)據(jù)，而另一個(gè)為離群點(diǎn)驯杜。
聚類和異常檢測目標(biāo)都是估計(jì)分布的參數(shù)受啥，以最大化數(shù)據(jù)的總似然（概率）。聚類時(shí)鸽心，使用EM算法估計(jì)每個(gè)概率分布的參數(shù)滚局。然而，這里提供的異常檢測技術(shù)使用一種更簡單的方法顽频。初始時(shí)將所有對象放入普通對象集藤肢，而異常對象集為空。然后糯景，用一個(gè)迭代過程將對象從普通集轉(zhuǎn)移到異常集嘁圈，只要該轉(zhuǎn)移能提高數(shù)據(jù)的總似然（其實(shí)等價(jià)于把在正常對象的分布下具有低概率的對象分類為離群點(diǎn)）。（假設(shè)異常對象屬于均勻分布）蟀淮。異常對象由這樣一些對象組成最住，這些對象在均勻分布下比在正常分布下具有顯著較高的概率。
優(yōu)缺點(diǎn)：（1）有堅(jiān)實(shí)的統(tǒng)計(jì)學(xué)理論基礎(chǔ)怠惶，當(dāng)存在充分的數(shù)據(jù)和所用的檢驗(yàn)類型的知識時(shí)涨缚，這些檢驗(yàn)可能非常有效；（2）對于多元數(shù)據(jù)策治，可用的選擇少一些脓魏，并且對于高維數(shù)據(jù)，這些檢測可能性很差通惫。
2茂翔、基于鄰近度的離群點(diǎn)檢測。
一個(gè)對象是異常的履腋，如果它遠(yuǎn)離大部分點(diǎn)檩电。這種方法比統(tǒng)計(jì)學(xué)方法更一般、更容易使用府树，因?yàn)榇_定數(shù)據(jù)集的有意義的鄰近性度量比確定它的統(tǒng)計(jì)分布更容易俐末。一個(gè)對象的離群點(diǎn)得分由到它的k-最近鄰的距離給定。離群點(diǎn)得分對k的取值高度敏感奄侠。如果k太凶矿铩（例如1），則少量的鄰近離群點(diǎn)可能導(dǎo)致較低的離群點(diǎn)得分垄潮；如果k太大烹卒，則點(diǎn)數(shù)少于k的簇中所有的對象可能都成了離群點(diǎn)闷盔。為了使該方案對于k的選取更具有魯棒性，可以使用k個(gè)最近鄰的平均距離旅急。
優(yōu)缺點(diǎn)：（1）簡單逢勾；（2）缺點(diǎn)：基于鄰近度的方法需要O(m^2)時(shí)間，大數(shù)據(jù)集不適用藐吮；（3）該方法對參數(shù)的選擇也是敏感的溺拱；（4）不能處理具有不同密度區(qū)域的數(shù)據(jù)集，因?yàn)樗褂萌珠撝狄ゴ牵荒芸紤]這種密度的變化迫摔。
3、基于密度的離群點(diǎn)檢測泥从。
從基于密度的觀點(diǎn)來說句占，離群點(diǎn)是在低密度區(qū)域中的對象。一個(gè)對象的離群點(diǎn)得分是該對象周圍密度的逆躯嫉∩春妫基于密度的離群點(diǎn)檢測與基于鄰近度的離群點(diǎn)檢測密切相關(guān)，因?yàn)槊芏韧ǔＳ绵徑榷x祈餐。一種常用的定義密度的方法是擂啥，定義密度為到k個(gè)最近鄰的平均距離的倒數(shù)。如果該距離小昼弟，則密度高，反之亦然奕筐。另一種密度定義是使用DBSCAN聚類算法使用的密度定義舱痘，即一個(gè)對象周圍的密度等于該對象指定距離d內(nèi)對象的個(gè)數(shù)。需要小心的選擇d离赫，如果d太小芭逝，則許多正常點(diǎn)可能具有低密度，從而具有高離群點(diǎn)得分渊胸。如果d太大旬盯，則許多離群點(diǎn)可能具有與正常點(diǎn)類似的密度（和離群點(diǎn)得分）。使用任何密度定義檢測離群點(diǎn)具有與基于鄰近度的離群點(diǎn)方案類似的特點(diǎn)和局限性翎猛。特殊地胖翰，當(dāng)數(shù)據(jù)包含不同密度的區(qū)域時(shí)，它們不能正確的識別離群點(diǎn)切厘。
為了正確的識別這種數(shù)據(jù)集中的離群點(diǎn)萨咳，我們需要與對象鄰域相關(guān)的密度概念，也就是定義相對密度疫稿。常見的有兩種方法：（1）使用基于SNN密度的聚類算法使用的方法培他；（2）用點(diǎn)x的密度與它的最近鄰y的平均密度之比作為相對密度鹃两。
使用相對密度的離群點(diǎn)檢測（局部離群點(diǎn)要素LOF技術(shù)）：首先，對于指定的近鄰個(gè)數(shù)（k）舀凛，基于對象的最近鄰計(jì)算對象的密度density(x,k) 俊扳，由此計(jì)算每個(gè)對象的離群點(diǎn)得分；然后猛遍，計(jì)算點(diǎn)的鄰近平均密度馋记，并使用它們計(jì)算點(diǎn)的平均相對密度。這個(gè)量指示x是否在比它的近鄰更稠密或更稀疏的鄰域內(nèi)螃壤，并取作x的離群點(diǎn)得分（這個(gè)是建立在上面的離群點(diǎn)得分基礎(chǔ)上的）抗果。
優(yōu)缺點(diǎn)：
（1）給出了對象是離群點(diǎn)的定量度量，并且即使數(shù)據(jù)具有不同的區(qū)域也能夠很好的處理奸晴；
（2）與基于距離的方法一樣冤馏，這些方法必然具有O(m2)的時(shí)間復(fù)雜度。對于低維數(shù)據(jù)使用特定的數(shù)據(jù)結(jié)構(gòu)可以達(dá)到O(mlogm)寄啼；
（3）參數(shù)選擇是困難的逮光。雖然LOF算法通過觀察不同的k值，然后取得最大離群點(diǎn)得分來處理該問題墩划，但是涕刚，仍然需要選擇這些值的上下界。
4乙帮、基于聚類的技術(shù)
一種利用聚類檢測離群點(diǎn)的方法是丟棄遠(yuǎn)離其他簇的小簇杜漠。這個(gè)方法可以和其他任何聚類技術(shù)一起使用，但是需要最小簇大小和小簇與其他簇之間距離的閾值察净。這種方案對簇個(gè)數(shù)的選擇高度敏感驾茴。使用這個(gè)方案很難將離群點(diǎn)得分附加到對象上。一種更系統(tǒng)的方法氢卡，首先聚類所有對象锈至，然后評估對象屬于簇的程度（離群點(diǎn)得分）（基于原型的聚類可用離中心點(diǎn)的距離來評估，對具有目標(biāo)函數(shù)的聚類技術(shù)該得分反映刪除對象后目標(biāo)函數(shù)的改進(jìn)（這個(gè)可能是計(jì)算密集的））译秦∠考瘢基于聚類的離群點(diǎn)：一個(gè)對象是基于聚類的離群點(diǎn)，如果該對象不強(qiáng)屬于任何簇筑悴。離群點(diǎn)對初始聚類的影響：如果通過聚類檢測離群點(diǎn)们拙，則由于離群點(diǎn)影響聚類，存在一個(gè)問題：結(jié)構(gòu)是否有效阁吝。為了處理該問題睛竣，可以使用如下方法：對象聚類，刪除離群點(diǎn)求摇，對象再次聚類（這個(gè)不能保證產(chǎn)生最優(yōu)結(jié)果）射沟。還有一種更復(fù)雜的方法：取一組不能很好的擬合任何簇的特殊對象殊者，這組對象代表潛在的離群點(diǎn)。隨著聚類過程的進(jìn)展验夯，簇在變化猖吴。不再強(qiáng)屬于任何簇的對象被添加到潛在的離群點(diǎn)集合；而當(dāng)前在該集合中的對象被測試挥转，如果它現(xiàn)在強(qiáng)屬于一個(gè)簇海蔽，就可以將它從潛在的離群點(diǎn)集合中移除。聚類過程結(jié)束時(shí)還留在該集合中的點(diǎn)被分類為離群點(diǎn)（這種方法也不能保證產(chǎn)生最優(yōu)解绑谣，甚至不比前面的簡單算法好党窜，在使用相對距離計(jì)算離群點(diǎn)得分時(shí)，這個(gè)問題特別嚴(yán)重）借宵。
對象是否被認(rèn)為是離群點(diǎn)可能依賴于簇的個(gè)數(shù)（如k很大時(shí)的噪聲簇）幌衣。該問題也沒有簡單的答案。一種策略是對于不同的簇個(gè)數(shù)重復(fù)該分析壤玫。另一種方法是找出大量小簇豁护，其想法是（1）較小的簇傾向于更加凝聚，（2）如果存在大量小簇時(shí)一個(gè)對象是離群點(diǎn)欲间，則它多半是一個(gè)真正的離群點(diǎn)楚里。不利的一面是一組離群點(diǎn)可能形成小簇而逃避檢測。
優(yōu)缺點(diǎn)：
（1）基于線性和接近線性復(fù)雜度（k均值）的聚類技術(shù)來發(fā)現(xiàn)離群點(diǎn)可能是高度有效的猎贴；
（2）簇的定義通常是離群點(diǎn)的補(bǔ)班缎，因此可能同時(shí)發(fā)現(xiàn)簇和離群點(diǎn)；
（3）?產(chǎn)生的離群點(diǎn)集和它們的得分可能非常依賴所用的簇的個(gè)數(shù)和數(shù)據(jù)中離群點(diǎn)的存在性她渴；
（4）聚類算法產(chǎn)生的簇的質(zhì)量對該算法產(chǎn)生的離群點(diǎn)的質(zhì)量影響非常大达址。
新穎性和離群值檢測
離群值檢測：訓(xùn)練數(shù)據(jù)包含離群值，即與其他觀測值相距甚遠(yuǎn)的觀測值惹骂。離群檢測估計(jì)器會嘗試擬合訓(xùn)練數(shù)據(jù)最集中的區(qū)域苏携，忽略異常觀察做瞪。
新穎性檢測：訓(xùn)練數(shù)據(jù)不受異常值的污染对粪，有興趣檢測新觀察值是否是異常值。該情況下離群值也稱為新穎性装蓬。
離群值檢測和新穎性檢測均用于異常檢測著拭，離群值檢測稱為無監(jiān)督異常檢測，新穎性檢測稱為半監(jiān)督異常檢測牍帚。離群值檢測的情況下儡遮，離群值/異常不能形成密集的群集，可假設(shè)離群值/異常位于低密度區(qū)域暗赶；新穎性檢測的情況下鄙币，只要新穎性/異常位于訓(xùn)練數(shù)據(jù)的低密度區(qū)域肃叶，就可以形成密集的簇。
通過對玩具數(shù)據(jù)集進(jìn)行異常檢測比較異常檢測算法
數(shù)據(jù)集中包含一種或兩種模式（高密度區(qū)域）十嘿，以說明算法處理多模式數(shù)據(jù)的能力因惭。
對于每個(gè)數(shù)據(jù)集，將生成15%的樣本作為隨機(jī)均勻噪聲绩衷。該比例是OneClassSVM的nu參數(shù)和其他異常值檢測算法的污染參數(shù)提供的值蹦魔。離群值之間的決策邊界以黑色顯示，但是LOF除外咳燕，因?yàn)楫?dāng)采用LOF用于離群值檢測時(shí)勿决，沒有適用于新數(shù)據(jù)的預(yù)測方法。
OneClassSVM對異常值敏感招盲，對異常值檢測執(zhí)行的不好低缩。當(dāng)訓(xùn)練集不受異常值污染時(shí)，此估計(jì)器最適合新穎性檢測宪肖。即不適用在高維中進(jìn)行離群值檢測或者不對基礎(chǔ)數(shù)據(jù)的分布進(jìn)行任何假設(shè)表制，OneClassSVM在這些情況下可能會根據(jù)其超參數(shù)給出有用的結(jié)果。
covariance EllipticEnvelope（協(xié)方差橢圓密度）假定數(shù)據(jù)是高斯分布并學(xué)習(xí)一個(gè)橢圓控乾。在數(shù)據(jù)不是單峰時(shí)么介，會退化。此估計(jì)器對異常值具有魯棒性蜕衡。
IsolationFrorest和LocalOutlierFactor針對多模式數(shù)據(jù)集效果顯著壤短。LOF針對第三種數(shù)據(jù)集，明顯優(yōu)于其它三種估計(jì)器慨仿，該數(shù)據(jù)集中兩種模式的密度不同久脯。LOF的局部方面，即它僅將一個(gè)樣本的異常評分與其鄰居評分作比較镰吆，從何體現(xiàn)了該方法的優(yōu)勢帘撰。
針對最后一個(gè)均勻分布在超立方體中的數(shù)據(jù)集，很難說一個(gè)樣本比另一個(gè)樣本異常得多万皿。除了OneClassSVM有些過擬合外摧找，所有估計(jì)器都針對該情況提出不錯(cuò)的解決方案。針對這種情況牢硅，應(yīng)該仔細(xì)觀察樣本的異常分?jǐn)?shù)蹬耘，性能好的估算器應(yīng)該為所有樣本分配相似的分?jǐn)?shù)。
使用局部離群因子（LOF）進(jìn)行離群值檢測
LOF算法是一種無監(jiān)督的異常檢測方法减余，可計(jì)算給定數(shù)據(jù)點(diǎn)相對于其鄰居的局部密度偏差综苔。其中密度遠(yuǎn)低于其鄰居的樣本為異常值。
LOF算法的優(yōu)勢在于同時(shí)考慮了數(shù)據(jù)集的局部和全局屬性：即使在異常樣本具有不同底層密度的數(shù)據(jù)集中，仍能保持良好性能如筛。問題不在于樣本有多孤立堡牡，而在于樣本相對于周圍鄰域有多孤立。
通逞钆伲考慮的鄰居數(shù)量（1）大于群集必須包含的最小樣本數(shù)量悴侵，以便其他樣本可以是相對于該群集的局部離散值；（2）小于可能是局部異常值的最大進(jìn)距采樣數(shù)拭嫁，此類消息通常不可用可免，采用n_neighbors=20。
具有局部異常值的新穎性檢驗(yàn)
LOF是一種無監(jiān)督的異常檢測方法做粤，可計(jì)算給定數(shù)據(jù)點(diǎn)相對于其鄰居的局部密度偏差浇借，密度遠(yuǎn)低于其鄰居的樣本為異常值。LOF用于新穎性檢驗(yàn)時(shí)怕品，切勿在訓(xùn)練集上使用預(yù)測妇垢、決定函數(shù)、實(shí)例得分肉康，會導(dǎo)致結(jié)果錯(cuò)誤闯估。只能對新的看不見的數(shù)據(jù)（不在訓(xùn)練集中）使用這些方法。
通澈鸷停考慮鄰居數(shù)量（1）大于群集必須包含的最小樣本數(shù)涨薪，以便其他樣本可以是相對于該群集的局部離群值；（2）小于可能是局部異常值的最大進(jìn)距采樣數(shù)炫乓，此類消息通常不可用刚夺，采用n_neighbors=20。
隔離林
在高維數(shù)據(jù)集中執(zhí)行異常檢測的一種有效方法是使用隨機(jī)森林末捣，分離的觀察通過隨機(jī)選擇一個(gè)函數(shù)侠姑，隨機(jī)選擇所選擇的特征的最大值和最小值之間的分割值。遞歸分區(qū)可用樹結(jié)構(gòu)表示箩做，隔離樣本所需的拆分?jǐn)?shù)量等于從根節(jié)點(diǎn)到終止結(jié)點(diǎn)的路徑長度莽红。隨機(jī)樹的森林中的平均路徑長度是對正態(tài)性和決策函數(shù)的度量。隨機(jī)分區(qū)產(chǎn)生的異常路徑明顯較短邦邦，因此如果隨機(jī)樹森林為特定樣本生成的較短路徑安吁，則該樹代表的值很可能是異常的。
OneClassSVM
無監(jiān)督的離群值檢測圃酵，支持高維分布柳畔，基于libsvm
不假定數(shù)據(jù)分布的任何參數(shù)形式馍管，可以更好的對數(shù)據(jù)的復(fù)雜形狀進(jìn)行建模郭赐，能夠捕獲真實(shí)的數(shù)據(jù)結(jié)構(gòu)，難點(diǎn)在于調(diào)整核函數(shù)寬度參數(shù)，以便在數(shù)據(jù)散布矩陣的形狀和數(shù)據(jù)過度擬合的風(fēng)險(xiǎn)間取得折中捌锭。
協(xié)方差橢圓密度
用于檢測高斯分布數(shù)據(jù)集中的異常值的對象
經(jīng)驗(yàn)協(xié)方差估計(jì)（作為非穩(wěn)健估計(jì)）受到觀測值異質(zhì)結(jié)構(gòu)的高度影響俘陷；魯棒協(xié)方差估計(jì)能夠集中于數(shù)據(jù)分布的主要模式，但是它堅(jiān)持假設(shè)數(shù)據(jù)是高斯分布观谦，產(chǎn)生了對數(shù)據(jù)結(jié)構(gòu)的某些估計(jì)拉盾，在一定程度上是準(zhǔn)確的。
HBOS單維效果極佳豁状，但是標(biāo)準(zhǔn)差方法的mask 掩碼效應(yīng)嚴(yán)重捉偏。例如 數(shù)據(jù)通常在100以內(nèi)，但是有兩個(gè)異常點(diǎn)泻红，500夭禽，1000000。這個(gè)算法就不能檢出500這個(gè)異常點(diǎn)谊路。
對比而言讹躯，孤立森林理論上更適合大數(shù)據(jù)的異常檢測，且無掩碼效應(yīng)缠劝。孤立森林確定異常時(shí)訓(xùn)練只用樣本數(shù)據(jù)潮梯。每顆樹樣本數(shù)量默認(rèn)只有256個(gè)，默認(rèn)只用100顆樹惨恭。所以理論上25600個(gè)樣本就能確定海量數(shù)據(jù)中的異常點(diǎn)了秉馏。
Sklearn的 isolation forest 例子默認(rèn)是讀入全量數(shù)據(jù)再采樣。如果配上warm up 選項(xiàng)就能分批放入采樣脱羡。
異常檢測的深度學(xué)習(xí)研究綜述
