2019-04-01 3σ準(zhǔn)則異常值檢測(cè)及相關(guān)方法

標(biāo)準(zhǔn)差 standard deviation

% Y = std(X,W,DIM) 
% W權(quán)值熊榛,傳入0表示正常的計(jì)算方法裂垦。
% dim=1表示對(duì)行進(jìn)行操作
% dim=2表示對(duì)列進(jìn)行操作
% 默認(rèn)行操作
% Example: 
        >> X = [4 -2 1; 9 5 7]
              X =
                   4    -2     1
                   9     5     7
        >> std(X,0,1)
        ans =
                3.5355    4.9497    4.2426  
        >> std(X,0,2)
        ans =
               3
               2
        >> mean(X)
        ans =
              6.5000    1.5000    4.0000
        >> mean(X,1)
        ans =
              6.5000    1.5000    4.0000
        >> mean(X,2)
        ans =
               1
               7

% 3σ用法

>> abs(X-mean(X))
ans =
    2.5000    3.5000    3.0000
    2.5000    3.5000    3.0000

>> abs(X-mean(X))>3*std(X)
ans =
  2×3 logical 數(shù)組
   0   0   0
   0   0   0
>> abs(X-mean(X))>3*std(X)
ans =
  2×3 logical 數(shù)組
   0   0   0
   0   0   0

% 小樣本無(wú)效

>> X = [4 -2 1; 9 5 1000]
X =
           4          -2           1
           9           5        1000
>> std(X)
ans =
    3.5355    4.9497  706.3997
>> abs(X-mean(X))>3*std(X)
ans =
  2×3 logical 數(shù)組
   0   0   0
   0   0   0

% 復(fù)制第一行數(shù)據(jù)恢恼,直到復(fù)制十遍扼褪,才有效

>> X = [4 -2 1;4 -2 1;4 -2 1;4 -2 1;4 -2 1;4 -2 1;4 -2 1;4 -2 1;4 -2 1;4 -2 1;9 -2 1000]
X =
           4          -2           1
           4          -2           1
           4          -2           1
           4          -2           1
           4          -2           1
           4          -2           1
           4          -2           1
           4          -2           1
           4          -2           1
           4          -2           1
           9          -2        1000
>> std(X)
ans =
    1.5076         0  301.2098
>> abs(X-mean(X))>3*std(X)
ans =
  11×3 logical 數(shù)組
   0   0   0
   0   0   0
   0   0   0
   0   0   0
   0   0   0
   0   0   0
   0   0   0
   0   0   0
   0   0   0
   0   0   0
   1   0   1

% 使用any函數(shù)舱污,找出任一變量(列)落在3σ外的樣本(行)

>> abs(X-mean(X))>3*std(X)
ans =
  11×3 logical 數(shù)組
   0   0   0
   0   0   0
   0   0   0
   0   0   0
   0   0   0
   0   0   0
   0   0   0
   0   0   0
   0   0   0
   0   0   0
   1   0   1
>> any(abs(X-mean(X))>3*std(X),2)
ans =
  11×1 logical 數(shù)組
   0
   0
   0
   0
   0
   0
   0
   0
   0
   0
   1
>> X(any(abs(X-mean(X))>3*std(X),2),:)
ans =
           9          -2        1000

以下分割線(xiàn)內(nèi)參考百度百科

3σ準(zhǔn)則

又稱(chēng)為拉依達(dá)準(zhǔn)則它是先假設(shè)一組檢測(cè)數(shù)據(jù)只含有隨機(jī)誤差對(duì)其進(jìn)行計(jì)算處理得到標(biāo)準(zhǔn)偏差呀舔,按一定概率確定一個(gè)區(qū)間,認(rèn)為凡超過(guò)這個(gè)區(qū)間的誤差,就不屬于隨機(jī)誤差而是粗大誤差媚赖,含有該誤差的數(shù)據(jù)應(yīng)予以剔除霜瘪。且3σ適用于有較多組數(shù)據(jù)的時(shí)候。

這種判別處理原理及方法僅局限于對(duì)正態(tài)或近似正態(tài)分布的樣本數(shù)據(jù)處理惧磺,它是以測(cè)量次數(shù)充分大為前提的颖对,當(dāng)測(cè)量次數(shù)較少的情形用準(zhǔn)則剔除粗大誤差是不夠可靠的。因此磨隘,在測(cè)量次數(shù)較少的情況下缤底,最好不要選用準(zhǔn)則,而用其他準(zhǔn)則番捂。

在正態(tài)分布中σ代表標(biāo)準(zhǔn)差个唧,μ代表均值。x=μ即為圖像的對(duì)稱(chēng)軸
3σ原則為:

  • (μ-σ,μ+σ)设预,p=0.6827
  • (μ-2σ,μ+2σ)徙歼,p=0.9545
  • (μ-3σ,μ+3σ),p=0.9973
    可以認(rèn)為鳖枕,Y 的取值幾乎全部集中在(μ-3σ,μ+3σ)區(qū)間內(nèi)魄梯,超出這個(gè)范圍的可能性?xún)H占不到0.3%。


    image.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末宾符,一起剝皮案震驚了整個(gè)濱河市酿秸,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌魏烫,老刑警劉巖允扇,帶你破解...
    沈念sama閱讀 211,639評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異则奥,居然都是意外死亡考润,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,277評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén)读处,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)糊治,“玉大人,你說(shuō)我怎么就攤上這事罚舱【迹” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 157,221評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵管闷,是天一觀的道長(zhǎng)粥脚。 經(jīng)常有香客問(wèn)我,道長(zhǎng)包个,這世上最難降的妖魔是什么刷允? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,474評(píng)論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上树灶,老公的妹妹穿的比我還像新娘纤怒。我一直安慰自己,他們只是感情好天通,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,570評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布泊窘。 她就那樣靜靜地躺著,像睡著了一般像寒。 火紅的嫁衣襯著肌膚如雪烘豹。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 49,816評(píng)論 1 290
  • 那天诺祸,我揣著相機(jī)與錄音携悯,去河邊找鬼。 笑死序臂,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的实束。 我是一名探鬼主播奥秆,決...
    沈念sama閱讀 38,957評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼咸灿!你這毒婦竟也來(lái)了构订?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,718評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤避矢,失蹤者是張志新(化名)和其女友劉穎悼瘾,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體审胸,經(jīng)...
    沈念sama閱讀 44,176評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡亥宿,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,511評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了砂沛。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片烫扼。...
    茶點(diǎn)故事閱讀 38,646評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖碍庵,靈堂內(nèi)的尸體忽然破棺而出映企,到底是詐尸還是另有隱情,我是刑警寧澤静浴,帶...
    沈念sama閱讀 34,322評(píng)論 4 330
  • 正文 年R本政府宣布堰氓,位于F島的核電站,受9級(jí)特大地震影響苹享,放射性物質(zhì)發(fā)生泄漏双絮。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,934評(píng)論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望掷邦。 院中可真熱鬧白胀,春花似錦、人聲如沸抚岗。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,755評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)宣蔚。三九已至向抢,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間胚委,已是汗流浹背挟鸠。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,987評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留亩冬,地道東北人艘希。 一個(gè)月前我還...
    沈念sama閱讀 46,358評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像硅急,于是被迫代替她去往敵國(guó)和親覆享。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,514評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容