吳恩達機器學習-Chapter 16 異常檢測

目的:介紹無監(jiān)督學習異常檢測算法巨缘,主要是用高斯分布(正態(tài)分布)數(shù)據(jù)模型

1. Lesson 123 問題動機

????1. 目的:解釋異常檢測的背景也應用場景
????2. 內容:給到一定的數(shù)據(jù)集,無監(jiān)督訓練并建立模型(p(x),高斯分布)鼻听,當p(x)<?時嗡靡,代表異常
????3. 應用場景:交易欺詐冀宴、網(wǎng)站登錄異常李皇、服務器集群監(jiān)控等

2. Lesson 124 高斯分布

????1. 目的:介紹高斯分布(正態(tài)分布)
????2. 內容:
??????1. 實數(shù)集x∈R祟印,如果說x服從均值μ肴沫,方差??2的正太分布,則記為:x~N(μ,??2)蕴忆,其中μ空值曲線的中心颤芬,??^2空值寬度

正態(tài)分布圖.jpeg

??????2. 高斯分布公式
高斯分布公式.png

??????3. 標準正太分布,μ=0,,??=1
標準正太分布公式.png

??????4. 均值μ站蝠、方差??^2公式
均值汰具、方差、標準差.png

3. Lesson 125 算法

????1. 目的:介紹如何將高斯分布應用于算法菱魔,以及如何開發(fā)

????2. 內容:∑表示累積相加留荔,∏表示累積相乘,如果p(x)<?表示x異常
image.png

4. Lesson 126 開發(fā)和評估異常檢測

????1. 目的:評估異常檢測算法
????2. 內容:
??????1. 最好是有正樣本的數(shù)據(jù)集澜倦,并且將正樣本分散到驗證集和測試集中

image.png

??????2. 異常檢測本身也是一個非對稱數(shù)據(jù)集聚蝶,在具體評估時使用召回率(R=正確預測分類數(shù)量/實際正樣本數(shù)量,評估覆蓋度)、準確率(P=正確預測分類數(shù)量/預測正樣本數(shù)量,評估準確性)藻治、F值(2(PR)/(P+R) ,F值越大越好)指標進行評估

5. Lesson 127 異常檢測與監(jiān)督學習

????1. 目的:解釋異常檢測和監(jiān)督學習的區(qū)別和不同應用場景
????2. 內容
??????1. 當正樣本數(shù)量極少碘勉,負樣本數(shù)量極多(即非對稱數(shù)據(jù)集)時建議使用異常檢測算法,且正樣本的異常情況不好預測
??????2. 當數(shù)據(jù)集同時包括了大量正負樣本時桩卵,可以使用監(jiān)督學習

6. Lesson 128 選擇要使用的特征

????1. 目的:如何選擇或設計異常檢測算法的特征變量
????2. 內容:
??????1. 首先畫出x的分布圖验靡,看是否服從正太分布,如果不服從雏节,可以用使用log(x+c)等函數(shù)使得x_new服從正太分布


image.png

??????2. 誤差分析胜嗓,通過誤差分析找出異常值,并人工檢查看能否發(fā)現(xiàn)新的特征矾屯,比如衍生變量(x1/x2等)

7. Lesson 129 多變量高斯分布

????1. 目的:介紹原始多元分布的延伸兼蕊,多元高斯分布
????2. 內容:
??????1. 存在一種情況是單個獨立特征服從高斯分布,并不異常件蚕,但是組合起來就明顯異常孙技,這個時候就需要用到多變量高斯分布


原始高斯分布問題場景.png

??????2. 多元高斯分布公式


image.png

image.png

8. Lesson 130 使用多變量高斯分布的異常檢測

????1.目的:講解多元高斯分布算法公式
????2.內容
??????1.具體公式已經(jīng)放到上圖中

??????2.原始模型與多元模型選擇場景,多元模型計算量較大(特別是特征變量多的時候)排作,原始模型通過衍生特征一定程度上解決上面的問題
image.png
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末牵啦,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子妄痪,更是在濱河造成了極大的恐慌哈雏,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,496評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件衫生,死亡現(xiàn)場離奇詭異裳瘪,居然都是意外死亡,警方通過查閱死者的電腦和手機罪针,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,407評論 3 392
  • 文/潘曉璐 我一進店門彭羹,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人泪酱,你說我怎么就攤上這事派殷』棺睿” “怎么了?”我有些...
    開封第一講書人閱讀 162,632評論 0 353
  • 文/不壞的土叔 我叫張陵毡惜,是天一觀的道長拓轻。 經(jīng)常有香客問我,道長经伙,這世上最難降的妖魔是什么扶叉? 我笑而不...
    開封第一講書人閱讀 58,180評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮橱乱,結果婚禮上辜梳,老公的妹妹穿的比我還像新娘。我一直安慰自己泳叠,他們只是感情好作瞄,可當我...
    茶點故事閱讀 67,198評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著危纫,像睡著了一般宗挥。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上种蝶,一...
    開封第一講書人閱讀 51,165評論 1 299
  • 那天契耿,我揣著相機與錄音,去河邊找鬼螃征。 笑死搪桂,一個胖子當著我的面吹牛,可吹牛的內容都是我干的盯滚。 我是一名探鬼主播踢械,決...
    沈念sama閱讀 40,052評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼魄藕!你這毒婦竟也來了内列?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 38,910評論 0 274
  • 序言:老撾萬榮一對情侶失蹤背率,失蹤者是張志新(化名)和其女友劉穎话瞧,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體寝姿,經(jīng)...
    沈念sama閱讀 45,324評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡交排,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,542評論 2 332
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了饵筑。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片埃篓。...
    茶點故事閱讀 39,711評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖翻翩,靈堂內的尸體忽然破棺而出都许,到底是詐尸還是另有隱情,我是刑警寧澤嫂冻,帶...
    沈念sama閱讀 35,424評論 5 343
  • 正文 年R本政府宣布胶征,位于F島的核電站,受9級特大地震影響桨仿,放射性物質發(fā)生泄漏睛低。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,017評論 3 326
  • 文/蒙蒙 一服傍、第九天 我趴在偏房一處隱蔽的房頂上張望钱雷。 院中可真熱鬧,春花似錦吹零、人聲如沸罩抗。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,668評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽套蒂。三九已至,卻和暖如春茫蛹,著一層夾襖步出監(jiān)牢的瞬間操刀,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,823評論 1 269
  • 我被黑心中介騙來泰國打工婴洼, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留骨坑,地道東北人。 一個月前我還...
    沈念sama閱讀 47,722評論 2 368
  • 正文 我出身青樓柬采,卻偏偏與公主長得像欢唾,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子警没,可洞房花燭夜當晚...
    茶點故事閱讀 44,611評論 2 353

推薦閱讀更多精彩內容

  • 該系列文章為匈辱,觀看“吳恩達機器學習”系列視頻的學習筆記。雖然每個視頻都很簡單杀迹,但不得不說每一句都非常的簡潔扼要亡脸,淺...
    tomas家的小撥浪鼓閱讀 1,192評論 1 7
  • 問題動機 再給定訓練集的情況下,如何檢測某一個輸入x是否異常树酪? 首先要根據(jù)訓練集數(shù)據(jù)建立一個模型浅碾,當給定數(shù)據(jù)的值的...
    魏清宇閱讀 2,387評論 0 7
  • Density Estimation 這個章節(jié)主要講述了非監(jiān)督機器學習中的異常檢測算法(anomaly algor...
    geekpy閱讀 1,167評論 0 0
  • 一、高斯分布 高斯分布又稱為正態(tài)分布续语。高斯分布用函數(shù)描述 垂谢。其中 是平均值, 是方差疮茄。正態(tài)分布的 決定了曲線的...
    胖三斤66閱讀 1,427評論 0 7
  • 又好久沒有打開簡書滥朱,我果然還是什么事都是三分鐘的熱度根暑,沒治的那種…… 但是看到有人評論了自己的胡言亂語,還是決定再...
    459237c57b70閱讀 226評論 0 0