1.問題的動機

異常檢測(Anomaly detection)問題是機器學(xué)習(xí)算法的一個常見應(yīng)用爪瓜。這種算法的一個有趣之處在于：它雖然主要用于非監(jiān)督學(xué)習(xí)問題漾肮，但從某些角度看反浓，它又類似于一些監(jiān)督學(xué)習(xí)問題橄唬。
什么是異常檢測呢仁热？為了解釋這個概念退疫，讓我舉一個例子吧：

假想你是一個飛機引擎制造商渠缕，當(dāng)你生產(chǎn)的飛機引擎從生產(chǎn)線上流出時，你需要進行QA(質(zhì)量控制測試)褒繁，而作為這個測試的一部分亦鳞，你測量了飛機引擎的一些特征變量，比如引擎運轉(zhuǎn)時產(chǎn)生的熱量棒坏，或者引擎的振動等等燕差。

這樣一來，你就有了一個數(shù)據(jù)集坝冕，從x^(1) 到x^(m)徒探，如果你生產(chǎn)了m個引擎的話，你將這些數(shù)據(jù)繪制成圖表喂窟，看起來就是這個樣子：

這里的每個點测暗、每個叉，都是你的無標(biāo)簽數(shù)據(jù)磨澡。這樣碗啄，異常檢測問題可以定義如下：我們假設(shè)后來有一天，你有一個新的飛機引擎從生產(chǎn)線上流出钱贯，而你的新飛機引擎有特征變量x_test挫掏。所謂的異常檢測問題就是：我們希望知道這個新的飛機引擎是否有某種異常，或者說秩命，我們希望判斷這個引擎是否需要進一步測試尉共。因為褒傅，如果它看起來像一個正常的引擎，那么我們可以直接將它運送到客戶那里袄友，而不需要進一步的測試殿托。

給定數(shù)據(jù)集 x^(1), x^(2) ,..,x^(m)，我們假使數(shù)據(jù)集是正常的剧蚣，我們希望知道新的數(shù)據(jù) 是不是異常的支竹，即這個測試數(shù)據(jù)不屬于該組數(shù)據(jù)的幾率如何。我們所構(gòu)建的模型應(yīng)該能根據(jù)該測試數(shù)據(jù)的位置告訴我們其屬于一組數(shù)據(jù)的可能性 p(x)鸠按。

欺詐檢測：
尋找網(wǎng)站中操作異常的用戶
工業(yè)生產(chǎn)領(lǐng)域
計算機機群管理

2.高斯分布

正態(tài)分布
兩個參數(shù)礼搁，均值u；方差σ^2
u控制鐘形曲線的中心位置目尖，σ控制鐘形曲線的寬度

例子：
陰影面積的積分都是1馒吴！

參數(shù)估計問題：
參數(shù)估計問題就是給定數(shù)據(jù)集，我希望能找到能夠估算出u和σ平方的值：
極大似然估計：

注：機器學(xué)習(xí)中對于方差我們通常只除以m而非統(tǒng)計學(xué)中的(m-1)瑟曲。這里順便提一下饮戳，在實際使用中，到底是選擇使用1/m還是1/(m-1)其實區(qū)別很小洞拨，只要你有一個還算大的訓(xùn)練集扯罐，在機器學(xué)習(xí)領(lǐng)域大部分人更習(xí)慣使用1/m這個版本的公式。這兩個版本的公式在理論特性和數(shù)學(xué)特性上稍有不同烦衣，但是在實際使用中歹河，他們的區(qū)別甚小，幾乎可以忽略不計琉挖。

3.異常檢測算法

基于高斯分布建立異常檢測算法：

我們處理異常檢測的方法是：我們要用數(shù)據(jù)集建立起概率模型启泣，p(x)，我們要試圖解決哪些特征量出現(xiàn)的概率比較高示辈，哪些特征量的出現(xiàn)概率比較低寥茫，因此x就會是一個向量。

x1到xn上的獨立假設(shè)：

異常算法使用：
1.選擇特征量矾麻，它能幫我們指出那些反常的樣本
2.給出訓(xùn)練集纱耻，計算u和σ（向量化公式）
3.計算新樣本的p(x)

例子：
下圖是一個由兩個特征的訓(xùn)練集，以及特征的分布情況：

下面的三維圖表表示的是密度估計函數(shù)险耀，z軸為根據(jù)兩個特征的值所估計p(x)值：

如何估計p(x)的值弄喘，即x的概率值，檢測算法甩牺。

即用給定的數(shù)據(jù)集蘑志，擬合了參數(shù)，對參數(shù)進行評估，來得到參數(shù)u和σ的值急但，然后用新的例子澎媒，說明其是否為異常。

4.開發(fā)和評估異常檢測系統(tǒng)

實驗評估的重要性波桩，它的主要思想是當(dāng)你為某個應(yīng)用開發(fā)一個學(xué)習(xí)算法時戒努，如果你有一個辦法通過返回一個實數(shù)，來評估你的算法镐躲，那么做這些選擇就會簡單的多储玫。

為了快速的開發(fā)出這樣一個算法評估系統(tǒng)，假設(shè)我們有一些帶標(biāo)簽的數(shù)據(jù)萤皂，來指明哪些是異常樣本撒穷，哪些是正常樣本，這就是我們認為的能評估異常檢測算法的標(biāo)準方法裆熙。

選擇ε的方法就是嘗試許多不同的ε值并從中選擇一個表現(xiàn)良好的值桥滨。

評估一個異常檢測算法的步驟，并且在能夠評估一個算法之后弛车，能夠用像F1這樣的實數(shù)進行評估之后，將使你在嘗試開發(fā)一個異常檢測系統(tǒng)時大大提高當(dāng)你進行決策時的效率蒲每。

總結(jié)一下：
異常檢測算法是一個非監(jiān)督學(xué)習(xí)算法纷跛，意味著我們無法根據(jù)結(jié)果變量 y的值來告訴我們數(shù)據(jù)是否真的是異常的。我們需要另一種方法來幫助檢驗算法是否有效邀杏。當(dāng)我們開發(fā)一個異常檢測系統(tǒng)時贫奠，我們從帶標(biāo)記（異常或正常）的數(shù)據(jù)著手望蜡，我們從其中選擇一部分正常數(shù)據(jù)用于構(gòu)建訓(xùn)練集唤崭，然后用剩下的正常數(shù)據(jù)和異常數(shù)據(jù)混合的數(shù)據(jù)構(gòu)成交叉檢驗集和測試集。

例如：我們有10000臺正常引擎的數(shù)據(jù)脖律，有20臺異常引擎的數(shù)據(jù)谢肾。 我們這樣分配數(shù)據(jù)：

6000臺正常引擎的數(shù)據(jù)作為訓(xùn)練集
2000臺正常引擎和10臺異常引擎的數(shù)據(jù)作為交叉檢驗集
2000臺正常引擎和10臺異常引擎的數(shù)據(jù)作為測試集

具體的評價方法如下：
1.根據(jù)測試集數(shù)據(jù)，我們估計特征的平均值和方差并構(gòu)建p(x)函數(shù)
2.對交叉檢驗集小泉，我們嘗試使用不同的ε值作為閥值芦疏，并預(yù)測數(shù)據(jù)是否異常，根據(jù)F1值或者查準率與查全率的比例來選擇 ε
3.選出ε 后微姊，針對測試集進行預(yù)測酸茴，計算異常檢驗系統(tǒng)的F1值，或者查準率與查全率之比

5.異常檢測與監(jiān)督學(xué)習(xí)對比

之前我們構(gòu)建的異常檢測系統(tǒng)也使用了帶標(biāo)記的數(shù)據(jù)兢交，與監(jiān)督學(xué)習(xí)有些相似薪捍，下面的對比有助于選擇采用監(jiān)督學(xué)習(xí)還是異常檢測：

兩者比較：

希望這節(jié)課能讓你明白一個學(xué)習(xí)問題的什么樣的特征，能讓你把這個問題當(dāng)做是一個異常檢測，或者是一個監(jiān)督學(xué)習(xí)的問題酪穿。另外凳干，對于很多技術(shù)公司可能會遇到的一些問題，通常來說昆稿，正樣本的數(shù)量很少纺座，甚至有時候是0，也就是說溉潭，出現(xiàn)了太多沒見過的不同的異常類型净响，那么對于這些問題，通常應(yīng)該使用的算法就是異常檢測算法喳瓣。

6.選擇特征

對于異常檢測算法馋贤，我們使用的特征是至關(guān)重要的，下面談?wù)勅绾芜x擇特征：

異常檢測假設(shè)特征符合高斯分布畏陕，如果數(shù)據(jù)的分布不是高斯分布配乓，異常檢測算法也能夠工作，但是最好還是將數(shù)據(jù)轉(zhuǎn)換成高斯分布惠毁，例如使用對數(shù)函數(shù)：x= log(x+c)犹芹，其中 c 為非負常數(shù)； 或者 x=x^c鞠绰，c為 0-1 之間的一個分數(shù)腰埂，等方法。(編者注：在python中蜈膨，通常用np.log1p()函數(shù)屿笼，log1p就是 log(x+1)，可以避免出現(xiàn)負數(shù)結(jié)果翁巍，反向函數(shù)就是np.expm1()驴一。

誤差分析：

一個常見的問題是一些異常的數(shù)據(jù)可能也會有較高的p(x)值，因而被算法認為是正常的灶壶。這種情況下誤差分析能夠幫助我們肝断，我們可以分析那些被算法錯誤預(yù)測為正常的數(shù)據(jù)，觀察能否找出一些問題驰凛。我們可能能從問題中發(fā)現(xiàn)我們需要增加一些新的特征孝情，增加這些新特征后獲得的新算法能夠幫助我們更好地進行異常檢測。

異常檢測誤差分析：

我們通橙鬣停可以通過將一些相關(guān)的特征進行組合箫荡，來獲得一些新的更好的特征（異常數(shù)據(jù)的該特征值異常地大或小）渔隶，例如懈凹，在檢測數(shù)據(jù)中心的計算機狀況的例子中，我們可以用CPU負載與網(wǎng)絡(luò)通信量的比例作為一個新的特征淹朋，如果該值異常地大，便有可能意味著該服務(wù)器是陷入了一些問題中利术。

我平常在做異常檢測選擇特征向量時的思考：

在這段視頻中，我們介紹了如何選擇特征低矮，以及對特征進行一些小小的轉(zhuǎn)換印叁，讓數(shù)據(jù)更像正態(tài)分布，然后再把數(shù)據(jù)輸入異常檢測算法军掂。同時也介紹了建立特征時轮蜕，進行的誤差分析方法，來捕捉各種異常的可能蝗锥。希望你通過這些方法跃洛，能夠了解如何選擇好的特征變量，從而幫助你的異常檢測算法终议，捕捉到各種不同的異常情況汇竭。

7.多元高斯分布（選修）

假使我們有兩個相關(guān)的特征，而且這兩個特征的值域范圍比較寬穴张，這種情況下细燎，一般的高斯分布模型可能不能很好地識別異常數(shù)據(jù)。其原因在于皂甘，一般的高斯分布模型嘗試的是去同時抓住兩個特征的偏差找颓，因此創(chuàng)造出一個比較大的判定邊界。

下圖中是兩個相關(guān)特征叮贩，洋紅色的線（根據(jù)ε的不同其范圍可大可小）是一般的高斯分布模型獲得的判定邊界佛析，很明顯綠色的X所代表的數(shù)據(jù)點很可能是異常值益老，但是其p(x)值卻仍然在正常范圍內(nèi)。多元高斯分布將創(chuàng)建像圖中藍色曲線所示的判定邊界寸莫。

只能是圓形檢測捺萌，很多異常值檢測不出來，所以改良版（多元高斯分布）：

∑是一個協(xié)方差矩陣膘茎，它衡量的是方差桃纯，或者說特征變量x1和x2的變化量。

下面我們來看看協(xié)方差矩陣是如何影響模型的：

上圖是5個不同的模型披坏，從左往右依次分析：

1.是一個一般的高斯分布模型
2.通過協(xié)方差矩陣态坦，令特征1擁有較小的偏差，同時保持特征2的偏差
3.通過協(xié)方差矩陣棒拂，令特征2擁有較大的偏差伞梯，同時保持特征1的偏差
4.通過協(xié)方差矩陣玫氢，在不改變兩個特征的原有偏差的基礎(chǔ)上，增加兩者之間的正相關(guān)性
5.通過協(xié)方差矩陣谜诫，在不改變兩個特征的原有偏差的基礎(chǔ)上漾峡，增加兩者之間的負相關(guān)性

多元高斯分布模型與原高斯分布模型的關(guān)系：
可以證明的是，原本的高斯分布模型是多元高斯分布模型的一個子集喻旷，即像上圖中的第1生逸、2、3且预，3個例子所示槽袄，如果協(xié)方差矩陣只在對角線的單位上有非零的值時，即為原本的高斯分布模型了辣之。

原高斯分布模型和多元高斯分布模型的比較：

原高斯分布模型被廣泛使用著掰伸，如果特征之間在某種程度上存在相互關(guān)聯(lián)的情況，我們可以通過構(gòu)造新新特征的方法來捕捉這些相關(guān)性怀估。

如果訓(xùn)練集不是太大狮鸭，并且沒有太多的特征，我們可以使用多元高斯分布模型多搀。

8.使用多元高斯分布進行異常檢測（可選）

在我們談到的最后一個視頻歧蕉，關(guān)于多元高斯分布，看到的一些建立的各種分布模型康铭，當(dāng)你改變參數(shù)惯退，u和∑。在這段視頻中从藤，讓我們用這些想法催跪，并應(yīng)用它們制定一個不同的異常檢測算法。

要回顧一下多元高斯分布和多元正態(tài)分布：

首先夷野，我們把我們的訓(xùn)練集懊蒸，和我們的擬合模型，我們計算p(x)悯搔，要知道骑丸，設(shè)定u和描述的一樣∑。

如圖妒貌，該分布在中央最多通危，越到外面的圈的范圍越小。
并在該點是出路這里的概率非常低灌曙。
原始模型與多元高斯模型的關(guān)系如圖：
其中：協(xié)方差矩陣∑為：

原始模型和多元高斯分布比較如圖：

推薦系統(tǒng)(Recommender Systems)

9.問題形式化

我想講推薦系統(tǒng)有兩個原因：

第一菊碟、僅僅因為它是機器學(xué)習(xí)中的一個重要的應(yīng)用。在過去幾年在刺，我偶爾訪問硅谷不同的技術(shù)公司框沟，我常和工作在這兒致力于機器學(xué)習(xí)應(yīng)用的人們聊天藏古，我常問他們，最重要的機器學(xué)習(xí)的應(yīng)用是什么忍燥，或者拧晕，你最想改進的機器學(xué)習(xí)應(yīng)用有哪些。我最常聽到的答案是推薦系統(tǒng)∶仿ⅲ現(xiàn)在厂捞，在硅谷有很多團體試圖建立很好的推薦系統(tǒng)。因此队丝，如果你考慮網(wǎng)站像亞馬遜靡馁，或網(wǎng)飛公司或易趣，或iTunes Genius机久，有很多的網(wǎng)站或系統(tǒng)試圖推薦新產(chǎn)品給用戶臭墨。如，亞馬遜推薦新書給你膘盖，網(wǎng)飛公司試圖推薦新電影給你胧弛，等等。這些推薦系統(tǒng)侠畔，根據(jù)瀏覽你過去買過什么書结缚，或過去評價過什么電影來判斷。這些系統(tǒng)會帶來很大一部分收入软棺，比如為亞馬遜和像網(wǎng)飛這樣的公司红竭。因此，對推薦系統(tǒng)性能的改善喘落，將對這些企業(yè)的有實質(zhì)性和直接的影響茵宪。

推薦系統(tǒng)是個有趣的問題，在學(xué)術(shù)機器學(xué)習(xí)中因此瘦棋，我們可以去參加一個學(xué)術(shù)機器學(xué)習(xí)會議稀火，推薦系統(tǒng)問題實際上受到很少的關(guān)注，或者兽狭，至少在學(xué)術(shù)界它占了很小的份額。但是鹿蜀，如果你看正在發(fā)生的事情箕慧，許多有能力構(gòu)建這些系統(tǒng)的科技企業(yè)，他們似乎在很多企業(yè)中占據(jù)很高的優(yōu)先級茴恰。這是我為什么在這節(jié)課討論它的原因之一颠焦。

我想討論推薦系統(tǒng)地第二個原因是：這個班視頻的最后幾集我想討論機器學(xué)習(xí)中的一些大思想，并和大家分享往枣。這節(jié)課我們也看到了伐庭，對機器學(xué)習(xí)來說粉渠，特征是很重要的，你所選擇的特征圾另，將對你學(xué)習(xí)算法的性能有很大的影響霸株。因此，在機器學(xué)習(xí)中有一種大思想集乔，它針對一些問題去件，可能并不是所有的問題，而是一些問題扰路，有算法可以為你自動學(xué)習(xí)一套好的特征尤溜。因此，不要試圖手動設(shè)計汗唱，而手寫代碼這是目前為止我們常干的宫莱。有一些設(shè)置，你可以有一個算法哩罪，僅僅學(xué)習(xí)其使用的特征授霸，推薦系統(tǒng)就是類型設(shè)置的一個例子。還有很多其它的识椰，但是通過推薦系統(tǒng)绝葡，我們將領(lǐng)略一小部分特征學(xué)習(xí)的思想，至少腹鹉，你將能夠了解到這方面的一個例子藏畅，我認為，機器學(xué)習(xí)中的大思想也是這樣功咒。因此愉阎，讓我們開始討論推薦系統(tǒng)問題形式化。

我們從一個例子開始定義推薦系統(tǒng)的問題力奋。

假使我們是一個電影供應(yīng)商榜旦，我們有 5 部電影和 4 個用戶，我們要求用戶為電影打分景殷。

前三部電影是愛情片溅呢，后兩部則是動作片，我們可以看出Alice和Bob似乎更傾向與愛情片猿挚， 而 Carol 和 Dave 似乎更傾向與動作片咐旧。并且沒有一個用戶給所有的電影都打過分。我們希望構(gòu)建一個算法來預(yù)測他們每個人可能會給他們沒看過的電影打多少分绩蜻，并以此作為推薦的依據(jù)铣墨。

下面引入一些標(biāo)記：
u 代表用戶的數(shù)量
m 代表電影的數(shù)量
r(i, j) 如果用戶j給電影 i 評過分則 r(i,j)=1
y^(i, j) 代表用戶 j 給電影i的評分
mj代表用戶 j 評過分的電影的總數(shù)

10.基于內(nèi)容的推薦系統(tǒng)

在一個基于內(nèi)容的推薦系統(tǒng)算法中，我們假設(shè)對于我們希望推薦的東西有一些數(shù)據(jù)办绝，這些數(shù)據(jù)是有關(guān)這些東西的特征伊约。

在我們的例子中姚淆，我們可以假設(shè)每部電影都有兩個特征，如x1代表電影的浪漫程度屡律，x2 代表電影的動作程度腌逢。

11.協(xié)同過濾

注：在協(xié)同過濾從算法中，我們通常不使用方差項疹尾，如果需要的話上忍，算法會自動學(xué)得。 協(xié)同過濾算法使用步驟如下：

12.協(xié)同過濾算法

協(xié)同過濾優(yōu)化目標(biāo)：

13.向量化：低秩矩陣分解

在上幾節(jié)視頻中纳本，我們談到了協(xié)同過濾算法窍蓝，本節(jié)視頻中我將會講到有關(guān)該算法的向量化實現(xiàn)，以及說說有關(guān)該算法你可以做的其他事情繁成。

舉例子：
1.當(dāng)給出一件產(chǎn)品時吓笙，你能否找到與之相關(guān)的其它產(chǎn)品。
2.一位用戶最近看上一件產(chǎn)品巾腕，有沒有其它相關(guān)的產(chǎn)品面睛，你可以推薦給他。

我將要做的是：實現(xiàn)一種選擇的方法尊搬，寫出協(xié)同過濾算法的預(yù)測情況叁鉴。
我們有關(guān)于五部電影的數(shù)據(jù)集，我將要做的是佛寿，將這些用戶的電影評分幌墓，進行分組并存到一個矩陣中。
我們有五部電影冀泻，以及四位用戶常侣，那么 這個矩陣 就是一個5行4列的矩陣，它將這些電影的用戶評分數(shù)據(jù)都存在矩陣里：

找到相關(guān)影片：

現(xiàn)在既然你已經(jīng)對特征參數(shù)向量進行了學(xué)習(xí)弹渔，那么我們就會有一個很方便的方法來度量兩部電影之間的相似性胳施。例如說：電影 i 有一個特征向量x^(i)，你是否能找到一部不同的電影 j肢专，保證兩部電影的特征向量之間的距離x^(i) 和 x^(j)很小舞肆，那就能很有力地表明電影i和電影 j在某種程度上有相似，至少在某種意義上博杖，某些人喜歡電影 i椿胯，或許更有可能也對電影 j 感興趣∨纺迹總結(jié)一下压状，當(dāng)用戶在看某部電影 i 的時候仆抵，如果你想找5部與電影非常相似的電影跟继，為了能給用戶推薦5部新電影种冬，你需要做的是找出電影 j，在這些不同的電影中與我們要找的電影 i 的距離最小舔糖，這樣你就能給你的用戶推薦幾部不同的電影了娱两。

通過這個方法，希望你能知道金吗，如何進行一個向量化的計算來對所有的用戶和所有的電影進行評分計算十兢。同時希望你也能掌握，通過學(xué)習(xí)特征參數(shù)摇庙，來找到相關(guān)電影和產(chǎn)品的方法旱物。

14.推行工作上的細節(jié)：均值歸一化

讓我們來看下面的用戶評分數(shù)據(jù)：

如果我們新增一個用戶 Eve，并且 Eve 沒有為任何電影評分卫袒，那么我們以什么為依據(jù)為Eve推薦電影呢宵呛？

我們首先需要對結(jié)果 Y 矩陣進行均值歸一化處理，將每一個用戶對某一部電影的評分減去所有用戶對該電影評分的平均值：

然后我們利用這個新的 Y 矩陣來訓(xùn)練算法夕凝。 如果我們要用新訓(xùn)練出的算法來預(yù)測評分宝穗，則需要將平均值重新加回去，預(yù)測

對于Eve码秉，我們的新模型會認為她給每部電影的評分都是該電影的平均分逮矛。