今天開完組會沐批，說了研究生三年的研究方向纫骑，我大致定下的方向是機(jī)器學(xué)習(xí)的漏洞檢測，然后老師又說了一些可以融入態(tài)勢感知的想法九孩，開完會后先馆，現(xiàn)在對這些東西做一些歸結(jié)。（本文中許多內(nèi)容摘自很多博客的文章躺彬，這里純屬自用）

先說機(jī)器學(xué)習(xí)在網(wǎng)絡(luò)安全中的應(yīng)用吧

雖然機(jī)器學(xué)習(xí)最近很熱煤墙，并且我的方向是基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)安全。但是我并不認(rèn)為機(jī)器學(xué)習(xí)是解決網(wǎng)絡(luò)安全問題的靈丹妙藥顾患，畢竟一線黑客一直都是使用超一線的技術(shù)番捂，并且他們也將機(jī)器學(xué)習(xí)應(yīng)用到了攻擊中个唧。我在想的是江解，能試著做一個(gè)并不像大型殺毒軟件，而是對于沒有安全基礎(chǔ)的網(wǎng)站的coder們都可以自己檢測普通漏洞的一個(gè)東西（目前是這么想的）徙歼。

機(jī)器學(xué)習(xí)不僅可以幫助我們完成典型的ML任務(wù)犁河，包括回歸（預(yù)測）、分類魄梯、聚類桨螺，推薦。ML（machine learning）也可以針對各種需求以不同的效率解決問題酿秸，這要根據(jù)你選擇的算法而定∶鹣瑁現(xiàn)在，我們將利用機(jī)器學(xué)習(xí)解決典型的網(wǎng)絡(luò)安全任務(wù)辣苏。

根據(jù)Gartner的PPDR模型肝箱，所有的安全任務(wù)可以分為五類：預(yù)測（prediction），預(yù)防檢測（prevention detection）稀蟋，響應(yīng)（response）和監(jiān)測（monitoring）煌张。更精確地說，它們可以用于網(wǎng)絡(luò)（網(wǎng)絡(luò)流量分析和入侵檢測）退客，端點(diǎn)（反惡意軟件）骏融，應(yīng)用程序（WAF或數(shù)據(jù)庫防火墻）或用戶（UBAs链嘀，反欺詐）等技術(shù)層。

現(xiàn)在档玻，讓我們看看當(dāng)前機(jī)器學(xué)習(xí)方法如何應(yīng)用于網(wǎng)絡(luò)安全任務(wù)的例子怀泊。

一、回歸

回歸是一項(xiàng)簡單的任務(wù)误趴，換句話說預(yù)測是一項(xiàng)簡單的任務(wù)包个。我們希望利用我們對現(xiàn)有數(shù)據(jù)的了解對新數(shù)據(jù)發(fā)表預(yù)測意見，最簡單的例子就是房價(jià)預(yù)測冤留。在網(wǎng)絡(luò)安全中碧囊，它可以用于諸如用戶行為分析以及欺詐檢測等任務(wù)。網(wǎng)絡(luò)流量分析是使用機(jī)器學(xué)習(xí)的另一個(gè)好選擇纤怒。至于回歸的技術(shù)方面糯而，各種類型的遞歸神經(jīng)網(wǎng)絡(luò)效果最好。

二泊窘、分類

分類問題舉個(gè)例子熄驼，如果你有兩堆照片，比如說狗和貓烘豹，你會很容易地把新照片放到相應(yīng)的照片上瓜贾，這通常稱為監(jiān)督式學(xué)習(xí)。我們確切知道我們正在尋找什么携悯，并把他們放在正確的地方祭芦。那么如何將機(jī)器學(xué)習(xí)的分類算法應(yīng)用于網(wǎng)絡(luò)安全中呢？假設(shè)我們想要檢測不同層上的惡意活動憔鬼。對于網(wǎng)絡(luò)層龟劲，我們可以將其應(yīng)用于入侵檢測系統(tǒng)（IDS），并識別不同類別的網(wǎng)絡(luò)攻擊轴或，如掃描昌跌，欺騙等。在應(yīng)用層照雁，我們可以將它應(yīng)用于WAF并檢測OWASP top 10攻擊蚕愤。在終點(diǎn)層，我們可以將軟件分為惡意軟件饺蚊，間諜軟件和勒索軟件等類別萍诱。最后，在用戶級別上卸勺，它可以應(yīng)用于反釣魚解決方案砂沛，告訴我們特定的電子郵件是否合法。從技術(shù)上講曙求，SVM或隨機(jī)森林等算法以及更好的簡單的人工神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)都可以解決這些任務(wù)碍庵。

三映企、聚類

聚類與分類解決網(wǎng)絡(luò)安全問題的思路大體是一致的，只有一個(gè)主要地區(qū)別：我們不知道關(guān)于數(shù)據(jù)類的任何信息静浴。此外堰氓，我們不知道這些數(shù)據(jù)是否可以分類。這被稱為無監(jiān)督學(xué)習(xí)苹享。我們不參與到數(shù)據(jù)標(biāo)注過程中双絮，將所有的任務(wù)都交給機(jī)器完成，聽起來這是一個(gè)非常有趣的嘗試得问。

我覺得聚類最好的任務(wù)之一就是取證分析——當(dāng)我們不知道發(fā)生了什么事情并將所有活動分類以找出異常值時(shí)囤攀，惡意軟件分析解決方案（即惡意軟件防護(hù)）可以實(shí)施它來將合法文件與異常值分開。聚類可應(yīng)用的另一個(gè)有趣的領(lǐng)域是用戶行為分析宫纬。在這種情況下焚挠，應(yīng)用程序用戶聚集在一起，并且可以查看它們是否屬于特定的組漓骚。根據(jù)他們所在的組蝌衔，提供相應(yīng)的有效的網(wǎng)絡(luò)安全解決方案。

四蝌蹂、推薦

推薦系統(tǒng)是互聯(lián)網(wǎng)時(shí)代非常出名的系統(tǒng)噩斟。例如，我們都使用Netflix和SoundCloud時(shí)孤个，他們會根據(jù)你的電影或音樂偏好給你推薦他們認(rèn)為你喜歡的電影或歌曲剃允。這種思想同樣也可以應(yīng)用于網(wǎng)絡(luò)安全，其中它主要可以用于事件響應(yīng)硼身。如果一家公司面臨一系列事件并提出各種類型的響應(yīng)硅急，系統(tǒng)可以了解應(yīng)針對特定事件推薦哪種類型的響應(yīng)覆享。風(fēng)險(xiǎn)管理解決方案還可以從中受益佳遂，因?yàn)樗鼈兛梢宰詣訛樾侣┒捶峙滹L(fēng)險(xiǎn)值或基于其描述構(gòu)建錯(cuò)誤配置。現(xiàn)在關(guān)于推薦任務(wù)已經(jīng)出現(xiàn)了很多算法撒顿，最新的是基于受限制的玻爾茲曼機(jī)器和它們的更新版本丑罪，例如深度信念網(wǎng)絡(luò)。

關(guān)于機(jī)器學(xué)習(xí)的資源這里推薦：網(wǎng)絡(luò)安全中機(jī)器學(xué)習(xí)大合集

接下來再看看態(tài)勢感知（Situation Awareness）

基本上凤壁，態(tài)勢感知是感知你周圍發(fā)生了什么事情吩屹，了解對應(yīng)的信息對你現(xiàn)在和將來的意義是什么。這種感知以對特定工作或者目標(biāo)這重要性為標(biāo)的而組織起來拧抖。SA的概念通常應(yīng)用于人工操作的情境煤搜，人們因特定原由必須有情境意識，例如為了開車唧席，為病人治療擦盾，空中交通控制中心進(jìn)行交通分流嘲驾。因此，SA通常根據(jù)一個(gè)特定的工作或功能的目標(biāo)來定義迹卢。

SA的正式定義是“一定時(shí)間和空間環(huán)境中的元素的感辽故，對它們的含義的理解，并對他們稍后狀態(tài)的投影（恩茲利腐碱，1988）誊垢。態(tài)勢感知這個(gè)詞來自于軍隊(duì)飛行員的領(lǐng)域，在這個(gè)領(lǐng)域中實(shí)現(xiàn)高水平的態(tài)勢感知是至關(guān)重要的同時(shí)也富有挑戰(zhàn)症见。態(tài)勢感知在許多其他領(lǐng)域也很重要喂走，雖然命名可能不同。例如谋作，在空中交通管制者的世界里缴啡，他們一般指的是一種想象，一種情境在意識中的表現(xiàn)形式瓷们，也是他們做出決策的基礎(chǔ)业栅。

根據(jù)這一定義對不同的領(lǐng)域的SA的會差別很大，SA作為決策和執(zhí)行的基礎(chǔ)的重要性適用于幾乎每個(gè)活動領(lǐng)域谬晕。SA被廣泛領(lǐng)域所研究碘裕，如教育，駕駛攒钳，列車調(diào)度帮孔，維修，發(fā)電廠業(yè)務(wù)不撑，以及天氣預(yù)報(bào)文兢，加上航空和軍事行動。使用SA作為決策和性能的關(guān)鍵驅(qū)動因素也超出了這些領(lǐng)域的非工作相關(guān)的活動焕檬，包括娛樂和體育專業(yè)隊(duì)姆坚，自我保護(hù)，甚至表演实愚。態(tài)勢感知是現(xiàn)實(shí)世界的變化的知識兼呵，是有效的決策和行動的關(guān)鍵。

對SA的正式定義分解為三個(gè)獨(dú)立的層次：

Level 1 -對環(huán)境中的元素的感知

Level 2 -對當(dāng)前形勢的理解

Level 3 -未來狀況的投影

Level 1 -對環(huán)境中的元素的感知

實(shí)現(xiàn)SA的第一步是感知環(huán)境中的相關(guān)元素的狀態(tài)腊敲，屬性和動態(tài)击喂。對于每個(gè)域和作業(yè)類型，所需的要求是完全不同的碰辅。飛行員需要感知的要素懂昂，如其他飛機(jī)，地形没宾，系統(tǒng)狀態(tài)和警告燈凌彬，以及他們的相關(guān)特性潮尝。在駕駛艙里，持續(xù)監(jiān)控所有相關(guān)的系統(tǒng)和飛行數(shù)據(jù)饿序，其他飛機(jī)勉失，和導(dǎo)航數(shù)據(jù)的任務(wù)相當(dāng)繁重。一個(gè)軍官需要探測敵人原探，平民和友軍的位置和行動乱凿，地形特征，障礙和天氣咽弦。一個(gè)空中交通管制或汽車司機(jī)有一套不同的態(tài)勢感知徒蟆。

信息的感知可以通過視覺，聽覺型型，觸覺段审，味覺，嗅覺闹蒜，或一種組合寺枉。例如，一個(gè)葡萄酒制造商可能會在發(fā)酵過程中通過味道和氣味和通過視覺檢查收集關(guān)鍵的信息的狀態(tài)绷落。醫(yī)生使用所有的感官和可以得到的信息姥闪，以評估病人的健康狀況。這些線索十分的敏感微妙砌烁。一個(gè)訓(xùn)練有素的醫(yī)生可以聽到心跳的節(jié)奏細(xì)微的差別和可以在心電圖上觀察到顯著的模式筐喳，而未受過訓(xùn)練的觀察者做不到這一點(diǎn)。一個(gè)有經(jīng)驗(yàn)的飛行員只是聽到發(fā)動機(jī)的音調(diào)或看到在空氣場上的燈光模式可以知道有些東西出了錯(cuò)誤函喉。在許多復(fù)雜的系統(tǒng)中避归，電子顯示器上會有著重的提示和讀取提供的，但現(xiàn)實(shí)是管呵，1級SA的大部分也來自個(gè)人對環(huán)境的直接觀察——看窗外或感覺的振動梳毙。

與他人的語言和非語言交流形成一個(gè)額外的信息來源，對1級SA有幫助撇寞。

Level 2 -對當(dāng)前形勢的理解

實(shí)現(xiàn)良好SA的第二步是理解數(shù)據(jù)和線索對目標(biāo)和目的意味著什么顿天。 理解（SA Level2）基于不相交的1級元素的綜合，以及該信息與個(gè)人目標(biāo)的對照蔑担。 它涉及集成許多數(shù)據(jù)以形成信息，并且優(yōu)先考慮組合信息與實(shí)現(xiàn)當(dāng)前目標(biāo)相關(guān)的重要性和意義咽白。 2級SA類似于具有高水平的閱讀理解啤握，而不是僅僅閱讀單詞。

而對于實(shí)際應(yīng)用當(dāng)中晶框，想象一下司機(jī)到達(dá)十字路口的場景排抬。司機(jī)看到一個(gè)黃色的燈懂从，她就會明白她需要謹(jǐn)慎，基于距離十字路口的距離蹲蒲。她對她前面的汽車的減速速率的感覺讓她確定它是停止還是前進(jìn)通過交叉口及其這個(gè)決定對該汽車的接近速率的影響番甩。駕駛員對情況如何影響她的目標(biāo)的理解定義了到達(dá)2級SA的條件。

軍事指揮官的2級SA可能涉及理解在給定地點(diǎn)的行動報(bào)告届搁，這意味著敵軍正在附近集結(jié)缘薛。 或者它可能意味著看到沿著道路的車輛軌道，并從那里確定什么類型的部隊(duì)和單位在軍官自己的部隊(duì)之前卡睦。

通過理解數(shù)據(jù)塊的重要性宴胧，具有2級SA的個(gè)體將特定目標(biāo)相關(guān)的含義和意義與手頭的信息相關(guān)聯(lián)。

Level 3 -未來狀況的投影

一旦人們知道這些元素是什么以及它們對于當(dāng)前目標(biāo)意味著什么表锻，預(yù)測這些元素在（至少在短期內(nèi)）將做什么的能力構(gòu)成了3級SA恕齐。一個(gè)人只能通過了解情況（2級SA）以及他們正在使用的系統(tǒng)的功能和動態(tài)，達(dá)到3級SA瞬逊。

使用3級SA显歧，駕駛員知道如果她進(jìn)入交叉路口，他很可能被在過馬路上的汽車撞擊确镊。 這個(gè)投影讓她主動作出決定追迟、陸軍指揮官可以映射到敵方部隊(duì)接近的方向和他們自己的行動的可能影響，基于他們已經(jīng)生成的2級SA骚腥、飛行員和空中交通管制員積極工作敦间，預(yù)測其他飛機(jī)的運(yùn)動并提前預(yù)見問題。

使用當(dāng)前情境理解來形成預(yù)測需要對領(lǐng)域（高度發(fā)展的心理模型）有非常好的理解束铭，并且在心理上可能是相當(dāng)苛刻的廓块。許多領(lǐng)域的專家花費(fèi)大量時(shí)間來形成3級SA，利用空余時(shí)間來生成這些預(yù)測契沫。通過不斷地前向映射带猴，他們能夠制定一套現(xiàn)成的戰(zhàn)略和對事件的反應(yīng)。這讓他們掌握主動懈万，避免許多不期望的情況拴清，并且當(dāng)各種事件發(fā)生時(shí)也非常快速地響應(yīng)会通。

未能從第2級SA準(zhǔn)確地投影（形成第3級SA）可能是由于精神資源不足（例如口予，如果人員超負(fù)荷其他信息處理），或者由于域的知識不足涕侈。通常沪停，這也是由于過度預(yù)測當(dāng)前趨勢，例如，假設(shè)飛機(jī)將繼續(xù)以其當(dāng)前速率下降木张，而不是使其下降速率众辨。在航空領(lǐng)域只有6％的SA誤差在誤差檢驗(yàn)中被發(fā)現(xiàn)屬于這一類別（Jones＆Endsley，1996）舷礼。原因可能是由于在獲得這個(gè)領(lǐng)域中獲得的1級和2級SA方面存在著顯著困難鹃彻，而非在獲得良好的3級SA過程中存在問題。沒有足夠的專業(yè)知識或設(shè)計(jì)精良的信息系統(tǒng)和用戶界面妻献，人們可能在SA的早期階段失敗蛛株，從未進(jìn)展到3級。

這里在淺談一下機(jī)器學(xué)習(xí)