來源:https://www.normshield.com/machine-learning-in-cyber-security-domain-9-botnet-detection/
機器學(xué)習(xí)僵尸網(wǎng)絡(luò)檢測;僵尸網(wǎng)絡(luò)指的是由僵尸組成的有組織的自動化軍隊胖翰,它可以用來創(chuàng)建DDoS攻擊以及垃圾郵件行為,如淹沒任何收件箱或傳播病毒舒裤。事實上,這支軍隊由大量的計算機組成花枫。攻擊者利用這支軍隊進行惡意攻擊,通常僵尸甚至不知道他們被用于惡意攻擊。
僵尸被廣泛用于發(fā)送垃圾郵件;截至2005年阁最,全球約有50-80%的垃圾郵件是由僵尸電腦發(fā)送的虑润。這使得垃圾郵件發(fā)送者可以避免被檢測到成玫,并可能降低了他們的帶寬成本,因為僵尸的所有者為他們自己的帶寬付費拳喻。僵尸網(wǎng)絡(luò)攻擊的一般結(jié)構(gòu)如下哭当。
這個過程由一個名為C&C的集中實體執(zhí)行,C&C也稱為botmaster冗澈。botmaster是一個實體钦勘,協(xié)調(diào)發(fā)起、管理或暫停對所有受感染機器(bot)的攻擊亚亲。因此彻采,C&C機制的目的是增加僵尸機器的數(shù)量,并協(xié)調(diào)這些機器進行如此多的破壞性操作捌归。僵尸網(wǎng)絡(luò)與其他類型網(wǎng)絡(luò)攻擊的區(qū)別在于網(wǎng)絡(luò)中存在C&C肛响。此外,機器人從C&C接收指令惜索,并根據(jù)這些指令采取行動特笋。這些指令/命令的范圍從在互聯(lián)網(wǎng)上發(fā)起蠕蟲或垃圾郵件攻擊到破壞合法的用戶請求。
僵尸網(wǎng)絡(luò)可以做任何你可以想象到的事情巾兆,通過使用許多計算機連接到一個網(wǎng)絡(luò)猎物。分布式能力是僵尸網(wǎng)絡(luò)能力的關(guān)鍵。
一臼寄、機器學(xué)習(xí)僵尸網(wǎng)絡(luò)檢測
隨著技術(shù)的發(fā)展霸奕,每臺個人計算機都具有巨大的處理能力(CPU、GPU)和帶寬容量吉拳。因此质帅,每一臺加入僵尸網(wǎng)絡(luò)的個人電腦都使得僵尸網(wǎng)絡(luò)更加強大。
需要太多處理能力的工作可以很容易地在分布式網(wǎng)絡(luò)中完成留攒。在這種類型的網(wǎng)絡(luò)中煤惩,工作被劃分為子工作,并分配給各個機器炼邀。僵尸網(wǎng)絡(luò)攻擊的主要目的是將多個資源組合在一起魄揉,并構(gòu)建一個非常強大的資源。組合源可以是帶寬或處理能力拭宁。在創(chuàng)建了足夠多的僵尸網(wǎng)絡(luò)之后洛退,攻擊者可以將其用于許多惡意目的瓣俯。一些例子;
分布式拒絕服務(wù)攻擊(DDoS)
垃圾郵件
嗅探流量和鍵記錄
感染新的宿主
身份盜竊
攻擊IRC聊天網(wǎng)絡(luò)
托管非法軟件
谷歌廣告濫用和廣告插件
點擊欺詐
操縱在線調(diào)查
遠(yuǎn)程使用電腦
攻擊銀行計算機(Atm或任何其他計算機,因為它們也是聯(lián)網(wǎng)的)
操縱比賽
利用私人文件
人類目睹了如此多的僵尸網(wǎng)絡(luò)及其攻擊兵怯。每一種都對目標(biāo)公司造成實質(zhì)性損害彩匕。一些僵尸網(wǎng)絡(luò)的發(fā)展令人難以置信,并在全世界造成了巨大的破壞媒区。黑客新聞用戶報告說驼仪,以下網(wǎng)站宕機:witter、Etsy袜漩、Github绪爸、Soundcloud、Spotify宙攻、Heroku奠货、Pagerduty、Shopify粘优、Intercom仇味。
Netflix、Slack雹顺、Imgur、HBO Now廊遍、貝寶(PayPal)嬉愧、PlayStation Network、Yammer喉前、Seamless等更多服務(wù)也在攻擊日遭遇中斷没酣。可以肯定的是卵迂,Mirai不僅僅是物聯(lián)網(wǎng)僵尸網(wǎng)絡(luò)裕便,在不久的將來,我們可以看到另一個物聯(lián)網(wǎng)僵尸網(wǎng)絡(luò)攻擊见咒。
因此偿衰,僵尸網(wǎng)絡(luò)的檢測和消除是網(wǎng)絡(luò)安全領(lǐng)域的重要挑戰(zhàn)。擔(dān)心安全問題的大公司已經(jīng)付出了巨大的努力來檢測和消除僵尸網(wǎng)絡(luò)改览。例如下翎,運行在微軟操作系統(tǒng)上的宙斯僵尸網(wǎng)絡(luò)惡意軟件包就在這件事上運行了三年多,最終導(dǎo)致了大約7000萬美元的被盜資金宝当,并在2010年被聯(lián)邦調(diào)查局逮捕了100多名個人视事。宙斯是活躍的,甚至當(dāng)宙斯的創(chuàng)造者被捕庆揩。微軟是這個僵尸網(wǎng)絡(luò)的受害者俐东,它花費了巨大的努力來消滅宙斯跌穗。最終,在2012年3月虏辫,微軟宣布成功關(guān)閉了ZeuS的“大多數(shù)”C&C服務(wù)器蚌吸。
據(jù)觀察,發(fā)現(xiàn)僵尸機器不是一件容易的事乒裆。即使檢測到一臺僵尸機器套利,那么網(wǎng)絡(luò)的其他部分呢?檢測所有關(guān)于特定僵尸網(wǎng)絡(luò)的網(wǎng)絡(luò)是一項艱巨的任務(wù)。因此鹤耍,如果僵尸是物聯(lián)網(wǎng)設(shè)備肉迫,就更難識別僵尸網(wǎng)絡(luò)。
二稿黄、如何檢測僵尸網(wǎng)絡(luò)?這就是機器學(xué)習(xí)發(fā)揮作用的地方喊衫。
僵尸網(wǎng)絡(luò)檢測與其他惡意軟件/異常檢測系統(tǒng)的檢測機制有所不同。在解釋僵尸網(wǎng)絡(luò)檢測技術(shù)之前杆怕,我們想先解釋一下僵尸網(wǎng)絡(luò)檢測和惡意軟件/異常檢測之間的異同族购,以便大家有一個清晰的認(rèn)識。
異常檢測是指在網(wǎng)絡(luò)流量中發(fā)現(xiàn)不符合預(yù)期正常行為的異常通信模式的問題陵珍。針對每一類異常檢測技術(shù)寝杖,作者對正常和異常數(shù)據(jù)的概念作了獨特的假設(shè)。
與其他攻擊檢測類型不同互纯,僵尸網(wǎng)絡(luò)檢測是指在受控的網(wǎng)絡(luò)環(huán)境中檢測受控制的惡意/異成唬活動。惡意軟件分銷商認(rèn)為僵尸網(wǎng)絡(luò)是在全球范圍內(nèi)傳播惡意和異沉袅剩活動的手段只盹。因此,僵尸網(wǎng)絡(luò)變得流行起來兔院,因為它是由被劫持的計算機組成的遠(yuǎn)程控制網(wǎng)絡(luò)殖卑。
這個分布式協(xié)調(diào)網(wǎng)絡(luò)的基本目標(biāo)是在網(wǎng)絡(luò)上發(fā)起各種惡意活動,包括網(wǎng)絡(luò)釣魚坊萝、點擊欺詐孵稽、垃圾郵件生成、侵犯版權(quán)屹堰、鍵盤記錄肛冶,以及最重要的DoS攻擊。(上面給出了一些其他的例子扯键。)僵尸網(wǎng)絡(luò)被認(rèn)為是對互聯(lián)網(wǎng)網(wǎng)絡(luò)資源的嚴(yán)重威脅睦袖。總之荣刑,在IDS/IPSs中檢測到的攻擊代表一個單獨的模式馅笙,這些攻擊應(yīng)用于一個特定的源伦乔。僵尸網(wǎng)絡(luò)產(chǎn)生的攻擊是一個大網(wǎng)絡(luò)的一部分。僵尸網(wǎng)絡(luò)檢測的興趣是破壞僵尸網(wǎng)絡(luò)的所有資產(chǎn)并摧毀C&C服務(wù)器董习。
在本章中烈和,我們只關(guān)注使用機器學(xué)習(xí)開發(fā)的僵尸網(wǎng)絡(luò)檢測技術(shù),并對這些技術(shù)的工作機制作了簡要的說明皿淋。文獻中有很多技巧招刹。僵尸網(wǎng)絡(luò)檢測技術(shù)的一般結(jié)構(gòu)如下。
僵尸網(wǎng)絡(luò)檢測技術(shù)分為兩大類:IDSs和蜜網(wǎng)窝趣。蜜網(wǎng)用于收集來自機器人的信息疯暑,以進一步分析所使用的技術(shù)、僵尸網(wǎng)絡(luò)特征和攻擊強度哑舒。此外妇拯,利用機器人收集到的信息來發(fā)現(xiàn)C&C系統(tǒng)、未知的易感性洗鸵、攻擊者使用的技術(shù)和工具以及攻擊者的動機越锈。蜜網(wǎng)被用來收集能夠穿透僵尸網(wǎng)絡(luò)的僵尸二進制文件。然而膘滨,入侵者開發(fā)了新的方法來克服蜜網(wǎng)陷阱甘凭。蜜網(wǎng)陷阱的關(guān)鍵組成部分是蜜墻,它用于將蜜機器人從世界其他地方分離出來火邓。
另一種基于IDS的僵尸網(wǎng)絡(luò)檢測技術(shù)对蒲。IDS是一種軟件應(yīng)用程序或硬件機器,用于監(jiān)視惡意活動的系統(tǒng)服務(wù)贡翘。IDS檢測技術(shù)進一步分為基于簽名和基于異常的兩種方法。
在基于簽名的系統(tǒng)中砰逻,僵尸網(wǎng)絡(luò)簽名用于提供關(guān)于特定僵尸網(wǎng)絡(luò)行為的信息鸣驱。但這類技術(shù)不能檢測未知的僵尸網(wǎng)絡(luò),其簽名之前沒有創(chuàng)建蝠咆。
基于異常的檢測是僵尸網(wǎng)絡(luò)檢測的一個重要研究領(lǐng)域踊东。其基本思想來自于分析幾種網(wǎng)絡(luò)流量異常,包括通過不尋常端口的流量刚操、高網(wǎng)絡(luò)延遲闸翅、流量增加以及表明網(wǎng)絡(luò)中存在惡意活動的系統(tǒng)行為【账基于異常的方法進一步分為基于主機的方法和基于網(wǎng)絡(luò)的方法坚冀。在基于主機的方法中,監(jiān)視各個機器以發(fā)現(xiàn)可疑的操作鉴逞。盡管基于主機的監(jiān)視非常重要记某,但是這種方法是不可伸縮的司训,因為所有的機器都需要完全配備有效的監(jiān)視工具。
與其他技術(shù)不同液南,基于網(wǎng)絡(luò)的方法使用機器學(xué)習(xí)技術(shù)分析網(wǎng)絡(luò)流量并收集關(guān)于僵尸網(wǎng)絡(luò)的一些含義壳猜。網(wǎng)絡(luò)監(jiān)控工具根據(jù)不同的網(wǎng)絡(luò)特性來檢查網(wǎng)絡(luò)行為,例如帶寬滑凉、僵尸網(wǎng)絡(luò)C&C證據(jù)的突發(fā)速率和包定時统扳。它過濾不太可能屬于僵尸網(wǎng)絡(luò)活動的流量,將剩余的流量分類為可能屬于僵尸網(wǎng)絡(luò)的一個組畅姊。
機器學(xué)習(xí)技術(shù)在這兩種基于異常的方法中都得到了廣泛的應(yīng)用;基于主機和網(wǎng)絡(luò)咒钟。常用的機器學(xué)習(xí)技術(shù)有決策樹、神經(jīng)網(wǎng)絡(luò)涡匀、圖論盯腌、人工免疫系統(tǒng)、基于聚類的技術(shù)陨瘩、基于數(shù)據(jù)挖掘的技術(shù)腕够、相關(guān)性、熵等舌劳。
三帚湘、基于機器學(xué)習(xí)主機的僵尸網(wǎng)絡(luò)檢測技術(shù)
在基于主機的異常檢測技術(shù)中,通過掃描與安裝在主機上的特定應(yīng)用程序相關(guān)的進程來研究機器人的行為甚淡。每個機器人獨立地初始化從C&C系統(tǒng)接收到的命令大诸。每個命令都有特定的參數(shù)、特定的類型和預(yù)先確定的執(zhí)行順序贯卦。
基于主機的僵尸網(wǎng)絡(luò)檢測方法在客戶端應(yīng)用研究較多资柔。下面將解釋其中的一些。在編寫這篇僵尸網(wǎng)絡(luò)檢測文章時撵割,我們已經(jīng)從本文中得到了很大的利用贿堰。
BotSwat (Stinson and Mitchell, 2007)是一個用于監(jiān)視家庭操作系統(tǒng)(如Windows XP、Windows 2000和Windows 7)并將預(yù)期的家庭機器識別為機器人的工具啡彬。最初羹与,BotSwat充當(dāng)掃描器,監(jiān)視Win32庫的執(zhí)行狀態(tài)庶灿,并觀察處理器創(chuàng)建的運行時系統(tǒng)調(diào)用纵搁。此外,盡管有特定的C&C體系結(jié)構(gòu)往踢、通信協(xié)議或僵尸網(wǎng)絡(luò)結(jié)構(gòu)腾誉,但它試圖發(fā)現(xiàn)具有通用屬性的機器人。這種方法的問題是缺乏系統(tǒng)調(diào)用的安全性。Masud等人(2008)通過將安裝在主機上的多個日志文件關(guān)聯(lián)起來妄辩,使用基于流的檢測方法惑灵,開發(fā)了一種有效的基于主機的僵尸網(wǎng)絡(luò)檢測技術(shù)。由于機器人的響應(yīng)通常比人類更快眼耀,因此可以很容易地識別多個日志文件的挖掘和關(guān)聯(lián)英支。通過將多個基于主機的日志文件關(guān)聯(lián)起來用于某些C&C流量檢測,提出了這些技術(shù)可以有效地用于IRC和非IRC機器人哮伟。多智能體機器人檢測系統(tǒng)(MABDS) (Szymczyk, 2009)是一種將事件日志分析儀與基于主機的入侵檢測系統(tǒng)(HIDS)相結(jié)合的混合技術(shù)干花。該系統(tǒng)采用多代理技術(shù),結(jié)合了管理代理楞黄、用戶代理池凄、蜜罐代理、系統(tǒng)分析和知識庫鬼廓。該技術(shù)的基本問題是新簽名與知識庫的收斂速度較慢肿仑。
四、基于機器學(xué)習(xí)網(wǎng)絡(luò)的僵尸網(wǎng)絡(luò)檢測技術(shù)
在基于網(wǎng)絡(luò)的僵尸網(wǎng)絡(luò)檢測策略中碎税,通過觀察不同參數(shù)下的網(wǎng)絡(luò)流量來捕獲惡意流量尤慰,這些參數(shù)包括網(wǎng)絡(luò)流量行為、流量模式雷蹂、響應(yīng)時間伟端、網(wǎng)絡(luò)負(fù)載和鏈接特征》嘶停基于網(wǎng)絡(luò)的方法進一步分為兩種類型责蝠,主動監(jiān)視和被動監(jiān)視。
主動監(jiān)控:在主動監(jiān)控僵尸網(wǎng)絡(luò)檢測策略中萎庭,為了檢測惡意活動霜医,會向網(wǎng)絡(luò)注入新的數(shù)據(jù)包。
被動監(jiān)視:在被動監(jiān)視中驳规,當(dāng)數(shù)據(jù)通過介質(zhì)時支子,網(wǎng)絡(luò)流量被嗅探。應(yīng)用不同的異常檢測技術(shù)對網(wǎng)絡(luò)流量進行分析达舒。采用各種應(yīng)用模型的被動監(jiān)測技術(shù)包括統(tǒng)計方法、圖論叹侄、機器學(xué)習(xí)巩搏、相關(guān)、熵趾代、隨機模型贯底、決策樹、離散時間序列、傅立葉變換禽捆、基于組的分析笙什、數(shù)據(jù)挖掘、聚類方法胚想、神經(jīng)網(wǎng)絡(luò)琐凭、可視化以及這些技術(shù)的組合。
BotProb (Tokhtabayev and Skormin, 2007)被認(rèn)為是一種主動監(jiān)控策略浊服,它將數(shù)據(jù)包注入到網(wǎng)絡(luò)有效負(fù)載中统屈,以發(fā)現(xiàn)由人類或機器人引起的可疑活動。由于非人類機器人通常按照預(yù)定的模式發(fā)送命令牙躺,這與C&C與機器人之間的因果關(guān)系相對應(yīng)愁憔。這種命令和響應(yīng)體系結(jié)構(gòu)可以很容易地確定機器人的存在,因為響應(yīng)來自預(yù)先確定的命令行為孽拷。