將Bro IDS與ELK套件集成在一起

來源:https://knowm.org/integrate-bro-ids-with-elk-stack/

Bro網(wǎng)絡(luò)安全監(jiān)控器是一個開源網(wǎng)絡(luò)監(jiān)控框架玉吁。簡單地說照弥,Bro監(jiān)視網(wǎng)絡(luò)上的包流,并從中創(chuàng)建高級“流”事件进副,并將事件作為單獨的標(biāo)簽分隔行存儲在日志文件中这揣。然后,您可以解析這些日志文件以便進(jìn)行數(shù)據(jù)挖掘影斑,以獲取關(guān)于您正在監(jiān)視的網(wǎng)絡(luò)上的網(wǎng)絡(luò)流量的信息给赞。解析bro日志文件和可視化所有數(shù)據(jù)的一個很好的方法是使用ELK套件。ELK的核心是Elasticsearch矫户、Logstash和Kibana片迅。Logstash解析bro日志,Elasticsearch存儲解析過的數(shù)據(jù)皆辽,Kibana為數(shù)據(jù)挖掘和可視化提供了漂亮的GUI柑蛇。

如果您已經(jīng)安裝了具有可選綁定網(wǎng)絡(luò)接口的網(wǎng)絡(luò)tap、已安裝的Bro和已安裝在系統(tǒng)上的ELK堆棧驱闷,那么剩下要做的就是創(chuàng)建和部署Logstash的配置文件耻台,以便告訴log出來應(yīng)該在哪里查找Bro日志、如何操作它們以及將它們放在哪里(Elastic Search)空另。

在/r/netsec上的redditor指出CVS過濾器要比grok過濾器高效得多盆耽,并將我指向一個git repo(https://github.com/timmolter/logstash-dfir),其中包含一些用于解析Bro日志的logstash conf文件扼菠。從那以后摄杂,我開始分叉repo并修改文件以更好地滿足我的需求,包括修復(fù)標(biāo)簽分隔符分隔符循榆、添加geoip過濾器以及修復(fù)一些bug匙姜。獲取conf文件的一種快速方法是從github直接將它們拉到logstash的conf.d目錄,如下面的代碼塊所示冯痢。注意氮昧,logstash會在啟動時加載在conf.d中找到的所有配置文件。

注意袖肥,從Logstash 2.x開始振劳,elasticsearch主機配置發(fā)生了變化历恐。您將遇到的錯誤如下:

他修復(fù)的只是將配置文件中的host更改為hostsin专筷,我在上面的*.conf文件中更新了配置文件磷蛹。

一溪烤、解釋

讓我們仔細(xì)看看這個文件:https://raw.githubusercontent.com/timmolter/logstash-dfir/master/conf_files/bro/bro-conn_log.conf

https://github.com/timmolter/logstash-dfir/tree/master/conf_files/bro

1檬嘀、在輸入部分,我們需要將所有路徑放到系統(tǒng)上實際的Bro日志文件中鸳兽。

2揍异、在配置文件末尾的輸出部分,我們需要將數(shù)據(jù)推送到Elasticsearch:

elasticsearch { host => localhost }.

3烤镐、在主過濾器(?filter)部分棍鳖,為bro日志分配和配置一個csv過濾器渡处。如果你愿意,你可以手工編寫csv過濾器侣肄。

4醇份、其他的過濾器(?filter)部分對數(shù)據(jù)進(jìn)行了更多的操作僚纷,并在注釋部分得到了很好的解釋。

5锥债、啟動Elasticsearch 2.0時,它不支持帶有a.的字段名(或點字符)登夫。由于bro日志包含名稱中帶有點的字段(id.orig_p)恼策,我們需要使用一個過濾器將這些點轉(zhuǎn)換為下劃線拼窥。如果沒有鲁纠,您可能會看到這樣的錯誤:failed to put mappings on indices [[logstash-2016.05.02]], type [bro-conn_log] MapperParsingException[Field name [id.orig_h] cannot contain '.']改含。mutate插件用于使用rename命令將包含點的字段名轉(zhuǎn)換為下劃線迄汛。

二、logstash-filter-translate

上面的logstash配置使用一個名為logstash-filter-translate的插件鹃觉。下面的終端命令展示了如何安裝logstash-filter-translate插件盗扇。有關(guān)安裝logstash插件的更深入解釋疗隶,請參閱如何版本1.5安裝logstash插件翼闹。

三猎荠、部署

要檢查配置是否有效而不啟動Logstash关摇,運行以下步驟:

在控制臺測試運行:

重新啟動Logstash拒垃,它將自動獲取新配置文件。它可能需要一分鐘的時間才能開始抽取數(shù)據(jù)艰猬。

或系統(tǒng)systemd……

四冠桃、調(diào)試

對于調(diào)試食听,我們可以使用—debug標(biāo)志啟動Logstash樱报,并使用以下命令:

在任何配置文件中,您都可以通過添加stdout{}來更改輸出以將數(shù)據(jù)推送到控制臺迹蛤,而不是通過Elasticsearch盗飒。


codec => rubydebug也可以用于調(diào)試逆趣。格式化的漂亮。


下面是一些控制logstash服務(wù)的額外命令:

System V

Systemd

如果Logstash沒有啟動,請在以下日志中查找任何錯誤:

看看哪個pid logstash殺死它:


要查看Logstash啟動的配置參數(shù)落包,請使用以下命令:


您將得到如下內(nèi)容:

sincedb_path

sincedb_path需要由logstash的用戶編寫。一種方法是將sincedb_path設(shè)置為/var/tmp有序,如果系統(tǒng)有這個可寫目錄岛请。如果您有與sincedb_path相關(guān)的錯誤消息崇败,首先要檢查配置路徑上的權(quán)限肩祥。

相關(guān)資源

在Ubuntu上安裝Bro: http://knowm.org/howtoinstall-bro-net-securi-monitor -on ubuntu/

如何創(chuàng)建綁定的網(wǎng)絡(luò)接口:http://knowm.org/how to create-a- bonent -network-interface/

如何設(shè)置Elastic堆椈旌荩——Elasticsearch, Logstash和Kibana: http://knowm.org/how to Set Up the ELK -stack-elasticsearch logstashand Kibana

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末将饺,一起剝皮案震驚了整個濱河市予弧,隨后出現(xiàn)的幾起案子湖饱,更是在濱河造成了極大的恐慌琉历,老刑警劉巖水醋,帶你破解...
    沈念sama閱讀 211,817評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蝇恶,死亡現(xiàn)場離奇詭異惶桐,居然都是意外死亡辙售,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,329評論 3 385
  • 文/潘曉璐 我一進(jìn)店門救恨,熙熙樓的掌柜王于貴愁眉苦臉地迎上來肠槽,“玉大人,你說我怎么就攤上這事嘴拢。” “怎么了席吴?”我有些...
    開封第一講書人閱讀 157,354評論 0 348
  • 文/不壞的土叔 我叫張陵抢腐,是天一觀的道長迈倍。 經(jīng)常有香客問我啼染,道長迹鹅,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,498評論 1 284
  • 正文 為了忘掉前任阀蒂,我火速辦了婚禮弟蚀,結(jié)果婚禮上蚤霞,老公的妹妹穿的比我還像新娘。我一直安慰自己义钉,他們只是感情好昧绣,可當(dāng)我...
    茶點故事閱讀 65,600評論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著捶闸,像睡著了一般夜畴。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上删壮,一...
    開封第一講書人閱讀 49,829評論 1 290
  • 那天贪绘,我揣著相機與錄音,去河邊找鬼央碟。 笑死税灌,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的硬耍。 我是一名探鬼主播狸窘,決...
    沈念sama閱讀 38,979評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼劳吠!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起蠢古,我...
    開封第一講書人閱讀 37,722評論 0 266
  • 序言:老撾萬榮一對情侶失蹤堕战,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后屿讽,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體烂完,經(jīng)...
    沈念sama閱讀 44,189評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,519評論 2 327
  • 正文 我和宋清朗相戀三年柄冲,在試婚紗的時候發(fā)現(xiàn)自己被綠了阁最。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,654評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出舍沙,到底是詐尸還是另有隱情,我是刑警寧澤感帅,帶...
    沈念sama閱讀 34,329評論 4 330
  • 正文 年R本政府宣布帮毁,位于F島的核電站,受9級特大地震影響猾浦,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜夹抗,卻給世界環(huán)境...
    茶點故事閱讀 39,940評論 3 313
  • 文/蒙蒙 一声邦、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦蛇受、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,762評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽嫂侍。三九已至,卻和暖如春各淀,著一層夾襖步出監(jiān)牢的瞬間诡挂,已是汗流浹背奴璃。 一陣腳步聲響...
    開封第一講書人閱讀 31,993評論 1 266
  • 我被黑心中介騙來泰國打工抄课, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人攒盈。 一個月前我還...
    沈念sama閱讀 46,382評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像偷遗,于是被迫代替她去往敵國和親氏豌。 傳聞我的和親對象是個殘疾皇子喉酌,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,543評論 2 349

推薦閱讀更多精彩內(nèi)容