Linux系統(tǒng)中五款好用的日志分析工具

監(jiān)控網(wǎng)絡(luò)活動(dòng)是一項(xiàng)繁瑣的工作解取,但有充分的理由這樣做尾膊。例如,它允許你查找和調(diào)查工作站和連接到網(wǎng)絡(luò)的設(shè)備及服務(wù)器上的可疑登錄,同時(shí)確定管理員濫用了什么觉既。你還可以跟蹤軟件安裝和數(shù)據(jù)傳輸惧盹,以實(shí)時(shí)識別潛在問題,而不是在損壞發(fā)生后才進(jìn)行跟蹤瞪讼。

這些日志還有助于使你的公司遵守適用于在歐盟范圍內(nèi)運(yùn)營的任何實(shí)體的通用數(shù)據(jù)保護(hù)條例(GFPR)钧椰。如果你的網(wǎng)站在歐盟可以瀏覽,那么你就有遵守的該條例的資格符欠。

日志記錄嫡霞,包括跟蹤和分析,應(yīng)該是任何監(jiān)控基礎(chǔ)設(shè)置中的一個(gè)基本過程希柿。要從災(zāi)難中恢復(fù) SQL Server 數(shù)據(jù)庫诊沪,需要事務(wù)日志文件养筒。此外,通過跟蹤日志文件端姚,DevOps 團(tuán)隊(duì)和數(shù)據(jù)庫管理員(DBA)可以保持最佳的數(shù)據(jù)庫性能晕粪,又或者,在網(wǎng)絡(luò)攻擊的情況下找到未經(jīng)授權(quán)活動(dòng)的證據(jù)渐裸。因此巫湘,定期監(jiān)視和分析系統(tǒng)日志非常重要。這是一種重新創(chuàng)建導(dǎo)致出現(xiàn)任何問題的事件鏈的可靠方式昏鹃。

現(xiàn)在有很多開源日志跟蹤器和分析工具可供使用尚氛,這使得為活動(dòng)日志選擇合適的資源比你想象的更容易。自由和開源軟件社區(qū)提供的日志設(shè)計(jì)適用于各種站點(diǎn)和操作系統(tǒng)洞渤。以下是五個(gè)我用過的最好的工具阅嘶,它們并沒有特別的順序。

Graylog

Graylog 于 2011 年在德國創(chuàng)立您宪,現(xiàn)在作為開源工具或商業(yè)解決方案提供奈懒。它被設(shè)計(jì)成一個(gè)集中式日志管理系統(tǒng),接受來自不同服務(wù)器或端點(diǎn)的數(shù)據(jù)流宪巨,并允許你快速瀏覽或分析該信息磷杏。

Graylog 在系統(tǒng)管理員中有著良好的聲譽(yù),因?yàn)樗子跀U(kuò)展捏卓。大多數(shù) Web 項(xiàng)目都是從小規(guī)模開始的极祸,但它們可能指數(shù)級增長。Graylog 可以均衡后端服務(wù)網(wǎng)絡(luò)中的負(fù)載怠晴,每天可以處理幾 TB 的日志數(shù)據(jù)遥金。

IT 管理員會(huì)發(fā)現(xiàn) Graylog 的前端界面易于使用,而且功能強(qiáng)大蒜田。Graylog 是圍繞儀表板的概念構(gòu)建的稿械,它允許你選擇你認(rèn)為最有價(jià)值的指標(biāo)或數(shù)據(jù)源,并快速查看一段時(shí)間內(nèi)的趨勢冲粤。

當(dāng)發(fā)生安全或性能事件時(shí)美莫,IT 管理員希望能夠盡可能地根據(jù)癥狀追根溯源。Graylog 的搜索功能使這變得容易梯捕。它有內(nèi)置的容錯(cuò)功能厢呵,可運(yùn)行多線程搜索,因此你可以同時(shí)分析多個(gè)潛在的威脅傀顾。

Nagios

Nagios 始于 1999 年襟铭,最初是由一個(gè)開發(fā)人員開發(fā)的,現(xiàn)在已經(jīng)發(fā)展成為管理日志數(shù)據(jù)最可靠的開源工具之一。當(dāng)前版本的 Nagios 可以與運(yùn)行 Microsoft Windows寒砖、Linux?或 Unix 的服務(wù)器集成赐劣。

它的主要產(chǎn)品是日志服務(wù)器,旨在簡化數(shù)據(jù)收集并使系統(tǒng)管理員更容易訪問信息入撒。Nagios 日志服務(wù)器引擎將實(shí)時(shí)捕獲數(shù)據(jù)隆豹,并將其提供給一個(gè)強(qiáng)大的搜索工具。通過內(nèi)置的設(shè)置向?qū)┐梢暂p松地與新端點(diǎn)或應(yīng)用程序集成璃赡。

Nagios 最常用于需要監(jiān)控其本地網(wǎng)絡(luò)安全性的組織。它可以審核一系列與網(wǎng)絡(luò)相關(guān)的事件献雅,并幫助自動(dòng)分發(fā)警報(bào)碉考。如果滿足特定條件,甚至可以將 Nagios 配置為運(yùn)行預(yù)定義的腳本挺身,從而允許你在人員介入之前解決問題侯谁。

作為網(wǎng)絡(luò)審計(jì)的一部分,Nagios 將根據(jù)日志數(shù)據(jù)來源的地理位置過濾日志數(shù)據(jù)章钾。這意味著你可以使用地圖技術(shù)構(gòu)建全面的儀表板墙贱,以了解 Web 流量是如何流動(dòng)的。

Elastic Stack (ELK Stack)

Elastic Stack贱傀,通常稱為 ELK Stack惨撇,是需要篩選大量數(shù)據(jù)并理解其日志系統(tǒng)的組織中最受歡迎的開源工具之一(這也是我個(gè)人的最愛)。

它的主要產(chǎn)品由三個(gè)獨(dú)立的產(chǎn)品組成:Elasticsearch府寒、Kibana 和 Logstash:

顧名思義魁衙, Elasticsearch 旨在幫助用戶使用多種查詢語言和類型在數(shù)據(jù)集之中找到匹配項(xiàng)。速度是它最大的優(yōu)勢株搔。它可以擴(kuò)展成由數(shù)百個(gè)服務(wù)器節(jié)點(diǎn)組成的集群剖淀,輕松處理 PB 級的數(shù)據(jù)。

Kibana 是一個(gè)可視化工具纤房,與 Elasticsearch 一起工作纵隔,允許用戶分析他們的數(shù)據(jù)并構(gòu)建強(qiáng)大的報(bào)告。當(dāng)你第一次在服務(wù)器集群上安裝 Kibana 引擎時(shí)炮姨,你會(huì)看到一個(gè)顯示著統(tǒng)計(jì)數(shù)據(jù)捌刮、圖表甚至是動(dòng)畫的界面。

ELK Stack 的最后一部分是 Logstash剑令,它作為一個(gè)純粹的服務(wù)端管道進(jìn)入 Elasticsearch 數(shù)據(jù)庫糊啡。你可以將 Logstash 與各種編程語言和 API 集成拄查,這樣你的網(wǎng)站和移動(dòng)應(yīng)用程序中的信息就可以直接提供給強(qiáng)大的 Elastic Stalk 搜索引擎中吁津。

ELK Stack 的一個(gè)獨(dú)特功能是,它允許你監(jiān)視構(gòu)建在 WordPress 開源網(wǎng)站上的應(yīng)用程序。與跟蹤管理日志和 PHP 日志的大多數(shù)開箱即用的安全審計(jì)日志工具相比碍脏,ELK Stack 可以篩選 Web 服務(wù)器和數(shù)據(jù)庫日志梭依。

糟糕的日志跟蹤和數(shù)據(jù)庫管理是導(dǎo)致網(wǎng)站性能不佳的最常見原因之一。沒有定期檢查典尾、優(yōu)化和清空數(shù)據(jù)庫日志役拴,不僅會(huì)降低站點(diǎn)的運(yùn)行速度,還可能導(dǎo)致其完全崩潰钾埂。因此河闰,ELK Stack 對于每個(gè) WordPress 開發(fā)人員的工具包來說都是一個(gè)優(yōu)秀的工具。

LOGalyze

LOGalyze 是一個(gè)位于匈牙利的組織褥紫,它為系統(tǒng)管理員和安全專家構(gòu)建開源工具姜性,以幫助他們管理服務(wù)器日志,并將其轉(zhuǎn)換為有用的數(shù)據(jù)點(diǎn)髓考。其主要產(chǎn)品可供個(gè)人或商業(yè)用戶免費(fèi)下載部念。

LOGalyze 被設(shè)計(jì)成一個(gè)巨大的管道,其中多個(gè)服務(wù)器氨菇、應(yīng)用程序和網(wǎng)絡(luò)設(shè)備可以使用簡單對象訪問協(xié)議(SOAP)方法提供信息儡炼。它提供了一個(gè)前端界面,管理員可以登錄界面來監(jiān)控?cái)?shù)據(jù)集并開始分析數(shù)據(jù)查蓉。

在 LOGalyze 的 Web 界面中乌询,你可以運(yùn)行動(dòng)態(tài)報(bào)告,并將其導(dǎo)出到 Excel 文件奶是、PDF 文件或其他格式楣责。這些報(bào)告可以基于 LOGalyze 后端管理的多維統(tǒng)計(jì)信息。它甚至可以跨服務(wù)器或應(yīng)用程序組合數(shù)據(jù)字段聂沙,借此來幫助你發(fā)現(xiàn)性能趨勢秆麸。

LOGalyze 旨在不到一個(gè)小時(shí)內(nèi)完成安裝和配置。它具有預(yù)先構(gòu)建的功能及汉,允許它以法律所要求的格式收集審計(jì)數(shù)據(jù)沮趣。例如,LOGalyze 可以很容易地運(yùn)行不同的 HIPAA 報(bào)告坷随,以確保你的組織遵守健康法律并保持合規(guī)性房铭。

Fluentd

如果你所在組織的數(shù)據(jù)源位于許多不同的位置和環(huán)境中,那么你的目標(biāo)應(yīng)該是盡可能地將它們集中在一起温眉。否則缸匪,你將難以監(jiān)控性能并防范安全威脅。

Fluentd 是一個(gè)強(qiáng)大的數(shù)據(jù)收集解決方案类溢,它是完全開源的凌蔬。它沒有提供完整的前端界面露懒,而是作為一個(gè)收集層來幫助組織不同的管道。Fluentd 在被世界上一些最大的公司使用砂心,但是也可以在較小的組織中實(shí)施懈词。

Fluentd 最大的好處是它與當(dāng)今最常用的技術(shù)工具兼容。例如辩诞,你可以使用 Fluentd 從 Web 服務(wù)器(如 Apache)坎弯、智能設(shè)備傳感器和 MongoDB 的動(dòng)態(tài)記錄中收集數(shù)據(jù)。如何處理這些數(shù)據(jù)完全取決于你译暂。

Fluentd 基于 JSON 數(shù)據(jù)格式抠忘,它可以與由卓越的開發(fā)人員創(chuàng)建的 500 多個(gè)插件一起使用。這使你可以將日志數(shù)據(jù)擴(kuò)展到其他應(yīng)用程序中外永,并通過最少的手工操作從中獲得更好的分析褐桌。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市象迎,隨后出現(xiàn)的幾起案子荧嵌,更是在濱河造成了極大的恐慌,老刑警劉巖砾淌,帶你破解...
    沈念sama閱讀 211,194評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件啦撮,死亡現(xiàn)場離奇詭異,居然都是意外死亡汪厨,警方通過查閱死者的電腦和手機(jī)赃春,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,058評論 2 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來劫乱,“玉大人织中,你說我怎么就攤上這事≈愿辏” “怎么了狭吼?”我有些...
    開封第一講書人閱讀 156,780評論 0 346
  • 文/不壞的土叔 我叫張陵,是天一觀的道長殖妇。 經(jīng)常有香客問我刁笙,道長,這世上最難降的妖魔是什么谦趣? 我笑而不...
    開封第一講書人閱讀 56,388評論 1 283
  • 正文 為了忘掉前任疲吸,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己魏蔗,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,430評論 5 384
  • 文/花漫 我一把揭開白布蹂喻。 她就那樣靜靜地躺著延赌,像睡著了一般。 火紅的嫁衣襯著肌膚如雪叉橱。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,764評論 1 290
  • 那天者蠕,我揣著相機(jī)與錄音窃祝,去河邊找鬼。 笑死踱侣,一個(gè)胖子當(dāng)著我的面吹牛粪小,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播抡句,決...
    沈念sama閱讀 38,907評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼探膊,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了待榔?” 一聲冷哼從身側(cè)響起逞壁,我...
    開封第一講書人閱讀 37,679評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎锐锣,沒想到半個(gè)月后腌闯,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,122評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡雕憔,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,459評論 2 325
  • 正文 我和宋清朗相戀三年姿骏,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片斤彼。...
    茶點(diǎn)故事閱讀 38,605評論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡分瘦,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出琉苇,到底是詐尸還是另有隱情嘲玫,我是刑警寧澤,帶...
    沈念sama閱讀 34,270評論 4 329
  • 正文 年R本政府宣布并扇,位于F島的核電站趁冈,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏拜马。R本人自食惡果不足惜渗勘,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,867評論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望俩莽。 院中可真熱鬧旺坠,春花似錦、人聲如沸扮超。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,734評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至璧疗,卻和暖如春坯辩,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背崩侠。 一陣腳步聲響...
    開封第一講書人閱讀 31,961評論 1 265
  • 我被黑心中介騙來泰國打工漆魔, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人却音。 一個(gè)月前我還...
    沈念sama閱讀 46,297評論 2 360
  • 正文 我出身青樓改抡,卻偏偏與公主長得像,于是被迫代替她去往敵國和親系瓢。 傳聞我的和親對象是個(gè)殘疾皇子阿纤,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,472評論 2 348

推薦閱讀更多精彩內(nèi)容

  • 一、Nagios簡介 Nagios是一款開源的電腦系統(tǒng)和網(wǎng)絡(luò)監(jiān)視工具夷陋,能有效監(jiān)控Windows欠拾、Linux和Uni...
    1b3bd36d9d21閱讀 8,149評論 3 13
  • 一、logstash Logstash: 是一個(gè)靈活的數(shù)據(jù)傳輸和處理系統(tǒng)骗绕,在beats出來之前清蚀,還負(fù)責(zé)進(jìn)行數(shù)...
    zpei0411閱讀 21,058評論 0 7
  • 打卡日期:2018年/10月17/日 打卡累計(jì)天數(shù): 64/30 宣言:(塑造習(xí)慣優(yōu)先,做一個(gè)有耐心的父母) 【加...
    王煒_cf15閱讀 221評論 0 0
  • 聽奶奶講那過去的事情爹谭,時(shí)光匆匆流過枷邪,奶奶說我長大了就可以到新世紀(jì)看看。 當(dāng)我長大了诺凡,奶奶卻走了东揣。爸爸說奶奶到了...
    安家有兒女閱讀 125評論 0 0
  • 從小我們就喜歡聽故事,格林童話腹泌,伊索寓言嘶卧,隨著時(shí)間的漫沙湍過,我們長大了凉袱,沒有了勇者斗惡龍芥吟,沒有了凄凄慘慘的...
    飯來飯來閱讀 161評論 0 0