Java程序員須知的七個日志管理工具

來源:http://www.importnew.com/12383.html

日志管理工具有Splunk、Sumo Logic、LogStash哪痰、GrayLog、Loggly和PaperTrails等等韩脏,數(shù)不勝數(shù)。日志就像石油铸磅,二十多年了我們一直想擺脫它赡矢,卻一直沒有做到杭朱。

為了處理日益增長的數(shù)據(jù),近年來出現(xiàn)了一大批分析和管理日志的工具吹散,開發(fā)和管理人員能夠借助這些工具來了解增長的數(shù)據(jù)弧械。在這篇文章中,我將站在開發(fā)者的角度空民,分析一下這些工具的特點刃唐。

Splunk

作為這個領(lǐng)域中最大的工具,我決定將 Splunk 做一個單獨的分類界轩。并不是說這個工具是最好的画饥,而是對這個產(chǎn)品給予肯定,因為它從本質(zhì)上創(chuàng)造了一個新的領(lǐng)域浊猾。

優(yōu)點

在這個領(lǐng)域內(nèi)功能最齊全的可能就是 Splunk 了抖甘。它有數(shù)百個來分析各種形式日志信息的程序(我計算的是537個)——從安全領(lǐng)導(dǎo)到商業(yè)分析,再到底層監(jiān)控葫慎。Splunk 的搜索和圖表工具如此豐富衔彻,沒有通過它(UI和API)得不到的數(shù)據(jù)。

缺點

Splunk 主要有兩個缺點偷办。第一米奸,這個因素可能有些主觀,我覺得這個解決方案太復(fù)雜了爽篷。如果要在一個高度復(fù)雜的環(huán)境中部署,就需要安裝和配置一個專用集群慢睡。作為一個開發(fā)者逐工,通常會因為這點而不把這個方案作為第一選擇。

第二個缺點是它太昂貴了漂辐。要支持一個真實世界的軟件泪喊,你可能會花費一萬多美金,這很可能就意味著你需要從其他地方削減預(yù)算髓涯,這樣開發(fā)進(jìn)程就慢了袒啼。如果你剛上架了一款 app,但是要得到高質(zhì)量的日志分析卻又不影響開發(fā)進(jìn)程——請繼續(xù)閱讀纬纪。

更多企業(yè)級日志分析工具請點擊這里蚓再。

SaaS日志分析工具

Sumo Logic

Sumo 是在 Splunk 的基礎(chǔ)上建立的 SaaS 版本,它沿用了 Splunk 早期的一些特性和視覺效果包各。不得不說摘仅,SL 今天已經(jīng)發(fā)展成了一個成熟的企業(yè)級日志管理工具。

優(yōu)點

SL 具備對數(shù)據(jù)簡化问畅、查找娃属、制表等功能六荒。可能是 SaaS 型的日志分析工具中功能最多的了矾端。同樣掏击,作為 SaaS 型,SL 還具有安裝簡單秩铆,操作簡單等優(yōu)點砚亭。最吸引人的地方是,你可以建立一個基線豺旬,當(dāng)一個事件(像是一個新版本首次上線或者惡意的請求等)使一些重要的指標(biāo)發(fā)生了變化時钠惩,你可以收到動態(tài)通知。

缺點

由于這是通過 SaaS 的方式進(jìn)行日志分析的族阅,所以你必須將大量的數(shù)據(jù)上傳至服務(wù)器進(jìn)行分析篓跛,這就可能產(chǎn)生一些問題:

1.作為一個開發(fā)者,如果要分析的日志涉及到敏感信息或者 PII 你要確保做好了屏蔽坦刀。

2.在日志生成的時間與日志上傳至服務(wù)的時間之間可能存在一些沖突愧沟。

3.在你的機(jī)器上回多出來幾個 GB 的開銷用于上傳日志,不過這取決于你日志的吞吐量鲤遥。

Sumo 服務(wù)的購買價格不是透明的沐寺,所以你要是想刷你團(tuán)隊的信用卡來購買的話會很麻煩。

更新——SL 團(tuán)隊剛剛告訴我們盖奈,你可以直接用信用卡從免費版本中購買服務(wù)混坞,雖然不像網(wǎng)頁版那樣方便,但是也蠻不錯的钢坦。

Loggly

Loggly 也是一個健壯的日志分析工具究孕,強(qiáng)調(diào)簡潔樸素讓開發(fā)者用起來方便。

優(yōu)點

SL 注重的是企業(yè)級別的應(yīng)用和安全性爹凹,而 Loggly 卻將重點放在了幫助開發(fā)者查找和修復(fù)操作性的問題上厨诸。因為操作界面非常友好,自定義性能和開發(fā)者儀表盤這種東西非常簡單禾酱。并且它的價格透明微酬,入門方便。

缺點

不要奢望 Loggly 具備成熟的架構(gòu)颤陶、安全和分析解決方案颗管。Loggly 不具備取證和監(jiān)控基礎(chǔ)架構(gòu),它僅僅是幫助開發(fā)者處理應(yīng)用服務(wù)器數(shù)據(jù)的一個工具滓走。除此之外的其他事情就需要你自己去做了忙上。

PaperTrails

PaperTrails 擅長從多臺機(jī)器上查找日志,并提供一個合并的窗口闲坎,使用起來很方便疫粥。鑒于你是從云端追蹤日志茬斧,所以你離他們不會太遠(yuǎn)。

優(yōu)點

PT 就是這么一個工具梗逮。通過它你可以從一個窗口輕松的查找多臺機(jī)器上的日志项秉。用戶操作本身就像你機(jī)器上的日志,搜索命令也一樣慷彤。它致力于將日志管理變得簡單娄蔼、易用,可以優(yōu)雅地處理底哗。而且它還不算很貴岁诉。

缺點

PT 是基于文本格式的。如果需要支持先進(jìn)的集成跋选、預(yù)測和報告功能涕癣,就顯得力不從心了。

Splunk>Storm

這是 Splunk 的兄弟前标, Splunk 的服務(wù)器上提供托管坠韩。

優(yōu)點

Storm 讓你無需安裝軟件,就能體驗 Splunk 的完整版的功能炼列。

缺點

Storm 不是商業(yè)的只搁,所以你的流量有限。你可以將其視作一個 Splunk 的限制版本俭尖,無需部署即可幫助新產(chǎn)品測試氢惋。最近有個叫 Splunk Cloud 的新服務(wù),致力于提供 Splunk SaaS 的完整體驗稽犁。

開源的分析軟件

Logstash

Logstash 是一款收集和管理日志的開源工具明肮。它用到了一些其他的開源的資源:使用 ElasticSearch 來索引和查找數(shù)據(jù),使用 Kibana 制表和可視化處理缭付。他們聯(lián)合起來,組成一個強(qiáng)大的日志管理解決方案。

優(yōu)點

作為一個開源的解決方案循未,Logstash 允許用戶有更大的定制空間陷猫,而且很便宜。Logstash 用了三個成熟的開源部件——都受到了很好的維護(hù)——組成一個強(qiáng)大的可擴(kuò)展的軟件包的妖。由于開源绣檬,安裝和使用和非常方便。

缺點

由于 Logstash 從本質(zhì)上來說是三個部件的堆砌嫂粟,所以你需要面對三個不同的產(chǎn)品娇未。這就意味著擴(kuò)展也變得很復(fù)雜。Logstash 的過濾器是用 Ruby 寫的星虹,Kibana 是用純 Javascript 寫的零抬,而 ElasticSearch 也有自己的 REST 接口和 JSON 模板镊讼。

當(dāng)你轉(zhuǎn)向產(chǎn)品時,還需要將三個不同的工具部署到服務(wù)器上平夜,無疑增加了復(fù)雜度蝶棋。

Graylog2

最近出現(xiàn)的一顆新星——GL2,用 MongoDB 和 ElasticSearch 支持的用來存儲與搜索日志錯誤的工具忽妒。它致力于幫助開發(fā)者找到并修復(fù)程序中的錯誤玩裙。

在這一方面,還有 fluentd 和 Kafka 也是專注于存儲日志的段直〕越Γ看!我們有這么多選擇把烀省决侈!

Takipi for Logs

雖然這篇文章不是關(guān)于 Takipi 的,但是它有一項特性京闰,你也許會發(fā)現(xiàn)和日志有關(guān)颜及。

對于日志分析工具來說,最大的缺點就是你必須要有日志可以分析蹂楣。從集成開發(fā)環(huán)境的角度看俏站,如果沒有異常報告,或者沒有錯誤信息的數(shù)據(jù)痊土,你就沒辦法知道哪里出問題了肄扎,這樣世界上任何工具都幫不了你了!Debug 就卡在這里了赁酝。:(

在 Takipi 的一項優(yōu)勢就是可以跳過日志文件犯祠,進(jìn)入到調(diào)試信息中。這樣你就能看到真實的源代碼和錯誤范圍的變量了酌呆。了解更多點擊這里衡载。

Takipi 會報告所有的異常和錯誤,并且告訴你哪里出錯了隙袁,即使是多線程或者是發(fā)生在多臺機(jī)器上痰娱。1分鐘之內(nèi)就能安裝,維護(hù)費用不足2%-部署Taikipi菩收。

擴(kuò)展閱讀

關(guān)于Http協(xié)議梨睁,你必須要知道的

應(yīng)對程序員面試,你必須知道的八大數(shù)據(jù)結(jié)構(gòu)

我的編碼習(xí)慣 —— 日志規(guī)范

MySQL到底有多少種日志類型需要我們記住的娜饵!

java開發(fā):5個新的java異常檢測工具坡贺,你知道幾個呢?

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市遍坟,隨后出現(xiàn)的幾起案子拳亿,更是在濱河造成了極大的恐慌,老刑警劉巖政鼠,帶你破解...
    沈念sama閱讀 211,194評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件风瘦,死亡現(xiàn)場離奇詭異,居然都是意外死亡公般,警方通過查閱死者的電腦和手機(jī)万搔,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,058評論 2 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來官帘,“玉大人瞬雹,你說我怎么就攤上這事」艉纾” “怎么了酗捌?”我有些...
    開封第一講書人閱讀 156,780評論 0 346
  • 文/不壞的土叔 我叫張陵,是天一觀的道長涌哲。 經(jīng)常有香客問我胖缤,道長,這世上最難降的妖魔是什么阀圾? 我笑而不...
    開封第一講書人閱讀 56,388評論 1 283
  • 正文 為了忘掉前任哪廓,我火速辦了婚禮,結(jié)果婚禮上初烘,老公的妹妹穿的比我還像新娘涡真。我一直安慰自己,他們只是感情好肾筐,可當(dāng)我...
    茶點故事閱讀 65,430評論 5 384
  • 文/花漫 我一把揭開白布哆料。 她就那樣靜靜地躺著,像睡著了一般吗铐。 火紅的嫁衣襯著肌膚如雪东亦。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,764評論 1 290
  • 那天唬渗,我揣著相機(jī)與錄音典阵,去河邊找鬼。 笑死谣妻,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的卒稳。 我是一名探鬼主播蹋半,決...
    沈念sama閱讀 38,907評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼充坑!你這毒婦竟也來了减江?” 一聲冷哼從身側(cè)響起染突,我...
    開封第一講書人閱讀 37,679評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎辈灼,沒想到半個月后份企,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,122評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡巡莹,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,459評論 2 325
  • 正文 我和宋清朗相戀三年司志,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片降宅。...
    茶點故事閱讀 38,605評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡骂远,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出腰根,到底是詐尸還是另有隱情激才,我是刑警寧澤,帶...
    沈念sama閱讀 34,270評論 4 329
  • 正文 年R本政府宣布额嘿,位于F島的核電站瘸恼,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏册养。R本人自食惡果不足惜东帅,卻給世界環(huán)境...
    茶點故事閱讀 39,867評論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望捕儒。 院中可真熱鬧冰啃,春花似錦、人聲如沸刘莹。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,734評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽点弯。三九已至扇调,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間抢肛,已是汗流浹背狼钮。 一陣腳步聲響...
    開封第一講書人閱讀 31,961評論 1 265
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留捡絮,地道東北人熬芜。 一個月前我還...
    沈念sama閱讀 46,297評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像福稳,于是被迫代替她去往敵國和親涎拉。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,472評論 2 348

推薦閱讀更多精彩內(nèi)容