filebeat源碼分析和grok feature新增

打算給filebeat加個grok功能(盡管作者有說過不加grok是為了在不影響被收集機器性能秒旋,但是值得試一試,畢竟小數(shù)據(jù)量的時候都不是問題)诀拭,能否上線看看日常運行cpu增長迁筛,如果進程整體不超過5%(當前擼nginx的filebeat CPU占用基本可以忽略不計)
記錄下filebeat代碼結(jié)構(gòu),免得擼一半又忘了
filebeat.go:
New():初始化一個filebeat對象耕挨,load了一堆module细卧,有個pipeline的概念,感覺是跟logstash的設(shè)計架構(gòu)一脈相承筒占,只不過logstash模塊間消息傳遞粗暴地用了個數(shù)組贪庙,這里用了go的channel。有個MLmodule翰苫,媽個雞的這也玩機器學(xué)習(xí)止邮。。奏窑。
Run():Setup整個pipeline导披。registrar--用來記錄上次擼到哪一行(如果擼過),以便下一次重啟的時候不會發(fā)重復(fù)的埃唯;crawler--初始化input盛卡,根據(jù)配置,每個文件一個input(好多鎖啊信號量啊筑凫。滑沧。并村。感覺是抽象出一個libbeat做各種beat的基礎(chǔ)之后造成的過度設(shè)計);其他幾個module感覺是輔助類的滓技,先忽略哩牍。這里defer了各種module的close方法,還算是有交帶的了令漂。
其他的具體實現(xiàn)看了下膝昆,基本都是Run()/Stop()這些方法,然后各種鎖啊信號量啊channel啊叠必,感覺一時半會看不完
先解決問題吧
input/log/harvester.go
一大坨文件荚孵,這個才是核心
文件的input和處理都在這,過濾是在shouldExportLine()這個函數(shù)纬朝,
先簡單改下
1收叶、config增加一個grok配置,對應(yīng)文件
2共苛、讀取grok配置判没,對log內(nèi)容grok解析成json
3、合并到主消息體
Done
https://github.com/yuz11/beats.git

測試隅茎、性能(To Be Continued)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末澄峰,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子辟犀,更是在濱河造成了極大的恐慌俏竞,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,542評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件堂竟,死亡現(xiàn)場離奇詭異魂毁,居然都是意外死亡,警方通過查閱死者的電腦和手機跃捣,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評論 3 394
  • 文/潘曉璐 我一進店門漱牵,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人疚漆,你說我怎么就攤上這事酣胀。” “怎么了娶聘?”我有些...
    開封第一講書人閱讀 163,912評論 0 354
  • 文/不壞的土叔 我叫張陵闻镶,是天一觀的道長。 經(jīng)常有香客問我丸升,道長铆农,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,449評論 1 293
  • 正文 為了忘掉前任狡耻,我火速辦了婚禮墩剖,結(jié)果婚禮上猴凹,老公的妹妹穿的比我還像新娘。我一直安慰自己岭皂,他們只是感情好郊霎,可當我...
    茶點故事閱讀 67,500評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著爷绘,像睡著了一般书劝。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上土至,一...
    開封第一講書人閱讀 51,370評論 1 302
  • 那天购对,我揣著相機與錄音,去河邊找鬼陶因。 笑死骡苞,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的坑赡。 我是一名探鬼主播烙如,決...
    沈念sama閱讀 40,193評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼么抗,長吁一口氣:“原來是場噩夢啊……” “哼毅否!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起蝇刀,我...
    開封第一講書人閱讀 39,074評論 0 276
  • 序言:老撾萬榮一對情侶失蹤螟加,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后吞琐,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體捆探,經(jīng)...
    沈念sama閱讀 45,505評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,722評論 3 335
  • 正文 我和宋清朗相戀三年站粟,在試婚紗的時候發(fā)現(xiàn)自己被綠了黍图。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,841評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡奴烙,死狀恐怖助被,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情切诀,我是刑警寧澤揩环,帶...
    沈念sama閱讀 35,569評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站幅虑,受9級特大地震影響丰滑,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜倒庵,卻給世界環(huán)境...
    茶點故事閱讀 41,168評論 3 328
  • 文/蒙蒙 一褒墨、第九天 我趴在偏房一處隱蔽的房頂上張望炫刷。 院中可真熱鬧,春花似錦郁妈、人聲如沸柬唯。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽锄奢。三九已至,卻和暖如春剧腻,著一層夾襖步出監(jiān)牢的瞬間拘央,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評論 1 269
  • 我被黑心中介騙來泰國打工书在, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留灰伟,地道東北人。 一個月前我還...
    沈念sama閱讀 47,962評論 2 370
  • 正文 我出身青樓儒旬,卻偏偏與公主長得像栏账,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子栈源,可洞房花燭夜當晚...
    茶點故事閱讀 44,781評論 2 354

推薦閱讀更多精彩內(nèi)容