Fluentd學(xué)習(xí)

1.fluentd說明

參考官網(wǎng)https://www.fluentd.org/定義,fluentd是一套開源的日志收集器槽卫,類似ELK中l(wèi)ogstash、阿里云的logtail這樣的服務(wù)。

2.可用配置(基于windows)

<match test.*.*>
  @type forest
  subtype file
  <template>
    time_slice_format %Y-%m-%d
    output_tag false
    output_time false
    path C:\opt\td-agent\log\${tag_parts[0]}
#    format single_value
    flush_interval 2s
    buffer_path C:\opt\td-agent\buffer\${tag_parts[0]}
    append true
    num_threads 1
  </template>
</match>

上面是一套匹配test..這樣tag的日志收集配置,具體說明:

2.1@type forest

指定使用的type越庇,這里是用的forest,一種input 插件奉狈;前提是需要安裝模塊:

fluent-gem install fluent-plugin-forest

2.2根據(jù)時(shí)間分割

time_slice_format %Y-%m-%d 表示按天

2.3去掉默認(rèn)添加的時(shí)間和tag

output_tag false
output_time false

2.4 format single_value

可用于單列提取卤唉,比如原始日志有多個(gè)字段但是我們只需要一列,這時(shí)候就可以使用

2.5 tag_parts

這個(gè)是系統(tǒng)變量仁期,是指tag根據(jù)點(diǎn)號(hào)分割的數(shù)據(jù)桑驱,下標(biāo)從0開始。比如我的tag是test.action.pay跛蛋,那么${tag_parts[1]}就是action

3 其它

3.1 性能比較

沒有具體測(cè)試過熬的,網(wǎng)上分析fluentd是優(yōu)于logstash,但是插件豐富程度要差一些赊级。
具體見:https://lintingbin2009.github.io/2018/10/04/Fluentd%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/

3.2 優(yōu)化

flutentd是基于Ruby開發(fā)押框,Ruby有全局鎖(GIL),因而在一個(gè)Ruby進(jìn)程里面同時(shí)最多只有一個(gè)線程在運(yùn)行理逊。這樣的話橡伞,Ruby的多線程對(duì)需要更多計(jì)算資源的操作顯得無(wú)能為力,所以這會(huì)影響fluentd的性能挡鞍,建議通過多進(jìn)程來(lái)充分使用多核CPU骑歹,推薦部署架構(gòu):


image.png

可參考文章:
https://lintingbin2009.github.io/2018/10/04/Fluentd%E6%80%A7%E8%83%BD%E4%BC%98%E5%8C%96%E5%AE%9E%E8%B7%B5/

綜合

總體來(lái)看fluentd使用還是比較簡(jiǎn)單方便的,值得學(xué)習(xí)和使用下墨微,具體性能方面后期有進(jìn)一步研究再補(bǔ)充道媚。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市翘县,隨后出現(xiàn)的幾起案子最域,更是在濱河造成了極大的恐慌,老刑警劉巖锈麸,帶你破解...
    沈念sama閱讀 219,270評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件镀脂,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡忘伞,警方通過查閱死者的電腦和手機(jī)薄翅,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,489評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門沙兰,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人翘魄,你說我怎么就攤上這事鼎天。” “怎么了暑竟?”我有些...
    開封第一講書人閱讀 165,630評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵斋射,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我但荤,道長(zhǎng)罗岖,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,906評(píng)論 1 295
  • 正文 為了忘掉前任腹躁,我火速辦了婚禮桑包,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘潜慎。我一直安慰自己捡多,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,928評(píng)論 6 392
  • 文/花漫 我一把揭開白布铐炫。 她就那樣靜靜地躺著垒手,像睡著了一般。 火紅的嫁衣襯著肌膚如雪倒信。 梳的紋絲不亂的頭發(fā)上科贬,一...
    開封第一講書人閱讀 51,718評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音鳖悠,去河邊找鬼榜掌。 笑死,一個(gè)胖子當(dāng)著我的面吹牛乘综,可吹牛的內(nèi)容都是我干的憎账。 我是一名探鬼主播,決...
    沈念sama閱讀 40,442評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼卡辰,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼胞皱!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起九妈,我...
    開封第一講書人閱讀 39,345評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤反砌,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后萌朱,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體宴树,經(jīng)...
    沈念sama閱讀 45,802評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,984評(píng)論 3 337
  • 正文 我和宋清朗相戀三年晶疼,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了酒贬。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片又憨。...
    茶點(diǎn)故事閱讀 40,117評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖锭吨,靈堂內(nèi)的尸體忽然破棺而出竟块,到底是詐尸還是另有隱情,我是刑警寧澤耐齐,帶...
    沈念sama閱讀 35,810評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站蒋情,受9級(jí)特大地震影響埠况,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜棵癣,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,462評(píng)論 3 331
  • 文/蒙蒙 一辕翰、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧狈谊,春花似錦喜命、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,011評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至赎瞎,卻和暖如春牌里,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背务甥。 一陣腳步聲響...
    開封第一講書人閱讀 33,139評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工牡辽, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人敞临。 一個(gè)月前我還...
    沈念sama閱讀 48,377評(píng)論 3 373
  • 正文 我出身青樓态辛,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親挺尿。 傳聞我的和親對(duì)象是個(gè)殘疾皇子奏黑,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,060評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容