不可不掌握的 Logstash 使用技巧

Logstash 是 Elastic Stack 中功能最強大的 ETL 工具盔几,相較于 beats 家族,雖然它略顯臃腫掩幢,但是強在功能豐富逊拍、處理能力強大。大家在使用的過程中肯定也體驗過其啟動時的慢吞吞际邻,那么有什么辦法可以減少等待 Logstash 的啟動時間芯丧,提高編寫其處理配置文件的效率呢?本文給大家推薦一個小技巧世曾,幫助大家解決如下兩個問題缨恒,讓大家更好地與這個笨重的大家伙相處。

  1. 減少 Logstash 重啟的次數(shù)度硝,也就節(jié)省寶貴的時間
  2. 方便快捷地向 Logstash 輸入需要處理的內(nèi)容

1. 打開 reload 配置開關(guān)

Logstash 啟動的時候可以加上 -r 的參數(shù)來做到配置文件熱加載肿轨,效果是:

  • 當(dāng)你修改了配置文件后,無需重啟 Logstash 即可讓新配置文件生效蕊程。

它的含義如下:

image

當(dāng)你寫好配置文件椒袍,比如 test.conf ,啟動命令如下:

bin/logstash -f test.conf -r

啟動完畢藻茂,修改 test.conf 的內(nèi)容并保存后驹暑,過 1 秒鐘,你會發(fā)現(xiàn) Logstash 端有類似如下日志輸出(注意紅色框標(biāo)記的部分)辨赐,此時說明 reload 的成功优俘。

image

如果你修改的配置文件有錯誤,會看到報錯的日志掀序,你可以根據(jù)錯誤提示修改帆焕。

image

至此,第一個問題解決不恭!

2. 使用 HTTP INPUT

編寫配置文件的另一個痛點是需要針對不同格式的輸入內(nèi)容進(jìn)行詳細(xì)的測試叶雹,以防解析報錯的情況出現(xiàn)。此時大家常用標(biāo)準(zhǔn)輸入來解決這個問題(stdin input)换吧,但是標(biāo)準(zhǔn)輸入對于文字編輯支持不太友好折晦,而且配置文件熱更新的功能也不支持標(biāo)準(zhǔn)輸入。

在這里向大家推薦使用 http input 插件沾瓦,配置如下:

input{
    http{
        port => 7474
        codec => "json"
    }
}

然后大家再用自己喜歡的 http 請求工具满着,比如 POSTMan谦炒、Insomnia 等向 http://loclahost:7474發(fā)送待測試內(nèi)容即可,如下是 Insomnia 的截圖风喇。

image

至此宁改,第二個問題也解決了。

3. 總結(jié)

相信看到這里响驴,大家一定是躍躍欲試了透且,趕緊打開電腦,找到 Logstash豁鲤,然后編輯 test.conf,輸入如下內(nèi)容:

input{
    http{
        port => 7474
        codec => "json"
    }
}

filter{

}

output{
        stdout{
        codec => rubydebug{
            metadata => true
        }
    }
}

然后執(zhí)行啟動命令:

bin/logstash -f test.conf -r

打開 Insomnia 鲸沮,輸入要測試的內(nèi)容琳骡,點擊發(fā)送,開始舒爽流暢的配置文件編寫之旅吧讼溺!

image
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末楣号,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子怒坯,更是在濱河造成了極大的恐慌炫狱,老刑警劉巖,帶你破解...
    沈念sama閱讀 207,113評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件剔猿,死亡現(xiàn)場離奇詭異视译,居然都是意外死亡,警方通過查閱死者的電腦和手機归敬,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,644評論 2 381
  • 文/潘曉璐 我一進(jìn)店門酷含,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人汪茧,你說我怎么就攤上這事椅亚。” “怎么了舱污?”我有些...
    開封第一講書人閱讀 153,340評論 0 344
  • 文/不壞的土叔 我叫張陵呀舔,是天一觀的道長。 經(jīng)常有香客問我扩灯,道長媚赖,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,449評論 1 279
  • 正文 為了忘掉前任驴剔,我火速辦了婚禮省古,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘丧失。我一直安慰自己豺妓,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 64,445評論 5 374
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著琳拭,像睡著了一般训堆。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上白嘁,一...
    開封第一講書人閱讀 49,166評論 1 284
  • 那天坑鱼,我揣著相機與錄音,去河邊找鬼絮缅。 笑死鲁沥,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的耕魄。 我是一名探鬼主播画恰,決...
    沈念sama閱讀 38,442評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼吸奴!你這毒婦竟也來了允扇?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,105評論 0 261
  • 序言:老撾萬榮一對情侶失蹤则奥,失蹤者是張志新(化名)和其女友劉穎考润,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體读处,經(jīng)...
    沈念sama閱讀 43,601評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡糊治,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,066評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了档泽。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片俊戳。...
    茶點故事閱讀 38,161評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖馆匿,靈堂內(nèi)的尸體忽然破棺而出抑胎,到底是詐尸還是另有隱情,我是刑警寧澤渐北,帶...
    沈念sama閱讀 33,792評論 4 323
  • 正文 年R本政府宣布阿逃,位于F島的核電站,受9級特大地震影響赃蛛,放射性物質(zhì)發(fā)生泄漏恃锉。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,351評論 3 307
  • 文/蒙蒙 一呕臂、第九天 我趴在偏房一處隱蔽的房頂上張望破托。 院中可真熱鬧,春花似錦歧蒋、人聲如沸土砂。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,352評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽萝映。三九已至吴叶,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間序臂,已是汗流浹背蚌卤。 一陣腳步聲響...
    開封第一講書人閱讀 31,584評論 1 261
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留奥秆,地道東北人逊彭。 一個月前我還...
    沈念sama閱讀 45,618評論 2 355
  • 正文 我出身青樓,卻偏偏與公主長得像吭练,于是被迫代替她去往敵國和親诫龙。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,916評論 2 344

推薦閱讀更多精彩內(nèi)容