filebeat常見問題

1.Too many open file handlers

Filebeat保持文件處理程序打開吠裆,直到文件到達(dá)文件末尾烂完,以便它可以近乎實(shí)時地讀取新的日志行。 如果Filebeat正在收集大量文件祝旷,則打開文件的數(shù)量可能會成為問題嘶窄。 在大多數(shù)環(huán)境中,正在更新的文件數(shù)量很少吻谋。
close_inactive配置選項(xiàng)應(yīng)相應(yīng)地設(shè)置為關(guān)閉不再處于活動狀態(tài)的文件现横。

您可以使用其他配置選項(xiàng)來關(guān)閉文件處理程序,但所有這些選項(xiàng)都應(yīng)該小心使用骇两,因?yàn)樗鼈兛赡苡懈弊饔谩?選項(xiàng)是:

close_renamed和close_removed選項(xiàng)在Windows上很有用姜盈,可以解決與文件旋轉(zhuǎn)相關(guān)的問題馏颂。
請參閱打開文件處理程序?qū)е耊indows文件旋轉(zhuǎn)問題?

打開文件處理程序會導(dǎo)致Windows文件旋轉(zhuǎn)問題?
在Windows上舍沙,您可能在重命名或刪除文件時遇到問題,因?yàn)镕ilebeat會使文件處理程序保持打開狀態(tài)壹无。
 這可能會導(dǎo)致文件旋轉(zhuǎn)系統(tǒng)出現(xiàn)問題感帅。 為避免此問題失球,您可以一起使用close_removed和close_renamed選項(xiàng)帮毁。

重要
當(dāng)您配置這些選項(xiàng)時豺撑,收割機(jī)讀取文件之前可能會關(guān)閉文件。 如果探礦者無法再次拾取文件爷肝,并且收割機(jī)尚未完成讀取文件陆错,則缺失的行將永遠(yuǎn)不會被發(fā)送到輸出。

close_eof選項(xiàng)在具有大量只有很少條目的文件的環(huán)境中很有用对嚼。
close_timeout選項(xiàng)在關(guān)閉文件處理程序比發(fā)送所有日志行更重要的環(huán)境中很有用外莲。 有關(guān)更多詳細(xì)信息偷线,請參閱設(shè)置探礦者。

確保在使用這些配置選項(xiàng)之前閱讀這些配置選項(xiàng)的文檔声邦。

2.Filebeat使用了太多的CPU亥曹?

Filebeat可能被配置為頻繁掃描文件。 檢查filebeat.yml配置文件中scan_frequency的設(shè)置骗炉。 將scan_frequency設(shè)置為小于1s可能會導(dǎo)致Filebeat在頻繁的循環(huán)中掃描磁盤蛇受。

3.注冊文件太大?

Filebeat保持每個文件的狀態(tài)并將該狀態(tài)保存在registry_file中的磁盤上乍丈。 Filebeat重新啟動時把将,文件狀態(tài)用于在前一個位置繼續(xù)讀取文件。 如果每天都生成大量新文件请垛,則注冊表文件可能會變得太大。 要減小注冊表文件的大小瞳腌,有兩個可用的配置選項(xiàng):clean_removed和clean_inactive镜雨。

對于不再接觸并忽略的舊文件(請參閱ignore_older),我們建議您使用clean_inactive挑宠。 如果舊文件從磁盤中刪除颓影,請使用clean_removed選項(xiàng)诡挂。

4.linux Inode重用會導(dǎo)致Filebeat跳過行嗎?

Inode重用會導(dǎo)致Filebeat跳過行嗎璃俗?
在Linux文件系統(tǒng)上城豁,F(xiàn)ilebeat使用inode和設(shè)備來識別文件。
從磁盤中刪除文件時雳旅,可將inode分配給新文件间聊。
在涉及文件旋轉(zhuǎn)的使用情況下,如果舊文件被刪除并且之后立即創(chuàng)建新文件型豁,
新文件可能與刪除的文件具有完全相同的inode叹话。在這種情況下墩瞳,F(xiàn)ilebeat假定新文件與舊文件相同喉酌,并嘗試在舊位置繼續(xù)讀取泵喘,這是不正確的般妙。

默認(rèn)狀態(tài)不會從注冊表文件中刪除碟渺。要解決inode重用問題,我們建議您使用clean_ *選項(xiàng)(特別是clean_inactive)來刪除非活動文件的狀態(tài)苫拍。
例如绒极,如果您的文件每24小時輪換一次,并且輪換的文件不再更新榔袋,則可以將ignore_older設(shè)置為48小時铡俐,將clean_inactive設(shè)置為72小時。

您可以將clean_removed用于從磁盤中刪除的文件聪黎。請注意备恤,clean_removed會在掃描期間無法找到文件時清除注冊表中的文件狀態(tài)露泊。如果文件稍后再次顯示,它將從頭開始重新發(fā)送惭笑。

5.Filebeat沒有運(yùn)送文件的最后一行沉噩?

Filebeat使用換行符來檢測事件的結(jié)束。 如果將行逐漸添加到正在采集的文件中蚜厉,則在最后一行之后需要換行符畜眨,否則Filebeat將不會讀取文件的最后一行术瓮。

6.Filebeat長時間保持已刪除文件的打開文件處理程序(handler)胞四?

在默認(rèn)行為中伶椿,F(xiàn)ilebeat會打開文件并保持打開狀態(tài),直到達(dá)到文件末尾游昼。
在配置的輸出很長時間(例如Elasticsearch或Logstash不可用)的情況下尝蠕,這可能會導(dǎo)致Filebeat將文件處理程序保留到同時從文件系統(tǒng)中刪除的文件看彼。 只要Filebeat保持已刪除的文件處于打開狀態(tài),操作系統(tǒng)就不會釋放磁盤空間标锄,這可能會導(dǎo)致磁盤利用率增加茁计,甚至出現(xiàn)磁盤不足的情況。

為了緩解這個問題践剂,您可以將close_timeoutedit設(shè)置設(shè)置為"5m"娜膘。 這將確保每5分鐘關(guān)閉一次文件處理程序竣贪,而不管是否達(dá)到EOF。
請注意: 如果在Filebeat到達(dá)文件末尾之前刪除文件匕争,則此選項(xiàng)可能會導(dǎo)致數(shù)據(jù)丟失爷耀。

7.需要限制Filebeat使用的帶寬?

如果您需要限制帶寬使用率扇住,我們建議您在操作系統(tǒng)OS上配置網(wǎng)絡(luò)堆棧以執(zhí)行帶寬限制艘蹋。

例如票灰,以下Linux命令通過在通過端口5044的TCP連接上設(shè)置50 kbps的限制來限制Filebeat和Logstash之間的連接:

tc qdisc add dev $DEV root handle 1: htb
tc class add dev $DEV parent 1:1 classid 1:10 htb rate 50kbps ceil 50kbps
tc filter add dev $DEV parent 1:0 prio 1 protocol ip handle 10 fw flowid 1:10
iptables -A OUTPUT -t mangle -p tcp --dport 5044 -j MARK --set-mark 10

使用操作系統(tǒng)工具執(zhí)行帶寬限制可讓您更好地控制策略屑迂。 例如,您可以使用操作系統(tǒng)工具在白天限制帶寬庸汗,但不是在晚上手报。 或者您可以保留帶寬不受限制,但為流量分配低優(yōu)先級枉昏。

8.配置問題

您的配置文件的結(jié)構(gòu)有問題揍鸟,或者您使用了YAML分析程序無法解析的路徑或表達(dá)式阳藻,因?yàn)榕渲梦募凑_轉(zhuǎn)義的字符。

如果YAML文件包含具有空格或不常用字符的路徑畅涂,請將路徑包裝在單引號中(請參閱將單引號標(biāo)記為包裹路徑)道川。

另請參閱YAML提示和疑難解答中的一般建議:https://www.elastic.co/guide/en/beats/filebeat/current/yaml-tips.html

9.Kibana中的儀表板正在錯誤地分解數(shù)據(jù)字段?

索引模板可能未正確加載臊岸。 請參閱步驟4:在Elasticsearch中加載索引模板帅戒。

10.字段在Kibana可視化中沒有索引或可用?

如果您最近執(zhí)行了加載或解析自定義結(jié)構(gòu)化日志的操作钟哥,則可能需要刷新索引以使字段在Kibana中可用瞎访。 要刷新索引扒秸,請使用刷新API播演。 例如:

curl -XPOST 'http://localhost:9200/filebeat-2016.08.09/_refresh'

【參考:https://www.elastic.co/guide/en/beats/filebeat/current/faq.html

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市伴奥,隨后出現(xiàn)的幾起案子写烤,更是在濱河造成了極大的恐慌,老刑警劉巖拾徙,帶你破解...
    沈念sama閱讀 217,734評論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件洲炊,死亡現(xiàn)場離奇詭異,居然都是意外死亡尼啡,警方通過查閱死者的電腦和手機(jī)选浑,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,931評論 3 394
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來玄叠,“玉大人,你說我怎么就攤上這事读恃∷肀欤” “怎么了?”我有些...
    開封第一講書人閱讀 164,133評論 0 354
  • 文/不壞的土叔 我叫張陵寺惫,是天一觀的道長疹吃。 經(jīng)常有香客問我,道長西雀,這世上最難降的妖魔是什么萨驶? 我笑而不...
    開封第一講書人閱讀 58,532評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮艇肴,結(jié)果婚禮上腔呜,老公的妹妹穿的比我還像新娘。我一直安慰自己再悼,他們只是感情好核畴,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,585評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著冲九,像睡著了一般谤草。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,462評論 1 302
  • 那天丑孩,我揣著相機(jī)與錄音冀宴,去河邊找鬼。 笑死温学,一個胖子當(dāng)著我的面吹牛略贮,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播枫浙,決...
    沈念sama閱讀 40,262評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼古拴!你這毒婦竟也來了箩帚?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,153評論 0 276
  • 序言:老撾萬榮一對情侶失蹤黄痪,失蹤者是張志新(化名)和其女友劉穎紧帕,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體桅打,經(jīng)...
    沈念sama閱讀 45,587評論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡是嗜,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,792評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了挺尾。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片鹅搪。...
    茶點(diǎn)故事閱讀 39,919評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖遭铺,靈堂內(nèi)的尸體忽然破棺而出丽柿,到底是詐尸還是另有隱情,我是刑警寧澤魂挂,帶...
    沈念sama閱讀 35,635評論 5 345
  • 正文 年R本政府宣布甫题,位于F島的核電站,受9級特大地震影響涂召,放射性物質(zhì)發(fā)生泄漏坠非。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,237評論 3 329
  • 文/蒙蒙 一果正、第九天 我趴在偏房一處隱蔽的房頂上張望炎码。 院中可真熱鬧,春花似錦秋泳、人聲如沸辅肾。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,855評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽矫钓。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間新娜,已是汗流浹背赵辕。 一陣腳步聲響...
    開封第一講書人閱讀 32,983評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留概龄,地道東北人还惠。 一個月前我還...
    沈念sama閱讀 48,048評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像私杜,于是被迫代替她去往敵國和親蚕键。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,864評論 2 354

推薦閱讀更多精彩內(nèi)容