Grafana 系列文章(六):Grafana Explore 中的日志

???URL: https://grafana.com/docs/grafana/latest/explore/logs-integration/#labels-and-detected-fields

??Description:

Explore 中的日志

除了指標(biāo)之外霎烙,Explore 還允許你在以下數(shù)據(jù)源中調(diào)查你的日志痰哨。

在基礎(chǔ)設(shè)施監(jiān)控和事件響應(yīng)期間展鸡,你可以深入挖掘指標(biāo)和日志,找到原因。Explore 還允許你通過并排查看指標(biāo)和日志來進(jìn)行關(guān)聯(lián)惑芭。這創(chuàng)造了一個新的調(diào)試工作流程。

  1. 接到一個警報。
  2. 深入研究并檢查指標(biāo)贫橙。
  3. 再次深入,搜索與指標(biāo)和時間間隔有關(guān)的日志(將來還有分布式跟蹤)反粥。

日志可視化

日志查詢的結(jié)果在圖表中以直方圖的形式顯示卢肃,個別日志在下面的章節(jié)中會有解釋。

如果數(shù)據(jù)源支持全范圍的日志量直方圖星压,則會自動顯示所有輸入的日志查詢的日志分布圖践剂。目前 Elasticsearch 和 Loki 數(shù)據(jù)源支持此功能。

如果數(shù)據(jù)源不支持加載全范圍的日志量直方圖娜膘,日志模型會根據(jù)自動計算的時間間隔的日志行數(shù)來計算一個時間序列逊脯,然后將第一個日志行的時間戳錨定在結(jié)果的直方圖的起點。時間序列的末端被錨定在時間選擇器的To范圍內(nèi)竣贪。

日志級別

對于指定了級別標(biāo)簽的日志军洼,我們使用標(biāo)簽的值來確定日志的級別并相應(yīng)地更新顏色。如果日志沒有指定級別標(biāo)簽演怎,我們會嘗試找出其內(nèi)容是否與任何支持的表達(dá)式相匹配(更多信息見下文)匕争。日志級別總是由第一個匹配項決定的。如果 Grafana 無法確定一個日志級別爷耀,它將以未知的日志級別進(jìn)行可視化甘桑。

Tip: 如果你使用 Loki 數(shù)據(jù)源,并且 "級別 "在你的日志線中歹叮,使用解析器(JSON跑杭、logfmtregex...)將級別信息提取為一個級別標(biāo)簽咆耿,用來確定日志級別德谅。這將使直方圖在不同的柱狀圖中顯示不同的日志級別。

支持的日志級別以及日志級別縮寫和表達(dá)式的映射:

支持的表達(dá)式 日志級別 顏色
emerg critical 紫色
fatal critical 紫色
alert critical 紫色
crit critical 紫色
critical critical 紫色
err error 紅色
eror error 紅色
error error 紅色
warn warning 黃色
warning warning 黃色
info info 綠色
information info 綠色
notice info 綠色
dbug debug 藍(lán)色
debug debug 藍(lán)色
trace trace 淡藍(lán)色
* unknown 灰色

日志導(dǎo)航

日志行旁邊的日志導(dǎo)航可以用來請求更多的日志萨螺。你可以通過點擊導(dǎo)航底部的 Older logs 按鈕來做到這一點窄做。當(dāng)你遇到行數(shù)限制,你想看到更多的日志時慰技,這一點特別有用椭盏。每個從導(dǎo)航中運行的請求都會作為單獨的頁面顯示在導(dǎo)航中。每一頁都顯示傳入日志行的起止時間戳惹盼。你可以通過點擊頁面查看以前的結(jié)果庸汗。Explore 緩存了從日志導(dǎo)航中運行的最后五個請求,所以當(dāng)你點擊這些頁面時手报,你不會重新運行相同的查詢蚯舱。

在 Explore 中導(dǎo)航日志

可視化選項

你可以自定義日志的顯示方式改化,并選擇顯示哪些列。

Time

顯示或隱藏時間列枉昏。這是與日志行相關(guān)的時間戳陈肛,由數(shù)據(jù)源報告。

Unique labels

顯示或隱藏僅包括非常見標(biāo)簽的獨特標(biāo)簽欄兄裂。所有常見的標(biāo)簽都顯示在上面句旱。

換行

如果你想讓顯示器使用換行,將此設(shè)置為true; 設(shè)置為False晰奖,將導(dǎo)致水平滾動谈撒。

Prettify JSON

將此設(shè)置為true以漂亮地打印所有 JSON 日志。這個設(shè)置不影響 JSON 以外的任何格式的日志匾南。

Deduping(去重)

日志數(shù)據(jù)可能是非常重復(fù)的啃匿,Explore 可以通過隱藏重復(fù)的日志行來幫助。你可以使用幾種不同的重復(fù)數(shù)據(jù)刪除算法蛆楞。

  • 精確 - 精確匹配是在整個行中進(jìn)行的溯乒,除了日期字段。
  • 數(shù)字 - 在剝離數(shù)字后的行上進(jìn)行匹配豹爹,如持續(xù)時間裆悄、IP 地址等。
  • 簽名 - 最激進(jìn)的剔除臂聋,這將剝離所有的字母和數(shù)字光稼,并在剩余的空白處和標(biāo)點符號上進(jìn)行匹配。

Flip results order(翻轉(zhuǎn)結(jié)果順序)

你可以將收到的日志的順序從默認(rèn)的降序(最新的先)改為升序(最舊的先)孩等。

Labels and detected fields(標(biāo)簽和檢測字段)

每個日志行都有一個可擴(kuò)展的區(qū)域钟哥,有它的標(biāo)簽和檢測字段,以實現(xiàn)更強(qiáng)大的互動瞎访。對于所有的標(biāo)簽,我們增加了過濾(正向過濾)和過濾(反向過濾)選定標(biāo)簽的能力吁恍。每個字段或標(biāo)簽也有一個統(tǒng)計圖標(biāo)扒秸,以顯示與所有顯示的日志有關(guān)的特別統(tǒng)計數(shù)據(jù)。

Derived fields links(衍生字段鏈接)

通過使用衍生字段冀瓦,你可以把日志消息的任何部分變成內(nèi)部或外部鏈接伴奥。創(chuàng)建的鏈接在日志細(xì)節(jié)視圖中的 Detected 字段旁邊以按鈕的形式顯示。

Explore 中的衍生字段鏈接

Toggle detected fields(切換檢測到的字段)

Note: 在 Grafana 7.2 及更高版本中可用翼闽。

如果你的日志是以jsonlogfmt構(gòu)造的拾徙,那么你可以顯示或隱藏檢測到的字段。展開一個日志行感局,然后點擊眼睛圖標(biāo)來顯示或隱藏字段尼啡。

Toggling detected fields in Explore

Loki 特有的功能

如前所述暂衡,其中一個日志集成是針對 Grafana Labs 的新的開源日志聚合系統(tǒng)--Loki。Loki 的設(shè)計非常具有成本效益崖瞭,因為它不對日志的內(nèi)容進(jìn)行索引狂巢,而是為每個日志流提供一組標(biāo)簽。Loki 的日志查詢方式與 Prometheus 中使用標(biāo)簽選擇器的查詢方式類似书聚。它使用標(biāo)簽對日志流進(jìn)行分組唧领,可以使之與你的 Prometheus 標(biāo)簽相匹配。關(guān)于 Grafana Loki 的更多信息雌续,請參考 Grafana Loki 或 Grafana Labs 的托管版本:Grafana Cloud Logs斩个。

更多信息請參考 Loki 的數(shù)據(jù)源文檔 關(guān)于如何查詢?nèi)罩緮?shù)據(jù)的信息。

從指標(biāo)轉(zhuǎn)換到日志

如果你從 Prometheus 查詢切換到日志查詢(你可以先做一個分割驯杜,讓你的指標(biāo)和日志并排)受啥,那么它將保留你查詢中存在于日志中的標(biāo)簽,并使用這些標(biāo)簽來查詢?nèi)罩玖魍щ取@缜晃兀旅娴?Prometheus 查詢。

grafana_alerting_active_alerts{job="grafana"}

切換到 Logs 數(shù)據(jù)源后再悼,查詢結(jié)果變?yōu)椋?/p>

{job="grafana"}

這將返回所選時間范圍內(nèi)的一大塊日志核畴,可以進(jìn)行 grepped/text 搜索。

實時滾動 (Live Tailing)

使用實時滾動功能來查看支持的數(shù)據(jù)源的實時日志冲九。

點擊 Explore 工具欄上的實時按鈕谤草,切換到實時滾動視圖。

在實時滾動視圖中莺奸,新的日志會從屏幕的底部出現(xiàn)丑孩,并且會有漸變的對比背景,因此你可以跟蹤新的內(nèi)容灭贷。點擊暫停按鈕或滾動日志視圖來暫停實時跟蹤温学,不間斷地探索以前的日志。點擊恢復(fù)按鈕恢復(fù)實時跟蹤甚疟,或點擊停止按鈕退出實時跟蹤仗岖,回到標(biāo)準(zhǔn)的探索視圖。

Explore 實操中的實時滾動

Grafana 系列文章

Grafana 系列文章

三人行, 必有我?guī)? 知識共享, 天下為公. 本文由東風(fēng)微鳴技術(shù)博客 EWhisper.cn 編寫.

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末览妖,一起剝皮案震驚了整個濱河市轧拄,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌讽膏,老刑警劉巖檩电,帶你破解...
    沈念sama閱讀 218,036評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡俐末,警方通過查閱死者的電腦和手機(jī)料按,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,046評論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來鹅搪,“玉大人站绪,你說我怎么就攤上這事±鍪粒” “怎么了恢准?”我有些...
    開封第一講書人閱讀 164,411評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長甫题。 經(jīng)常有香客問我馁筐,道長,這世上最難降的妖魔是什么坠非? 我笑而不...
    開封第一講書人閱讀 58,622評論 1 293
  • 正文 為了忘掉前任敏沉,我火速辦了婚禮,結(jié)果婚禮上炎码,老公的妹妹穿的比我還像新娘盟迟。我一直安慰自己,他們只是感情好潦闲,可當(dāng)我...
    茶點故事閱讀 67,661評論 6 392
  • 文/花漫 我一把揭開白布攒菠。 她就那樣靜靜地躺著,像睡著了一般歉闰。 火紅的嫁衣襯著肌膚如雪辖众。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,521評論 1 304
  • 那天和敬,我揣著相機(jī)與錄音凹炸,去河邊找鬼。 笑死昼弟,一個胖子當(dāng)著我的面吹牛啤它,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播舱痘,決...
    沈念sama閱讀 40,288評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼蚕键,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了衰粹?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,200評論 0 276
  • 序言:老撾萬榮一對情侶失蹤笆怠,失蹤者是張志新(化名)和其女友劉穎铝耻,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,644評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡瓢捉,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,837評論 3 336
  • 正文 我和宋清朗相戀三年频丘,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片泡态。...
    茶點故事閱讀 39,953評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡搂漠,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出某弦,到底是詐尸還是另有隱情桐汤,我是刑警寧澤,帶...
    沈念sama閱讀 35,673評論 5 346
  • 正文 年R本政府宣布靶壮,位于F島的核電站怔毛,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏腾降。R本人自食惡果不足惜拣度,卻給世界環(huán)境...
    茶點故事閱讀 41,281評論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望螃壤。 院中可真熱鬧抗果,春花似錦、人聲如沸奸晴。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,889評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽蚁滋。三九已至宿接,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間辕录,已是汗流浹背睦霎。 一陣腳步聲響...
    開封第一講書人閱讀 33,011評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留走诞,地道東北人副女。 一個月前我還...
    沈念sama閱讀 48,119評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像蚣旱,于是被迫代替她去往敵國和親碑幅。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,901評論 2 355

推薦閱讀更多精彩內(nèi)容