2018-02-05 Kibana使用過(guò)程中遇到的問(wèn)題

背景

Kibana在 ELK 套裝里,負(fù)責(zé)數(shù)據(jù)搜索眯分、數(shù)據(jù)分析拌汇、數(shù)據(jù)可視化等基本功能。以下總結(jié)了使用Kibana過(guò)程中遇到的一些問(wèn)題弊决。
當(dāng)然噪舀,有些功能是elastic公司為了收費(fèi),在X-Pack里實(shí)現(xiàn)了飘诗,但并不妨礙我們吐槽它与倡。

一、不支持多租戶

  1. 數(shù)據(jù)安全性不高:所有人都可以登錄昆稿,也可以查看所有的數(shù)據(jù)纺座。
  2. 所有的圖表都是共享的

解決辦法一

數(shù)據(jù)分集群隔離。既然同一個(gè)ELK集群做不到多租戶溉潭,那就采用多ELK集群的辦法隔離

解決辦法二

searchguard
該產(chǎn)品可以很好的和 ELK 集成净响,并提供安全相關(guān)的一系列組件少欺。
其中,對(duì)用戶進(jìn)行index級(jí)別的讀馋贤、寫等權(quán)限管理赞别,是SearchGuard的免費(fèi)功能,其他類似打通LDAP掸掸,Kerberos認(rèn)證氯庆,日志審計(jì),REST API管理等功能扰付,依然是收費(fèi)的堤撵。詳情見 https://floragunn.com/searchguard-license-support/

二、Visualize不能定制化

Kibana的Visualize支持多達(dá)11種不同種類的圖表羽莺,可以覆蓋絕大部分的日常使用实昨。但是依然只是預(yù)先定義的模板,不能自己定制盐固。
例如餅圖荒给,鼠標(biāo)放在餅圖的每個(gè)塊上可以展示相關(guān)信息,但是無(wú)法直接顯示所有塊的信息刁卜。類似這樣:


餅圖.png

或這樣:


餅圖.png

三志电、從Visualize里過(guò)濾出的數(shù)據(jù)無(wú)法直接查看或?qū)С?/h1>

Visualize里展示的數(shù)據(jù)是聚合之后的數(shù)據(jù)。除了直接查看圖形化的數(shù)據(jù)蛔趴,還可以點(diǎn)擊左下角的圖標(biāo)挑辆,進(jìn)而展示 “Table”,“Request”孝情,“Response”鱼蝉,“Statistics”。
但是如果想查看未聚合的數(shù)據(jù)箫荡,就需要根據(jù)該Visualize的過(guò)濾條件魁亦,在Discover頁(yè)面里搜索,不太方便羔挡。

四洁奈、Visualize/Dashboard不能進(jìn)行批量增刪改查

例如,一般公司的產(chǎn)品都會(huì)區(qū)分正式線婉弹、預(yù)發(fā)線睬魂,那么一模一樣的Visualize,Dashboard就需要建兩遍镀赌;
又或者氯哮,公司擁有多個(gè)客戶,需要給每個(gè)客戶都建立類似的Dashboard,也無(wú)法批量進(jìn)行喉钢。
注:Kibana里可以保存這些Visualize/Dashboard姆打,可以導(dǎo)出 json 文件,但是導(dǎo)出的只是現(xiàn)有的圖表大盤的UUID肠虽,而不是定義幔戏,無(wú)法進(jìn)行修改,如下:

[
  {
    "_id": "c9fb5840-51c1-11e7-9ebc-39c0d13a1ac6",
    "_type": "dashboard",
    "_source": {
      "title": "xxx",
      "hits": 0,
      "description": "",
      "panelsJSON": "[{\"col\":1,\"id\":\"a24c3210-51c1-11e7-9ebc-39c0d13a1ac6\",\"panelIndex\":1,\"row\":1,\"size_x\":12,\"size_y\":2,\"type\":\"visualization\"},{\"size_x\":12,\"size_y\":2,\"panelIndex\":2,\"type\":\"visualization\",\"id\":\"54792420-51c2-11e7-9ebc-39c0d13a1ac6\",\"col\":1,\"row\":3}]",
      "optionsJSON": "{\"darkTheme\":false}",
      "uiStateJSON": "{}",
      "version": 1,
      "timeRestore": true,
      "timeTo": "now",
      "timeFrom": "now-20m",
      "refreshInterval": {
        "display": "5 seconds",
        "pause": true,
        "section": 1,
        "value": 5000
      },
      "kibanaSavedObjectMeta": {
        "searchSourceJSON": "{\"filter\":[{\"query\":{\"query_string\":{\"analyze_wildcard\":true,\"query\":\"*\"}}}]}"
      }
    }
  }
]

20181205更新
這里光導(dǎo)出一個(gè) Dashboard是不行的税课,但是可以順帶把 Visualization闲延、Index Pattern 全部導(dǎo)出,就可以了韩玩。

  1. 解決了多處環(huán)境的問(wèn)題(一個(gè) export.json 可以用到多個(gè)地方)
  2. 不能解決編輯的問(wèn)題垒玲,比如給多個(gè)客戶展示相近的圖表

五、跨行分析不方便

Elasticsearch里的 document的概念對(duì)應(yīng)的是 logstash解析出來(lái)的一行找颓,因此跨行分析不行合愈。
注:

  1. 改善辦法:
  • 在日志里增加唯一標(biāo)識(shí):可以在搜索的時(shí)候通過(guò)這個(gè)唯一標(biāo)識(shí)把不同的行同時(shí)搜出來(lái)進(jìn)行分析
  • 在某一行里打印所有的信息:雖然會(huì)有信息冗余,但至少可以在這一行里拿到所有需要的信息
  1. Timelion:
    Timelion本是Kibana的一個(gè)插件击狮,后來(lái)被合并到Kibana的代碼庫(kù)里佛析,作為默認(rèn)組件,它可以很好的折疊時(shí)間彪蓬,進(jìn)行同比或環(huán)比的操作寸莫,算是一種另類的跨行分析

六、 無(wú)法Join

除了上述的無(wú)法跨行分析档冬,也沒(méi)辦法join储狭,那么就只能在原始日志中多打印一些元數(shù)據(jù)了。

七捣郊、不能自動(dòng)刷新index

修改logstash的解析配置,會(huì)更新進(jìn)入Elasticsearch的字段慈参,而在Kibana里需要手動(dòng)刷新 Index Pattern 才能使得Discover里展示的字段更新呛牲。

八、基于Kibana的二次開發(fā)很不方便

總結(jié)

已上是對(duì)Kibana免費(fèi)版的一些吐槽驮配,至于監(jiān)控娘扩、報(bào)警、報(bào)表等功能也被做進(jìn)X-Pack里需要付費(fèi)壮锻,就不再一一說(shuō)明了琐旁。
歡迎大家給出各自的意見與建議。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末猜绣,一起剝皮案震驚了整個(gè)濱河市灰殴,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌掰邢,老刑警劉巖牺陶,帶你破解...
    沈念sama閱讀 218,451評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件伟阔,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡掰伸,警方通過(guò)查閱死者的電腦和手機(jī)皱炉,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,172評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)狮鸭,“玉大人合搅,你說(shuō)我怎么就攤上這事∑缃叮” “怎么了灾部?”我有些...
    開封第一講書人閱讀 164,782評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)廊谓。 經(jīng)常有香客問(wèn)我梳猪,道長(zhǎng),這世上最難降的妖魔是什么蒸痹? 我笑而不...
    開封第一講書人閱讀 58,709評(píng)論 1 294
  • 正文 為了忘掉前任春弥,我火速辦了婚禮,結(jié)果婚禮上叠荠,老公的妹妹穿的比我還像新娘匿沛。我一直安慰自己,他們只是感情好榛鼎,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,733評(píng)論 6 392
  • 文/花漫 我一把揭開白布逃呼。 她就那樣靜靜地躺著,像睡著了一般者娱。 火紅的嫁衣襯著肌膚如雪抡笼。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,578評(píng)論 1 305
  • 那天黄鳍,我揣著相機(jī)與錄音推姻,去河邊找鬼。 笑死框沟,一個(gè)胖子當(dāng)著我的面吹牛藏古,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播忍燥,決...
    沈念sama閱讀 40,320評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼拧晕,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了梅垄?” 一聲冷哼從身側(cè)響起厂捞,我...
    開封第一講書人閱讀 39,241評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后蔫敲,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體饲嗽,經(jīng)...
    沈念sama閱讀 45,686評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,878評(píng)論 3 336
  • 正文 我和宋清朗相戀三年奈嘿,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了貌虾。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,992評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡裙犹,死狀恐怖尽狠,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情叶圃,我是刑警寧澤袄膏,帶...
    沈念sama閱讀 35,715評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站掺冠,受9級(jí)特大地震影響沉馆,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜德崭,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,336評(píng)論 3 330
  • 文/蒙蒙 一斥黑、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧眉厨,春花似錦锌奴、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,912評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至服球,卻和暖如春茴恰,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背斩熊。 一陣腳步聲響...
    開封第一講書人閱讀 33,040評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工琐簇, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人座享。 一個(gè)月前我還...
    沈念sama閱讀 48,173評(píng)論 3 370
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像似忧,于是被迫代替她去往敵國(guó)和親渣叛。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,947評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容