一、ELK簡介
ELK:是有三個組件組成ElasticSearch、Logstash或辖、Kibana組成瘾英，其中Logtash負(fù)責(zé)獲取數(shù)據(jù)，ElasticSearch負(fù)責(zé)存儲和索引數(shù)據(jù)颂暇，Kibana則是一個可視化的部件缺谴，負(fù)責(zé)展示，這三者構(gòu)成了一個開源的日志分析平臺耳鸯，是目前的主流的企業(yè)級日志分析平臺解決方案湿蛔。更為詳細(xì)的介紹請參考維基百科：https://en.wikipedia.org/wiki/Elk。
介紹ELK的文章非常多县爬，隨著機(jī)器學(xué)習(xí)阳啥、人工智能概念在運(yùn)維領(lǐng)域的滲透，AIops概念的流行财喳，ELK在其X-PACK插件中察迟，也增加了Machine Learning模塊，其主要是采用機(jī)器學(xué)習(xí)中的無監(jiān)督算法耳高，實(shí)現(xiàn)時序數(shù)列的異常發(fā)現(xiàn)扎瓶。由于X-PACK中商用收費(fèi)軟件，目前網(wǎng)上關(guān)于X-PACK Machine Learning的介紹非常少泌枪，官網(wǎng)上只有需要翻墻的視頻可以看概荷。筆者個人下載了X-PACK試用版，試用期30天碌燕，本文將主要介紹筆者在X-PACK Machine Learning功能的試用經(jīng)驗(yàn)误证。
二、?X-PACK安裝
假設(shè)環(huán)境已安裝好ELK修壕。
1愈捅、X-PACK在ElasticSearch的安裝:
下掉ElasticSearch，在ElasticSearch解壓目錄下叠殷，執(zhí)行命令改鲫，完成安裝诈皿，es如果是一個集群林束，在每一個節(jié)點(diǎn)上安裝
bin/elasticsearch-plugin install x-pack
安裝完成后，啟動elasticsearch稽亏。
2壶冒、X-PACK在Kibana的安裝：
下掉Kibana，在Kibana解壓目錄下截歉，執(zhí)行命令胖腾，完成安裝。
bin/kibana-plugin install x-pack
安裝完成后，啟動Kibana咸作。
注意：如果安裝環(huán)境不能上網(wǎng)锨阿，自動完成x-pack包的下載，則去官方自行下載和ElasticSearch及傳到安裝環(huán)境记罚，將x-pack替換成完成路徑加文件名即可墅诡。
安裝X-PACK后，需要用戶名和密碼登陸才能打開Kibana桐智，默認(rèn)的用戶名和密碼是：elastic changeme末早。打開Kibana界面后，可以發(fā)現(xiàn)頁面說多了很多導(dǎo)航欄说庭，如：Machine Learning然磷，Graph，Monitoring等刊驴。本文主要介紹Machine Learning模塊的使用姿搜。
三、X-PACK? Machine Learning模塊應(yīng)用及效果
創(chuàng)建一個Single Metric過程如下：
1缺脉、選擇Machine Learning導(dǎo)航欄痪欲，看到如下界面，單機(jī)Create new job
2攻礼、選擇Create a single metric job
3业踢、選擇一個數(shù)據(jù)源：此處，我們選擇一個之前一個保存好的Search：
4礁扮、設(shè)置聚合指標(biāo)及聚合方式
Bucket span默認(rèn)是5分鐘知举，也可以根據(jù)需求自行設(shè)置。單擊三角框太伊，即可出現(xiàn)下圖的時間序列曲線雇锡。單擊左下角的create job按鈕，job建立成功僚焦。
5锰提、創(chuàng)建成功之后，很快就出現(xiàn)異常探測圖芳悲，單擊View Result按鈕立肘，查看
上圖因?yàn)楫惓｜c(diǎn)較少，下圖是選取了另外一個時間序列指標(biāo)做的異常分析圖名扛。因?yàn)槭菬o監(jiān)督的算法谅年，不需要單獨(dú)的學(xué)習(xí)階段，也不需要使用批量處理系統(tǒng)去更新模型肮韧，定義好數(shù)據(jù)源融蹂，模型會根據(jù)數(shù)據(jù)不斷的更新旺订，而且數(shù)據(jù)越多時，會越準(zhǔn)超燃。當(dāng)鼠標(biāo)移到圓圈位置是区拳，會出現(xiàn)上線基線。
可以看出該功能意乓，可以對某一KPI根據(jù)歷史數(shù)據(jù)建立起上下動態(tài)基線劳闹，根據(jù)動態(tài)極限標(biāo)記異常。
創(chuàng)建Multiple Metric Job的方法同上洽瞬，就是在選擇KPI時本涕，可以選擇index中多個指標(biāo)。
2伙窃、多KPI異常統(tǒng)計(jì)：
??? 針對多個KPI創(chuàng)建了JOB之后菩颖，在Anomaly Explorer菜單欄中，可以看到多個指標(biāo)的異常統(tǒng)計(jì)为障。方法是：單擊Anomaly Explorer菜單欄晦闰，選中想要查看的KPI的JOB，此處全選：
??? 可以看到按時間窗口標(biāo)記的異常鳍怨，這個功能很容易看到同時有問題的KPI有哪些：
??? 此處還有一個創(chuàng)建高級JOB呻右，分析多個指標(biāo)之間的關(guān)聯(lián)關(guān)系，目前我還沒研究清楚怎么搞鞋喇。待研究清楚后補(bǔ)充声滥。
3、ELK里面的時間序列Timelion曲線侦香，可以通過做一些簡單的移動平均來看KPI變化趨勢落塑。如下圖所示：
四、X-PACK? Machine Learning應(yīng)用領(lǐng)域分析
通過上面的分析罐韩，可以看出憾赁，X-PACK Machine Learning模塊可以很好的用戶分析Elastic中的時序數(shù)據(jù)，并且是無監(jiān)督算法散吵，無需對數(shù)據(jù)進(jìn)行實(shí)現(xiàn)標(biāo)記龙考。可以用于所有產(chǎn)生時序數(shù)據(jù)的領(lǐng)域矾睦，如運(yùn)維領(lǐng)域晦款，金融領(lǐng)域等。
本人致力于人工智能等技術(shù)在金融顷锰、科技領(lǐng)域的研究柬赐，歡迎交流亡问。
