歡迎登陸小D課堂官網(wǎng)：www.xdclass.net

elk視頻教程
章節(jié)一 2018年 ELK課程計(jì)劃和效果演示
1、課程安排和效果演示
簡介：課程介紹和主要知識點(diǎn)說明陨界，ES搜索接口演示巡揍，部署的ELK項(xiàng)目演示
es: localhost:9200
kibana http://localhost:5601/

章節(jié)二 elasticSearch 6.2版本基礎(chǔ)講解到阿里云部署實(shí)戰(zhàn)

2、搜索引擎知識介紹和相關(guān)框架
簡介：介紹搜索的基本概念菌瘪，市面上主流的搜索框架elasticSearch和solr等對比
什么是搜索：在海量信息中獲取我們想要的信息
傳統(tǒng)做法：
1腮敌、文檔中使用系統(tǒng)的Find查找
2阱当、mysql中使用like模糊查詢
問題：
1、海量數(shù)據(jù)中不能及時響應(yīng),少量數(shù)據(jù)可以通過傳統(tǒng)的MySql建立索引解決
2糜工、一些無用詞不能進(jìn)行過濾弊添，沒法分詞
3、數(shù)據(jù)量大的話難以拓展
4捌木、相同的數(shù)據(jù)難以進(jìn)行相似度最高的進(jìn)行排序
搜索引擎:
1油坝、存儲非結(jié)構(gòu)化的數(shù)據(jù)
2、快速檢索和響應(yīng)我們需要的信息刨裆，快-準(zhǔn)
3澈圈、進(jìn)行相關(guān)性的排序，過濾等
4帆啃、可以去掉停用詞(沒有特殊含義的詞瞬女，比如英文的a,is等，中文： 這努潘，的诽偷，是等)，框架一般支持可以自定義停用詞

常用框架：
    1疯坤、Lucene
        Apache下面的一個開源項(xiàng)目报慕，高性能的、可擴(kuò)展的工具庫压怠，提供搜索的基本架構(gòu)眠冈；
        如果開發(fā)人員需用使用的話，需用自己進(jìn)行開發(fā),成本比較大刑峡，但是性能高

    2洋闽、solr
        Solr基于Lucene的全文搜索框架，提供了比Lucene更為豐富的功能突梦，
        同時實(shí)現(xiàn)了可配置诫舅、可擴(kuò)展并對查詢性能進(jìn)行了優(yōu)化
        建立索引時，搜索效率下降宫患，實(shí)時索引搜索效率不高
        數(shù)據(jù)量的增加刊懈，Solr的搜索效率會變得更低,適合小的搜索應(yīng)用，對應(yīng)java客戶端的是solrj


    3娃闲、elasticSearch
        基于Lucene的搜索框架, 它提供了一個分布式多用戶能力的全文搜索引擎虚汛，基于RESTful web接口
        上手容易，拓展節(jié)點(diǎn)方便皇帮，可用于存儲和檢索海量數(shù)據(jù)卷哩，接近實(shí)時搜索，海量數(shù)據(jù)量增加属拾，搜索響應(yīng)性能幾乎不受影響将谊；
        分布式搜索框架冷溶，自動發(fā)現(xiàn)節(jié)點(diǎn)，副本機(jī)制尊浓，保障可用性

3逞频、新版本 elasticSearch 6.1.2介紹
簡介：介紹ES的主要特點(diǎn)和使用場景，新特性講解

elasticSearch主要特點(diǎn)

    1栋齿、特點(diǎn)：全文檢索苗胀，結(jié)構(gòu)化檢索，數(shù)據(jù)統(tǒng)計(jì)瓦堵、分析基协，接近實(shí)時處理，分布式搜索(可部署數(shù)百臺服務(wù)器)谷丸，處理PB級別的數(shù)據(jù)
        搜索糾錯堡掏，自動完成
    2、使用場景：日志搜索刨疼，數(shù)據(jù)聚合，數(shù)據(jù)監(jiān)控鹅龄，報(bào)表統(tǒng)計(jì)分析
    
    3揩慕、國內(nèi)外使用者：維基百科，Stack Overflow扮休，GitHub


新特性講解

    1迎卤、6.1.x版本基于Lucene 7.1.0，更快玷坠，性能進(jìn)一步提升,對應(yīng)的序列化組件蜗搔，升級到Jackson 2.8

    2、自適應(yīng)副本選擇
    今天在Elasticsearch中八堡，對同一分片的一系列搜索請求將以循環(huán)方式轉(zhuǎn)發(fā)到主要和每個副本樟凄。如果一個節(jié)點(diǎn)啟動了長時間的垃圾收集，這可能會出現(xiàn)問題 - 搜索請求仍將被轉(zhuǎn)發(fā)到緩慢的節(jié)點(diǎn)兄渺，并且會影響搜索延遲缝龄。

    在6.1中，我們添加了一個稱為自適應(yīng)副本選擇的實(shí)驗(yàn)性功能挂谍。每個節(jié)點(diǎn)跟蹤并比較搜索請求到其他節(jié)點(diǎn)的時間叔壤，并使用這些信息來調(diào)整向特定節(jié)點(diǎn)發(fā)送請求的頻率。在我們的基準(zhǔn)測試中口叙，這樣可以大大提高搜索吞吐量炼绘，降低99％的延遲。
    這個選項(xiàng)在默認(rèn)情況下是禁用的


    3妄田、推薦使用5.0版本推出的Java REST/HTTP客戶端俺亮，依賴少驮捍，比Transport使用更方便，在基準(zhǔn)測試中铅辞，性能并不輸于Transport客戶端厌漂，

    在5.0到6.0版本中，每次有對應(yīng)的API更新, 文檔中也說明斟珊，推薦使用這種方式進(jìn)行開發(fā)使用,所有可用節(jié)點(diǎn)間的負(fù)載均衡
    在節(jié)點(diǎn)故障和特定響應(yīng)代碼的情況下進(jìn)行故障轉(zhuǎn)移,失敗的連接處罰（失敗的節(jié)點(diǎn)是否重試取決于失敗的連續(xù)次數(shù);失敗的失敗次數(shù)越多苇倡，客戶端在再次嘗試同一節(jié)點(diǎn)之前等待的時間越長）
    

    官方文檔：
    1、6.0更新特性
     https://www.elastic.co/guide/en/elasticsearch/reference/6.0/release-notes-6.0.0.html#breaking-java-6.0.0
    2囤踩、6.1更新特性 
    https://www.elastic.co/guide/en/elasticsearch/reference/6.1/release-notes-6.1.0.html

4旨椒、windows安裝啟動ElasticSearch
簡介：windows環(huán)境下安裝JDK8和 ElasticSearch

5、阿里云服務(wù)器 快速安裝ElasticSearch
簡介：阿里云ecs介紹,wget命令下載安裝包,快速部署 elasticSearch節(jié)點(diǎn)

linux下使用wget下載jdk8:
進(jìn)到目錄/usr/local/software 
    wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz"
vim /etc/profile
    加入  
    export JAVA_HOME=/usr/local/software/jdk8
    export JAVA_BIN=/usr/local/software/jdk8
    export PATH=$PATH:$JAVA_HOME/bin
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export JAVA_HOME JAVA_BIN PATH CLASSPATH


使用wget 下載elasticsearch安裝包
    wget  https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.2.tar.gz
解壓
    tar -zxvf elasticsearch-6.2.2.tar.gz 



配置es出現(xiàn)相關(guān)問題處理：
    1堵漱、問題一
        Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c5330000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12)
        #
        # There is insufficient memory for the Java Runtime Environment to continue.
        # Native memory allocation (mmap) failed to map 986513408 bytes for committing reserved memory.
        # An error report file with more information is saved as:
        # /usr/local/software/temp/elasticsearch-6.2.2/hs_err_pid1912.log
    解決：內(nèi)存不夠综慎，購買阿里云的機(jī)器可以動態(tài)增加內(nèi)存

    2、問題二
        [root@iZwz95j86y235aroi85ht0Z bin]# ./elasticsearch
        [2018-02-22T20:14:04,870][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [] uncaught exception in thread [main]
        org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
        at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:125) ~[elasticsearch-6.2.2.jar:6.2.2]
        at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112) ~[elasticsearch-6.2.2.jar:6.2.2]
        at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[elasticsearch-6.2.2.jar:6.2.2]
        at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[elasticsearch-cli-6.2.2.jar:6.2.2]
    解決：用非root用戶
        添加用戶：useradd -m 用戶名  然后設(shè)置密碼  passwd 用戶名
        

    3勤庐、問題三
        ./elasticsearch
        Exception in thread "main" java.nio.file.AccessDeniedException: /usr/local/software/temp/elasticsearch-6.2.2/config/jvm.options
       解決：權(quán)限不夠 chmod 777 -R 當(dāng)前es目錄

    常見配置問題資料：http://www.reibang.com/p/c5d6ec0f35e0

6示惊、ElasticSearch目錄和配置文件介紹
簡介：介紹ES目錄結(jié)構(gòu)，配置文件基本說明
bin: 啟動文件
log: 日志文件愉镰，包括運(yùn)行日志米罚，慢查詢?nèi)罩?br> config: 核心配置文件
lib: 依賴包
plugins :插件

7、ElasticSearch核心配置文件講解丈探，性能優(yōu)化配置
簡介：講解核心配置文件录择，JVM參數(shù)配置，性能優(yōu)化
健康狀態(tài)檢查：http://localhost:9200/_cluster/health
jvm.options 虛擬機(jī)參數(shù)配置文件
配置heap內(nèi)存一樣

    elasticsearch.yml   主配置文件
        cluster.name  集群名稱碗降，同一個網(wǎng)段自動加入
        node.name     節(jié)點(diǎn)名稱
        http.port     http端口
    
    注意事項(xiàng)
         本地啟動多個節(jié)點(diǎn)隘竭，復(fù)制es安裝包的時候，需要刪除里面data目錄里面的資料讼渊，不然無法加入集群

8动看、ElasticSearch基礎(chǔ)概念講解
簡介:es的index索引,document文檔對象，副本精偿，多節(jié)點(diǎn)集群等基礎(chǔ)知識

    1弧圆、通俗的解釋：
        在Elasticsearch中，文檔歸屬于一種類型(type),而這些類型存在于索引(index)中, 索引名稱必須是小寫
        Relational DB -> Database -> Table -> Row -> Column
        Elasticsearch -> Indice   -> Type  -> Document -> Field
    

    2笔咽、分片shards：
        數(shù)據(jù)量特大搔预，沒有足夠大的硬盤空間來一次性存儲沉噩，且一次性搜索那么多的數(shù)據(jù)贱除，響應(yīng)跟不上es提供把數(shù)據(jù)進(jìn)行分片存儲幔睬，這樣方便進(jìn)行拓展和提高吞吐
    
    3帆喇、副本replicas：
        分片的拷貝蒲讯，當(dāng)主分片不可用的時候闹炉，副本就充當(dāng)主分片進(jìn)行使用
                    

    4鞭盟、Elasticsearch中的每個索引分配5個主分片和1個副本
    如果你的集群中至少有兩個節(jié)點(diǎn)个从，你的索引將會有5個主分片和另外5個復(fù)制分片（1個完全拷貝），這樣每個索引總共就有10個分片鸭轮。

9臣淤、search搜索語句入門之URL搜索
簡介:講解URL中的_search搜索語句的基本使用，美化響應(yīng)結(jié)果, 索引的基礎(chǔ)操作

集群健康檢查
    http://localhost:9200/_cat/health?v
    http://localhost:9200/_cluster/health（推薦）

    狀態(tài)說明
        green：正常
        yellow: 集群正常 數(shù)據(jù)正常窃爷，部分副本不正常
        red: 集群部分正常邑蒋，數(shù)據(jù)可能丟失，需要緊急修復(fù)

查詢節(jié)點(diǎn)列表
    http://localhost:9200/_cat/nodes?v

查看所有索引
    http://localhost:9200/_cat/indices?v
    目前 集群中沒有任何索引

補(bǔ)充：
    curl 
    -X 指定http的請求方法 有HEAD GET POST PUT DELETE 
    -d 指定要傳輸?shù)臄?shù)據(jù) 
    -H 指定http請求頭信息 

新增索引
    curl -XPUT 'localhost:9201/blog_test?pretty'
    curl -XPUT 'localhost:9201/blog?pretty'

刪除索引
    curl -XDELETE 'localhost:9200/blog_test?pretty'

新增一條記錄按厘，并指定為article類型医吊，ID為1

curl -XPUT -H "Content-Type: application/json" 'localhost:9201/blog/article/1?pretty' -d '
{
"title": "小D課堂啦啦啦",
"content":"xdclass.net 小D課堂成立于2016年的，專注互聯(lián)網(wǎng)在線教育逮京，課程范圍包括前端卿堂，后端，大數(shù)據(jù)懒棉，人工智能草描，微信開發(fā)等"
}'

curl -XPUT -H "Content-Type: application/json" 'localhost:9201/blog/article/2?pretty' -d '
{
"title": "test",
"content":"testsfsdfdsfdsf",
"PV":10
}'

curl -XPUT -H "Content-Type: application/json" 'localhost:9201/blog/article/3?pretty' -d '
{
"title": "test",
"content":"testsfsdfdsfdsf",
"PV":23
}'
空間不夠新增失敗處理 curl -XPUT -H "Content-Type: application/json" http://localhost:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}'

        {
          "error" : {
            "root_cause" : [
              {
                "type" : "cluster_block_exception",
                "reason" : "blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"
              }
            ],
            "type" : "cluster_block_exception",
            "reason" : "blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"
          },
          "status" : 403
        }

ID查詢記錄
    curl -XGET 'localhost:9200/blog/article/1'
    curl -XGET 'localhost:9200/blog/article/1?pretty'(美化推薦)

搜索
    curl -XGET 'http://localhost:9201/blog/article/_search?q=title:小A'

10、search搜索語句入門之結(jié)構(gòu)化查詢語句DSL
簡介：講解結(jié)構(gòu)化查詢語句DSL的使用策严，bool陶珠，filter查詢等

新增數(shù)據(jù)集

curl -XPUT -H "Content-Type: application/json" 'localhost:9201/blog/article/7?pretty' -d '
{
"title": "elk搭建日志采集系統(tǒng)",
"content":"elk elasticsearch logstash kibana",
"PV":18
}'

什么是query DSL
    1、Domain Specific Language 領(lǐng)域特定語言
    2享钞、Elasticsearch提供了完整的查詢DSL，基于JSON定義查詢
    3诀蓉、用于構(gòu)造復(fù)雜的查詢語句

curl查詢(空格處理不當(dāng),會出問題)

curl -XPOST -H "Content-Type: application/json" 'http://localhost:9201/blog/article/_search' -d '{
"query" : {
"term" : { "title" : "elk" }
}
}'
建議使用postman工具
post方式提交栗竖，增加http頭信息
body里面選row格式，粘貼對應(yīng)的dsl即可

bool查詢?nèi)腴T   
    {
      "query": {
        "bool": {
          "must": [
            { "match": { "title": "elk" } }
          ],
          "must_not": [
            { "match": { "title": "小D" } }
          ]
        }
      }
    }
filter查詢?nèi)腴T（filtered語法已經(jīng)在5.0版本后移除了渠啤，在2.0時候標(biāo)記過期狐肢，改用filter ）
參考地址：https://www.elastic.co/guide/en/elasticsearch/reference/5.0/query-dsl-filtered-query.html
{
  "query": {
    "bool": {
      "filter": {
        "range": {
          "PV": {
            "gt": 15
          }
        }
      },
      "must": {
        "match": {
          "title": "ELK"
        }
      }
    }
  }
}

總結(jié)：（官網(wǎng)參考 https://www.elastic.co/guide/en/elasticsearch/reference/current/query-filter-context.html）

    1、大部分filter的速度快于query的速度 
    2沥曹、filter不會計(jì)算相關(guān)度得分份名，且結(jié)果會有緩存，效率高
    3妓美、全文搜索僵腺、評分排序，使用query
    4壶栋、是非過濾辰如，精確匹配，使用filter

章節(jié)三 Logstash零基礎(chǔ)入門到采集日志實(shí)戰(zhàn)

11贵试、Logstash基本介紹和使用場景
簡介：講解什么是logstash琉兜，里面的基本工作流程input,filter,output等說明

什么是logstash (文檔地址 https://www.elastic.co/guide/en/logstash/current/index.html)
    開源的日志收集引擎凯正，具備實(shí)時傳輸?shù)哪芰?    讀取不同的數(shù)據(jù)源，并進(jìn)行過濾豌蟋，開發(fā)者自定義規(guī)范輸出到目的地
    日志來源多（如系統(tǒng)日志廊散，應(yīng)用日志，服務(wù)器日志等）

流程講解
    logstash通過管道pipeline進(jìn)行傳輸梧疲，必選的兩個組件是輸入input和輸出output允睹，還有個可選過濾器filter
    logstash將數(shù)據(jù)流中等每一條數(shù)據(jù)稱之為一個event,即讀取每一行數(shù)據(jù)的行為叫做事件
    #輸入
    input {
      ...
    }

    # 過濾器
    filter {
      ...
    }

    # 輸出
    output {
      ...
    }

12、Logstash插件介紹
簡介：講解input,filter和output的插件的基本使用

簡單的配置 test.conf

===================================

input {

從文件讀取日志信息

file {
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}
}

filter {

}

output {
#標(biāo)準(zhǔn)輸出
elasticsearch {
hosts => ["localhost:9200"]
index => "logstash-test-%{type}-%{host}"
}
}

===================================

input插件：https://www.elastic.co/guide/en/logstash/current/input-plugins.html
    file往声，http擂找，kafka，rabbitmq等

filter插件：https://www.elastic.co/guide/en/logstash/current/filter-plugins.html
    grok(號稱將非標(biāo)準(zhǔn)化的日志數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)化并且可搜索數(shù)據(jù)最好的方式浩销，常用于處理Niginx贯涎，sysLog等日志)
    drop(跳過某些日志，不進(jìn)入output)
    geoip(獲取地理信息)

output插件：https://www.elastic.co/guide/en/logstash/current/output-plugins.html
    elasticSearch,cvs,email,file等

13慢洋、阿里云服務(wù)器部署Logstash 6.1.2
簡介：阿里云Centos部署Logstash塘雳，目錄文件，配置講解普筹，基本功能測試

下載安裝包
    wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.2.tar.gz

    解壓：tar -zxvf logstash-6.2.2.tar.gz


快速啟動(需要java8 jre,目前不支持java9)
    ./bin/logstash -e 'input {stdin {}} output {stdout {}}'


目錄文件說明
    https://www.elastic.co/guide/en/logstash/6.2/dir-layout.html

配置講解
    https://www.elastic.co/guide/en/logstash/6.2/logstash-settings-file.html

    logstash.yml  修改 pipeline.workers败明，根據(jù)CPU核數(shù)增加1到2即可
    jvm.options   修改 xms和xmx為相同，一般是系統(tǒng)內(nèi)存三份之二

14太防、Logstash采集輸送日志input filter output流程測試
簡介：講解Logstash采集日志和輸送日志流程測試,包括input妻顶，filter和output元素的測試
bin/logstash -f test1.conf

./logstash -f ../config/test1.conf

codec的使用( Coder/decoder 兩個單詞首字母縮寫）
    Codec: 解碼編碼 數(shù)據(jù)格式  
    好處 更方便logstash與支持自定義數(shù)據(jù)格式的運(yùn)維產(chǎn)品進(jìn)行使用

logstash更細(xì)化的處理流程
    input->decode->filter->encode->output  


    配置一 test1.conf

========================================
input {
# 從文件讀取日志信息 輸送到控制臺
file {
path => "/Users/jack/Desktop/person/elk/elasticsearch-6.1.1/logs/elasticsearch.log"
#codec => "json" ## 以JSON格式讀取日志
type => "elasticsearch"
start_position => "beginning"
}
}

            # filter {
            #
            # }

            output {
                # 標(biāo)準(zhǔn)輸出 
                # stdout {}
                # 輸出進(jìn)行格式化，采用Ruby庫來解析日志   
                 stdout { codec => rubydebug }
            }

========================================

filter使用
    例子
        切割插件mutate蜒车，隨意輸入一串以|分割的字符讳嘱，比如 "123|000|ttter|sdfds*=123|dfwe

    配置二 test2_filter.conf

========================================
input {
stdin {}
}

    filter {  
        mutate {  
            split => ["message", "|"]  
        }  
    }  

    output {
        # 標(biāo)準(zhǔn)輸出 
        # stdout {}
        # 輸出進(jìn)行格式化，采用Ruby庫來解析日志   
         stdout { codec => rubydebug }
    }

========================================

15酿愧、logstash案例實(shí)戰(zhàn)之讀取日志輸出到elasticsearch
簡介：從日志文件中讀取日志沥潭，輸出到elasticsearch集群中

    logstash配置文件

    配置三 test3_es.conf
    ========================================
        input {
                file {
                        path => "/Users/jack/Desktop/person/elk/elasticsearch-6.1.1/logs/elasticsearch.log"
                        type => "elasticsearch"
                        start_position => "beginning" #從文件開始處讀寫
                }
        }

        output{
            elasticsearch{
                hosts=>["127.0.0.1:9201"]  
                index => "es-message-%{+YYYY.MM.dd}"
             }
           stdout{codec => rubydebug}
        }
    ========================================

    驗(yàn)證
        查看索引列表 http://localhost:9201/_cat/indices?v
        查看數(shù)據(jù) http://localhost:9201/es-message-2018.02.26/_search

章節(jié)四 Kibana 6.2版本基礎(chǔ)入門到實(shí)戰(zhàn)

16、阿里云cenos服務(wù)器部署kibana6.2.2
簡介：快速部署kibana嬉挡，并配置外網(wǎng)可以訪問

阿里云下載安裝kibana
    wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.2-linux-x86_64.tar.gz
    解壓 tar -zxvf kibana-6.2.2-linux-x86_64.tar.gz

訪問地址
    本機(jī)：localhost:5601
    阿里云機(jī)器：http://120.79.160.143:5601

阿里云外網(wǎng)訪問
    開放端口,修改配置文件 confing目錄下的kibana.yml
    server.host: "0.0.0.0"

守護(hù)進(jìn)程后臺啟動
    nohup  XXX  &

17钝鸽、kibana基本介紹、和elasticSearch版本兼容問題
簡介：講解什么是kibana庞钢，目錄文件講解拔恰，配置等
官網(wǎng)文檔地址：https://www.elastic.co/guide/en/kibana/current/setup.html
ELK
注意事項(xiàng)
1、kibana和elsticserch版本不能差別大焊夸，否則無法正常使用 比如 Kibana 6.x 和 Elasticsearch 2.x不能正常使用

    2仁连、運(yùn)行比Kibana更高版本的Elasticsearch通常可以工作 例如Kibana 5.0和Elasticsearch 5.1
    
    3、小版本差異會有一些警告出現(xiàn)饭冬，除非兩者升級到相同的版本

windows下安裝啟動文檔 
    https://www.elastic.co/guide/en/kibana/current/windows.html

kibana.yml常見配置項(xiàng)
    elasticsearch.pingTimeout       日常用的ping
    elasticsearch.requestTimeout    讀取es的超時時間
    elasticsearch.url               es主機(jī)地址
    elasticsearch.username          es鑒權(quán)的用戶名
    elasticsearch.password          es鑒權(quán)的密碼

18使鹅、kibana面板講解和功能使用說明
簡介：講解kibana的web界面，各個模塊劃分昌抠，功能的基本使用

kibana狀態(tài)及服務(wù)器資源使用率
    http://120.79.160.143:5601/status


基礎(chǔ)操作文檔：https://www.elastic.co/guide/en/kibana/current/getting-started.html

1患朱、創(chuàng)建索引表達(dá)式
    使用*統(tǒng)配符，去匹配ES中的一個或多個索引(如果沒有匹配炊苫，無法點(diǎn)擊下一步)

2裁厅、discover面板發(fā)現(xiàn)數(shù)據(jù)
    可以指定時間進(jìn)行查詢
    可以使顯示的字段
    查詢索引的數(shù)據(jù)，可以使用lucence語法進(jìn)行查詢

章節(jié)五 項(xiàng)目實(shí)戰(zhàn)系列之阿里云服務(wù)器部署ELK侨艾，采集業(yè)務(wù)日志和分析

19执虹、項(xiàng)目實(shí)戰(zhàn)系列之《采集業(yè)務(wù)應(yīng)用日志》配置
簡介：選擇日志源，配置logstash采集并輸送到elasticSeach

常見問題解決
    1唠梨、JVM內(nèi)存溢出導(dǎo)致的 ES或者Logstash服務(wù)啟不來袋励，報(bào)錯 insufficient memory
        解決：升級機(jī)器的內(nèi)存和CPU；
        或者改elasticSeach和logstash的JVM.option当叭，最大堆內(nèi)存xmx和初始堆內(nèi)存xms


    2茬故、ES啟動報(bào)錯
        seccomp unavailable: CONFIG_SECCOMP not compiled into kernel, CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER are needed
        
        修改elasticsearch.yml 添加一下內(nèi)容          
        bootstrap.memory_lock: false   為了避免內(nèi)存和磁盤之間的swap
        bootstrap.system_call_filter: false  

    3、ERROR: bootstrap checks failed
        max virtual memory areas vm.max_map_count [65530] is too low, increase to at least 

        臨時設(shè)置：sudo sysctl -w vm.max_map_count=262144
        永久修改：
        修改/etc/sysctl.conf 文件蚁鳖，添加 “vm.max_map_count”設(shè)置
        并執(zhí)行：sysctl -p

20磺芭、項(xiàng)目實(shí)戰(zhàn)系列一之《采集業(yè)務(wù)應(yīng)用日志》應(yīng)用
簡介：通過kibana的web管理界面，建立簡單的日志分析功能

21醉箕、項(xiàng)目實(shí)戰(zhàn)系列之Kibana圖形钾腺、報(bào)表分析
簡介：講解業(yè)務(wù)應(yīng)用日志在Kibana上的可視化分析，柱狀圖讥裤，餅狀圖等

官方文檔地址：
    https://www.elastic.co/guide/en/kibana/current/tutorial-load-dataset.html


下載數(shù)據(jù)集
    wget https://download.elastic.co/demos/kibana/gettingstarted/accounts.zip
    解壓 unzip accounts.zip  

導(dǎo)入數(shù)據(jù)到es中
    curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/bank/account/_bulk?pretty' --data-binary @accounts.json


示例地址
    https://www.elastic.co/guide/en/kibana/current/tutorial-visualizing.html