elk環(huán)境搭建

一狐史、說(shuō)明

這篇文章是2020年6月份寫(xiě)在自己博客的，組件版本應(yīng)該都比較低了坯钦。

二预皇、組件

filebeat
kafka
zookeeper
elasticsearch
kibana

三、參考鏈接：

# 1 json在線解析
https://www.json.cn/
# 2 grok debug
http://grokdebug.herokuapp.com/
http://grokdebug.herokuapp.com/patterns
# 3 template接口
https://www.elastic.co/guide/en/elasticsearch/reference/6.8/indices-templates.html
# 4 elk官網(wǎng)指南
https://www.elastic.co/guide/index.html
https://www.elastic.co/

四婉刀、服務(wù)器

172.16.1.30 kc-log-01                            日志所在服務(wù)器
172.16.1.94 kc-online-log-platform-001   elasticsearch  kafka  zookeeper
172.16.1.93 kc-online-log-platform-002  elasticsearch  kafka  zookeeper
172.16.1.92 kc-online-log-platform-003  elasticsearch  kafka  zookeeper  kibana  logstash

五吟温、JAVA JDK安裝

# 1 獲取java jdk安裝包
[root@kc-online-log-platform-001 ~]# ls /opt/
elk  jdk1.8.0_211  kafka
# 2 配置環(huán)境變量
[root@kc-online-log-platform-001 ~]# cat /etc/profile.d/java.sh
export JAVA_HOME=/opt/jdk1.8.0_211
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin
# 3 應(yīng)用環(huán)境變量
[root@kc-online-log-platform-001 ~]# source /etc/profile.d/java.sh

六、目錄結(jié)構(gòu)

[root@kc-online-log-platform-001 elk]# ls /data/
elk  kafka  zk
[root@kc-online-log-platform-001 elk]# ls /data/elk/elasticsearch/
config  data
[root@kc-online-log-platform-001 elk]# ls /data/zk/
zkdatalog  zookeeper

七突颊、elasticsearch集群搭建

# kc-online-log-platform-001
[root@kc-online-log-platform-001 elk]# cat docker-compose.yaml 
version: '3'
services:
  kclog-online-node03:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.8.0
    container_name: kclog-online-node03
    restart: always
    environment:
      - node.name=es-node-03
      - network.publish_host=172.16.1.94
      - network.host=0.0.0.0
      - discovery.seed_hosts=172.16.1.92,172.16.1.93,172.16.1.94
      - cluster.name=kc-log-center
      - cluster.initial_master_nodes=172.16.1.92,172.16.1.93,172.16.1.94
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms2048m -Xmx2048m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /data/elk/elasticsearch/data:/usr/share/elasticsearch/data
      - /data/elk/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    ports:
      - 9200:9200
      - 9300:9300

# kc-online-log-platform-002
[root@kc-online-log-platform-002 ~]# cat /opt/elk/docker-compose.yaml 
version: '3'
services:
  kclog-online-node02:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.8.0
    container_name: kclog-online-node02
    restart: always
    environment:
      - node.name=es-node-02
      - network.publish_host=172.16.1.93
      - network.host=0.0.0.0
      - discovery.seed_hosts=172.16.1.92,172.16.1.93,172.16.1.94
      - cluster.name=kc-log-center
      - cluster.initial_master_nodes=172.16.1.92,172.16.1.93,172.16.1.94
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms2048m -Xmx2048m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /data/elk/elasticsearch/data:/usr/share/elasticsearch/data
      - /data/elk/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    ports:
      - 9200:9200
      - 9300:9300

# kc-online-log-platform-003
[root@kc-online-log-platform-003 ~]# cat /opt/elk/docker-compose.yaml 
version: '3'
services:
  kclog-online-node01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.8.0
    container_name: kclog-online-node01
    restart: always
    environment:
      - node.name=es-node-01
      - network.publish_host=172.16.1.92
      - network.host=0.0.0.0
      - discovery.seed_hosts=172.16.1.92,172.16.1.93,172.16.1.94
      - cluster.name=kc-log-center
      - cluster.initial_master_nodes=172.16.1.92,172.16.1.93,172.16.1.94
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms2048m -Xmx2048m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /data/elk/elasticsearch/data:/usr/share/elasticsearch/data
      - /data/elk/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    ports:
      - 9200:9200
      - 9300:9300

# 上述三臺(tái)服務(wù)器執(zhí)行一下操作：
cd /opt/elk/
docker-compose up -d

八鲁豪、常用api

# elasticsearch api
# 1 獲取索引
curl 'localhost:9200/_cat/indices?v'
curl -ulogstash:jflogstash123 '172.18.238.3:9200/_cat/indices?'   帶密碼查詢(xún)
# 2 創(chuàng)建索引
curl -XPUT 'localhost:9200/customer’
# 3 插入數(shù)據(jù)
curl -XPUT 'localhost:9200/customer/external/1'-d ' { "name": "John Doe”}'
# 4 查詢(xún)數(shù)據(jù)
curl 'localhost:9200/customer/external/1'
# 5 刪除索引
curl -XDELETE 'localhost:9200/customer'
# 6 查看已安裝的插件
curl http://127.0.0.1:9200/_cat/plugins
# 7 查看索引信息
curl -XGET "http://localhost:9200/kc-online-log-2020.06.21/_mapping"
# 8 創(chuàng)建template 其中：kc_online_log_template為創(chuàng)建的template
curl -XPUT -H "Content-Type: application/json" "http://localhost:9200/_template/kc_online_log_template" -d ''
# 9 集群狀態(tài)查看
curl 'localhost:9200/_cat/health?v
# 10 查看集群node
curl 'localhost:9200/_cat/nodes?v'

九、kafka+zookeeper集群

9.1律秃、kc-online-log-platform-001

9.1.1爬橡、zookeeper

[root@kc-online-log-platform-001 config]# grep -v "^#\|^$" /opt/kafka/config/zookeeper.properties
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/data/zk/zookeeper/
dataLogDir=/data/zk/zkdatalog/
clientPort=2181
maxClientCnxns=0
server.1=172.16.1.94:2888:3888
server.2=172.16.1.93:2888:3888
server.3=172.16.1.92:2888:3888
[root@kc-online-log-platform-001 config]# cat /data/zk/zookeeper/myid
1

9.1.2、kafka

[root@kc-online-log-platform-001 config]# cat /opt/kafka/config/server.properties
broker.id=0
listeners=PLAINTEXT://172.16.1.94:9092
host.name=172.16.1.94
port=9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/kafka-logs/
num.partitions=3
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=172.16.1.94:2181,172.16.1.93:2181,172.16.1.92:2181
zookeeper.connection.timeout.ms=6000

9.2棒动、kc-online-log-platform-001

9.2.1糙申、zookeeper

[root@kc-online-log-platform-002 ~]# grep -v "^#\|^$" /opt/kafka/config/zookeeper.properties
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/data/zk/zookeeper/
dataLogDir=/data/zk/zkdatalog/
clientPort=2181
maxClientCnxns=0
server.1=172.16.1.94:2888:3888
server.2=172.16.1.93:2888:3888
server.3=172.16.1.92:2888:3888
[root@kc-online-log-platform-002 ~]# cat /data/zk/zookeeper/myid
2

9.2.2、kafka

[root@kc-online-log-platform-002 ~]# cat /opt/kafka/config/server.properties
broker.id=1
listeners=PLAINTEXT://172.16.1.93:9092
host.name=172.16.1.93
port=9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/kafka-logs/
num.partitions=3
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=172.16.1.94:2181,172.16.1.93:2181,172.16.1.92:2181
zookeeper.connection.timeout.ms=6000

9.3船惨、kc-online-log-platform-001

9.3.1柜裸、zookeeper

[root@kc-online-log-platform-003 kafka]# grep -v "^#\|^$" /opt/kafka/config/zookeeper.properties
tickTime=2000
initLimit=5
syncLimit=2
dataDir=/data/zk/zookeeper/
dataLogDir=/data/zk/zkdatalog/
clientPort=2181
maxClientCnxns=0
server.1=172.16.1.94:2888:3888
server.2=172.16.1.93:2888:3888
server.3=172.16.1.92:2888:3888
[root@kc-online-log-platform-003 kafka]# cat /data/zk/zookeeper/myid
3

9.3.2、kafka

[root@kc-online-log-platform-003 kafka]# cat /opt/kafka/config/server.properties
broker.id=2
listeners=PLAINTEXT://172.16.1.92:9092
host.name=172.16.1.92
port=9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/kafka-logs/
num.partitions=3
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=172.16.1.94:2181,172.16.1.93:2181,172.16.1.92:2181
zookeeper.connection.timeout.ms=6000

十粱锐、啟動(dòng)

# 三臺(tái)服務(wù)器執(zhí)行如下命令：
nohup /opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties &
nohup /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties &

十一疙挺、測(cè)試集群有效性

# 創(chuàng)建一個(gè)topic：fzh
kafka-topics.sh --create --zookeeper inte-zk-node-1:2181 --replication-factor 3 --partitions 1 --topic fzh
# 其它節(jié)點(diǎn)查看該topic是否存在：
kafka-topics.sh --describe --zookeeper kc-online-log-platform-001:2181 --topic fzh
kafka-topics.sh --describe --zookeeper kc-online-log-platform-002:2181 --topic fzh
kafka-topics.sh --describe --zookeeper kc-online-log-platform-003:2181 --topic fzh
創(chuàng)建一個(gè)topic，發(fā)現(xiàn)都能查到該topic怜浅，證明：集群成功铐然。
# 查看topic信息：
./kafka-console-consumer.sh --bootstrap-server 172.16.1.94:9092 --topic kc-online-log --from-beginning

十二、filebeat

12.1恶座、filebeat配置

[root@online-k8s2-master filebeat]# cat filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /mnt/online-data-4/thirdhub*/logs/app.log
    - /mnt/online-data-4/obc-stock-log/logs/app.log
  multiline:
    pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
    negate: true
    match: after
output.kafka:
  hosts: ["172.16.1.94:9092"]
  topic: "kc-online-log"

12.2搀暑、filebeat啟動(dòng)

./filebeat -c filebeat.yml

十三、logstash

13.1奥裸、logstash配置

[root@kc-online-log-platform-003 kafka]# cat /opt/logstash/config/logstash.conf 
input {
  kafka {
    bootstrap_servers => "172.16.1.93:9092"
    topics => ["kc-online-log"]
    codec => json
  }
}
filter {
    grok {
      match => { "message" => "%{USERNAME:day} %{NOTSPACE:time} %{NOTSPACE:threadid} %{LOGLEVEL:level} %{GREEDYDATA:msg}" }
    }
    grok {
      match => { "[log][file][path]" => ".*/%{USERNAME:app_name}/logs" }
    }
}
output {
  elasticsearch {
    hosts => "http://172.16.1.92:9200"
    index => "kc-online-log-%{+YYYY.MM.dd}"
  }
}

13.2险掀、啟動(dòng)

[root@kc-online-log-platform-003 logstash]# ./bin/logstash -f config/logstash.conf

十四、kibana

[root@kc-online-log-platform-003 kibana]# cat docker-compose.yaml
version: '3'
services:
  kclog-kibana:
    image: docker.elastic.co/kibana/kibana:7.8.0
    container_name: kclog-kibana
    restart: always
    environment:
      elasticsearch.hosts: "http://172.16.1.93:9200"
      server.host: "0.0.0.0"
    volumes:
      - /data/elk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml
    ports:
      - "5601:5601"
[root@kc-online-log-platform-003 kibana]# cat /data/elk/kibana/config/kibana.yml
server.name: kibana
server.host: "0.0.0.0"
elasticsearch.hosts: [ "http://172.16.1.92:9200" ]

十五湾宙、elasticsearch索引配置

在kibana上進(jìn)行詞語(yǔ)搜索時(shí)樟氢，經(jīng)常會(huì)發(fā)現(xiàn)搜索的內(nèi)容不準(zhǔn)確冈绊，eg：搜索thread:"app-app1-app2"的時(shí)候，有app或app1或app2的thread都會(huì)被檢索到埠啃，而我們實(shí)際想要的是只有"app-app1-app2"的thread信息死宣。
查看索引mapping信息

curl -XGET "http://localhost:9200/kc-online-log-2020.06.21/_mapping"

用在線json分析工具分析10.1得到的結(jié)果：

curl -XPUT -H "Content-Type: application/json" "http://localhost:9200/_template/kc_online_log_template" -d '
{
    "index_patterns": ["kc-online-log-*"],
    "mappings": {
        "properties": {
            "app_name": {
                "type": "keyword"
            },
            "agent": {
                "properties": {
                    "hostname": {
                        "type": "keyword"    # 這個(gè)地方是解決問(wèn)題的關(guān)鍵，至于template的結(jié)構(gòu)書(shū)寫(xiě)碴开，可以直接復(fù)制黏貼10.1得到的結(jié)果毅该，根據(jù)實(shí)際情況來(lái)。
                    }
                }
            }
        }
    }
}'
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 人面猴
    序言：七十年代末潦牛，一起剝皮案震驚了整個(gè)濱河市眶掌，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌巴碗，老刑警劉巖朴爬，帶你破解...
    沈念sama閱讀 207,113評(píng)論 6贊 481
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場(chǎng)離奇詭異橡淆，居然都是意外死亡召噩，警方通過(guò)查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,644評(píng)論 2贊 381
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門(mén)逸爵，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)具滴，“玉大人，你說(shuō)我怎么就攤上這事师倔」乖希” “怎么了？”我有些...
    開(kāi)封第一講書(shū)人閱讀 153,340評(píng)論 0贊 344
  • 道士緝兇錄：失蹤的賣(mài)姜人
    文/不壞的土叔 我叫張陵趋艘，是天一觀的道長(zhǎng)贞绳。 經(jīng)常有香客問(wèn)我，道長(zhǎng)致稀，這世上最難降的妖魔是什么？ 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,449評(píng)論 1贊 279
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任俱尼，我火速辦了婚禮抖单，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘遇八。我一直安慰自己矛绘，他們只是感情好，可當(dāng)我...
    茶點(diǎn)故事閱讀 64,445評(píng)論 5贊 374
  • 惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
    文/花漫 我一把揭開(kāi)白布刃永。 她就那樣靜靜地躺著货矮，像睡著了一般。 火紅的嫁衣襯著肌膚如雪斯够。 梳的紋絲不亂的頭發(fā)上囚玫，一...
    開(kāi)封第一講書(shū)人閱讀 49,166評(píng)論 1贊 284
  • 城市分裂傳說(shuō)
    那天喧锦，我揣著相機(jī)與錄音，去河邊找鬼抓督。 笑死燃少，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的铃在。 我是一名探鬼主播阵具，決...
    沈念sama閱讀 38,442評(píng)論 3贊 401
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開(kāi)眼，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼定铜！你這毒婦竟也來(lái)了阳液？” 一聲冷哼從身側(cè)響起，我...
    開(kāi)封第一講書(shū)人閱讀 37,105評(píng)論 0贊 261
  • 萬(wàn)榮殺人案實(shí)錄
    序言：老撾萬(wàn)榮一對(duì)情侶失蹤揣炕，失蹤者是張志新（化名）和其女友劉穎帘皿，沒(méi)想到半個(gè)月后，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體祝沸，經(jīng)...
    沈念sama閱讀 43,601評(píng)論 1贊 300
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡矮烹，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,066評(píng)論 2贊 325
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了罩锐。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片奉狈。...
    茶點(diǎn)故事閱讀 38,161評(píng)論 1贊 334
  • 活死人
    序言：一個(gè)原本活蹦亂跳的男人離奇死亡，死狀恐怖涩惑，靈堂內(nèi)的尸體忽然破棺而出仁期，到底是詐尸還是另有隱情，我是刑警寧澤竭恬，帶...
    沈念sama閱讀 33,792評(píng)論 4贊 323
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布跛蛋，位于F島的核電站，受9級(jí)特大地震影響痊硕，放射性物質(zhì)發(fā)生泄漏赊级。R本人自食惡果不足惜，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,351評(píng)論 3贊 307
  • 男人毒藥：我在死后第九天來(lái)索命
    文/蒙蒙 一岔绸、第九天 我趴在偏房一處隱蔽的房頂上張望理逊。 院中可真熱鬧，春花似錦盒揉、人聲如沸晋被。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,352評(píng)論 0贊 19
  • 一樁弒父案刚盈，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)羡洛。三九已至，卻和暖如春藕漱，著一層夾襖步出監(jiān)牢的瞬間欲侮，已是汗流浹背崭闲。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,584評(píng)論 1贊 261
  • 情欲美人皮
    我被黑心中介騙來(lái)泰國(guó)打工， 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留锈麸，地道東北人镀脂。 一個(gè)月前我還...
    沈念sama閱讀 45,618評(píng)論 2贊 355
  • 代替公主和親
    正文 我出身青樓，卻偏偏與公主長(zhǎng)得像忘伞，于是被迫代替她去往敵國(guó)和親薄翅。 傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,916評(píng)論 2贊 344

推薦閱讀更多精彩內(nèi)容

  • https://blog.51cto.com/11924224/2158203 https://www.clxz....
    Kay_cee閱讀 501評(píng)論 0贊 2
  • 一氓奈、配置 注：由于實(shí)驗(yàn)性搭建翘魄，選擇windows系統(tǒng)，但選擇Linux系統(tǒng)效果更佳 二舀奶、部署方案 1.ELK+Re...
    枯木風(fēng)閱讀 628評(píng)論 0贊 0
  • 服務(wù)器環(huán)境 通過(guò)Docker安裝 選擇 sebp/elk 鏡像 開(kāi)啟容器暑竟，并且掛載一個(gè)磁盤(pán) 注意事項(xiàng) vm.max...
    塵埃落定_kinslau閱讀 1,121評(píng)論 0贊 0
  • 一、 ELK闡述 ELK是Elasticsearch育勺、Logstash但荤、Kibana的簡(jiǎn)稱(chēng)，這三者是核心套件涧至，但并...
    Aeroball閱讀 366評(píng)論 0贊 0
  • 本文介紹的組件搭建腹躁，均為docker環(huán)境，如需查看其他環(huán)境搭建南蓬，請(qǐng)移步官網(wǎng)進(jìn)行查看 elastic官網(wǎng) 1.ela...
    nickbi閱讀 1,255評(píng)論 0贊 0