ElasticSearch

①解壓文件 tar -zxvf elasticsearch-6.2.1.tar.gz

②重命名 mv elasticsearch-6.2.1 /usr/local/elasticsearch

③創(chuàng)建數(shù)據(jù)存放路徑 mkdir /usr/local/elk/elasticsearch/data

④建立用戶并授權(quán)(es不能用root運行)

#添加用戶??? useradd es???????? #設(shè)定密碼??? passwd es

#賦予文件夾權(quán)限???? chown -R es:es /usr/local/elasticsearch

⑤修改elasticsearch配置文件 ? ?vim /usr/local/elasticsearch/config/elasticsearch.yml

⑥調(diào)整jvm內(nèi)存 ? ?vim /usr/local/elasticsearch/config/jvm.options

#默認(rèn)是1g官方建議對jvm進(jìn)行一些修改,不然很容易出現(xiàn)OOM,參考官網(wǎng)改參數(shù)配置最好不要超過內(nèi)存的50%

-Xms200m

-Xmx200m

⑦使用非root用戶啟動Elasticsearch

#切換至es賬戶????????? su es

#啟動 /usr/local/elasticsearch/bin/./elasticsearch

如果啟動報如下錯則:切回root用戶 exit? ,修改相應(yīng)配置

ERROR:?[3]?bootstrap?checks?failed??

[1]:?max?file?descriptors?[65535]?for?elasticsearch?process?is?too?low,?increase?to?at?least?[65536]??

[2]:?max?number?of?threads?[3895]?for?user?[elastic]?is?too?low,?increase?to?at?least?[4096]??

[3]:?max?virtual?memory?areas?vm.max_map_count?[65530]?is?too?low,?increase?to?at?least?[262144]??

【1】修改/etc/security/limits.conf卦停,修改到提示值

[root@centos7.4-64?~]#?vim?/etc/security/limits.conf?

* soft nofile 65536

* hard nofile 65536

* soft memlock unlimited

* hard memlock unlimited

【2】修改/etc/security/limits.d/90-nproc.conf 文件

[root@centos7.4-64?~]#?vim?/etc/security/limits.d/90-nproc.conf???

將內(nèi)容改為:? *??????????soft????nproc?????4096

【3】修改/etc/sysctl.conf

[root@centos7.4-64?~]#?vim?/etc/sysctl.conf???

添加配置:vm.max_map_count=262144缺菌,然后執(zhí)行命令??

[root@centos7.4-64?~]#?sysctl?-p


1.es6安裝:

https://blog.csdn.net/cowbin2012/article/details/80717534

https://blog.csdn.net/qq_34021712/article/details/79333090

https://blog.csdn.net/fgf00/article/details/79571940

2.集群搭建
https://www.cnblogs.com/liuchuanfeng/articles/7059268.html

3.logstash使用rpm包安裝的時候沒有配置init的啟動腳本(可無此步驟)

生成啟動腳本,centos6使用sysv參數(shù),centos7使用systemd

# /usr/share/logstash/bin/system-install?/etc/logstash/startup.options sysv

4.es插件安裝:(node, grunt, elasticsearch-head)

https://blog.csdn.net/python36/article/details/80816707(不用單獨下載node)

https://www.cnblogs.com/hts-technology/p/8556279.html

5.啟動es: ?/usr/local/elasticsearch-1/bin/elasticsearch

啟動es-head插件:?/usr/local/elasticsearch-head/./node_modules/grunt/bin/grunt server &

訪問es-head插件:ip+9100



ES學(xué)習(xí)流程

(1)掌握 Elasticsearch 的基本概念禁悠,主要包括:

索引(index)

類型(type)

映射(mapping)

文檔(document)

倒排索引原理

文檔打分機(jī)制

集群(cluster)——單節(jié)點、集群安裝與部署

健康狀態(tài)(red/yellow/green)

數(shù)據(jù)存儲

數(shù)據(jù)類型(long/date/text、keyword/nested等)

數(shù)據(jù)展示(結(jié)合Head插件的基礎(chǔ)可視化)

……

(2)掌握 Elasitcsearch 的基本操作怀樟,主要包括:

新增(insert)

刪除(delete/deletebyquery)

修改(update/updatebyquery)

查找(search)

精確匹配檢索(term、terms盆佣、range往堡、exists)

模糊匹配檢索(wildcard、prefix共耍、negix正則)

分詞全文檢索(match/match_phrase等)

多條件 bool 檢索(must/must_not/should多重組合)

分詞(英文分詞虑灰、拼音分詞、中文分詞)

高亮

分頁查詢

指定關(guān)鍵詞返回

批量操作 bulk

scroll 查詢

reindex 操作

(3)掌握 Elasticsearch 高級操作痹兜,主要包括:

聚合統(tǒng)計(數(shù)量聚合穆咐、最大值、最小值字旭、平均值对湃、求和等聚合操作)

圖像化展示(hisgram 按照日期等聚合)

聚合后分頁

父子文檔

數(shù)組類型

nested 嵌套類型

ES 插件錯誤排查(集群問題、檢索問題遗淳、性能問題)

ES 性能調(diào)優(yōu)(配置調(diào)優(yōu)拍柒、集群調(diào)優(yōu)等)

……

(4)掌握 Elasticsearch Java/Python 等API,主要包括:

Elasticsearch 原生自帶 API洲脂、JEST斤儿、Springboot 等 API 選型

Elasticsearch 多條件 bool 復(fù)雜檢索 API

Elasticsearch 分頁 API

Elasticsearch 高亮 API

Elasticsearch 聚合 API

Elasticsearch 相關(guān) JSON 數(shù)據(jù)解析

……

(5)Elasticsearch 結(jié)合場景開發(fā)實戰(zhàn),主要包括:

數(shù)據(jù)可視化(Kibana恐锦、Grafana 等 其中 Grafana 比較適合監(jiān)控類場景)

通過 logstash/beats 等導(dǎo)入數(shù)據(jù)

Elasticsearch 和 Kafka 結(jié)合的應(yīng)用場景

Elasticsearch 和 Mongo 結(jié)合的應(yīng)用場景

Elasticsearch 和 Hadoop 結(jié)合的應(yīng)用場景

結(jié)合業(yè)務(wù)需求的定制化應(yīng)用場景(日志分析往果、文檔檢索、全文檢索一铅、金融等各行業(yè)檢索)

……

建議的第二學(xué)習(xí)優(yōu)先級為 Kibana陕贮。需要掌握的內(nèi)容如下。

Kibana 安裝與部署

ES 節(jié)點數(shù)據(jù)同步到 Kibana

Kibana Dev Tools 開發(fā)工具熟練使用

Kibana 圖像化組合展示

將 Kibana 圖像化展示效果圖應(yīng)用到自己的開發(fā)環(huán)境中

……

第三學(xué)習(xí)優(yōu)先級為 Logstash潘飘。需要掌握的內(nèi)容如下肮之。

Logstash 的安裝與部署

Logstash 將本地文件導(dǎo)入 ES

logstashinputjdbc 插件(5.X后無需安裝)將 MySQL/Oracle 等關(guān)系型數(shù)據(jù)庫數(shù)據(jù)導(dǎo)入 ES,全量導(dǎo)入和增量導(dǎo)入實現(xiàn)卜录。

logstashinputmongo插件將 Mongo 數(shù)據(jù)導(dǎo)入 ES

logstashinputkafaka 插件將 Kafak 數(shù)據(jù)導(dǎo)入 ES

logstashoutput* 插件將 ES 數(shù)據(jù)導(dǎo)入不同的數(shù)據(jù)庫和實時數(shù)據(jù)流中

……

第四學(xué)習(xí)優(yōu)先級為 Beats戈擒。需要掌握的內(nèi)容如下。

不同類型的 Beats 安裝與部署

將業(yè)務(wù)數(shù)據(jù)通過 Beats 導(dǎo)入 ES

……

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末艰毒,一起剝皮案震驚了整個濱河市筐高,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖柑土,帶你破解...
    沈念sama閱讀 216,496評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蜀肘,死亡現(xiàn)場離奇詭異,居然都是意外死亡稽屏,警方通過查閱死者的電腦和手機(jī)扮宠,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,407評論 3 392
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來狐榔,“玉大人坛增,你說我怎么就攤上這事』牡穑” “怎么了轿偎?”我有些...
    開封第一講書人閱讀 162,632評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長被廓。 經(jīng)常有香客問我坏晦,道長,這世上最難降的妖魔是什么嫁乘? 我笑而不...
    開封第一講書人閱讀 58,180評論 1 292
  • 正文 為了忘掉前任昆婿,我火速辦了婚禮,結(jié)果婚禮上蜓斧,老公的妹妹穿的比我還像新娘仓蛆。我一直安慰自己,他們只是感情好挎春,可當(dāng)我...
    茶點故事閱讀 67,198評論 6 388
  • 文/花漫 我一把揭開白布看疙。 她就那樣靜靜地躺著,像睡著了一般直奋。 火紅的嫁衣襯著肌膚如雪能庆。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,165評論 1 299
  • 那天脚线,我揣著相機(jī)與錄音搁胆,去河邊找鬼。 笑死邮绿,一個胖子當(dāng)著我的面吹牛渠旁,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播船逮,決...
    沈念sama閱讀 40,052評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼顾腊,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了挖胃?” 一聲冷哼從身側(cè)響起杂靶,我...
    開封第一講書人閱讀 38,910評論 0 274
  • 序言:老撾萬榮一對情侶失蹤承耿,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后伪煤,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,324評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡凛辣,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,542評論 2 332
  • 正文 我和宋清朗相戀三年抱既,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片扁誓。...
    茶點故事閱讀 39,711評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡防泵,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出蝗敢,到底是詐尸還是另有隱情捷泞,我是刑警寧澤,帶...
    沈念sama閱讀 35,424評論 5 343
  • 正文 年R本政府宣布寿谴,位于F島的核電站锁右,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏讶泰。R本人自食惡果不足惜咏瑟,卻給世界環(huán)境...
    茶點故事閱讀 41,017評論 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望痪署。 院中可真熱鬧码泞,春花似錦、人聲如沸狼犯。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,668評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽悯森。三九已至宋舷,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間呐馆,已是汗流浹背肥缔。 一陣腳步聲響...
    開封第一講書人閱讀 32,823評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留汹来,地道東北人续膳。 一個月前我還...
    沈念sama閱讀 47,722評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像收班,于是被迫代替她去往敵國和親坟岔。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,611評論 2 353

推薦閱讀更多精彩內(nèi)容