Elasticsearch集群部署

Elastic 的底層是開源庫 Lucene。但是沪铭,你沒法直接用 Lucene壮池,必須自己寫代碼去調用它的接口。Elastic 是 Lucene 的封裝杀怠,提供了 REST API 的操作接口椰憋,開箱即用。Elastic 的底層是開源庫 赔退。但是橙依,你沒法直接用 Lucene,必須自己寫代碼去調用它的接口硕旗。Elastic 是 Lucene 的封裝窗骑,提供了 REST API 的操作接口,開箱即用漆枚。

一创译、ES中的基本概念

cluster

代表一個集群,集群中有多個節(jié)點墙基,其中有一個為主節(jié)點软族,這個主節(jié)點是可以通過選舉產生的,主從節(jié)點是對于集群內部來說的碘橘。es的一個概念就是去中心化互订,字面上理解就是無中心節(jié)點,這是對于集群外部來說的痘拆,因為從外部來看es集群仰禽,在邏輯上是個整體,你與任何一個節(jié)點的通信和與整個es集群通信是等價的。

shards

代表索引分片吐葵,es可以把一個完整的索引分成多個分片规揪,這樣的好處是可以把一個大的索引拆分成多個,分布到不同的節(jié)點上温峭。構成分布式搜索猛铅。分片的數量只能在索引創(chuàng)建前指定凤藏,并且索引創(chuàng)建后不能更改奸忽。

replicas

代表索引副本,es可以設置多個索引的副本揖庄,副本的作用一是提高系統的容錯性栗菜,當某個節(jié)點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率蹄梢,es會自動對搜索請求進行負載均衡疙筹。

recovery

代表數據恢復或叫數據重新分布,es在有節(jié)點加入或退出時會根據機器的負載對索引分片進行重新分配禁炒,掛掉的節(jié)點重新啟動時也會進行數據恢復而咆。

river

代表es的一個數據源,也是其它存儲方式(如:數據庫)同步數據到es的一個方法幕袱。它是以插件方式存在的一個es服務暴备,通過讀取river中的數據并把它索引到es中,官方的river有couchDB的凹蜂,RabbitMQ的馍驯,Twitter的,Wikipedia的玛痊。

gateway

代表es索引快照的存儲方式汰瘫,es默認是先把索引存放到內存中,當內存滿了時再持久化到本地硬盤擂煞。gateway對索引快照進行存儲混弥,當這個es集群關閉再重新啟動時就會從gateway中讀取索引備份數據。es支持多種類型的gateway对省,有本地文件系統(默認)蝗拿,分布式文件系統,Hadoop的HDFS和amazon的s3云存儲服務蒿涎。

discovery.zen

代表es的自動發(fā)現節(jié)點機制哀托,es是一個基于p2p的系統,它先通過廣播尋找存在的節(jié)點劳秋,再通過多播協議來進行節(jié)點之間的通信仓手,同時也支持點對點的交互胖齐。

Transport

代表es內部節(jié)點或集群與客戶端的交互方式,默認內部是使用tcp協議進行交互嗽冒,同時它支持http協議(json格式)呀伙、thrift、servlet添坊、memcached剿另、zeroMQ等的傳輸協議(通過插件方式集成)。


二贬蛙、部署環(huán)境

采用三臺CentOS7.3部署Elasticsearch集群雨女,部署Elasticsearch集群就不得不提索引分片,以下是索引分片的簡單介紹速客。

ES集群中索引可能由多個分片構成戚篙,并且每個分片可以擁有多個副本五鲫。通過將一個單獨的索引分為多個分片溺职,我們可以處理不能在一個單一的服務器上面運行的大型索引,簡單的說就是索引的大小過大位喂,導致效率問題浪耘。不能運行的原因可能是內存也可能是存儲。由于每個分片可以有多個副本塑崖,通過將副本分配到多個服務器七冲,可以提高查詢的負載能力。

三规婆、部署Elasticsearch集群

1.安裝JDK

Elasticsearch是基于Java開發(fā)是一個Java程序澜躺,運行在Jvm中,所以第一步要安裝JDK

yum install -y java-1.8.0-openjdk-devel

2.下載elasticsearch

https://artifacts.elastic.co/downloads/elasticsearch/是ELasticsearch的官方站點抒蚜,如果需要下載最新的版本掘鄙,進入官網下載即可∥怂瑁可以下載到本地電腦然后再導入CentOS中操漠,也可以直接在CentOS中下載。

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.1.rpm

3.配置目錄

安裝完畢后會生成很多文件饿这,包括配置文件日志文件等等浊伙,下面幾個是最主要的配置文件路徑

/etc/elasticsearch/elasticsearch.yml                            # els的配置文件
/etc/elasticsearch/jvm.options                                  # JVM相關的配置,內存大小等等
/etc/elasticsearch/log4j2.properties                            # 日志系統定義
/var/lib/elasticsearch                                          # 數據的默認存放位置

4.創(chuàng)建用于存放數據與日志的目錄

數據文件會隨著系統的運行飛速增長长捧,所以默認的日志文件與數據文件的路徑不能滿足我們的需求嚣鄙,那么手動創(chuàng)建日志與數據文件路徑,可以使用NFS串结、可以使用Raid等等方便以后的管理與擴展

mkdir /els/{log,date}
chown -R elasticsearch.elasticsearch /els/*

5.集群配置

集群配置中最重要的兩項是node.namenetwork.host哑子,每個節(jié)點都必須不通廓八。其中node.name是節(jié)點名稱主要是在Elasticsearch自己的日志加以區(qū)分每一個節(jié)點信息。
discovery.zen.ping.unicast.hosts是集群中的節(jié)點信息赵抢,可以使用IP地址剧蹂、可以使用主機名(必須可以解析)。

vim /etc/elasticsearch
cluster.name: aubin-cluster                                 # 集群名稱
node.name: els1                                             # 節(jié)點名稱烦却,僅僅是描述名稱宠叼,用于在日志中區(qū)分

path.data: /var/lib/elasticsearch                           # 數據的默認存放路徑
path.logs: /var/log/elasticsearch                           # 日志的默認存放路徑

network.host: 192.168.0.1                                   # 當前節(jié)點的IP地址
http.port: 9200                                             # 對外提供服務的端口,9300為集群服務的端口

discovery.zen.ping.unicast.hosts: ["172.18.68.11", "172.18.68.12","172.18.68.13"]       
# 集群個節(jié)點IP地址其爵,也可以使用els冒冬、els.shuaiguoxia.com等名稱,需要各節(jié)點能夠解析

discovery.zen.minimum_master_nodes: 2                       # 為了避免腦裂摩渺,集群節(jié)點數最少為 半數+1

6.JVM配置

由于Elasticsearch是Java開發(fā)的简烤,所以可以通過/etc/elasticsearch/jvm.options配置文件來設定JVM的相關設定。如果沒有特殊需求按默認即可摇幻。
不過其中還是有兩項最重要的-Xmx1g-Xms1gJVM的最大最小內存横侦。如果太小會導致Elasticsearch剛剛啟動就立刻停止。太大會拖慢系統本身

vim /etc/elasticsearch/jvm.options
-Xms1g                                                  # JVM最大绰姻、最小使用內存
-Xmx1g

7.啟動Elasticsearch

由于啟動Elasticsearch會自動啟動daemon-reload所以最后一項可以省略枉侧。

systemctl enable elasticsearch.service
systemctl start elasticsearch
systemctl daemon-reload                                 # 可以省略

8.測試

Elasticsearch直接聽過了http接口,所以直接使用curl命令就可以查看到一些集群相關的信息狂芋。

可以使用curl命令來獲取集群的相關的信息榨馁,

  • _cat代表查看信息
  • nodes為查看節(jié)點信息,默認會顯示為一行帜矾,所以就用刀了?preety讓信息更有好的顯示
  • ?preety讓輸出信息更友好的顯示
curl -XGET 'http://172.18.68.11:9200/_cat/nodes?pretty'
172.18.68.12 18 68 0 0.07 0.06 0.05 mdi - els2
172.18.68.13 25 67 0 0.01 0.02 0.05 mdi * els3             #  *號表示為當前節(jié)點為主節(jié)點的意思
172.18.68.11  7 95 0 0.02 0.04 0.05 mdi - els1

如果你要想查看更多有關于集群信息翼虫、當前節(jié)點統計信息等等,可以使用一下命令來獲取到所有可以查看的信息屡萤。

curl -XGET 'http://172.18.68.11:9200/_cat?pretty'   
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末珍剑,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子灭衷,更是在濱河造成了極大的恐慌次慢,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,122評論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件翔曲,死亡現場離奇詭異迫像,居然都是意外死亡,警方通過查閱死者的電腦和手機瞳遍,發(fā)現死者居然都...
    沈念sama閱讀 93,070評論 3 395
  • 文/潘曉璐 我一進店門闻妓,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人掠械,你說我怎么就攤上這事由缆∽⒆妫” “怎么了?”我有些...
    開封第一講書人閱讀 164,491評論 0 354
  • 文/不壞的土叔 我叫張陵均唉,是天一觀的道長是晨。 經常有香客問我,道長舔箭,這世上最難降的妖魔是什么罩缴? 我笑而不...
    開封第一講書人閱讀 58,636評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮层扶,結果婚禮上箫章,老公的妹妹穿的比我還像新娘。我一直安慰自己镜会,他們只是感情好檬寂,可當我...
    茶點故事閱讀 67,676評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著戳表,像睡著了一般桶至。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上扒袖,一...
    開封第一講書人閱讀 51,541評論 1 305
  • 那天塞茅,我揣著相機與錄音,去河邊找鬼季率。 笑死,一個胖子當著我的面吹牛描沟,可吹牛的內容都是我干的飒泻。 我是一名探鬼主播,決...
    沈念sama閱讀 40,292評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼吏廉,長吁一口氣:“原來是場噩夢啊……” “哼泞遗!你這毒婦竟也來了?” 一聲冷哼從身側響起席覆,我...
    開封第一講書人閱讀 39,211評論 0 276
  • 序言:老撾萬榮一對情侶失蹤史辙,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后佩伤,有當地人在樹林里發(fā)現了一具尸體聊倔,經...
    沈念sama閱讀 45,655評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,846評論 3 336
  • 正文 我和宋清朗相戀三年生巡,在試婚紗的時候發(fā)現自己被綠了耙蔑。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,965評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡孤荣,死狀恐怖甸陌,靈堂內的尸體忽然破棺而出须揣,到底是詐尸還是另有隱情,我是刑警寧澤钱豁,帶...
    沈念sama閱讀 35,684評論 5 347
  • 正文 年R本政府宣布耻卡,位于F島的核電站,受9級特大地震影響牲尺,放射性物質發(fā)生泄漏劲赠。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,295評論 3 329
  • 文/蒙蒙 一秸谢、第九天 我趴在偏房一處隱蔽的房頂上張望凛澎。 院中可真熱鬧,春花似錦估蹄、人聲如沸塑煎。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,894評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽最铁。三九已至,卻和暖如春垮兑,著一層夾襖步出監(jiān)牢的瞬間冷尉,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,012評論 1 269
  • 我被黑心中介騙來泰國打工系枪, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留雀哨,地道東北人。 一個月前我還...
    沈念sama閱讀 48,126評論 3 370
  • 正文 我出身青樓私爷,卻偏偏與公主長得像雾棺,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子衬浑,可洞房花燭夜當晚...
    茶點故事閱讀 44,914評論 2 355

推薦閱讀更多精彩內容