Elasticsearch 集群

Cluster 集群

一個 Elasticsearch 集群由一個或多個節(jié)點(Node)組成械拍,每個集群都有一個共同的集群名稱作為標識粤策。

Node 節(jié)點

一個 Elasticsearch 實例即一個 Node志衣,一臺機器可以有多個實例车摄,正常使用下每個實例應該會部署在不同的機器上。Elasticsearch 的配置文件中可以通過 node.master报咳、node.data 來設置節(jié)點類型椎咧。

node.master:表示節(jié)點是否具有成為主節(jié)點的資格
node.data:表示節(jié)點是否存儲數(shù)據(jù)

注意:此屬性的值為true玖详,并不意味著這個節(jié)點就是主節(jié)點。
因為真正的主節(jié)點勤讽,是由多個具有主節(jié)點資格的節(jié)點進行選舉產(chǎn)生的蟋座。
所以,這個屬性只是代表這個節(jié)點是不是具有主節(jié)點選舉資格脚牍。

主節(jié)點+數(shù)據(jù)節(jié)點(默認)

node.master: true
node.data: true

節(jié)點即有成為主節(jié)點的資格蜈七,又存儲數(shù)據(jù)。這個時候如果某個節(jié)點被選舉成為了真正的主節(jié)點莫矗,那么他還要存儲數(shù)據(jù)飒硅,這樣對于這個節(jié)點的壓力就比較大了。Elasticsearch 默認每個節(jié)點都是這樣的配置作谚,在測試環(huán)境下這樣做沒問題三娩。實際工作中建議不要這樣設置,這樣相當于主節(jié)點和數(shù)據(jù)節(jié)點的角色混合到一塊了妹懒。

數(shù)據(jù)節(jié)點

node.master: false
node.data: true

節(jié)點沒有成為主節(jié)點的資格雀监,不參與選舉,只會存儲數(shù)據(jù)。在集群中需要單獨設置幾個這樣的節(jié)點負責存儲數(shù)據(jù)会前,后期提供存儲和查詢服務好乐。主要消耗磁盤,內(nèi)存瓦宜。

主節(jié)點

node.master: true
node.data: false

不會存儲數(shù)據(jù)蔚万,有成為主節(jié)點的資格,可以參與選舉临庇,有可能成為真正的主節(jié)點反璃。普通服務器即可(CPU、內(nèi)存消耗一般)假夺。

客戶端節(jié)點

node.master: false
node.data: false

不會成為主節(jié)點淮蜈,也不會存儲數(shù)據(jù),主要是針對海量請求的時候可以進行負載均衡已卷。普通服務器即可(如果要進行分組聚合操作的話梧田,建議這個節(jié)點內(nèi)存也分配多一點)

在生產(chǎn)環(huán)境下,如果不修改 Elasticsearch 節(jié)點的角色信息侧蘸,在高數(shù)據(jù)量裁眯,高并發(fā)的場景下集群容易出現(xiàn)腦裂等問題。

Index 索引

一個集群下可以有多個索引闺魏,每個索引是一系列相同格式文檔的集合(Elasticsearch 6.x 已不支持一個索引下多個Type)

Shard 分片

每個索引有一個或多個分片俯画,每個分片存儲不同的數(shù)據(jù)析桥。分片可分為主分片( primary shard)和復制分片(replica shard),復制分片是主分片的拷貝艰垂。默認每個主分片有一個復制分片(默認一個索引創(chuàng)建后會有5個主分片泡仗,即:5主+5復制=10個分片),一個索引的復制分片的數(shù)量可以動態(tài)地調(diào)整猜憎,復制分片從不與它的主分片在同一個節(jié)點上(防止單點故障)娩怎。

復制分片有兩個作用:

  1. 提高恢復能力:當主分片掛掉時,某個復制分片可以變成主分片胰柑;
  2. 提高性能:get 和 search 請求既可以由主分片又可以由復制分片處理截亦;

集群健康值

  1. green:所有主要分片和復制分片都可用
  2. yellow:所有主要分片可用,但不是所有復制分片都可用
  3. red:不是所有的主要分片都可用

當集群狀態(tài)為 red柬讨,它仍然正常提供服務崩瓤,它會在現(xiàn)有存活分片中執(zhí)行請求,我們需要盡快修復故障分片踩官,防止查詢數(shù)據(jù)的丟失却桶;

Windows 環(huán)境搭建集群(3個Node,全部是主節(jié)點+數(shù)據(jù)節(jié)點)

下載安裝包

http://www.elastic.co/downloads/elasticsearch

解壓后復制3份(每份啟動一個實例)

3個實例

編輯每個文件下的 config/elasticsearch.yml

根據(jù)以下說明調(diào)整 elasticsearch.yml 對應參數(shù)配置,node2颖系、node3 其他配置與node1一致。

node1
# 集群名稱嘁扼,默認是 elasticsearch
cluster.name: es

# 節(jié)點名稱
node.name: node1

# 是否作為集群的主節(jié)點 ,默認 true
node.master: true

# 是否作為集群的數(shù)據(jù)節(jié)點 偷拔,默認 true
node.data: true

# 數(shù)據(jù)存儲位置,默認是 es 根目錄下的 data 文件夾
path.data: E:\elasticsearch\node1\data

# 日志存儲位置莲绰,默認是 es 根目錄下的 logs 文件夾
path.logs: E:\elasticsearch\node1\logs

# 配置訪問本節(jié)點的地址
network.host: 0.0.0.0

# 設置對外服務的http端口,默認為9200
http.port: 9200

# 設置節(jié)點間交互的tcp端口,默認是9300
transport.tcp.port: 9300

# 配置所有用來組建集群的機器的IP地址
discovery.zen.ping.unicast.hosts: ["127.0.0.1:9300", "127.0.0.1:9301","127.0.0.1:9302"]

# 配置當前集群中最少具有 master 資格節(jié)點數(shù)蛤签,對于多于兩個節(jié)點的集群環(huán)境,建議配置大于1
discovery.zen.minimum_master_nodes: 2
node2
path.data: E:\elasticsearch\node2\data
path.logs: E:\elasticsearch\node2\logs
http.port: 9201
transport.tcp.port: 9301
node3
path.data: E:\elasticsearch\node3\data
path.logs: E:\elasticsearch\node3\logs
http.port: 9202
transport.tcp.port: 9302

到目前位置震肮,集群的配置就完成了,下面我們分別啟動每個實例戳晌。

根據(jù)配置文件中的注釋:

Prevent the "split brain" by configuring the majority of nodes (total number of master-eligible nodes / 2 + 1)

所以我們配置了 discovery.zen.minimum_master_nodes: 2 ,所以必須有兩個主節(jié)點啟動成功沦偎,集群才算生效。

測試

進入目錄 elasticsearch-6.2.1-1 啟動第一個節(jié)點豪嚎,執(zhí)行命令:bin\elasticsearch.bat。從日志中可以看出并沒有成功侈询,因為沒發(fā)現(xiàn)足夠的master節(jié)點舌涨。

node1

當?shù)诙€master節(jié)點啟動成功時,整個集群狀態(tài)變?yōu)檎扔字!?/p>

node2

3個節(jié)點全部啟動成功囊嘉,通過 elasticsearch-head 插件查看集群狀態(tài),通過集群健康值:green革为,表示集群一切正常哗伯。目前集群內(nèi)沒有任何數(shù)據(jù),所以看不出索引與分片的情況篷角。

Elasticsearch 一般會配合 Kibana + X-Pack 對集群數(shù)據(jù)分析焊刹、監(jiān)控等,官方標配。這里使用了 elasticsearch-head 插件虐块,一個比較小巧的工具俩滥。插件的安裝方法請看:elasticsearch-head 安裝介紹

elasticsearch-head

添加測試數(shù)據(jù):


添加測試數(shù)據(jù)

test索引分片分布

從截圖可以看出,目前一共3個節(jié)點贺奠,一個索引 test霜旧,test 索引有5個主分片(邊框加粗),5個復制分片(邊框不加粗)儡率,分片會別均勻的分布到每個節(jié)點中挂据。

我們嘗試干掉node3,node3 從集群退出之后儿普,集群在短時間內(nèi)會對分片進行重新分布崎逃,當然依賴遵循主、復制分片不會在同一個Node眉孩。

node1+node2

如果我們繼續(xù)把node2干掉个绍,那么整個集群就掛了,集群健康值:未連接浪汪。因為當前可用的主節(jié)點數(shù) 1 < discovery.zen.minimum_master_nodes 設置的 2巴柿。


未連接

我們嘗試把 discovery.zen.minimum_master_nodes 設置成 1,然后重啟啟動一個節(jié)點死遭,會發(fā)現(xiàn)有一個 Unassigned 的節(jié)點广恢,集群健康值:yellow (5 of 10)。這種情況下代表主分片全部可用呀潭,存在不可用的復制分片钉迷,5個復制分片沒有分配到節(jié)點上,不過此時的集群是可用的蜗侈,我們?nèi)魏握埱蠖寄芴幚砼衽疲皇撬械牟僮鞫悸涞街鞣制纤铱赡芤l(fā)單點故障。當我們把第二個節(jié)點啟動后该面,一切就恢復正常了隔缀,主分片的數(shù)據(jù)會同步到復制分片傍菇。

一個節(jié)點的集群

實際生產(chǎn)環(huán)境,每個節(jié)點可能設置不同的節(jié)點類型淮悼,我們在3個節(jié)點的基礎上再增加兩個節(jié)點袜腥,然后調(diào)整 node.master 和node.data 的值羹令,最終設置為2個主節(jié)點损痰,2個數(shù)據(jù)節(jié)點,1個客戶端節(jié)點癌刽。

不同節(jié)點類型的集群

node1 和 node2 是具有主節(jié)點選舉權限的節(jié)點显拜,這里 node1 被選舉為master節(jié)點远荠。node3 和 node4 是數(shù)據(jù)節(jié)點失息,所以數(shù)據(jù)分片只會分配在這兩個節(jié)點上盹兢。node5 是客戶端節(jié)點,最終是對請求起到負載均衡的作用浦妄。

如果是Linux環(huán)境下剂娄,啟動可能沒有這么順利玄呛,可以參考 Linux 環(huán)境下安裝 elasticsearch 5.x、6.x 問題匯總 耳胎。

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末怕午,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子钳宪,更是在濱河造成了極大的恐慌吏颖,老刑警劉巖恨樟,帶你破解...
    沈念sama閱讀 216,496評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件劝术,死亡現(xiàn)場離奇詭異养晋,居然都是意外死亡,警方通過查閱死者的電腦和手機逊抡,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,407評論 3 392
  • 文/潘曉璐 我一進店門冒嫡,熙熙樓的掌柜王于貴愁眉苦臉地迎上來孝凌,“玉大人月腋,你說我怎么就攤上這事」家ぃ” “怎么了寨躁?”我有些...
    開封第一講書人閱讀 162,632評論 0 353
  • 文/不壞的土叔 我叫張陵职恳,是天一觀的道長。 經(jīng)常有香客問我色徘,道長褂策,這世上最難降的妖魔是什么颓屑? 我笑而不...
    開封第一講書人閱讀 58,180評論 1 292
  • 正文 為了忘掉前任揪惦,我火速辦了婚禮,結果婚禮上溪猿,老公的妹妹穿的比我還像新娘纫塌。我一直安慰自己措左,他們只是感情好,可當我...
    茶點故事閱讀 67,198評論 6 388
  • 文/花漫 我一把揭開白布抗悍。 她就那樣靜靜地躺著缴渊,像睡著了一般鱼炒。 火紅的嫁衣襯著肌膚如雪昔瞧。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,165評論 1 299
  • 那天凝化,我揣著相機與錄音搓劫,去河邊找鬼。 笑死枪向,一個胖子當著我的面吹牛秘蛔,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播数苫,決...
    沈念sama閱讀 40,052評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼虐急,長吁一口氣:“原來是場噩夢啊……” “哼滔迈!你這毒婦竟也來了?” 一聲冷哼從身側響起敬惦,我...
    開封第一講書人閱讀 38,910評論 0 274
  • 序言:老撾萬榮一對情侶失蹤俄删,失蹤者是張志新(化名)和其女友劉穎畴椰,沒想到半個月后鸽粉,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,324評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡帚戳,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,542評論 2 332
  • 正文 我和宋清朗相戀三年片任,在試婚紗的時候發(fā)現(xiàn)自己被綠了对供。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片笔宿。...
    茶點故事閱讀 39,711評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡泼橘,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出醋粟,到底是詐尸還是另有隱情米愿,我是刑警寧澤鼻吮,帶...
    沈念sama閱讀 35,424評論 5 343
  • 正文 年R本政府宣布椎木,位于F島的核電站,受9級特大地震影響漱竖,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜馍惹,卻給世界環(huán)境...
    茶點故事閱讀 41,017評論 3 326
  • 文/蒙蒙 一万矾、第九天 我趴在偏房一處隱蔽的房頂上張望慎框。 院中可真熱鬧,春花似錦鲤脏、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,668評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至称近,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間凳谦,已是汗流浹背衡未。 一陣腳步聲響...
    開封第一講書人閱讀 32,823評論 1 269
  • 我被黑心中介騙來泰國打工缓醋, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人送粱。 一個月前我還...
    沈念sama閱讀 47,722評論 2 368
  • 正文 我出身青樓抗俄,卻偏偏與公主長得像,于是被迫代替她去往敵國和親偎快。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,611評論 2 353

推薦閱讀更多精彩內(nèi)容