ES集群分布式詳解

ES集群中各節(jié)點角色功能簡介

本博客根據(jù)ES 7.15 ,介紹ES中各節(jié)點角色功能爵赵。集群節(jié)點角色可以在配置文件elasticsearch.yml中通過node.roles配置,如果配置了節(jié)點角色只祠,那么該節(jié)點將只會執(zhí)行配置的角色功能;如果不配置注整,該節(jié)點將會執(zhí)行以下角色功能:


1萍桌、如果私自配置節(jié)點信息宵溅,請確保集群配置有master角色的節(jié)點和data角色的節(jié)點

2、如果有較大的機器學(xué)習(xí)(machine learning)任務(wù)或轉(zhuǎn)換(transform)任務(wù)上炎,建議將候選的主節(jié)點(Master-eligible node)與數(shù)據(jù)節(jié)點(data node)恃逻、機器學(xué)習(xí)節(jié)點(machine learning node)和轉(zhuǎn)換節(jié)點(transforming node)分開是很有必要的。

3藕施、每個節(jié)點都默認(rèn)為協(xié)調(diào)節(jié)點(Coordinating node)寇损,如果node.roles設(shè)置為[]那么該節(jié)點將只執(zhí)行協(xié)調(diào)節(jié)點功能


ES集群

(1)Cluster:代表一個集群,集群中有多個節(jié)點裳食,其中有一個為主節(jié)點润绵,這個主節(jié)點是可以通過選舉產(chǎn)生的,主從節(jié)點是對于集群內(nèi)部來說的胞谈。es的一個概念就是去中心化,字面上理解就是無中心節(jié)點憨愉,這是對于集群外部來說的烦绳,因為從外部來看es集群,在邏輯上是個整體配紫,你與任何一個節(jié)點的通信和與整個es集群通信是等價的径密。

(2)Shards:代表索引分片,es可以把一個完整的索引分成多個分片躺孝,這樣的好處是可以把一個大的索引拆分成多個享扔,分布到不同的節(jié)點上。構(gòu)成分布式搜索植袍。分片的數(shù)量只能在索引創(chuàng)建前指定惧眠,并且索引創(chuàng)建后不能更改。

(3)replicas:代表索引副本于个,es可以設(shè)置多個索引的副本氛魁,副本的作用一是提高系統(tǒng)的容錯性,當(dāng)某個節(jié)點某個分片損壞或丟失時可以從副本中恢復(fù)厅篓。二是提高es的查詢效率秀存,es會自動對搜索請求進行負(fù)載均衡。

(4)Recovery:代表數(shù)據(jù)恢復(fù)或叫數(shù)據(jù)重新分布羽氮,es在有節(jié)點加入或退出時會根據(jù)機器的負(fù)載對索引分片進行重新分配或链,掛掉的節(jié)點重新啟動時也會進行數(shù)據(jù)恢復(fù)。

(5)ES為什么要實現(xiàn)集群:在單臺ES服務(wù)器節(jié)點上档押,隨著業(yè)務(wù)量的發(fā)展索引文件慢慢增多澳盐,會影響到效率和內(nèi)存存儲問題等祈纯。ES集群,可以將單個索引的分片到多個不同分布式物理機器上存儲洞就,從而可以實現(xiàn)高可用盆繁、容錯性等。ES集群中索引可能由多個分片構(gòu)成旬蟋,并且每個分片可以擁有多個副本油昂。通過將一個單獨的索引分為多個分片,我們可以處理不能在一個單一的服務(wù)器上面運行的大型索引倾贰,簡單的說就是索引的大小過大冕碟,導(dǎo)致效率問題。不能運行的原因可能是內(nèi)存也可能是存儲匆浙。由于每個分片可以有多個副本安寺,通過將副本分配到多個服務(wù)器,可以提高查詢的負(fù)載能力首尼。

(6)es如何解決高并發(fā):ES是一個分布式全文檢索框架挑庶,隱藏了復(fù)雜的處理機制,內(nèi)部使用 分片機制软能、集群發(fā)現(xiàn)迎捺、分片負(fù)載均衡請求路由〔榕牛 Shards 分片:代表索引分片凳枝,es可以把一個完整的索引分成多個分片,這樣的好處是可以把一個大的索引拆分成多個跋核,分布到不同的節(jié)點上岖瑰。構(gòu)成分布式搜索。分片的數(shù)量只能在索引創(chuàng)建前指定砂代,并且索引創(chuàng)建后不能更改蹋订。Replicas分片:代表索引副本,es可以設(shè)置多個索引的副本刻伊,副本的作用一是提高系統(tǒng)的容錯性辅辩,當(dāng)某個節(jié)點某個分片損壞或丟失時可以從副本中恢復(fù)。二是提高es的查詢效率娃圆,es會自動對搜索請求進行負(fù)載均衡玫锋。



5、ES集群腦裂


6讼呢、ES集群的分布式存儲

·?如新增一個文檔流程 文檔-->協(xié)調(diào)節(jié)點(hash運算)-->mater-->決策路由到對應(yīng)主分片如node3節(jié)點-->同步副本分片到node2節(jié)點上-->返回結(jié)構(gòu)到

協(xié)調(diào)節(jié)點coordinating node-->再傳至matster

6撩鹿、故障轉(zhuǎn)移


·?停掉master

·?cerebro界面集群狀態(tài)瞬間變黃了

·?這是之前master節(jié)點的分片開始轉(zhuǎn)移至剩余的兩個節(jié)點,集群剩余兩個節(jié)點悦屏,且保證主副分片不在同一個幾點

·?重新啟動故障節(jié)點节沦,集群再次恢復(fù)三個節(jié)點键思,分片自動轉(zhuǎn)移過去,但是此時它已不是master節(jié)點


最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末甫贯,一起剝皮案震驚了整個濱河市吼鳞,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌叫搁,老刑警劉巖赔桌,帶你破解...
    沈念sama閱讀 216,372評論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異渴逻,居然都是意外死亡疾党,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評論 3 392
  • 文/潘曉璐 我一進店門惨奕,熙熙樓的掌柜王于貴愁眉苦臉地迎上來雪位,“玉大人,你說我怎么就攤上這事梨撞”⑾矗” “怎么了?”我有些...
    開封第一講書人閱讀 162,415評論 0 353
  • 文/不壞的土叔 我叫張陵卧波,是天一觀的道長队伟。 經(jīng)常有香客問我,道長幽勒,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,157評論 1 292
  • 正文 為了忘掉前任港令,我火速辦了婚禮啥容,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘顷霹。我一直安慰自己咪惠,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,171評論 6 388
  • 文/花漫 我一把揭開白布淋淀。 她就那樣靜靜地躺著遥昧,像睡著了一般。 火紅的嫁衣襯著肌膚如雪朵纷。 梳的紋絲不亂的頭發(fā)上炭臭,一...
    開封第一講書人閱讀 51,125評論 1 297
  • 那天,我揣著相機與錄音袍辞,去河邊找鬼鞋仍。 笑死,一個胖子當(dāng)著我的面吹牛搅吁,可吹牛的內(nèi)容都是我干的威创。 我是一名探鬼主播落午,決...
    沈念sama閱讀 40,028評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼肚豺!你這毒婦竟也來了溃斋?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,887評論 0 274
  • 序言:老撾萬榮一對情侶失蹤吸申,失蹤者是張志新(化名)和其女友劉穎梗劫,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體呛谜,經(jīng)...
    沈念sama閱讀 45,310評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡在跳,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,533評論 2 332
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了隐岛。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片猫妙。...
    茶點故事閱讀 39,690評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖聚凹,靈堂內(nèi)的尸體忽然破棺而出割坠,到底是詐尸還是另有隱情,我是刑警寧澤妒牙,帶...
    沈念sama閱讀 35,411評論 5 343
  • 正文 年R本政府宣布彼哼,位于F島的核電站,受9級特大地震影響湘今,放射性物質(zhì)發(fā)生泄漏敢朱。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,004評論 3 325
  • 文/蒙蒙 一摩瞎、第九天 我趴在偏房一處隱蔽的房頂上張望拴签。 院中可真熱鬧,春花似錦旗们、人聲如沸蚓哩。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽岸梨。三九已至,卻和暖如春稠氮,著一層夾襖步出監(jiān)牢的瞬間曹阔,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,812評論 1 268
  • 我被黑心中介騙來泰國打工隔披, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留次兆,地道東北人。 一個月前我還...
    沈念sama閱讀 47,693評論 2 368
  • 正文 我出身青樓锹锰,卻偏偏與公主長得像芥炭,于是被迫代替她去往敵國和親漓库。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,577評論 2 353

推薦閱讀更多精彩內(nèi)容