elasticsearch 常用知識概念

????????在應(yīng)用系統(tǒng)需要進行文本內(nèi)容檢索時蠕搜,這時不得不提到全文檢索怎茫。而全文檢索是將一個完整的信息源的全部內(nèi)容轉(zhuǎn)化為計算機可以識別、處理的信息單元而形成的數(shù)據(jù)集合妓灌。比較有名的全文檢索軟件有elasticsearch轨蛤、solr等。因為elasticsearch的易用性和在大數(shù)據(jù)量時不錯的性能優(yōu)勢虫埂,在工作中elasticsearch會使用比較多祥山。接下來介紹下elasticsearch基本概念,包括集群掉伏、節(jié)點缝呕、索引、類型斧散、文檔和分片和副本供常。理解這些概念是使用好elasticsearch的第一步,后文使用ES簡稱elasticsearch鸡捐。

? ? ?集群

????????一個ES集群可以由一個或者多個節(jié)點(nodes or servers)組成栈暇。所有這些節(jié)點用來存儲所有的數(shù)據(jù)以及提供聯(lián)合索引,為我們提供跨節(jié)點查詢的能力箍镜。一個ES集群的名稱是唯一的源祈,這個名稱非常重要煎源,因為一個節(jié)點(node)會通過這個名稱來判斷是否加入已有的集群。


圖-ES cluster

? ? ?節(jié)點

? ??????一個ES實例就是一個node新博,一個機器可以有多個實例,所以并不能說一臺機器就是一個node脚草,大多數(shù)情況下每個node運行在一個獨立的環(huán)境或虛擬機上赫悄。節(jié)點用來存儲數(shù)據(jù),參與集群的索引以及提供搜索能力馏慨。當(dāng)某一網(wǎng)絡(luò)下啟動一定數(shù)量的ES節(jié)點時埂淮,節(jié)點可以通過指定集群名稱讓它加入某個集群。

圖-節(jié)點

? ? ?索引

? ? ? ? 一個索引是一組具有相似特性的文檔的集合写隶,比如可以為客戶數(shù)據(jù)(customer data)建立索引一個索引倔撞,也可以為產(chǎn)品目錄(product catalog)建立另一個索引,還可以為訂單數(shù)據(jù)(order data)建立另一個索引慕趴。一個索引由它的名稱唯一標(biāo)識(必須所有字母為小寫字母)痪蝇,這個名稱會在進行索引(indexing)、搜索(search)冕房、修改(update)和刪除(delete)操作的時候使用躏啰。ES中的索引類似于關(guān)系型數(shù)據(jù)庫中的database,下面是關(guān)系型數(shù)據(jù)庫和ES的概念關(guān)系:

圖 -ES和關(guān)系型數(shù)據(jù)庫概念比對

? ? ?分片和副本

? ? ?分片(shard)

????????一個索引可能會存儲大量數(shù)據(jù)從而超過單個節(jié)點硬件的限制耙册。例如给僵,單個索引可能會有上億的文檔占用1TB的磁盤空間,這對于單個節(jié)點來說太大详拙,同時使用單個節(jié)點也會使搜索變慢帝际。為了解決這個問題,ES提供了一種分片(shard)能力饶辙,讓我們將一個索引切分成片蹲诀。當(dāng)我們創(chuàng)建一個索引時,我們可以為它指定分片的數(shù)量弃揽。每個分片自己都能獨立工作侧甫,存儲索引中的部分數(shù)據(jù),相當(dāng)于一桶水用了N個杯子裝蹋宦,而分片存在于集群的任一節(jié)點中披粟。每個分片對應(yīng)到底層都是一個Lucene Index,一個分片只能存放Integer.MAX_VALUE - 128 = 2,147,483,519 個docs冷冗。

? ? ? ? 之所以使用分片是因為分片可以水平分割或擴展內(nèi)容體量守屉,也可以以分布式和并行的方式在多個分片上進行操作(多個節(jié)點)從而提高性能和吞吐量。而一個分片是如何散發(fā)的蒿辙,如何將它的文檔聚合并返回個查詢是對用戶透明的拇泛,這個過程完全由ES來管理滨巴。

? ? ?副本

????????在網(wǎng)絡(luò)或云的環(huán)境下,錯誤可以在任何時候發(fā)生俺叭,當(dāng)一個分片或節(jié)點因為某種原因下線或消失時恭取,一個錯誤恢復(fù)機制就非常重要。為了解決這個問題熄守,ES讓我們可以為一個索引分片創(chuàng)建一個或多個拷貝蜈垮,這個拷貝稱作副本分片,簡稱為副本裕照。

? ? ? ? 副本重要性主要體現(xiàn)在下面兩個方面:

? ? ? ? 1攒发、當(dāng)一個分片或者節(jié)點出錯時,集群任然可用晋南。正因如此惠猿,我們會發(fā)現(xiàn)一個分片副本從來不會在它的原始分片或主分片所在的節(jié)點出現(xiàn)。

? ? ? ? 2负间、橫向擴展搜索體量和吞吐量偶妖,因為搜索可以在所有副本上并行執(zhí)行。

? ? ? ? 每個索引可以分為多個分片政溃,一個索引也可以被復(fù)制到零個或多個副本餐屎。一旦發(fā)生復(fù)制,每個索引都會有主分片(primary shards)和多個副本分片(replica shards)玩祟。分片數(shù)和副本數(shù)可以在一個索引創(chuàng)建時指定腹缩。當(dāng)索引創(chuàng)建以后,可以動態(tài)的改變副本數(shù)空扎,但是不能改變分片數(shù)藏鹊。默認情況下,每個ES索引都有5個主分片(primary shards)和1個副本(replica)转锈,也就是說當(dāng)我們的集群有兩個節(jié)點時盘寡,我們的索引會有5個主分片和另外5個副本分片,也就是說每個索引有總共10個分片撮慨。

? ? ?總結(jié)

????????本文為方便理解ES基本概念竿痰,主要介紹了集群、節(jié)點砌溺、分片和副本概念影涉,中間也包括了ES和關(guān)系數(shù)據(jù)庫概念比對,進一步加強對ES中idnexs规伐、docs等知識理解蟹倾,后續(xù)會帶來ES是如何實現(xiàn)全文檢索及其運行原理,敬請期待。? ? ? ?

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末鲜棠,一起剝皮案震驚了整個濱河市肌厨,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌豁陆,老刑警劉巖柑爸,帶你破解...
    沈念sama閱讀 216,372評論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異盒音,居然都是意外死亡表鳍,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評論 3 392
  • 文/潘曉璐 我一進店門里逆,熙熙樓的掌柜王于貴愁眉苦臉地迎上來进胯,“玉大人用爪,你說我怎么就攤上這事原押。” “怎么了偎血?”我有些...
    開封第一講書人閱讀 162,415評論 0 353
  • 文/不壞的土叔 我叫張陵诸衔,是天一觀的道長。 經(jīng)常有香客問我颇玷,道長笨农,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,157評論 1 292
  • 正文 為了忘掉前任帖渠,我火速辦了婚禮谒亦,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘空郊。我一直安慰自己份招,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,171評論 6 388
  • 文/花漫 我一把揭開白布狞甚。 她就那樣靜靜地躺著锁摔,像睡著了一般。 火紅的嫁衣襯著肌膚如雪哼审。 梳的紋絲不亂的頭發(fā)上谐腰,一...
    開封第一講書人閱讀 51,125評論 1 297
  • 那天,我揣著相機與錄音涩盾,去河邊找鬼十气。 笑死,一個胖子當(dāng)著我的面吹牛春霍,可吹牛的內(nèi)容都是我干的桦踊。 我是一名探鬼主播,決...
    沈念sama閱讀 40,028評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼终畅,長吁一口氣:“原來是場噩夢啊……” “哼籍胯!你這毒婦竟也來了竟闪?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,887評論 0 274
  • 序言:老撾萬榮一對情侶失蹤杖狼,失蹤者是張志新(化名)和其女友劉穎炼蛤,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體蝶涩,經(jīng)...
    沈念sama閱讀 45,310評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡理朋,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,533評論 2 332
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了绿聘。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片嗽上。...
    茶點故事閱讀 39,690評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖熄攘,靈堂內(nèi)的尸體忽然破棺而出兽愤,到底是詐尸還是另有隱情,我是刑警寧澤挪圾,帶...
    沈念sama閱讀 35,411評論 5 343
  • 正文 年R本政府宣布浅萧,位于F島的核電站,受9級特大地震影響哲思,放射性物質(zhì)發(fā)生泄漏洼畅。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,004評論 3 325
  • 文/蒙蒙 一棚赔、第九天 我趴在偏房一處隱蔽的房頂上張望帝簇。 院中可真熱鬧,春花似錦靠益、人聲如沸丧肴。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽闪湾。三九已至,卻和暖如春绩卤,著一層夾襖步出監(jiān)牢的瞬間途样,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,812評論 1 268
  • 我被黑心中介騙來泰國打工濒憋, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留何暇,地道東北人。 一個月前我還...
    沈念sama閱讀 47,693評論 2 368
  • 正文 我出身青樓凛驮,卻偏偏與公主長得像裆站,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,577評論 2 353

推薦閱讀更多精彩內(nèi)容