初識(shí)分布式搜索引擎--ElasticSearch

這段時(shí)間項(xiàng)目上在研究ElasticSearch,所以記錄一下學(xué)習(xí)心得坪稽,如有不對(duì)或者有需要補(bǔ)充的地方,麻煩各位小伙伴積極指出!

ES核心術(shù)語(yǔ)

index索引? ? ? ? ?數(shù)據(jù)庫(kù)的表

document? ? ? ? ?數(shù)據(jù)庫(kù)的表中對(duì)應(yīng)的數(shù)據(jù)行

field? ? ? ? ? ? ? ? ? 數(shù)據(jù)庫(kù)中字段列

ES的優(yōu)勢(shì)

mapping映射? ? ? ? ? ? ? 對(duì)應(yīng)的表結(jié)構(gòu)定義

近實(shí)時(shí)NRT? ? ? ? ? ? ? ? ? Near Real Time? ?好比在github上建了一個(gè)倉(cāng)庫(kù)徐勃,基本耗時(shí)1S,最快可以1S內(nèi)可以被搜索到

節(jié)點(diǎn)node? ? ? ? ? ? ? ? ? ? 可以使用分布式集群(相當(dāng)于一臺(tái)服務(wù)器就是一個(gè)節(jié)點(diǎn)早像,獨(dú)立也可以使用)

shard replica? ? ? ? ? ? ? ?數(shù)據(jù)分片與備份(分片【shard】:把索引庫(kù)拆分為多份僻肖,分布在不同的節(jié)點(diǎn)上,比如有2個(gè)節(jié)點(diǎn)卢鹦,這2個(gè)節(jié)點(diǎn)的所有數(shù)據(jù)可以組成一個(gè)完整的索引庫(kù)臀脏,分別存在這2個(gè)節(jié)點(diǎn),目的是水平擴(kuò)展冀自,可以有效的提高吞吐量揉稚。備份【replica】每個(gè)節(jié)點(diǎn)的備份)在每個(gè)分片上會(huì)有一個(gè)ES的進(jìn)程,會(huì)有一定的計(jì)算能力熬粗,在分片存在的同時(shí)搀玖,ES會(huì)對(duì)相應(yīng)的分片進(jìn)行備份,假如此時(shí)還是2個(gè)節(jié)點(diǎn)荐糜,當(dāng)其中一個(gè)節(jié)點(diǎn)掛了以后巷怜,會(huì)立即把此節(jié)點(diǎn)備份的數(shù)據(jù)掛載到另外一個(gè)節(jié)點(diǎn)上。分片【shard】也可以被稱為primary shard(主分片)暴氏,備份【replica】也可以被稱為replica?shard (備份)延塑,如果后期數(shù)據(jù)達(dá)到6T的數(shù)據(jù)量的話,需要配置6個(gè)shard分片

ES處理數(shù)據(jù)的一個(gè)方式? ? ? ?倒排索引

比如我下面的例子:? 以下數(shù)據(jù)其實(shí)就是對(duì)應(yīng)數(shù)據(jù)中的一張表的3行數(shù)據(jù)答渔,右圖是ES中的排序方式

文檔ids表示單詞在表中存在的數(shù)據(jù)行(表示數(shù)據(jù)在左邊的第幾行)簡(jiǎn)單來(lái)說(shuō)就是根據(jù)key查找value這個(gè)屬于正排索引

id? ? ? ? ? ? ? ? ? ? ? name? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 單詞? ? ? ? ? ? 文檔ids? ? ? ? ? ? ?詞頻TF;位置POS

1? ? ? ? ? ? ? ? ? ? 肯德基真好吃? ? ? ? ? ? ? ? ? ? ? ? ?肯德基? ? ? ? ? 1关带,2,3? ? ? ? ? ?1:1:<1>,2:1:<1>,3:1:<1>

2? ? ? ? ? ? ? ? ? ? 肯德基是快餐? ? ? ? ? ? ? ? ? ? ? ? ? 真? ? ? ? ? ? ? ? ? ? ?1? ? ? ? ? ? ? ? ?1:1:<3>

3? ? ? ? ? ? ? ? ? ? 肯德基好吃的不行? ? ? ? ? ? ? ? ? ?好吃? ? ? ? ? ? ? ? ? 3? ? ? ? ? ? ? ? ?3:1:<3>

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 是? ? ? ? ? ? ? ? ? ? ? 2? ? ? ? ? ? ? ? ?2:1:<3>

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?的? ? ? ? ? ? ? ? ? ? ? 3? ? ? ? ? ? ? ? ?3:1:<5>

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?快餐? ? ? ? ? ? ? ? ? ?2? ? ? ? ? ? ? ? ?2:1:<4>

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?不行? ? ? ? ? ? ? ? ? ?3? ? ? ? ? ? ? ? ?3:1:<6>

以下是根據(jù)右上圖的文檔ids,我們可以得出以下數(shù)據(jù):倒排索引是根據(jù)value來(lái)查找對(duì)應(yīng)的key宋雏,

我們以1:1:<1>為例芜飘,第一個(gè)1是表示單詞所在的行Id,第二個(gè)1表示在單詞所在行Id出現(xiàn)的次數(shù),<1>表示單詞所在行Id的位置,索引是從0開(kāi)始的磨总。出現(xiàn)的頻率越高嗦明,越容易被用戶搜索的到。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
禁止轉(zhuǎn)載蚪燕,如需轉(zhuǎn)載請(qǐng)通過(guò)簡(jiǎn)信或評(píng)論聯(lián)系作者娶牌。
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市馆纳,隨后出現(xiàn)的幾起案子诗良,更是在濱河造成了極大的恐慌,老刑警劉巖鲁驶,帶你破解...
    沈念sama閱讀 218,284評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件鉴裹,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡钥弯,警方通過(guò)查閱死者的電腦和手機(jī)径荔,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,115評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)寿羞,“玉大人猖凛,你說(shuō)我怎么就攤上這事⌒髂拢” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,614評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵虱岂,是天一觀的道長(zhǎng)玖院。 經(jīng)常有香客問(wèn)我,道長(zhǎng)第岖,這世上最難降的妖魔是什么难菌? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,671評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮蔑滓,結(jié)果婚禮上郊酒,老公的妹妹穿的比我還像新娘。我一直安慰自己键袱,他們只是感情好燎窘,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,699評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著蹄咖,像睡著了一般褐健。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上澜汤,一...
    開(kāi)封第一講書(shū)人閱讀 51,562評(píng)論 1 305
  • 那天蚜迅,我揣著相機(jī)與錄音舵匾,去河邊找鬼。 笑死谁不,一個(gè)胖子當(dāng)著我的面吹牛坐梯,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播刹帕,決...
    沈念sama閱讀 40,309評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼吵血,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了轩拨?” 一聲冷哼從身側(cè)響起践瓷,我...
    開(kāi)封第一講書(shū)人閱讀 39,223評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎亡蓉,沒(méi)想到半個(gè)月后晕翠,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,668評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡砍濒,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,859評(píng)論 3 336
  • 正文 我和宋清朗相戀三年淋肾,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片爸邢。...
    茶點(diǎn)故事閱讀 39,981評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡樊卓,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出杠河,到底是詐尸還是另有隱情碌尔,我是刑警寧澤,帶...
    沈念sama閱讀 35,705評(píng)論 5 347
  • 正文 年R本政府宣布券敌,位于F島的核電站唾戚,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏待诅。R本人自食惡果不足惜叹坦,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,310評(píng)論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望卑雁。 院中可真熱鬧募书,春花似錦、人聲如沸测蹲。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,904評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)弛房。三九已至道盏,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背荷逞。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,023評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工媒咳, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人种远。 一個(gè)月前我還...
    沈念sama閱讀 48,146評(píng)論 3 370
  • 正文 我出身青樓涩澡,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親坠敷。 傳聞我的和親對(duì)象是個(gè)殘疾皇子妙同,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,933評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容