Elasticsearch 查詢階段

Neil Zhu悉患,簡書ID Not_GOD畏邢,University AI 創(chuàng)始人 & Chief Scientist磺陡,致力于推進(jìn)世界人工智能化進(jìn)程。制定并實施 UAI 中長期增長戰(zhàn)略和目標(biāo)噩峦,帶領(lǐng)團(tuán)隊快速成長為人工智能領(lǐng)域最專業(yè)的力量。
作為行業(yè)領(lǐng)導(dǎo)者抽兆,他和UAI一起在2014年創(chuàng)建了TASA(中國最早的人工智能社團(tuán)), DL Center(深度學(xué)習(xí)知識中心全球價值網(wǎng)絡(luò))识补,AI growth(行業(yè)智庫培訓(xùn))等,為中國的人工智能人才建設(shè)輸送了大量的血液和養(yǎng)分辫红。此外凭涂,他還參與或者舉辦過各類國際性的人工智能峰會和活動,產(chǎn)生了巨大的影響力贴妻,書寫了60萬字的人工智能精品技術(shù)內(nèi)容切油,生產(chǎn)翻譯了全球第一本深度學(xué)習(xí)入門書《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》,生產(chǎn)的內(nèi)容被大量的專業(yè)垂直公眾號和媒體轉(zhuǎn)載與連載名惩。曾經(jīng)受邀為國內(nèi)頂尖大學(xué)制定人工智能學(xué)習(xí)規(guī)劃和教授人工智能前沿課程澎胡,均受學(xué)生和老師好評。

在查詢初始階段娩鹉,查詢被廣播到索引中每個 shard 的分片副本(主從分片)上攻谁。每個分片執(zhí)行局部的搜索,然后構(gòu)建一個匹配的優(yōu)先級隊列弯予。

優(yōu)先級隊列


優(yōu)先級隊列僅僅是一個排序的列表巢株,保存著前 n 個匹配的文檔。優(yōu)先級隊列的大小取決于分頁參數(shù) fromsize熙涤。例如阁苞,下面的搜索請求將會獲取一個能夠容納 100 個文檔的優(yōu)先隊列:

GET /_search
{
  "from": 90,
  "size": 10
}```

查詢階段的流程在圖 14 中描述

圖 14. 分布式搜索的查詢階段

查詢過程包含下面三個步驟:

  1. 客戶端發(fā)送一個 search 請求到 Node 3,會創(chuàng)建一個空的優(yōu)先級隊列大小為 from + size祠挫。
  2. Node 3 將搜索請求轉(zhuǎn)發(fā)到索引中的每個分片的一個主(或從)副本上那槽。
  3. 每個分片返回 docIDs 并對在其優(yōu)先隊列中的所有排序后的 doc 給協(xié)調(diào)節(jié)點,Node 3等舔,這里會將這些值進(jìn)行合并放入自己的優(yōu)先級隊列中來得到最后的全局排序結(jié)果骚灸。

當(dāng)搜索請求發(fā)送到一個節(jié)點上時,這個節(jié)點變成協(xié)調(diào)節(jié)點慌植,負(fù)責(zé)將搜索請求廣播到所有涉及的分片上甚牲,并將這些反饋結(jié)果整合成全局的排序結(jié)果集返回給客戶端。

第一步是將請求廣播到每個節(jié)點的分片分本上蝶柿。就像 document GET 請求丈钙,搜索請求可以通過主分片或者任何一個從分片處理。這就是更多的從分片(結(jié)合更多的硬件)能夠提升搜索的吞吐量的原因交汤。協(xié)調(diào)節(jié)點會對搜索請求進(jìn)行 round-robin 在所有的分片副本中來分散負(fù)載壓力雏赦。

每個分片局部地執(zhí)行查詢,構(gòu)建 from+size 長度的排序優(yōu)先級隊列——換言之,在該分片上足夠多滿足全局搜索的結(jié)果星岗。這會返回結(jié)果的輕量級列表到協(xié)調(diào)節(jié)點上填大,僅僅包含 doc IDs 和任何用于排序的值,例如 _score俏橘。

協(xié)調(diào)節(jié)點合并了這些分片層的結(jié)果到自身排序好的優(yōu)先級隊列允华,就是最后全局排序后的結(jié)果集合。查詢階段到此結(jié)束寥掐。

一個索引可以包含一個或者多個主分片靴寂,所以對一個特定索引的搜索請求需要合并來自多個分片的結(jié)果。對多個或者所有索引進(jìn)行的搜索也是按照同樣的方式進(jìn)行的——僅僅包含更多的分片曹仗。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末榨汤,一起剝皮案震驚了整個濱河市蠕搜,隨后出現(xiàn)的幾起案子怎茫,更是在濱河造成了極大的恐慌,老刑警劉巖妓灌,帶你破解...
    沈念sama閱讀 221,820評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件轨蛤,死亡現(xiàn)場離奇詭異,居然都是意外死亡虫埂,警方通過查閱死者的電腦和手機祥山,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,648評論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來掉伏,“玉大人缝呕,你說我怎么就攤上這事「ⅲ” “怎么了供常?”我有些...
    開封第一講書人閱讀 168,324評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長鸡捐。 經(jīng)常有香客問我栈暇,道長,這世上最難降的妖魔是什么箍镜? 我笑而不...
    開封第一講書人閱讀 59,714評論 1 297
  • 正文 為了忘掉前任源祈,我火速辦了婚禮,結(jié)果婚禮上色迂,老公的妹妹穿的比我還像新娘香缺。我一直安慰自己,他們只是感情好歇僧,可當(dāng)我...
    茶點故事閱讀 68,724評論 6 397
  • 文/花漫 我一把揭開白布赫悄。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪埂淮。 梳的紋絲不亂的頭發(fā)上姑隅,一...
    開封第一講書人閱讀 52,328評論 1 310
  • 那天,我揣著相機與錄音倔撞,去河邊找鬼讲仰。 笑死,一個胖子當(dāng)著我的面吹牛痪蝇,可吹牛的內(nèi)容都是我干的鄙陡。 我是一名探鬼主播,決...
    沈念sama閱讀 40,897評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼躏啰,長吁一口氣:“原來是場噩夢啊……” “哼趁矾!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起给僵,我...
    開封第一講書人閱讀 39,804評論 0 276
  • 序言:老撾萬榮一對情侶失蹤毫捣,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后帝际,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體蔓同,經(jīng)...
    沈念sama閱讀 46,345評論 1 318
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,431評論 3 340
  • 正文 我和宋清朗相戀三年蹲诀,在試婚紗的時候發(fā)現(xiàn)自己被綠了斑粱。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,561評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡脯爪,死狀恐怖则北,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情痕慢,我是刑警寧澤尚揣,帶...
    沈念sama閱讀 36,238評論 5 350
  • 正文 年R本政府宣布,位于F島的核電站守屉,受9級特大地震影響惑艇,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜拇泛,卻給世界環(huán)境...
    茶點故事閱讀 41,928評論 3 334
  • 文/蒙蒙 一滨巴、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧俺叭,春花似錦恭取、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,417評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽耗跛。三九已至,卻和暖如春攒发,著一層夾襖步出監(jiān)牢的瞬間调塌,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,528評論 1 272
  • 我被黑心中介騙來泰國打工惠猿, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留羔砾,地道東北人。 一個月前我還...
    沈念sama閱讀 48,983評論 3 376
  • 正文 我出身青樓偶妖,卻偏偏與公主長得像姜凄,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子趾访,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,573評論 2 359

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理态秧,服務(wù)發(fā)現(xiàn),斷路器扼鞋,智...
    卡卡羅2017閱讀 134,702評論 18 139
  • Elasticsearch 架構(gòu)以及源碼概覽 Elasticsearch是最近兩年異軍突起的一個兼有搜索引擎和No...
    meng_philip123閱讀 4,328評論 1 36
  • Elasticsearch 架構(gòu)以及源碼概覽 Elasticsearch是最近兩年異軍突起的一個兼有搜索引擎和No...
    meng_philip123閱讀 2,389評論 2 47
  • 博客原文一博客原文二 翻譯作品申鱼,水平有限,如有錯誤藏鹊,煩請留言指正润讥。原文請見 官網(wǎng)英文文檔 起步 Elasticse...
    rabbitGYK閱讀 3,261評論 0 68
  • 今天是從鄭州回來的第十天 還是很想念薛小姐 昨天晚上做了一個長長的夢转锈,夢里和她在一起盘寡,天那么藍(lán),草那么綠撮慨,到處充滿...
    王不予閱讀 184評論 0 0