關(guān)于搜索引擎架構(gòu)理解

1德玫、搜索引擎流程


如圖匪蟀,整個搜索引擎邏輯可以理解成兩條線,上面是需求理解宰僧,下面是資源管理材彪,然后合理的讓資源以符合用戶需求的方式給出,就是搜索引擎做的事情琴儿。

所以段化,總結(jié)為以下3件事:需求理解、資源管理造成、匹配邏輯

2显熏、檢索關(guān)系圖


各個模塊的工作

master(M1/M2)是大腦,控制中心晒屎,負責進行全局調(diào)控喘蟆,外加整合處理缓升;

QS負責用戶的需求理解分析

GS負責對頁面整體排序

RS是對結(jié)果的包裝和美化

各個模塊的具體工作:

M1:

連接Master1(Gs),接收Master2-Gs排序后返回的結(jié)果

連接LBS蕴轨、外部整合港谊、KS 等服務(wù)

負責大庫數(shù)據(jù) 與 LBS、外部整合尺棋、KS的混排工作

負責整體結(jié)構(gòu)化結(jié)果聚合工作

QS熱度 + 結(jié)構(gòu)化聚合策略 + Gs結(jié)果信息 = 共同指導混排

【整合結(jié)果層:策略來源QS封锉,決定者M1】

QS:

需求分析,可以提供query分類膘螟、核心詞成福、同義詞、實體詞等信息

M2:

連接各類worker-IS檢索集群

通過QS荆残、GS策略 執(zhí)行 檢索調(diào)度

獲取IS數(shù)據(jù)發(fā)送GS 進行全局排序

獲取DI

【大庫搜索結(jié)果層:決定者GS】

QS:

Query解析奴艾、變換

Query用戶需求識別

需求類別熱度識別(排序參照)

QT 含 內(nèi)部、外部整合内斯、LBS query類別召回

Query實體詞識別

連接糾錯蕴潦、新聞詞server 識別糾錯詞、新聞詞

GS:

從Master2獲取IS檢索結(jié)果

進行全局結(jié)果排序

(暫不包括 外部整合與LBS排序)

IS:

根據(jù)Query特征對索引進行檢索俘闯,結(jié)合網(wǎng)頁特征及Query特征潭苞,基本確定相關(guān)網(wǎng)頁集合

3、 網(wǎng)頁結(jié)果構(gòu)成


可以從query的理解上研究怎樣找到最好的給出結(jié)果的方式(即上面說的第三件事真朗,匹配邏輯)此疹;

也可以從搜索結(jié)果的來源上,研究怎樣逐一優(yōu)化遮婶,這種方式可以理解為上面說的第二件事蝗碎,資源管理;

4旗扑、系統(tǒng)架構(gòu)圖


檢索關(guān)系圖可以看成是對搜索引擎的業(yè)務(wù)的橫向理解蹦骑,即理解用戶從輸入query到結(jié)果呈現(xiàn)的過程是怎樣的;

系統(tǒng)架構(gòu)圖可以看成是縱向理解臀防;

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末眠菇,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子袱衷,更是在濱河造成了極大的恐慌琼锋,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,348評論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件祟昭,死亡現(xiàn)場離奇詭異,居然都是意外死亡怖侦,警方通過查閱死者的電腦和手機篡悟,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,122評論 2 385
  • 文/潘曉璐 我一進店門谜叹,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人搬葬,你說我怎么就攤上這事荷腊。” “怎么了急凰?”我有些...
    開封第一講書人閱讀 156,936評論 0 347
  • 文/不壞的土叔 我叫張陵女仰,是天一觀的道長。 經(jīng)常有香客問我抡锈,道長疾忍,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,427評論 1 283
  • 正文 為了忘掉前任床三,我火速辦了婚禮一罩,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘撇簿。我一直安慰自己聂渊,他們只是感情好,可當我...
    茶點故事閱讀 65,467評論 6 385
  • 文/花漫 我一把揭開白布四瘫。 她就那樣靜靜地躺著汉嗽,像睡著了一般。 火紅的嫁衣襯著肌膚如雪找蜜。 梳的紋絲不亂的頭發(fā)上饼暑,一...
    開封第一講書人閱讀 49,785評論 1 290
  • 那天,我揣著相機與錄音锹杈,去河邊找鬼撵孤。 笑死,一個胖子當著我的面吹牛竭望,可吹牛的內(nèi)容都是我干的邪码。 我是一名探鬼主播,決...
    沈念sama閱讀 38,931評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼咬清,長吁一口氣:“原來是場噩夢啊……” “哼闭专!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起旧烧,我...
    開封第一講書人閱讀 37,696評論 0 266
  • 序言:老撾萬榮一對情侶失蹤影钉,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后掘剪,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體平委,經(jīng)...
    沈念sama閱讀 44,141評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,483評論 2 327
  • 正文 我和宋清朗相戀三年夺谁,在試婚紗的時候發(fā)現(xiàn)自己被綠了廉赔。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片肉微。...
    茶點故事閱讀 38,625評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖蜡塌,靈堂內(nèi)的尸體忽然破棺而出碉纳,到底是詐尸還是另有隱情,我是刑警寧澤馏艾,帶...
    沈念sama閱讀 34,291評論 4 329
  • 正文 年R本政府宣布劳曹,位于F島的核電站,受9級特大地震影響琅摩,放射性物質(zhì)發(fā)生泄漏铁孵。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,892評論 3 312
  • 文/蒙蒙 一迫吐、第九天 我趴在偏房一處隱蔽的房頂上張望库菲。 院中可真熱鬧,春花似錦志膀、人聲如沸熙宇。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,741評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽烫止。三九已至,卻和暖如春戳稽,著一層夾襖步出監(jiān)牢的瞬間馆蠕,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評論 1 265
  • 我被黑心中介騙來泰國打工惊奇, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留互躬,地道東北人。 一個月前我還...
    沈念sama閱讀 46,324評論 2 360
  • 正文 我出身青樓颂郎,卻偏偏與公主長得像吼渡,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子乓序,可洞房花燭夜當晚...
    茶點故事閱讀 43,492評論 2 348

推薦閱讀更多精彩內(nèi)容