搜索引擎

第 8 章:布爾代數(shù)和搜索引擎

搜索引擎:

  • 自動下載盡可能多的網(wǎng)頁——下載
  • 建立快速有效的索引——索引
  • 根據(jù)相關(guān)性對網(wǎng)頁進行公平準確的排序——排序

1、布爾代數(shù)

2岔乔、索引

如何向你的奶奶解釋搜索引擎洼专?
每個網(wǎng)站就像圖書館里的一本書商佛,我們不可能在圖書館書架上一本本地找愁茁,而是要通過搜索卡片找到它的位置严望,然后直接去書架上拿摆尝。

第 9 章:圖輪和網(wǎng)絡(luò)爬蟲

如何自動下載互聯(lián)網(wǎng)所有的網(wǎng)頁呢温艇?——圖論中的遍歷算法。

  • 廣度優(yōu)先搜索
  • 深度優(yōu)先搜索
    面試:如何構(gòu)建一個網(wǎng)絡(luò)爬蟲堕汞?
  • 用 BFS 還是 DFS:“如何在有限的時間里最多地爬下最重要的網(wǎng)頁”勺爱,顯然 BFS 明顯優(yōu)于 DFS。調(diào)度系統(tǒng)讯检,由它決定當一個網(wǎng)頁下載完成后琐鲁,接下來下載哪一個。
  • 頁面的分析和 URL 的提取
  • 記錄哪些網(wǎng)頁已經(jīng)下載過的小本本—— URL 表人灼。

第 10 章 PageRank Google 的民主表決式網(wǎng)頁排名技術(shù)

搜索結(jié)果的排名取決于兩組信息:關(guān)于網(wǎng)頁的質(zhì)量信息围段,以及這個查詢與每個網(wǎng)頁的相關(guān)性信息。

PageRank

如果一個網(wǎng)頁被很多其他網(wǎng)頁所鏈接投放,說明它受到普遍的承認和信賴奈泪,那么它的排名就高,這就是 PageRank 的核心思想灸芳±晕Γ考慮權(quán)重因此,即網(wǎng)頁排名高的網(wǎng)站貢獻的鏈接權(quán)重大烙样。


image.png

先假定所有網(wǎng)頁的排名是相同的苹支,并且根據(jù)這個初始值,算出各個網(wǎng)頁的第一次迭代排名误阻,然后再根據(jù)第一次迭代排名算出第二次的排名。從理論上證明了不論初始值如何選取,這種算法都能保證網(wǎng)頁排名的估計值收斂到排名的真實值究反,這種算法不需要任何人工干預寻定。

第 11 章 如何確定網(wǎng)頁和查詢的相關(guān)性

對搜索相關(guān)性貢獻最大是根據(jù)用戶對常見搜索點擊網(wǎng)頁的結(jié)果得到的概率模型,除了用戶的點擊數(shù)據(jù)之外精耐,歸納成下面四大類:

  • 完備的索引
  • 對網(wǎng)頁質(zhì)量的度量狼速,如 PageRank
  • 用戶偏好
  • 確定一個網(wǎng)頁和某個查詢相關(guān)性的方法
    如何度量網(wǎng)頁和查詢的相關(guān)性

搜索關(guān)鍵詞權(quán)重的科學度量 TF-IDF

  • 一個詞預測主題的能力越強,權(quán)重越大卦停,反之向胡,權(quán)重越小。
  • 停止詞的權(quán)重為零惊完。

第 12 章:有限狀態(tài)機和動態(tài)規(guī)劃——地圖與本地搜索的核心技術(shù)

智能手機的定位和導航功能僵芹,其實只有三項關(guān)鍵技術(shù):

  • 利用衛(wèi)星定位,這一點傳統(tǒng)的導航儀都能做到
  • 地址的識別
  • 用戶輸入的起點和終點小槐,在地圖上規(guī)劃最短路線或者最快路線

地址分析和有限狀態(tài)機

有限狀態(tài)機是一個特殊的有向圖拇派,它包括一些狀態(tài)(節(jié)點)和連接這些狀態(tài)的有向弧。

image.png

每一個有限狀態(tài)機都有一個開始狀態(tài)和一個終止狀態(tài)凿跳,以及若干中間狀態(tài)件豌。每一條弧上帶有從一個狀態(tài)進入下一個狀態(tài)的條件。
使用有限狀態(tài)機識別地址控嗜,關(guān)鍵要解決兩個問題:

  • 通過一些有效地址建立狀態(tài)機
  • 給定一個有限狀態(tài)機后茧彤,地址字串的匹配算法

2、全球?qū)Ш胶蛣討B(tài)規(guī)劃

第 18 章:談?wù)勊阉饕娣醋鞅讍栴}和搜索結(jié)果的權(quán)威性問題

搜索引擎的反作弊

在通信中解決噪音干擾問題的基本思路有兩條:

  • 從信息源出發(fā)疆栏,加強通信(編碼)自身的抗干擾能力
  • 從傳輸來看曾掂,過濾掉噪音,還原信息承边。
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末遭殉,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子博助,更是在濱河造成了極大的恐慌险污,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,865評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件富岳,死亡現(xiàn)場離奇詭異蛔糯,居然都是意外死亡,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,296評論 3 399
  • 文/潘曉璐 我一進店門袜香,熙熙樓的掌柜王于貴愁眉苦臉地迎上來胳赌,“玉大人,你說我怎么就攤上這事淮逻∏戆茫” “怎么了?”我有些...
    開封第一講書人閱讀 169,631評論 0 364
  • 文/不壞的土叔 我叫張陵爬早,是天一觀的道長哼丈。 經(jīng)常有香客問我,道長筛严,這世上最難降的妖魔是什么醉旦? 我笑而不...
    開封第一講書人閱讀 60,199評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮桨啃,結(jié)果婚禮上车胡,老公的妹妹穿的比我還像新娘。我一直安慰自己照瘾,他們只是感情好匈棘,可當我...
    茶點故事閱讀 69,196評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著网杆,像睡著了一般羹饰。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上碳却,一...
    開封第一講書人閱讀 52,793評論 1 314
  • 那天队秩,我揣著相機與錄音,去河邊找鬼昼浦。 笑死馍资,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的关噪。 我是一名探鬼主播鸟蟹,決...
    沈念sama閱讀 41,221評論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼使兔!你這毒婦竟也來了建钥?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,174評論 0 277
  • 序言:老撾萬榮一對情侶失蹤虐沥,失蹤者是張志新(化名)和其女友劉穎熊经,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體欲险,經(jīng)...
    沈念sama閱讀 46,699評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡镐依,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,770評論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了天试。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片槐壳。...
    茶點故事閱讀 40,918評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖喜每,靈堂內(nèi)的尸體忽然破棺而出务唐,到底是詐尸還是另有隱情雳攘,我是刑警寧澤,帶...
    沈念sama閱讀 36,573評論 5 351
  • 正文 年R本政府宣布绍哎,位于F島的核電站来农,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏崇堰。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,255評論 3 336
  • 文/蒙蒙 一涩咖、第九天 我趴在偏房一處隱蔽的房頂上張望海诲。 院中可真熱鬧,春花似錦檩互、人聲如沸特幔。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,749評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽蚯斯。三九已至,卻和暖如春饵较,著一層夾襖步出監(jiān)牢的瞬間拍嵌,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,862評論 1 274
  • 我被黑心中介騙來泰國打工循诉, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留横辆,地道東北人。 一個月前我還...
    沈念sama閱讀 49,364評論 3 379
  • 正文 我出身青樓茄猫,卻偏偏與公主長得像狈蚤,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子划纽,可洞房花燭夜當晚...
    茶點故事閱讀 45,926評論 2 361

推薦閱讀更多精彩內(nèi)容

  • 這個系列的第六個主題脆侮,主要談一些搜索引擎相關(guān)的常見技術(shù)。 1995年是搜索引擎商業(yè)公司發(fā)展的重要起點勇劣,《淺談推薦系...
    我偏笑_NSNirvana閱讀 6,637評論 3 24
  • 鏈接分析 我們在最開始說過靖避,搜索引擎在查找能夠滿足用戶需求的網(wǎng)頁時,主要會考慮兩方面的因素芭毙,一方面是用戶發(fā)出的查詢...
    我偏笑_NSNirvana閱讀 3,249評論 1 12
  • 《這就是搜索引擎》這本書的第二章是關(guān)于爬蟲的筋蓖,干貨很多(文章幾乎沒有廢話,所以復制居多)退敦,可以參考搜索引擎是如何構(gòu)...
    SeanCheney閱讀 2,104評論 0 20
  • 揚州市竹西中學 清晨8點的校園粘咖,霧霾天氣。 對于北方人來說侈百,很新鮮瓮下。這里果樹種類很多翰铡,橘子是給班主任吃的。不同科目...
    靜聽花開_bfd1閱讀 390評論 0 2
  • 《別以愛的名義傷害孩子》 6.權(quán)威姿態(tài)-不給孩子擺權(quán)威的架子讽坏,因為那是偽權(quán)威锭魔!父母在孩子面前樹立威信是非常有必要的...
    小草莓2017閱讀 83評論 0 0