《數(shù)學之美》筆記 圖論與網(wǎng)絡(luò)爬蟲

離散數(shù)學包括數(shù)理邏輯剃根,集合論,圖論,近世代數(shù)物遇。

圖論

哥尼斯堡七橋問題(圖論的起源):只有每個點的度都是偶數(shù)的情況才能不重復地遍歷每個頂點。

爬蟲

下載互聯(lián)網(wǎng)上的所有網(wǎng)頁(網(wǎng)頁當做節(jié)點憾儒,超鏈接作為邊)需要用到圖論的遍歷算法询兴。完成這個功能的程序叫做網(wǎng)絡(luò)爬蟲。

“如何構(gòu)建一個網(wǎng)絡(luò)爬蟲”是一個很好的面試問題起趾,考察計算機科學理論基礎(chǔ)诗舰,算法能力和工程素養(yǎng)。

策略

現(xiàn)實中的網(wǎng)絡(luò)爬蟲的任務(wù)應(yīng)該定義成“如何在有限時間內(nèi)爬下最重要的網(wǎng)頁”训裆,這種情況下BFS遍歷明顯優(yōu)于DFS眶根。但是考慮到下載服務(wù)器和網(wǎng)頁服務(wù)器的連接具有握手成本,(網(wǎng)絡(luò)爬蟲是有上千臺服務(wù)器組成的分布式系統(tǒng))那么就由一個或幾個服務(wù)器專門下載一個網(wǎng)頁边琉,下載完一個網(wǎng)站再進入下一個属百。這又是DFS的概念。所以這個優(yōu)先級隊列的調(diào)度系統(tǒng)是DFS和BFS的優(yōu)化变姨。
一些網(wǎng)頁是由js寫的族扰,需要運行才能得到URL,有些腳本寫的不規(guī)范,以至于難以解析渔呵,因此需要瀏覽器內(nèi)核工程師來寫網(wǎng)絡(luò)爬蟲的解析程序怒竿。所以會有爬蟲爬不到的網(wǎng)頁。
為了記錄一些網(wǎng)頁是否已經(jīng)被下載過厘肮,需要用一個哈希表進行記錄愧口。那么需要維護一個龐大的哈希表,解決方法是明確每個下載服務(wù)器的分工类茂,然后批處理詢問(每次更新一大批哈希表內(nèi)容)耍属。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市巩检,隨后出現(xiàn)的幾起案子厚骗,更是在濱河造成了極大的恐慌,老刑警劉巖兢哭,帶你破解...
    沈念sama閱讀 216,651評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件领舰,死亡現(xiàn)場離奇詭異,居然都是意外死亡迟螺,警方通過查閱死者的電腦和手機冲秽,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,468評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來矩父,“玉大人锉桑,你說我怎么就攤上這事∏现辏” “怎么了民轴?”我有些...
    開封第一講書人閱讀 162,931評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長球订。 經(jīng)常有香客問我后裸,道長,這世上最難降的妖魔是什么冒滩? 我笑而不...
    開封第一講書人閱讀 58,218評論 1 292
  • 正文 為了忘掉前任微驶,我火速辦了婚禮,結(jié)果婚禮上开睡,老公的妹妹穿的比我還像新娘祈搜。我一直安慰自己,他們只是感情好士八,可當我...
    茶點故事閱讀 67,234評論 6 388
  • 文/花漫 我一把揭開白布容燕。 她就那樣靜靜地躺著,像睡著了一般婚度。 火紅的嫁衣襯著肌膚如雪蘸秘。 梳的紋絲不亂的頭發(fā)上官卡,一...
    開封第一講書人閱讀 51,198評論 1 299
  • 那天,我揣著相機與錄音醋虏,去河邊找鬼寻咒。 笑死,一個胖子當著我的面吹牛颈嚼,可吹牛的內(nèi)容都是我干的毛秘。 我是一名探鬼主播,決...
    沈念sama閱讀 40,084評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼阻课,長吁一口氣:“原來是場噩夢啊……” “哼叫挟!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起限煞,我...
    開封第一講書人閱讀 38,926評論 0 274
  • 序言:老撾萬榮一對情侶失蹤抹恳,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后署驻,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體奋献,經(jīng)...
    沈念sama閱讀 45,341評論 1 311
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,563評論 2 333
  • 正文 我和宋清朗相戀三年旺上,在試婚紗的時候發(fā)現(xiàn)自己被綠了瓶蚂。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,731評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡宣吱,死狀恐怖窃这,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情凌节,我是刑警寧澤,帶...
    沈念sama閱讀 35,430評論 5 343
  • 正文 年R本政府宣布洒试,位于F島的核電站倍奢,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏垒棋。R本人自食惡果不足惜卒煞,卻給世界環(huán)境...
    茶點故事閱讀 41,036評論 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望叼架。 院中可真熱鬧畔裕,春花似錦、人聲如沸乖订。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,676評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽乍构。三九已至甜无,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背岂丘。 一陣腳步聲響...
    開封第一講書人閱讀 32,829評論 1 269
  • 我被黑心中介騙來泰國打工陵究, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人奥帘。 一個月前我還...
    沈念sama閱讀 47,743評論 2 368
  • 正文 我出身青樓铜邮,卻偏偏與公主長得像,于是被迫代替她去往敵國和親寨蹋。 傳聞我的和親對象是個殘疾皇子松蒜,可洞房花燭夜當晚...
    茶點故事閱讀 44,629評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 摘要: [圖論] [網(wǎng)絡(luò)爬蟲] [圖的遍歷] 圖論 說到圖論,必須要提的就是KonigsBerg七橋問題,簡單說就...
    NemoHo閱讀 946評論 2 7
  • 很早之前看了幾篇博文,只留下模糊印象 钥庇。這次是在學習人工智能的基礎(chǔ)知識后再看牍鞠,其中研究自然語言的方法從基于規(guī)則轉(zhuǎn)變...
    輕舟閱讀 5,889評論 0 9
  • 第一章、 文字和語言vs數(shù)字和信息 簡要介紹了語言和文字的發(fā)展過程 第二章评姨、 自然語言處理 在上世紀50年代到...
    hyhchaos閱讀 403評論 0 0
  • chapter 3 漢語的詞匯量大致在200k最有难述,訓練一個三元模型就有200K^3 的參數(shù),即使將整個互聯(lián)網(wǎng)的全...
    栽生物坑里的信息汪閱讀 1,364評論 0 1
  • 谷歌瀏覽器能發(fā)布不能粘帖吐句,qq瀏覽器能粘帖不能發(fā)布胁后,暈…… 百度和獵豹壓根就點不中菜單欄頭像下拉菜單選項,只能點中...
    楊鐵心閱讀 477評論 0 1