python爬蟲(chóng)學(xué)習(xí)筆記總(挖坑中...)

什么是Spider

Spider翻譯成中文是蜘蛛的意思湿刽,如果我們把互聯(lián)網(wǎng)比喻成一個(gè)蜘蛛網(wǎng)的話,spider就是在互聯(lián)網(wǎng)上的蜘蛛怀读,從網(wǎng)站上的某一頁(yè)開(kāi)始,讀取網(wǎng)頁(yè)上的內(nèi)容骑脱,找到在網(wǎng)頁(yè)上其它鏈接的地址菜枷,尋找下一個(gè)網(wǎng)頁(yè)...。有了spider惜姐,我們就可以隨意抓取互聯(lián)網(wǎng)上任何我們感興趣的東西了犁跪。

首先要理解什么是URL

就當(dāng)大家都理解了

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市歹袁,隨后出現(xiàn)的幾起案子坷衍,更是在濱河造成了極大的恐慌,老刑警劉巖条舔,帶你破解...
    沈念sama閱讀 222,252評(píng)論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件枫耳,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡孟抗,警方通過(guò)查閱死者的電腦和手機(jī)迁杨,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,886評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)凄硼,“玉大人铅协,你說(shuō)我怎么就攤上這事√粒” “怎么了狐史?”我有些...
    開(kāi)封第一講書(shū)人閱讀 168,814評(píng)論 0 361
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)说墨。 經(jīng)常有香客問(wèn)我骏全,道長(zhǎng),這世上最難降的妖魔是什么尼斧? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,869評(píng)論 1 299
  • 正文 為了忘掉前任姜贡,我火速辦了婚禮,結(jié)果婚禮上棺棵,老公的妹妹穿的比我還像新娘楼咳。我一直安慰自己,他們只是感情好烛恤,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,888評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布母怜。 她就那樣靜靜地躺著,像睡著了一般棒动。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上宾添,一...
    開(kāi)封第一講書(shū)人閱讀 52,475評(píng)論 1 312
  • 那天船惨,我揣著相機(jī)與錄音柜裸,去河邊找鬼。 笑死粱锐,一個(gè)胖子當(dāng)著我的面吹牛疙挺,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播怜浅,決...
    沈念sama閱讀 41,010評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼铐然,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了恶座?” 一聲冷哼從身側(cè)響起搀暑,我...
    開(kāi)封第一講書(shū)人閱讀 39,924評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎跨琳,沒(méi)想到半個(gè)月后自点,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,469評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡脉让,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,552評(píng)論 3 342
  • 正文 我和宋清朗相戀三年桂敛,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片溅潜。...
    茶點(diǎn)故事閱讀 40,680評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡术唬,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出滚澜,到底是詐尸還是另有隱情粗仓,我是刑警寧澤,帶...
    沈念sama閱讀 36,362評(píng)論 5 351
  • 正文 年R本政府宣布博秫,位于F島的核電站潦牛,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏挡育。R本人自食惡果不足惜巴碗,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,037評(píng)論 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望即寒。 院中可真熱鬧橡淆,春花似錦、人聲如沸母赵。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,519評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)凹嘲。三九已至师倔,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間周蹭,已是汗流浹背趋艘。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,621評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工疲恢, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人瓷胧。 一個(gè)月前我還...
    沈念sama閱讀 49,099評(píng)論 3 378
  • 正文 我出身青樓显拳,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親搓萧。 傳聞我的和親對(duì)象是個(gè)殘疾皇子杂数,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,691評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容

  • Android 自定義View的各種姿勢(shì)1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,312評(píng)論 25 707
  • //我所經(jīng)歷的大數(shù)據(jù)平臺(tái)發(fā)展史(三):互聯(lián)網(wǎng)時(shí)代 ? 上篇http://www.infoq.com/cn/arti...
    葡萄喃喃囈語(yǔ)閱讀 51,236評(píng)論 10 200
  • 20170625 小寶都這個(gè)點(diǎn)才睡,令我哭笑不得瘸洛,幸好沒(méi)像昨天一樣揍移,一整天像個(gè)愛(ài)哭鬼。前一秒還好好在玩货矮,下一秒?yún)s牛...
    新愉閱讀 123評(píng)論 0 0
  • 崇明島是我的故鄉(xiāng)羊精,恬淡寧?kù)o,每當(dāng)我心情郁郁時(shí)囚玫,回到這里總能舒心喧锦。 這里有無(wú)盡的樹(shù)林,新鮮的空氣抓督,和遠(yuǎn)離城市的安靜燃少。...
    肆柒的一往情深閱讀 173評(píng)論 0 0
  • 故事疆域的國(guó)界線縫打著秘密 我們?cè)诟髯缘拿孛芡鯂?guó)里戕殺 秘密是攥在手心的掌紋 長(zhǎng)勢(shì)繚繞 你不攤開(kāi) 我不過(guò)問(wèn) 就化作...
    洛桑爾靜閱讀 269評(píng)論 0 1