Python爬蟲小白入門(一)寫在前面

一、前言


你是不是在為想收集數(shù)據(jù)而不知道如何收集而著急怜姿?

你是不是在為想學習爬蟲而找不到一個專門為小白寫的教程而煩惱?

Bingo! 你沒有看錯,這就是專門面向小白學習爬蟲而寫的蚕钦!我會采用實例的方式,把每個部分都跟實際的例子結合起來幫助小伙伴兒們理解鹅很。最后再寫幾個實戰(zhàn)的例子嘶居。

我們使用Python來寫爬蟲,一方面因為Python是一個特別適合變成入門的語言促煮,另一方面邮屁,Python也有很多爬蟲相關的工具包,能夠簡單快速的開發(fā)出我們的小爬蟲菠齿。
本系列采用Python3.5版本佑吝,畢竟2.7會慢慢退出歷史舞臺~

那么,接下來绳匀,你得知道什么是爬蟲芋忿、爬蟲從哪里爬取數(shù)據(jù)的,以及疾棵,學習爬蟲都要學習哪些東西戈钢。

二、什么是爬蟲


來看看百度百科是如何定義的

網(wǎng)絡爬蟲(又被稱為網(wǎng)頁蜘蛛是尔,網(wǎng)絡機器人殉了,在FOAF社區(qū)中間,更經(jīng)常的稱為網(wǎng)頁追逐者)拟枚,是一種按照一定的規(guī)則薪铜,自動地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻恩溅、自動索引痕囱、模擬程序或者蠕蟲

什么暴匠?沒看懂鞍恢?沒關系,我來給你解釋一下

打開一個網(wǎng)頁,里面有網(wǎng)頁內容吧帮掉,想象一下弦悉,有個工具,可以把網(wǎng)頁上的內容獲取下來蟆炊,存到你想要的地方稽莉,這個工具就是我們今天的主角:爬蟲。

這樣是不是更清晰了呢涩搓?

既然了解了爬蟲是什么污秆,那么爬蟲是如何爬取數(shù)據(jù)的呢?

三昧甘、爬蟲是哪里爬取數(shù)據(jù)的


打開瀏覽器(強烈建議谷歌瀏覽器)良拼,找到瀏覽器地址欄,然后在里敲music.163.com充边,你會看到網(wǎng)頁內容庸推。

欸,圖片中間那倆人在干嘛浇冰?(單身狗請主動防御贬媒,這是誤傷,這真的是誤傷V庀啊)

鼠標在頁面上點擊右鍵际乘,然后點擊view page source∑澹看到這些文字了嗎蚓庭?這才是網(wǎng)頁最赤果果的樣子。

其實所有的網(wǎng)頁都是HTML代碼仅仆,只不過瀏覽器將這些代碼解析成了上面的網(wǎng)頁,我們的小爬蟲抓取的其實就是HTML代碼中的文本啦垢袱。
這不合理啊墓拜,難不成那些圖片也是文本?

恭喜你请契,答對了咳榜。回到瀏覽器中有圖的哪個tab頁爽锥,鼠標右鍵涌韩,點擊Inspect。會彈出一個面板氯夷,點擊板左上角的箭頭臣樱,點擊虐狗圖片,你會看到下面有紅圈圈的地方,是圖片的網(wǎng)絡地址雇毫。圖片可以通過該地址保存到本地哦玄捕。

你猜的沒錯,我們的小爬蟲抓取的正是網(wǎng)頁中的數(shù)據(jù)棚放,你要知道你想要抓取什么數(shù)據(jù)枚粘,你的目標網(wǎng)站是什么,才可以把想法變成現(xiàn)實的哦飘蚯。你不能說馍迄,我想要這個這個,還有這個局骤,然后數(shù)據(jù)就自動來了攀圈。。庄涡。(是不是讓你想起了你的導師或老板量承?)

四、學習爬蟲的必備知識


大家要先對以下內容有一定的了解再來學習爬蟲哦穴店,磨刀不誤砍柴工

  • HTML
    這個能夠幫助你了解網(wǎng)頁的結構撕捍,內容等∑矗可以參考W3School的教程忧风。

  • Python
    如果有編程基礎的小伙伴兒,推薦看一個廖雪峰的Python教程就夠了
    沒有編程基礎的小伙伴球凰,推薦看看視頻教程(網(wǎng)易云課堂搜Python)狮腿,然后再結合廖雪峰的教程,雙管齊下呕诉。
    其實知乎上總結的已經(jīng)非常好了缘厢,我就不多嘮叨了。知乎-如何系統(tǒng)的自學Python

  • TCP/IP協(xié)議甩挫,HTTP協(xié)議
    這些知識能夠讓你了解在網(wǎng)絡請求和網(wǎng)絡傳輸上的基本原理贴硫,了解就行,能夠幫助今后寫爬蟲的時候理解爬蟲的邏輯伊者。
    廖雪峰Python教程里也有簡單介紹英遭,可以參考:TCP/IP簡介HTTP協(xié)議
    想更深入學習的小伙伴兒可以去網(wǎng)上多搜搜相關的書籍哦

OK, 下一篇就開始我們的實戰(zhàn)啦

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末亦渗,一起剝皮案震驚了整個濱河市挖诸,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌法精,老刑警劉巖多律,帶你破解...
    沈念sama閱讀 216,372評論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件痴突,死亡現(xiàn)場離奇詭異,居然都是意外死亡菱涤,警方通過查閱死者的電腦和手機苞也,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來粘秆,“玉大人如迟,你說我怎么就攤上這事」プ撸” “怎么了殷勘?”我有些...
    開封第一講書人閱讀 162,415評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長昔搂。 經(jīng)常有香客問我玲销,道長,這世上最難降的妖魔是什么摘符? 我笑而不...
    開封第一講書人閱讀 58,157評論 1 292
  • 正文 為了忘掉前任贤斜,我火速辦了婚禮,結果婚禮上逛裤,老公的妹妹穿的比我還像新娘瘩绒。我一直安慰自己,他們只是感情好带族,可當我...
    茶點故事閱讀 67,171評論 6 388
  • 文/花漫 我一把揭開白布锁荔。 她就那樣靜靜地躺著,像睡著了一般蝙砌。 火紅的嫁衣襯著肌膚如雪阳堕。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,125評論 1 297
  • 那天择克,我揣著相機與錄音恬总,去河邊找鬼。 笑死肚邢,一個胖子當著我的面吹牛壹堰,可吹牛的內容都是我干的。 我是一名探鬼主播道偷,決...
    沈念sama閱讀 40,028評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼记劈!你這毒婦竟也來了勺鸦?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 38,887評論 0 274
  • 序言:老撾萬榮一對情侶失蹤目木,失蹤者是張志新(化名)和其女友劉穎换途,沒想到半個月后懊渡,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體蚪黑,經(jīng)...
    沈念sama閱讀 45,310評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡橄霉,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,533評論 2 332
  • 正文 我和宋清朗相戀三年倍啥,在試婚紗的時候發(fā)現(xiàn)自己被綠了隅茎。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片臼隔。...
    茶點故事閱讀 39,690評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡俺陋,死狀恐怖聚唐,靈堂內的尸體忽然破棺而出沪么,到底是詐尸還是另有隱情辫继,我是刑警寧澤怒见,帶...
    沈念sama閱讀 35,411評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站姑宽,受9級特大地震影響遣耍,放射性物質發(fā)生泄漏。R本人自食惡果不足惜炮车,卻給世界環(huán)境...
    茶點故事閱讀 41,004評論 3 325
  • 文/蒙蒙 一舵变、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧瘦穆,春花似錦纪隙、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至告喊,卻和暖如春麸拄,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背黔姜。 一陣腳步聲響...
    開封第一講書人閱讀 32,812評論 1 268
  • 我被黑心中介騙來泰國打工拢切, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人秆吵。 一個月前我還...
    沈念sama閱讀 47,693評論 2 368
  • 正文 我出身青樓淮椰,卻偏偏與公主長得像,于是被迫代替她去往敵國和親纳寂。 傳聞我的和親對象是個殘疾皇子主穗,可洞房花燭夜當晚...
    茶點故事閱讀 44,577評論 2 353

推薦閱讀更多精彩內容

  • 爬蟲文章 in 簡書程序員專題: like:128-Python 爬取落網(wǎng)音樂 like:127-【圖文詳解】py...
    喜歡吃栗子閱讀 21,752評論 4 412
  • 爬蟲文章 in 簡書程序員專題: like:128 - Python 爬取落網(wǎng)音樂 like:127 - 【圖文詳...
    treelake閱讀 29,549評論 33 638
  • 依法誠信納稅,共建美好家園 尊敬的各位領導毙芜,各位來賓忽媒,親愛的小朋友們: 大家好! 在這鮮花爛漫,綠草如...
    香伊閱讀 146評論 0 1
  • “我們太看重了白晝腋粥,又太忽視著黑夜晦雨〖懿埽” 《病隙碎筆》是史鐵生在生病治療間隙的所思所想,是一本關于生命闹瞧、愛情绑雄、金錢、...
    北府涵閱讀 2,393評論 0 3
  • 解釋著雪地里的腳印 我將手機調成靜音 從此不再干涉奥邮,彼此的生活 傷春度秋的想念 回憶也變成了永遠 你寄的明信片 沒...
    Liomo閱讀 192評論 0 1