前言
爬蟲即網(wǎng)絡(luò)爬蟲,英文是Web Spider贴见。翻譯過來就是網(wǎng)絡(luò)上爬行的蜘蛛烘苹,如果把互聯(lián)網(wǎng)看作一張大網(wǎng),那么爬蟲就是在大網(wǎng)上爬來爬去的蜘蛛片部,碰到想要的食物镣衡,就把他抓取出來。
我們在瀏覽器中輸入一個網(wǎng)址档悠,敲擊回車廊鸥,看到網(wǎng)站的頁面信息辖所。這就是瀏覽器請求了網(wǎng)站的服務(wù)器惰说,獲取到網(wǎng)絡(luò)資源。那么缘回,爬蟲也相當(dāng)于模擬瀏覽器發(fā)送請求吆视,獲得到HTML代碼。HTML代碼里通常包含了標(biāo)簽和文字信息酥宴,我們就從中提取到我們想要的信息啦吧。
通常爬蟲是從某個網(wǎng)站的某個頁面開始,爬取這個頁面的內(nèi)容幅虑,找到網(wǎng)頁中的其他鏈接地址丰滑,然后從這個地址爬到下一個頁面,這樣一直不停的爬下去倒庵,進(jìn)去批量的抓取信息褒墨。那么,我們可以看出網(wǎng)絡(luò)爬蟲就是一個不停爬取網(wǎng)頁抓取信息的程序擎宝。
爬蟲的基本流程
發(fā)起請求
獲取相應(yīng)內(nèi)容
解析內(nèi)容
保存數(shù)據(jù)
爬蟲的用途
搜索引擎
采集數(shù)據(jù)
廣告過濾
用于數(shù)據(jù)分析
python爬蟲架構(gòu)組成
URL管理器:管理待爬取的url集合和已爬取的url集合郁妈,傳送待爬取的url給網(wǎng)頁下載器;
網(wǎng)頁下載器:爬取url對應(yīng)的網(wǎng)頁绍申,存儲成字符串噩咪,傳送給網(wǎng)頁解析器;
網(wǎng)頁解析器:解析出有價值的數(shù)據(jù)极阅,存儲下來胃碾,同時補(bǔ)充url到URL管理器。
Python爬蟲工作原理
Python爬蟲通過URL管理器筋搏,判斷是否有待爬URL仆百,如果有待爬URL,通過調(diào)度器進(jìn)行傳遞給下載器奔脐,下載URL內(nèi)容俄周,并通過調(diào)度器傳送給解析器吁讨,解析URL內(nèi)容,并將價值數(shù)據(jù)和新URL列表通過調(diào)度器傳遞給應(yīng)用程序峦朗,并輸出價值信息的過程建丧。
Python爬蟲常用框架有:
grab:網(wǎng)絡(luò)爬蟲框架(基于pycurl/multicur);
scrapy:網(wǎng)絡(luò)爬蟲框架(基于twisted)波势,不支持Python3翎朱;
pyspider:一個強(qiáng)大的爬蟲系統(tǒng);
cola:一個分布式爬蟲框架尺铣;
portia:基于Scrapy的可視化爬蟲闭翩;
restkit:Python的HTTP資源工具包。它可以讓你輕松地訪問HTTP資源迄埃,并圍繞它建立的對象;
demiurge:基于PyQuery的爬蟲微框架兑障。
Python爬蟲應(yīng)用領(lǐng)域廣泛侄非,在網(wǎng)絡(luò)爬蟲領(lǐng)域處于霸主位置,Scrapy流译、Request逞怨、BeautifuSoap、urlib等框架的應(yīng)用福澡,可以實現(xiàn)爬行自如的功能叠赦,只要您數(shù)據(jù)抓取想法,Python爬蟲均可實現(xiàn)革砸!
十個Python爬蟲框架
Scrapy:
Scrapy是一個為了爬取網(wǎng)站數(shù)據(jù)除秀,提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架。 可以應(yīng)用在包括數(shù)據(jù)挖掘算利,信息處理或存儲歷史數(shù)據(jù)等一系列的程序中册踩。它是很強(qiáng)大的爬蟲框架,可以滿足簡單的頁面爬取效拭,比如可以明確獲知url pattern的情況暂吉。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數(shù)據(jù)。但是對于稍微復(fù)雜一點(diǎn)的頁面缎患,如weibo的頁面信息慕的,這個框架就滿足不了需求了。它的特性有:HTML, XML源數(shù)據(jù) 選擇及提取 的內(nèi)置支持挤渔;提供了一系列在spider之間共享的可復(fù)用的過濾器(即 Item Loaders)肮街,對智能處理爬取數(shù)據(jù)提供了內(nèi)置支持。
Crawley:
高速爬取對應(yīng)網(wǎng)站的內(nèi)容蚂蕴,支持關(guān)系和非關(guān)系數(shù)據(jù)庫低散,數(shù)據(jù)可以導(dǎo)出為JSON俯邓、XML等。
Portia:
是一個開源可視化爬蟲工具熔号,可讓使用者在不需要任何編程知識的情況下爬取網(wǎng)站稽鞭!簡單地注釋自己感興趣的頁面,Portia將創(chuàng)建一個蜘蛛來從類似的頁面提取數(shù)據(jù)引镊。簡單來講朦蕴,它是基于scrapy內(nèi)核;可視化爬取內(nèi)容弟头,不需要任何開發(fā)專業(yè)知識吩抓;動態(tài)匹配相同模板的內(nèi)容。
newspaper:
可以用來提取新聞赴恨、文章和內(nèi)容分析疹娶。使用多線程,支持10多種語言等伦连。作者從requests庫的簡潔與強(qiáng)大得到靈感雨饺,使用Python開發(fā)的可用于提取文章內(nèi)容的程序。支持10多種語言并且所有的都是unicode編碼惑淳。
Python-goose:
Java寫的文章提取工具额港。Python-goose框架可提取的信息包括:文章主體內(nèi)容、文章主要圖片歧焦、文章中嵌入的任何Youtube/Vimeo視頻移斩、元描述、元標(biāo)簽绢馍。
Beautiful Soup:
名氣大向瓷,整合了一些常用爬蟲需求。它是一個可以從HTML或XML文件中提取數(shù)據(jù)的Python庫舰涌。它能夠通過你喜歡的轉(zhuǎn)換器實現(xiàn)慣用的文檔導(dǎo)航,查找,修改文檔的方式.Beautiful Soup會幫你節(jié)省數(shù)小時甚至數(shù)天的工作時間风罩。Beautiful Soup的缺點(diǎn)是不能加載JS。
mechanize:
它的優(yōu)點(diǎn)是可以加載JS舵稠。當(dāng)然它也有缺點(diǎn)超升,比如文檔嚴(yán)重缺失。不過通過官方的example以及人肉嘗試的方法哺徊,還是勉強(qiáng)能用的室琢。
selenium:
這是一個調(diào)用瀏覽器的driver,通過這個庫你可以直接調(diào)用瀏覽器完成某些操作落追,比如輸入驗證碼盈滴。Selenium是自動化測試工具,它支持各種瀏覽器,包括 Chrome巢钓,Safari病苗,F(xiàn)irefox等主流界面式瀏覽器,如果在這些瀏覽器里面安裝一個 Selenium 的插件症汹,可以方便地實現(xiàn)Web界面的測試. Selenium支持瀏覽器驅(qū)動硫朦。Selenium支持多種語言開發(fā),比如 Java背镇,C咬展,Ruby等等,PhantomJS 用來渲染解析JS瞒斩,Selenium 用來驅(qū)動以及與Python的對接破婆,Python進(jìn)行后期的處理。
cola:
是一個分布式的爬蟲框架胸囱,對于用戶來說祷舀,只需編寫幾個特定的函數(shù),而無需關(guān)注分布式運(yùn)行的細(xì)節(jié)烹笔。任務(wù)會自動分配到多臺機(jī)器上蔑鹦,整個過程對用戶是透明的。項目整體設(shè)計有點(diǎn)糟箕宙,模塊間耦合度較高。
PySpider:
一個國人編寫的強(qiáng)大的網(wǎng)絡(luò)爬蟲系統(tǒng)并帶有強(qiáng)大的WebUI铺纽。采用Python語言編寫柬帕,分布式架構(gòu),支持多種數(shù)據(jù)庫后端狡门,強(qiáng)大的WebUI支持腳本編輯器陷寝,任務(wù)監(jiān)視器,項目管理器以及結(jié)果查看器其馏。Python腳本控制凤跑,可以用任何你喜歡的html解析包。
點(diǎn)擊右上角關(guān)注小編將會持續(xù)為您帶來相關(guān)資訊(您的關(guān)注就是小編最大的動力E迅础)