摘要：Python爬蟲基礎(chǔ)

前言

Python非常適合用來開發(fā)網(wǎng)頁爬蟲借尿，理由如下：

1刨晴、抓取網(wǎng)頁本身的接口

相比與其他靜態(tài)編程語言，如Java路翻，c#狈癞，c++，python抓取網(wǎng)頁文檔的接口更簡潔帚桩；相比其他動態(tài)腳本語言亿驾，如perl，shell账嚎，python的urllib包提供了較為完整的訪問網(wǎng)頁文檔的API莫瞬。（當然ruby也是很好的選擇）

此外，抓取網(wǎng)頁有時候需要模擬瀏覽器的行為郭蕉，很多網(wǎng)站對于生硬的爬蟲抓取都是封殺的疼邀。這是我們需要模擬user agent的行為構(gòu)造合適的請求，譬如模擬用戶登陸召锈、模擬session/cookie的存儲和設置旁振。在python里都有非常優(yōu)秀的第三方包幫你搞定，如Requests，mechanize

2拐袜、網(wǎng)頁抓取后的處理

抓取的網(wǎng)頁通常需要處理吉嚣，比如過濾html標簽，提取文本等蹬铺。python的beautifulsoap提供了簡潔的文檔處理功能尝哆，能用極短的代碼完成大部分文檔的處理。

其實以上功能很多語言和工具都能做甜攀，但是用python能夠干得最快秋泄，最干凈。如果你想學習Python可以來這個群规阀，首先是四七二恒序，中間是三零九，最后是二六一谁撼，里面有大量的學習資料可以下載歧胁。

Life is short, you need python.

PS：python2.x和python3.x有很大不同，本文只討論python3.x的爬蟲實現(xiàn)方法彤敛。

爬蟲架構(gòu)

架構(gòu)組成

URL管理器：管理待爬取的url集合和已爬取的url集合与帆，傳送待爬取的url給網(wǎng)頁下載器。

網(wǎng)頁下載器（urllib）：爬取url對應的網(wǎng)頁墨榄，存儲成字符串玄糟，傳送給網(wǎng)頁解析器。

網(wǎng)頁解析器（BeautifulSoup）：解析出有價值的數(shù)據(jù)袄秩，存儲下來阵翎，同時補充url到URL管理器。

運行流程

URL管理器

基本功能

添加新的url到待爬取url集合中之剧。

判斷待添加的url是否在容器中（包括待爬取url集合和已爬取url集合）郭卫。

獲取待爬取的url。

判斷是否有待爬取的url背稼。

將爬取完成的url從待爬取url集合移動到已爬取url集合贰军。

存儲方式

1、內(nèi)存（python內(nèi)存）

待爬取url集合：set()

已爬取url集合：set()

2蟹肘、關(guān)系數(shù)據(jù)庫（MySQL）

urls(url, is_crawled)

3词疼、緩存（Redis）

待爬取url集合：set

已爬取url集合：set

大型互聯(lián)網(wǎng)公司，由于緩存數(shù)據(jù)庫的高性能帘腹，一般把url存儲在緩存數(shù)據(jù)庫中贰盗。小型公司，一般把url存儲在內(nèi)存中阳欲，如果想要永久存儲舵盈，則存儲到關(guān)系數(shù)據(jù)庫中陋率。如果你想學習Python可以來這個群，首先是四七二秽晚，中間是三零九瓦糟，最后是二六一，里面有大量的學習資料可以下載爆惧。

網(wǎng)頁下載器（urllib）

將url對應的網(wǎng)頁下載到本地狸页，存儲成一個文件或字符串。

基本方法

新建baidu.py扯再，內(nèi)容如下：

importurllib.requestresponse = urllib.request.urlopen('http://www.baidu.com')buff = response.read()html = buff.decode("utf8")print(html)

命令行中執(zhí)行python baidu.py，則可以打印出獲取到的頁面址遇。

構(gòu)造Request

上面的代碼熄阻，可以修改為：

importurllib.requestrequest = urllib.request.Request('http://www.baidu.com')response = urllib.request.urlopen(request)buff = response.read()html = buff.decode("utf8")print(html)

攜帶參數(shù)

新建baidu2.py，內(nèi)容如下：

import urllib.requestimport urllib.parseurl ='http://www.baidu.com'values= {'name':'voidking','language':'Python'}data = urllib.parse.urlencode(values).encode(encoding='utf-8',errors='ignore')headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}request = urllib.request.Request(url=url, data=data,headers=headers,method='GET')response = urllib.request.urlopen(request)buff = response.read()html = buff.decode("utf8")print(html)

使用Fiddler監(jiān)聽數(shù)據(jù)

我們想要查看一下倔约，我們的請求是否真的攜帶了參數(shù)秃殉，所以需要使用fiddler。

原文鏈接