這是Python爬蟲系列的第一篇文章。之前學(xué)了一段時間的Python铝噩，在網(wǎng)上搜到爬蟲系列的教程衡蚂，但是由于網(wǎng)站更新可能會導(dǎo)致代碼改變，使得以前的正則表達(dá)式無法使用，因此對原教程中的代碼進(jìn)行了一些修改讳窟，將自己的理解寫在這里让歼，方便理解。
本文參考教程 Python爬蟲實(shí)戰(zhàn)一之爬取糗事百科段子丽啡。作者崔慶才寫了很多關(guān)于Python爬蟲的文章谋右，大家有興趣的話可以去他的個人博客靜覓學(xué)習(xí)改执。
爬蟲介紹
維基百科中對網(wǎng)絡(luò)爬蟲的解釋是
網(wǎng)絡(luò)爬蟲（英語：web crawler）坑雅，也叫網(wǎng)絡(luò)蜘蛛（spider），是一種用來自動瀏覽萬維網(wǎng)的網(wǎng)絡(luò)機(jī)器人终蒂。其目的一般為編纂網(wǎng)絡(luò)索引拇泣。
如果覺得以上定義難理解矮锈，還有百度百科中的解釋
網(wǎng)絡(luò)爬蟲，是一種按照一定的規(guī)則债朵，自動地抓取萬維網(wǎng)信息的程序或者腳本序芦。
在Chrome或者M(jìn)ozilla瀏覽器中猜丹，按f12可以進(jìn)入開發(fā)者模式查看網(wǎng)頁源代碼，以 糗事百科 為例
點(diǎn)開源代碼中的不同標(biāo)簽，發(fā)現(xiàn)其實(shí)網(wǎng)頁中顯示的各種段子其實(shí)都在以下的幾行代碼之間
<div class="content">
<span>
</span>
所以脉顿，當(dāng)我們知道了自己想要的信息保存在哪個部分之后艾疟，我們就可以通過正則表達(dá)式（稍后會介紹）將這一部分信息提取出來蔽莱，比如很多人爬的豆瓣電影，可以將Top250或者自己感興趣的影片信息批量導(dǎo)出怠苔，或者把一些網(wǎng)站中的圖片批量下載下來柑司。
其實(shí)，像谷歌玻粪、百度這些搜索引擎也可以看成是網(wǎng)絡(luò)爬蟲奶段，但是它們爬的是整個互聯(lián)網(wǎng)上的信息痹籍，并且要在很短的時間內(nèi)將結(jié)果顯示出來，這就涉及到算法和優(yōu)化的問題线定，而今天爬取糗事百科段子的程序只是一個很簡單的爬蟲斤讥，算是入門芭商。
源代碼放在我的GitHub主頁上，下面主要是對具體代碼的理解和分析簸州。
注意：使用Python2.7版本
代碼中用到了urllib2和re兩個庫岸浑，前一個用來獲取網(wǎng)頁的源代碼矢洲，后一個使用正則表達(dá)式提取我們想要的信息蛆橡，這也是我們的代碼主要做的兩件事情泰演。
獲取網(wǎng)頁源代碼
url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
request = urllib2.Request(url, headers={'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'})
response = urllib2.urlopen(request)
pageCode = response.read().decode('utf-8')
url是我們想要爬的網(wǎng)頁地址，request是請求網(wǎng)頁靴拱，urllib2.Request(url, headers)中的第一個參數(shù)url即為網(wǎng)頁地址，第二個參數(shù)headers是身份本谜，有的網(wǎng)站服務(wù)器會靠這個參數(shù)識別是否是瀏覽器發(fā)出的請求乌助，如果不是則不響應(yīng)陌知，urllib2默認(rèn)的身份是“Python-urllib/2.7”，所以最好將身份改為瀏覽器赏参，可以在瀏覽器開發(fā)者工具的網(wǎng)絡(luò)模塊中查看瀏覽器的類型沿盅。response.read().decode('utf-8')中嗡呼，response對象有一個read方法，可以讀取網(wǎng)頁的內(nèi)容，由于網(wǎng)頁是中文，利用decode('utf-8')將字符串變?yōu)?utf-8'編碼格式窒悔，防止亂碼简珠。
正則表達(dá)式
首先上圖
正則表達(dá)式有很多語法聋庵，最好在實(shí)際使用中邊用邊學(xué)芙粱。我們的代碼中提取內(nèi)容的部分為
pattern = re.compile('h2>(.*?)</h2.*?content">.*?<span>(.*?)</.*?number">(.*?)</.*?number">(.*?)</',re.S)
items = re.findall(pattern,pageCode)
pageStories = []
for item in items:
pageStories.append([item[0].strip(),item[1].strip(),item[2].strip(),item[3].strip()])
先看網(wǎng)頁與源代碼對應(yīng)的部分
從
<h2>一直到最后的</a>脱货，這其中包括了發(fā)布人律姨、內(nèi)容、好笑數(shù)和評論數(shù)扣孟，我們可以將這四部分提取出來凤价。pattern = re.compile('h2>(.*?)</h2.*?content">.*?<span>(.*?)</.*?number">(.*?)</.*?number">(.*?)</',re.S)是匹配模式讯壶，.匹配除換行符‘\n’之外的字符，re.S代表(dot matchs all)立轧，.也匹配換行符躏吊，.*和.*?的區(qū)別是前者是貪婪匹配比伏，后者是非貪婪匹配。
比如說匹配輸入串A: 101000000000100
使用 1.*1 將會匹配到1010000000001, 匹配方法: 先匹配至輸入串A的最后, 然后向前匹配, 直到可以匹配到1, 稱之為貪婪匹配葛躏。
使用 1.*?1 將會匹配到101, 匹配方法: *匹配下一個1之前的所有字符, 稱之為非貪婪匹配。
注: 翻譯自StackOverflow回答
(.*?)代表一個分組舰攒，是我們想要提取出的信息，re.findall(pattern,pageCode)表示以pattern尋找pageCode中能匹配的所有子串兽叮，并以列表形式返回子串猾愿。item[0]、item[1]泽本、item[2]观挎、item[3]分別代表發(fā)布人段化、內(nèi)容、好笑數(shù)和評論數(shù)雄嚣，.strip()表示刪除字符串開頭和末尾的所有空白符（包括'\n'喘蟆、'\t'、'\r'港谊、' '）橙弱。'\n'換行，表示光標(biāo)移到下一行斜筐，'\t'水平制表位蛀缝，相當(dāng)于按了鍵盤上的TAB鍵，'\r'回車嗤练，相當(dāng)于光標(biāo)回到該行首的位置。
getPage函數(shù)得到頁面的代碼潭苞，getPageItem獲得頁面中我們想要的內(nèi)容真朗，儲存在列表中，loadPage函數(shù)在內(nèi)容不夠時加載新頁面蝗碎，并添加到self.stories變量中旗扑，getOneStory函數(shù)輸入‘Q’退出程序，按回車顯示一條內(nèi)容眠菇，其中self.enable變量用來判斷程序是否結(jié)束捎废。
