在上篇文章中主要是講述了一些理論性的知識，然后從這篇文章開始 就一步步講述實戰(zhàn)的內(nèi)容申尼。
起因是因為機器學(xué)習(xí)我需要收集各個年份全省份的地方政府工作報告的文本垮卓，前一陣子還需要收集1950年以來所有的政府工作報告（中央政府），那一次我是一個個手動地復(fù)制粘貼過來的师幕，不過這一次我肯定不會像上次那么傻粟按，2003年到2016年（發(fā)生時）有14年，有三十多個省份霹粥，會有四百多份報告灭将，一份報告至少得花費打開，復(fù)制后控，新建庙曙，粘貼，重命名 五次操作浩淘，那將會是二千余次手動機械化的操作捌朴，我才不干呢吴攒，然后我就想到了爬蟲。
然后就邊學(xué)邊做男旗，制作起了爬蟲舶斧。
上篇說道欣鳖，爬蟲的基本結(jié)構(gòu)是
請求察皇，解析，和存儲泽台。
那么就按照這個結(jié)構(gòu)一步步制作爬蟲什荣。
請求
urllib2是Python 針對網(wǎng)頁訪問以及本地文件訪問的一個自帶的的庫，是Python的一個獲取URLs(Uniform Resource Locators)的組件怀酷，以urlopen函數(shù)的形式提供了一個非常簡單的接口稻爬。
我們通常用這個庫來提交請求。
一個簡單的提交請求的例子
import urllib2
response = urllib2.urlopen('http://www.baidu.com /')
處理http消息蜕依，urlib2也可先構(gòu)造一個Request對象桅锄，之后調(diào)用urlopen函數(shù)，接收返回的response對象并進行相關(guān)處理样眠，這個也更像瀏覽器提交請求的方式
import urllib2
req = urllib2.Request('http://www.baidu.com')
response = urllib2.urlopen(req)
page = response.read()
通過從匯總 2016年地方政府工作報告匯編 http://www.gov.cn/guoqing/2016-02/21/content_5044277.htm
可以隨便瀏覽到北京政府2016年政府工作報告http://www.gov.cn/guoqing/2016-02/06/content_5042961.htm
也就是把上面的地址替換為一下
import urllib2
response = urllib2.urlopen('http://www.gov.cn/guoqing/2016-02/06/content_5042961.htm')
print response.read()
然后運行后的源碼發(fā)現(xiàn)與網(wǎng)頁源碼相同友瘤，那么接下來就是解析的工作了。
解析
對網(wǎng)頁內(nèi)容的源碼進行解析
接下來是解析檐束，解析的方法我采用過兩種方法辫秧，對于正則表達式上篇有提到，我認為的正則表達式的查找更傾向于位置的搜素被丧，而這個位置我們需要通過對網(wǎng)頁源碼解析后才能得到盟戏。
通過谷歌瀏覽器自帶的開發(fā)工具，通過審查元素我們可以發(fā)現(xiàn)我們想要的數(shù)據(jù)幾乎都在P標簽里
對于提取P標簽的正則表達式 我的匹配代碼是
re.findall('<p.*?>(.*?[\u4e00-\u9fa5]*?.*?)</p>', page)
這樣的話甥桂，P標簽的所有內(nèi)容將會被定位爬取到柿究。
稍微解釋一下，這個正則表達式的意思是提取對于所有在P標簽范圍內(nèi)的所有Unicode的中文字符黄选。
存儲
re.findall（）的返回值是一個列表笛求，我們可以將查找的信息通過遍歷輸出到屏幕上
url = "http://www.gov.cn/guoqing/2016-02/06/content_5042961.htm"
page = urllib2.urlopen(url).read().decode("utf8").replace(' ', '').replace('<strong>', '').replace('</strong>', '').replace('</br>', '')
myitems = re.findall('<p.*?>(.*?[\u4e00-\u9fa5]*?.*?)</p>', page)
for line in myitems:
print line
輸出結(jié)果
然后，一篇政府工作報告已經(jīng)爬取完了糕簿，但是我要一個個輸入網(wǎng)頁的話這也太麻煩了探入，
那我該怎樣自動地爬取同一年份的所有省份的工作報告呢，下一篇就會回顧下這個問題懂诗。
關(guān)于學(xué)習(xí)urllib2的教程我推薦 http://blog.csdn.net/pleasecallmewhy/article/details/8923067
關(guān)于學(xué)習(xí)正則表達式 我推薦 http://blog.csdn.net/pleasecallmewhy/article/details/8929576
