本文摘要：
1.安裝pip
2.安裝requests模塊
3.安裝beautifulsoup4
4.requests模塊淺析
+ 發(fā)送請(qǐng)求 + 傳遞URL參數(shù)
+ 響應(yīng)內(nèi)容
+ 獲取網(wǎng)頁(yè)編碼
+ 獲取響應(yīng)狀態(tài)碼
5.案例演示
后記1.安裝pip
我的個(gè)人桌面系統(tǒng)用的linuxmint沸停，系統(tǒng)默認(rèn)沒(méi)有安裝pip膜毁，考慮到后面安裝requests模塊使用pip，所以我這里第一步先安裝pip。
$ sudo apt install python-pip
安裝成功瘟滨，查看PIP版本：
$ pip -V
2.安裝requests模塊
這里我是通過(guò)pip方式進(jìn)行安裝：
$ pip install requests
運(yùn)行import requests候醒，如果沒(méi)提示錯(cuò)誤，那說(shuō)明已經(jīng)安裝成功了杂瘸！
3.安裝beautifulsoup4
Beautiful Soup 是一個(gè)可以從HTML或XML文件中提取數(shù)據(jù)的Python庫(kù)倒淫。它能夠通過(guò)你喜歡的轉(zhuǎn)換器實(shí)現(xiàn)慣用的文檔導(dǎo)航，查找败玉、修改文檔的方式敌土。Beautiful Soup會(huì)幫你節(jié)省數(shù)小時(shí)甚至數(shù)天的工作時(shí)間。
$ sudo apt-get install python3-bs4
注：這里我使用的是python3的安裝方式运翼，如果你用的是python2,可以使用下面命令安裝返干。
$ sudo pip install beautifulsoup4
4.requests模塊淺析
1）發(fā)送請(qǐng)求
首先當(dāng)然是要導(dǎo)入 Requests 模塊：
>>> import requests
然后，獲取目標(biāo)抓取網(wǎng)頁(yè)南蹂。這里我以簡(jiǎn)書(shū)為例：
>>> r = requests.get('http://www.reibang.com/p/b8ef5c005ba4')
這里返回一個(gè)名為 r 的響應(yīng)對(duì)象犬金。我們可以從這個(gè)對(duì)象中獲取所有我們想要的信息。這里的get是http的響應(yīng)方法六剥，所以舉一反三你也可以將其替換為put晚顷、delete、post疗疟、head该默。
2）傳遞URL參數(shù)
有時(shí)我們想為 URL 的查詢字符串傳遞某種數(shù)據(jù)。如果你是手工構(gòu)建 URL策彤，那么數(shù)據(jù)會(huì)以鍵/值對(duì)的形式置于 URL 中栓袖，跟在一個(gè)問(wèn)號(hào)的后面。例如店诗， jianshu.com/get?key=val裹刮。 Requests 允許你使用?params?關(guān)鍵字參數(shù)，以一個(gè)字符串字典來(lái)提供這些參數(shù)庞瘸。
舉例來(lái)說(shuō)捧弃，當(dāng)我們google搜索“python爬蟲(chóng)”關(guān)鍵詞時(shí)，newwindow(新窗口打開(kāi))擦囊、q及oq(搜索關(guān)鍵詞)等參數(shù)可以手工組成URL 违霞，那么你可以使用如下代碼：
>>> payload = {'newwindow': '1', 'q': 'python爬蟲(chóng)', 'oq': 'python爬蟲(chóng)'}
>>> r = requests.get("https://www.google.com/search", params=payload)
3）響應(yīng)內(nèi)容
通過(guò)r.text或r.content來(lái)獲取頁(yè)面響應(yīng)內(nèi)容。
>>> import requests
>>> r = requests.get('https://github.com/timeline.json')
>>> r.text
Requests 會(huì)自動(dòng)解碼來(lái)自服務(wù)器的內(nèi)容瞬场。大多數(shù) unicode 字符集都能被無(wú)縫地解碼买鸽。這里補(bǔ)充一點(diǎn)r.text和r.content二者的區(qū)別，簡(jiǎn)單說(shuō)：
resp.text返回的是Unicode型的數(shù)據(jù)贯被；
resp.content返回的是bytes型也就是二進(jìn)制的數(shù)據(jù)眼五；
所以如果你想取文本妆艘，可以通過(guò)r.text，如果想取圖片弹砚，文件双仍，則可以通過(guò)r.content。
4）獲取網(wǎng)頁(yè)編碼
>>> r = requests.get('http://www.reibang.com/')
>>> r.encoding
'utf-8'
5）獲取響應(yīng)狀態(tài)碼
我們可以檢測(cè)響應(yīng)狀態(tài)碼：
>>> r = requests.get('http://www.reibang.com/')
>>> r.status_code
200
5.案例演示
最近公司剛引入了一款OA系統(tǒng)桌吃，這里我以其官方說(shuō)明文檔頁(yè)面為例朱沃，并且只抓取頁(yè)面中文章標(biāo)題和內(nèi)容等有用信息。
演示環(huán)境
操作系統(tǒng)：linuxmint
python版本：python 3.5.2
使用模塊：requests茅诱、beautifulsoup4
代碼如下：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
_author_ = 'GavinHsueh'
import requests
import bs4
#要抓取的目標(biāo)頁(yè)碼地址
url = 'http://www.ranzhi.org/book/ranzhi/about-ranzhi-4.html'
#抓取頁(yè)碼內(nèi)容逗物，返回響應(yīng)對(duì)象
response = requests.get(url)
#查看響應(yīng)狀態(tài)碼
status_code = response.status_code
#使用BeautifulSoup解析代碼,并鎖定頁(yè)碼指定標(biāo)簽內(nèi)容
content = bs4.BeautifulSoup(response.content.decode("utf-8"), "lxml")
element = content.find_all(id='book')
print(status_code)
print(element)程序運(yùn)行返回爬去結(jié)果：
關(guān)于爬去結(jié)果亂碼問(wèn)題
其實(shí)起初我是直接用的系統(tǒng)默認(rèn)自帶的python2操作的，但在抓取返回內(nèi)容的編碼亂碼問(wèn)題上折騰了老半天瑟俭，google了多種解決方案都無(wú)效翎卓。在被python2“整瘋“之后，只好老老實(shí)實(shí)用python3了摆寄。對(duì)于python2的爬取頁(yè)面內(nèi)容亂碼問(wèn)題失暴，歡迎各位前輩們分享經(jīng)驗(yàn)，以幫助我等后生少走彎路微饥。
后記
python的爬蟲(chóng)相關(guān)模塊有很多逗扒，除了requests模塊，再如urllib和pycurl以及tornado等欠橘。相比而言矩肩，我個(gè)人覺(jué)得requests模塊是相對(duì)簡(jiǎn)單易上手的了。通過(guò)文本肃续，大家可以迅速學(xué)會(huì)使用python的requests模塊爬取頁(yè)碼內(nèi)容黍檩。本人能力有限，如果文章有任何錯(cuò)誤歡迎不吝賜教始锚，其次如果大家有任何關(guān)于python爬去頁(yè)面內(nèi)容的疑難雜問(wèn)刽酱，也歡迎和大家一起交流討論。
我們共同學(xué)習(xí)瞧捌，共同交流肛跌，共同進(jìn)步！
參考：
https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#
http://cn.python-requests.org/zh_CN/latest/
