python的特點(diǎn)經(jīng)常使得其作為一個(gè)網(wǎng)絡(luò)爬蟲來使用，那么如何使用python這樣一個(gè)簡潔強(qiáng)大的語言來寫一個(gè)爬蟲呢漱受？
requests的使用
requests是一個(gè)用python來進(jìn)行請求的一個(gè)庫
安裝
pip install requests
使用requsesst進(jìn)行g(shù)et和post操作
r = requests.get('https://github.com/timeline.json')
payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)
- 使用print r.text可以閱讀其內(nèi)容欲逃，但一般會(huì)出現(xiàn)錯(cuò)誤秤涩，此時(shí)可以使用的解決方案有：
r.encoding = 'utf-8'
print r.text.encode('utf-8')
- 使用 r.content可以訪問回應(yīng)的數(shù)據(jù)流熬粗，比如Response是一張圖片虱朵，則可以這樣打開它
from PIL import Image
from StringIO import StringIO
i = Image.open(StringIO(r.content))
- r.json()方法返回json格式的數(shù)據(jù)
獲得response之后
可以使用另外一個(gè)庫
beautifulsoup來解析
