摘要
requests是一個封裝了python自帶的urllib模塊的一個易用型模塊鼓拧，它使得程序員對發(fā)送請求和獲取響應等http操作的代碼編寫更加簡單囊卜。
說明
以下代碼均默認已導入相關模塊：
import requests
獲取頁面
基本步驟如下：
設置請求頭信息娜扇，一般是改變user-agent
通過get()方法獲取頁面信息
判斷是否發(fā)生異常
如無異常返回頁面的文本或者二進制信息
以下是一個獲取目標頁面的方法：
def getHTMLText(url):
'獲取目標頁面'
try:
kv = {"user-agent":"Mozilla/5.0"} # 設置user-agent
r = requests.get(url, timeout=30) # 獲取頁面，設置超時時間為30s
r.raise_for_status() # 如果狀態(tài)碼不是200栅组，引發(fā)HTTPError異常
r.encoding = r.apparent_encoding # 設置編碼會頁面的正確編碼
return r.text # 如果需要二進制信息雀瓢，應該使用r.content
except:
return '產(chǎn)生異常'
上面代碼實現(xiàn)了一個獲取目標頁面的方法，我們可以使用這個方法進行一些測試玉掸，比如：
訪問京東的一個商品頁面：
url = "https://item.jd.com/2967929.html"
text = getHTMLText(url)
print(text[:1000]) # 輸出前面1000個字符的信息
訪問亞馬遜的一個商品頁面：
url = "https://www.amazon.cn/dp/B0083DP0CY?_encoding=UTF8&ref_=pc_cxrd_658409051_recTab_658409051_t_1&pf_rd_p=610d12d5-867d-4582-81bc-05492d242e3f&pf_rd_s=merchandised-search-3&pf_rd_t=101&pf_rd_i=658409051&pf_rd_m=A1AJ19PSB66TGU&pf_rd_r=QT2Q1KC61VNBDYMHX928&pf_rd_r=QT2Q1KC61VNBDYMHX928&pf_rd_p=610d12d5-867d-4582-81bc-05492d242e3f"
text = getHTMLText(url)
print(text[:1000]) # 輸出前面1000個字符的信息
可以發(fā)現(xiàn)刃麸，上面兩個例子的代碼除了url外是相同的，不過這兩個網(wǎng)站實際上又是有所不同的司浪，就是京東不會限制python程序的訪問泊业，而亞馬遜會把沼。在這里，網(wǎng)站服務器是通過判斷請求頭的User-Agent字段來判斷是否是瀏覽器訪問吁伺，如果不是饮睬，可能會被網(wǎng)站禁止訪問。所有篮奄，最好在發(fā)送請求之前先設置好User-Agent捆愁。
User-Agent的設置：r = requests.get(url, headers={"User-Agent":"Mozilla/5.0"})
查看當前請求頭信息：r.headers
