一：前言
以前年少無知，不知道Python 官方模塊里面有處理 URL的虑啤，拿起正則一頓匹配，所以在匹配url里面的頁面的時候出現(xiàn)了問題架馋。同時也怪我測試環(huán)境是Python3 線上生產(chǎn)環(huán)境是Python 2归榕，對無序字典urlencode不一樣，以及寫的正則匹配問題谁榜。最后造成的結(jié)果是頁面少匹配了很多頁數(shù)據(jù)，最后按步測試才找到問題坷剧。
所以正確的使用URL處理模塊還是方便和明智的
第三方模塊有 yurl惰爬， Python3內(nèi)置的有urllib.parse
Python2 處理url的模塊不在一個位置， urllib里面有urlencode....惫企，urlparse里面有urlparse,`parse_qsl....
參考鏈接：
二：目標(biāo)
舉個 利用API 獲取數(shù)據(jù)的例子：
下面有個 url 和一個需要POST的參數(shù)字典撕瞧，需要構(gòu)造完成后發(fā)送參數(shù)獲取數(shù)據(jù)，判斷數(shù)據(jù)是否需要進(jìn)行下一頁狞尔，如果需要那么 page 部分需要提取出來后加1丛版，再繼續(xù)請求數(shù)據(jù)。
其實要做的事情很簡單偏序，提取page 加1页畦，繼續(xù)請求。
raw_url = 'http://api.xxxxxx.com/xxxxxx/xxx.json?'
param_dict = {
'id': 'xxxxx',
'card_addition': 1,
'token': 'fdflsdkr3029432',
'page': 145334,
}
三：實戰(zhàn)代碼
當(dāng)時在Scrapy 的 start_requests 大致這樣寫的
ids = pipeline.execute()
for id in ids:
self.param_dict['id'] = id.strip()
param = urlencode(self.param_dict)
url = self.raw_url + param
yield scrapy.Request(url=url, callback=self.parse)
#
然后在 parse 里面對response做判斷如果還需要對該id下的數(shù)據(jù)抓取下一頁數(shù)據(jù)研儒。
當(dāng)時我直接對response.url正則匹配再加上Python3與Python 2豫缨，對無序字典urlencode不一樣就出現(xiàn)少匹配了很多頁面的問題。所以回來我利用python內(nèi)置的URL 處理模塊端朵，我就改了代碼好芭。
# 解析url，獲取url里面的各種組成成分
parsed_url = urlparse(response.url)
# 獲取url組成成分里面的 query 參數(shù)部分
query = dict(parse_qsl(parsed_url.query))
# 獲取page的數(shù)值冲呢，加1后重新urlencode 這樣 下一頁的 url就構(gòu)造完成了
page = query.get('page')
query['page'] = int(page) + 1
param = urlencode(query)
next_url = raw_url + param
四： 后記
多多思考舍败，多多搜索。加油敬拓！
