工具準備
在開始之前挪鹏，請確保scrpay正確安裝癌佩，手頭有一款簡潔而強大的瀏覽器冲簿， 若是你有使用postman那就更好了沾乘。
scrapy genspider zhihu
使用以上命令生成知乎爬蟲,代碼如下:
# -*- coding: utf-8 -*-import scrapyclassZhihuSpider(scrapy.Spider):? ? name ='zhihu'? ? allowed_domains = ['www.zhihu.com']? ? start_urls = ['http://www.zhihu.com/']defparse(self, response):pass
有一點切記拦焚，不要忘了啟用Cookies,切記切記：
# Disable cookies (enabled by default)COOKIES_ENABLED =True
模擬登陸
過程如下：
進入登錄頁，獲取Header和Cookie信息惕医，
完善的Header信息能盡量偽裝爬蟲耕漱， 有效Cookie信息能迷惑知乎服務(wù)端，使其認為當(dāng)前登錄非首次登錄抬伺，若無有效Cookie會遭遇驗證碼螟够。 在抓取數(shù)據(jù)之前，請在瀏覽器中登錄過知乎峡钓，這樣才使得Cookie是有效的妓笙。
歡迎加入我的QQ群`923414804`與我一起學(xué)習(xí)，群里有我學(xué)習(xí)過程中整理的大量學(xué)習(xí)資料能岩。加群即可免費獲取
Header和Cookie整理如下:
headers = {'Host':'www.zhihu.com','Connection':'keep-alive','Origin':'https://www.zhihu.com','User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36','Content-Type':'application/x-www-form-urlencoded; charset=UTF-8','Accept':'*/*','X-Requested-With':'XMLHttpRequest','DNT':1,'Referer':'https://www.zhihu.com/','Accept-Encoding':'gzip, deflate, br','Accept-Language':'zh-CN,zh;q=0.8,en;q=0.6',}cookies = {'d_c0':'"AHCAtu1iqAmPTped76X1ZdN0X_qAwhjdLUU=|1458699045"','__utma':'51854390.1407411155.1458699046.1458699046.1458699046.1','__utmv':'51854390.000--|3=entry_date=20160322=1','_zap':'850897bb-cba4-4d0b-8653-fd65e7578ac2','q_c1':'b7918ff9a5514d2981c30050c8c732e1|1502937247000|1491446589000','aliyungf_tc':'AQAAAHVgviiNyQsAOhSntJ5J/coWYtad','_xsrf':'b12fdca8-cb35-407a-bc4c-6b05feff37cb','l_cap_id':'"MDk0MzRjYjM4NjAwNDU0MzhlYWNlODQ3MGQzZWM0YWU=|1503382513|9af99534aa22d5db92c7f58b45f3f3c772675fed"','r_cap_id':'"M2RlNDZjN2RkNTBmNGFmNDk2ZjY4NjIzY2FmNTE4NDg=|1503382513|13370a99ee367273b71d877de17f05b2986ce0ef"','cap_id':'"NmZjODUxZjQ0NzgxNGEzNmJiOTJhOTlkMTVjNWIxMDQ=|1503382513|dba2e9c6af7f950547474f827ef440d7a2950163"',
}
在瀏覽器中寞宫，模擬登陸，抓取登陸請求信息拉鹃。
從圖中可以看到_xsrf參數(shù), 這個參數(shù)與登陸驗證信息無關(guān)辈赋，但很明顯是由登陸頁面攜帶的信息。Google了下xsrf的含義膏燕， 用于防范跨站請求偽造钥屈。
整理以上，代碼如下：
loginUrl ='https://www.zhihu.com/#signin'siginUrl ='https://www.zhihu.com/login/email'defstart_requests(self):return [? ? ? ? scrapy.http.FormRequest(? ? ? ? ? ? self.loginUrl,? ? ? ? ? ? headers=self.headers,? ? ? ? ? ? cookies=self.cookies,? ? ? ? ? ? meta={'cookiejar':1},? ? ? ? ? ? callback=self.post_login)? ? ]defpost_login(self, response):? ? xsrf = response.css('div.view-signin > form > input[name=_xsrf]::attr(value)'? ? ).extract_first()? ? self.headers['X-Xsrftoken'] = xsrfreturn [? ? ? ? scrapy.http.FormRequest(? ? ? ? ? ? self.siginUrl,? ? ? ? ? ? method='POST',? ? ? ? ? ? headers=self.headers,? ? ? ? ? ? meta={'cookiejar': response.meta['cookiejar']},? ? ? ? ? ? formdata={'_xsrf': xsrf,'captcha_type':'cn','email':'xxxxxx@163.com','password':'xxxxxx',
? ? ? ? ? ? },
? ? ? ? ? ? callback=self.after_login)
? ? ]
設(shè)置Bearer Token
經(jīng)過上述步驟登陸成功了坝辫，有點小激動篷就，有沒有！ 但苦難到此還遠沒有結(jié)束近忙，這個時候嘗試抓取最近熱門話題竭业，直接返回code:401,未授權(quán)的訪問。 授權(quán)信息未設(shè)置及舍，導(dǎo)致了此類錯誤未辆，莫非遺漏了什么，看來只能在瀏覽器中追蹤請求參數(shù)來偵測問題锯玛。 在瀏覽器的請求中鼎姐，包含了Bearer Token, 而我在scrapy中模擬的請求中未包含此信息， 所以我被服務(wù)器認定為未授權(quán)的更振。 通過觀察發(fā)現(xiàn)Bearer Token的關(guān)鍵部分，就是Cookies中的z_c0包含的信息饭尝。
z_c0包含的信息肯腕，是在登陸完成時種下的，所以從登陸完成返回的登陸信息里钥平，獲取要設(shè)置的Cookie信息实撒， 然后拼接出Bearer Token,最后設(shè)置到Header中姊途。
代碼整理如下:
defafter_login(self, response):? ? jdict = json.loads(response.body)? ? print('after_login', jdict)if jdict['r'] ==0:? ? ? ? z_c0 = response.headers.getlist('Set-Cookie')[2].split(';')[0].split('=')[1]? ? ? ? self.headers['authorization'] ='Bearer ' + z_c0return scrapy.http.FormRequest(? ? ? ? ? ? url=self.feedUrl,? ? ? ? ? ? method='GET',? ? ? ? ? ? meta={'cookiejar': response.meta['cookiejar']},? ? ? ? ? ? headers=self.headers,? ? ? ? ? ? formdata={'action_feed':'True','limit':'10','action':'down','after_id': str(self.curFeedId),'desktop':'true'? ? ? ? ? ? },? ? ? ? ? ? callback=self.parse)else:? ? ? ? print(jdict['error'])
獲取數(shù)據(jù)
上述步驟后，數(shù)據(jù)獲取就水到渠成了知态，為了檢測成功與否捷兰， 把返回信息寫到文件中,而且只獲取前五十個,代碼如下：
feedUrl ='https://www.zhihu.com/api/v3/feed/topstory'nextFeedUrl =''curFeedId =0defparse(self, response):with open('zhihu.json','a')as fd:? ? ? ? fd.write(response.body)? ? jdict = json.loads(response.body)? ? jdatas = jdict['data']for entryin jdatas:? ? ? ? entry['pid'] = entry['id']yield entry? ? jpaging = jdict['paging']? ? self.curFeedId += len(jdatas)if jpaging['is_end'] ==Falseand self.curFeedId <50:? ? ? ? self.nextFeedUrl = jpaging['next']yield self.next_request(response)defnext_request(self, response):return scrapy.http.FormRequest(? ? ? ? url=self.nextFeedUrl,? ? ? ? method='GET',? ? ? ? meta={'cookiejar': response.meta['cookiejar']},
? ? ? ? headers=self.headers,
? ? ? ? callback=self.parse)
最終獲取的數(shù)據(jù)如下圖所示：
寫在最后
知乎的數(shù)據(jù)，只有登錄完成之后负敏，才可有效的獲取贡茅，所以模擬登陸是無法忽略不管的。 所謂的模擬登陸其做，只是在scrapy中盡量的模擬在瀏覽器中的交互過程顶考，使服務(wù)端無感抓包過程。 請求中附加有效的Cookies和Headers頭信息妖泄，可有效的迷惑服務(wù)端驹沿， 同時在交互的過程中，獲取后續(xù)請求必要信息和認證信息蹈胡，使得整個流程能不斷先前渊季。
