先說(shuō)廢話
開(kāi)學(xué)之后一堆破事完全擾亂了我的計(jì)劃务甥，平時(shí)上課學(xué)的java web牡辽，然后自己還有點(diǎn)其他代碼要寫，所以一直沒(méi)時(shí)間進(jìn)一步學(xué)習(xí)爬蟲(chóng)敞临，最近java web剛好學(xué)到cookie和session什么的催享，對(duì)http請(qǐng)求又好好過(guò)了一遍，所以趁熱來(lái)學(xué)下如何用cookie登陸網(wǎng)站哟绊。曾經(jīng)見(jiàn)別人說(shuō)過(guò)一句話，用cookie你可以登陸80%網(wǎng)站，至于80%這個(gè)數(shù)據(jù)是不是真的不得而知票髓，但是用cookie確實(shí)可以非常方便的登陸很多主流網(wǎng)站攀涵。
cookie是什么？
cookie就是存儲(chǔ)在客戶端本地的一小段信息洽沟。在web開(kāi)發(fā)中以故，經(jīng)常需要對(duì)會(huì)話進(jìn)行跟蹤。因?yàn)閔ttp請(qǐng)求是無(wú)狀態(tài)協(xié)議裆操，也就是說(shuō)僅僅通過(guò)http,服務(wù)器無(wú)法區(qū)分出不同的客戶端怒详。也就是說(shuō)你訪問(wèn)這個(gè)頁(yè)面之后，在刷新一次踪区，沒(méi)有cookie的話昆烁，服務(wù)器完全不知道現(xiàn)在刷新的和剛才訪問(wèn)的是同一用戶，它都當(dāng)作是新的請(qǐng)求來(lái)處理缎岗，所以這就帶來(lái)了一定的不方便静尼。特別是需要登陸的頁(yè)面，總不能每個(gè)頁(yè)面都登陸一次传泊，每刷新一次就要登陸一次吧鼠渺。也就是說(shuō)需要某種機(jī)制來(lái)增強(qiáng)http協(xié)議，使得服務(wù)器可以區(qū)分出這是同一個(gè)客戶端眷细。而這個(gè)機(jī)制就是cookie
cookie如何工作
當(dāng)你第一次訪問(wèn)某個(gè)網(wǎng)站的時(shí)候拦盹，服務(wù)器會(huì)給你頒發(fā)一個(gè)特定的cookie,之后你每次訪問(wèn)這個(gè)站點(diǎn)，你發(fā)送的請(qǐng)求頭里都會(huì)帶上相應(yīng)的cookie,這樣服務(wù)器便知道這倆請(qǐng)求是同一個(gè)客戶發(fā)送的溪椎∑沼撸看圖就明白了
第一次訪問(wèn)某個(gè)網(wǎng)站，服務(wù)器會(huì)給你個(gè)cookie,response headers里有一個(gè)set-cookie 字段池磁，就是告訴瀏覽器奔害，把這個(gè)cookie放到本地，以后訪問(wèn)我這個(gè)站點(diǎn)的時(shí)候地熄，都把這個(gè)cookie帶上华临，我就知道你是誰(shuí)了。
然后刷新頁(yè)面端考，相當(dāng)于第二次訪問(wèn)
會(huì)發(fā)現(xiàn)雅潭，第二次訪問(wèn)的時(shí)候，response headers里邊已經(jīng)沒(méi)有這個(gè)set cookie字段了却特，但是request headers 里多了一個(gè)cookie字段扶供，而且仔細(xì)觀察的話，你會(huì)發(fā)現(xiàn)這個(gè)值恰恰就是剛剛response headers set cookie字段的值裂明。其實(shí)只要你不關(guān)閉瀏覽器椿浓，在打開(kāi)一個(gè)窗口你會(huì)發(fā)現(xiàn)這個(gè)cookie值還是這個(gè)，默認(rèn)情況下，關(guān)掉瀏覽器或者換一個(gè)瀏覽器扳碍，服務(wù)器就認(rèn)為這是一個(gè)新的會(huì)話了提岔。而cookie的保存時(shí)間是可以設(shè)定的，你會(huì)發(fā)現(xiàn)知乎笋敞，簡(jiǎn)書等網(wǎng)站碱蒙，只要你登陸成功之后，即使關(guān)閉瀏覽器夯巷，過(guò)幾天之后還是登陸狀態(tài)赛惩，說(shuō)明這個(gè)cookie是一個(gè)持久的cookie，保存時(shí)間比較長(zhǎng)趁餐。
從上述倆張圖喷兼，可以發(fā)現(xiàn)cookie是實(shí)實(shí)在在存在于http請(qǐng)求和響應(yīng)報(bào)頭的。
如何用python實(shí)現(xiàn)cookie登陸
既然大概明白了cookie機(jī)制澎怒，我們就嘗試用cookie進(jìn)行登陸褒搔。以登陸知乎為例，如果你用賬號(hào)密碼登陸喷面，驗(yàn)證碼是個(gè)大問(wèn)題星瘾，起碼目前對(duì)我來(lái)說(shuō)是這樣，所以你先用瀏覽器手動(dòng)登陸知乎惧辈。右鍵進(jìn)入開(kāi)發(fā)者選項(xiàng)琳状，network,選擇www.zhihu.com,查看請(qǐng)求頭信息
然后把cookie復(fù)制下來(lái)，可以開(kāi)始寫代碼了盒齿。
import requests
from bs4 import BeautifulSoup
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',
'Referer':'https://www.zhihu.com/',
'Cookie':'q_c1=36160dc56c7d4cf3af14559e4ea69ed1|1508646188000|1508646188000; q_c1=e1adb01bc55343c0b61e0d4e08f73344|1508646188000|1508646188000; _zap=7926df57-02e2-45a7-9244-85ff9156e100; d_c0="ABACCuGPkwyPTgYydZLhc0-YwrldDeOJ3_w=|1508841150"; r_cap_id="NjE4YWExOTIxM2YwNGVlODhmNjc5ZDE3MGQyNWM0MjM=|1508844066|4207fbc525684854cb948b64e10a3c693a999056"; cap_id="YzRhYmM5YTJhZWM4NGFiYWExOGYzOTU1ZjczMGMyOGI=|1508844066|a828518b3a798b99e4ea0cd6a54f25dc31d70c6d"; z_c0=Mi4xTk5WX0FnQUFBQUFBRUFJSzRZLVREQmNBQUFCaEFsVk5zM0RjV2dDWEhfTS16TmV1dk80dTVZSnpqOGNpX3NpblF3|1508844211|c34b0d4374988f038beedfa2cbcd48e2271a0c66; __utma=51854390.9389312.1508841151.1508841151.1508843285.2; __utmz=51854390.1508841151.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; __utmv=51854390.100-1|2=registration_date=20160120=1^3=entry_date=20160120=1; aliyungf_tc=AQAAAB0uB1XAWQIAE7YKcClINzXafvOI; _xsrf=3283d7f2-8e92-4b94-9b0e-1105c2d069d0'
}
res=requests.get("https://www.zhihu.com/search?type=content&q=java",headers=headers)
soup=BeautifulSoup(res.text,'html.parser')
n=soup.select(".list")[0].select(".item")
可以發(fā)現(xiàn)念逞，已經(jīng)抓到了本來(lái)需要登陸才能看的頁(yè)面，而如果去掉請(qǐng)求頭里的cookie字段边翁，會(huì)發(fā)現(xiàn)會(huì)幫你重定向到登陸頁(yè)面翎承。怎么樣，爽不爽符匾？簡(jiǎn)單不簡(jiǎn)單叨咖？可以用同樣的方式登陸簡(jiǎn)書等網(wǎng)站，可以自行嘗試啊胶。登陸之后甸各，就可以爬取你想要的數(shù)據(jù)了，前幾天爬知乎用戶數(shù)據(jù)焰坪，爬到3W+的時(shí)候趣倾，就不行了，應(yīng)該是服務(wù)器把我IP禁了某饰，之后要學(xué)習(xí)下使用代理能庆，或者每爬一條數(shù)據(jù)，讓爬蟲(chóng)睡幾秒灵寺，不過(guò)這樣爬取數(shù)據(jù)多的時(shí)候，要很廢時(shí)間涂邀。
