本人也是菜鳥一枚如有大佬看到就慢慢看我裝逼嘹锁，若有新如坑的小伙伴我們一起加油呆盖。
在眾多的反爬手段中驗(yàn)證碼可以說是比較有效的手段之一了呢灶，今天寫了一個(gè)模擬登陸的程序與大家分享曾雕，也做為自己的一次總結(jié)和措。
要爬取的目標(biāo)網(wǎng)站：
https://so.gushiwen.org
先來說一下關(guān)于驗(yàn)證碼這塊的處理庄呈，慣用的有三種方法：
一是將驗(yàn)證碼下載到本地，然后手動(dòng)在鍵盤上輸入派阱。這種方法是最保險(xiǎn)的方法诬留，但也是效率最低的方法，使用于爬蟲任務(wù)量不是很大贫母，對(duì)爬蟲效率沒有較高的要求的情況文兑。
二是采用tesseract庫，這種方法對(duì)一些簡(jiǎn)單的圖形驗(yàn)證碼來說還是有用的腺劣，像純字母或純數(shù)字這種對(duì)圖片做一些簡(jiǎn)單的處理即可绿贞，比如二值化、轉(zhuǎn)灰度等誓酒。是不是很方便樟蠕？如果你覺得很方便的話贮聂，那你就錯(cuò)了！這種操作有6張驗(yàn)證碼能識(shí)別出3到4張就很牛逼了寨辩，但這還是達(dá)不到我們的要求怎么辦吓懈，那就機(jī)器學(xué)習(xí)，今天不做深究靡狞。
三是用打碼平臺(tái)耻警，這種方法呢，我會(huì)單獨(dú)的寫一篇詳細(xì)的用法甸怕。暫且不提甘穿。
思路：
1.向登陸頁面發(fā)送get請(qǐng)求，獲取到響應(yīng)內(nèi)容后拿自己用得最6的解析方式梢杭，將驗(yàn)證碼圖片的SRC取出來温兼。
import requests
import urllib.request
from lxml import etree
s = requests.session()
url = 'https://so.gushiwen.org/user/login.aspx?'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/70.0.3538.110 Safari/537.36'
}
r = requests.get(url=url,headers=headers)
tree = etree.HTML(r.text)
img_src = tree.xpath('//div[@class="mainreg2"][3]/img[@id="imgCode"]/@src')[0]
2.驗(yàn)證碼的完整地址是：https://so.gushiwen.org/RandCode.ashx，就是拼接嘛武契，然后向拼接完成的URL發(fā)送get請(qǐng)求下載驗(yàn)證碼圖片募判。
urllib.request.urlretrieve(image_src,'code.png')
3.抓包分析或者采用開發(fā)者工具找到登陸所需的參數(shù)咒唆，這一步呢比較建議使用fiddler抓包工具届垫，因?yàn)樵陂_發(fā)者工具中登陸所需的參數(shù)分布在不同的字段中全释，有時(shí)會(huì)找不齊（我就爬過這個(gè)坑），在fiddler中的請(qǐng)求詳情中的Webforms一欄中會(huì)包含所有登陸所需的參數(shù)和登陸的接口浸船。
登陸的接口：https://so.gushiwen.org/user/login.aspx?from=http%3a%2f%2fso.gushiwen.org%2fuser%2fcollect.aspx
登陸所需的參數(shù)：
'__VIEWSTATE':CsLDIp5JJGJCCuh76ipinjcqzhHVS2uRMHJ7JkXtVRllfxUzqBZuaRuwISfGf0aEGQCbecVIRKF76hW+VixVlqygRBZx9fAUn3foAXqf7YR2tuYNnDtLB/+dL8E=,
'__VIEWSTATEGENERATOR':C93BE1AE,
'from':'http://so.gushiwen.org/user/collect.aspx',
'email':'這個(gè)是賬號(hào)',
'pwd':'這個(gè)是密碼',
'code':code, #這個(gè)是驗(yàn)證碼
'denglu':'登陸',
4.向這個(gè)登陸接口發(fā)送post請(qǐng)求妄迁。
url = 'https://so.gushiwen.org/user/login.aspx?from=http%3a%2f%2fso.gushiwen.org%2fuser%2fcollect.aspx'
code = input('請(qǐng)輸入驗(yàn)證碼：')
formdata = { '__VIEWSTATE':CsLDIp5JJGJCCuh76ipinjcqzhHVS2uRMHJ7JkXtVRllfxUzqBZuaRuwISfGf0aEGQCbecVIRKF76hW+VixVlqygRBZx9fAUn3foAXqf7YR2tuYNnDtLB/+dL8E=,
'__VIEWSTATEGENERATOR':C93BE1AE,
'from':'http://so.gushiwen.org/user/collect.aspx',
'email':'erer4564654@163.com',
'pwd':'lakers24kebi',
'code':code,
'denglu':'登陸',
}
r = s.post(url=post_url,headers=headers,data=formdata)
print（r.text）
打印一下看響應(yīng)內(nèi)容李命，如果有修改密碼、賬號(hào)管理等內(nèi)容證明登陸成功项戴。
然鵝。槽惫。周叮。。仿耽。各薇。君躺。开缎。。奕删。。完残。。熟掂。扎拣。。鹏秋。侣夷。。百拓。。决帖。。地回。俊鱼。。并闲。帝火。湃缎。蠢壹。。
報(bào)錯(cuò)Ｖ小！７ρ巍Ｖ苹小！：瘟摺＞槲ā！Ｆ禄拧！９蛘摺Ｏㄇ蟆！Ｍ堋Ｇ涑恰！！＠晖獭Ｖ讣濉１愠狻！Ｏ窠帧＝臁！３肫堋０饲А！Ａ道Α７型！！星立！
是錯(cuò)在哪里呢？
發(fā)送請(qǐng)求室奏、解析內(nèi)容劲装、下載圖片又發(fā)送請(qǐng)求都沒錯(cuò)啊，咋會(huì)報(bào)錯(cuò)呢绒怨，這時(shí)我們就應(yīng)當(dāng)分析一下登陸接口所需的參數(shù)了谦疾，__VIEWSTATE和__VIEWSTATEGENERATOR這兩個(gè)參數(shù)都有各自的值他們會(huì)根據(jù)請(qǐng)求而隨機(jī)改變這個(gè)名詞叫表單令牌不能寫死，且他們能在源碼中找到六剥，那就獲取他們?cè)谠创a中的路徑表達(dá)式來代替formdata中的參數(shù)值。
__VIEWSTATE =tree.xpath('//form[@name="aspnetForm"]/div[1]/input[@id="__VIEWSTATE"]/@value')[1]
__VIEWSTATEGENERATOR =tree.xpath('//form[@name="aspnetForm"]/div[2]/input[@id="__VIEWSTATEGENERATOR"]/@value')[1]
[0]這個(gè)的意思是该默，在xpath中路徑表達(dá)式獲取的是一個(gè)列表策彤，而我要的是其中一個(gè)元素，xpath的索引是從1開始的（python中的索引和jsonpath從0開始的）裹刮。
再向登陸接口發(fā)一次請(qǐng)求必搞，
post_url = 'https://so.gushiwen.org/user/login.aspx?from=http%3a%2f%2fso.gushiwen.org%2fuser%2fcollect.aspx'
code = input('請(qǐng)輸入驗(yàn)證碼：')
formdata = {
'__VIEWSTATE':__VIEWSTATE,
'__VIEWSTATEGENERATOR':__VIEWSTATEGENERATOR,
'from':'http://so.gushiwen.org/user/collect.aspx',
'email':'erer4564654@163.com',
'pwd':'lakers24kebi',
'code':code,
'denglu':'登陸',
}
r = s.post(url=post_url,headers=headers,data=formdata)
print(r.text)
這次應(yīng)該沒問題了吧，呵呵塔橡。
還是報(bào)錯(cuò)霜第！
這次出錯(cuò)的原因是沒有維持同一會(huì)話，這個(gè)以后也會(huì)單獨(dú)寫一篇癞谒。
怎么解決呢刃榨？用s = requests.session()即可解決。那所有的請(qǐng)求就要采用這種方式了桌吃。
完整的源碼：
import requests
import urllib.request
from lxml import etree
s = requests.session()
url = 'https://so.gushiwen.org/user/login.aspx?'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/70.0.3538.110 Safari/537.36'
}
發(fā)送get請(qǐng)求獲取驗(yàn)證碼的URL
r = s.get(url=url,headers=headers)
tree = etree.HTML(r.text)
img_src = tree.xpath('//div[@class="mainreg2"][3]/img[@id="imgCode"]/@src')[0]
拼接URL將驗(yàn)證碼下載到本地
image_src = 'https://so.gushiwen.org' + str(img_src)
r_image = s.get(url=image_src,headers=headers)
with open('code.png','wb') as fp:
fp.write(r_image.content)
解析獲得登陸所需的參數(shù)
__VIEWSTATE =tree.xpath('//form[@name="aspnetForm"]/div[1]/input[@id="__VIEWSTATE"]/@value')[0]
__VIEWSTATEGENERATOR =tree.xpath('//form[@name="aspnetForm"]/div[2]/input[@id="__VIEWSTATEGENERATOR"]/@value')[0]
登陸網(wǎng)站驗(yàn)證是否登陸成功
post_url = 'https://so.gushiwen.org/user/login.aspx?from=http%3a%2f%2fso.gushiwen.org%2fuser%2fcollect.aspx'
code = input('請(qǐng)輸入驗(yàn)證碼：')
formdata = {
'__VIEWSTATE':__VIEWSTATE,
'__VIEWSTATEGENERATOR':__VIEWSTATEGENERATOR,
'from':'http://so.gushiwen.org/user/collect.aspx',
'email':'erer4564654@163.com',
'pwd':'lakers24kebi',
'code':code,
'denglu':'登陸',
}
r = s.post(url=post_url,headers=headers,data=formdata)
print(r.text)
總結(jié)：1.要以對(duì)話的形式發(fā)送每一次請(qǐng)求
2.先發(fā)get茅诱，再發(fā)get搬卒，最后發(fā)post
裝逼結(jié)束，我宣布退出裝逼界摆寄！