一授滓、寫在前面
首先呢,由于之前重裝系統(tǒng)肆糕,又要重新配置環(huán)境般堆,然后還有一些別的事,導(dǎo)致我一直沒有寫爬蟲了诚啃,不過現(xiàn)在又可以繼續(xù)寫了淮摔。
然后我這次說的模擬登錄新浪微博呢,不是使用Selenium模擬瀏覽器操作始赎,畢竟Selenium的效率是真的有些低和橙,所以我選擇用Python發(fā)送請求實現(xiàn)模擬登錄,整個過程還算是有點小曲折吧造垛。
二魔招、開發(fā)環(huán)境
Windows10 + Python3.7 + Pycharm + Fiddler
三、頁面分析
首先打開新浪微博五辽,網(wǎng)址為:https://weibo.com/办斑,這里我們只需要關(guān)注登錄這一部分,如下圖:
這樣看是看不出來東西的杆逗,打開開發(fā)者工具乡翅,刷新一下頁面,找找看有沒有什么可疑的東西罪郊,然后就能找到下面這個包:
看到prelogin就能猜到應(yīng)該是和登錄有關(guān)的了蠕蚜,于是點擊“Preview”查看具體內(nèi)容:
到這里還是什么都看不出來,也不知道這些數(shù)據(jù)有什么用排龄。這時候Fiddler就能派上用場了波势,首先打開Fiddler,然后在網(wǎng)頁上輸入用戶名和密碼并登錄新浪微博橄维,登錄成功之后在Fiddler中找尋相關(guān)信息尺铣,可以找到下面這個url:
https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.19)
?點開之后可以看到攜帶了很多參數(shù):
在這些參數(shù)中,我們需要關(guān)注的參數(shù)為:su争舞,sp凛忿,servertime,nonce竞川,pubkey店溢,rsakv叁熔。其中su是用戶名加密后的結(jié)果,sp是密碼加密后的結(jié)果床牧,servertime是一個時間戳荣回,而剩余三個參數(shù)都來源于我們前面找到的prelogin.php。那么現(xiàn)在的問題就在于用戶名和密碼是怎么加密的戈咳?
小編給大家推薦一個學(xué)習(xí)氛圍超好的地方心软,python交流企鵝裙:【611+530+101】適合在校大學(xué)生,小白著蛙,想轉(zhuǎn)行删铃,想通過這個找工作的加入。裙里有大量學(xué)習(xí)資料踏堡,有大神解答交流問題猎唁,每晚都有免費的直播課程
四、加密規(guī)則
首先還是找到prelogin.php顷蟆,在它攜帶的參數(shù)中看到有一個ssologin.js诫隅,猜測它可能和加密規(guī)則有關(guān)系,所以找一下這個ssologin.js慕的。
這里需要打開新浪的登錄頁面:https://login.sina.com.cn/阎肝,然后右鍵查看源碼,再搜索“ssologin.js”肮街,就能找到這個js文件了:
https://passport.sinaimg.cn/js/sso/ssologin.js
?打開之后搜索“username”风题,就能找到加密規(guī)則了,如下圖(紅框框出來的分別是用戶名加密規(guī)則和密碼加密規(guī)則):
用戶名的加密是很簡單的嫉父,使用base64加密就行了沛硅。但是對于密碼的加密有一些復(fù)雜,雖然有if和else绕辖,但其實這里我們只需要看if部分:
request.servertime =me.servertime;
request.nonce =me.nonce;
request.pwencode ="rsa2";
request.rsakv =me.rsakv;
var RSAKey =new sinaSSOEncoder.RSAKey();
RSAKey.setPublic(me.rsaPubkey,"10001");
password = RSAKey.encrypt([me.servertime,me.nonce].join("\t") +"\n" + password)
密碼的加密過程為:首先創(chuàng)建一個rsa公鑰摇肌,公鑰的兩個參數(shù)都是固定值,第一個參數(shù)是prelogin.php中的pubkey仪际,第二個參數(shù)是加密的ssologin.js文件中指定的10001围小,這兩個值需要先從16進制轉(zhuǎn)換成10進制,其中10001轉(zhuǎn)成十進制為65537树碱。最后再加入servertime時間戳和nonce字段肯适,以及一個“\t”和一個"\n"進行進一步加密。
五成榜、主要代碼
?由于使用了rsa加密框舔,所以需要使用導(dǎo)入rsa模塊,沒有安裝的可以使用pip install rsa進行安裝。
?這里主要說一下加密用戶名和密碼部分的代碼:
# Base64加密用戶名
def encode_username(usr):
? ? return base64.b64encode(usr.encode('utf-8'))[:-1]
需要注意的是要使用base64加密刘绣,需要先轉(zhuǎn)換成字節(jié)型數(shù)據(jù)樱溉,而且加密之后末尾會多一個"\n",因此需要用[:-1]來去掉多余字符纬凤。
# RSA加密密碼
def encode_password(code_str):
? ? pub_key = rsa.PublicKey(int(pubkey, 16), 65537)
? ? crypto = rsa.encrypt(code_str.encode('utf8'), pub_key)
? ? return binascii.b2a_hex(crypto)? # 轉(zhuǎn)換成16進制
在加密密碼的時候傳入的這個code_str參數(shù)就是servertime + '\t' + nonce + '\n' + password得到的結(jié)果福贞,而在整個加密過程完成之后要轉(zhuǎn)換成16進制再返回。
但是做了這兩步之后并沒有真的登錄微博移斩,還需要提取鏈接并進行跳轉(zhuǎn)肚医,不過對于我們來說做到這一步就已經(jīng)夠了,我們只需要保存此時的Cookie就行了向瓷,為了驗證這個Cookie是否有效,我還寫了一段代碼進行測試舰涌,這里就不放出來了猖任。