【Python3爬蟲】最新的模擬登錄新浪微博教程

一授滓、寫在前面

首先呢,由于之前重裝系統(tǒng)肆糕,又要重新配置環(huán)境般堆,然后還有一些別的事,導(dǎo)致我一直沒有寫爬蟲了诚啃,不過現(xiàn)在又可以繼續(xù)寫了淮摔。

然后我這次說的模擬登錄新浪微博呢,不是使用Selenium模擬瀏覽器操作始赎,畢竟Selenium的效率是真的有些低和橙,所以我選擇用Python發(fā)送請求實現(xiàn)模擬登錄,整個過程還算是有點小曲折吧造垛。


二魔招、開發(fā)環(huán)境

Windows10 + Python3.7 + Pycharm + Fiddler


三、頁面分析

首先打開新浪微博五辽,網(wǎng)址為:https://weibo.com/办斑,這里我們只需要關(guān)注登錄這一部分,如下圖:

這樣看是看不出來東西的杆逗,打開開發(fā)者工具乡翅,刷新一下頁面,找找看有沒有什么可疑的東西罪郊,然后就能找到下面這個包:

看到prelogin就能猜到應(yīng)該是和登錄有關(guān)的了蠕蚜,于是點擊“Preview”查看具體內(nèi)容:

到這里還是什么都看不出來,也不知道這些數(shù)據(jù)有什么用排龄。這時候Fiddler就能派上用場了波势,首先打開Fiddler,然后在網(wǎng)頁上輸入用戶名和密碼并登錄新浪微博橄维,登錄成功之后在Fiddler中找尋相關(guān)信息尺铣,可以找到下面這個url:

https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.19)

?點開之后可以看到攜帶了很多參數(shù):

在這些參數(shù)中,我們需要關(guān)注的參數(shù)為:su争舞,sp凛忿,servertime,nonce竞川,pubkey店溢,rsakv叁熔。其中su是用戶名加密后的結(jié)果,sp是密碼加密后的結(jié)果床牧,servertime是一個時間戳荣回,而剩余三個參數(shù)都來源于我們前面找到的prelogin.php。那么現(xiàn)在的問題就在于用戶名和密碼是怎么加密的戈咳?




小編給大家推薦一個學(xué)習(xí)氛圍超好的地方心软,python交流企鵝裙:【611+530+101】適合在校大學(xué)生,小白著蛙,想轉(zhuǎn)行删铃,想通過這個找工作的加入。裙里有大量學(xué)習(xí)資料踏堡,有大神解答交流問題猎唁,每晚都有免費的直播課程


四、加密規(guī)則

首先還是找到prelogin.php顷蟆,在它攜帶的參數(shù)中看到有一個ssologin.js诫隅,猜測它可能和加密規(guī)則有關(guān)系,所以找一下這個ssologin.js慕的。

這里需要打開新浪的登錄頁面:https://login.sina.com.cn/阎肝,然后右鍵查看源碼,再搜索“ssologin.js”肮街,就能找到這個js文件了:

https://passport.sinaimg.cn/js/sso/ssologin.js

?打開之后搜索“username”风题,就能找到加密規(guī)則了,如下圖(紅框框出來的分別是用戶名加密規(guī)則和密碼加密規(guī)則):

用戶名的加密是很簡單的嫉父,使用base64加密就行了沛硅。但是對于密碼的加密有一些復(fù)雜,雖然有if和else绕辖,但其實這里我們只需要看if部分:

request.servertime =me.servertime;

request.nonce =me.nonce;

request.pwencode ="rsa2";

request.rsakv =me.rsakv;

var RSAKey =new sinaSSOEncoder.RSAKey();

RSAKey.setPublic(me.rsaPubkey,"10001");

password = RSAKey.encrypt([me.servertime,me.nonce].join("\t") +"\n" + password)

密碼的加密過程為:首先創(chuàng)建一個rsa公鑰摇肌,公鑰的兩個參數(shù)都是固定值,第一個參數(shù)是prelogin.php中的pubkey仪际,第二個參數(shù)是加密的ssologin.js文件中指定的10001围小,這兩個值需要先從16進制轉(zhuǎn)換成10進制,其中10001轉(zhuǎn)成十進制為65537树碱。最后再加入servertime時間戳和nonce字段肯适,以及一個“\t”和一個"\n"進行進一步加密。


五成榜、主要代碼

?由于使用了rsa加密框舔,所以需要使用導(dǎo)入rsa模塊,沒有安裝的可以使用pip install rsa進行安裝。

?這里主要說一下加密用戶名和密碼部分的代碼:

# Base64加密用戶名

def encode_username(usr):

? ? return base64.b64encode(usr.encode('utf-8'))[:-1]

需要注意的是要使用base64加密刘绣,需要先轉(zhuǎn)換成字節(jié)型數(shù)據(jù)樱溉,而且加密之后末尾會多一個"\n",因此需要用[:-1]來去掉多余字符纬凤。

# RSA加密密碼

def encode_password(code_str):

? ? pub_key = rsa.PublicKey(int(pubkey, 16), 65537)

? ? crypto = rsa.encrypt(code_str.encode('utf8'), pub_key)

? ? return binascii.b2a_hex(crypto)? # 轉(zhuǎn)換成16進制

在加密密碼的時候傳入的這個code_str參數(shù)就是servertime + '\t' + nonce + '\n' + password得到的結(jié)果福贞,而在整個加密過程完成之后要轉(zhuǎn)換成16進制再返回。

但是做了這兩步之后并沒有真的登錄微博移斩,還需要提取鏈接并進行跳轉(zhuǎn)肚医,不過對于我們來說做到這一步就已經(jīng)夠了,我們只需要保存此時的Cookie就行了向瓷,為了驗證這個Cookie是否有效,我還寫了一段代碼進行測試舰涌,這里就不放出來了猖任。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市瓷耙,隨后出現(xiàn)的幾起案子朱躺,更是在濱河造成了極大的恐慌,老刑警劉巖搁痛,帶你破解...
    沈念sama閱讀 210,914評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件长搀,死亡現(xiàn)場離奇詭異,居然都是意外死亡鸡典,警方通過查閱死者的電腦和手機源请,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,935評論 2 383
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來彻况,“玉大人谁尸,你說我怎么就攤上這事∨Ω剩” “怎么了良蛮?”我有些...
    開封第一講書人閱讀 156,531評論 0 345
  • 文/不壞的土叔 我叫張陵,是天一觀的道長悍赢。 經(jīng)常有香客問我决瞳,道長,這世上最難降的妖魔是什么左权? 我笑而不...
    開封第一講書人閱讀 56,309評論 1 282
  • 正文 為了忘掉前任皮胡,我火速辦了婚禮,結(jié)果婚禮上涮总,老公的妹妹穿的比我還像新娘胸囱。我一直安慰自己,他們只是感情好瀑梗,可當(dāng)我...
    茶點故事閱讀 65,381評論 5 384
  • 文/花漫 我一把揭開白布烹笔。 她就那樣靜靜地躺著裳扯,像睡著了一般。 火紅的嫁衣襯著肌膚如雪谤职。 梳的紋絲不亂的頭發(fā)上饰豺,一...
    開封第一講書人閱讀 49,730評論 1 289
  • 那天,我揣著相機與錄音允蜈,去河邊找鬼冤吨。 笑死,一個胖子當(dāng)著我的面吹牛饶套,可吹牛的內(nèi)容都是我干的漩蟆。 我是一名探鬼主播,決...
    沈念sama閱讀 38,882評論 3 404
  • 文/蒼蘭香墨 我猛地睜開眼妓蛮,長吁一口氣:“原來是場噩夢啊……” “哼怠李!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起蛤克,我...
    開封第一講書人閱讀 37,643評論 0 266
  • 序言:老撾萬榮一對情侶失蹤捺癞,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后构挤,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體髓介,經(jīng)...
    沈念sama閱讀 44,095評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,448評論 2 325
  • 正文 我和宋清朗相戀三年筋现,在試婚紗的時候發(fā)現(xiàn)自己被綠了唐础。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,566評論 1 339
  • 序言:一個原本活蹦亂跳的男人離奇死亡夫否,死狀恐怖彻犁,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情凰慈,我是刑警寧澤汞幢,帶...
    沈念sama閱讀 34,253評論 4 328
  • 正文 年R本政府宣布,位于F島的核電站微谓,受9級特大地震影響森篷,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜豺型,卻給世界環(huán)境...
    茶點故事閱讀 39,829評論 3 312
  • 文/蒙蒙 一仲智、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧姻氨,春花似錦钓辆、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,715評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽功戚。三九已至,卻和暖如春似嗤,著一層夾襖步出監(jiān)牢的瞬間啸臀,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,945評論 1 264
  • 我被黑心中介騙來泰國打工烁落, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留乘粒,地道東北人。 一個月前我還...
    沈念sama閱讀 46,248評論 2 360
  • 正文 我出身青樓伤塌,卻偏偏與公主長得像灯萍,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子每聪,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,440評論 2 348

推薦閱讀更多精彩內(nèi)容