分析淘寶登陸對(duì)selenium爬蟲(chóng)的封殺方案,反爬蟲(chóng)機(jī)制的升級(jí)

分析了好幾個(gè)小時(shí)淘寶的登陸厂汗,對(duì)其反爬蟲(chóng)方案有了點(diǎn)思路委粉,先記錄一下,后面會(huì)持續(xù)進(jìn)行分析娶桦。

眾所周知目前使用selenium打開(kāi)瀏覽器訪問(wèn)淘寶贾节,不管你是手動(dòng)還是自動(dòng)登錄一律都是驗(yàn)證不通過(guò),之前一直沒(méi)有正式分析淘寶的反爬蟲(chóng)方案衷畦,今天花了幾個(gè)小時(shí)分析了一下栗涂,也只是對(duì)其整體有個(gè)認(rèn)識(shí),在很多細(xì)節(jié)上還不清楚祈争。

image

之前寫(xiě)過(guò)的兩篇關(guān)于反爬蟲(chóng)的文章在淘寶上都能得到驗(yàn)證斤程,這兩篇文章分別是《selenium的封殺與突破,記錄一次出師未捷身先死菩混,淘寶忿墅、美團(tuán)對(duì)爬蟲(chóng)的深入打擊》扁藕、《Python爬蟲(chóng)中深不可測(cè)的ua參數(shù),爬蟲(chóng)的身份證》疚脐,如果對(duì)瀏覽器指紋或者訪客身份標(biāo)示概念不清楚的可以先看這兩篇文章亿柑。

總體上淘寶的反爬蟲(chóng)思路是:基于用戶身份的ua算法,來(lái)識(shí)別瀏覽器是正常狀態(tài)還是非正常狀態(tài)亮曹,我們下面來(lái)說(shuō)具體的方案橄杨。

當(dāng)我們?cè)谔詫毜顷戫?yè)面輸完用戶名,還未輸入密碼時(shí)會(huì)發(fā)送一個(gè)post請(qǐng)求照卦。

image.gif
image.gif
image

這個(gè)post請(qǐng)求中有一個(gè)關(guān)鍵信息ua式矫,至于ua怎么生成目前還未分析出,他的出處在z在全局對(duì)象window[UA_Opt.LogVal]役耕、或者window["_n"],并且每次輸出都不一樣采转。

image

瀏覽器window對(duì)象,他是出于一個(gè)私有屬性_n,但是怎么做到每次輸出的值都不一樣的瞬痘,這是疑問(wèn)一故慈。

image

這個(gè)在輸完用戶名后的post請(qǐng)求有什么用?這個(gè)請(qǐng)求決定了是否會(huì)出現(xiàn)滑塊驗(yàn)證框全,我們看它的響應(yīng)內(nèi)容:

image.gif

needcode是需要驗(yàn)證或者不需要驗(yàn)證察绷,在webdriver打開(kāi)的瀏覽器中這個(gè)返回值一定是True,也就是一定要驗(yàn)證津辩,但是他還不是淘寶拒絕一切selenium驗(yàn)證的標(biāo)準(zhǔn)拆撼,繼續(xù)向下。

image

繼續(xù)向下喘沿,當(dāng)返回needcode是True時(shí)候淘寶出現(xiàn)滑塊驗(yàn)證闸度,那我們看滑塊驗(yàn)證的請(qǐng)求:

image

其中有個(gè)t參數(shù),t參數(shù)就是ua蚜印,也就是在驗(yàn)證滑塊是否正確的時(shí)候淘寶后臺(tái)還會(huì)對(duì)ua驗(yàn)證一番莺禁,檢驗(yàn)是否為正確的標(biāo)識(shí),一切selenium打開(kāi)的瀏覽器里面'browser': {'ie': False, 'chrome': True, 'webdriver': True},當(dāng)然webdriver是比較關(guān)鍵的參考標(biāo)準(zhǔn)窄赋,除此還有幾十個(gè)其他異于正常瀏覽器的屬性哟冬,很明顯這些信息被加密在ua參數(shù)之中。

淘寶后臺(tái)在收到滑塊驗(yàn)證信息的時(shí)候忆绰,會(huì)同時(shí)對(duì)ua經(jīng)行驗(yàn)證柒傻,所有含有webdriver=True的驗(yàn)證都會(huì)被返回code=300

image

現(xiàn)在我們大致就清楚了淘寶對(duì)selenium的檢測(cè):通過(guò)本地的js算法生成ua,ua里面含有瀏覽器信息较木,甚至含有當(dāng)前地址红符,當(dāng)輸入完賬號(hào)后會(huì)把賬號(hào)和ua一起post給服務(wù)器,服務(wù)器解析ua后通過(guò)智能算法識(shí)別是否是常用登陸地、常用瀏覽器预侯、環(huán)境有無(wú)異常致开,selenium打開(kāi)的瀏覽器是異常瀏覽器,一定返回滑塊驗(yàn)證萎馅,當(dāng)完成驗(yàn)證后會(huì)再把ua和滑動(dòng)的軌跡發(fā)給后臺(tái)双戳,后臺(tái)在檢測(cè)ua,一旦含有異常信息就返回code=300糜芳,驗(yàn)證失敗飒货。

目前ua的生成還沒(méi)找到,但是他有幾個(gè)特點(diǎn):

  1. 每次發(fā)送的ua都不一樣

  2. ua的長(zhǎng)度會(huì)隨著使用次數(shù)的增加越來(lái)越長(zhǎng)峭竣。

目前分析到這里塘辅,在分析中ua生成沒(méi)找到,倒是把密碼的加密方式找到了皆撩,RSA加密扣墩。后面的分析還會(huì)繼續(xù),歡迎探討扛吞。


ID:Python之戰(zhàn)

|作|者|公(zhong)號(hào):python之戰(zhàn)

專注Python呻惕,專注于網(wǎng)絡(luò)爬蟲(chóng)、RPA的學(xué)習(xí)-踐行-總結(jié)

喜歡研究技術(shù)瓶頸并分享滥比,歡迎圍觀亚脆,共同學(xué)習(xí)。

獨(dú)學(xué)而無(wú)友,則孤陋而寡聞盲泛!


?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末型酥,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子查乒,更是在濱河造成了極大的恐慌,老刑警劉巖郁竟,帶你破解...
    沈念sama閱讀 211,194評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件玛迄,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡棚亩,警方通過(guò)查閱死者的電腦和手機(jī)蓖议,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,058評(píng)論 2 385
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)讥蟆,“玉大人勒虾,你說(shuō)我怎么就攤上這事∪惩” “怎么了修然?”我有些...
    開(kāi)封第一講書(shū)人閱讀 156,780評(píng)論 0 346
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我愕宋,道長(zhǎng)玻靡,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,388評(píng)論 1 283
  • 正文 為了忘掉前任中贝,我火速辦了婚禮囤捻,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘邻寿。我一直安慰自己蝎土,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,430評(píng)論 5 384
  • 文/花漫 我一把揭開(kāi)白布绣否。 她就那樣靜靜地躺著誊涯,像睡著了一般。 火紅的嫁衣襯著肌膚如雪枝秤。 梳的紋絲不亂的頭發(fā)上醋拧,一...
    開(kāi)封第一講書(shū)人閱讀 49,764評(píng)論 1 290
  • 那天,我揣著相機(jī)與錄音淀弹,去河邊找鬼丹壕。 笑死,一個(gè)胖子當(dāng)著我的面吹牛薇溃,可吹牛的內(nèi)容都是我干的菌赖。 我是一名探鬼主播,決...
    沈念sama閱讀 38,907評(píng)論 3 406
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼沐序,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼琉用!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起策幼,我...
    開(kāi)封第一講書(shū)人閱讀 37,679評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤邑时,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后特姐,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體晶丘,經(jīng)...
    沈念sama閱讀 44,122評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,459評(píng)論 2 325
  • 正文 我和宋清朗相戀三年唐含,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了浅浮。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,605評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡捷枯,死狀恐怖滚秩,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情淮捆,我是刑警寧澤郁油,帶...
    沈念sama閱讀 34,270評(píng)論 4 329
  • 正文 年R本政府宣布本股,位于F島的核電站,受9級(jí)特大地震影響已艰,放射性物質(zhì)發(fā)生泄漏痊末。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,867評(píng)論 3 312
  • 文/蒙蒙 一哩掺、第九天 我趴在偏房一處隱蔽的房頂上張望凿叠。 院中可真熱鬧,春花似錦嚼吞、人聲如沸盒件。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,734評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)炒刁。三九已至,卻和暖如春誊稚,著一層夾襖步出監(jiān)牢的瞬間翔始,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,961評(píng)論 1 265
  • 我被黑心中介騙來(lái)泰國(guó)打工里伯, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留城瞎,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,297評(píng)論 2 360
  • 正文 我出身青樓疾瓮,卻偏偏與公主長(zhǎng)得像脖镀,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子狼电,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,472評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • 這篇文章在介紹官網(wǎng)的同時(shí)使用了比較多的腳本示例蜒灰,示例里遇到的問(wèn)題有部分在本篇文章進(jìn)行了解釋,還有一篇文章專門(mén)記錄了...
    顧顧314閱讀 12,907評(píng)論 3 32
  • 轉(zhuǎn)自Selenium WebDriver注意:本章內(nèi)容官方團(tuán)隊(duì)正在完善中肩碟。 介紹 WebDriver### Sel...
    抓兔子的貓閱讀 7,707評(píng)論 2 22
  • 經(jīng)過(guò)多次嘗試强窖,模擬登錄淘寶終于成功了,實(shí)在是不容易削祈,淘寶的登錄加密和驗(yàn)證太復(fù)雜了翅溺,煞費(fèi)苦心,在此寫(xiě)出來(lái)和大家一起分...
    追不到的那縷風(fēng)閱讀 1,699評(píng)論 0 3
  • 基于 SELENIUM 的自動(dòng)化測(cè)試架構(gòu) 非常感謝各位查閱本篇文章岩瘦,筆者在此感謝各位。 目前市面上有分門(mén)別類的自動(dòng)...
    厲鉚兄閱讀 6,048評(píng)論 6 43
  • 第五場(chǎng) 頭殺?三香 話說(shuō)窿撬,馬成(張卓南飾)保著劉秀(周斌飾)“馳關(guān)”【第一場(chǎng)】启昧,以為扮作商人和啞奴,憑著和吳漢(李...
    林宏海閱讀 585評(píng)論 0 0