分析了好幾個(gè)小時(shí)淘寶的登陸厂汗,對(duì)其反爬蟲(chóng)方案有了點(diǎn)思路委粉,先記錄一下,后面會(huì)持續(xù)進(jìn)行分析娶桦。
眾所周知目前使用selenium打開(kāi)瀏覽器訪問(wèn)淘寶贾节,不管你是手動(dòng)還是自動(dòng)登錄一律都是驗(yàn)證不通過(guò),之前一直沒(méi)有正式分析淘寶的反爬蟲(chóng)方案衷畦,今天花了幾個(gè)小時(shí)分析了一下栗涂,也只是對(duì)其整體有個(gè)認(rèn)識(shí),在很多細(xì)節(jié)上還不清楚祈争。
之前寫(xiě)過(guò)的兩篇關(guān)于反爬蟲(chóng)的文章在淘寶上都能得到驗(yàn)證斤程,這兩篇文章分別是《selenium的封殺與突破,記錄一次出師未捷身先死菩混,淘寶忿墅、美團(tuán)對(duì)爬蟲(chóng)的深入打擊》扁藕、《Python爬蟲(chóng)中深不可測(cè)的ua參數(shù),爬蟲(chóng)的身份證》疚脐,如果對(duì)瀏覽器指紋或者訪客身份標(biāo)示概念不清楚的可以先看這兩篇文章亿柑。
總體上淘寶的反爬蟲(chóng)思路是:基于用戶身份的ua算法,來(lái)識(shí)別瀏覽器是正常狀態(tài)還是非正常狀態(tài)亮曹,我們下面來(lái)說(shuō)具體的方案橄杨。
當(dāng)我們?cè)谔詫毜顷戫?yè)面輸完用戶名,還未輸入密碼時(shí)會(huì)發(fā)送一個(gè)post請(qǐng)求照卦。
這個(gè)post請(qǐng)求中有一個(gè)關(guān)鍵信息ua式矫,至于ua怎么生成目前還未分析出,他的出處在z在全局對(duì)象window[UA_Opt.LogVal]役耕、或者window["_n"],并且每次輸出都不一樣采转。
瀏覽器window對(duì)象,他是出于一個(gè)私有屬性_n,但是怎么做到每次輸出的值都不一樣的瞬痘,這是疑問(wèn)一故慈。
這個(gè)在輸完用戶名后的post請(qǐng)求有什么用?這個(gè)請(qǐng)求決定了是否會(huì)出現(xiàn)滑塊驗(yàn)證框全,我們看它的響應(yīng)內(nèi)容:
needcode是需要驗(yàn)證或者不需要驗(yàn)證察绷,在webdriver打開(kāi)的瀏覽器中這個(gè)返回值一定是True,也就是一定要驗(yàn)證津辩,但是他還不是淘寶拒絕一切selenium驗(yàn)證的標(biāo)準(zhǔn)拆撼,繼續(xù)向下。
繼續(xù)向下喘沿,當(dāng)返回needcode是True時(shí)候淘寶出現(xiàn)滑塊驗(yàn)證闸度,那我們看滑塊驗(yàn)證的請(qǐng)求:
其中有個(gè)t參數(shù),t參數(shù)就是ua蚜印,也就是在驗(yàn)證滑塊是否正確的時(shí)候淘寶后臺(tái)還會(huì)對(duì)ua驗(yàn)證一番莺禁,檢驗(yàn)是否為正確的標(biāo)識(shí),一切selenium打開(kāi)的瀏覽器里面'browser': {'ie': False, 'chrome': True, 'webdriver': True},當(dāng)然webdriver是比較關(guān)鍵的參考標(biāo)準(zhǔn)窄赋,除此還有幾十個(gè)其他異于正常瀏覽器的屬性哟冬,很明顯這些信息被加密在ua參數(shù)之中。
淘寶后臺(tái)在收到滑塊驗(yàn)證信息的時(shí)候忆绰,會(huì)同時(shí)對(duì)ua經(jīng)行驗(yàn)證柒傻,所有含有webdriver=True的驗(yàn)證都會(huì)被返回code=300
現(xiàn)在我們大致就清楚了淘寶對(duì)selenium的檢測(cè):通過(guò)本地的js算法生成ua,ua里面含有瀏覽器信息较木,甚至含有當(dāng)前地址红符,當(dāng)輸入完賬號(hào)后會(huì)把賬號(hào)和ua一起post給服務(wù)器,服務(wù)器解析ua后通過(guò)智能算法識(shí)別是否是常用登陸地、常用瀏覽器预侯、環(huán)境有無(wú)異常致开,selenium打開(kāi)的瀏覽器是異常瀏覽器,一定返回滑塊驗(yàn)證萎馅,當(dāng)完成驗(yàn)證后會(huì)再把ua和滑動(dòng)的軌跡發(fā)給后臺(tái)双戳,后臺(tái)在檢測(cè)ua,一旦含有異常信息就返回code=300糜芳,驗(yàn)證失敗飒货。
目前ua的生成還沒(méi)找到,但是他有幾個(gè)特點(diǎn):
每次發(fā)送的ua都不一樣
ua的長(zhǎng)度會(huì)隨著使用次數(shù)的增加越來(lái)越長(zhǎng)峭竣。
目前分析到這里塘辅,在分析中ua生成沒(méi)找到,倒是把密碼的加密方式找到了皆撩,RSA加密扣墩。后面的分析還會(huì)繼續(xù),歡迎探討扛吞。
ID:Python之戰(zhàn)
|作|者|公(zhong)號(hào):python之戰(zhàn)
專注Python呻惕,專注于網(wǎng)絡(luò)爬蟲(chóng)、RPA的學(xué)習(xí)-踐行-總結(jié)
喜歡研究技術(shù)瓶頸并分享滥比,歡迎圍觀亚脆,共同學(xué)習(xí)。
獨(dú)學(xué)而無(wú)友,則孤陋而寡聞盲泛!