思路
還記的上一篇文章里使用的Cookie嗎？由于每次登陸淘寶的Cookie都不一樣，所以每次都要手動登陸獲取新的Cookie。這里我想研究一下怎樣用程序獲取這個Cookie。
分析報文
手動登陸淘寶并抓取報文，這里要注意的是如果頁面發(fā)生跳轉(zhuǎn)造成報文丟失屿讽，則需要勾選Preserve Log, 同時在跳轉(zhuǎn)之前按個點一下每個報文用來緩存，否則跳轉(zhuǎn)之前的報文雖然都在吠裆，但不能查看具體的內(nèi)容伐谈。
經(jīng)過分析，Cookie值得來源主要來自兩個關(guān)于login.jhtml的POST請求试疙，第一條是你訪問登陸頁面時的報文已添，第二條則是你輸入賬戶密碼之后點擊登陸按鈕后發(fā)送的報文翰舌，如圖：
響應(yīng)頭里面包含了set-cookie字段网梢， HTTP cookie：
An HTTP cookie (also called web cookie, Internet cookie, browser cookie, or simply cookie) is a small piece of data sent from a website and stored on the user's computer by the user's web browser while the user is browsing.
最后竖哩，因此這部分就是我們要的Cookie，處理的時候?qū)⒑竺娴腄omain和Path去掉怀跛，然后將剩下的部分保存下來即可距贷。
這里的難點在于，第二條報文帶很多FormData吻谋，大多數(shù)很容易理解也很容易獲得忠蝗，除了ncoToken, gvfdcre, um_token, 和 ua，同樣這些值應(yīng)該會在其他報文中找到計算方法漓拾，前提是都能看懂阁最。不幸的是，我看了半個小時后沒有找到具體的計算um_token的方法骇两。之后我就放棄了速种，因為我還知道一種曲線救國的方法。
使用Selenium模擬瀏覽器行為
在上篇文章淘寶抓取所有訂單中低千，在獲取ua值時我就用到了Selenium+PhantomJS來模擬瀏覽器執(zhí)行Javascript并獲得腳本運行后的結(jié)果配阵。這里簡單再介紹下Selenium。
Selenium的官方文檔是Selenium with Python。安裝Selenium非常簡單pip install selenium闸餐，除了安裝饱亮，要正常使用Selenium還需要一個瀏覽器驅(qū)動并安裝對應(yīng)的瀏覽器本身矾芙，比如說如果你要模擬Chrome舍沙，你至少需要一個能正常使用的Chrome瀏覽器和一個Chromedriver，后者文檔里有下載地址剔宪，Driver是一個可執(zhí)行文件拂铡，你需要把它的目錄添加到環(huán)境變量Path中。目前Selenium支持四種瀏覽器：Chrome葱绒，Edge感帅，F(xiàn)irefox和Safari。當(dāng)然也支持PhantomJS地淀，不過在運行的時候會輸出警告信息失球，另外幾種瀏覽器也都支持無界面訪問模式。
顯然帮毁，這種組合很適合一個場景：WEB自動化測試实苞。不過結(jié)合Python做爬蟲，也非常有用烈疚。瀏覽器用來解析JS文件黔牵，通過Webdriver與Selenium連接，Selenium再通過一些API供Python使用達(dá)到與瀏覽器交互的目的（也有其他語言的API）爷肝。
目前Selenium提供了7中用來定位網(wǎng)頁元素的接口猾浦，可以分別通過ID、Name灯抛、XPath金赦、鏈接文本、標(biāo)簽名对嚼、類名和CSS選擇器來定位元素素邪。定位元素成功后，你可以與網(wǎng)頁進(jìn)行交互：進(jìn)行表格填寫猪半，拖放兔朦，窗口交互，對話框操作磨确，訪問歷史記錄以及操作Cookies沽甥。你也可以設(shè)置等待瀏覽器解析并完成js加載之后再進(jìn)行內(nèi)容抓取。具體的API和其他特性可以參考官方文檔乏奥。
如果要模擬淘寶賬號登陸摆舟，需要填寫兩個文本框，單擊一次登陸按鈕，最后抓取獲得到的Cookie恨诱。
如果要模擬二維碼登錄媳瞪，需要先點開二維碼，然后等待手機(jī)掃碼照宝，跳轉(zhuǎn)時抓取Cookie蛇受。
不幸的是，第一種方法沒有成功厕鹃，就是那種理論上都沒問題兢仰，但就是不成功的情況，后面我會細(xì)說剂碴。第二種方法可以成功把将。
代碼
賬號密碼登陸
我這里使用URL是否以https://login.taobao.com開頭來判斷是否登陸成功。關(guān)于賬號密碼的登陸邏輯是這樣的：
- 判斷是否處于登陸頁面忆矛，不是的話跳轉(zhuǎn)到6察蹲，否則繼續(xù)；
- 填寫用戶名和密碼催训，判斷是否有滑動塊洽议；
- 如果滑動快的文字是
驗證通過, 跳轉(zhuǎn)到5； - 判斷文字是否是
請按住滑塊瞳腌，如果是绞铃，定位滑塊，并向右拖動滑塊嫂侍；其他情況儿捧，輸出錯誤信息（這里只考慮了一種驗證模式）； - 定位
登陸按鈕并點擊挑宠，等待5s菲盾，回到1； - 獲取Cookies各淀。
這里的難點在于滑動塊的處理懒鉴，首先只要是用selenium必定會要求滑動塊檢測（至少我沒遇到不要的情況）；其次碎浇，淘寶肯定對拖動滑動塊是否由人類完成有一個非常嚴(yán)格的判斷临谱，并且很可能會因為失敗的次數(shù)增加而變得更加嚴(yán)格，我這么說奴璃，是因為我沒有成功悉默！
我在網(wǎng)上查到說這類滑塊的操作，會綜合考慮你拖動時鼠標(biāo)的走向苟穆、移動的停歇抄课、總時間等等等等因素唱星。我在網(wǎng)上找到一片文章寫了如何使用GhostMouse軟件錄制鼠標(biāo)操作：滑動驗證碼破解。我錄制了能夠通過驗證的鼠標(biāo)操作跟磨，之后根據(jù)這個操作記錄用Python計算出偏移量间聊，從而讓爬蟲能模擬出我的驗證操作。但這沒有成功抵拘，我后來甚至發(fā)現(xiàn)直接用GM的錄制回訪功能哎榴，同樣的操作第一次能成功，第二次也不能成功仑濒。等到后面測試多了之后叹话，幾乎是100%失敗偷遗，即使人工操作都不行《胀現(xiàn)在的效果大概是這樣：
除了最后不能成功之外，其他都沒問題氏豌。我仍然把代碼貼在這：
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.common.action_chains import ActionChains
import time
import random
# 你的賬戶密碼
username = "username"
password = "password"
options = webdriver.ChromeOptions()
options.add_argument("--window-position=0,0")
options.add_argument("--window-size=1280,960")
#options.add_argument('--proxy-server=https://101.27.22.17:61234')
driver = webdriver.Chrome(chrome_options=options)
#driver.maximize_window()
#driver.delete_all_cookies()
driver.get("https://login.taobao.com/member/login.jhtml")
driver.implicitly_wait(5)
def get_track_from_GM():
file = open("human2.gms")
# 這是滑塊的位置喉酌，需要自己調(diào)整
x, y = 1176, 413
res = []
while True:
line = file.readline().strip()
if not line:
break
data = line.split(" ")
pos = (int(data[0])-x, int(data[1])-y, random.randint(0,10)*0.01)
res.append(pos)
file.close()
return res
def Login_by_Account():
while True:
url = driver.current_url
if not url.startswith("https://login.taobao.com"):
break
# 填寫用戶名和密碼
driver.find_element_by_id("TPL_username_1").clear()
driver.find_element_by_id("TPL_password_1").clear()
driver.find_element_by_id("TPL_username_1").send_keys(username)
driver.find_element_by_id("TPL_password_1").send_keys(password)
# 處理驗證
text = driver.find_element_by_id("nc_1__scale_text").text
if not text or text == "驗證通過":
pass
elif text.startswith("請按住滑塊"):
slider = driver.find_element_by_id("nc_1_n1z")
print (slider.location)
action = ActionChains(driver)
action.click_and_hold(slider).perform()
action.reset_actions()
res = get_track_from_GM()
for i in res:
action.move_by_offset(i[0], i[1]).perform()
action.reset_actions()
time.sleep(i[2])
action.release().perform()
action.reset_actions()
else:
print ("[ERROR]文本內(nèi)容是:" + text)
break
# 點擊登陸按鈕
driver.find_element_by_id("J_SubmitStatic").click()
time.sleep(5)
cookies = driver.get_cookies()
res = ""
for cookie in cookies:
res += cookie.get('name')+'='+cookie.get('value')+';'
res = res[:-1]
print (res)
driver.quit()
if __name__ == '__main__':
Login_by_Account()
這里的human2.gms文件是GhostMouse錄制后保存的內(nèi)容，它的結(jié)構(gòu)很簡單：
...
1208 504 1 0
1211 504 1 0
1214 504 1 0
1216 504 1 0
1219 504 1 0
...
前兩個數(shù)字分別是坐標(biāo)軸的x和y值泵喘，像這類坐標(biāo)泪电，都是以父窗口的左上角為原點，向右是x正向纪铺，向下是y正向相速。注意selenium提供的move API的參數(shù)是位移，需要自己計算鲜锚；后兩個數(shù)字分別代表鼠標(biāo)的左鍵和右鍵突诬，1表示按住，0表示沒有芜繁。
二維碼登錄
經(jīng)歷了很多次賬號密碼登陸的失敗后旺隙，我又想到了一個退而求其次的辦法：通過手機(jī)掃描二維碼登錄。邏輯會簡單點骏令，但你需要人工用手機(jī)掃一下二維碼：
- 打開網(wǎng)頁蔬捷，定位到二維碼標(biāo)簽，點擊榔袋，讓登陸框載入二維碼周拐。
- 等待掃碼，同時判斷二維碼是否過期凰兑，過期則刷新二維碼妥粟。
- 判斷URL是否跳轉(zhuǎn)，如果跳轉(zhuǎn)說明成功登陸聪黎，抓取Cookie罕容。
代碼如下：
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from selenium.webdriver.common.action_chains import ActionChains
import time
import random
username = "username"
password = "password"
options = webdriver.ChromeOptions()
options.add_argument("--window-position=0,0")
options.add_argument("--window-size=1280,960")
#options.add_argument('--proxy-server=https://101.27.22.17:61234')
driver = webdriver.Chrome(chrome_options=options)
#driver.maximize_window()
#driver.delete_all_cookies()
driver.get("https://login.taobao.com/member/login.jhtml")
driver.implicitly_wait(5)
def Login_by_qcode():
qcode = driver.find_element_by_id("J_Static2Quick")
action = ActionChains(driver)
action.reset_actions()
action.move_to_element(qcode)
action.move_by_offset(20, -20).click()
action.perform()
while True:
url = driver.current_url
if not url.startswith("https://login.taobao.com"):
cookies = driver.get_cookies()
res = ""
for cookie in cookies:
res += cookie.get('name')+'='+cookie.get('value')+';'
res = res[:-1]
print (res)
break
try:
refresh = driver.find_element_by_class_name("J_QRCodeRefresh")
refresh.click()
except:
pass
time.sleep(6)
driver.quit()
if __name__ == '__main__':
Login_by_qcode()
打印出來的Cookie可以直接復(fù)制粘貼到上一篇文章中Cookie變量里面备恤。執(zhí)行后，可以直接抓取到訂單信息：
進(jìn)度條
之前我提到過锦秒，程序抓取數(shù)據(jù)的時間其實不算短露泊，這時候使用一個進(jìn)度條可以有效的緩解等待的緊張感，同時也可以知道程序仍在工作旅择，沒有進(jìn)入死循環(huán)惭笑。
第一種
import time
total = 1000
for i in range(0, total, 7):
print("{0:.2f}%".format(float(i/total)*100), end="\r")
time.sleep(0.05)
第二種
progressbar2庫了解一下，果然大家都有相同的困擾生真。
