猴子都能學會的20行代碼登錄微博
如何登錄新浪微博是令許多數(shù)據(jù)新手（包括我）頭疼的大問題掺涛。由于新浪的反爬蟲策略，網(wǎng)上的教程往往撐不過幾個月疼进，查閱到的資料在半年前或是一年前——而它們早就無法使用了薪缆，在你想開始爬蟲的時候被活生生卡在了第一步。
簡單而言伞广，我使用的方法是通過 Selenium 模擬瀏覽器的行為拣帽，直接在瀏覽器中輸入用戶名和密碼并登錄疼电，然后直接從瀏覽器中獲取 Cookies。雖然聽起來十分簡單（實際上也十分簡單）减拭，但是確實是十分有效的方式蔽豺。只要一個網(wǎng)站能通過瀏覽器登陸，我們就可以簡單改造這個程序來登錄并獲得想要的資料拧粪。
什么是Selenium修陡？如何使用？
Selenium 是一個項目的名稱既们，都與瀏覽器和網(wǎng)頁測試相關濒析。主要的工具也就是今天我們所要使用的，是WebDriver啥纸，是一個瀏覽器自動化工具号杏。它為很多不同的語言提供了庫，包括 Python斯棒、Java盾致、Ruby 等。本文中我選擇使用 Python 來進行操作荣暮，當然你也可以使用你熟悉的語言來進行操作庭惜。
在 Python中使用 Selenium 只需要通過pip安裝 Selenium 提供的 Python 庫。
pip3 install selenium # 如果你使用 Python 2 穗酥，請使用 pip install selenium
僅僅安裝 Selenium 本身是不夠的护赊，你同時還需要安裝 Driver 。你可以將 Driver 理解為瀏覽器本身的『驅動』砾跃，在程序中使用 Driver 就相當于你打開了一個瀏覽器做了些什么事情骏啰。
在這里我們推薦幾個 Driver ：
- Firefox: https://github.com/mozilla/geckodriver/releases
- Chrome: https://sites.google.com/a/chromium.org/chromedriver/downloads
- PhantomJS: http://phantomjs.org/download.html
（如果你是Windows用戶，這部分內容也需要參考：http://selenium-python.readthedocs.io/installation.html#detailed-instructions-for-windows-users）
下載后抽高，我建議將可執(zhí)行文件加入環(huán)境中判耕，以備使用。
Firefox 和 Chrome 相信大家都比較熟悉翘骂。PhantomJS 是一個可以讓你無需瀏覽器就進行網(wǎng)頁相關操作的WebKit壁熄，它也沒有圖形界面。個人比較推薦在調試程序期間使用 Firefox 或是 Chrome 碳竟，這樣你可以通過觀察發(fā)現(xiàn)自己哪里出了錯草丧。在調試完成后使用 PhantomJS ，來避免多余的可視化渲染莹桅。
創(chuàng)建一個 WebDriver
利用 Selenium 創(chuàng)建 WebDriver 十分簡單粗暴：
from selenium import webdriver
driver = webdriver.Firefox() # 如果 Firefox 所時使用的 geckodriver 在環(huán)境中
# driver = webdriver.PhantomJS() # 如果你想使用 PhantomJS
如果你需要自定義路徑昌执，你可以通過傳入?yún)?shù) executable_path：
driver = webdriver.Firefox(executable_path="/path/to/geckodriver")
如果你使用 Firefox 或 Chrome，你會看到這個操作打開一個瀏覽器。
觀察網(wǎng)頁本身
為了方便演示仙蚜，我們使用新浪的移動版進行登錄。如果想決定如何操作一個網(wǎng)頁厂汗，首先我們要觀察網(wǎng)頁本身委粉。
右鍵登錄的地方并審查元素，你會發(fā)現(xiàn)用戶名和密碼其實是簡單的輸入框娶桦，而登錄按鈕是一個鏈接而已贾节。
因此我們簡單規(guī)劃之后要做的事情：
- 輸入用戶名和密碼
- 點擊登錄按鈕（或摁回車）
利用 Selenium 進行登錄操作
打開網(wǎng)頁
Selenium 提供了方法的get方法用以獲取網(wǎng)頁：
driver.get('https://passport.weibo.cn/signin/login')
如果你使用 Firefox 或 Chrome，你會看到這個操作打開微博手機版的登錄頁面衷畦。
定位元素
由網(wǎng)頁本身的結構我們發(fā)現(xiàn)栗涂，這兩個輸入框和登錄鏈接元素的id屬性都是頁面中獨一無二的，我們便可以利用這一特點尋找到元素本身祈争。
name_field = driver.find_element_by_id('loginName') # 用戶名輸入框
password_field = driver.find_element_by_id('loginPassword') # 密碼輸入框
submit_button = driver.find_element_by_id('loginAction') # 登錄鍵
輸入內容
Selenium 提供了為元素輸入的方法 send_keys()斤程，直接調用這一方法就可以把內容輸入到網(wǎng)頁中的輸入框內：
name_field.send_keys('你的用戶名')
password_field.send_keys('你的密碼')
如果你使用 Firefox 或 Chrome ，你會看到頁面中的兩個輸入框被填入你在程序中輸入的文字菩混。
點擊按鈕的方法也很簡單忿墅，如果你已經(jīng)獲取了元素，只要使用click()方法：
submit_button.click() # 單擊元素
如果你需要使用回車鍵沮峡，可以使用send_keys()來發(fā)送回車（Keys.RETURN）疚脐，我在這里不展開描述。
如果你擔心兩個輸入框在你輸入前就已經(jīng)有了其他內容而影響操作邢疙，你可以使用clear()方法棍弄，并且我在這里也更加推薦這樣的做法：
name_field.clear() # 清除用戶名區(qū)域
name_field.send_keys('你的用戶名')
password_field.clear() # 清除密碼區(qū)域
password_field.send_keys('你的密碼')
獲取 Cookies
從 WebDriver 獲取 Cookies 只需要一個操作 get_cookies()：
driver.get_cookies()
它是一個字典文件的列表，每一個字典文件是一個 Cookie疟游。如果你們要在其他 WebDriver 或瀏覽器中使用這組 Cookies 呼畸，使用一個循環(huán)來給 WebDriver 利用add_cookie方法添加是比較標準的方法：
for cookie in driver.get_cookies():
another_driver.add_cookie(cookie)
等待網(wǎng)頁載入
如果你僅僅執(zhí)行上述代碼，你會發(fā)現(xiàn)如果你的網(wǎng)速不夠快乡摹，或是電腦不夠好役耕，就非常容易在元素出現(xiàn)前就進行操作，然后出現(xiàn)無法找到元素或是元素不可見等錯誤聪廉，我們可以通過等待一段時間來解決這個問題：
import time
# 在獲取網(wǎng)頁后
time.sleep(2) # 等待2秒
這種做法比較簡單瞬痘，但也十分粗暴：因為你無法確定2秒時間足夠讓網(wǎng)頁加載完成。每次打開網(wǎng)頁的時間受限于許多因素板熊，你可能很難用一個固定的時間來決定框全。而 Selenium 本身也提供了一些好用的方法：
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 在獲取網(wǎng)頁后
WebDriverWait(driver, 20).until(
EC.presence_of_element_located((By.ID, 'loginName')))
# 等待 id 為 loginName的元素出現(xiàn)，最多20秒
結語
如何登錄網(wǎng)站對于收集數(shù)據(jù)的人而言是個不大不小的問題干签。通過使用 Selenium津辩，我們幾乎可以通過各種方法模擬瀏覽器的操作，而且這種方法是只要瀏覽器存在就可以使用的。我相信如何觀察網(wǎng)頁的結構以及利用是非常有用的技能喘沿。
完整代碼
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.PhantomJS()
driver.get('https://passport.weibo.cn/signin/login')
WebDriverWait(driver, 20).until(
EC.presence_of_element_located((By.ID, 'loginName')))
time.sleep(1)
name_field = driver.find_element_by_id('loginName')
name_field.clear()
name_field.send_keys('你的賬號')
password_field = driver.find_element_by_id('loginPassword')
password_field.clear()
password_field.send_keys('你的密碼')
submit_button = driver.find_element_by_id('loginAction')
submit_button.click()
print(driver.get_cookies())
