參考自（網(wǎng)易云課堂知了課堂-21天學會分布式爬蟲）
1.獲取ajax數(shù)據(jù)的方式
- 直接分析ajax調用的接口喻喳。然后通過代碼請求這個接口。
- 使用Selenium+chromedriver模擬瀏覽器行為獲取數(shù)據(jù)谦去。
| 方式 | 優(yōu)點 | 缺點 |
|---|---|---|
| 分析接口 | 直接可以請求到數(shù)據(jù)蹦哼。不需要做一些解析工作。代碼量少纲熏，性能高。 | 分析接口比較復雜勺拣，特別是一些通過js混淆的接口鱼填，要有一定的js功底。容易被發(fā)現(xiàn)是爬蟲 |
| selenium | 直接模擬瀏覽器的行為愤惰。瀏覽器能請求到的苇经，使用selenium也能請求到塑陵。爬蟲更穩(wěn)定蜡励。 | 代碼量多。性能低凉倚。 |
2.Chromedriver
ChromeDriver下載地址：https://sites.google.com/a/chromium.org/chromedriver/downloads
3.Selenium+chromedriver安裝及使用
1.安裝Selenium
pip install selenium
2.引入chromedriver
from selenium import webdriver
# chromedriver的絕對路徑
driver_path = r'E:\chromedriver\chromedriver.exe'
# 初始化一個driver，并且指定chromedriver的路徑
driver = webdriver.Chrome(executable_path=driver_path)
3.Selenium基本操作方法
- 基礎操作
# 請求網(wǎng)頁
driver.get("https://www.baidu.com/")
# 關閉網(wǎng)頁
driver.close()
# 關閉瀏覽器
driver.quit()
- 查找Html元素
# 根據(jù)ID來查找某個元素
driver.find_element_by_id('')
driver.find_element(BY.ID,"")
# 根據(jù)類名來查找某個元素
driver.find_element_by_class_name('')
driver.find_element(BY.CLASS_NAME,'')
# 根據(jù)name屬性來找查找某個元素
driver.find_element_by_name("")
driver.find_element(BY.NAME,"")
# 根據(jù)標簽名來查找某個元素
driver.find_element_by_tag_name('')
driver.find_element(BY.TAG_NAME'')
# 根據(jù)xpath語法來查找某個元素
driver.find_element_by_xpath('//div')
driver.find_element(BY.XPATH,'//div')
# 根據(jù)css選擇器來查找某個元素
driver.find_element_by_css_selector('//div')
driver.find_element(BY.CSS_SELECTOR,'//div')
find_element是獲取第一個滿足條件的元素。find_elements是獲取所有滿足條件的元素杏糙。
- 操作表單元素
- 操作輸入框
# 找到輸入框元素
inputTag = driver.find_element_by_id('kw')
# 填充數(shù)據(jù)
inputTag.send_keys("python")
# 清除數(shù)據(jù)
inputTag.clear()
- 操作checkbox
# 選擇checkbox內標簽對應的name值
rememberTag = driver.find_element_by_name("rememberMe")
# 執(zhí)行選中操作
rememberTag.click()
-
操作select
select元素不能直接點擊宏侍。因為點擊后還需要選中元素。這時候selenium就專門為select標簽提供了一個類<mark style="box-sizing: border-box;">selenium.webdriver.support.ui.Select</mark>谅河。將獲取到的元素當成參數(shù)傳到這個類中，創(chuàng)建這個對象吐限。以后就可以使用這個對象進行選擇了褂始。
from selenium.webdriver.support.ui import Select
# 選中這個標簽，然后使用Select創(chuàng)建對象
selectTag = Select(driver.find_element_by_name("jumpMenu"))
# 根據(jù)索引選擇
selectTag.select_by_index(1)
# 根據(jù)值選擇
selectTag.select_by_value("http://www.95yueba.com")
# 根據(jù)可視的文本選擇
selectTag.select_by_visible_text("95秀客戶端")
# 取消選中所有選項
selectTag.deselect_all()
- 操作按鈕
# 選中按鈕
inputTag = driver.find_element_by_id('su')
# 點擊
inputTag.click()
4.行為鏈
有時候在頁面中的操作可能要有很多步搂赋，那么這時候可以使用鼠標行為鏈類ActionChains來完成益缠。比如現(xiàn)在要將鼠標移動到某個元素上并執(zhí)行點擊事件基公。
# 獲取輸入框
inputTag = driver.find_element_by_id('kw')
# 獲取提交按鈕
submitTag = driver.find_element_by_id('su')
#初始化行為鏈
actions = ActionChains(driver)
# 輸入框輸入內容
actions.move_to_element(inputTag)
actions.send_keys_to_element(inputTag,'python')
# 點擊提交按鈕
actions.move_to_element(submitTag)
actions.click(submitTag)
# 執(zhí)行行為鏈
actions.perform()
還有更多的鼠標相關的操作。
click_and_hold(element)：點擊但不松開鼠標轰豆。
context_click(element)：右鍵點擊。
double_click(element)：雙擊骂租。
5.Cookies操作
1.獲取所有cookies
for cookie in driver.get_cookies():
print(cookie)
2.根據(jù)cookie的key獲取value
value = driver.get_cookie(key)
3.刪除所有的cookie
driver.delete_all_cookies()
4.刪除某個cookie
driver.delete_cookie(key)
6.切換頁面
# 打開一個新的頁面
driver.execute_script("window.open('"+url+"')")
# 切換到這個新的頁面中
driver.switch_to_window(driver.window_handles[1])
