selenium概念
selenium是什么垫竞？
是一個瀏覽器的自動化測試工具麦箍，那么什么又是自動化呢？就是可以通過代碼來操作瀏覽器冤馏，讓瀏覽器做一些功能
安裝selenium
pip install selenium
selenium操作谷歌瀏覽器，其實并不是直接操作的谷歌瀏覽器寄啼，而是操作的谷歌瀏覽器的驅動逮光，然后由驅動再去操作谷歌瀏覽器
谷歌驅動下載地址
http://chromedriver.storage.googleapis.com/index.html
http://npm.taobao.org/mirrors/chromedriver/
谷歌驅動和谷歌瀏覽器關系映射表
pip install pyvirtualdisplay
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
path = r'/usr/bin/chromedriver'
driver = webdriver.Chrome(executable_path=path, chrome_options=chrome_options)
display = Display(visible=0, size=(800, 800))
display.start()
chrome_options = Options()
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
find_eselenium_by_link_text:根據(jù)鏈接的內容查找，注意只需要將網(wǎng)頁中鏈接的標題直接復制過來即可使用selenium必須使用等待時間墩划，因為后面的查找節(jié)點操作依賴前面的相應內容
(1)強制等待
time.sleep(10)
不管網(wǎng)頁有沒有過來涕刚，必須等待10s，代碼才接著往下走
(2)隱式等待
driver.implicily_wait(10)
最多等待10s
eg: selenium
from selenium import webdriver
import time
# 谷歌驅動的地址
path = r'C:\Users\ZBLi\Desktop\1809\day06\ziliao\chromedriver.exe'
# 創(chuàng)建一個谷歌瀏覽器對象
driver = webdriver.Chrome(executable_path=path)
# 操作谷歌瀏覽器乙帮，其實就是調用這個對象的方法而已
url = 'http://www.baidu.com/'
driver.get(url)
# time.sleep(20)
driver.implicitly_wait(20)
# 通過driver查找的到input輸入框
myinput = driver.find_element_by_id('kw')
# 往框里面寫內容
myinput.send_keys('氣質美女')
time.sleep(3)
# 點擊百度一下
mybutton = driver.find_element_by_id('su')
mybutton.click()
time.sleep(4)
# 找到指定美女點擊
# image = driver.find_element_by_xpath('//div[@id="1"]/div[1]/a[1]')
# image.click()
# time.sleep(3)
# 點擊美女圖片的鏈接
oa = driver.find_element_by_link_text('氣質美女_海量精選高清圖片_百度圖片')
oa.click()
time.sleep(5)
# 關閉瀏覽器
driver.quit()
phantomJS
phantomjs是什么杜漠？
是一款瀏覽器，是一款沒有界面的瀏覽器察净，所以他的功能不是為了顯示數(shù)據(jù)的驾茴。就有瀏覽器的功能，可以將html氢卡、css锈至、js轉化為圖文并茂的形式。就可以執(zhí)行js代碼
在爬取數(shù)據(jù)的時候译秦，服務端為了反爬峡捡，經(jīng)常采用動態(tài)html這種方案，DOM筑悴，你對應的方案如何解決呢们拙？
1）捕獲接口
一般都是ajax請求獲得的，一般都是json數(shù)據(jù)阁吝，然后解析json即可
ajax接口砚婆，返回是html格式字符串，通過bs突勇、xpath装盯、正則解析即可
還有的數(shù)據(jù)坷虑，不是通過接口，而是直接放在了js文件中验夯，解析js文件猖吴，正則提取（2）放大招
selenium+phantomjs 這種方法效率太低摔刁，需要長時間的等待挥转，所以性能太低，一般不用他共屈，如果實在沒有其他方法了绑谣，那就放大招
這個技能怎么如此厲害呢？phantomjs是瀏覽器拗引，和真正的瀏覽器一模一樣借宵，所以可以解決所有問題
模擬滾動條到底部
js='document.body.scrollTop='0000'
jdriver.execute_script(js)
得到執(zhí)行js之后的html數(shù)據(jù)
driver.page_source
phantomjs已經(jīng)不再維護了，所以現(xiàn)在基本上都不使用了
eg:
from selenium import webdriver
import time
path = r'C:\Users\ZBLi\Desktop\1809\day06\ziliao\phantomjs-2.1.1-windows\bin\phantomjs.exe'
# 創(chuàng)建瀏覽器對象
driver = webdriver.PhantomJS(executable_path=path)
url = 'http://www.baidu.com/'
driver.get(url)
driver.implicitly_wait(10)
# 拍照片的方式
driver.save_screenshot('./png/baidu1.png')
driver.find_element_by_id('kw').send_keys('美女')
# driver.implicitly_wait(5)
time.sleep(5)
# driver.find_element_by_id('su').click()
# driver.implicitly_wait(10)
driver.find_element_by_id('su').click()
driver.implicitly_wait(10)
driver.save_screenshot('./png/baidu2.png')
driver.quit()
代碼（抓取豆瓣）
from selenium import webdriver
import time
path = r'C:\Users\ZBLi\Desktop\1809\day06\ziliao\phantomjs-2.1.1-windows\bin\phantomjs.exe'
# 創(chuàng)建瀏覽器對象
driver = webdriver.PhantomJS(executable_path=path)
url = 'https://movie.douban.com/typerank?type_name=%E7%88%B1%E6%83%85&type=13&interval_id=100:90&action='
driver.get(url)
# driver.implicitly_wait(10)
time.sleep(5)
driver.save_screenshot('./png/douban1.png')
# 模擬滾動條滾到底部 10000隨便寫的矾削，但是肯定要大于你的網(wǎng)頁的高度
# document.body document.documentElement
# 還有一種壤玫，是滑動到底部的時候，點擊加載更多哼凯。通過find方法找到他欲间，然后點擊即可
js = 'document.body.scrollTop=10000'
driver.execute_script(js)
time.sleep(5)
driver.save_screenshot('./png/douban2.png')
# 如何得到執(zhí)行完js的代碼
# with open('douban.html', 'w', encoding='utf8') as fp:
# fp.write(driver.page_source)
content = driver.page_source
driver.quit()
# 通過bs、或者xpath來解析content即可
headlesschrome
最開始無界面瀏覽器領域只有phantomjs一家
后來谷歌和火狐也做了断部，再后來phantomjs就不做了下載火狐驅動
https://github.com/mozilla/geckodriver/releases
驅動和版本映射關系
導入
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
####添加代理
chome_options.add_argument(('--proxy-server=http://' + ip))
代碼
from selenium import webdriver
import time
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
path = r'C:\Users\ZBLi\Desktop\1809\day06\ziliao\chromedriver.exe'
driver = webdriver.Chrome(executable_path=path, chrome_options=chrome_options)
url = 'http://www.baidu.com/'
driver.get(url)
time.sleep(3)
driver.save_screenshot('./png/lala.png')
driver.quit()
導入火狐
firefox_options = webdriver.FirefoxOptions()
firefox_options.set_headless()
firefox_options.add_argument('--disable-gpu')
代碼
from selenium import webdriver
import time
# 以無界面模式啟動火狐瀏覽器
firefox_options = webdriver.FirefoxOptions()
firefox_options.set_headless()
firefox_options.add_argument('--disable-gpu')
path = r'C:\Users\ZBLi\Desktop\1809\day06\ziliao\geckodriver.exe'
driver = webdriver.Firefox(executable_path=path, firefox_options=firefox_options)
url = 'http://www.baidu.com/'
driver.get(url)
time.sleep(3)
driver.save_screenshot('./png/huohu.png')
driver.quit()
