Overview#

Selenium是一個多平臺的Web應用程序測試的工具，支持包括IE张遭、Mozilla Firefox、Google Chrome等猬仁。他可以模擬人的操作帝璧，如點擊，輸入湿刽，鍵盤操作等的烁。適合于抓取由JavaScript生成的頁面或其他需要互動的頁面。
Anyway诈闺， Selenium是模擬人執(zhí)行瀏覽器一個自動化工具渴庆。
本文介紹的是Java平臺下，如何用Selenium雅镊，與網(wǎng)站交互并爬取相關內(nèi)容

Selenium Project有四個：Selenium WebDriver襟雷、Selenium Grid（已廢棄）、Selenium IDE仁烹、Selenium Remote Control耸弄。本文使用的是WebDriver Project，其中IDE Project是可視化類型的卓缰，適合于非開發(fā)性自動化计呈。

一、準備

１征唬、開發(fā)準備

基礎Java開發(fā)環(huán)境不做贅述捌显，Selenium官方網(wǎng)址：-->seleniumhq官網(wǎng) <-- 這上面有很多資料，純英文的总寒。但不必太糾結扶歪，國內(nèi)中文資料很多，而且十分夠用摄闸，可自行百度善镰。這里給大家推薦按一個：自動化測試
??在官網(wǎng)Download頁面妹萨，找到如下圖所示的下載內(nèi)容即可。不得不說的是炫欺，這個網(wǎng)站偶爾會無法訪問眠副，可能是被墻了。在公司訪問基本都沒出過問題竣稽，因為是比利時節(jié)點。
??為了方便大家霍弹，我在網(wǎng)盤上也給大家分享了毫别，鏈接如下：http://pan.baidu.com/s/1c1KDNI4 密碼：rxnh

官網(wǎng)下載頁面

２、引入Jar

解壓出來的Jar包應該是這樣的典格，lib文件夾中還有更多的岛宦。為了方便管理，可以將Jar放入的User庫耍缴，項目需要就統(tǒng)一加入砾肺。
Lib下包眾多，作者比較好奇每個包具體功能防嗡，想在項目中直接只加入合適的包变汪。這個我查了一下，沒找到蚁趁，如果有了解也可以告訴我裙盾。

文件夾

創(chuàng)建User庫的方法是：Windows-->Preferences-->User libraries下先New，再分別add Jar即可他嫡。在需要的項目上番官，右擊buildpath配置進去即可。

Eclipse配置

若使用構建工具钢属，相關dependency 如下

--Gradle-- dependencies { compile(＂org.seleniumhq.selenium:selenium-java＂); } --Maven-- <dependency> <groupId>org.seleniumhq.selenium</groupId> <artifactId>selenium-java</artifactId> <version>3.4.0</version> </dependency>

OK徘熔，當你完成以上時候，項目的準備就基本完成了淆党。下面就是具體功能Coding的部分酷师。

二、小試牛刀

1宁否、Selenium大致實現(xiàn)思路

配置相關參數(shù)?????????? 驅(qū)動以及瀏覽器位置等等
系統(tǒng)根據(jù)配置加載Drive驅(qū)動????此時自動化操作的瀏覽器打開
Drive加載URL??????????訪問URL頁面
操作Drive對瀏覽器執(zhí)行操作????執(zhí)行已設定操作

相關代碼粘貼如下窒升，代碼提供了三種瀏覽器的執(zhí)行方案，分別是IE（速度很慢）慕匠、FIrefox饱须、Chrome。需要注意的是Chrome在win下只支持32-bit台谊，并且drive的驅(qū)動與瀏覽器版本是相關的蓉媳，向下不兼容譬挚。

     /**
     * Get WebDriver
     * @param url
     * @return driver
     */
    public static WebDriver getWebDriver(String url) {
        //Use IE. u need to set drive path and capabilities
/*          System.setProperty("webdriver.ie.driver", "D:/drive/IEDriverServer.exe");
            DesiredCapabilities ieCapabilities = DesiredCapabilities.internetExplorer();
            ieCapabilities.setCapability(InternetExplorerDriver
                            .INTRODUCE_FLAKINESS_BY_IGNORING_SECURITY_DOMAINS,true);
            WebDriver driver = new InternetExplorerDriver();*/

        //Use Firefox.need set property and install path;
/*          System.setProperty("webdriver.gecko.driver", "D:/drive/geckodriver.exe");
            System.setProperty("webdriver.firefox.bin", "C:\\Program Files\\Mozilla Firefox\\firefox.exe");
            WebDriver driver = new FirefoxDriver();*/
            
        //Use Chrome ,but support 32-bit only
        System.setProperty("webdriver.chrome.driver", "D:/drive/chromedriver.exe");
        WebDriver driver = new ChromeDriver();
        driver.get(url);
        return driver;
    }

2、操作瀏覽器

以抓取百度為例酪呻，用戶瀏覽器打開后减宣。Selenium根據(jù)關鍵字找到輸入框，并點擊搜索玩荠，并將最終結果輸入漆腌。注意：下面這段代碼可能有問題,因為點擊搜索后頁面需要加載后才會出現(xiàn)結果。所以應該有判斷加載結果出來后再抓取結果的過程阶冈，這里為簡便就只是線程sleep了2秒鐘闷尿。

        //get input box
        WebElement keyword = driver.findElement(By.id("kw"));
        //enter keyword
        keyword.sendKeys("selenium");
        //get search button and click it
        WebElement searchBtn = driver.findElement(By.id("su"));
        searchBtn.click();
        Thread.sleep(2000);//waiting for the result
        //get result and print out cyclical--搜索結果是h3標簽class=“t”，故以此為條件
        List<WebElement> titles = driver.findElements(By.cssSelector("h3.t"));
        for(WebElement title:titles){
            WebElement webTitle=title.findElement(By.tagName("a"));
            System.err.println("webTitle:"+webTitle+":"+webTitle.getText());
        }

三女坑、Selenium基本操作

1填具、元素定位(按推薦指數(shù)排列，后三個沒用過)

    //id 定位
    WebElement  webElement = driver.findElement(By.id(“id的值”))匆骗；
    //name定位
    WebElement  webElement = driver.findElement(By.name(“name的值”))劳景；
    //TagName 標簽名稱定位
    WebElement  webElement = driver.findElement(By.tagName(“標簽名稱”))；
    //Class 名稱定位
    WebElement  webElement = driver.findElement(By.className(“class屬性”))碉就；
    //css 方式定位
    WebElement  webElement = driver.findElement(By.cssSelector(“css表達式”))盟广；
    //鏈接的全部文字定位
    WebElement  webElement = driver.findElement(By.linkText(“鏈接的全部文字”))；
    //鏈接的部分文字定位
    WebElement  webElement = driver.findElement(By.partialLinkText(“鏈接的部分文字”))瓮钥；
    //xpath 方式定位
    WebElement  webElement = driver.findElement(By.xpath(“xpath表達式”))衡蚂；

2、元素簡單操作

   // 點擊
   webElement .click();
   // 輸入
   webElement .sendKeys("hello selenium");
   // 獲取屬性
   webElement .getAttribute("value");

3骏庸、元素等待

顯示等待
??設定等待的條件毛甲，滿足條件測試代碼才會繼續(xù)向后執(zhí)行，如案例中具被，等待百度的搜索結果玻募。需要注意的是，如果超過設定的最大顯式等待時間閾值一姿，這測試程序會拋出異常七咧。Selenium預設了一些，可以直接調(diào)用ExpectedConditions下的叮叹。如果沒有艾栋，可以自己實現(xiàn)接口。以下是兩種演示：

   //等待10s蛉顽，出現(xiàn)id為kw元素出現(xiàn)后才繼續(xù)執(zhí)行
   new WebDriverWait(driver, 10).until(ExpectedConditions.presenceOfElementLocated(By.id("kw")));
       //等待驗證碼蝗砾，當驗證碼擁有某些值時候才可以繼續(xù)
        try {
            new WebDriverWait(driver, 500).until(new ExpectedCondition<Boolean>(){
                    public Boolean apply(WebDriver d){
                        return d.findElement(By.id("yzm_img"))
                                            .getAttribute("src")
                                            .contains("base64");
                        }
                    });
    } catch (Exception e) {
    }

隱式等待
??隱式等待方式（implicitlyWait）腳本在查找元素時的最大等待時間：

    // 其中second為等待的秒數(shù)
    driver.manage().timeouts().implicitlyWait(second, TimeUnit.SECONDS);

4、iframe切換

定位元素最好的方法就是id，如果id確定悼粮，元素很容易找到闲勺。之前開發(fā)中就遇到過一個很復雜的頁面，點擊提交表單后彈出一個iframe扣猫，顯示報表信息菜循。由于元素擁有id，所以想著很容易找到報表中數(shù)據(jù)申尤。用IE一直沒問題癌幕，可是生產(chǎn)部署時要調(diào)整至Chrome瀏覽器，就是找不到昧穿，Always IN ERROR序芦！最后查到的原因就是iframe，所以需要注意的粤咪，不同瀏覽器可能會出現(xiàn)iframe問題。

//swith to dialog frame that named "dialog-body"
driver.switchTo().frame("dialog-body");
// 回到主窗口
driver.switchTo().defaultContent();

5渴杆、瀏覽器操作

   // 最大化
   driver.manage().window().maximize();
   //跳轉(zhuǎn)至Page
   driver.navigate().to("Page");
   // 刷新
   driver.navigate().refresh();
   // 瀏覽器退出...這里需要留意quit和close的區(qū)別寥枝，一般默認quit
   driver.quit();

當然，這些只是一些比較基本的操作磁奖，推薦一個比較完整的博客囊拜，可以去看看，我就不再造輪子了：操作手冊

以上就是Selenium抓取的基本內(nèi)容比搭，利用Selenium做Webservice接口冠跷，將驗證碼抓給用戶填寫并完成整個操作，將會在Selenium實現(xiàn)交互式WebService-處理驗證碼中和大家介紹身诺，謝謝

Selenium 網(wǎng)頁爬蟲開發(fā)基礎（Java）