前言

上一篇文章《用 jsoup 分析下載的 html 內(nèi)容》 中提到過，當我們用 OkHttp 下載網(wǎng)頁的時候为迈，發(fā)現(xiàn)下載的內(nèi)容中沒有我們在瀏覽器上看到的閱讀數(shù)债鸡、評論數(shù)、喜歡數(shù)這三部分的內(nèi)容油坝。當時解釋過是因為這些內(nèi)容是瀏覽器通過 JS 動態(tài)渲染的結(jié)果。也就是瀏覽器先下載了 html 頁面內(nèi)容刨裆，然后通過 AJAX 請求了新的數(shù)據(jù)澈圈，再通過 JS 將元素添加到 Dom 樹中的。所以直接下載的 html 代碼中是看不到這部分內(nèi)容的帆啃。那么是否我們就無法通過爬蟲獲取到這部分的內(nèi)容呢瞬女。也不是。這就要引入一個新的工具 selenium 來實現(xiàn)努潘。

selenium 介紹

selenium 是一套 web 自動化測試的軟件诽偷。他能夠通過編程的方式調(diào)用系統(tǒng)的瀏覽器盯桦，并驅(qū)動瀏覽器模擬人的方式進行操作。例如點擊渤刃、輸入信息、滾動屏幕等贴膘。通過這樣的方式卖子，我們就可以在程序中自動運行我們的 web 頁面。同時刑峡，對于爬蟲程序來說洋闽，也可以驅(qū)動瀏覽器訪問我們要的目標頁面，并且因為是在瀏覽器中訪問的網(wǎng)頁突梦，所以瀏覽器會自動渲染動態(tài)的內(nèi)容诫舅。這樣就可以解決上次發(fā)生的用 OkHttp 下載網(wǎng)頁無法獲取到動態(tài)內(nèi)容的問題。

selenium Windows 環(huán)境安裝

selenium 可以支持幾種主流的瀏覽器宫患。chrome刊懈、firefox 都在支持之列，瀏覽器是通過不同的 WebDriver 來驅(qū)動的娃闲。所以除了對應(yīng)的瀏覽器虚汛，我們就是要安裝對應(yīng)的 WebDriver。這里來演示如何在 Windows 環(huán)境中安裝 WebDriver皇帮。
對于 Chrome 的 WebDriver 來說卷哩，不同版本的 WebDriver 支持的 Chrome 瀏覽器的版本范圍都不一樣。所以我們要針對自己安裝的 Chrome 版本選擇安裝不同的 Chrome Web Driver 属拾。例如将谊，現(xiàn)在最新的版本 2.44 支持的 chrome 版本范圍是 v69-71 。
首先我們要確認自己機器安裝的 chrome 的版本號渐白。啟動 chrome 瀏覽器尊浓，點擊右上角的菜單，依次選擇“幫助”纯衍、眠砾；“關(guān)于 Google Chrome” 選項，如下所示

選擇關(guān)于

然后出現(xiàn)下面的界面

chrome 版本

然后我們要去地址 http://chromedriver.chromium.org/downloads 去下載對應(yīng)的 chrome 版本。

image.png

這里會有不同版本對不同 chrome 版本支持的說明励堡，選擇一個對應(yīng)的就可以了谷丸。我的版本是70 ，所以選擇了最新版本 2.44 下載

web driver 不同平臺

在具體的下載頁面選擇對應(yīng)的平臺即可应结。我這里選擇了 chromedriver_win32.zip 刨疼。下載后解壓出來一個 chromedriver.exe 文件泉唁，保存到一個指定的目錄即可。
這樣我們將一個windows 的 selenium 環(huán)境設(shè)置好了揩慕。

使用 selenium 和 chrome 下載動態(tài)網(wǎng)頁

我們是在 Java 中使用 selenium 亭畜，所以在前文的基礎(chǔ)上增加 selenium 相關(guān)的依賴

        <dependency>
            <groupId>org.seleniumhq.selenium</groupId>
            <artifactId>selenium-java</artifactId>
            <version>3.141.59</version>
        </dependency>

然后我們來改造一下 用 jsoup 分析下載的 html 內(nèi)容 一文中的程序。原來是通過 OkHttp 來下載網(wǎng)頁迎卤，這里就通過 selenium 結(jié)合 chrome 瀏覽器來進行

        WebDriver webDriver = null;
        try {
            String url = "http://www.reibang.com/p/675ea919230e";
            //啟動一個 chrome 實例
            webDriver = new ChromeDriver();
            //訪問網(wǎng)址
            webDriver.get(url);
            Document document = Jsoup.parse(webDriver.getPageSource());
            Element titleElement = document.selectFirst("div.article h1.title");
            Element authorElement = document.selectFirst("div.article div.author span.name");
            Element timeElement = document.selectFirst("div.article span.publish-time");
            Element wordCountElement = document.selectFirst("div.article span.wordage");
            Element viewCountElement = document.selectFirst("div.article span.views-count");
            Element commentCountElement = document.selectFirst("div.article span.comments-count");
            Element likeCountElement = document.selectFirst("div.article span.likes-count");
            Element contentElement = document.selectFirst("div.article div.show-content");
            if (titleElement != null) {
                System.out.println("標題：" + titleElement.text());
            }
            if (authorElement != null) {
                System.out.println("作者：" + authorElement.text());
            }
            if (timeElement != null) {
                System.out.println("發(fā)布時間：" + timeElement.text());
            }
            if (wordCountElement != null) {
                System.out.println(wordCountElement.text());
            }
            if (viewCountElement != null) {
                System.out.println(viewCountElement.text());
            }
            if (commentCountElement != null) {
                System.out.println(commentCountElement.text());
            }
            if (likeCountElement != null) {
                System.out.println(likeCountElement.text());
            }

            if (contentElement != null && contentElement.text() != null) {
                System.out.println("正文長度：" + contentElement.text().length());
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (webDriver != null) {
                //退出 chrome
                webDriver.quit();
            }
        }

運行這段代碼之前拴鸵，我們需要在虛擬機參數(shù)中指定 webdriver.chrome.driver 參數(shù)，值應(yīng)該是我們下載的 chromedriver.exe 的路徑蜗搔。例如

虛擬機參數(shù)設(shè)置

這里劲藐，為了區(qū)分版本，我將 chromedriver.exe 改名為 chromedriver_2.44.exe 了樟凄。運行這個代碼聘芜，會看到程序自動打開了一個 chrome 窗口，并且自動訪問 url 地址

自動運行 chrome

運行完畢后缝龄，窗口自動推出汰现。其中紅字部分表明這個 chrome 是被 selenium 自動控制得。在控制臺會輸出如下內(nèi)容

標題：是什么支撐了淘寶雙十一叔壤，沒錯就是它java編程語言服鹅。
作者：Java幫幫
發(fā)布時間：2018.08.29 14:49
字數(shù) 561
閱讀 628
評論 0
喜歡 4
正文長度：655

可以看到，上一次通過 OkHttp 下載是沒有得閱讀百新、評論企软、喜歡數(shù)量能夠被解析并且輸出來了。

selenium chrome 的一些操作說明

上面的例子只是說明了如何在 selenium 中打開一個網(wǎng)頁并獲取他的內(nèi)容饭望。實際上我們前面說過了 selenium 是一個 web 的自動化測試框架仗哨，他是可以模擬人對頁面的元素進行操作的。例如定位元素铅辞，在文本框里輸入內(nèi)容厌漂，點擊元素等。下面的代碼就演示了如何通過程序自動打開簡書的首頁并且在網(wǎng)站內(nèi)查詢 Spring Boot 相關(guān)的內(nèi)容

       WebDriver webDriver;
        try {
            String url = "http://www.reibang.com/";
            webDriver = new ChromeDriver();
            webDriver.get(url);
            webDriver.findElement(By.cssSelector("#q")).sendKeys("SpringBoot");
            webDriver.findElement(By.cssSelector(".search-btn")).click();
        } catch (Exception e) {
            e.printStackTrace();
        }

執(zhí)行這段代碼斟珊，程序會自動打開一個 chrome 窗口苇倡，并且在首頁的搜索窗口輸入 Spring Boot 文本，并且自動點擊搜索按鈕囤踩，然后得到搜索結(jié)果頁面旨椒。

自動執(zhí)行簡書搜索

更多詳細的用法大家可以自己去探索，這里就不一一詳細介紹了堵漱。