1崖叫、前言簡要

jsoup是一款Java 的HTML解析器遗淳，可直接解析某個URL地址、HTML文本內(nèi)容心傀。它提供了一套非常省力的API屈暗，可通過DOM，CSS以及類似于jQuery的操作方法來取出和操作數(shù)據(jù)。
個人認為jsoup是最好的解析器养叛，在很多場景都能見到他的影子,不單只可以解析HTML所有結(jié)構(gòu)种呐，還可以解析XML，在做爬蟲器最為廣泛一铅。
jsoup支持的語言有C#和Java

C#的叫Nsoup
Nsoup GitHub
jsoup英文官方網(wǎng)
jsoup中文官方網(wǎng)

2陕贮、為什么對JSOUP尤為深刻？

1潘飘、從2013年的時候工作中偶遇它肮之，并在工作中大量使用它進行處理不同系統(tǒng)的頁面的數(shù)據(jù)處理歸檔。
2卜录、它不但是一個非常好的HTML的解析器戈擒，而且在很多場景會見到它的影子，Jsoup 防止 XSS 攻擊工具類,JSOUP在做爬蟲器最為廣泛艰毒。
3筐高、Jsoup 在解析XML也非常好用，而且語法與jQuery雷同丑瞧，對正則表達式支撐友好柑土。

3、解析和遍歷一個HTML文檔

public class Test1 {

    public static void main(String[] args) {
        String html = "<html><head><title>First parse</title></head>"
                + "<body><p>Parsed HTML into a doc.</p></body></html>";
        Document doc = Jsoup.parse(html);
        //把p標簽的內(nèi)容打印出來
        System.out.println(doc.select("p").text());
    }
}

存在問題

來自用戶輸入绊汹，一個文件或一個網(wǎng)站的HTML字符串稽屏，你可能需要對它進行解析并取其內(nèi)容，或校驗其格式是否完整西乖，或想修改它狐榔。怎么辦？jsonu能夠幫你輕松解決這些問題
使用靜態(tài)Jsoup.parse(String html)方法或Jsoup.parse(String html, String baseUri)

描述

parse(String html, String baseUri) 這方法能夠?qū)⑤斎氲腍TML解析為一個新的文檔 (Document）获雕，參數(shù) baseUri 是用來將相對 URL 轉(zhuǎn)成絕對URL薄腻，并指定從哪個網(wǎng)站獲取文檔。如這個方法不適用届案，你可以使用 parse(String html) 方法來解析成HTML字符串如上面的示例庵楷。.
只要解析的不是空字符串，就能返回一個結(jié)構(gòu)合理的文檔楣颠，其中包含(至少) 一個head和一個body元素嫁乘。一旦擁有了一個Document，你就可以使用Document中適當(dāng)?shù)姆椒ɑ蛩割?Element和Node中的方法來取得相關(guān)數(shù)據(jù)球碉。

4、從一個URL加載一個Document

以csdn的抓取今日推薦信息為例

public class Test2 {

    public static void main(String[] args) throws Exception {
        //定義一個URL地址
        String url   = "https://www.csdn.net/";
        //定義一個代理
        String agent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)"
                + "  Chrome/56.0.2924.87 Safari/537.36";
        Document doc = Jsoup.connect(url).ignoreContentType(true).userAgent(agent)
                // ignoreHttpErrors
                // 這個很重要 否則會報HTTP error fetching URL. Status=404
                .ignoreHttpErrors(true) // 這個很重要
                .timeout(3000).get();
        
        // class=company_list > li > div#class=content
        // 找到樣式為company_list的標簽所有的li標簽仓蛆，再li下面的標簽所有div樣式為content的標簽的信息

        Elements contents = doc.getElementsByClass("company_list").select("li").select("div[class=content]");
        for (Element node : contents) {
            //遍歷所有p標簽的文本內(nèi)容
            Elements selects = node.select("p");
            selects.forEach(obj ->{
                String text = obj.text();
                System.out.println(text);
            });
        }
    }
}

運行結(jié)果

運行結(jié)果

5睁冬、使用DOM方法來遍歷一個本地存在文件內(nèi)容

當(dāng)你電腦有一個HTML文件，需要通過Jsoup程序從中提取數(shù)據(jù)，并了解這個HTML文檔的結(jié)構(gòu)

File input = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");

Element content = doc.getElementById("content");
Elements links = content.getElementsByTag("a");
for (Element link : links) {
  String linkHref = link.attr("href");
  String linkText = link.text();
}

6豆拨、Elements對象的API方法

這個對象提供了一系列類似于DOM的方法來查找元素直奋，抽取并處理其中的數(shù)據(jù)。具體如下：

查找元素

getElementById(String id)
getElementsByTag(String tag)
getElementsByClass(String className)
getElementsByAttribute(String key) (and related methods)
Element siblings: siblingElements(), firstElementSibling(), lastElementSibling(); nextElementSibling(), previousElementSibling()
Graph: parent(), children(), child(int index)

元素數(shù)據(jù)

attr(String key)獲取屬性attr(String key, String value)設(shè)置屬性
attributes()獲取所有屬性
id(), className() and classNames() 通過標簽的id施禾，css的類名稱脚线，所有css的類名稱獲取信息
text()獲取文本內(nèi)容text(String value) 設(shè)置文本內(nèi)容
html()獲取元素內(nèi)HTMLhtml(String value)設(shè)置元素內(nèi)的HTML內(nèi)容
outerHtml()獲取元素外HTML內(nèi)容
data()獲取數(shù)據(jù)內(nèi)容（例如：script和style標簽)
tag() and tagName() 獲取標簽和標簽名稱

操作HTML和文本

append(String html), prepend(String html)
appendText(String text), prependText(String text)
appendElement(String tagName),prependElement(String tagName)
html(String value)

7、使用選擇器語法來查找元素

你想使用類似于CSS或jQuery的語法來查找和操作元素弥搞。
可以使用Element.select(String selector) 和 Elements.select(String selector) 方法實現(xiàn)：

File input   = new File("/tmp/input.html");
Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");

Elements links = doc.select("a[href]"); //帶有href屬性的a元素
Elements pngs  = doc.select("img[src$=.png]");//擴展名為.png的圖片

Element masthead     = doc.select("div.masthead").first();//class等于masthead的div標簽
Elements resultLinks = doc.select("h3.r > a"); //在h3元素之后的a元素

jsoup elements對象支持類似于CSS (或jquery)的選擇器語法邮绿，來實現(xiàn)非常強大和靈活的查找功能。

這個select 方法在Document, Element,或Elements對象中都可以使用攀例。且是上下文相關(guān)的船逮，因此可實現(xiàn)指定元素的過濾，或者鏈式選擇訪問粤铭。

Select方法將返回一個Elements集合挖胃，并提供一組方法來抽取和處理結(jié)果。

Selector選擇器概述

tagname: 通過標簽查找元素梆惯，比如：a
ns|tag: 通過標簽在命名空間查找元素酱鸭，比如：可以用 fb|name 語法來查找 <fb:name> 元素
#id: 通過ID查找元素，比如：#logo
.class: 通過class名稱查找元素垛吗，比如：.masthead
[attribute]: 利用屬性查找元素凹髓，比如：[href]
[^attr]: 利用屬性名前綴來查找元素，比如：可以用[^data-] 來查找?guī)в蠬TML5 Dataset屬性的元素
[attr=value]: 利用屬性值來查找元素职烧，比如：[width=500]
[attr^=value], [attr$=value], [attr*=value] 利用匹配屬性值開頭扁誓、結(jié)尾或包含屬性值來查找元素，比如：[href*=/path/]
[attr~=regex]: 利用屬性值匹配正則表達式來查找元素蚀之，比如： img[src~=(?i).(png|jpe?g)]
*: 這個符號將匹配所有元素

Selector選擇器組合使用

el#id: 元素+ID蝗敢，比如： div#logo
el.class: 元素+class，比如： div.masthead
el[attr]: 元素+class足删，比如： a[href]
任意組合寿谴，比如：a[href].highlight
ancestor child: 查找某個元素下子元素，比如：可以用.body p 查找在"body"元素下的所有 p元素
parent > child: 查找某個父元素下的直接子元素失受，比如：可以用div.content > p 查找 p 元素讶泰，也可以用body > * 查找body標簽下所有直接子元素
siblingA + siblingB: 查找在A元素之前第一個同級元素B，比如：div.head + div
siblingA ~ siblingX: 查找A元素之前的同級X元素拂到，比如：h1 ~ p
el, el, el:多個選擇器組合痪署，查找匹配任一選擇器的唯一元素，例如：div.masthead, div.logo

偽選擇器selectors

:lt(n): 查找哪些元素的同級索引值（它的位置在DOM樹中是相對于它的父節(jié)點）小于n兄旬，比如：td:lt(3) 表示小于三列的元素
:gt(n):查找哪些元素的同級索引值大于n狼犯，比如： div p:gt(2)表示哪些div中有包含2個以上的p元素
:eq(n): 查找哪些元素的同級索引值與n相等，比如：form input:eq(1)表示包含一個input標簽的Form元素
:has(seletor): 查找匹配選擇器包含元素的元素，比如：div:has(p)表示哪些div包含了p元素
:not(selector): 查找與選擇器不匹配的元素悯森，比如： div:not(.logo) 表示不包含 class=logo 元素的所有 div 列表
:contains(text): 查找包含給定文本的元素宋舷，搜索不區(qū)分大不寫，比如： p:contains(jsoup)
:containsOwn(text): 查找直接包含給定文本的元素
:matches(regex): 查找哪些元素的文本匹配指定的正則表達式瓢姻，比如：div:matches((?i)login)
:matchesOwn(regex): 查找自身包含文本匹配指定正則表達式的元素

注意：上述偽選擇器索引是從0開始的祝蝠，也就是說第一個元素索引值為0，第二個元素index為1等
可以查看Selector API參考來了解更詳細的內(nèi)容

8幻碱、從元素抽取屬性绎狭，文本和HTML

在解析獲得一個Document實例對象，并查找到一些元素之后收班，你希望取得在這些元素中的數(shù)據(jù)坟岔。
要取得一個屬性的值，可以使用Node.attr(String key) 方法,對于一個元素中的文本摔桦，可以使用Element.text()方法,對于要取得元素或?qū)傩灾械腍TML內(nèi)容社付，可以使用Element.html(), 或 Node.outerHtml()方法
*代碼顯示

String html = "<p>An <a ><b>example</b></a> link.</p>";
Document doc = Jsoup.parse(html);//解析HTML字符串返回一個Document實現(xiàn)
Element link = doc.select("a").first();//查找第一個a元素

String text = doc.body().text(); // "An example link"http://取得字符串中的文本
String linkHref = link.attr("href"); // "http://example.com/"http://取得鏈接地址
String linkText = link.text(); // "example""http://取得鏈接地址中的文本

String linkOuterH = link.outerHtml(); 
    // "<a 
String linkInnerH = link.html(); // "<b>example</b>"http://取得鏈接內(nèi)的html內(nèi)容

說明

上述方法是元素數(shù)據(jù)訪問的核心辦法。此外還其它一些方法可以使用：
Element.id()
Element.tagName()
Element.className() and Element.hasClass(String className)
這些訪問器方法都有相應(yīng)的setter方法來更改數(shù)據(jù).

參見

Element和Elements集合類的參考文檔
URLs處理使用CSS選擇器語法來查找元素

9邻耕、獲取所有鏈接

這個示例程序?qū)⒄故救绾螐囊粋€URL獲得一個頁面鸥咖。然后提取頁面中的所有鏈接、圖片和其它輔助內(nèi)容兄世。并檢查URLs和文本信息啼辣。

public class ListLinks {
    public static void main(String[] args) throws IOException {
        Validate.isTrue(args.length == 1, "usage: supply url to fetch");
        String url = args[0];
        print("Fetching %s...", url);

        Document doc = Jsoup.connect(url).get();
        Elements links = doc.select("a[href]");
        Elements media = doc.select("[src]");
        Elements imports = doc.select("link[href]");

        print("\nMedia: (%d)", media.size());
        for (Element src : media) {
            if (src.tagName().equals("img"))
                print(" * %s: <%s> %sx%s (%s)",
                        src.tagName(), src.attr("abs:src"), src.attr("width"), src.attr("height"),
                        trim(src.attr("alt"), 20));
            else
                print(" * %s: <%s>", src.tagName(), src.attr("abs:src"));
        }

        print("\nImports: (%d)", imports.size());
        for (Element link : imports) {
            print(" * %s <%s> (%s)", link.tagName(),link.attr("abs:href"), link.attr("rel"));
        }

        print("\nLinks: (%d)", links.size());
        for (Element link : links) {
            print(" * a: <%s>  (%s)", link.attr("abs:href"), trim(link.text(), 35));
        }
    }

    private static void print(String msg, Object... args) {
        System.out.println(String.format(msg, args));
    }

    private static String trim(String s, int width) {
        if (s.length() > width)
            return s.substring(0, width-1) + ".";
        else
            return s;
    }
}

10、消除不受信任的HTML (來防止XSS攻擊)

在做網(wǎng)站的時候御滩，經(jīng)常會提供用戶評論的功能鸥拧。有些不懷好意的用戶，會搞一些腳本到評論內(nèi)容中削解，而這些腳本可能會破壞整個頁面的行為富弦，更嚴重的是獲取一些機要信息，此時需要清理該HTML氛驮，以避免跨站腳本cross-site scripting攻擊（XSS）腕柜。
使用jsoup HTML Cleaner 方法進行清除，但需要指定一個可配置的 Whitelist矫废。

String unsafe = 
  "<p><a  onclick='stealCookies()'>Link</a></p>";
String safe = Jsoup.clean(unsafe, Whitelist.basic());
// now: <p><a  rel="nofollow">Link</a></p>

說明

XSS又叫CSS (Cross Site Script) 盏缤，跨站腳本攻擊。它指的是惡意攻擊者往Web頁面里插入惡意html代碼蓖扑，當(dāng)用戶瀏覽該頁之時唉铜，嵌入其中Web里面的html代碼會被執(zhí)行，從而達到惡意攻擊用戶的特殊目的律杠。XSS屬于被動式的攻擊打毛，因為其被動且不好利用柿赊，所以許多人常忽略其危害性。所以我們經(jīng)常只讓用戶輸入純文本的內(nèi)容幻枉，但這樣用戶體驗就比較差了。

一個更好的解決方法就是使用一個富文本編輯器WYSIWYG如CKEditor 和 TinyMCE诡蜓。這些可以輸出HTML并能夠讓用戶可視化編輯熬甫。雖然他們可以在客戶端進行校驗，但是這樣還不夠安全蔓罚，需要在服務(wù)器端進行校驗并清除有害的HTML代碼椿肩，這樣才能確保輸入到你網(wǎng)站的HTML是安全的。否則豺谈，攻擊者能夠繞過客戶端的Javascript驗證郑象，并注入不安全的HMTL直接進入您的網(wǎng)站。

jsoup的whitelist清理器能夠在服務(wù)器端對用戶輸入的HTML進行過濾茬末，只輸出一些安全的標簽和屬性厂榛。

jsoup提供了一系列的Whitelist基本配置，能夠滿足大多數(shù)要求丽惭；但如有必要击奶，也可以進行修改，不過要小心责掏。

這個cleaner非常好用不僅可以避免XSS攻擊柜砾，還可以限制用戶可以輸入的標簽范圍。

參見

參閱 XSS cheat sheetl换衬，有一個例子可以了解為什么不能使用正則表達式痰驱，而采用安全的whitelist parser-based
清理器才是正確的選擇。
參閱Cleaner 瞳浦，了解如何返回一個 Document 對象担映，而不是字符串
參閱Whitelist
，了解如何創(chuàng)建一個自定義的whitelist
nofollow 鏈接屬性了解

11术幔、學(xué)習(xí)Demo工程

如下是Lucene與jsoup整合的例子工程另萤，由于工程是N久年前編寫抓取163，百度網(wǎng)上的例子诅挑，現(xiàn)在有些網(wǎng)站應(yīng)該改版（加權(quán)限控制）四敞，應(yīng)該是失效獲取不到內(nèi)容，故工程的例子僅提供學(xué)習(xí)參考.

lucene與jsoup

Lucene與jsoup整合源碼地址
 Jsoup解析html代碼,與httpclient重定向的處理~
常見的jsoup使用例子

深入理解Jsoup解析器API與實際運用

深入理解Jsoup解析器API與實際運用

1崖叫、前言簡要

2陕贮、為什么對JSOUP尤為深刻？

3、解析和遍歷一個HTML文檔

存在問題

描述

4、從一個URL加載一個Document

5睁冬、使用DOM方法來遍歷一個本地存在文件內(nèi)容

6豆拨、Elements對象的API方法

查找元素

元素數(shù)據(jù)

操作HTML和文本

7、使用選擇器語法來查找元素

Selector選擇器概述

Selector選擇器組合使用

偽選擇器selectors

8幻碱、從元素抽取屬性绎狭，文本和HTML

說明

參見

9邻耕、獲取所有鏈接

10、消除不受信任的HTML (來防止XSS攻擊)

說明

參見

11术幔、學(xué)習(xí)Demo工程

深入理解Jsoup解析器API與實際運用

1崖叫、前言簡要

2陕贮、為什么對JSOUP尤為深刻？

3、 解析和遍歷一個HTML文檔

存在問題

描述

4、從一個URL加載一個Document

5睁冬、使用DOM方法來遍歷一個本地存在文件內(nèi)容

6豆拨、Elements對象的API方法

查找元素

元素數(shù)據(jù)

操作HTML和文本

7、使用選擇器語法來查找元素

Selector選擇器概述

Selector選擇器組合使用

偽選擇器selectors

8幻碱、從元素抽取屬性绎狭，文本和HTML

說明

參見

9邻耕、 獲取所有鏈接

10、 消除不受信任的HTML (來防止XSS攻擊)

說明

參見

11术幔、學(xué)習(xí)Demo工程

3、解析和遍歷一個HTML文檔

9邻耕、獲取所有鏈接

10、消除不受信任的HTML (來防止XSS攻擊)