XPath 是一門在 XML 文檔中查找信息的語言廓啊。XPath 可用來在 XML 文檔中對元素和屬性進(jìn)行遍歷谴轮，而將 HTML文檔轉(zhuǎn)換成 XML文檔后吹埠，就可以用 XPath 查找 HTML 節(jié)點或元素。

XML 文檔的特點：
XML 文檔中的每個成分都是一個節(jié)點粘都。整個文檔是一個根節(jié)點胯杭；每個 XML 標(biāo)簽是一個元素節(jié)點受啥；包含在 XML 元素中的文本是文本節(jié)點滚局；每一個 XML 屬性是一個屬性節(jié)點；注釋則屬于注釋節(jié)點太闺。
其中嘁圈，元素節(jié)點可以包含任意的元素節(jié)點蟀淮、文本節(jié)點或?qū)傩怨?jié)點钞澳，而文本節(jié)點或?qū)傩怨?jié)點則不能包含節(jié)點轧粟。

XPath語法的特點：
XPath 使用路徑表達(dá)式在 XML 文檔中進(jìn)行導(dǎo)航
XPath 包含一個標(biāo)準(zhǔn)函數(shù)庫
XPath 表達(dá)式可返回節(jié)點集、字符串通惫、邏輯值以及數(shù)字混蔼。

常用的XPath 開發(fā)工具：
1.開源的XPath表達(dá)式編輯工具:XMLQuire（僅XML格式文件可用）。
2.Firefox插件 Try XPath府树。
3.Chrome插件 XPath Helper料按。推薦载矿！可以直接在網(wǎng)頁上使用xpath定位元素，非常方便弯洗。（安裝詳情見參考文獻(xiàn)2）

一逢勾、XPath語法介紹

1. 選取節(jié)點

下表列出了常用的路徑表達(dá)式：

2.謂語

謂語：用來查找某個特定的節(jié)點或者包含某個指定屬性值的節(jié)點，被嵌在方括號中杨拐。

1. /bookstore/book[1]：選取屬于 bookstore 子元素的第一個 book 元素。注意位置順序是從1開始的昼弟，和python不一樣奕筐！
2. /bookstore/book[last()]：選取屬于 bookstore 子元素的最后一個 book 元素离赫。
3. /bookstore/book[last()-1]：選取屬于 bookstore 子元素的倒數(shù)第二個 book 元素。
4. /bookstore/book[position()<3]：選取最前面的兩個屬于 bookstore 元素的子元素的 book 元素旬盯。
5. //title[@lang]：選取擁有 lang 屬性的 title 元素翎猛。
6. //title[@lang='eng']：選取 lang屬性值為'eng'的 title 元素。
7. /bookstore/book[@price>35.00]：選取 bookstore子元素中滿足條件的book 元素萨咳，條件：price屬性的值須大于 35.00疫稿。

3.XPath的運算符

1. 加法：+
2. 減法：-
3. 乘法：*
4. 除法：div
5. =：等于
6. !=：不等于
7. <：小于
8. <=：小于或等于
9. >：大于
10. >：大于或等于
11. or：或
12. and：與
13. mod：計算除法的余數(shù)

4.XPath的軸

軸可定義相對于當(dāng)前節(jié)點的節(jié)點集遗座。
語法：軸名稱::節(jié)點[謂語]

常用的軸：

1. ancestor：選取當(dāng)前節(jié)點的所有先輩節(jié)點（父、祖父等）猛遍。
2. ancestor-or-self：選取當(dāng)前節(jié)點的所有先輩節(jié)點（父号坡、祖父等）以及當(dāng)前節(jié)點本身筋帖。
3. attribute：選取當(dāng)前節(jié)點的所有屬性冤馏。
4. self：選取當(dāng)前節(jié)點。
5. child：選取當(dāng)前節(jié)點的所有子節(jié)點代箭。
6. parent：選取當(dāng)前節(jié)點的父節(jié)點。
7. descendant：選取當(dāng)前節(jié)點的所有后代節(jié)點（子乙帮、孫等）察净。
8. descendant-or-self：選取當(dāng)前節(jié)點的所有后代節(jié)點（子盼樟、孫等）以及當(dāng)前節(jié)點本身。

示例：

1. //li[@data="one"]/ancestor::div：選取屬性data="one"的li節(jié)點的所有div祖先節(jié)點译秦。
2. //li[@data="one"]/ancestor::*：選取屬性data="one"的li標(biāo)簽的所有祖先節(jié)點击碗。
3. //div[@id="testid"]/attribute::*：選取id="testid"的div節(jié)點的所有屬性值稍途。
4. //div[@id]/self::div[@data-h]/attribute::*：選取含id屬性和data-h屬性的div標(biāo)簽的所有屬性值
5. //div[@id="testid"]/child::*：選取id="testid"的div節(jié)點的所有子節(jié)點。
6. //li[@data="one"]/parent::ol/li[last()]/text()：選取屬性data="one"的li節(jié)點的父節(jié)點ol求摇，其最后一個li子節(jié)點的文本值殊者。
   注意：由于每個元素節(jié)點只有唯一的一個父節(jié)點猖吴，所以“parent::父節(jié)點”等價于“parent::*” 。

5.XPath常用函數(shù)

1. contains ()函數(shù)：
   //div[ contains(@class, 'in') ]：選擇class屬性值中包含有’in’字符串的div節(jié)點共屈。
2. text()函數(shù)：節(jié)點的文本值
   //a[text()='baidu']：選取文本值等于'baidu'的a節(jié)點党窜。
   //a/text()：獲取a節(jié)點文本內(nèi)容幌衣。
3. last()函數(shù)：
   /bookstore/book[last()]：選取屬于 bookstore 子節(jié)點的最后一個 book 節(jié)點壤玫。
4. position()函數(shù)：返回節(jié)點的索引位置(從1開始)
   /bookstore/book[position()<=3]：選取屬于 bookstore 子節(jié)點的前三個 book 節(jié)點欲间。
5. starts-with()函數(shù)：
   //div[starts-with(@class,'in')]：選擇class屬性值以字符串’in’開頭的div節(jié)點断部。
6. ends-with()函數(shù)：
   //div[ends-with(@class,'in')]：選擇class屬性值以字符串’in’結(jié)尾的div節(jié)點。
7. not()函數(shù)：表示否定
   //input[@name=‘identity’ and not( contains(@class,‘a(chǎn)’) )]：
   選擇屬性name=‘identity’ 并且 class屬性值中不包含字符’a’的input節(jié)點她渴。
   not()函數(shù)通常與返回值為true or false的函數(shù)組合起來用蔑祟，比如contains(),starts-with()等做瞪。但有一種特別情況需注意一下：//input[@id]：匹配出含有id屬性的input節(jié)點；//input[not(@id)]：匹配出不含有id屬性的input節(jié)點著拭。

6.其他

1.通配符
使用通配符“*”可用來選取未知的 XML 元素牍帚。
*：匹配任何元素節(jié)點暗赶。
@*：匹配任何屬性節(jié)點。
node()：匹配任意類型的節(jié)點（元素十嘿、屬性岳锁、文本、注釋以及根節(jié)點）咳燕。

2.選取多條路徑
通過在路徑表達(dá)式中使用“|”運算符，可以選取多條路徑乒躺。
//book/title | //book/price：選取 book 元素的所有 title 和 price 元素招盲。
//title | //price：選取文檔中的所有 title 和 price 元素。

二嘉冒、xpath在python中的具體運用

lxml庫是一個XML曹货、HTML的解析器咆繁，主要用于解析和提取XML、HTML數(shù)據(jù)控乾。lxml庫先將HTML文檔解析，然后就可以使用XPath 搜索或遍歷HTML文檔中的節(jié)點娜遵。

使用lxml解析HTML數(shù)據(jù)的兩種方式：

1.解析HTML字符串：

from lxml import etree

# HTML字符串
text = '''
<bookstore>
  <book>
    <title lang="en">Harry Potter</title>
    <author>J K. Rowling</author>
    <name>杰克羅琳</name>
    <year>2005</year>
    <price>29.99</price>
  </book>
</bookstore>
'''

# 使用HTML()方法解析字符串
# HTML()默認(rèn)使用的就是HTML解析器蜕衡，如果遇到不規(guī)范的HTML代碼，會自動補(bǔ)全设拟。
html_element = etree.HTML(text)

# 解析后就可以調(diào)用xpath方法了
name = html_element.xpath('//book/name/text()')
print(name)


# 返回值：
# ['杰克羅琳']

2.直接解析HTML文件：

from lxml import etree

# 創(chuàng)建HTML解析器，指定解析器使用的編碼格式(需要和文件編碼格式一致)
parser = etree.HTMLParser(encoding='utf-8')

# parse()默認(rèn)的是XML解析器纳胧，在解析HTML代碼時镰吆，如果HTML代碼不規(guī)范,則會報錯！
# 因此需要指定解析器為HTML解析器跑慕，這樣不規(guī)范的HTML代碼万皿，會自動補(bǔ)全！
html_element = etree.parse('./test.html', parser=parser)

#解析后就可以調(diào)用xpath方法了
name = html_element.xpath('//book/name/text()')
print(name)


# 返回值：
# ['杰克羅琳']

注意：
1.xpath返回的永遠(yuǎn)是列表核行，即使沒有匹配到任何元素也返回的是空列表牢硅。
2.根節(jié)點和任意元素節(jié)點都可以使用xpath方法去搜索、遍歷其子節(jié)點芝雪。

# tostring()方法可以將節(jié)點對象轉(zhuǎn)換成字節(jié)减余，解碼后就可以查看節(jié)點內(nèi)容
author_ele = html_element.xpath('//book/author')[0]
result = etree.tostring(author_ele, encoding='utf-8').decode('utf-8')
print(result)


# 返回值：
# <author>J K. Rowling</author>&#13;

參考文獻(xiàn)：

1. HTML和XML的區(qū)別
2. XPath Helper插件安裝
3. XPath 教程