XPath基礎教程离唐,利用XPath進行采集信息

XPath是一種使用路徑表達式在XML文檔(或我們的HTML文檔)中選擇節(jié)點或節(jié)點集的技術。雖然XPath本身不是編程語言问窃,它也允許您編寫可以直接訪問特定HTML元素的表達式亥鬓,而無需遍歷整個HTML結構。

為什么要學習XPath

從網(wǎng)頁中提取數(shù)據(jù)時域庇,必須了解如何使用基本XPath表達式嵌戈。
比CSS選擇器更強大
它允許您以任何方向瀏覽DOM
可以匹配HTML元素內(nèi)的文本

文檔對象模型(Document Object Model)

我假設您已經(jīng)了解HTML,網(wǎng)頁是一個包含標簽內(nèi)文本的文檔听皿,通過描述諸如標題熟呛,段落,列表尉姨,鏈接等元素庵朝,為文檔增加含義。

讓我們看一個基本的HTML頁面又厉,以了解什么是文檔對象模型九府。

<!doctype html>
<html>
<head>
    <meta charset="utf-8">
    <title>What is the DOM ?</title>
</head>
<body>
    <h1>DOM 101</h1>
    <p>Websraping is awsome !</p>
    <p>Here is my <a >blog</a></p>
</body>
</html>
rmqhgyrbwdbczfcg_hu1e1d337a3bce3f5e7a7bdc84d1b0b64f_43119_800x0_resize_box_2.png

該HTML代碼基本上是封裝在其他HTML內(nèi)容內(nèi)的HTML內(nèi)容。HTML層次結構可以視為樹覆致。我們已經(jīng)可以通過HTML代碼中的縮進看到該層次結構侄旬。

當您的Web瀏覽器解析此代碼時,它將創(chuàng)建一棵樹狀結構煌妈,該樹是HTML文檔的對象表示儡羔。它稱為文檔對象模型。

要記住的重要一點是璧诵,當您右鍵單擊+ inspect時汰蜘,在瀏覽器中看到的DOM可能與發(fā)送的實際HTML確實不同。也許執(zhí)行了一些Javascript代碼并動態(tài)更改了DOM腮猖!例如鉴扫,當您滾動Twitter帳戶時,瀏覽器會發(fā)送一個請求以獲取新的tweet澈缺,并且一些Javascript代碼將這些新的tweet動態(tài)添加到DOM坪创。

xPath語法

? 在Xpath術語中炕婶,與HTML一樣,存在不同類型的節(jié)點:根節(jié)點莱预,元素節(jié)點柠掂,屬性節(jié)點以及所謂的原子值,這是HTML文檔中文本節(jié)點的同義詞依沮。

? 每個元素節(jié)點都有一個父節(jié)點涯贞。在此示例中,section元素是p危喉,details和button的父元素宋渔。

? 元素節(jié)點可以具有任意數(shù)量的子節(jié)點。在我們的示例中辜限,li元素是ul元素的所有子元素皇拣。

? 兄弟姐妹是具有相同父代的節(jié)點。p薄嫡,詳細信息和按鈕是同級氧急。

? 祖先節(jié)點的父級和父級的父級...

? 后代節(jié)點的子代和子代的子代…

在HTML文檔中有多種類型的表達式來選擇節(jié)點,以下是最重要的表達式:

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末毫深,一起剝皮案震驚了整個濱河市吩坝,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌哑蔫,老刑警劉巖钉寝,帶你破解...
    沈念sama閱讀 219,188評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異鸳址,居然都是意外死亡瘩蚪,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,464評論 3 395
  • 文/潘曉璐 我一進店門稿黍,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人崩哩,你說我怎么就攤上這事巡球。” “怎么了邓嘹?”我有些...
    開封第一講書人閱讀 165,562評論 0 356
  • 文/不壞的土叔 我叫張陵酣栈,是天一觀的道長。 經(jīng)常有香客問我汹押,道長矿筝,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,893評論 1 295
  • 正文 為了忘掉前任棚贾,我火速辦了婚禮窖维,結果婚禮上榆综,老公的妹妹穿的比我還像新娘。我一直安慰自己铸史,他們只是感情好鼻疮,可當我...
    茶點故事閱讀 67,917評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著琳轿,像睡著了一般判沟。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上崭篡,一...
    開封第一講書人閱讀 51,708評論 1 305
  • 那天挪哄,我揣著相機與錄音,去河邊找鬼琉闪。 笑死迹炼,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的塘偎。 我是一名探鬼主播疗涉,決...
    沈念sama閱讀 40,430評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼吟秩!你這毒婦竟也來了咱扣?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,342評論 0 276
  • 序言:老撾萬榮一對情侶失蹤涵防,失蹤者是張志新(化名)和其女友劉穎闹伪,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體壮池,經(jīng)...
    沈念sama閱讀 45,801評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡偏瓤,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,976評論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了椰憋。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片厅克。...
    茶點故事閱讀 40,115評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖橙依,靈堂內(nèi)的尸體忽然破棺而出证舟,到底是詐尸還是另有隱情,我是刑警寧澤窗骑,帶...
    沈念sama閱讀 35,804評論 5 346
  • 正文 年R本政府宣布女责,位于F島的核電站,受9級特大地震影響创译,放射性物質發(fā)生泄漏抵知。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,458評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望刷喜。 院中可真熱鬧残制,春花似錦、人聲如沸吱肌。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,008評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽氮墨。三九已至纺蛆,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間规揪,已是汗流浹背桥氏。 一陣腳步聲響...
    開封第一講書人閱讀 33,135評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留猛铅,地道東北人字支。 一個月前我還...
    沈念sama閱讀 48,365評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像奸忽,于是被迫代替她去往敵國和親堕伪。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,055評論 2 355