使用 XPath 提取網(wǎng)頁信息

以1024舉例构挤,使用XPath提取圖片鏈接以及磁力鏈接地址。更多見:iii.run


學習XPath的基本知識

推薦 Xpath教程 很容易理解沐兵。
推薦可以將常用的語法記下來,不常用的可以等用的時候再查涯贞。

推薦使用Chrome瀏覽器中的XPath Helper良心之作.

  • 左邊輸入XPath表達式危喉,右側(cè)會自動展示結(jié)果宋渔。

  • 選擇元素之后按下ctrl + shift + x,可以自動提取該元素的XPath表達式姥饰。

使用Xpath Helper自帶提取功能

常用語法

  • / 從根節(jié)點選取。
  • // 從匹配選擇的當前節(jié)點選擇文檔中的節(jié)點孝治,而不考慮它們的位置列粪。
  • @ 選取屬性,常見使用方法為[@class = "title"]

舉例谈飒,比如在雙面膠-淘寶搜索 頁面

輸入: //[@class="m-itemlist"]//a[@trace-price<20]/@href*岂座,用來提取出class為itemlist里邊a標簽里邊所有price 小于20的產(chǎn)品,并將其href(即超鏈接)輸出

結(jié)果展示

需要結(jié)合Chrome瀏覽器的F12一起使用杭措,先選定大致的框架费什,比如itemlist這個class,然后逐漸加上更多的要求手素,具體見文首給出的鏈接學習鸳址。

知道這些就可以抓取1024上的圖片和磁力鏈接了,目測是不是很簡單


挑選網(wǎng)頁實驗一下

作為一名1024資深游客泉懦,首先在技術討論區(qū)選擇一篇好文稿黍,這里用的是[榴民資訊]11月精品主題推薦(49期)

還是熟悉的味道

使用F12查看網(wǎng)頁的結(jié)構(gòu)

有兩個主要標簽 header 和 main 鼠標移動到main上,可以看到內(nèi)容頁面都被包含起來崩哩,所以第一個節(jié)點應該選main巡球。


main標簽

使用XPath表達式篩選圖片鏈接

我們看到圖片前邊都有一個屬性src言沐,這個src后邊就是我們所需的圖片鏈接。

綜上酣栈,使用XPath表達式: //[@id="main"]//@src*

mark

輸入XPath代碼险胰,獲得圖片鏈接。
mark

使用XPath表達式篩選磁力鏈接

同理矿筝,我們可以發(fā)現(xiàn)起便,磁力鏈接前邊都有一個blockquote,與上一條處理方式類似跋涣,使用XPath表達式: //[@id="main"]//blockquote*

磁力鏈接

以上

最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末缨睡,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子陈辱,更是在濱河造成了極大的恐慌奖年,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,576評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件沛贪,死亡現(xiàn)場離奇詭異陋守,居然都是意外死亡,警方通過查閱死者的電腦和手機利赋,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,515評論 3 399
  • 文/潘曉璐 我一進店門水评,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人媚送,你說我怎么就攤上這事中燥。” “怎么了塘偎?”我有些...
    開封第一講書人閱讀 168,017評論 0 360
  • 文/不壞的土叔 我叫張陵疗涉,是天一觀的道長。 經(jīng)常有香客問我吟秩,道長咱扣,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,626評論 1 296
  • 正文 為了忘掉前任涵防,我火速辦了婚禮闹伪,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘壮池。我一直安慰自己偏瓤,他們只是感情好,可當我...
    茶點故事閱讀 68,625評論 6 397
  • 文/花漫 我一把揭開白布椰憋。 她就那樣靜靜地躺著硼补,像睡著了一般。 火紅的嫁衣襯著肌膚如雪熏矿。 梳的紋絲不亂的頭發(fā)上已骇,一...
    開封第一講書人閱讀 52,255評論 1 308
  • 那天离钝,我揣著相機與錄音,去河邊找鬼褪储。 笑死卵渴,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的鲤竹。 我是一名探鬼主播浪读,決...
    沈念sama閱讀 40,825評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼辛藻!你這毒婦竟也來了碘橘?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,729評論 0 276
  • 序言:老撾萬榮一對情侶失蹤吱肌,失蹤者是張志新(化名)和其女友劉穎痘拆,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體氮墨,經(jīng)...
    沈念sama閱讀 46,271評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡纺蛆,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,363評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了规揪。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片桥氏。...
    茶點故事閱讀 40,498評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖猛铅,靈堂內(nèi)的尸體忽然破棺而出字支,到底是詐尸還是另有隱情,我是刑警寧澤奸忽,帶...
    沈念sama閱讀 36,183評論 5 350
  • 正文 年R本政府宣布堕伪,位于F島的核電站,受9級特大地震影響月杉,放射性物質(zhì)發(fā)生泄漏刃跛。R本人自食惡果不足惜抠艾,卻給世界環(huán)境...
    茶點故事閱讀 41,867評論 3 333
  • 文/蒙蒙 一苛萎、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧检号,春花似錦腌歉、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,338評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至凹蜂,卻和暖如春馍驯,著一層夾襖步出監(jiān)牢的瞬間阁危,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,458評論 1 272
  • 我被黑心中介騙來泰國打工汰瘫, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留狂打,地道東北人。 一個月前我還...
    沈念sama閱讀 48,906評論 3 376
  • 正文 我出身青樓混弥,卻偏偏與公主長得像趴乡,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子蝗拿,可洞房花燭夜當晚...
    茶點故事閱讀 45,507評論 2 359

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理晾捏,服務發(fā)現(xiàn),斷路器哀托,智...
    卡卡羅2017閱讀 134,697評論 18 139
  • 20170531 這幾天重新拾起了爬蟲惦辛,算起來有將近5個月不碰python爬蟲了。 對照著網(wǎng)上的程序和自己以前寫的...
    八神蒼月閱讀 14,172評論 3 44
  • 1萤捆,今天早上花了三個小時時間把自己的書桌裙品,床鋪,宿舍全部清理了一遍俗或,小小的柜子里全都是不重要的塞滿了市怎,全部扔掉,收...
    橘子俠閱讀 122評論 0 0
  • 很早聽說過一句話辛慰,怕麻煩就要麻煩一輩子区匠,當時我也只是聽聽,當然也認同這個道理帅腌,但也只是想想而已驰弄,并沒有放在心上。而...
    amazing2017閱讀 527評論 3 1
  • 男:“我要騎著摩托帶你走遍中國速客,并且還要用攝像機做個記錄戚篙,等八十歲了,我坐在床上溺职,你掛在墻上岔擂,我講給你聽±嗽牛”
    9e0c0a76a7ff閱讀 105評論 1 1