前言
pyquery庫(kù)是jQuery的Python實(shí)現(xiàn)些阅，能夠以jQuery的語(yǔ)法來(lái)操作解析 HTML 文檔万细，易用性和解析速度都很好赖钞，和它差不多的還有BeautifulSoup，都是用來(lái)解析的弓千。相比BeautifulSoup完美翔實(shí)的文檔献起，雖然PyQuery庫(kù)的文檔弱爆了谴餐， 但是使用起來(lái)還是可以的，有些地方用起來(lái)很方便簡(jiǎn)潔汁展。
PyQuery庫(kù)官方文檔
初始化為PyQuery對(duì)象
常用的CCS選擇器
偽類選擇器
查找標(biāo)簽
獲取標(biāo)簽信息
初始化為PyQuery對(duì)象
html = """
<html lang="en">
<head>
簡(jiǎn)單好用的
<title>PyQuery</title>
</head>
<body>
<ul id="container">
<li class="object-1">Python</li>
<li class="object-2">大法</li>
<li class="object-3">好</li>
</ul>
</body>
</html>
"""
相當(dāng)于BeautifulSoup庫(kù)的初識(shí)化方法食绿，將html轉(zhuǎn)化為BeautifulSoup對(duì)象公罕。
bsObj = BeautifulSoup(html, 'html.parser')
PyQuery庫(kù)也要有自己的初始化。
1.1 將字符串初始化
from pyquery import PyQuery as pq
#初始化為PyQuery對(duì)象
doc = pq(html)
print(type(doc))
print(doc)
返回
<class 'pyquery.pyquery.PyQuery'>
<html lang="en">
<head>
<title>PyQuery學(xué)習(xí)</title>
</head>
<body>
<ul id="container">
<li class="object-1"/>
<li class="object-2"/>
<li class="object-3"/>
</ul>
</body>
</html>
1.2 將html文件初始化
#filename參數(shù)為html文件路徑
test_html = pq(filename = 'test.html')
print(type(test_html))
print(test_html)
返回
<class 'pyquery.pyquery.PyQuery'><html lang="en">
<head>
<title>PyQuery學(xué)習(xí)</title>
</head>
<body>
<ul id="container">
<li class="object-1"/>
<li class="object-2"/>
<li class="object-3"/>
</ul>
</body>
</html>
1.3 對(duì)網(wǎng)址響應(yīng)進(jìn)行初始化
response = pq(url = 'https://www.baidu.com')
print(type(response))
print(response)
返回
<class 'pyquery.pyquery.PyQuery'>
<html> <head><meta http-equiv="content-type" content="text/html;charset=utf-8"/><meta http-equiv="X-UA-Compatible" content="IE=Edge"/><meta content="always" name="referrer"/><link rel="stylesheet" type="text/css" /><title>????o|??????????? ?°±??￥é??</title></head> <body link="#0000cc"> <div id="wrapper"> <div id="head"> <div class="head_wrapper"> <div class="s_form"> <div class="s_form_wrapper"> <div id="lg"> <img hidefocus="true" src="http://www.baidu.com/img/bd_logo1.png" width="270" height="129"/> </div> <form id="form" name="f" action="http://www.baidu.com/s" class="fm"> <input type="hidden" name="bdorz_come" value="1"/> <input type="hidden" name="ie" value="utf-8"/> <input type="hidden" name="f" value="8"/> <input type="hidden" name="rsv_bp" value="1"/> <input type="hidden" name="rsv_idx" value="1"/> <input type="hidden" name="tn" value="baidu"/><span class="bg s_ipt_wr"><input id="kw" name="wd" class="s_ipt" value="" maxlength="255" autocomplete="off" autofocus="autofocus"/></span><span class="bg s_btn_wr"><input type="submit" id="su" value="????o|??????" class="bg s_btn" autofocus=""/></span> </form> </div> </div> <div id="u1"> <a name="tj_trnews" class="mnav">??°é??</a> <a name="tj_trhao123" class="mnav">hao123</a> <a name="tj_trmap" class="mnav">??°???</a> <a name="tj_trvideo" class="mnav">è§?é￠?</a> <a name="tj_trtieba" class="mnav">è′′??§</a> <noscript> <a name="tj_login" class="lb">??????</a> </noscript> <script>document.write('<a + encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">??????</a>'); </script> <a name="tj_briicon" class="bri" style="display: block;">??′?¤??o§???</a> </div> </div> </div> <div id="ftCon"> <div id="ftConw"> <p id="lh"> <a >?
3?o?????o|</a> <a >About Baidu</a> </p> <p id="cp">?2017 Baidu <a >?????¨????o|?????
èˉ?</a> <a class="cp-feedback">???è§????é|?</a> ?o?ICPèˉ?030173??· <img src="http://www.baidu.com/img/gs.gif"/> </p> </div> </div> </div> </body> </html>
二、常用的CCS選擇器
打印id為container的標(biāo)簽
print(doc('#container'))
print(type(doc('#container')))
返回
<ul id="container">
<li class="object-1"/>
<li class="object-2"/>
<li class="object-3"/>
</ul>
<class 'pyquery.pyquery.PyQuery'>
打印class為object-1的標(biāo)簽
print(doc('.object-1'))
返回
<li class="object-1"/>
打印標(biāo)簽名為body的標(biāo)簽
print(doc('body'))
返回
<body>
<ul id="container">
<li class="object-1"/>
<li class="object-2"/>
<li class="object-3"/>
</ul>
</body>
多種css選擇器使用
print(doc('html #container'))
返回
<ul id="container">
<li class="object-1"/>
<li class="object-2"/>
<li class="object-3"/>
</ul>
三硝清、偽類選擇器
偽類nth
print(pseudo_doc('li:nth-child(2)'))
#打印第一個(gè)li標(biāo)簽
print(pseudo_doc('li:first-child'))
#打印最后一個(gè)標(biāo)簽
print(pseudo_doc('li:last-child'))
返回
<li class="object-2">大法</li>
<li class="object-1">Python</li>
<li class="object-6">好玩</li>
contains
#找到含有Python的li標(biāo)簽
print(pseudo_doc("li:contains('Python')"))
#找到含有好的li標(biāo)簽
print(pseudo_doc("li:contains('好')"))
返回
<li class="object-1">Python</li>
<li class="object-3">好</li>
<li class="object-4">好</li>
<li class="object-6">好玩</li>
四、查找標(biāo)簽
按照條件在Pyquery對(duì)象中查找符合條件的標(biāo)簽士飒，類似于BeautifulSoup中的find方法酵幕。
打印id=container的標(biāo)簽
print(doc.find('#container'))
返回
<ul id="container">
<li class="object-1"/>
<li class="object-2"/>
<li class="object-3"/>
</ul>
print(doc.find('li'))
返回
<li class="object-1"/>
<li class="object-2"/>
<li class="object-3"/>
4.2 子輩標(biāo)簽-children方法
#id=container的標(biāo)簽的子輩標(biāo)簽
container = doc.find('#container')
print(container.children())
返回
<li class="object-1"/>
<li class="object-2"/>
<li class="object-3"/>
4.3 父輩標(biāo)簽-parent方法
object_2 = doc.find('.object-2')
print(object_2.parent())
返回
<ul id="container">
<li class="object-1"/>
<li class="object-2"/>
<li class="object-3"/>
</ul>
4.4 兄弟標(biāo)簽-siblings方法
object_2 = doc.find('.object-2')
print(object_2.siblings())
返回
<li class="object-1"/>
<li class="object-3"/>
五芳撒、獲取標(biāo)簽的信息
定位到目標(biāo)標(biāo)簽后未桥，我們需要標(biāo)簽內(nèi)部的文本或者屬性值，這時(shí)候需要進(jìn)行提取文本或?qū)傩灾挡僮?/p>
5.1 標(biāo)簽屬性值的提取
.attr() 傳入 標(biāo)簽的屬性名舌菜，返回屬性值
object_2 = doc.find('.object-2')
print(object_2.attr('class'))
返回
object-2
5.2 標(biāo)簽內(nèi)的文本
.text()
html_text = """
<html lang="en">
<head>
簡(jiǎn)單好用的
<title>PyQuery</title>
</head>
<body>
<ul id="container">
Hello World亦镶！
<li class="object-1">Python</li>
<li class="object-2">大法</li>
<li class="object-3">好</li>
</ul>
</body>
</html>
"""
docs = pq(html_text)
print(docs.text())
返回
簡(jiǎn)單好用的 PyQuery Hello World缤骨！ Python 大法 好
object_1 = docs.find('.object-1')
print(object_1.text())
container = docs.find('#container')
print(container.text())
返回
Python
Hello World！ Python 大法 好
tips:如果我只想獲得Hello World這個(gè)精拟，不想得到其他的文本勒庄，可以使用remove方法將li標(biāo)簽去掉实蔽，然后再使用text方法
container = docs.find('#container')
container.remove('li')
print(container.text())
返回
Hello World！
pyquery一些自定義的用法
訪問(wèn)網(wǎng)址
PyQuery與BeautifulSoup對(duì)比坛吁，我們會(huì)發(fā)現(xiàn)PyQuery可以對(duì)網(wǎng)址發(fā)起請(qǐng)求。 比如
from pyquery import PyQuery
PyQuery(url = 'https://www.baidu.com')
opener參數(shù)
這是PyQuery對(duì)百度網(wǎng)址進(jìn)行請(qǐng)求哆姻，并將請(qǐng)求返回的響應(yīng)數(shù)據(jù)處理為PyQuery對(duì)象玫膀。一般pyquery庫(kù)會(huì)默認(rèn)調(diào)用urllib庫(kù)，如果想使用selenium或者requests庫(kù)箕昭，可以自定義PyQuery的opener參數(shù)解阅。
opener參數(shù)作用是告訴pyquery用什么請(qǐng)求庫(kù)對(duì)網(wǎng)址發(fā)起請(qǐng)求货抄。常見(jiàn)的請(qǐng)求庫(kù)如urllib、requests积暖、selenium锈津。這里我們自定義一個(gè)selenium的opener。
from pyquery import PyQuery
from selenium.webdriver import PhantomJS
#用selenium訪問(wèn)url
def selenium_opener(url):
#我沒(méi)有將Phantomjs放到環(huán)境變量性誉，所以每次用都要放上路徑
driver = PhantomJS(executable_path = 'phantomjs的路徑')
driver.get(url)
html = driver.page_source
driver.quit()
return html
#注意错览，使用時(shí)opener參數(shù)是函數(shù)名煌往，沒(méi)有括號(hào)的！
PyQuery(url='https://www.baidu.com/', opener=selenium_opener)
這時(shí)候我們就能對(duì)PyQuery對(duì)象進(jìn)行操作羞海，提取有用的信息曲管。具體請(qǐng)看上次的分享，如果想了解更多的功能腊徙，pyquery文檔寫(xiě)的不怎么詳細(xì)，好在基本跟jQuery功能吻合螟蝙，我們?nèi)绻胗煤胮yquery民傻，需要查看jQuery文檔饰潜。
cookies、headers
在requests用法中，一般為了訪問(wèn)網(wǎng)址更加真實(shí)锁保，模仿成瀏覽器爽柒。一般我們需要傳入headers，必要的時(shí)候還需要傳入cookies參數(shù)做葵。而pyquery庫(kù)就有這功能心墅，也能偽裝瀏覽器。
from pyquery import PyQuery
cookies = {'Cookie':'你的cookie'}
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'}
PyQuery(url='https://www.baidu.com/',headers=headers,cookies=cookies)
讓你的selenium帶上pyquery功能
讓driver訪問(wèn)的網(wǎng)址得到的網(wǎng)頁(yè)直接變?yōu)镻yQuery對(duì)象瘫筐，更方便提取數(shù)據(jù)
from pyquery import PyQuery
from selenium.webdriver import PhantomJS
class Browser(PhantomJS):
@property
def dom(self):
return PyQuery(self.page_source)"""
這部分property是裝飾器策肝，需要知道@property下面緊跟的函數(shù)隐绵，實(shí)現(xiàn)了類的屬性功能。
這里browser.dom棺禾，就是browser的dom屬性帘睦。
"""
browser = Browser(executable_path='phantomjs的路徑')
browser.get(url='https://www.baidu.com/')
print(type(browser.dom))
返回
<class 'pyquery.pyquery.PyQuery'>
