python爬蟲Pyquery簡(jiǎn)介及簡(jiǎn)單使用

? ?????????????????????????????Pyquery簡(jiǎn)介及簡(jiǎn)單使用

介紹:

你好泣特,我相信在你看到這篇文章的時(shí)候分冈,你已經(jīng)不是一個(gè)爬蟲小白了宅粥,所以關(guān)于一些爬蟲的基礎(chǔ)知識(shí)諸如requests之類的我就不多敘述了,直接上干貨代兵。Pyquery是一個(gè)與BeautifulSoup類似的網(wǎng)頁(yè)解析庫(kù),再說(shuō)之前如果你是小白爷狈,不知道怎么安裝的話我再

這里提供一種最常用的方式:在配置好pip的環(huán)境變量的情況下pip3 install?Pyquery植影,回車即可。如果不知道環(huán)境變量怎么配置涎永,那么大家可以自己百度一下思币,也不難,安裝好之后我們就可以使用該庫(kù)了羡微。

Pyquery 與jquery谷饿?

如果你熟悉或者了解jQuery,那么使用這個(gè)庫(kù)將會(huì)非常的方便妈倔,因?yàn)檎缢拿Q一樣博投,它與jQuery有著千絲萬(wàn)縷的關(guān)系,說(shuō)白了就是你可以使用web, css的選擇器來(lái)解析選擇我們所需要的網(wǎng)頁(yè)內(nèi)容启涯。它與BeautifulSoup中提供的select()方法非常類似贬堵。

說(shuō)在前面:

在演示之前呢,我想大家一般都會(huì)使用pycharm來(lái)編輯结洼,在這里我推薦大家可以使用一個(gè)叫做jupyter的編輯器黎做,

它也是十分方便的,你只需要在cmd里面pip3 install jupyter然后等待安裝完成即可松忍,提示:安裝過(guò)程肯會(huì)很慢蒸殿,在這里大家可以百度使用一些國(guó)內(nèi)比如清華等的一些資源進(jìn)行安裝,這樣會(huì)快很多。大家可以自行百度pip安裝過(guò)慢宏所,我想可以找到一些國(guó)內(nèi)的地址的酥艳。在安裝好之后,cmd運(yùn)行jupyter notebook即可出現(xiàn)一個(gè)編輯器窗口爬骤〕涫可以file新建一個(gè)python3文件,那么就和pycharm一樣去編輯代碼即可霞玄。方便快捷骤铃。

實(shí)例演示(建議實(shí)踐):

初始化:

首先導(dǎo)入我們需要的包,和pycharm一樣坷剧。提示:(tab鍵會(huì)有提示惰爬,但是通常要等一小會(huì)兒才會(huì)出來(lái),

shift +enter鍵可以及時(shí)的查看運(yùn)行結(jié)果哦)

1

靜態(tài)初始化:

咱們測(cè)試的html片段惫企,大家要從基礎(chǔ)學(xué)起嘛


2

接著傳入html,然后print一下撕瞧,當(dāng)然你也可以直接doc("li")shift +enter,也可以出現(xiàn)結(jié)果狞尔,具體大家自己選擇丛版,所以jupyter還是很方便的,它還可以制作網(wǎng)頁(yè)P(yáng)PT等一些功能沪么,大家可以自己了解硼婿。

在這里我們傳入html以后,就像jQuery一樣選擇li標(biāo)簽禽车,之后大家可以看結(jié)果寇漫,所有符合條件的li都被選擇出來(lái)了。

3

查看一下類型:


URL初始化:


4

文件初始化:


只需要傳入本地地址即可殉摔,前提是本地有州胳,默認(rèn)會(huì)在jupyter當(dāng)前目錄尋找文件

基本CSS選擇器

id(#),class (.)子孫逸月,直接后代栓撞,具體的話大家可以自己查找把。注意:class可以有多個(gè)哦比如<p class='class1 class2'></p>那么p標(biāo)簽就會(huì)對(duì)應(yīng)著兩個(gè)class了碗硬,大家要注意

1.這里查詢class='item_0',對(duì)應(yīng)輸出的結(jié)果如下:


6

2.ul>li:直接后代選擇器瓤湘,也就是ul之下的所有直接后代li,輸出結(jié)果如下:


7

查找元素

1.find()查找所有子元素


8


9

運(yùn)行結(jié)果:


10

注意到都是pyquery.pyquery.PyQuery對(duì)象恩尾,那么我們還可以嵌套來(lái)進(jìn)行查詢弛说,舉個(gè)例子:


11

所以我們可以看到這個(gè)庫(kù)還是非常方便的,也很靈活,在此查看type:


12

所以還可以在嵌套翰意,具體期待大家實(shí)戰(zhàn)

2.children()查找直接元素

大家注意與find()對(duì)比一般使用find()


也就是選擇ul下面的所有直接含有class='active'的li

查找父元素

1.parent()方法查找直接父元素:


13

2.parents()方法查找祖先父元素:


14


15


查看類型

parents()還可以在傳入一個(gè)參數(shù)木人,那么就會(huì)進(jìn)行又一次的撒選信柿,所以下面就只有一個(gè)了(wrap)

16

查找兄弟元素

注意'.list .item_0.active',list與.item_0.active中間有一個(gè)空格(css子孫選擇器)醒第,.item_0.active中間沒(méi)有空格渔嚷,代表并列關(guān)系。運(yùn)行結(jié)果:


17

siblings()兄弟元素

輸出四個(gè)兄弟元素

同樣也可以進(jìn)行再次選擇稠曼,傳入?yún)?shù):


這個(gè)時(shí)候就只輸出含有.active的兄弟元素

遍歷

單個(gè)元素

直接輸出即可

多個(gè)元素

使用items()方法,返回一個(gè)迭代器形病,使用for in遍歷:


17

獲取信息

獲取屬性


獲取屬性方式1


獲取屬性方式2

獲取文本

text()方法:


text()獲取文本

獲取html


.html()獲取里面的標(biāo)簽

DOM操作

addClass() 與removeclass(),增加與刪除class與jquery DOM操作差不多


增加一個(gè)class屬性


刪除add_class

attr,css


css()增加一個(gè)樣式


attr()增加一個(gè)屬性

????????????????????????????????????????????????????????總結(jié)

今天就將這么多蒲列,大家如果還想了解更多的話就自己去當(dāng)一個(gè)百度工程師吧窒朋,如有錯(cuò)誤搀罢,請(qǐng)指正蝗岖,謝謝!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末榔至,一起剝皮案震驚了整個(gè)濱河市抵赢,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌唧取,老刑警劉巖铅鲤,帶你破解...
    沈念sama閱讀 219,188評(píng)論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異枫弟,居然都是意外死亡邢享,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,464評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門淡诗,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)骇塘,“玉大人,你說(shuō)我怎么就攤上這事韩容】钗ィ” “怎么了?”我有些...
    開封第一講書人閱讀 165,562評(píng)論 0 356
  • 文/不壞的土叔 我叫張陵群凶,是天一觀的道長(zhǎng)插爹。 經(jīng)常有香客問(wèn)我,道長(zhǎng)请梢,這世上最難降的妖魔是什么赠尾? 我笑而不...
    開封第一講書人閱讀 58,893評(píng)論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮毅弧,結(jié)果婚禮上气嫁,老公的妹妹穿的比我還像新娘。我一直安慰自己形真,他們只是感情好杉编,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,917評(píng)論 6 392
  • 文/花漫 我一把揭開白布超全。 她就那樣靜靜地躺著,像睡著了一般邓馒。 火紅的嫁衣襯著肌膚如雪嘶朱。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,708評(píng)論 1 305
  • 那天光酣,我揣著相機(jī)與錄音疏遏,去河邊找鬼。 笑死救军,一個(gè)胖子當(dāng)著我的面吹牛财异,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播唱遭,決...
    沈念sama閱讀 40,430評(píng)論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼戳寸,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了拷泽?” 一聲冷哼從身側(cè)響起疫鹊,我...
    開封第一講書人閱讀 39,342評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎司致,沒(méi)想到半個(gè)月后拆吆,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,801評(píng)論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡脂矫,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,976評(píng)論 3 337
  • 正文 我和宋清朗相戀三年枣耀,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片庭再。...
    茶點(diǎn)故事閱讀 40,115評(píng)論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡捞奕,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出佩微,到底是詐尸還是另有隱情缝彬,我是刑警寧澤,帶...
    沈念sama閱讀 35,804評(píng)論 5 346
  • 正文 年R本政府宣布哺眯,位于F島的核電站谷浅,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏奶卓。R本人自食惡果不足惜一疯,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,458評(píng)論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望夺姑。 院中可真熱鬧墩邀,春花似錦、人聲如沸盏浙。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,008評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至竹海,卻和暖如春慕蔚,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背斋配。 一陣腳步聲響...
    開封第一講書人閱讀 33,135評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工孔飒, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人艰争。 一個(gè)月前我還...
    沈念sama閱讀 48,365評(píng)論 3 373
  • 正文 我出身青樓坏瞄,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親甩卓。 傳聞我的和親對(duì)象是個(gè)殘疾皇子鸠匀,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,055評(píng)論 2 355