BeautifulSoup 爬取網(wǎng)絡(luò)數(shù)據(jù)(2).find_all()

2. find() 和 find_all()

推薦有能力的各位查看BeautifulSoup官方文檔唇聘,這里簡(jiǎn)單講解一下妖混。
請(qǐng)看以下比較:

  find_all(tag, attributes, recursive, text,limit, keywords)
# find_all(標(biāo)簽, 屬性, 遞歸, 文本,限制查詢數(shù)量, 關(guān)鍵字)
  find(tag,attributes, recursive, text,keywords)
#find 相當(dāng)于find_all(,limit=1)

絕大多數(shù)的情況我們只會(huì)遇到前兩個(gè)參數(shù)绒窑,tag和attributes僧诚。tag和attributes都可以查找多個(gè)值丸逸。


from urllib.request import urlopen

from bs4 import BeautifulSoup

url ='http://www.pythonscraping.com/pages/warandpeace.html'

html= urlopen(url) #抓取了該url網(wǎng)頁(yè)

soup = BeautifulSoup(html) #使用BeautifulSoup對(duì)網(wǎng)頁(yè)進(jìn)行解析

hs = soup.find_all({'h1', 'h2'})#find_all抓取所有綠色字體某饰,返回list

print(hs)

得到結(jié)果:

[<h1>War and Peace</h1>, <h2>Chapter 1</h2>]

同理儒恋,屬性參數(shù)也可以包含多個(gè)屬性。例如需要查找所有綠色和紅色的文本:

....
words = soup.find_all('span', {'class':{'green', 'red'}})
print(len(words))

有興趣的朋友可以看看綠色和紅色的tag分別有多少個(gè)黔漂。

關(guān)鍵字參數(shù)可以用來(lái)選擇包含特定屬性的是標(biāo)簽诫尽,比如:

all_text = soup.find_all(id = 'text')
print(all_text[0].get_text()

細(xì)心的朋友可能會(huì)注意到,其實(shí)關(guān)鍵字參數(shù)匹配完全可以用屬性參數(shù)替換炬守。

soup.find_all(id='text')
soup.find_all("",{"id":"text"})
soup.find_all(class="green")
soup.find_all('',{'class':'green'})

注意: 在BeautifulSoup4版本中find_all 和findAll 是一樣的牧嫉。find_all是新版本的寫法,findAll是舊版本的寫法减途,但是目前二者在版本4中通用酣藻。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市鳍置,隨后出現(xiàn)的幾起案子臊恋,更是在濱河造成了極大的恐慌,老刑警劉巖墓捻,帶你破解...
    沈念sama閱讀 218,546評(píng)論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件抖仅,死亡現(xiàn)場(chǎng)離奇詭異坊夫,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)撤卢,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,224評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門环凿,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人放吩,你說(shuō)我怎么就攤上這事智听。” “怎么了渡紫?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,911評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵到推,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我惕澎,道長(zhǎng)莉测,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,737評(píng)論 1 294
  • 正文 為了忘掉前任唧喉,我火速辦了婚禮捣卤,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘八孝。我一直安慰自己董朝,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,753評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布干跛。 她就那樣靜靜地躺著子姜,像睡著了一般。 火紅的嫁衣襯著肌膚如雪楼入。 梳的紋絲不亂的頭發(fā)上闲询,一...
    開(kāi)封第一講書(shū)人閱讀 51,598評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音浅辙,去河邊找鬼扭弧。 笑死,一個(gè)胖子當(dāng)著我的面吹牛记舆,可吹牛的內(nèi)容都是我干的鸽捻。 我是一名探鬼主播,決...
    沈念sama閱讀 40,338評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼泽腮,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼御蒲!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起诊赊,我...
    開(kāi)封第一講書(shū)人閱讀 39,249評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤厚满,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后碧磅,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體碘箍,經(jīng)...
    沈念sama閱讀 45,696評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡遵馆,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,888評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了丰榴。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片货邓。...
    茶點(diǎn)故事閱讀 40,013評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖四濒,靈堂內(nèi)的尸體忽然破棺而出换况,到底是詐尸還是另有隱情,我是刑警寧澤盗蟆,帶...
    沈念sama閱讀 35,731評(píng)論 5 346
  • 正文 年R本政府宣布戈二,位于F島的核電站,受9級(jí)特大地震影響喳资,放射性物質(zhì)發(fā)生泄漏觉吭。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,348評(píng)論 3 330
  • 文/蒙蒙 一骨饿、第九天 我趴在偏房一處隱蔽的房頂上張望亏栈。 院中可真熱鬧台腥,春花似錦宏赘、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,929評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至峻汉,卻和暖如春贴汪,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背休吠。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,048評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工扳埂, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人瘤礁。 一個(gè)月前我還...
    沈念sama閱讀 48,203評(píng)論 3 370
  • 正文 我出身青樓阳懂,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親柜思。 傳聞我的和親對(duì)象是個(gè)殘疾皇子岩调,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,960評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容