BeautifulSoup4庫
和 lxml 一樣祟敛，Beautiful Soup 也是一個HTML/XML的解析器孤页，主要的功能也是如何解析和提取 HTML/XML 數據。
lxml 只會局部遍歷，而Beautiful Soup 是基于HTML DOM（Document Object Model）的泊窘，會載入整個文檔逼争，解析整個DOM樹优床，因此時間和內存開銷都會大很多，所以性能要低于lxml誓焦。
BeautifulSoup 用來解析 HTML 比較簡單胆敞，API非常人性化，支持CSS選擇器、Python標準庫中的HTML解析器移层，也支持 lxml 的 XML解析器仍翰。
Beautiful Soup 3 目前已經停止開發(fā)，推薦現在的項目使用Beautiful Soup 4观话。
安裝和文檔：
- 安裝：
pip install bs4予借。 - 中文文檔：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html
幾大解析工具對比：
| 解析工具 | 解析速度 | 使用難度 |
|---|---|---|
| BeautifulSoup | 最慢 | 最簡單 |
| lxml | 快 | 簡單 |
| 正則 | 最快 | 最難 |
簡單使用：
from bs4 import BeautifulSoup
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a class="sister" id="link1"><!-- Elsie --></a>,
<a class="sister" id="link2">Lacie</a> and
<a class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
#創(chuàng)建 Beautiful Soup 對象
# 使用lxml來進行解析
soup = BeautifulSoup(html,"lxml")
print(soup.prettify())
四個常用的對象：
Beautiful Soup將復雜HTML文檔轉換成一個復雜的樹形結構,每個節(jié)點都是Python對象,所有對象可以歸納為4種:
- Tag
- NavigatableString
- BeautifulSoup
- Comment
1. Tag：
Tag 通俗點講就是 HTML 中的一個個標簽。示例代碼如下：
from bs4 import BeautifulSoup
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a class="sister" id="link1"><!-- Elsie --></a>,
<a class="sister" id="link2">Lacie</a> and
<a class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
#創(chuàng)建 Beautiful Soup 對象
soup = BeautifulSoup(html,'lxml')
print soup.title
# <title>The Dormouse's story</title>
print soup.head
# <head><title>The Dormouse's story</title></head>
print soup.a
# <a class="sister" id="link1"><!-- Elsie --></a>
print soup.p
# <p class="title" name="dromouse"><b>The Dormouse's story</b></p>
print type(soup.p)
# <class 'bs4.element.Tag'>
我們可以利用 soup 加標簽名輕松地獲取這些標簽的內容频蛔，這些對象的類型是bs4.element.Tag蕾羊。但是注意，它查找的是在所有內容中的第一個符合要求的標簽帽驯。如果要查詢所有的標簽龟再，后面會進行介紹。
對于Tag尼变，它有兩個重要的屬性利凑，分別是name和attrs。示例代碼如下：
print soup.name
# [document] #soup 對象本身比較特殊嫌术，它的 name 即為 [document]
print soup.head.name
# head #對于其他內部標簽哀澈，輸出的值便為標簽本身的名稱
print soup.p.attrs
# {'class': ['title'], 'name': 'dromouse'}
# 在這里，我們把 p 標簽的所有屬性打印輸出了出來度气，得到的類型是一個字典割按。
print soup.p['class'] # soup.p.get('class')
# ['title'] #還可以利用get方法，傳入屬性的名稱磷籍，二者是等價的
soup.p['class'] = "newClass"
print soup.p # 可以對這些屬性和內容等等進行修改
# <p class="newClass" name="dromouse"><b>The Dormouse's story</b></p>
2. NavigableString：
如果拿到標簽后适荣，還想獲取標簽中的內容。那么可以通過tag.string獲取標簽中的文字院领。示例代碼如下：
print soup.p.string
# The Dormouse's story
print type(soup.p.string)
# <class 'bs4.element.NavigableString'>thon
3. BeautifulSoup：
BeautifulSoup 對象表示的是一個文檔的全部內容.大部分時候,可以把它當作 Tag 對象,它支持 遍歷文檔樹 和 搜索文檔樹 中描述的大部分的方法.
因為 BeautifulSoup 對象并不是真正的HTML或XML的tag,所以它沒有name和attribute屬性.但有時查看它的 .name 屬性是很方便的,所以 BeautifulSoup 對象包含了一個值為 “[document]” 的特殊屬性 .name
soup.name
# '[document]'
4. Comment：
Tag , NavigableString , BeautifulSoup 幾乎覆蓋了html和xml中的所有內容,但是還有一些特殊對象.容易讓人擔心的內容是文檔的注釋部分:
markup = "<b><!--Hey, buddy. Want to buy a used parser?--></b>"
soup = BeautifulSoup(markup)
comment = soup.b.string
type(comment)
# <class 'bs4.element.Comment'>
Comment 對象是一個特殊類型的 NavigableString 對象:
comment
# 'Hey, buddy. Want to buy a used parser'
遍歷文檔樹：
1. contents和children：
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a class="sister" id="link1">Elsie</a>,
<a class="sister" id="link2">Lacie</a> and
<a class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc,'lxml')
head_tag = soup.head
# 返回所有子節(jié)點的列表
print(head_tag.contents)
# 返回所有子節(jié)點的迭代器
for child in head_tag.children:
print(child)
2. strings 和 stripped_strings
如果tag中包含多個字符串 [2] ,可以使用 .strings 來循環(huán)獲瘸诿：
for string in soup.strings:
print(repr(string))
# u"The Dormouse's story"
# u'\n\n'
# u"The Dormouse's story"
# u'\n\n'
# u'Once upon a time there were three little sisters; and their names were\n'
# u'Elsie'
# u',\n'
# u'Lacie'
# u' and\n'
# u'Tillie'
# u';\nand they lived at the bottom of a well.'
# u'\n\n'
# u'...'
# u'\n'
輸出的字符串中可能包含了很多空格或空行,使用 .stripped_strings 可以去除多余空白內容：
for string in soup.stripped_strings:
print(repr(string))
# u"The Dormouse's story"
# u"The Dormouse's story"
# u'Once upon a time there were three little sisters; and their names were'
# u'Elsie'
# u','
# u'Lacie'
# u'and'
# u'Tillie'
# u';\nand they lived at the bottom of a well.'
# u'...'
搜索文檔樹：
1. find和find_all方法：
搜索文檔樹，一般用得比較多的就是兩個方法比然，一個是find丈氓，一個是find_all。find方法是找到第一個滿足條件的標簽后就立即返回强法，只返回一個元素万俗。find_all方法是把所有滿足條件的標簽都選到，然后返回回去饮怯。使用這兩個方法闰歪，最常用的用法是出入name以及attr參數找出符合要求的標簽。
soup.find_all("a",attrs={"id":"link2"})
或者是直接傳入屬性的的名字作為關鍵字參數：
soup.find_all("a",id='link2')
2. select方法：
使用以上方法可以方便的找出元素硕淑。但有時候使用css選擇器的方式可以更加的方便课竣。使用css選擇器的語法嘉赎，應該使用select方法。以下列出幾種常用的css選擇器方法：
（1）通過標簽名查找：
print(soup.select('a'))
（2）通過類名查找：
通過類名于樟，則應該在類的前面加一個.公条。比如要查找class=sister的標簽。示例代碼如下：
print(soup.select('.sister'))
（3）通過id查找：
通過id查找迂曲，應該在id的名字前面加一個＃號靶橱。示例代碼如下：
print(soup.select("#link1"))
（4）組合查找：
組合查找即和寫 class 文件時，標簽名與類名路捧、id名進行的組合原理是一樣的关霸，例如查找 p 標簽中，id 等于 link1的內容杰扫，二者需要用空格分開：
print(soup.select("p #link1"))
直接子標簽查找队寇，則使用 > 分隔：
print(soup.select("head > title"))
（5）通過屬性查找：
查找時還可以加入屬性元素，屬性需要用中括號括起來章姓，注意屬性和標簽屬于同一節(jié)點佳遣，所以中間不能加空格，否則會無法匹配到凡伊。示例代碼如下：
print(soup.select('a[))
（6）獲取內容
以上的 select 方法返回的結果都是列表形式零渐，可以遍歷形式輸出，然后用 get_text() 方法來獲取它的內容系忙。
soup = BeautifulSoup(html, 'lxml')
print type(soup.select('title'))
print soup.select('title')[0].get_text()
for title in soup.select('title'):
print title.get_text()
