之前的作業(yè)已經(jīng)實現(xiàn)了BeatifulSoup爬取糗事百科菠赚，這次用XPath實現(xiàn)驳阎，順便做一次對比抗愁。

XPath表達式

• 常用Xpath表達式

  
  
  XPath常用表達式

• Xpath表達式通配符

  
  
  Xpath表達式通配符

• XPath表達式實例

  
  
  Xpath表達式實例

• XPath的text()與string()

string()

string()能獲取當前捕獲標簽及其子代標簽的文本信息。

text()

text()只能獲取當前捕獲標簽的文本信息呵晚。

實例

實例html代碼顯示的內(nèi)容

一般情況下XPath的獲取直接用Chrome的開發(fā)者工具得到蜘腌，選中要爬取的信息，右鍵 --> copy --> copy xpath饵隙，然后再根據(jù)情況適當修改撮珠。Chrome有一個第三方插件SelectorGadget可以很容易得到XPath表達式

XPath爬取糗事百科參考代碼

# 解析網(wǎng)頁內(nèi)容，提取段子信息
def parse_html(html):
    selector = etree.HTML(html)
    # //*[@id="qiushi_tag_119074910"]
    # //*[@id="content-left"]
    jokes = []
    for joke in selector.xpath('//div[@class="article block untagged mb15"]'):
        joke_info = []
        author_name = joke.xpath('div/*/h2/text()')[0]        
        author_sex = joke.xpath('div/div/@class')[0].split()[-1][:-4] if joke.xpath('div/div/@class') else '不知道'        
        joke_content = joke.xpath('a/div[@class="content"]/span/text()')[0]
        vote_count = joke.xpath('div[@class="stats"]/span[@class="stats-vote"]/i/text()')[0]
        comment_count = joke.xpath('div[@class="stats"]/span[@class="stats-comments"]/*/i/text()')[0] if joke.xpath('div[@class="stats"]/span[@class="stats-comments"]/*/i/text()') else '0'
        joke_info.append(author_name)
        joke_info.append(author_sex)
        joke_info.append(joke_content)
        joke_info.append(vote_count)
        joke_info.append(comment_count)
        jokes.append(joke)
    return jokes

Beautiful爬取糗事百科參考代碼

# 解析網(wǎng)頁,獲取需要的信息
def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    for i in soup.find_all(name='div', class_='mb15'):
        print({
            'author_name': i.find(name='h2').text,
            # 根據(jù)div節(jié)點的class屬性來判斷性別,匿名用戶不知道性別
            # 節(jié)點信息<div class="articleGender manIcon">21</div>
            'author_sex': i.find(
                # get('class')獲取到兩個屬性,一個是articleGender,另一個是manIcon(womanIcon)
                # get('class')[-1]取到manIcon(womanIcon)字符串后用切片取得man(woman)
                # get('class')[-1][:-4]表示取字符串第一個字符到倒數(shù)第5個字符,字符串最后一個字符串索引表示為-1
                name='div', class_='articleGender').get('class')[-1][:-4] if i.find(
                    name='div', class_='articleGender') is not None else '不知道',
            # 匿名用戶不知道年齡
            'author_age': i.find(
                name='div', class_='articleGender').text if i.find(
                    name='div', class_='articleGender') is not None else '0',
            'joke_content': i.find(name='div', class_='content').text.strip(),
            'laugher_count': i.find(name='div', class_='stats').text.split()[0],
            'comment_count': i.find(name='div', class_='stats').text.split()[-2],
            })   

關(guān)于class金矛，XPath與BeatifulSoup的不同點

• XPath獲取class屬性或根據(jù)class屬性查詢芯急，參考代碼如下

articles = selector.xpath('//div[@class="article block untagged mb15"]')

多個屬性的class直接用空格隔開，非.號驶俊。

• 而使用BeatifulSoup根據(jù)class屬性查詢志于，需改為class_（class是Python關(guān)鍵字），參考代碼如下：

soup.find_all(name='div', class_='mb15')

使用BeatifulSoup的xpath()方法需要用extract()废睦、extract_first()才能提取到信息伺绽。