相比昨天晋被，對(duì)BeautifulSoup的使用熟練了點(diǎn)兑徘，但各方法的理解還是不夠，會(huì)對(duì)list進(jìn)行g(shù)et_text()方法墨微，在這里繞了不少圈子道媚，另外扁掸，爬取網(wǎng)頁(yè)的時(shí)候還是要加深對(duì)HTML和CSS的理解才能更好的找到篩選出所需信息的條件翘县，不管怎么，順利完成練手項(xiàng)目谴分。

結(jié)果展示

Paste_Image.png

我的代碼

from bs4 import BeautifulSoup
import requests
import time

#獲取詳情頁(yè)鏈接
def get_url_xz(n=1):  #通過(guò)參數(shù)n來(lái)控制爬取的頁(yè)數(shù)锈麸，默認(rèn)為一頁(yè)
    urls_list = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(str(i)) for i in range(1, n+1)]  # 列表頁(yè)鏈接列表
    urls_attr = []  # 詳情頁(yè)鏈接列表
    #通過(guò)for循環(huán)，把列表頁(yè)的詳情頁(yè)鏈接加入urls_attr
    for url_single in urls_list:
        wb_data = requests.get(url_single)
        time.sleep(2)
        soup = BeautifulSoup(wb_data.text, 'lxml')
        urls = soup.select('div#page_list > ul > li > a[target="_blank"]')
        for url in urls:
            urls_attr.append(url.get('href'))
    return urls_attr

#爬取詳情頁(yè)數(shù)據(jù)
def get_attractions_xz(url,data=None):
    for each_url in url:
        wb_data = requests.get(each_url)  # 獲取頁(yè)面內(nèi)容
        time.sleep(2)
        soup = BeautifulSoup(wb_data.text, 'lxml')
        # print(soup)
        # 獲取目標(biāo)信息
        title = soup.select('div.pho_info > h4 > em')              # 標(biāo)題
        address = soup.select('div.pho_info > p > span')           # 地址
        price = soup.select('div.day_l > span')                    # 價(jià)格
        pic_fd = soup.select('div.member_pic > a > img')           # 房東照片
        name = soup.select('div.w_240 > h6 > a')                   # 房東姓名
        sex = soup.select('div.w_240 > h6')                        # 房東性別
        img = soup.select('div.pho_show_big > div > img')          # 第一張圖片鏈接
        # print(titls,address,price,pic_fangdong,name,sex,img)

        # 據(jù)分析牺蹄，若房東為男性忘伞，則用的CSS為'member_boy_ico'，否則為女性沙兰，通過(guò)條件判斷為sex賦值
        if len(sex[0].find_all("span", class_="member_boy_ico")):
            sex = 'Male'  # 男性
        else:
            sex = 'Female'  # 女性
        data = {
            'title': title[0].get_text(),
            'addres': address[0].get_text().split('\n')[0],  # 地址中包含換行符及一行空格氓奈，通過(guò)分割，只保留地址部分
            'price': '￥' + price[0].get_text(),
            'pic_fd': pic_fd[0].get('src'),
            'name': name[0].get("title"),  # 房東姓名在title屬性中鼎天，用get方法獲取
            'sex': sex,
            'img': img[0].get('src')
        }
        print(data)

url=get_url_xz(n=3) #獲取3頁(yè)的所有詳情頁(yè)鏈接,頁(yè)數(shù)可自由選擇
get_attractions_xz(url)

總結(jié)

1.在寫代碼的過(guò)程中舀奶，網(wǎng)頁(yè)的樣式發(fā)生了變化，房東信息那部分發(fā)生了變化斋射，重寫這部分代碼育勺；
2.運(yùn)行效率有點(diǎn)慢但荤，可能是sleep的原因，后面再研究一下涧至；
3.要加深對(duì)網(wǎng)頁(yè)的了解腹躁，前面分析時(shí)間耗時(shí)有點(diǎn)久。