這是學(xué)習(xí)爬蟲的第一周的第2小節(jié)，按要求爬取商品的：圖片地址噪生、商品名稱、價格令境、評分星級杠园，評分量等信息顾瞪。

爬取的網(wǎng)頁如下：

Shop Homepage.png

最終成果：

{'price': '$24.99', 'star': 7, 'title': 'EarPod', 'img': 'img/pic_0000_073a9256d9624c92a05dc680fc28865f.jpg', 'review': '65 reviews'}
{'price': '$64.99', 'star': 4, 'title': 'New Pocket', 'img': 'img/pic_0005_828148335519990171_c234285520ff.jpg', 'review': '12 reviews'}
{'price': '$74.99', 'star': 4, 'title': 'New sunglasses', 'img': 'img/pic_0006_949802399717918904_339a16e02268.jpg', 'review': '31 reviews'}
{'price': '$84.99', 'star': 3, 'title': 'Art Cup', 'img': 'img/pic_0008_975641865984412951_ade7a767cfc8.jpg', 'review': '6 reviews'}
{'price': '$94.99', 'star': 4, 'title': 'iphone gamepad', 'img': 'img/pic_0001_160243060888837960_1c3bcd26f5fe.jpg', 'review': '18 reviews'}
{'price': '$214.5', 'star': 4, 'title': 'Best Bed', 'img': 'img/pic_0002_556261037783915561_bf22b24b9e4e.jpg', 'review': '18 reviews'}
{'price': '$500', 'star': 4, 'title': 'iWatch', 'img': 'img/pic_0011_1032030741401174813_4e43d182fce7.jpg', 'review': '35 reviews'}
{'price': '$15.5', 'star': 4, 'title': 'Park tickets', 'img': 'img/pic_0010_1027323963916688311_09cc2d7648d9.jpg', 'review': '8 reviews'}
#把獲得的數(shù)據(jù)整合到列表舔庶，方便之后有其他操作
[{'price': '$24.99', 'star': 7, 'title': 'EarPod', 'img': 'img/pic_0000_073a9256d9624c92a05dc680fc28865f.jpg', 'review': '65 reviews'}, {'price': '$64.99', 'star': 4, 'title': 'New Pocket', 'img': 'img/pic_0005_828148335519990171_c234285520ff.jpg', 'review': '12 reviews'}, {'price': '$74.99', 'star': 4, 'title': 'New sunglasses', 'img': 'img/pic_0006_949802399717918904_339a16e02268.jpg', 'review': '31 reviews'}, {'price': '$84.99', 'star': 3, 'title': 'Art Cup', 'img': 'img/pic_0008_975641865984412951_ade7a767cfc8.jpg', 'review': '6 reviews'}, {'price': '$94.99', 'star': 4, 'title': 'iphone gamepad', 'img': 'img/pic_0001_160243060888837960_1c3bcd26f5fe.jpg', 'review': '18 reviews'}, {'price': '$214.5', 'star': 4, 'title': 'Best Bed', 'img': 'img/pic_0002_556261037783915561_bf22b24b9e4e.jpg', 'review': '18 reviews'}, {'price': '$500', 'star': 4, 'title': 'iWatch', 'img': 'img/pic_0011_1032030741401174813_4e43d182fce7.jpg', 'review': '35 reviews'}, {'price': '$15.5', 'star': 4, 'title': 'Park tickets', 'img': 'img/pic_0010_1027323963916688311_09cc2d7648d9.jpg', 'review': '8 reviews'}]

代碼如下：

#! /usr/bin/env python
# _*_ coding: utf-8 _*_
from bs4 import BeautifulSoup
info = [ ]
with open('./index.html','r') as wb_data:
    Soup = BeautifulSoup(wb_data,'lxml')
    #print(Soup)
    imgs = Soup.select('body > div > div > div.col-md-9 > div > div > div > img')
    titles = Soup.select('body > div > div > div.col-md-9 > div > div > div > div.caption > h4 > a')
    prices = Soup.select('body > div > div > div.col-md-9 > div > div > div > div.caption > h4.pull-right')
    dess= Soup.select('body > div > div > div.col-md-9 > div > div div > div.caption > p')
    stars = Soup.select('body > div > div > div.col-md-9 > div > div > div > div.ratings')
    reviews = Soup.select('body > div > div > div.col-md-9 > div > div > div > div.ratings > p.pull-right')
    #print(stars)

for img,title,price,des,star,review in zip(imgs,titles,prices,dess,stars,reviews):
        #print(len(star),star)
        data = {
            'img':img.get('src'),
            'title':title.get_text(),
            'price':price.get_text(),
            #取出實心 星星的數(shù)量
            'star':len(star.find_all("span",class_="glyphicon glyphicon-star")),
            'review':review.get_text()
        }
        #打印獲得的每一組數(shù)據(jù)
        print(data)
        #把獲得的數(shù)據(jù)整合到列表，方便之后對數(shù)據(jù)有其他操作
        info.append(data)
print(info)

總結(jié)：

• 學(xué)習(xí)了find_all()方法,獲取了實心星星的數(shù)量;
• 掌握了len()方法的使用陈醒。