進入麻瓜編程用python學爬蟲第一周第二課的練習題了，自己鼓搗了半天堡纬，無解聂受，最后可恥的看了答案：恍然大悟后發(fā)現(xiàn)自己沒有真正領會標簽后面的描述的真正意思。
我的代碼：
from bs4 import BeautifulSoup
with open('/home/steven/Downloads/Plan-for-combating-master/week1/1_2/1_2answer_of_homework/1_2_homework_required/index.html','r') as wb_data:
Soup = BeautifulSoup(wb_data,'lxml')
images = Soup.select('body > div > div > div.col-md-9 > div > div > div > img')
prices = Soup.select('body > div > div > div.col-md-9 > div > div > div > div.caption > h4.pull-right')
titles = Soup.select('body > div > div > div.col-md-9 > div > div > div > div.caption > h4 > a')
reviews = Soup.select('body > div > div > div.col-md-9 > div > div > div > div.ratings > p.pull-right')
stars = Soup.select('div.col-sm-4 > div > div > p:nth-of-type(2)')
for image,price,title,review,star in zip(images,prices,titles,reviews,stars):
data= {
'image': image.get('src'),
'price': price.get_text(),
'title': title.get_text(),
'review': review.get_text(),
'star': len(star.find_all('span',class_='glyphicon glyphicon-star'))
}
print(data)
這行代碼stars = Soup.select('div.col-sm-4 > div > div > p:nth-of-type(2)') 是這道題的關鍵點之一烤镐。
在檢查模式中選中隨便選中一個星星后copy css selector后得到的路徑類似為：div.col-sm-4:nth-child(1) > div:nth-child(1) > div:nth-child(3) > p:nth-child(2) > span:nth-child(1)蛋济；
為符合程序語法，將nth-child替換為nth-of-type炮叶，并去掉前幾個標簽后面的位置描述得到了：div.col-sm-4 > div > div > p:nth-of-type(2) > span:nth-of-type(1)碗旅；
根據(jù)題目要求，要統(tǒng)計有多少個星星镜悉，應該在span的上一級祟辟，也就是搜索到他的父級p標簽，因此去掉最后一級路徑积瞒，得到：div.col-sm-4 > div > div > p:nth-of-type(2) 川尖；
這里出現(xiàn)關鍵中的關鍵點：究竟要不要保留p標簽后的位置描述信息：nth-of-type(2) ？ 這里實際上是考察了對路徑的位置描述的實際理解茫孔。因為原網(wǎng)頁中div標簽下實際上有兩個p標簽叮喳，其一為<p class="pull-right">65 reviews</p>，它的css selector路徑是div.col-sm-4:nth-child(1) > div:nth-child(1) > div:nth-child(3) > p:nth-child(1)缰贝♀晌颍回到問題，如果去掉了p標簽后的位置描述信息剩晴，那么得到的內(nèi)容實際上包含其他p標簽內(nèi)的信息锣咒，造成對待統(tǒng)計項的干擾侵状。
因此最終要保留p標簽后的位置信息，即使用div.col-sm-4 > div > div > p:nth-of-type(2)作為路徑毅整。
接著來到第二個關鍵點：如何使用過濾過的信息趣兄，統(tǒng)計星星的個數(shù)。
- 實際上我通過閱讀beatuifulsoup在線文檔中的find_all部分悼嫉，已經(jīng)嘗試過使用'star': star.find_all('span',class_='glyphicon glyphicon-star')的功能艇潭，但是我的思維還停留在使用for循環(huán)來累加得出個數(shù)的階段，看到答案中漂亮的用len功能直接統(tǒng)計了find_all功能得到的列表中的元素個數(shù)戏蔑，我決定先記住這個牛的不行不行的功能蹋凝。
看一下程序運行結果:
/usr/bin/python3.5 "/home/steven/Downloads/Plan-for-combating-master/week1/1_2/1_2answer_of_homework/1.2 new.py"
{'title': 'EarPod', 'price': '$24.99', 'review': '65 reviews', 'image': 'img/pic_0000_073a9256d9624c92a05dc680fc28865f.jpg', 'star': 5}
{'title': 'New Pocket', 'price': '$64.99', 'review': '12 reviews', 'image': 'img/pic_0005_828148335519990171_c234285520ff.jpg', 'star': 4}
{'title': 'New sunglasses', 'price': '$74.99', 'review': '31 reviews', 'image': 'img/pic_0006_949802399717918904_339a16e02268.jpg', 'star': 4}
{'title': 'Art Cup', 'price': '$84.99', 'review': '6 reviews', 'image': 'img/pic_0008_975641865984412951_ade7a767cfc8.jpg', 'star': 3}
{'title': 'iphone gamepad', 'price': '$94.99', 'review': '18 reviews', 'image': 'img/pic_0001_160243060888837960_1c3bcd26f5fe.jpg', 'star': 4}
{'title': 'Best Bed', 'price': '$214.5', 'review': '18 reviews', 'image': 'img/pic_0002_556261037783915561_bf22b24b9e4e.jpg', 'star': 4}
{'title': 'iWatch', 'price': '$500', 'review': '35 reviews', 'image': 'img/pic_0011_1032030741401174813_4e43d182fce7.jpg', 'star': 4}
{'title': 'Park tickets', 'price': '$15.5', 'review': '8 reviews', 'image': 'img/pic_0010_1027323963916688311_09cc2d7648d9.jpg', 'star': 4}
Process finished with exit code 0
總結：
- 每一個簡潔的統(tǒng)計背后都是一個大坑......
- 拷貝css selector得到的路徑里，標簽后面的位置描述信息并非沒有用总棵，它描述了父級標簽下特定的一組標簽鳍寂；
- find_all功能得到的是一個列表，使用len功能可以直接統(tǒng)計列表元素的個數(shù)情龄。
