本文爬取了在淘寶首頁上輸入文胸后彈出的數(shù)據(jù),因為淘寶的商品都是通過JS渲染出來的動態(tài)數(shù)據(jù),所以本文用到了selenium,但是用的過程中發(fā)現(xiàn)了selenium的局限性,會在下文中提到,當然也可能是本人學藝不精,對selenium這個神器了解不足,先說下思路,首先是進入文胸搜索的首頁,然后爬取所有商品鏈接,最后用多進程提取每個商品的信息,再寫進文件
首先導入用到的庫,本人是想到用哪個再導入哪個的
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
import time
import re
from bs4 import BeautifulSoup
import requests
import lxml
from lxml import html
import csv
header={
'User-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36'
}這里是偽裝成chrome瀏覽器
from multiprocessing.dummy import Pool
all_links=[]
all_products =[]
Paste_Image.png
def get_all_links(url):這個函數(shù)是提取淘寶首頁每個商品的鏈接的
all_links = []
driver = webdriver.Chrome()讓瀏覽器模擬人工操作,提取動態(tài)數(shù)據(jù)
driver.get(url)
driver.execute_script('window.scrollBy(0,3000)')
time.sleep(2)
driver.execute_script('window.scrollBy(0,5000)')讓屏幕滾動下面,確保找到所有商品數(shù)據(jù)
time.sleep(2)
data = driver.find_element_by_class_name('m-itemlist')如圖,這里匹配到了所以商品所在的div
time.sleep(2)
we_data = driver.page_source
#print(we_data)
soup = BeautifulSoup(we_data,'lxml')將獲得的頁面用Beautiful解釋,不過selenium也有字體的方法提取,
不過本人習慣用find函數(shù)提取數(shù)據(jù),于是就沒有采取selenium的提取方法
links =soup.find('div',{'class':'m-itemlist'}).findAll('a',href=re.compile('^(//detail)).*(0)$'))
這里用了findAll函數(shù)搭配正則,因為鏈接太復雜,用了xpath實在寫不出
看了看,商品鏈接都是//detail開頭的,這樣就抓出了第一頁所有包含鏈接的a標簽
如圖,定位到所有商品的div里面,然后用正則匹配每個鏈接
Paste_Image.png
#print(links)
for link in links:
if 'href' in link.attrs:
#print(link.attrs['href'])
all_links.append(link.attrs['href'])千萬記得,我們還要將鏈接提取出來
print(len(all_links),all_links)
return all_links返回所以鏈接
def get_data(url):
each_products={}構(gòu)造一個空字典.因為每個商品都是由產(chǎn)地,標題,價格等組成,所以用字典保存商品信息是最理想的
link = 'http:'+url抓取出來的鏈接前面是沒有http:字符的,所以在手動添加,這樣才能打開鏈接
#print(link)
each_products['link']=link為字典添加數(shù)據(jù),下面同理
all_data = requests.get(link,headers=header).content
time.sleep(2)
selector = lxml.html.document_fromstring(all_data)用lxml庫
#print(selector)
title = selector.xpath('//div[@class="tb-detail-hd"]/h1/text()')[0].replace('\t','').replace('\r','').replace('\n','')
清理數(shù)據(jù),
標題很多換行空格符號,如圖
#print(title)
each_products['title']=title為字典添加數(shù)據(jù)
price = selector.xpath('//div[@class="tm-promo-price"]/span/text()')
<>首先這里說明一下,這里調(diào)節(jié)了一個小時左右,
反復確認這個xpath沒有錯,最后都沒有提取出價格,最后心灰意冷,看了看源代碼,發(fā)現(xiàn)每個頁面的價格也是JS動態(tài)數(shù)據(jù)加載進去的.....
心中一萬只草擬馬奔騰而過,只能感嘆現(xiàn)在的實力抓不了,因為如果再在這里用selenium的我電腦會死的,因 為一頁就有50左右的鏈接,我電腦扛不住的,
所以感覺面對這種類型的網(wǎng)頁selenium就很有局限性,也希望有大神教我解決怎么抓取加個這個問題,這個坑只能以后來填了
#print(price)
each_products['price']=price
shop_name= selector.xpath('//div[@class="slogo"]/a/strong/text()')[0]
#print(shop_name)
each_products['shop_name']=shop_name
area = selector.xpath('//li[@class="locus"]/div[@class="right"]/text()')[0].replace('\n','').replace(' ','')
#print(area)
each_products['area']=area
all_products.append(each_products)這樣就構(gòu)造了一個由字典組成的列表,也方便寫進csv格式的文件
打印出來的字典是這樣的
Paste_Image.png
def writedata(all_products):
with open('taobao_bra','w',encoding="UTF-8",newline='')as f:
writer = csv.DictWriter(f,fieldnames=['title','area','shop_name','price','link'])因為是字典組成的列表,且key值一樣,
所以可以用DictWriter方法將文件按一定的key值排序?qū)戇M文件
writer.writeheader()
for i in all_products:
#print(i)
writer.writerow(i)
if __name__ == '__main__':
url = 'https://s.taobao.com/search?q=%E6%96%87%E8%83%B8'淘寶搜索文胸的首頁
#print(url)
time.sleep(1)
links=set(get_all_links(url))獲得所有連接
pool=Pool()
pool.map(get_data,links)這里是提取數(shù)據(jù),這里函數(shù)記得不用寫括號
print(all_products)
writedata(all_products)寫進文件
最后效果圖,每個商品的鏈接是還可以用split簡化的,也挺簡單,這里就不提,希望有大神告訴我怎么提取價格....
Paste_Image.png
