前言

這里采用的是scrapy爬蟲格嘁，安裝就不用說了丢烘，這個真的教不了，我推薦安裝anancond3总寒。

爬蟲部分

創(chuàng)建項目

我這里是利用pycharm來寫的，打開pycharm里面的命令行理肺，運行

scrapy satartprocject dangdang 
cd spiders
scrapy genspider book

這樣就可以創(chuàng)建好項目了
[站外圖片上傳中...(image-a7e61e-1641901855588)]
利用這樣可以來調(diào)試摄闸，或者我們可以采用斷點調(diào)試善镰，scrapy很適合斷點調(diào)試的。

scrapy shell "http://search.dangdang.com/?key=python&act=input&page_index=1" 

代碼

book.py

import scrapy
from bs4 import BeautifulSoup
from ..items import DangdangItem

class BookSpider(scrapy.Spider):
    name = 'book'
    allowed_domains = ['dangdang.com']
    # http://search.dangdang.com/?key=python&act=input&page_index=100
    start_urls = ['http://search.dangdang.com/?key=python&act=input&page_index=1']

    def parse(self, response):
        soup = BeautifulSoup(response.text, 'lxml')
        bigimgs = soup.find('ul', class_='bigimg')

        books = bigimgs.find_all('li')

        for book in books:
            item = DangdangItem()
            title = book.find('a', class_='pic')
            target = book.find('p', class_='name')
            price = book.find('span', class_='search_now_price')
            comment_num = book.find('p', class_='search_star_line')
            information = book.find('p', class_="search_book_author")
            span = information.find_all('span')

            item['title'] = title['title']
            item['link'] = target.find('a')['href']
            item['target'] = target.text
            item['price'] = price.text
            item['comment_num'] = comment_num.text
            item['author'] = span[0].text
            item['press'] = span[-1].text
            item['time'] = span[1].text
            yield item
        
        next = response.xpath("http://a[normalize-space(translate(text(),' ', ' '))='下一頁']/@href").extract_first()
        next_url = response.urljoin(next)
        print('下一頁:{}'.format(next_url))
        yield scrapy.Request(url=next_url, callback=self.parse, dont_filter=True)

items.py

import scrapy
class DangdangItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # pass
    title = scrapy.Field()
    target = scrapy.Field()
    link = scrapy.Field()
    price = scrapy.Field()
    comment_num = scrapy.Field()
    author = scrapy.Field()
    press = scrapy.Field()
    time = scrapy.Field()

main.py

from scrapy.cmdline import execute

execute('scrapy crawl book'.split())

其余的設(shè)置由于篇幅的設(shè)置年枕，我就不上了媳禁，都是套路，這個真的沒法教画切，我們運行main.py就可以爬取數(shù)據(jù)了竣稽，由于限制，我們只爬取了6000條數(shù)據(jù)霍弹。

數(shù)據(jù)預(yù)處理

import pandas as pd
import numpy as np 
import json
import matplotlib.pyplot as plt
import seaborn as sns
plt.style.use('ggplot')#使用ggplot樣式

plt.rcParams['font.family'] = ['sans-serif']
plt.rcParams['font.sans-serif'] = ['SimHei']# 替換sans-serif字體為黑體
plt.rcParams['axes.unicode_minus'] = False   # 解決坐標(biāo)軸負數(shù)的負號顯示問題

df = pd.read_json('books.json')
df

數(shù)據(jù)

df = df.replace(r'^\s*$', np.nan, regex=True)
df = df.fillna(0)
df['price_num'] = df['price'].str.extract('([+-]?\d+(\.\d+)?)', expand=True)
df['com_num'] = df['comment_num'].str.extract('([+-]?\d+(\.\d+)?)', expand=True)[0]
df.to_excel('books.xlsx',index=None)

數(shù)據(jù)處理

數(shù)據(jù)分析

df['price_num'] = df['price_num'].astype('float')
df['com_num'] = df['com_num'].astype('int')
df.set_index('title',inplace=True)

df.sort_values(['price_num'],ascending=False)['price_num'].tail(10).plot(kind='bar',figsize=(10,8))
plt.xticks(rotation=45)
plt.ylabel('價格')
plt.xlabel('書籍')
plt.subplots_adjust(bottom=0.4)
plt.savefig('書籍價格排行.jpg',dpi=300)

書籍價格

當(dāng)然要給大家省錢毫别。

fig,ax = plt.subplots(figsize=(6,10))
ax = sns.violinplot(y=df["price_num"])
ax.set_ylabel('價格')
plt.savefig('書籍價格小提琴圖.jpg',dpi=300)

書籍價格小提琴圖

df.sort_values(['com_num'],ascending=False)['com_num'].head(10).plot(kind='bar',figsize=(10, 8))
plt.xticks(rotation=45)
plt.ylabel('評論數(shù)')
plt.xlabel('書籍')
plt.subplots_adjust(bottom=0.4)
plt.savefig('書籍評論排行.jpg',dpi=300)

數(shù)據(jù)評論排行

import seaborn as sns
fig,ax = plt.subplots(figsize=(8,10))
ax = sns.violinplot(y=df[df["com_num"]>0]['com_num'])
ax.set_ylabel('評論數(shù)')
plt.savefig('評論人數(shù)小提琴圖.jpg',dpi=300)

評論人數(shù)小提琴圖

俺也不敢說，也不敢問典格，為什么第一名那么高岛宦，所以說嘛，這個評論數(shù)也只是我們買書的參考而已耍缴。

df.sort_values(by = ['com_num','price_num'],ascending=[False,True]).head()[['com_num','price_num']]

推薦書籍

詞云圖

我們把讀書的介紹變成詞云圖砾肺，怎么說呢，其實python的中文分詞不是很好防嗡，一般的中文分詞都是要錢的变汪，我記得圖悅不要，但是圖悅網(wǎng)站為什么打不開了蚁趁。

from wordcloud import WordCloud
txt = df['target'].to_list()
re_move=['裙盾，',"。",'\n','\xa0']
import matplotlib.pyplot as plt
import jieba
for i in re_move:
    txt=str(txt).replace(i," ") 
    word=jieba.lcut(txt)  #使用精確分詞模式進行分詞后保存為word列表

import collections
text = word
lst = text   # lst存放所謂的100萬個元素
d = collections.Counter(lst)
d

分詞效果

d = dict(d)
data = pd.DataFrame(d,index=[0])
data = data.T
data.sort_values(0,ascending=False,inplace=True)
data.to_excel('關(guān)鍵詞.xlsx')

Excel處理一下他嫡。

data = pd.read_excel('關(guān)鍵詞.xlsx')
text = ','.join([i for i in data['關(guān)鍵詞']])

from os import path
from PIL import Image
import os
import imageio
import wordcloud
from imageio import imread
from wordcloud import WordCloud, STOPWORDS
from os import path
import numpy as np
import matplotlib.pyplot as plt

d = path.dirname(__file__) if "__file__" in locals() else os.getcwd()

text = text
wc = wordcloud.WordCloud(
            width=3000,
            height=3000,
            background_color='white', # 背景顏色白色
            font_path='msyh.ttc', # 指定字體路徑番官，微軟雅黑，可從win自帶的字體庫中找
            scale=1).generate(text)  # 默認為1钢属，越大越清晰

plt.imshow(wc)
plt.axis('off')
plt.show()

wc.to_file('關(guān)鍵詞詞云圖.png')

關(guān)鍵詞詞云圖

總結(jié)

python爬蟲真的不難徘熔，還有就是scrapy真的好用，大家可以多學(xué)習(xí)淆党，這個真的沒法教酷师。還有就是獻給初學(xué)者，想學(xué)習(xí)python宁否，非計算機專業(yè)的學(xué)python窒升，特別是理工科的缀遍，還是很有必要的慕匠，但是要找工作的就免了吧，python真的找不到工作的域醇，還有就是一個現(xiàn)象台谊，python真的有點過火了蓉媳。python全能，但是python也是全不能锅铅。我用這個開源中國寫的酪呻，崩潰了一次，難受盐须，所以保存是好習(xí)慣玩荠。