我用Python分析了一波熱賣年貨粪躬，原來大家都在買這些東西？

今年不知道有多少小伙伴留在工作地過年呢祠挫，雖然今年過年不能回老家，但這個年也得過悼沿，也得買年貨等舔，給家人長輩送禮。于是我出于好奇心的想法利用爬蟲獲取某寶數(shù)據(jù)糟趾，并結(jié)合 Python 數(shù)據(jù)分析和第三方可視化平臺來分析一下大家過年都買了哪些東西慌植，分析結(jié)果大屏如下：

上面使用清洗好的數(shù)據(jù)后用finebi三方可視化工具完成的。接下來是從采集到分析的實現(xiàn)過程义郑。對于本文的敘述蝶柿，我會分以下五步為大家講解。

分析思路

爬蟲部分

數(shù)據(jù)清洗

數(shù)據(jù)可視化及分析

結(jié)論與建議

一非驮、分析思路

其實就今天的數(shù)據(jù)來講交汤，我們要做的是探索性分析。首先梳理已有的字段院尔，有標題(提取出品類)蜻展、價格、銷量邀摆、店鋪名纵顾、發(fā)貨地。下面來做一下詳細的維度拆分栋盹，及可視化圖形選擇：

品類 :
①品類銷量的排名前十有哪些（表格或者橫向條形圖）
② 熱門(出現(xiàn)次數(shù)最多)品類展示（詞云）

價格：年貨的價格區(qū)間分布情況（圓環(huán)圖施逾，觀察占比）

銷量、店鋪名：
①店鋪銷量最高的前十名有哪些（條形圖）
②結(jié)合品類做聯(lián)動例获。比如點堅果汉额，對應(yīng)展示銷量排名的店鋪。(聯(lián)動榨汤，利用三方工具）

發(fā)貨地：銷量最高的城市是哪個（地圖）

二蠕搜、爬取數(shù)據(jù)

爬取主要利用selenium模擬點擊瀏覽器，前提是已經(jīng)安裝selenium和瀏覽器驅(qū)動收壕，這里我是用的是谷歌妓灌，找到對應(yīng)的版本號下載對應(yīng)的版本驅(qū)動。一定要對應(yīng)瀏覽器的版本號蜜宪。

pip install selenium

安裝成功后虫埂。運行如下代碼，輸入關(guān)鍵字"年貨"圃验，進行掃碼就可以了掉伏。等著程序慢慢采集。

# coding=utf8
import re
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
import time
import csv

# 搜索商品，獲取商品頁碼
def search_product(key_word):
    # 定位輸入框
    browser.find_element_by_id("q").send_keys(key_word)
    # 定義點擊按鈕斧散，并點擊
    browser.find_element_by_class_name('btn-search').click()
    # 最大化窗口：為了方便我們掃碼
    browser.maximize_window()
    # 等待15秒供常，給足時間我們掃碼
    time.sleep(15)
    # 定位這個“頁碼”，獲取“共100頁這個文本”
    page_info = browser.find_element_by_xpath('//div[@class="total"]').text
    # 需要注意的是：findall()返回的是一個列表颅湘，雖然此時只有一個元素它也是一個列表话侧。
    page = re.findall("(\d+)", page_info)[0]
    return page

# 獲取數(shù)據(jù)
def get_data():
    items = browser.find_elements_by_xpath('//div[@class="items"]/div[@class="item J_MouserOnverReq  "]')
    for item in items:
        # 參數(shù)信息
        pro_desc = item.find_element_by_xpath('.//div[@class="row row-2 title"]/a').text
        # 價格
        pro_price = item.find_element_by_xpath('.//strong').text
        # 銷量
        buy_num = item.find_element_by_xpath('.//div[@class="deal-cnt"]').text
        # 店鋪名稱
        shop = item.find_element_by_xpath('.//div[@class="shop"]/a').text
        # 發(fā)貨地址
        address = item.find_element_by_xpath('.//div[@class="location"]').text
        # print(pro_desc, pro_price, buy_num, shop, address)
        with open('{}.csv'.format(key_word), mode='a', newline='', encoding='utf-8-sig') as f:
            csv_writer = csv.writer(f, delimiter=',')
            csv_writer.writerow([pro_desc, pro_price, buy_num, shop, address])

def main():
    browser.get('https://www.taobao.com/')
    page = search_product(key_word)
    print(page)
    get_data()
    page_num = 1
    while int(page) != page_num:
        print("+" * 100)
        print("正在爬取第{}頁".format(page_num + 1))
        browser.get('https://s.taobao.com/search?q={}&s={}'.format(key_word, page_num * 44))
        browser.implicitly_wait(25)
        get_data()
        page_num += 1
    print("數(shù)據(jù)爬取完畢！")

if __name__ == '__main__':
    key_word = input("請輸入你要搜索的商品：")
    option = Options()
    browser = webdriver.Chrome(chrome_options=option, executable_path=r".\chromedriver.exe")
    main()

采集結(jié)果如下：

數(shù)據(jù)準備完成闯参，中間從標題里提取類別過程一言難盡，很耗時悲立，這里建議大家直接用整理好的數(shù)據(jù)鹿寨。大概思路是對標題進行分詞，命名實體識別薪夕，標記出名詞脚草，找出類別名稱，比如堅果原献、茶葉等馏慨。

三、數(shù)據(jù)清洗

這里的文件清洗幾乎用excel搞定的姑隅，數(shù)據(jù)集小写隶，用Excel效率很高，比如這里做了一個價格區(qū)間讲仰。到現(xiàn)在數(shù)據(jù)清洗已經(jīng)完成（可以用三方工具做可視化了）慕趴，如果大家愛折騰，可以接著往下看用Python如何進行分析鄙陡。

四冕房、數(shù)據(jù)可視化及分析

1、讀取文件

import pandas as pd
import matplotlib as mpl
mpl.rcParams['font.family'] = 'SimHei'
import matplotlib.pyplot as plt
from wordcloud import WordCloud
datas = pd.read_csv('./年貨.csv',encoding='gbk')
datas.head(5)

2趁矾、可視化：繪制詞云圖

li = []
for each in datas['關(guān)鍵詞'].values:
    new_list = str(each).split(',')
    li.extend(new_list)
def func_pd(words):
    count_result = pd.Series(words).value_counts()
    return count_result.to_dict()

frequencies = func_pd(li)
frequencies.pop('其他')

plt.figure(figsize = (10,4),dpi=80)
wordcloud = WordCloud(font_path="STSONG.TTF",background_color='white', width=700,height=350).fit_words(frequencies)
plt.imshow(wordcloud)
plt.axis("off")
plt.show()

圖表說明：我們可以看到詞云圖耙册，熱門（出現(xiàn)次數(shù)最多）品類字體最大，依次是：堅果毫捣、茶葉详拙、糕點等。

3培漏、可視化：繪制圓環(huán)圖

# plt.pie(x,lables,autopct,shadow,startangle,colors,explode)
food_type = datas.groupby('價格區(qū)間').size()
plt.figure(figsize=(8,4),dpi=80)
explodes= [0,0,0,0,0.2,0.1]
size = 0.3
plt.pie(food_type, radius=1,labels=food_type.index, autopct='%.2f%%', colors=['#F4A460','#D2691E','#CDCD00','#FFD700','#EEE5DE'],
       wedgeprops=dict(width=size, edgecolor='w'))
plt.title('年貨價格區(qū)間占比情況',fontsize=18)
plt.legend(food_type.index,bbox_to_anchor=(1.5, 1.0))
plt.show()

圖表說明：圓環(huán)圖和餅圖類似溪厘，代表部分相對于整體的占比情況，可以看到0 ~ 200元的年貨大概33%左右牌柄，100 ~ 200元也是33%畸悬。說明大部分的年貨的價格趨于200以內(nèi)。

4、可視化：繪制條形圖

data = datas.groupby(by='店鋪名')['銷量'].sum().sort_values(ascending=False).head(10)
plt.figure(figsize = (10,4),dpi=80)

plt.ylabel('銷量')
plt.title('年貨銷量前十名店鋪',fontsize=18)
colors = ['#F4A460','#D2691E','#CDCD00','#EEE5DE', '#EEB4B4', '#FFA07A', '#FFD700']
plt.bar(data.index,data.values, color=colors)
plt.xticks(rotation=45)
plt.show()

圖表說明：以上是店鋪按銷量排名情況蹋宦，可以看到第一名是三只松鼠旗艦店披粟，看來過年大家都喜歡吃干貨。

5冷冗、可視化：繪制橫向條形圖

foods = datas.groupby(by='類別')['銷量'].sum().sort_values(ascending=False).head(10)
foods.sort_values(ascending=True,inplace=True)
plt.figure(figsize = (10,4),dpi=80)
plt.xlabel('銷量')
plt.title('年貨推薦購買排行榜',fontsize=18)
colors = ['#F4A460','#D2691E','#CDCD00','#CD96CD','#EEE5DE', '#EEB4B4', '#FFA07A', '#FFD700']
plt.barh(foods.index,foods.values, color=colors,height=1)
plt.show()

圖表說明：根據(jù)類別銷量排名守屉，排名第一是堅果，驗證了上面的假設(shè)蒿辙，大家喜歡吃堅果拇泛。

五、結(jié)論與建議

淘寶熱賣年貨: 堅果思灌，茶葉俺叭，糕點，餅干泰偿，糖果熄守，白酒，核桃耗跛，羊肉裕照，海參，枸杞调塌；

年貨推薦清單（按銷量）：堅果晋南、零食、糕點烟阐、餅干搬俊、茶葉、糖果蜒茄、松子唉擂、紅棗、蛋糕檀葛、鹵味玩祟、瓜子、牛奶屿聋、核桃空扎；

年貨價格參考：66%以上的年貨價格在0~200元之間；

熱門店鋪：三只老鼠润讥、天貓超市转锈、百草味、良品鋪子楚殿。

希望本文的內(nèi)容對大家的學習或者工作能帶來一定的幫助撮慨，每天進步一點點，加油。?

我用Python分析了一波熱賣年貨槐瑞，原來大家都在買這些東西？

我用Python分析了一波熱賣年貨阁苞，原來大家都在買這些東西困檩？