前言
- 蛋肥已基本掌握頁碼分頁類型的數(shù)據(jù)爬取炕舵，這次嘗試對“查看更多”瀑布流分頁類型的數(shù)據(jù)進行爬取。
準備
爬取時間：2021/01/27
系統(tǒng)環(huán)境：Windows 10
所用工具：Jupyter Notebook\Python 3.0
涉及的庫：selenium\time\pandas\matplotlib\jieba\stylecloud
獲取基礎(chǔ)數(shù)據(jù)
蛋肥想法：借助selenium跟畅，實現(xiàn)對“查看更多”的自動點擊咽筋，目標是獲取2020年的文章相關(guān)數(shù)據(jù)。
36氪|職場資訊
https://36kr.com/information/web_zhichang
參考資料
安裝chromedriver
Selenium元素定位的30種方式
Selenium處理js行為的方法
Selenium之定位相同元素的第二個元素
from selenium import webdriver
import time
def getinfo():
driver=webdriver.Chrome(executable_path=r"C:\Users\Archer\AppData\Local\Google\Chrome\Application\chromedriver")
driver.get("https://36kr.com/information/web_zhichang")
#循環(huán)點擊查看更多按鈕徊件，直到日期出現(xiàn)2019
while (driver.find_elements_by_xpath('//span[@class="kr-flow-bar-time"]')[-1].text)>"2019-12-31":
element=driver.find_element_by_xpath('//div[@class="kr-loading-more-button show"]')
driver.execute_script("arguments[0].click();",element)
time.sleep(1)
#獲取文章相關(guān)元素
title_list=driver.find_elements_by_xpath('//a[@class="article-item-title weight-bold"]')
author_list=driver.find_elements_by_xpath('//a[@class="kr-flow-bar-author"]')
date_list=driver.find_elements_by_xpath('//span[@class="kr-flow-bar-time"]')
#獲取元素文本內(nèi)容
target_list=[]
for i in range(len(title_list)):
target=[title_list[i].text,author_list[i].text,date_list[i].text]
target_list.append(target)
return(target_list)
#完成后退出驅(qū)動
driver.quit()
#執(zhí)行函數(shù)
info=getinfo()
數(shù)據(jù)預(yù)處理
蛋肥想法：36氪的數(shù)據(jù)很滿足強迫癥奸攻，沒有空格換行，只需篩選出2020年的數(shù)據(jù)保存虱痕。
import pandas as pd
#篩選2020年的數(shù)據(jù)并保存
df=pd.DataFrame(info,columns=["題目","作者","日期"])
df_final=df[(df["日期"]<="2020-12-31")&(df["日期"]>"2019-12-31")]
df_final.to_excel(r"C:\Users\Archer\Desktop\爬取數(shù)據(jù).xlsx",index=False)
保存到本地的部分數(shù)據(jù)
數(shù)據(jù)可視化
蛋肥想法：此次重點是學習selenium睹耐，所以只簡單做一下數(shù)據(jù)可視化。
import matplotlib.pyplot as plt
#畫圖四件套：顯示部翘、矢量疏橄、中文、負號
%matplotlib inline
%config InlineBackend.figure_format="svg"
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus']=False
繪制作者發(fā)文量TOP10
#作者發(fā)文量TOP10
df_read=df_final.groupby("作者").count().sort_values("題目")[-10:]
#繪制畫布
plt.figure(figsize=(10,8))
#繪制作者-發(fā)文量TOP10
plt.subplot(1,1,1)
plt.title("作者發(fā)文量TOP10",fontsize=15)
x=list(df_read.index)
y=list(df_read["題目"])
plt.barh(x,y)
for a,b in zip(x,y):
plt.text(b,a,b,ha="left",va="center",fontsize=10)
#隱藏xticks略就，節(jié)約空間
plt.xticks([])
#保存圖片
plt.savefig(r"C:\Users\Archer\Desktop\作者發(fā)文量TOP10.png",bbox_inches="tight")
繪制題目熱詞詞云
import jieba
from stylecloud import gen_stylecloud
#去掉中文停用詞
textc=list(df_final["題目"])
file_stop=open(r"C:\Users\Archer\Desktop\stop.txt","r",encoding='utf-8')
textstop=[x.replace("\n","") for x in list(file_stop)]
file_stop.close()
for i in range(len(textc)):
for j in range(len(textstop)):
textc[i]=textc[i].replace(textstop[j],"")
#保存成txt
file=open(r"C:\Users\Archer\Desktop\題目詞云.txt","a+",encoding='utf-8')
for i in range(len(textc)):
s=str(textc[i])
file.write(s)
file.close()
#直接復(fù)制詞云代碼捎迫，icon_name對應(yīng)詞云輪廓，palette對應(yīng)配色
def jieba_cloud(file_name):
with open(file_name,'r',encoding='utf8') as f:
word_list = jieba.cut(f.read())
result = " ".join(word_list)
#制作中文云詞
gen_stylecloud(text=result,palette='tableau.BlueRed_6',icon_name='fas fa-comment',font_path='C:\\Windows\\Fonts\\simhei.ttf',output_name=file_name.split('.')[0] + '.png')
if __name__ == "__main__":
file_name = r"C:\Users\Archer\Desktop\題目詞云.txt"
jieba_cloud(file_name)
總結(jié)
- selenium大法好啊表牢，有很多想象空間窄绒。
- ⊙△⊙？好像可以用selenium來打卡給崔兴。
