前言

請先閱讀“中國年輕人正帶領國家走向危機”储矩，這鍋背是不背植影？ 一文，以對“手把手教你完成一個數(shù)據(jù)科學小項目”系列有個全局性的了解颜价。

本系列將全面涉及本項目從爬蟲、數(shù)據(jù)提取與準備饵较、數(shù)據(jù)異常發(fā)現(xiàn)與清洗拍嵌、分析與可視化等細節(jié)，并將代碼統(tǒng)一開源在GitHub：DesertsX/gulius-projects 循诉，感興趣的朋友可以先行 star 哈横辆。

爬蟲

抓包一下，你就知道

本次要爬取的是新浪財經(jīng)《中國年輕人正帶領國家走向危機茄猫？》評論區(qū)的全部評論狈蚤，那么首先點開文章，拉到評論區(qū)划纽，點擊“查看全部XXXX條評論”：

在新的頁面處脆侮，點擊“點擊加載更多”就可以一直加載出評論數(shù)據(jù)：

接著在頁面處鼠標右鍵后選“審查元素”，按照下圖（一般新窗口出現(xiàn)在下方勇劣，這里為了擋后面的廣告靖避，移到了右邊）的順序，點擊 "network" >> 點"All" >> 多次點擊加載評論>>觀察4中重復加載的內容比默，并結合5中“previw”幻捏，確定下前者就是爬蟲入口的 url，后者就是加載出的評論數(shù)據(jù)：

以上是網(wǎng)頁端抓包的一般流程命咐，接下來看看5邊上“headers”里的Request URL:http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page=2&page_size=20&jsvar=loader_1534257224948_43840486

對比下多次加載評論后其他的 Request URL篡九，可以看出變化的參數(shù)僅為page=2和jsvar=loader_1534257224948_43840486。

前者 page 就是加載的頁數(shù)醋奠，用總評論數(shù)除以每次加載的20條榛臼，算下即可伊佃。后者 jsvar 初看起來像是隨機數(shù)，但有些經(jīng)驗的應該能猜到是時間戳沛善，結合參數(shù)里的 loader 猜想是評論開始加載的13位時間戳與結束時間戳的后8位：

其實前一個項目當你點開這首《八月》的歌：9400余條評論的分析與挖掘 里就遇到了13位時間戳的問題航揉，因為以前碰到的都是10位的，所以也注意了下金刁。

import time
commentTime = 1534257224948 # 13 位迷捧，一般是 10 位
print(commentTime)
print(int(time.time()))
print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(commentTime/1000)))

將參數(shù)里的數(shù)字轉換成正常的時間格式后，能看到與當下加載評論的時刻相近胀葱，就可以確認上述判斷無誤漠秋；而后面8位的時間戳采用隨機構造即可。

接下來抵屿，開始爬取所有評論前庆锦，測試下爬蟲能否正常獲取數(shù)據(jù)，打印一兩頁看看：

import requests
import time

# jsvar=loader_1533711754393_51961031
for page in range(0,150):
    start = int(time.time()*1000)
    end_stamp = start + random.randint(100,1000) # 隨機構造時間間隔轧葛，并加到起始時間戳上
    end = str(end_stamp)[-8:]
    url = 'http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page={}&page_size=20&jsvar=loader_{}_51961031'.format(page, start, end)
    r = requests.get(url).text
    print(r)
    break

構造 url搂抒，并用 requests 庫發(fā)送 get 請求，發(fā)現(xiàn)不用帶其它參數(shù)尿扯，就能拿到數(shù)據(jù)求晶，異常輕松。注意：這里的數(shù)據(jù)也就是上文標記為5的“previews”里的內容衷笋。

這里截取掉前34個字符芳杏，拿到干凈的字典樣格式的字符串，方便后續(xù)操作和提取數(shù)據(jù)：
var loader_1533713810791_51961031='{ "result":{status: {msg: "", code: 0}, count: {qreply: 8948, total: 17341, show: 2902}, replydict: {,…},…}'

然后重新發(fā)送請求辟宗，提取并打印部分評論數(shù)據(jù)：

import time
import requests
import json

for page in range(0,150):
    start = int(time.time()*1000)
    end_stamp = start + random.randint(100,1000)
    end = str(end_stamp)[-8:]
    url = 'http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page={}&page_size=20&jsvar=loader_{}_51961031'.format(page, start, end)
    r = requests.get(url).text
    json_dict = json.loads(r[34:])
    cmntlist = json_dict['result']["cmntlist"]
    for num,cmnt in  enumerate(cmntlist):
        print(num, cmnt['nick'],cmnt['area'], cmnt['time'], cmnt['content']) 
    break

羅列下前3條的輸出：

0 用戶957zwswd 2018-08-08 14:21:26 這是什么沙雕 浙江嘉興
1 尾尾 2018-08-08 14:21:25 有啊爵赵，稅制改革了，有學生泊脐、老人的家庭有稅收優(yōu)惠空幻，也就意味著，單身要交更多的稅了容客。 寧夏銀川
2 可樂味的我想和你天下第一好 2018-08-08 14:21:24 那叫探索秕铛，叫探索時的必經(jīng)之路[作揖] 河南洛陽

爬蟲走你~

經(jīng)過上述探索，確認能獲取到數(shù)據(jù)后缩挑，就可以開爬了但两，代碼不難，新手朋友可以試著自己完成：

%% time # 計算耗時
import requests
import time
import random
import json
import pandas as pd

comments = pd.DataFrame(columns = ['page','jsons','cmntlist','replydict'])
start_page = 0 # 修改起始頁數(shù)（初始值為 0）和 csv 文件名调煎，方便爬蟲中斷后镜遣，繼續(xù)爬取己肮，之后再將幾個 csv 數(shù)據(jù)整合到一起即可 # 斷點續(xù)爬

# http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page=3&page_size=20&jsvar=loader_1533711754393_51961031
# jsvar=loader_1533711754393_51961031
try:
    # 手動設置需要爬取的總頁數(shù)士袄，評論數(shù)若有3000條悲关，那每頁20條，就設為150娄柳，當然一般在爬取時也可能有新增的評論寓辱，所以設大些更好。
    for page in range(start_page,200):  # 截止20180808 16點  # 3,037條評論|18,714人參與 # 截止20180810 8點 # 3,723條評論|30,235人參與
        start = int(time.time()*1000)
        end_stamp = start + random.randint(100,1000)
        end = str(end_stamp)[-8:] # # jsvar=loader_1533711754393_51961031
        url = 'http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=cj&newsid=comos-hhkuskt2879316&group=0&compress=0&ie=gbk&oe=gbk&page={}&page_size=20&jsvar=loader_{}_51961031'.format(page, start, end)
        content = requests.get(url).text
        jsons = json.loads(content[34:])  # var loader_1533713810791_51961031= { "result":{status: {msg: "", code: 0}, count: {qreply: 8948, total: 17341, show: 2902}, replydict: {,…},…}
        cmntlist = jsons['result']["cmntlist"]
        replydict = jsons['result']["replydict"]
        # jsons 里有幾乎所有數(shù)據(jù)赤拒，方便后續(xù)爬蟲結束也能本地進行提取 # 不過本次主要對 jsons 里的 cmntlist 和 replydict 感興趣秫筏，所以也先提取了
        comments = comments.append({'page':page+1,'jsons':jsons,'cmntlist':cmntlist,'replydict':replydict},ignore_index=True)
        for num,cmnt in  enumerate(cmntlist):
            print(page*20+num+1, page+1, cmnt['nick'], cmnt['time'], cmnt['content'], cmnt['area'])
        if page%5==0:
            time.sleep(random.randint(0,2)) # 每5頁隨機停0-2秒，作為簡單的防反爬的一步
except:
    print("Error")
comments.to_csv('Sina_Finance_Comments_1_20180810.csv',index=False,encoding='utf-8')

小結

爬取到數(shù)據(jù)后挎挖，就可以“為所欲為”的進行花式分析了（好吧这敬，其實還需要進一步處理下）。大家可以讀取數(shù)據(jù)蕉朵，看看每行每列的格式是什么樣的崔涂。

df = pd.read_csv('Sina_Finance_Comments_1_20180810.csv',encoding='utf-8')
df.head()

這里說明下，爬蟲里是先按照每頁20條評論的字典或列表的格式整體存儲的始衅，那么隨之而來的問題就是冷蚂，如何根據(jù)這些列來提取出每一條評論的數(shù)據(jù)，并存儲到新的csv里呢汛闸？

可自行嘗試下如何用 pandas 實現(xiàn)哈蝙茶。更多內容將在本系列后續(xù)文章中逐步展開。本系列涉及的從爬蟲诸老、數(shù)據(jù)提取與準備隆夯、數(shù)據(jù)異常發(fā)現(xiàn)與清洗、分析與可視化等的代碼别伏，統(tǒng)一開源在GitHub：DesertsX/gulius-projects 吮廉，感興趣的朋友可以先行 star 哈。