這個爬蟲寫得好累土榴，就簡單講一下思路吧。雪球網(wǎng)股票的評論內(nèi)容是不能直接訪問的玷禽，必須要攜帶在第一次訪問時雪球網(wǎng)寫進本地的cookie（其實你隨便打開一次官網(wǎng)就是屬于第一次訪問了矢赁，那時候 不需要cookie）撩银，先放上github地址：
https://github.com/xiaobeibei26/xueiqiu_spider
爬取思路是這樣的额获，先挖取所有股票的代碼恭应，放進數(shù)據(jù)庫昼榛，然后根據(jù)股票代碼爬取每一只股票的評論胆屿，多了，一定要加入代理池环鲤，我這里用的上上一篇文章寫的代理池楔绞，我們給每個股票代碼賦予一個狀態(tài)值唇兑，一開始是outstanding蔫耽，也就是1.如圖
每個進程需要知道那些股票評論爬取過了匙铡、哪些股票需要爬取黑毅！我們來給每個URL設置三種狀態(tài)：
outstanding:等待爬取的股票
complete:爬取完成的股票
processing:正在進行的股票矿瘦，也可能是失敗的爬取股票
嗯缚去！當一個所有初始的股票狀態(tài)都為outstanding易结；當開始爬取的時候狀態(tài)改為：processing搞动；爬取完成狀態(tài)改為：complete滋尉；失敗的股票重置狀態(tài)為：outstanding。為了能夠處理股票進程被終止的情況高诺、我們設置一個計時參數(shù)筏餐，當超過這個值時牡拇；我們則將狀態(tài)重置為outstanding惠呼。
股票代碼的爬取很簡單剔蹋，直接訪問主頁就好了
代碼上比較簡單泣崩，如圖是其中一段
爬取之后我們看看數(shù)據(jù)庫
這里5000來只股票
接下來看看股票評論的ajax請求
隨便點開一只股票第焰，然后點擊里面的討論就會觸發(fā)該請求妨马，評論時個json數(shù)據(jù)豹悬，解析之后直接提取就好了液荸，這里簡單說說URL里面的參數(shù)
如圖
這里count很好理解娇钱，是每頁的評論數(shù)，訪問的時候要加上适刀，hl：0笔喉、source：user和comment：0這三個參數(shù)是一直不變的常挚，加上就好奄毡，symbol是股票代碼吼过，訪問時候必須要加上盗忱，page是評論的頁數(shù)售淡，重點需要提一提的是里面最下面那個參數(shù)揖闸，-：1493022641602汤纸，一開始看到這個我是有點懵逼的楞慈，在源代碼里面各種找囊蓝，確保不是在里面提取的之后令蛉，我看著這東西也是越來越眼熟珠叔，然后在Python里面試了一試祷安，果不其然汇鞭，如圖
我們再處理一下
相差的就是最后的微秒霍骄，我心中有底之后就去翻源代碼里面的JS代碼腕巡，果不其然绘沉，就是利用JS生成的當前訪問時間车伞，雖然我試過不加時間也能訪問，但為了保險喻喳，我還是加上了另玖，不精要大規(guī)模訪問，下面是主程序，代碼很長谦去，你們不用看慷丽，我自己當筆記
import requests
from spider.UA import agents
import random
import time
import json
from spider.stock_queue import StockMongo
from lxml import html
import multiprocessing
from spider.thread_pool import ThreadPool#自己寫的線程池
headers={
'User-Agent':random.choice(agents)
}
xueqiu_url='https://xueqiu.com/'#雪球官網(wǎng)
comment_url= 'https://xueqiu.com/statuses/search.json?count=10&comment=0&symbol={symbol}&hl=0&source=user&sort=time&page={page}&_={real_time}'
def get_comment():#默認是不使用dialing
Stock_database = StockMongo('xueqiu', 'stocks_list')#鏈接第一步抓取的股票代碼數(shù)據(jù)表，根據(jù)股票代碼抓取評論
# symbol = Stock_database.pop() # 獲取股票代碼
comment_database=StockMongo('xueqiu','comment_list')#評論要放進的數(shù)據(jù)庫
a = time.time()
real_time = str(a).replace('.', '')[0:-1]#獲取當前時間
def thread_get_comment(num):
while True:
session = requests.session()
proxy = requests.get('http://localhost:5000/get').text # 獲取本地代理池代理
if proxy:
proxies = {'http': 'http://{}'.format(proxy),
'https': 'http://{}'.format(proxy), }
session.proxies = proxies # 攜帶代理
try:
url = comment_url.format(symbol=symbol, page=str(num[0]), real_time=real_time) # 股票列表URL
# print(url)
'''利用線程池傳進去的num是個元組鳄哭，必須提取出來'''
First_request = session.get(url='https://xueqiu.com/', headers=headers, timeout=10)
comments_list = session.get(url, headers=headers, timeout=10)
if Stock_database.check_status(symbol):#如果已經(jīng)爬取完成要糊，直接結(jié)束循環(huán)
break
if str(comments_list.status_code) == str(200):#是否正常返回數(shù)據(jù)
stocks_comment = json.loads(comments_list.text)['list']
page = json.loads(comments_list.text)['maxPage']#獲取最大頁數(shù)
# print(page,num[0])
for stork in stocks_comment:
try:
text = stork.get('text').strip()
selector = html.fromstring(text) # 里面的標簽各種各樣，各種嵌套妆丘，用正則調(diào)了很久，投降了，改用xpath
comment = selector.xpath('string(.)')
user_id = stork.get('user_id') # 評論者ID
user = stork.get('user') # 評論者信息
title = stork.get('title') # 標題
stock_code = symbol # 股票代碼
comment_id = stork.get('id') # 每條評論都要唯一的ID
comment_database.push_stock_comment(comment_id=comment_id,symbol=stock_code,comment=comment, user_id=user_id,
user=user,title=title)
print('正在爬取第',num[0],'該股票一共',page)
if str(page) == str(num[0]):#抓取到了最后一頁
print(symbol,'該股票抓取成功')
Stock_database.complete(symbol=symbol)
break
break
except:
pass
break
except Exception as e:
# print('獲取失敗，準備重新獲取') # 失敗后再來
time.sleep(10)
continue
else:
time.sleep(15) # 等待重新獲取代理
continue
def comment_crawler():
pool=ThreadPool(6)
for num in range(1,101):#遍歷一到100頁
pool.run(func=thread_get_comment,args=(num,))
while Stock_database:
try:
symbol = Stock_database.pop()
comment_crawler()
time.sleep(2)
except KeyError:#隊列沒有數(shù)據(jù)了
print('隊列沒有數(shù)據(jù)')
break
def process_crawler():
process=[]
num_cups=multiprocessing.cpu_count()
print('將會啟動的進程數(shù)為',num_cups)
for i in range(int(num_cups)-2):
p=multiprocessing.Process(target=get_comment)#創(chuàng)建進程
p.start()
process.append(p)
for p in process:
p.join()
if __name__ == '__main__':
process_crawler()
晚上開電腦跑了一個通宵蜡励，還以為自己的高性能電腦很吊，結(jié)果也只是跑了30萬條數(shù)據(jù)，上兩張結(jié)果圖
