一嘹承、介紹
朋友暑假實(shí)踐需要美團(tuán)外賣(mài)APP評(píng)論這一份數(shù)據(jù)拉庵，一開(kāi)始我想射沟，這不就抓取網(wǎng)頁(yè)源代碼再?gòu)闹刑崛?shù)據(jù)就可以了嗎辉巡，結(jié)果發(fā)現(xiàn)事實(shí)并非如此恨憎，情況和之前崔大講過(guò)的分析Ajax來(lái)抓取今日頭條街拍美圖類(lèi)似，都是通過(guò)異步加載的方式傳輸數(shù)據(jù)郊楣，不同的是這次的是通過(guò)JS傳輸憔恳，其他的基本思路基本一致，希望那些數(shù)據(jù)能幫到她吧
二净蚤、流程
- 目標(biāo)站點(diǎn)分析
用瀏覽器打開(kāi)美團(tuán)外賣(mài)APP評(píng)論钥组，F(xiàn)12
1.首先我們要找到我們想要的評(píng)論數(shù)據(jù)，在第一次“失敗”的直接抓取網(wǎng)頁(yè)源代碼后今瀑，我們發(fā)現(xiàn)它是通過(guò)Ajax加載的程梦，我們點(diǎn)擊JS選項(xiàng)，可以發(fā)現(xiàn)JS項(xiàng)目里面的返回結(jié)果有我們想要的數(shù)據(jù)橘荠，勾選Preserve log屿附，當(dāng)點(diǎn)擊查看更多評(píng)論時(shí)，后臺(tái)（JS里）會(huì)出現(xiàn)新的Ajax請(qǐng)求砾医，發(fā)現(xiàn)還有參數(shù)start和的變化拿撩，其他請(qǐng)求參數(shù)不變衣厘，start的參數(shù)變化是以10遞增的如蚜，的參數(shù)變化可就讓人摸不著頭腦（這個(gè)時(shí)候我們也不要方压恒，因?yàn)榇蠖嗲闆r下沒(méi)有規(guī)律的參數(shù)都是沒(méi)用的）
1.0
2.經(jīng)過(guò)我們對(duì)http://comment.mobilem.#/comment/getComments?callback=jQuery17203361018749253357_1503362214558&baike=%E7%BE%8E%E5%9B%A2%E5%A4%96%E5%8D%96+Android_com.sankuai.meituan.takeoutnew&c=message&a=getmessage&start=0&count=10&_=1503362215647進(jìn)行分析后發(fā)現(xiàn)它的標(biāo)準(zhǔn)式為‘http://comment.mobilem.#/comment/getComments?&baike=%E7%BE%8E%E5%9B%A2%E5%A4%96%E5%8D%96+Android_com.sankuai.meituan.takeoutnew&start=’+str(i*10),i每次增加1，就包含新的十條評(píng)論的內(nèi)容错邦，所以我們通過(guò)改變i的值就可以拿到不同的數(shù)據(jù)
分析url的網(wǎng)頁(yè)源代碼探赫，在源代碼里有我們想要的評(píng)論數(shù)據(jù)，我們可以用正則（在這里正則還是比較好用的）把我們想要的信息弄下來(lái)
開(kāi)啟循環(huán)撬呢，批量抓取
保存數(shù)據(jù)至文本和數(shù)據(jù)庫(kù)
---------------------------17/8/26第一次更新：關(guān)于獲取評(píng)論的編碼問(wèn)題
#之前是這樣處理的：
def parse_one_page(html):
pattern2 = re.compile('"m_type":"0",(.*?),"username"', re.S)
items=re.findall(pattern2,html)
for item in items:
item = "{" + item + "}"
item=json.loads(item)
write_to_file(item)
print(item)
save_to_mongo(item)
#皮皮哥告訴了我他的獨(dú)家正則匹配方法可以匹配出來(lái)伦吠，這樣的確獲得的item沒(méi)有編碼問(wèn)題
def parse_one_page(html):
pattern = '\"content\":\".*?"'
items=re.findall(pattern,html)
for item in items:
item =eval(item.split(':',1)[1])
write_to_file(item)
print(item)
save_to_mongo(item)
#對(duì)一般正則寫(xiě)法獲得的item進(jìn)行的方法，這是從皮皮哥那里得知的魂拦，親測(cè)有效
def parse_one_page(html):
pattern = re.compile('rsion_name".*?"content":(.*?),"username"', re.S)
items=re.findall(pattern,html)
#print(items)
for item in items:
item = item.encode('utf-8').decode('unicode_escape')
write_to_file(item)
print(item)
save_to_mongo(item)
三毛仪、代碼
#config.py
MONGO_URL='localhost'
MONGO_DB='meituan'
MONGO_TABLE='meituan'
import requests
from requests.exceptions import RequestException
import json
import re
from day31.config import *
import pymongo
client=pymongo.MongoClient(MONGO_URL)
db=client[MONGO_DB]
base_url='http://comment.mobilem.#/comment/getComments?callback=jQuery17209056727722758744_1502991196139&baike=%E7%BE%8E%E5%9B%A2%E5%A4%96%E5%8D%96+Android_com.sankuai.meituan.takeoutnew&start='
def the_url(url):
try:
response = requests.get(url)
if response.status_code==200:
response.encoding='utf-8'
return response.text
return None
except RequestException:
print('請(qǐng)求出錯(cuò)')
return None
def the_total():
html=the_url(base_url)
pattern1 = re.compile('"total":(.*?),"messages"', re.S)
Total = re.findall(pattern1, html)
Total=int(':'.join(Total))
#print(type(Total))
show='總計(jì)評(píng)論%d條'%Total
print(show)
write_to_file(show)
return Total
def parse_one_page(html):
pattern2 = re.compile('"m_type":"0",(.*?),"username"', re.S)
items=re.findall(pattern2,html)
for item in items:
item = "{" + item + "}"
item=json.loads(item)
write_to_file(item)
print(item)
save_to_mongo(item)
def save_to_mongo(result):
try:
if db[MONGO_TABLE].insert(result):
print('儲(chǔ)存到MongoDB成功',result)
except Exception:
print('儲(chǔ)存到MongoDB失敗',result)
def write_to_file(content):
with open('meituan_result.text','a',encoding='utf-8') as f:
f.write(json.dumps(content,ensure_ascii=False)+'\n')
f.close()
def main():
Total=the_total()
Total=int(Total/10)+2
for i in range(Total):
url = base_url + str(i*10)
if the_url(url)!=None:
html=the_url(url)
parse_one_page(html)
else:
print('輸完啦')
ps='PS：因?yàn)橛行┰u(píng)論空，所以實(shí)際評(píng)論比抓取的少' #這是我瞎猜的
write_to_file(ps)
print(ps)
if __name__ == '__main__':
main()
四芯勘、最后得到的數(shù)據(jù)視圖和文件
五箱靴、總結(jié)
1.程序報(bào)錯(cuò)很正常，不要一報(bào)錯(cuò)就問(wèn)別人荷愕，先自己思考衡怀、百度
2.在數(shù)據(jù)類(lèi)型處理方面的知識(shí)還要加強(qiáng)
3.感謝皮皮哥、感謝姚文峰前輩安疗！
