思路可以看之前的文章,我就不多說了珍策。
因為AppStore的頁面版只顯示3天評論托启,所以,這次介紹的是抓取應(yīng)用版的內(nèi)容攘宙。
我們以抓取AppStore上一款新上的Super Mario Run的評論為例屯耸,寫一個簡單的爬蟲
- 獲取itunes評論
var request=require('request');
var url='http://itunes.apple.com/WebObjects/MZStore.woa/wa/userReviewsRow?cc=us&id=1145275343&displayable-kind=11&startIndex=0&endIndex=100&sort=0&appVersion=all'
var options = {
port: 80,
uri: url,
method: 'GET',
headers: {
'User-Agent': 'iTunes/11.0 (Windows; Microsoft Windows 7 Business Edition Service Pack 1 (Build 7601)) AppleWebKit/536.27.1'
}
};
request(options,(error, response, body)=>{
console.log(body);
})
node 運行后拐迁,控制臺打印如下內(nèi)容:
這個鏈接就是專門獲取評論相關(guān)數(shù)據(jù)的,我們可以整理一下疗绣,看看每一條評論的結(jié)構(gòu)
- 篩選需要的數(shù)據(jù)
知道結(jié)構(gòu)了就很簡單了线召,直接寫一個format方法就可以打印數(shù)據(jù)了
function formatJson(contentsDate){
content=contentsDate.userReviewList;
content.forEach(function(item){
console.log('orginId:'+item.userReviewId);
console.log('username: ' + item.name + ' time:' + item.date);
console.log('star: ' + item.rating);
console.log('title: ' + item.title);
console.log('content: ' + item.body);
console.log('------------------------------------');
})
}
在之前打印body的地方調(diào)用formatJson,傳入轉(zhuǎn)換成json的body
request(options,(error, response, body)=>{
var datas=JSON.parse(body)
formatJson(datas);
})
運行文件,就可以看到打印結(jié)果了:
因為這款游戲沒有在中國區(qū)上多矮,所以要翻墻缓淹,不翻墻可以找一款中國區(qū)商店有的應(yīng)用,將鏈接中的cc換成cn即可塔逃。不明白具體可參照之前抓取思路那篇文章讯壶。