不知不覺中經(jīng)過了1年了唧领，這一年很快藻雌，也給我?guī)砹撕芏噢D(zhuǎn)變，這一年很累斩个，也給我?guī)砀嗟闹R胯杭。確實(shí)是很累呀，回想起每晚都在瞎搞搞受啥，到兩三點(diǎn)精疲力盡的時候才去睡覺做个，不過收獲也是巨大的，特別我的肚子也在不知不覺由腹肌變成了小肚子0 0滚局，這是我很悲傷的一個故事居暖。
好了，不扯了藤肢，這也不是我的風(fēng)格太闺，今天給大家來點(diǎn)干貨，用用 Node.js (以下簡稱 Node)來寫一寫小爬蟲來爬一爬簡書嘁圈。
首先來接受一下 Node
有看我博客的人也知道我是做 IOS 開發(fā)的省骂，但是為什么今天突然來寫 Node 呢？個人感覺吧最住，做什么開發(fā)也好钞澳， 會點(diǎn)后臺也不會吃虧，畢竟網(wǎng)絡(luò)層的東西涨缚，多了解一下總是好的略贮。說不定以后自己要做個應(yīng)用什么的，起碼不會煩惱怎么做后臺吧仗岖。
那么寫爬蟲有什么好處呢逃延，最起碼你寫的應(yīng)用需要的數(shù)據(jù)都能給你找回來吧，顯示個圖片什么的都是要數(shù)據(jù)的吧轧拄。那么用 Node 寫爬蟲的好處有什么呢揽祥，為什么要選擇 Node 呢？1.寫 Node 用的是 JavaScript檩电，而 JavaScript 又是前端交互中經(jīng)常用到的拄丰，所以我們的學(xué)習(xí)開發(fā)成本會降低，一方面練習(xí)了 JavaScript 語法俐末，另一方面又能開發(fā)后臺料按，一舉兩得； 2.Node 的效率就是它的優(yōu)點(diǎn)了卓箫，由于Node的網(wǎng)絡(luò)是異步的载矿，所以基本如同幾百個進(jìn)程并發(fā)一樣強(qiáng)大，內(nèi)存和CPU占用非常小烹卒。
那么說了這么多闷盔，就是想告訴大家 Node 其實(shí)并沒有想象中那么差弯洗。好了，開始我們今天的代碼了
首先我們要下載 Node 這個家伙了逢勾，下載完后只要簡單的幾步安裝步驟就可以了牡整。
那么我們還需要一個編輯器，當(dāng)然你也可以使用系統(tǒng)有的文本編輯器溺拱，但是在這里我個人來說就選擇了 Atom 這款編輯器了逃贝，它一方面是高仿 sublineText ，只要熟悉 sublineText 的小伙伴就能很快上手了迫摔，另一方面是它的界面設(shè)計(jì)真心不錯沐扳，很吸引我，而且下載第三方包的工具是自帶的 apm(atom package manage) 很不錯攒菠。
以下是我們需要爬的 html 結(jié)構(gòu)了
很亂的說有木有迫皱，但是，相信大家辖众，越難的東西才是我們應(yīng)該挑戰(zhàn)的嘛
1.創(chuàng)建 shujian.js 文件
2.引入我們需要的模塊
// 引入 node 的網(wǎng)絡(luò)模塊卓起，這個模塊對 node 來說很重要
var http = require('http');
// 引入 `cheerio` 這個模塊，gitHub 上有介紹凹炸，它就是一個服務(wù)端的 JQuery 庫
var cheerio = require('cheerio');
// 以下這個 url 是我個人主頁的戏阅，請使用的小伙伴換一下自己的主頁喔
var url = 'http://www.reibang.com/users/53fb509bd05c/latest_articles';
3.進(jìn)行一次 get的請求并對返回的 html 字符串進(jìn)行解析
http.get(url, function(res){
// 用于拼接接受到的 html 字符串
var html = '';
// on 是 node 的一個監(jiān)聽事件
res.on('data', function(data) {
html += data;
});
res.on('end', function() {
// 解析 html 字符串的方法，返回文章數(shù)據(jù)的對象
var articlesData = filterChapter(html);
// 輸出這個對象的屬性
printArticleInfo(articlesData);
});
}).on('error', function(){
console.log('個人主頁數(shù)據(jù)失敗');
});
4.解析 html 字符串的方法啤它，返回文章數(shù)據(jù)的對象數(shù)組
function filterChapter(html) {
var $ = cheerio.load(html);
var articleList = $('.article-list').children('li');
// 創(chuàng)建一個空數(shù)組闹击，用來裝載我們的文章對象
var articlesData = [];
articleList.each(function(item) {
// 以下 JQ 的方法闽颇，相信會一點(diǎn) JQ 的人都能看懂啦，哈
var article = $(this);
var title = article.find('div').find('.title').find('a').text();
var span = article.find('div').find('div.list-footer').find('span');
var loveCount = span.text();
// .eq(i) 通過索引篩選匹配的元素。使用.eq(-i)就從最后一個元素向前數(shù)婶熬。
var readCount = span.parent().find('a').eq(0).text();
// 因?yàn)槲覀冎灰?喜歡的數(shù)量粗截，并不想要這兩個字瓤狐，所以用 JS 的方法把它去掉了橱健，以下閱讀二字也是一樣的
var loveNum = parseFloat(loveCount.substring(loveCount.search('喜歡') + '喜歡'.length)) ;
var readNum = parseFloat(readCount.substring(readCount.search('閱讀') + '閱讀'.length));
// 創(chuàng)建文章對象，JS 的對象確實(shí)跟 json 的很像呀
var articleData = {
title : title,
love : loveNum.toString(),
readCount : readNum.toString()
};
articlesData.push(articleData);
});
return articlesData;
}
5.將這個文章數(shù)組內(nèi)的文章對象轉(zhuǎn)換成字符串輸出
function printArticleInfo(articlesData) {
console.log('止于浮水的簡書 ：\n');
articlesData.forEach(function(item) {
var title = item.title;
var loveCount = item.love;
var readCount = item.readCount;
console.log('《' + title + '》' + ' \n ' + '閱讀數(shù)為: ' + readCount + '\n' + '喜歡數(shù)為:' + loveCount + '\n');
});
}
好了台妆，寫了以上代碼翎猛，現(xiàn)在需要跑一跑了，打開終端 輸入 node jianshu.js
以下就是我的輸出了
好了接剩，到這里我們的 簡書小爬蟲就完成了切厘，根據(jù)這些方法，你可以去爬一些更多數(shù)據(jù)的網(wǎng)頁懊缺，甚至可以寫更多更多的爬蟲同時去爬取數(shù)據(jù)疫稿，讓你再創(chuàng)造 app 的時候不再懼怕沒有數(shù)據(jù)這塊了。當(dāng)然，這些數(shù)據(jù)需要一個數(shù)據(jù)庫而克，這就是我以后要告訴小伙伴們的事情了靶壮。
@end
