簡書遵循“簡單書寫”的原則岭粤，限制了我的一些想法，比如我想添加個背景音樂终惑，又或者想添加個表情绍在，或做個分類查詢等，此外我有一個放雜物的網(wǎng)站空間，放著浪費(fèi)了偿渡，所以就打算建設(shè)自己的空間臼寄。
當(dāng)然不是因為那個“飽醉豚”事件，在它越演越烈之前溜宽，我就看到那篇爭議的文章吉拳，順便看了他幾篇文章，我一笑置之适揉，與一個嘩眾取寵留攒、低智商低情商、毫無論據(jù)嫉嘀，甚至毫無文筆的生物有啥好計較的炼邀？只是沒想到關(guān)注的幾個人，鑒于簡書及簡書CEO的態(tài)度都紛紛清空簡書剪侮，嘆哉拭宁！不過也可以理解一下，一個簽約作者寫這樣的文章居然還能得到簡叔的支持：
· 飽醉豚：《我不罵程序員低素質(zhì)瓣俯，我只是去證明他們是低素質(zhì)群體》
· 飽醉豚：《為什么有這么蠢的程序員杰标？難道程序員真是低智商福利職業(yè)？》
· 飽醉豚：《為什么簡書的程序員用戶里有那么多mother fucker和戀尸癖彩匕？》
· 飽醉豚：《為什么中國的程序員巨嬰這么多》
· 飽醉豚：《為什么程序員是出軌率最高的群體》
· 飽醉豚：《笨到學(xué)不懂中學(xué)物理怎么辦腔剂？邏輯極差怎么辦？當(dāng)程序員去驼仪！》
· 簡叔——簡書CEO：《飽醉豚對簡書的意義》
分析下簡書掸犬，還挺好爬取的，寫個簡單的爬蟲還是有挺多開發(fā)語言可選擇谅畅。本來我用C#也寫過一個簡單的爬蟲框架登渣，只是用Mac后.Net的相關(guān)代碼基本全放在家里的舊電腦里了，便打算用比較順手的Go來寫毡泻，但是又有點嫌寫正則表達(dá)式麻煩胜茧，便搜索了下有沒有現(xiàn)成的拿來用，結(jié)果還真搜到志同道合的人??：node.js爬蟲-爬取簡書特定作者的所有文章
只是它沒有實現(xiàn)爬取【文集】和【專題】的功能仇味。里面主要用到了node-crawler呻顽，也開放了爬取的源碼，因為node-crawler我沒用過丹墨，它還集成了Jquery來方便提取節(jié)點廊遍，我反倒想自己寫一下，于是重新寫了一份贩挣，包含爬取【文集】和【專題】喉前，同時修改了存儲方式為本地文件和遠(yuǎn)程服務(wù)兩種方式没酣。
安裝node-crawler
直接按github上的文檔使用npm install crawler安裝，會不行的卵迂，提示以下警告：
意思是沒有package.json裕便，所以我們先創(chuàng)建此文件，首先先創(chuàng)建一個目錄(mkdir命令為建立新目錄make directory的意思见咒，取縮寫而成)：
mkdir jianshu-crawler
然后進(jìn)入目錄并用命令行生成一個package.json文件偿衰，其中遇到交互詢問圖方便的話就一路按回車就行了：
cd jianshu-crawler && npm init
接著才是：
npm install crawler
最后新建一個index.js文件，寫入github示例改览，再執(zhí)行node index.js即可看到打印結(jié)果：
var Crawler = require("crawler");
var c = new Crawler({
maxConnections : 10,
// This will be called for each crawled page
callback : function (error, res, done) {
if(error){
console.log(error);
}else{
var $ = res.$;
// $ is Cheerio by default
console.log($("title").text());
}
done();
}
});
c.queue('http://www.163.com');
node index.js
爬蟲原理及分析
所謂爬蟲下翎，就是把網(wǎng)頁文檔內(nèi)容下載下來分析提取有用信息，技術(shù)難點在于如何繞過網(wǎng)站的反爬策略宝当，方法有如偽裝終端视事、代理IP等等，然后是如何有效提取信息庆揩。
關(guān)于頁面基本信息的提取思路上面鏈接文章已經(jīng)給出郑口，我就不重復(fù)了，主要說下怎么爬取【文集】和【專題】盾鳞，這兩個內(nèi)容不懂技巧的話，比頁面基本信息爬取難度大一些瞻离，就是下面的內(nèi)容：
為啥說有難度呢腾仅？單純在Chrome上看是正常的：
然而當(dāng)我們下載該頁面文檔內(nèi)容時，實際是這樣的：“專題和文集”文字下面的div標(biāo)簽之間為空套利，因為【文集】和【專題】是通過js異步加載的推励，在獲取到頁面文檔時它們還沒有加載出來。
那好吧肉迫，想方設(shè)法做個延時加載再爬取验辞，結(jié)果又發(fā)現(xiàn)這個問題：部分文集并不會顯示出來，只有點擊【展開更多】時才會顯示喊衫，這就涉及到網(wǎng)頁交互操作的復(fù)雜處理跌造。
那行，既然我知道你數(shù)據(jù)是通過js異步加載來的族购，那我們嘗試讀取js返回來的數(shù)據(jù)壳贪，找到這個網(wǎng)絡(luò)請求：
然而當(dāng)我們直接在瀏覽器打開請求地址：http://www.reibang.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe，直接返回了一個406錯誤：
可以百度下406錯誤是：HTTP 406錯誤是HTTP協(xié)議狀態(tài)碼的一種,表示無法使用請求的內(nèi)容特性來響應(yīng)請求的網(wǎng)頁寝杖。一般是指客戶端瀏覽器不接受所請求頁面的 MIME 類型违施。
那嘗試設(shè)置下請求頭：Content-Type:application/json; charset=utf-8，居然在node-crawler的官方文檔找不到設(shè)置headers的內(nèi)容瑟幕，只好先用Go來寫測試代碼：
package main
import (
"fmt"
"net/http"
"io/ioutil"
)
func httpRequest(url string) (content string, statusCode int) {
req, _ := http.NewRequest("GET", url, nil)
req.Header.Set("Accept", "application/json")
client := http.DefaultClient
resp, err := client.Do(req)
if err != nil {
fmt.Printf("Get請求%s返回錯誤:%s", url, err)
}
if resp.StatusCode == 200 {
body := resp.Body
defer body.Close()
bodyByte, _ := ioutil.ReadAll(body)
content = string(bodyByte)
fmt.Println(content)
}
statusCode = resp.StatusCode
fmt.Println(resp.StatusCode)
return
}
func main() {
httpRequest("http://www.reibang.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe");
}
運(yùn)行打印出來的數(shù)據(jù)是正確的：
方案一：
在node-crawler里調(diào)用go命令行運(yùn)行磕蒲，把命令行輸出內(nèi)容保存：
var Crawler = require("crawler");
// var mysql = require('./db-helper');
var fs = require('fs');
var exec = require('child_process').exec;
/**
* 執(zhí)行命令行
* @param {* } cmdStr 命令行
* @param {* } callback 回調(diào)
*/
function execCmd(cmdStr, callback){
//創(chuàng)建一個實例
exec(cmdStr, function(err,stdout,stderr){
callback(err,stdout,stderr);
});
}
execCmd('go run crawler.go', function(err,stdout,stderr){
//stdout為命令行打印輸出的內(nèi)容
var _savePath = '../src/assets/data';
if (!fs.existsSync(_savePath)) {
fs.mkdirSync(_savePath);
}
// 寫入數(shù)據(jù), 文件不存在會自動創(chuàng)建
fs.writeFile(_savePath + '/other.json', stdout, function (err) {
if (err) throw err;
console.log('寫入文集及專題信息完成');
});
});
這樣已經(jīng)是大功告成了Ａ袅省！辣往！
方案二：
不過強(qiáng)迫癥還是不想捆綁一個Go兔院，于是直接看node-crawler源碼，然后分析出可以這樣設(shè)置headers并調(diào)用：
/**
* 支持添加頭部請求
* @param {*} headers 請求頭
* @param {*} url 請求路徑
* @param {*} callback 回調(diào)
*/
function crawlerRuest(headers, url, callback){
var c = new Crawler({
jQuery: false,
maxConnections : 10,
headers: headers,
// This will be called for each crawled page
callback : function (error, res, done) {
if(error){
console.log(error);
}else{
//var $ = res.$;
callback(res.body);
}
done();
}
});
c.queue(url);
}
crawlerRuest({"Accept": "application/json"},
'http://www.reibang.com/users/4ca93d60a9fe/collections_and_notebooks?slug=4ca93d60a9fe',
function(stdout){
if (!fs.existsSync(_baseSavePath)) {
fs.mkdirSync(_baseSavePath);
}
// 寫入數(shù)據(jù), 文件不存在會自動創(chuàng)建
fs.writeFile(_baseSavePath + '/other.json', stdout, function (err) {
if (err) throw err;
console.log('寫入文集及專題信息完成');
});
});
至此數(shù)據(jù)爬取告一段落排吴。
