今天開源了一個(gè)百度云網(wǎng)盤爬蟲項(xiàng)目膨俐，地址是https://github.com/callmelanmao/yunshare。
百度云分享爬蟲項(xiàng)目
github上有好幾個(gè)這樣的開源項(xiàng)目，但是都只提供了爬蟲部分房官，這個(gè)項(xiàng)目在爬蟲的基礎(chǔ)上還增加了保存數(shù)據(jù)袖牙，建立elasticsearch索引的模塊肯尺，可以用在實(shí)際生產(chǎn)環(huán)境中，不過web模塊還是需要自己開發(fā)
安裝
安裝node.js和pm2躯枢，node用來運(yùn)行爬蟲程序和索引程序则吟，pm2用來管理node任務(wù)
安裝mysql和mongodb，mysql用來保存爬蟲數(shù)據(jù)锄蹂，mongodb用來保存最終的百度云分享數(shù)據(jù)氓仲，這些數(shù)據(jù)是json格式的，用mongodb保存更方便得糜。
git clone https://github.com/callmelanmao/yunshare
cnpm i
推薦使用cnpm命令安裝npm依賴敬扛，最簡單的安裝方式
$ npm install -g cnpm --registry=https://registry.npm.taobao.org
更多安裝cnpm的命令可以去npm.taobao.org上面找。
初始化
爬蟲數(shù)據(jù)（主要是url列表）都是保存在mysql數(shù)據(jù)庫的掀亩，yunshare使用sequelizejs做orm映射舔哪，源文件在src/models/index.js，默認(rèn)的mysql用戶名和密碼都是root槽棍，數(shù)據(jù)看是yun捉蚤，你需要手動(dòng)創(chuàng)建yun數(shù)據(jù)庫
create database yun default charset utf8
密碼根據(jù)自己需要進(jìn)行修改，完成mysql配置之后就可以運(yùn)行下面的命令
gulp babel
node dist/init.js
注意必須先運(yùn)行gulp babel把es6代碼編譯成es5炼七，然后運(yùn)行初始化腳本導(dǎo)入初始數(shù)據(jù)缆巧，數(shù)據(jù)文件在data/hot.json，里面豌拙，是從頁面 http://yun.baidu.com/pcloud/friend/gethotuserlist?type=1&from=feed&start=0&limit=24&bdstoken=ac95ef31d3979f6ee707ef75cee9f5c5&clienttype=0&web=1 保存下來的陕悬。
啟動(dòng)項(xiàng)目
yunshare使用pm2進(jìn)行nodejs進(jìn)程管理，運(yùn)行pm2 start process.json啟動(dòng)所有的后臺(tái)任務(wù)按傅，檢查任務(wù)是否正常運(yùn)行可以用命令pm2 list捉超，正常運(yùn)行的應(yīng)該有4個(gè)任務(wù)。
啟動(dòng)elasticsearch索引
elasticsearch索引程序也已經(jīng)寫好了唯绍，mapping文件在data/mapping.json拼岳，請確保你已經(jīng)安裝elasticsearch 5.0的版本之后才運(yùn)行索引程序，命令pm2 start dist/elastic.js况芒。
默認(rèn)的elasticsearch地址是http://localhost:9200惜纸，如果你需要修改這個(gè)地址，可以在src/ElasticWorker.js里面修改绝骚，修改任何js源碼之后記得運(yùn)行gulp babel耐版，在重啟pm2任務(wù)，不然修改是不會(huì)生效的压汪。
在完成elasticsearch配置之后粪牲，你也可以在process.json里面添加一項(xiàng)elastic任務(wù)，這樣就不需要單獨(dú)啟動(dòng)索引程序了止剖。
DEMO
下一篇接著介紹整個(gè)項(xiàng)目的整體設(shè)計(jì)思路和開發(fā)過程中遇到的問題腺阳。
