爬蟲(chóng)腳本
項(xiàng)目地址:https://github.com/specialtiger/spider
需要:python 2.7
原理:利用urllib2下載頁(yè)面,然后正則匹配內(nèi)容,將抓取的內(nèi)容生成index.html
#novel_spider.py
設(shè)置github網(wǎng)頁(yè)
spider項(xiàng)目設(shè)置github pages近范,小說(shuō)網(wǎng)頁(yè)托管給github
服務(wù)器定時(shí)生成頁(yè)面
需要:服務(wù)器 or 一臺(tái)一直開(kāi)著的機(jī)器
將git上的代碼遷出到服務(wù)器
#crontab設(shè)置
crontab -e
#每小時(shí)的第30分鐘拉取一次頁(yè)面數(shù)據(jù)
10 * * * * ./home/jinxiu/code/spider/gen.sh >> /home/jinxiu/log/spider.log
#設(shè)置crontab開(kāi)機(jī)啟動(dòng)
systemctl status crond.service #查看crontab服務(wù)狀態(tài)
systemctl enable crond.service #開(kāi)機(jī)自啟動(dòng)
#gen.sh
pwd=`dirname $0`
cd $pwd
git pull origin master
./novel_spider.py
git commit -a -m "gen index html"
git push origin
創(chuàng)建app
這里用apicloud創(chuàng)建了app按傅,主要是方便依鸥,不用部署android開(kāi)發(fā)環(huán)境眶熬。
項(xiàng)目地址:https://github.com/specialtiger/NovelSpiderApp/tree/master
apicloud頁(yè)面選擇創(chuàng)建本地項(xiàng)目侵佃,生成的代碼地址用svn工具簽出
#修改config.html, 設(shè)置app自動(dòng)更新
<preference name="autoUpdate" value="true" />
<preference name="smartUpdate" value="true" />
#修改index.html
<script type="text/javascript" src="./script/api.js"></script>
<script type="text/javascript">
apiready = function(){
//輸出Log桑李,Log將顯示在APICloud Studio控制臺(tái)
console.log("Hello APICloud");
api.openFrame({
name: 'main',
url: 'https://specialtiger.github.io/spider/',
// url: 'https://www.baidu.com',
bounces: true,
rect: {
x: 0,
y: 0,
w: 'auto',
h: 'auto'
}
});
};
</script>
</html>
?
由于沒(méi)有下載Android Studio(雖然后來(lái)下載了踱蛀,但墻內(nèi)用這個(gè)有點(diǎn)痛苦), 考察了多個(gè)app生成方法芙扎,最后決定采用apicloud云編譯星岗。這個(gè)平臺(tái)不用在本地搭建環(huán)境就可以創(chuàng)建app!(本來(lái)想用python for android戒洼,發(fā)現(xiàn)這貨又是一個(gè)坑俏橘。)
最重要的是apicloud有一套線上編譯發(fā)布系統(tǒng),提供生成apk下載鏈接圈浇,已安裝應(yīng)用自動(dòng)更新寥掐。用他的sdk可以wifi模擬器調(diào)試,由始至終不需要usb連線調(diào)試磷蜀,不需要手機(jī)召耘。
前提是要學(xué)習(xí)一點(diǎn)html編程基礎(chǔ)知識(shí)。app原理是一個(gè)本地的網(wǎng)頁(yè)框架生成的褐隆。所以看看小說(shuō)足夠了污它。需要快速的創(chuàng)建網(wǎng)頁(yè)類app可以考慮一下哈。