小說(shuō)爬蟲(chóng)app

爬蟲(chóng)腳本

項(xiàng)目地址:https://github.com/specialtiger/spider

需要:python 2.7
原理:利用urllib2下載頁(yè)面,然后正則匹配內(nèi)容,將抓取的內(nèi)容生成index.html
#novel_spider.py

設(shè)置github網(wǎng)頁(yè)

spider項(xiàng)目設(shè)置github pages近范,小說(shuō)網(wǎng)頁(yè)托管給github

服務(wù)器定時(shí)生成頁(yè)面

需要:服務(wù)器 or 一臺(tái)一直開(kāi)著的機(jī)器
將git上的代碼遷出到服務(wù)器
#crontab設(shè)置
crontab -e
#每小時(shí)的第30分鐘拉取一次頁(yè)面數(shù)據(jù)
10 * * * * ./home/jinxiu/code/spider/gen.sh >> /home/jinxiu/log/spider.log
#設(shè)置crontab開(kāi)機(jī)啟動(dòng)
systemctl status crond.service #查看crontab服務(wù)狀態(tài)
systemctl enable crond.service #開(kāi)機(jī)自啟動(dòng)

#gen.sh
pwd=`dirname $0`
cd $pwd
git pull origin master
./novel_spider.py
git commit -a -m "gen index html"
git push origin

創(chuàng)建app

這里用apicloud創(chuàng)建了app按傅,主要是方便依鸥,不用部署android開(kāi)發(fā)環(huán)境眶熬。

項(xiàng)目地址:https://github.com/specialtiger/NovelSpiderApp/tree/master

apicloud頁(yè)面選擇創(chuàng)建本地項(xiàng)目侵佃,生成的代碼地址用svn工具簽出
#修改config.html, 設(shè)置app自動(dòng)更新
<preference name="autoUpdate" value="true" />
<preference name="smartUpdate" value="true" />
#修改index.html
<script type="text/javascript" src="./script/api.js"></script>
<script type="text/javascript">
    apiready = function(){
        //輸出Log桑李,Log將顯示在APICloud Studio控制臺(tái)
        console.log("Hello APICloud");
        api.openFrame({
            name: 'main',
            url: 'https://specialtiger.github.io/spider/',
            // url: 'https://www.baidu.com',
            bounces: true,
            rect: {
                x: 0,
                y: 0,
                w: 'auto',
                h: 'auto'
            }
        });
    };
</script>
</html>

?

由于沒(méi)有下載Android Studio(雖然后來(lái)下載了踱蛀,但墻內(nèi)用這個(gè)有點(diǎn)痛苦), 考察了多個(gè)app生成方法芙扎,最后決定采用apicloud云編譯星岗。這個(gè)平臺(tái)不用在本地搭建環(huán)境就可以創(chuàng)建app!(本來(lái)想用python for android戒洼,發(fā)現(xiàn)這貨又是一個(gè)坑俏橘。)
最重要的是apicloud有一套線上編譯發(fā)布系統(tǒng),提供生成apk下載鏈接圈浇,已安裝應(yīng)用自動(dòng)更新寥掐。用他的sdk可以wifi模擬器調(diào)試,由始至終不需要usb連線調(diào)試磷蜀,不需要手機(jī)召耘。
前提是要學(xué)習(xí)一點(diǎn)html編程基礎(chǔ)知識(shí)。app原理是一個(gè)本地的網(wǎng)頁(yè)框架生成的褐隆。所以看看小說(shuō)足夠了污它。需要快速的創(chuàng)建網(wǎng)頁(yè)類app可以考慮一下哈。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末庶弃,一起剝皮案震驚了整個(gè)濱河市衫贬,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌歇攻,老刑警劉巖固惯,帶你破解...
    沈念sama閱讀 218,386評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異缴守,居然都是意外死亡葬毫,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,142評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門(mén)屡穗,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)贴捡,“玉大人,你說(shuō)我怎么就攤上這事村砂±谜” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 164,704評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)源祈。 經(jīng)常有香客問(wèn)我,道長(zhǎng)色迂,這世上最難降的妖魔是什么香缺? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,702評(píng)論 1 294
  • 正文 為了忘掉前任,我火速辦了婚禮歇僧,結(jié)果婚禮上图张,老公的妹妹穿的比我還像新娘。我一直安慰自己诈悍,他們只是感情好祸轮,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,716評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著侥钳,像睡著了一般适袜。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上舷夺,一...
    開(kāi)封第一講書(shū)人閱讀 51,573評(píng)論 1 305
  • 那天苦酱,我揣著相機(jī)與錄音,去河邊找鬼给猾。 笑死疫萤,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的敢伸。 我是一名探鬼主播扯饶,決...
    沈念sama閱讀 40,314評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼池颈!你這毒婦竟也來(lái)了尾序?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,230評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤饶辙,失蹤者是張志新(化名)和其女友劉穎蹲诀,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體弃揽,經(jīng)...
    沈念sama閱讀 45,680評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡脯爪,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,873評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了矿微。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片痕慢。...
    茶點(diǎn)故事閱讀 39,991評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖涌矢,靈堂內(nèi)的尸體忽然破棺而出掖举,到底是詐尸還是另有隱情,我是刑警寧澤娜庇,帶...
    沈念sama閱讀 35,706評(píng)論 5 346
  • 正文 年R本政府宣布塔次,位于F島的核電站方篮,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏励负。R本人自食惡果不足惜藕溅,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,329評(píng)論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望继榆。 院中可真熱鬧巾表,春花似錦、人聲如沸略吨。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,910評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)翠忠。三九已至鞠苟,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間负间,已是汗流浹背偶妖。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,038評(píng)論 1 270
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留政溃,地道東北人趾访。 一個(gè)月前我還...
    沈念sama閱讀 48,158評(píng)論 3 370
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像董虱,于是被迫代替她去往敵國(guó)和親扼鞋。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,941評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容

  • Android 自定義View的各種姿勢(shì)1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,139評(píng)論 25 707
  • 廢話 一直以來(lái)都在國(guó)內(nèi)小公司愤诱,做的應(yīng)用也只是面向國(guó)內(nèi)用戶云头,所以在應(yīng)用中基本上是不做本地化(國(guó)際化)處理的,畢竟不管...
    狍子君閱讀 1,341評(píng)論 0 4
  • 這是澄心365寫(xiě)作計(jì)劃的第8日寫(xiě)作內(nèi)容淫半。 今天下午溃槐,如往常一樣的下午,卻是個(gè)抽風(fēng)的下午科吭。當(dāng)午后的太陽(yáng)斜射進(jìn)小小的...
    澄心2010閱讀 413評(píng)論 1 0
  • 這里遍地腐尸 奈何從無(wú)禿鷲 人皆賜你輕蔑 我獨(dú)鐘情于你 只是稍顯愚鈍 生活贈(zèng)你不幸 理當(dāng)收獲同情 緣何總被嘲諷 不...
    橘子sandglass閱讀 84評(píng)論 0 2