? ? ?最近有一個goood idea,想把電影網(wǎng)站中能用迅雷下載的鏈接用程序給爬下來灰粮,分別對應(yīng):電影名稱 下載鏈接 IMDB或豆瓣的評分,優(yōu)先取IMDB評分忍坷,沒有再取豆瓣評分粘舟,為了提高電影質(zhì)量熔脂,篩選的都是8.0分以上的,低于8.0或者沒有評分的不入庫,傳說IMDB評分8.0以上的都是非常值得看的,9.0以上的稱謂"神片",至于IMDB(Internet Movie Database )的評分我認(rèn)為還是比較公正的,是使用貝葉斯統(tǒng)計的算法加權(quán)算出來的,哈哈柑肴,后續(xù)有時間深入學(xué)習(xí)一下該算法霞揉,當(dāng)然也存在漏網(wǎng)之魚,沒評分的或者服務(wù)器沒反應(yīng)的時候也不乏存在好電影
接下來是程序的過程
1晰骑、先說要做的事情适秩,上面也有簡介過,爬取該界面的>8.0評分的電影......http://www.dytt8.net/html/gndy/dyzz/list_23_1.html
2硕舆、先設(shè)計數(shù)據(jù)庫(moveId moveName moveLink moveScore),其中moveId是自增秽荞,如圖所示:
3、創(chuàng)建一個Maven項目抚官,并配置pom.xml文件扬跋,因為該框架你一大牛寫的。凌节。所有要配置該引用項目钦听,如圖所示:
4、moveLink文件是爬蟲邏輯
moveInfo是實(shí)體類對應(yīng)的表結(jié)構(gòu)
moveUtil是對數(shù)據(jù)庫的一些操作刊咳,其中數(shù)據(jù)庫配置信息存放在源程序的這個位置
其中java操作數(shù)據(jù)庫彪见,需要一個jar包
程序源碼:https://github.com/zhangzichao11/Android_Move