這篇主要講網站如何展示,以及后臺配置。所以我會主要講整個網站設計的思路震嫉,不會貼太多代碼森瘪,如果誰想要源碼的話,可以私信我票堵。
后臺管理
首先我們來看后臺扼睬,整個后臺是基于 INSPINIA+前端完成的。
站點管理
主要是關注名稱以及Host悴势,名稱是前臺顯示的名稱窗宇,而我們會根據(jù)Host來判斷當前訪問的Url應該顯示那個站點的數(shù)據(jù)。
抓取任務配置
- 來源網址特纤,是指我們將要抓取的列表URL地址
- 編碼军俊,每個網站的編碼可能都不一樣,所以我們通過配置來動態(tài)設置編碼捧存,有的是UTF-8粪躬,有的是GB2312,要看具體的網站信息昔穴。
- XPath(列表镰官、時間、來源吗货、正文)泳唠,這個在新聞站群開發(fā)日志(一)—— 新聞抓取中已經講解,這里就不復述了宙搬。
簡單的統(tǒng)計
這里做了每個網站文章總量和昨日采集量的計算笨腥,沒有做復雜的曲線圖。