一、項(xiàng)目前置條件
①具備 python 環(huán)境葱淳,并且可以通過 pip 進(jìn)行安裝項(xiàng)目
②具備 Pycram 工具,推薦專業(yè)版
③具備 Mysql 數(shù)據(jù)庫(kù)
④具備 Navicat 數(shù)據(jù)庫(kù)可視化管理工具
⑤推薦使用 Google Chrome抛姑、Firefox 瀏覽器
二赞厕、項(xiàng)目簡(jiǎn)介
項(xiàng)目通過爬取中國(guó)天氣網(wǎng)的各個(gè)城市數(shù)據(jù),然后保存到自己的數(shù)據(jù)庫(kù)定硝,然后
通過python 以及echart 技術(shù)對(duì)這些數(shù)據(jù)進(jìn)行初步分析以及可視化皿桑。項(xiàng)目采用B/S
架構(gòu),通過瀏覽器即可訪問。完善版本實(shí)現(xiàn)了所有可視化與后臺(tái)數(shù)據(jù)進(jìn)行關(guān)聯(lián)诲侮,
并且爬蟲也進(jìn)行了優(yōu)化處理镀虐。
三、項(xiàng)目技術(shù)
python 爬蟲技術(shù)浆西、Flask 后端框架粉私、python顽腾、mysql 數(shù)據(jù)庫(kù)近零、echart 大數(shù)據(jù)可視化、layui 后臺(tái)管理前端框架抄肖。
四久信、項(xiàng)目功能
系統(tǒng)擁有五大功能模塊,應(yīng)付各種設(shè)計(jì)場(chǎng)景漓摩,其中有可視化功能模塊裙士、版本管理
功能模塊、用戶管理功能模塊管毙、實(shí)時(shí)氣象數(shù)據(jù)管理功能模塊腿椎、爬蟲管理功能模
塊。同時(shí)我們針對(duì)管理員和普通用戶有著不同菜單權(quán)限的控制
爬蟲簡(jiǎn)述
自動(dòng)爬蟲:項(xiàng)目啟動(dòng)夭咬,定時(shí)間隔1 小時(shí)爬取一次數(shù)據(jù)(可以自定義修改)啃炸。如下圖。
項(xiàng)目手動(dòng)啟動(dòng)爬蟲:通過后臺(tái)控制臺(tái)卓舵,點(diǎn)擊啟動(dòng)爬蟲南用,后臺(tái)靜默爬取實(shí)時(shí)天氣數(shù)據(jù),智能跳
過已經(jīng)獲取到的數(shù)據(jù)掏湾。
python 文件手動(dòng)啟動(dòng)爬蟲:手動(dòng)運(yùn)行python 文件裹虫,獲取最新天氣數(shù)據(jù)。
五融击、運(yùn)行截圖
flask
flask_apscheduler
pymysql
requests
xlwt
selenium
Navicat軟件將weathers數(shù)據(jù)庫(kù)文件導(dǎo)入
pytcharm打開項(xiàng)目筑公,配置Python環(huán)境(安裝need文件的依賴包)
運(yùn)行app.py文件啟動(dòng)項(xiàng)目
賬號(hào)? admin? 密碼123456
爬取的網(wǎng)站(天氣網(wǎng))天氣網(wǎng)
管理員賬號(hào)admin? 密碼123456