web
image
- 基于scrapyd
- 提供主機管理功能
- 基于scrapyd管理已安裝服務的主機。
- 進入具體主機管理頁面，會自動加載所有已知爬蟲任務；
- 可直接可以調(diào)度断傲、運行、查看日志智政。
- 提供項目管理功能
- 將已知項目放到project目錄下认罩，可進行爬蟲項目單臺機器、多臺機器部署续捂。
- 提供項目代碼在線編輯功能
- 提供任務管理功能
- 基于項目-爬蟲的管理垦垂，可以構建爬蟲調(diào)度任務。
- 目前支持三種類型調(diào)度牙瓢，date乔外、interval、cron（基本能滿足日常需求）
Installation
注：從 Gerapy 2.x 開始一罩，其定位發(fā)生改變，不再支持 Scrapyd撇簿，轉而支持 Docker聂渊、Kubernetes 的部署，另外開發(fā)還會遷移到 Scrapy 可視化配置和智能解析方面四瘫，敬請期待
pip3 install -U gerapy
Initialization
gerapy init / gerapy init GerapySpace
Database Configuration
cd gerapy
gerapy migrate
New User
gerapy initadmin
會初始化一個超級管理員賬號汉嗽， username： admin password： admin
gerapy createsuperuser
如果不想用admin,也可以根據(jù)提示，創(chuàng)建一個超級用戶
Startup service
gerapy runserver
如果想要在公網(wǎng)訪問服務
gerapy runserver 0.0.0.0:8000
如果想后臺啟動服務可以使用
gerapy runserver 0.0.0.0:8000 > /dev/null 2>&1 &
Docker
Pull gerapy
docker pull germey/gerapy
run docker
docker run -d --name gerapy -v ~/gerapy:/app/gerapy -p 8000:8000 germey/gerapy
docker run -d -v <workspace>:/app/gerapy -p <public_port>:<container_port> germey/gerapy
link
參考：
