1、安裝使用到的相關(guān)庫
scrapyd
pip3 install scrapyd
scrapyd-client
pip3 install scrapyd-client
- 安裝完成后可以使用如下命令來檢查是否安裝成功
scrapyd-deploy -h
2、修改scrapy項(xiàng)目目錄下的scrapy.cfg配置文件
[deploy]
url=http://localhost:6800
project=項(xiàng)目名稱
3、修改后進(jìn)行部署
本地部署
scrapyd-deploy -p <項(xiàng)目名稱>
也可指定版本號
scrapyd-deploy -p <項(xiàng)目名稱> --version <版本號>
運(yùn)行爬蟲
curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider
關(guān)閉爬蟲
curl http://localhost:6800/cancel.json -d project=myproject -d job='jobid'
獲取部署的爬蟲項(xiàng)目列表
獲取項(xiàng)目下的爬蟲文件列表
curl http://localhost:6800/listspiders.json?project=myproject
獲取工程下的爬蟲運(yùn)行狀態(tài)
刪除部署的爬蟲項(xiàng)目
curl http://localhost:6800/delproject.json -d project=myproject
遠(yuǎn)端部署
一、配置項(xiàng)目運(yùn)行環(huán)境
1站叼、配置python環(huán)境
2、安裝pip3
sudo apt install python3-pip
3俊嗽、安裝scrapy
pip3 install scrapy -i https://pypi.douban.com/simple/
4墨辛、安裝scrapyd
pip3 install scrapyd
5瘪吏、安裝scrapyd-client
pip3 install scrapyd-client
6癣防、添加爬蟲運(yùn)行的三方庫
pip3 install requests
pip3 install pymysql
pip3 install pymongodb
7、修改scrapyd的配置文件掌眠，允許外網(wǎng)訪問
8蕾盯、對服務(wù)器安全組進(jìn)行配置
- 進(jìn)入服務(wù)安全組選項(xiàng)添加安全組
- 添加成功后，點(diǎn)擊修改規(guī)則蓝丙，添加如下信息(配置目的:允許訪問6800端口)
- 完成后返回到云主機(jī)菜單级遭，找到配置安全組菜單香嗓，跟換為剛才添加的安全組
- 最終完成后，在瀏覽器中輸入ip地址和端口,顯示如下圖装畅，說明配置成功
最后將項(xiàng)目部署到服務(wù)器中
1靠娱、修改scrapyd.egg (項(xiàng)目的配置文件)
[deploy]
url = http://118.24.255.219:6800
project=項(xiàng)目名稱
連接數(shù)據(jù)庫
連接mysql數(shù)據(jù)庫
找到mysql配置文件并做如下修改：允許遠(yuǎn)程連接
sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf
將
bind-address= 127.0.0.1
注釋掉或則修改為
bind-address= 0.0.0.0
授權(quán)root賬戶允許遠(yuǎn)程訪問：
grant all privileges on . to root@'%' identified by 'password' with grant option;
MongoDB數(shù)據(jù)庫的安裝
sudo apt-get install mongodb
啟動:
sudo service mongodb start 連接客戶端報錯參考如下網(wǎng)址： （輸入：sudo systemctl enable mongodb） mongo
修改配置文件的路徑
sudo vim /etc/mongodb.conf
redis數(shù)據(jù)庫的安裝
1、cd ~÷有帧（進(jìn)入指定的目錄）
2像云、下載redis數(shù)據(jù)庫壓縮包
3、解壓下載的文件: tar -zxvf redis-4.0.10.tar.gz
4蚂夕、復(fù)制,放到/usr/local目錄下面( 先創(chuàng)建文件5迅诬、夾/usr/local/redis/ )
5、mv ./redis-4.0.11/* /usr/local/redis/
6婿牍、cd /usr/local/redis/
7侈贷、sudo make
sudo make test
sudo make install
8、sudo cp /usr/local/redis/redis.conf /etc/redis/
9等脂、 修改配置文件,允許外網(wǎng)訪問 sudo vim redis.cnf
10俏蛮、將配置文件中的bind修改為: bind=0.0.0.0
11、啟動redis服務(wù)： sudo redis-server redis.conf
12上遥、鏈接客戶端
redis-cli -h ip -p port
分布式爬蟲的項(xiàng)目部署
1搏屑、將項(xiàng)目修改為分布式
pip3 install scrapy-redis
2、修改settings.py設(shè)置文件
#這里表示啟用scrapy-redis里的去重組件粉楚，不實(shí)用scrapy默認(rèn)的去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
#使用了scrapy-redis里面的調(diào)度器組件辣恋，不使用scrapy默認(rèn)的調(diào)度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
#允許暫停，redis請求的記錄不會丟失模软，不清除Redis隊(duì)列伟骨，可以恢復(fù)和暫停
SCHEDULER_PERSIST = True
#下面這些是request的隊(duì)列模式
#一般情況下使用第一種
#scrapy-redis默認(rèn)的請求隊(duì)列形式（有自己的優(yōu)先級順序）
#是按照redis的有序集合排序出隊(duì)列的
#SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
# scrapy_redis.pipelines.RedisPipeline 必須啟用，才能夠?qū)?shù)據(jù)存儲到redis數(shù)據(jù)庫中
ITEM_PIPELINES = {
'example.pipelines.ExamplePipeline': 300,
'scrapy_redis.pipelines.RedisPipeline': 400,
}
# 指定要存儲的redis的主機(jī)的ip燃异，默認(rèn)存儲在127.0.0.1
REDIS_HOST = 'redis的主機(jī)的ip'
# 定要存儲的redis的主機(jī)的port携狭，默認(rèn)6379
REDIS_PORT = '6379'
3、修改爬蟲文件
4特铝、部署爬蟲項(xiàng)目
5暑中、啟動爬蟲文件
6壹瘟、給爬蟲添加起始任務(wù)lpush key value(起始url)
