主要運(yùn)行系統(tǒng)和環(huán)境:Ubuntu 16.04.3 LTS、 python3.5收恢、 Python3-pip
安裝scrapy之前需要安裝一些組件和依賴庫,包括:build-essential祭往、python3-dev伦意、 libxml2、 libxml2-dev硼补、libxslt1-dev驮肉、libssl-dev、libffi-dev已骇、zlib1g-dev离钝、;Twisted褪储、 w3lib卵渴、 lxm、 pyOpenSSL等鲤竹。
有些依賴可能在安裝之前已經(jīng)存在浪读,但不影響執(zhí)行:
sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
sudo pip3 install Twisted w3lib lxm
然后安裝Scrapy和pyOpenSSL(該系統(tǒng)環(huán)境下,已經(jīng)安裝pyOpenSSL):
sudo pip3 install Scrapy
參考文章:
騰訊云主機(jī)Python3環(huán)境安裝Scrapy爬蟲框架過程及常見錯(cuò)誤
ubuntu下python3安裝scrapy辛藻,OpenSSL