吐個槽
在網(wǎng)上找了好多例子吊奢，自己試了很多次央勒，終于搞定了簡單的爬蟲（包括爬圖片）谎脯，這里不得不說一下印颤，Python 和 node 比起來，安裝真是費事穿肄，前者差就差在缺一個給力的“大管家”（包管理器）年局，python2和python3就像一個男人娶的兩個老婆，你以為是在說大老婆咸产，最后才發(fā)現(xiàn)矢否，原來是在說小妾，更重要的是脑溢，大老婆是中國的僵朗，小妾是國外的，她們經(jīng)常吵架屑彻，特別不和諧...
我在Liniux和Mac os验庙、windows 10（看起來還差一點點就成功了）上都安裝了爬蟲，下面以 Mac os 的環(huán)境來介紹安裝過程
安裝python3
環(huán)境
__ python3(3.6.1)社牲、Mac os(10.11.6)粪薛、Conda(4.3.22)__
為啥選Python3.6
很抱歉，我不是歷史學家搏恤，也不是人類學家违寿，我只是個coder，我討厭已經(jīng)過時了的東西熟空，包括 Python2.x 藤巢，這個即將被淘汰的版本，大家也不要太過于依賴
為啥不在官網(wǎng)下載安裝包
我是通過 Conda 來安裝 Python3 的息罗，為什么不在Python官網(wǎng)上安裝呢掂咒？因為Python好裝，Scrapy的依賴卻會煩死你
龍?zhí)壮Ｋ烙谠挾啵覀冮_始吧
安裝Conda和Python3
Conda 是一個開源的軟件包管理系統(tǒng)和環(huán)境管理系統(tǒng)绍刮，用于安裝多個版本的軟件包及其依賴關系糜工，并在它們之間輕松切換。
實踐證明录淡，通過Conda來安裝Scrapy是最方便的
需要注意的是捌木，Conda的“安裝包”骨骼驚奇，在Mac 和 Linux下嫉戚，其實是一個.sh 的文本文件刨裆，在windows下面則比較正常，是一個 exe 執(zhí)行文件
sudo bash Miniconda3-latest-MacOSX-x86_64.sh
它是一個交互式的安裝過程彬檀，其中會詢問你
- 安裝在哪里帆啃？（我選擇的是默認值，即
~/miniconda3/） - 是否需要加入
.bash_profile環(huán)境（我選擇的是yes） - 同意法律協(xié)議（必須yes）
安裝結束后窍帝，它會將路徑寫入到環(huán)境變量中努潘，使得你能夠在Shell中直接調用Conda中的命令，因為Conda依賴Python坤学，此時你已經(jīng)安裝好了Python疯坤，版本是比較新的3.6.1。
安裝Scrapy
有了Conda后深浮，安裝Scrapy就是一件非常容易的事情了
sudo conda install scrapy
根據(jù)網(wǎng)絡情況压怠，等上幾分鐘基本就OK了，Conda會幫你安裝好各種依賴飞苇。
安裝結束后菌瘫，你可以在shell中，輸入scrapy來檢查是否安裝成功
> scrapy
Usage:
scrapy <command> [options] [args]
...
這就證明成功了
使用
可以切換到工作目錄布卡，運行scrapy命令來生成爬蟲項目文件
scrapy startproject xxx
這樣雨让，就在目錄下生成了一個叫做xxx的爬蟲項目，至此忿等，你可以爬山爬樹爬電桿了栖忠！
溫馨提示
- 在
Linux下安裝了Conda，你需要自己動手增加連接ln到環(huán)境變量目錄下才可以直接以命令的方式使用那些好用到爆的命令哦 - 由于
Windows 10下这弧，我沒有通過Conda來安裝娃闲，所以被困在了一個叫做pywin32 dll error的小島上進退不能
