背景
因為今天要寫一個爬蟲,需要長期爬，需要過濾一些重復(fù)的請求。浙宜。。
所以準(zhǔn)備使用 scrapy-deltafetch
發(fā)現(xiàn)蛹磺，要求必須先安裝 bsddb3
如何安裝bsddb3
當(dāng)然pip install bsddb3直接安裝肯定是失敗了
使用 anaconda也失敗了...
看了下官方文檔bsddb3
找半天粟瞬，竟然沒有找到如何安裝...wtf!
最后直接使用google大法，
找到了 Installing bsddb package - python
image
然后試了下萤捆。裙品。。發(fā)現(xiàn)還是不行
然后找到了 https://github.com/scrapy-plugins/scrapy-deltafetch/issues/23
image
然后發(fā)現(xiàn)報錯俗或，提示我安裝的berkeley-db版本過高...
那我就想如何安裝低版本的 berkeley-db
然后一頓搜索市怎，發(fā)現(xiàn) brew支持安裝不同版本的，發(fā)現(xiàn)竟然只有最新版的...(有一個4.幾版本的,安裝失敗了辛慰。区匠。。)
這時候帅腌，很氣驰弄，甚至都想要用docker來跑了。速客。戚篙。
最后想想看，還是安裝好吧溺职。岔擂。。
手動安裝
手動安裝 berkeley-db
搜到一篇文章 Berkeley DB 6.2インストール手順辅愿，真是太感謝這篇文章了Ｖ橇痢！点待！
如何安裝 bsddb3
先到 oracle berkeleydb下面指定的版本阔蛉，推薦使用
6.2.32其他的高版本不行...解壓到適當(dāng)?shù)奈募A
cd ./db-6.2.32/build_unix
../dist/configure --prefix =/usr/local/Cellar/berkeley-db/6.2.32
sudo make install
- 記住上面的
/usr/local/Cellar/berkeley-db/6.2.32 - 去bsddb3下載 python bsddb3包
- 解壓后，并
python setup.py install --berkeley-db=/usr/local/Cellar/berkeley-db/6.2.32
這后面的路徑就是 剛剛上面相同的
然后就安裝成功了
就可以直接 pip install scrapy-deltafetch
