配置前先安裝python3,參考: http://www.reibang.com/p/097f5c19bf7e
virtualenv環(huán)境配置
1、手動建立:
第一步 建立虛擬環(huán)境
新建一個virtualenv 文件夾 cd 進去
mkdir python3env
敲下面命令
pip3 install virtualenv
2.創(chuàng)建虛擬環(huán)境: (-p 后面是python3的路徑 )
linux :
virtualenv -p /usr/bin/python3 py3env
win :
\Users\J\AppData\Local\Programs\Python\Python35\python
3.激活虛擬環(huán)境
win:
C:\Users\J\Desktop\pachong\Virtual\python03\Scripts\activate.bat
Linux：
source py3env/bin/activate
4.安裝Twisted
scrapy環(huán)境前要先安裝Twisted 不然會報錯
下載Twisted (復(fù)制下面命令)
wget https://files.pythonhosted.org/packages/a2/37/298f9547606c45d75aa9792369302cc63aa4bbcf7b5f607560180dd099d2/Twisted-17.9.0.tar.bz2
解壓:
tar -xf Twisted-17.9.0.tar.bz2
進入目錄:
cd Twisted-17.9.0
安裝:
python3 setup.py install
成功:
Finished processing dependencies for Twisted==17.9.0
如果報錯:
yum install python-devel #Debin/Ubuntu
apt-get install python3-dev #Centos/Fedora
5.安裝django&Scrapy環(huán)境:
創(chuàng)建一個list_requirements.txt(用來批量安裝包)
vim list_requirements.txt
把下面的包復(fù)制到 list_requirements.txt 并保存:
Django==1.11
olefile==0.44
Pillow==4.2.1
pytz==2017.2
asn1crypto==0.23.0
attrs==17.3.0
Automat==0.6.0
beautifulsoup4==4.6.0
bs4==0.0.1
certifi==2017.7.27.1
cffi==1.11.2
chardet==3.0.4
colorama==0.3.9
constantly==15.1.0
cryptography==2.1.3
cssselect==1.0.1
decorator==4.1.2
fake-useragent==0.1.8
hyperlink==17.3.1
idna==2.6
incremental==17.5.0
ipython==6.2.1
ipython-genutils==0.2.0
jedi==0.11.0
jsonpath==0.75
lxml==4.1.1
parsel==1.2.0
parso==0.1.0
pickleshare==0.7.4
prompt-toolkit==1.0.15
pyasn1==0.3.7
pyasn1-modules==0.1.5
pycparser==2.18
PyDispatcher==2.0.5
Pygments==2.2.0
PyMySQL==0.7.11
pyOpenSSL==17.3.0
queuelib==1.4.2
redis==2.10.6
requests==2.18.4
Scrapy==1.4.0
scrapy-redis==0.6.8
selenium==3.7.0
service-identity==17.0.0
simplegeneric==0.8.1
six==1.11.0
traitlets==4.3.2
urllib3==1.22
w3lib==1.18.0
wcwidth==0.1.7
zope.interface==4.4.3
安裝環(huán)境
pip3 install -r py_list_requirements.txt
如果出現(xiàn)版本報錯 ,更新一下pip3命令:
pip3 install --upgrade pip
抓包軟件安裝
chrome 中安裝一個Proxy SwitchyOmega
并新建情景模式配置一個
- 啟動Fiddler侣签，打開菜單欄中的 Tools > Options智听，打開“Options”對話框锨苏。
-
- 對Fiddler進行設(shè)置：
- o 打開工具欄->Tools->Fiddler Options->HTTPS彼乌，
- o 選中Capture HTTPS CONNECTs (捕捉HTTPS連接)，
- o 選中Decrypt HTTPS traffic（解密HTTPS通信）
- o 另外我們要用Fiddler獲取本機所有進程的HTTPS請求叠纹，所以中間的下拉菜單中選中...from all processes （從所有進程）
- o 選中下方Ignore server certificate errors（忽略服務(wù)器證書錯誤）
為 Fiddler 配置Windows信任這個根證書解決安全警告：Trust Root Certificate（受信任的根證書）竖慧。
Fiddler 主菜單 Tools -> Options…-> Connectionso 選中Allow remote computers to connect（允許遠程連接）o Act as system proxy on startup（作為系統(tǒng)啟動代理）
重啟Fiddler嫌套，使配置生效（這一步很重要，必須做）圾旨。
