Python分布式爬蟲課程 Scrapy打造搜索引擎-(2)虛擬環(huán)境配置

1.安裝Python虛擬環(huán)境:pip install virtualenv

如果出現time out是由于pip 默認使用Python的官方源pypi.python.org/pypi,導致我們經常使用pip裝包時速度過慢或者無法安裝(請求超時)等問題,

所以國內用戶建議使用pip 國內源山上。

目前常用的 pip 國內源有:

豆瓣:http://pypi.douban.com/simple/(推薦)

清華:http://pypi.tuna.tsinghua.edu.cn/simple

提示:Python3默認已經再帶pip

如果沒有安裝pip包叼丑,可以官網下載get-pip.py文件欣范,然后執(zhí)行安裝命令:

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py

python get-pip.py -i http://pypi.douban.com --trusted-host pypi.douban.com


下面我們以使用豆瓣源為例來講解掠河,同時豆瓣源已經支持http 和 https 兩種協(xié)議栈虚。

例如:使用pip下載virtualenv


sudo pip install -i https://pypi.douban.com/simple/ virtualenv


參數說明:

-i :使用pip下載時指定源


安裝完成后可以新建一個虛擬環(huán)境測試一下

新建虛擬環(huán)境:

virtualenv scrapytest

在C盤中如果有scrapytest文件夾則代表虛擬環(huán)境創(chuàng)建成功

進入scrapytest/scripts文件夾運行:activate.bat命令打開虛擬環(huán)境,如果最左側顯示(scrapytest)則代表以及成功打開虛擬環(huán)境汁掠,輸入:deactivate.bat命令退出虛擬環(huán)境

紅線標記的是當前虛擬環(huán)境使用Python的版本

使用指定的Python版本創(chuàng)建虛擬環(huán)境:

命令:virtualenv -p ***\python.exe ++

***:這里換成你Python的安裝路徑

后面記得加上\python.exe

++:代表你的虛擬環(huán)境名稱略吨,根據自己需要設置

如下圖所示是我的Python安裝路徑,一般默認安裝的都是這個路徑

例如 使用命令:virtualenv -p C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe scrapypy3創(chuàng)建一個名為scrapypy3的虛擬環(huán)境


虛擬環(huán)境之virtualenvwrapper

virtualenv的一個最大的缺點就是:每次開啟虛擬環(huán)境之前要去虛擬環(huán)境所在目錄下的bin 目錄下source 一下activate考阱,這就需要我們記住每個虛擬環(huán)境所在的目錄翠忠。

并且還有可能你忘記了虛擬環(huán)境放在哪,所有可以使用virtualenvwrapper管理你的虛擬環(huán)境(virtualenv)乞榨,其實他就是統(tǒng)一管理虛擬環(huán)境的目錄秽之,并且省去了source的步驟。

優(yōu)點:

將所有虛擬環(huán)境整合在一個目錄下

管理(新增吃既,刪除考榨,復制)虛擬環(huán)境

切換虛擬環(huán)境

安裝virtualenvwrapper-win :

pip install virtualenvwrapper-win?

或者使用豆瓣源安裝:

pip install -i https://pypi.douban.com/simple/ virtualenvwrapper-win


(注意:windows下安裝virtualenvwrapper之后提示workon不是內部或外部指令,需要在virtualenvwrapper后面加上-win就可以正常使用了)

測試一下鹦倚,創(chuàng)建一個虛擬環(huán)境:mkvirtualenv scrapypy3? ?可以看到已經成功創(chuàng)建并且可以直接自動打開新建的虛擬環(huán)境河质,所以這個使用是非常方便的

當前創(chuàng)建的虛擬環(huán)境默認在:C:\Users\Administrator\Envs目錄中,現在可以把這個目錄更改到D盤中?

首先在D盤新建一個Envs文件夾震叙,復制當前路徑

打開控制面板-系統(tǒng)和安全-系統(tǒng)-高級系統(tǒng)設置-環(huán)境變量-系統(tǒng)變量-點擊新建掀鹅,

變量名:輸入?WORKON_HOME, 變量值:粘貼自定義的路徑媒楼,確定保存即可

virtualenvwrapper常用命令:

mkvirtualenv環(huán)境名:創(chuàng)建環(huán)境

workon:當前存在環(huán)境列表

workon 環(huán)境名:選擇激活環(huán)境

rmvirtualenv 環(huán)境名:刪除環(huán)境乐尊,需要先退出虛擬環(huán)境

mkproject mic:創(chuàng)建mic項目和運行環(huán)境mic

mktmpenv:創(chuàng)建臨時運行環(huán)境

lsvirtualenv:列出可用的運行環(huán)境

cdvirtualenv:進入虛擬環(huán)境目錄

cdsitepackages:進入虛擬環(huán)境的site-packages目錄

lssitepackages: 列出當前環(huán)境安裝了的包

deactivate:退出環(huán)境

virtualenvwrapper:提供環(huán)境名字的tab補全功能。當有很多環(huán)境匣砖, 并且很難記住它們的名字時科吭,這就顯得很有用。

完整官網介紹:https://virtualenvwrapper.readthedocs.io/en/latest/command_ref.html


安裝requests:

pip install ruquests

安裝scrapy:

pip install -i https://pypi.douban.com/simple scrapy

Windows安裝scrapy時提示:Could not find function xmlCheckVersion in library libxm12. Is libxml2 installed?錯誤? 解決辦法如下:

打開:https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml?

找到lxml文件 pc代表Python版本號? 然后選擇win32或者win64 找到對應的版本下載

下載完成后進入.whl所在的文件夾猴鲫,復制帶后綴的完整文件名对人,然后打開虛擬環(huán)境,執(zhí)行命令即可完成安裝

pip install 帶后綴的完整文件名

安裝完成后重新執(zhí)行pip命令安裝scrapy就能順利安裝成功

使用指定Python版本創(chuàng)建虛擬環(huán)境

mkvirtualenv --python=(python程序版本路徑)\python.exe venvname # venvname 虛擬環(huán)境名稱

或 mkvirtualenv -p python3.5 venvname # venvname 虛擬環(huán)境名稱

現在可以看到使用的是Python3.5的版本

?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末拂共,一起剝皮案震驚了整個濱河市牺弄,隨后出現的幾起案子,更是在濱河造成了極大的恐慌宜狐,老刑警劉巖势告,帶你破解...
    沈念sama閱讀 210,978評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現場離奇詭異抚恒,居然都是意外死亡咱台,警方通過查閱死者的電腦和手機,發(fā)現死者居然都...
    沈念sama閱讀 89,954評論 2 384
  • 文/潘曉璐 我一進店門俭驮,熙熙樓的掌柜王于貴愁眉苦臉地迎上來回溺,“玉大人春贸,你說我怎么就攤上這事∫抛瘢” “怎么了萍恕?”我有些...
    開封第一講書人閱讀 156,623評論 0 345
  • 文/不壞的土叔 我叫張陵,是天一觀的道長车要。 經常有香客問我允粤,道長,這世上最難降的妖魔是什么翼岁? 我笑而不...
    開封第一講書人閱讀 56,324評論 1 282
  • 正文 為了忘掉前任类垫,我火速辦了婚禮,結果婚禮上登澜,老公的妹妹穿的比我還像新娘阔挠。我一直安慰自己,他們只是感情好脑蠕,可當我...
    茶點故事閱讀 65,390評論 5 384
  • 文/花漫 我一把揭開白布购撼。 她就那樣靜靜地躺著,像睡著了一般谴仙。 火紅的嫁衣襯著肌膚如雪迂求。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,741評論 1 289
  • 那天晃跺,我揣著相機與錄音揩局,去河邊找鬼。 笑死掀虎,一個胖子當著我的面吹牛凌盯,可吹牛的內容都是我干的。 我是一名探鬼主播烹玉,決...
    沈念sama閱讀 38,892評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼驰怎,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了二打?” 一聲冷哼從身側響起县忌,我...
    開封第一講書人閱讀 37,655評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎继效,沒想到半個月后症杏,有當地人在樹林里發(fā)現了一具尸體,經...
    沈念sama閱讀 44,104評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡瑞信,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,451評論 2 325
  • 正文 我和宋清朗相戀三年厉颤,在試婚紗的時候發(fā)現自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片凡简。...
    茶點故事閱讀 38,569評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡走芋,死狀恐怖绩郎,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情翁逞,我是刑警寧澤,帶...
    沈念sama閱讀 34,254評論 4 328
  • 正文 年R本政府宣布溉仑,位于F島的核電站挖函,受9級特大地震影響,放射性物質發(fā)生泄漏浊竟。R本人自食惡果不足惜怨喘,卻給世界環(huán)境...
    茶點故事閱讀 39,834評論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望振定。 院中可真熱鬧必怜,春花似錦、人聲如沸后频。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,725評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽卑惜。三九已至膏执,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間露久,已是汗流浹背更米。 一陣腳步聲響...
    開封第一講書人閱讀 31,950評論 1 264
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留毫痕,地道東北人征峦。 一個月前我還...
    沈念sama閱讀 46,260評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像消请,于是被迫代替她去往敵國和親栏笆。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 43,446評論 2 348