Python分布式爬蟲實(shí)戰(zhàn)(二) - 搭建 Mac 開發(fā)環(huán)境

0 環(huán)境及版本

系統(tǒng)

  • Mac OS


IDE

PyCharm 2018.3.5

數(shù)據(jù)庫

  • MySQL 5.7



    Redis, elasticsearch

開發(fā)環(huán)境

virtualenv

1 Pycharm的安裝及簡單使用

下載 PyCharm

設(shè)置快捷鍵

設(shè)置解釋器

2 MySQL和Navicat的安裝和使用

2.1 MySQL

下載與安裝

2.2 Navicat

3 Python安裝

推薦py3.5+版本

4 virtualenv和virtualenvwrapper安裝和配置

4.1 virtualenv簡介

每個(gè)應(yīng)用可能需要各自擁有一套獨(dú)立的Python運(yùn)行環(huán)境。virtualenv就是用來為一個(gè)應(yīng)用創(chuàng)建一套隔離的Python運(yùn)行環(huán)境。

優(yōu)點(diǎn)

  • 使不同應(yīng)用開發(fā)環(huán)境獨(dú)立
  • 環(huán)境升級不影響其他應(yīng)用,也不會影響全局的python環(huán)境
  • 防止系統(tǒng)中出現(xiàn)包管理混亂和版本的沖突

它是將全局Python解釋器進(jìn)行私有化復(fù)制
如果不使用虛擬環(huán)境击喂,默認(rèn)的pip安裝都會安裝到同一個(gè)目錄(java是把自己需要的包放到自己項(xiàng)目目錄)秩霍,不同項(xiàng)目使用起來會產(chǎn)生問題

安裝

pip install virtualenv

查看 virtualenv

4.2 virtualenvwrapper 簡介

virtualenv的擴(kuò)展管理包先口,用于更方便管理虛擬環(huán)境

優(yōu)點(diǎn)

  • 將所有虛擬環(huán)境整合在一個(gè)目錄下
  • 管理(新增向胡,刪除窒典,復(fù)制)虛擬環(huán)境
  • 切換虛擬環(huán)境

安裝

pip install virtualenvwrapper
  • 查詢安裝路徑


    which virtualenvwrapper.sh
  • 修改.bash_profile


    vim /Users/sss/.bash_profile

在最后加入:

export WORKON_HOME=$HOME/.virtualenvs
export VIRTUALENVWRAPPER_SCRIPT=/Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenvwrapper.sh
export VIRTUALENVWRAPPER_PYTHON=/Library/Frameworks/Python.framework/Versions/2.7/bin/python2
export VIRTUALENVWRAPPER_VIRTUALENV=/Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenv
export VIRTUALENVWRAPPER_VIRTUALENV_ARGS='--no-site-packages'
source /Library/Frameworks/Python.framework/Versions/2.7/bin/virtualenvwrapper.sh
  • 立即生效


    source ~/.bash_profile
  • 到其工作目錄


    cd ~/.virtualenvs ls
  • 查看當(dāng)前系統(tǒng)py版本



    為py2.7

  • 現(xiàn)在,希望創(chuàng)建py3的環(huán)境

  • 查詢py3位置


    which python3
  • 創(chuàng)建py3環(huán)境


    mkvirtualenv --python=/Library/Frameworks/Python.framework/Versions/3.7/bin/python3 py3scrapy
  • 查看python版本


其他常用的命令:

$ workon                顯示所有的環(huán)境名稱
$ workon 環(huán)境名          進(jìn)入/切換到該環(huán)境
  • deactivate 返回到系統(tǒng)環(huán)境


$ rmvirtualenv          移除環(huán)境
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末松却,一起剝皮案震驚了整個(gè)濱河市暴浦,隨后出現(xiàn)的幾起案子溅话,更是在濱河造成了極大的恐慌,老刑警劉巖歌焦,帶你破解...
    沈念sama閱讀 222,590評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件飞几,死亡現(xiàn)場離奇詭異,居然都是意外死亡独撇,警方通過查閱死者的電腦和手機(jī)屑墨,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,157評論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來纷铣,“玉大人卵史,你說我怎么就攤上這事∷蚜ⅲ” “怎么了以躯?”我有些...
    開封第一講書人閱讀 169,301評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長啄踊。 經(jīng)常有香客問我忧设,道長,這世上最難降的妖魔是什么颠通? 我笑而不...
    開封第一講書人閱讀 60,078評論 1 300
  • 正文 為了忘掉前任址晕,我火速辦了婚禮,結(jié)果婚禮上顿锰,老公的妹妹穿的比我還像新娘谨垃。我一直安慰自己,他們只是感情好硼控,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,082評論 6 398
  • 文/花漫 我一把揭開白布刘陶。 她就那樣靜靜地躺著,像睡著了一般牢撼。 火紅的嫁衣襯著肌膚如雪易核。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,682評論 1 312
  • 那天浪默,我揣著相機(jī)與錄音,去河邊找鬼缀匕。 笑死纳决,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的乡小。 我是一名探鬼主播阔加,決...
    沈念sama閱讀 41,155評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼满钟!你這毒婦竟也來了胜榔?” 一聲冷哼從身側(cè)響起胳喷,我...
    開封第一講書人閱讀 40,098評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎夭织,沒想到半個(gè)月后吭露,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,638評論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡尊惰,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,701評論 3 342
  • 正文 我和宋清朗相戀三年讲竿,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片弄屡。...
    茶點(diǎn)故事閱讀 40,852評論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡题禀,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出膀捷,到底是詐尸還是另有隱情迈嘹,我是刑警寧澤,帶...
    沈念sama閱讀 36,520評論 5 351
  • 正文 年R本政府宣布全庸,位于F島的核電站秀仲,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏糕篇。R本人自食惡果不足惜啄育,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,181評論 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望拌消。 院中可真熱鬧挑豌,春花似錦、人聲如沸墩崩。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,674評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽鹦筹。三九已至铝阐,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間铐拐,已是汗流浹背徘键。 一陣腳步聲響...
    開封第一講書人閱讀 33,788評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留遍蟋,地道東北人吹害。 一個(gè)月前我還...
    沈念sama閱讀 49,279評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像虚青,于是被迫代替她去往敵國和親它呀。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,851評論 2 361