基于騰訊云ubuntu服務(wù)器的Scrapy環(huán)境搭建


ubuntu中的管理員分配

如果服務(wù)器用多個人使用底挫,就需要進行管理員分配恒傻,這樣可以確保管理員在同一時間對服務(wù)器操作時不發(fā)生沖突,具體操作方法如下:

  • 在本地使用遠(yuǎn)程連接你的服務(wù)器(這里以MobaXterm軟件的SSH方法連接為例)


    SSH設(shè)置

    其中:
    --Remote host 對應(yīng)服務(wù)器IP
    --Specify username對應(yīng)你登錄時的用戶名及密碼(如果你在服務(wù)器上設(shè)置過)
    --如果你在申請時設(shè)置密鑰了建邓,請在User private key 添加上你的私鑰

連接完成圖示
  • 添加管理員用戶
    既然是添加管理員盈厘,我們得先切換到最高管理員root的權(quán)限下,圖示ubuntu@VM-17-107-ubuntu:~$ (刻意加粗)官边,前面ubuntu即是說明你當(dāng)前使用的是名為ubuntu管理員沸手,同時在ubuntu中$ 表明其為普通管理員,而#為系統(tǒng)管理員注簿。但是root用戶默認(rèn)是沒有密碼的契吉,因此也就無法使用,在這之前我們得為其添加密碼:
    * 命令行:sudo passwd root
    (密碼輸入時是不會顯示的诡渴,輸入后按enter鍵就行了)

之后進行用戶切換:
* 命令行:su root
* 鍵入密碼(普通用戶轉(zhuǎn)系統(tǒng)管理員必須鍵入密碼捐晶,反之不用)

創(chuàng)建新用戶
* 命令行:sudo adduser 用戶名(檢查root,#)
[sudo]
xx的密碼:輸入xx用戶的密碼,出現(xiàn)如下信息
正在添加用戶“xxx”...
正在添加新組“xxx”(1006)...
正在添加新用戶“xxx”(1006)到組“xxx”...
創(chuàng)建主目錄“/ home / xxx”...
正在從“/ etc / skel”復(fù)制文件...
輸入新的UNIX口令:
重新輸入新的UNIX口令:
兩次輸入xxx的初始密碼妄辩,出現(xiàn)的信息如下
passwd:密碼更新成功
更改xxx 的用戶信息
輸入新值惑灵,或按ENTER鍵進行默認(rèn)
全名[]:
房間號碼[]:
工作電話[]:
家庭電話[]:
其他[]:
全名[] :等信息一路回車
這個信息是否正確?[Y / n] y
到此恩袱,用戶添加成功泣棋。
你可以在/home文件下查看剛才用戶名為名的文件夾。

用戶名創(chuàng)建成功后:
* 命令行:su xxx(你的用戶名)


對Scrapy進行安裝與結(jié)構(gòu)搭建

在這之前你得先進入你文件夾所在目錄畔塔,命令行語法:
* 命令行:cd ..
* 命令行:cd 管理員文件夾名
創(chuàng)建虛擬目錄潭辈,并激活:
* 命令行:virtualenv example(文件名可更改)
* 命令行:cd example
* 命令行:ls bin include lib local pip-selfcheck.json
* 命令行:source bin/activate
此時檢查你的前端是否以(example)開頭,并且該文件應(yīng)該在用戶名文件夾下澈吨。
安裝相應(yīng)包解決依賴(apt-get對應(yīng)系統(tǒng)層安裝)
* 命令行:sudo apt-get install build-essential libssl-dev libffi-dev python-dev
使用軟件層安裝工具前把敢,為保險起見安裝軟件層所需工具:
* 命令行: sudo apt-get install python-pip
之后添加命令,
* 命令行:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple twisted
* 命令行:pip install cryptography
然后進行最后的一步谅辣,
* 命令行:pip install scrapy
創(chuàng)建爬蟲項目
* 命令行:scrapy startproject 爬蟲項目名
( 至此修赞,前期爬蟲的環(huán)境和框架就算好了。)


注意:

  • 當(dāng)然這里我還遇到的其他問題:通過MobaXterm軟件的SFTP方法(具體配置與SSH連接相似)在實現(xiàn)文件上傳下載時由于權(quán)限問題操作不能完成。
    怎么解決勒柏副?方法很多勾邦,我們這里提供提高文件夾權(quán)限的方法:
    * 命令行:su root
    * 命令行:密碼
    還是依照前面進入你的文件夾下的虛擬文件,同時
    * 命令行:sudo chmod 777 爬蟲項目名
    完成后(該文件夾及其子文件夾)后便能上傳下載文件了割择。

  • 無論進行何種操作眷篇,請留意你前面管理員狀態(tài)變化,以及你在哪個文件夾下進行操作


推薦:
ubuntu命令行操作(釋意說明):[Ubuntu 常用命令整理][1]
[1]: http://www.reibang.com/p/1340bb38e4aa

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末荔泳,一起剝皮案震驚了整個濱河市蕉饼,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌玛歌,老刑警劉巖昧港,帶你破解...
    沈念sama閱讀 217,826評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異支子,居然都是意外死亡创肥,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,968評論 3 395
  • 文/潘曉璐 我一進店門译荞,熙熙樓的掌柜王于貴愁眉苦臉地迎上來瓤的,“玉大人,你說我怎么就攤上這事吞歼∪Ω啵” “怎么了?”我有些...
    開封第一講書人閱讀 164,234評論 0 354
  • 文/不壞的土叔 我叫張陵篙骡,是天一觀的道長稽坤。 經(jīng)常有香客問我,道長糯俗,這世上最難降的妖魔是什么尿褪? 我笑而不...
    開封第一講書人閱讀 58,562評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮得湘,結(jié)果婚禮上杖玲,老公的妹妹穿的比我還像新娘。我一直安慰自己淘正,他們只是感情好摆马,可當(dāng)我...
    茶點故事閱讀 67,611評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著鸿吆,像睡著了一般囤采。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上惩淳,一...
    開封第一講書人閱讀 51,482評論 1 302
  • 那天蕉毯,我揣著相機與錄音,去河邊找鬼。 笑死代虾,一個胖子當(dāng)著我的面吹牛进肯,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播棉磨,決...
    沈念sama閱讀 40,271評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼坷澡,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了含蓉?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,166評論 0 276
  • 序言:老撾萬榮一對情侶失蹤项郊,失蹤者是張志新(化名)和其女友劉穎馅扣,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體着降,經(jīng)...
    沈念sama閱讀 45,608評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡差油,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,814評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了任洞。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蓄喇。...
    茶點故事閱讀 39,926評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖交掏,靈堂內(nèi)的尸體忽然破棺而出妆偏,到底是詐尸還是另有隱情,我是刑警寧澤盅弛,帶...
    沈念sama閱讀 35,644評論 5 346
  • 正文 年R本政府宣布钱骂,位于F島的核電站,受9級特大地震影響挪鹏,放射性物質(zhì)發(fā)生泄漏见秽。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,249評論 3 329
  • 文/蒙蒙 一讨盒、第九天 我趴在偏房一處隱蔽的房頂上張望解取。 院中可真熱鬧,春花似錦返顺、人聲如沸禀苦。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,866評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽伦忠。三九已至,卻和暖如春稿辙,著一層夾襖步出監(jiān)牢的瞬間昆码,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,991評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留赋咽,地道東北人旧噪。 一個月前我還...
    沈念sama閱讀 48,063評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像脓匿,于是被迫代替她去往敵國和親淘钟。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,871評論 2 354

推薦閱讀更多精彩內(nèi)容

  • Ubuntu的發(fā)音 Ubuntu铁瞒,源于非洲祖魯人和科薩人的語言,發(fā)作 oo-boon-too 的音桅滋。了解發(fā)音是有意...
    螢火蟲de夢閱讀 99,262評論 9 467
  • 一慧耍、文件/文件夾管理 ls 列出當(dāng)前目錄文件(不包括隱含文件) ls -a 列出當(dāng)前目錄文件(包括隱含文件) ls...
    會飛的魚Coo閱讀 4,508評論 1 23
  • 一、文件/文件夾管理 ls 列出當(dāng)前目錄文件(不包括隱含文件)ls -a 列出當(dāng)前目錄文件(包括隱含文件)l...
    路癡千行閱讀 2,394評論 0 5
  • Ubuntu 常用命令大全 查看軟件 xxx 安裝內(nèi)容 #dpkg -L xxx 查找軟件 #apt-cache ...
    guiwuzhe閱讀 2,545評論 0 14
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理丐谋,服務(wù)發(fā)現(xiàn)芍碧,斷路器,智...
    卡卡羅2017閱讀 134,656評論 18 139