深度學習服務器搭建筆記——從硬件選擇到環(huán)境安裝

一芒炼、硬件選擇

快速指南

參考文章:RTX 2080時代玖雁,如何打造屬于自己的深度學習機器

GPU:

  • RTX 2070 瓮下、RTX 2080 Ti觅丰、GTX 1070饵溅、GTX 1080 和 GTX 1080 Ti。

CPU:

  • 每個 GPU 1-2 核妇萄,這取決于你的數(shù)據(jù)預處理蜕企;
  • 只要主頻大于 2GHz,那 CPU 就應該支持我們想要運行的大量 GPU冠句,PCIe 通道并不是太重要轻掩。

RAM:

  • 時鐘頻率無關緊要,買更便宜的 RAM懦底;
  • 購入至少和你已有 GPU 內(nèi)存大小相同的 CPU 內(nèi)存唇牧;
  • 只有更需要時才買更多的 RAM;如果要使用超大規(guī)模的數(shù)據(jù)集聚唐,那么需要更多的內(nèi)存丐重。

硬盤/SSD:

  • 用于存儲數(shù)據(jù)的硬盤驅(qū)動器至少需要 3TB;
  • 使用 SSD 預處理小數(shù)據(jù)集拱层。

PSU:

  • GPU+CPU+10% 就是你必需的電源供應量弥臼,再將總電量乘以 110% 而獲得最終所需要的電源功率;
  • 如果使用多塊 GPU根灯,還要增加一些額外的電源供應量径缅;
  • 確保 PSU 有足夠的 PCIe 連接器(6+8pins);
  • 附:PSU計算器

散熱:

  • CPU烙肺,使用標準的 CPU 散熱器或一體化的水冷解決方案纳猪;
  • GPU,使用空氣散熱桃笙、使用鼓風機式的散熱器氏堤、配置風扇的速度。

主板:

  • 盡可能獲得更多的 PCIe 插槽,為未來增加 GPU 做好準備鼠锈。

參考配置

CPU:i7-9700k
GPU:RTX-2080ti
RAM:DDR4 3000MHz 16G * 4
SSD:SATA SSD 512G
PSU:1000w
散熱:塔式散熱
主板:Z390

二闪檬、系統(tǒng)安裝及初始配置

安裝Ubuntu18.04LTS

下載Ubuntu18.04LTS鏡像,用UltraISO制作U盤啟動盤购笆,按照提示一步一步安裝

更換apt源

備份配置文件:sudo mv /etc/apt/sources.list /etc/apt/sources.list.bak

將以下內(nèi)容復制到/etc/apt/sources.list文件中

deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse

deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse

更新

sudo apt update
sudo apt upgrade

更換pip源

將以下內(nèi)容復制到~/.pip/pip.conf文件中

[global]
index-url=http://mirrors.aliyun.com/pypi/simple/
trusted-host=mirrors.aliyun.com

安裝常用軟件

chrome

sogou-linux

wps-linux

三粗悯、NVIDIA環(huán)境安裝

不需要先單獨安裝驅(qū)動

安裝gcc和cmake

sudo apt install gcc
sudo apt install cmake

安裝cuda(過程中安裝驅(qū)動)

選擇合適的cuda版本,tensorflow1.13不支持cuda10.1
選擇合適的cuda版本同欠,tensorflow1.13不支持cuda10.1
選擇合適的cuda版本样傍,tensorflow1.13不支持cuda10.1

從官網(wǎng)下載cuda安裝腳本

Snipaste_2019-04-09_07-58-23.png

安裝cuda的過程中會自動安裝最新的驅(qū)動

安裝完成后在.bashrc中設置環(huán)境變量

export PATH=/usr/local/cuda/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export CUDA_HOME=/usr/local/cuda

運行source .bashrc使其生效

安裝cudnn

從官網(wǎng)下載cudnn,需登錄

Snipaste_2019-04-09_08-01-02.png

解壓铺遂,復制文件到/usr/local/cuda相關文件夾內(nèi)

sudo cp cuda/include/cudnn.h    /usr/local/cuda/include      
 sudo cp cuda/lib64/libcudnn*    /usr/local/cuda/lib64
 sudo chmod a+r /usr/local/cuda/include/cudnn.h  /usr/local/cuda/lib64/libcudnn*

四衫哥、深度學習開發(fā)環(huán)境安裝(tensorflow/pytorch)

安裝Python包管理工具

下載miniconda3并安裝,安裝完成后source ~/.bashrc

新建python虛擬環(huán)境

conda create -n <env-name> python=3.6

進入python虛擬環(huán)境

conda activate <env-name>

安裝python包

conda install <package-name>

安裝常用Python庫

tensorflow/pytorch

conda install tensorflow-gpu

conda install pytorch

numpy

pandas

pillow

jupyter

IDE/編輯器選擇

Pycharm

VS Code

Vim/Emacs/Sublime

五襟锐、CPU/GPU監(jiān)控工具

htop

監(jiān)控CPU和RAM

htop

nvidia-smi

監(jiān)控GPU

watch -n 1 nvidia-smi
最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末撤逢,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子捌斧,更是在濱河造成了極大的恐慌笛质,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,185評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件捞蚂,死亡現(xiàn)場離奇詭異妇押,居然都是意外死亡,警方通過查閱死者的電腦和手機姓迅,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,652評論 3 393
  • 文/潘曉璐 我一進店門敲霍,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人丁存,你說我怎么就攤上這事肩杈。” “怎么了解寝?”我有些...
    開封第一講書人閱讀 163,524評論 0 353
  • 文/不壞的土叔 我叫張陵扩然,是天一觀的道長。 經(jīng)常有香客問我聋伦,道長夫偶,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,339評論 1 293
  • 正文 為了忘掉前任觉增,我火速辦了婚禮兵拢,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘逾礁。我一直安慰自己说铃,他們只是感情好,可當我...
    茶點故事閱讀 67,387評論 6 391
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著腻扇,像睡著了一般债热。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上衙解,一...
    開封第一講書人閱讀 51,287評論 1 301
  • 那天阳柔,我揣著相機與錄音焰枢,去河邊找鬼蚓峦。 笑死,一個胖子當著我的面吹牛济锄,可吹牛的內(nèi)容都是我干的暑椰。 我是一名探鬼主播,決...
    沈念sama閱讀 40,130評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼荐绝,長吁一口氣:“原來是場噩夢啊……” “哼一汽!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起低滩,我...
    開封第一講書人閱讀 38,985評論 0 275
  • 序言:老撾萬榮一對情侶失蹤召夹,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后恕沫,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體监憎,經(jīng)...
    沈念sama閱讀 45,420評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,617評論 3 334
  • 正文 我和宋清朗相戀三年婶溯,在試婚紗的時候發(fā)現(xiàn)自己被綠了鲸阔。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,779評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡迄委,死狀恐怖褐筛,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情叙身,我是刑警寧澤渔扎,帶...
    沈念sama閱讀 35,477評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站信轿,受9級特大地震影響晃痴,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜虏两,卻給世界環(huán)境...
    茶點故事閱讀 41,088評論 3 328
  • 文/蒙蒙 一愧旦、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧定罢,春花似錦笤虫、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,716評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽酬凳。三九已至,卻和暖如春遭庶,著一層夾襖步出監(jiān)牢的瞬間宁仔,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,857評論 1 269
  • 我被黑心中介騙來泰國打工峦睡, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留翎苫,地道東北人。 一個月前我還...
    沈念sama閱讀 47,876評論 2 370
  • 正文 我出身青樓榨了,卻偏偏與公主長得像煎谍,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子龙屉,可洞房花燭夜當晚...
    茶點故事閱讀 44,700評論 2 354