GPU
在HPC領(lǐng)域跌榔，GPU比CPU運(yùn)算速度快是顯而易見的异雁。在此簡單的調(diào)研了一下，如何挑選GPU僧须。
[Tesla K40]
Tesla系列是N廠專門為HPC退出的GPU產(chǎn)品片迅，無視頻輸出，僅能做計(jì)算皆辽。系列型號有K20, K40, K80柑蛇。其中K40是最強(qiáng)單芯產(chǎn)品芥挣，K80是雙core。
從N廠給出的評測可以看出耻台，在HPC計(jì)算中空免，K40的性能是CPU的10倍以上。
CPU：12 核盆耽，E5-2697v2 @ 2.70 GHz蹋砚。64 GB 系統(tǒng)內(nèi)存，CentOS 6.2摄杂。GPU：單個(gè) Tesla K80（啟用 Boost）或單個(gè) Tesla K40（啟用 Boost）
K40在amazon售價(jià)$3k坝咐，K80為$4k。K40國內(nèi)應(yīng)該在￥25k左右析恢。
結(jié)論: 太貴墨坚，不實(shí)惠
[GeForce Titan X]
Titan X號稱是N廠“核彈”，GeForce最強(qiáng)顯卡映挂。Titan X的運(yùn)算性能強(qiáng)于K40泽篮，但限制了雙精度運(yùn)算。
評測文章可參見: 深度信仰對決：TitanX和TeslaK40c對陣Caffe深度學(xué)習(xí)其結(jié)論是Titan X在運(yùn)算性能上要比K40更高柑船。
結(jié)論: Titan X的價(jià)格在￥8k左右帽撑，12G顯存，性價(jià)比較高
[GTX 970]
GTX系列是主流游戲顯卡鞍时，目前算起來性價(jià)比比較高的是GTX970(~￥2500)亏拉，CUDA數(shù)量是Titan X的一半，一般為4G顯存逆巍。單從GPU來說专筷，組3塊顯卡的機(jī)器比Titan X要更實(shí)惠，不過組多臺機(jī)器分布式就不太劃算蒸苇，因?yàn)檫€要算上其他CPU主板電源一大堆磷蛹，而且占地方。
結(jié)論: 可以在前期花比較少的錢達(dá)到不錯的效果溪烤，后期不能大規(guī)模上味咳。
【Updated】
GTX1080 是16年新出的卡，5600一塊檬嘀，8G顯存槽驶，速度比老Titan快30%，經(jīng)濟(jì)實(shí)惠鸳兽。新Pascal架構(gòu)Titan X是最好選擇掂铐，9000+一塊，但一直缺貨。后期采購混合搭配新Titan X和GTX1080全陨。
分布式
Jeff Dean在NIPS 2015的slides(Large-Scale Distributed Systems for Training Neural Networks)中講到了TensorFlow在分布式上的性能提升情況爆班。主要結(jié)論為：
ImageNet Inception的訓(xùn)練使用50GPU，~40X提升
從描述來看辱姨，在幾十個(gè)replica的規(guī)模下柿菩，基本上性能提升是線性的。
結(jié)論: 在調(diào)研階段結(jié)束后雨涛，真正真正開始上真實(shí)場景時(shí)枢舶，組集群是非常有必要的
云
TF已經(jīng)被人跑在了spark上，spark可以直接跑在云服務(wù)器上替久，所以使用云服務(wù)器也是一個(gè)選擇凉泄。
不過目前個(gè)人認(rèn)為云服務(wù)器并不是一個(gè)很劃算的選擇，有如下幾個(gè)原因：
從CPU和GPU的運(yùn)算性能來看蚯根，需要非常多的CPU才能達(dá)到一塊GPU的性能后众，云主機(jī)在這方面算起來非常不劃算
spark也是個(gè)規(guī)模比較大的項(xiàng)目，坑多稼锅，目前團(tuán)隊(duì)并沒有太多實(shí)踐積累，應(yīng)盡量避免陷入處理各種spark的問題的循環(huán)中僚纷，更專注于DL本身矩距。
另外，阿里云的提供了HPC云服務(wù)器怖竭，但價(jià)格較高锥债，網(wǎng)頁報(bào)價(jià)如下
結(jié)論: 使用云服務(wù)器搭建集群為時(shí)尚早，云HPC服務(wù)器太貴痊臭。
硬件投入的建議
硬件可以逐步升級
- Step 0. 兩臺i7 CPU服務(wù)器 (Current)
- Step 1. 單服務(wù)器哮肚，2 x GTX 970，要看現(xiàn)有的服務(wù)器能插幾塊 (需要確認(rèn)目前的主機(jī)是否支持)
- Step 2. 用Titan X來組服務(wù)器
- Step 3. 云服務(wù)商 or 自組集群
參考服務(wù)器Spec
(From 李沐's blog: GPU集群折騰手記)
(From 淘寶, 北京思騰合力科技有限公司)
Reference
(注：感謝您的閱讀广匙，希望本文對您有所幫助允趟。如果覺得不錯歡迎分享轉(zhuǎn)載，但請先點(diǎn)擊 這里 獲取授權(quán)鸦致。本文由 版權(quán)印 提供保護(hù)潮剪，禁止任何形式的未授權(quán)違規(guī)轉(zhuǎn)載，謝謝分唾！)
