測(cè)試環(huán)境:
服務(wù)器加工作站結(jié)合的虛擬機(jī)環(huán)境
測(cè)試過程
由于只是想知道hdfs大概的io性能翰撑,所以選擇將一個(gè)大小為4.16G的文件分別通過HDFS的上傳速度和scp的速度對(duì)比幽污。具體數(shù)據(jù)給出如下:
這個(gè)測(cè)試太粗糙础淤,節(jié)點(diǎn)中有一個(gè)是本地工作站的虛擬機(jī),很可能影響hdfs的網(wǎng)絡(luò)速度。但是也能看出下載上傳快弊仪,沒有scp速度快归露。
hdfs的單點(diǎn)下載要比上傳快大約1倍洲脂。假如通過hdfs實(shí)現(xiàn)集群中兩個(gè)結(jié)點(diǎn)之間的文件傳輸(一個(gè)節(jié)點(diǎn)上傳,另一個(gè)節(jié)點(diǎn)下載)剧包,從上面1GB文件測(cè)試結(jié)果看恐锦,用時(shí)大約在1分鐘左右,而scp用時(shí)半分鐘左右疆液,scp快了一倍一铅,如果用socket,速度應(yīng)該會(huì)更快堕油。
所以如果點(diǎn)對(duì)點(diǎn)傳文件潘飘,不建議hdfs!
結(jié)論就是掉缺,hdfs傳輸中間結(jié)果也許可以在一些特殊場(chǎng)合下用卜录。但更通用的是直接的網(wǎng)絡(luò)傳輸,并且在傳輸時(shí)使用適當(dāng)?shù)膲嚎s(如scp的-C參數(shù))眶明。