hadoop大數(shù)據(jù)入門篇-hdfs(一)

?????HDFS是一個高度容錯性的系統(tǒng),適合部署在廉價的機器上蒋搜。HDFS能提供高吞吐量的數(shù)據(jù)訪問,非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用!

? ? HDFS是大數(shù)據(jù)開發(fā)入門必備掌握知識荧琼,今天給大家介紹下hadoop一些常用的命令

????????????????????????????????????????????????? ?點擊鏈接丽惶,從零開始學(xué)習(xí)大數(shù)據(jù)

1.查看hadoop版本

hadoop version

2.創(chuàng)建hdfs文件夾

???hadoop?fs?-mkdir?-p?hdfs路徑

hadoop fs -mkdir -p /tmp/hdfs

3.本地文件上傳到hdfs

???hadoop?fs?-put?本地路徑?hdfs路徑

hadoop fs -put /home/program/hdfs/data/test.txt /tmp/hdfs/

4.查看hdfs目錄下文件

???hadoop?fs?-ls?hdfs路徑

hadoop fs -ls /tmp/hdfs/

5.查看hdfs目錄及其子目錄下所有文件

???hadoop?fs?-ls?-R?hdfs路徑

hadoop fs -ls -R /tmp/hdfs/

6.本地文件并上傳并覆蓋hdfs文件

????hadoop?fs?-put?-f?本地路徑?hdfs路徑

hadoop fs -put -f /home/program/hdfs/data/test.txt /tmp/hdfs/

7.查看hdfs上文件的內(nèi)容

????hadoop?fs?-cat?hdfs路徑

hadoop fs -cat /tmp/hdfs/test.txt

8.從hdfs上下載文件(需要確保本地文件test2.txt不存在)

????hadoop?fs?-get?/hdfs路徑?本地路徑

hadoop fs -get /tmp/hdfs/test.txt /home/program/hdfs/data/test2.txt

9.從hdfs上下載文件炫七,如果是目錄則合并目錄下所有文件

????hadoop?fs?-getmerge?hdfs路徑?本地文件

hadoop fs -getmerge /tmp/hdfs/test.txt /home/program/hdfs/data/test2.txt

hadoop fs -getmerge /tmp/hdfs /home/program/hdfs/data/test3.txt

10.查看hdfs目錄大小

? ? hadoop?fs?-du?-s?-h?hdfs路徑

hadoop fs -du -s -h /tmp/hdfs

11.刪除hdfs目錄下所有文件

? ? hadoop?fs?-rm?-R?hdfs路徑

hadoop fs -rm -R /tmp/hdfs/*

12.修改hdfs目錄用戶組

????hadoop fs -chgrp [-R] GROUP PATH...

hadoop fs -chgrp -R root /tmp/zhenglihan/cdhBigdata

13.修改hdfs目錄權(quán)限

????hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...

hadoop fs -chmod -R 777 /tmp/zhenglihan/cdhBigdata

14.修改hdfs目錄屬主

????#hadoop fs -chown [-R] [OWNER][:[GROUP]] PATH...

hadoop fs -chown -R root /tmp/zhenglihan/cdhBigdata

15.查看所有正在運行的application

yarn application -list

16.殺死執(zhí)行applicationid的application

yarn application -kill applicationid

17.查看已經(jīng)執(zhí)行完成的application日志

yarn logs -applicationId applicationid

??本文主要列舉了hadoop最常用的命令,更為深度的講解請掃描底部二維碼關(guān)注公眾號钾唬,關(guān)注后續(xù)博文诉字,一起學(xué)習(xí)hadoop大數(shù)據(jù)!


最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末知纷,一起剝皮案震驚了整個濱河市壤圃,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌琅轧,老刑警劉巖伍绳,帶你破解...
    沈念sama閱讀 212,718評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異乍桂,居然都是意外死亡冲杀,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,683評論 3 385
  • 文/潘曉璐 我一進店門睹酌,熙熙樓的掌柜王于貴愁眉苦臉地迎上來权谁,“玉大人,你說我怎么就攤上這事憋沿⊥浚” “怎么了?”我有些...
    開封第一講書人閱讀 158,207評論 0 348
  • 文/不壞的土叔 我叫張陵辐啄,是天一觀的道長采章。 經(jīng)常有香客問我,道長壶辜,這世上最難降的妖魔是什么悯舟? 我笑而不...
    開封第一講書人閱讀 56,755評論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮砸民,結(jié)果婚禮上抵怎,老公的妹妹穿的比我還像新娘奋救。我一直安慰自己,他們只是感情好反惕,可當我...
    茶點故事閱讀 65,862評論 6 386
  • 文/花漫 我一把揭開白布菠镇。 她就那樣靜靜地躺著,像睡著了一般承璃。 火紅的嫁衣襯著肌膚如雪利耍。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 50,050評論 1 291
  • 那天盔粹,我揣著相機與錄音隘梨,去河邊找鬼。 笑死舷嗡,一個胖子當著我的面吹牛轴猎,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播进萄,決...
    沈念sama閱讀 39,136評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼捻脖,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了中鼠?” 一聲冷哼從身側(cè)響起可婶,我...
    開封第一講書人閱讀 37,882評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎援雇,沒想到半個月后矛渴,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,330評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡惫搏,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,651評論 2 327
  • 正文 我和宋清朗相戀三年具温,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片筐赔。...
    茶點故事閱讀 38,789評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡铣猩,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出茴丰,到底是詐尸還是另有隱情达皿,我是刑警寧澤,帶...
    沈念sama閱讀 34,477評論 4 333
  • 正文 年R本政府宣布较沪,位于F島的核電站鳞绕,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏尸曼。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 40,135評論 3 317
  • 文/蒙蒙 一萄焦、第九天 我趴在偏房一處隱蔽的房頂上張望控轿。 院中可真熱鬧冤竹,春花似錦、人聲如沸茬射。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,864評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽在抛。三九已至钟病,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間刚梭,已是汗流浹背肠阱。 一陣腳步聲響...
    開封第一講書人閱讀 32,099評論 1 267
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留朴读,地道東北人屹徘。 一個月前我還...
    沈念sama閱讀 46,598評論 2 362
  • 正文 我出身青樓,卻偏偏與公主長得像衅金,于是被迫代替她去往敵國和親噪伊。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 43,697評論 2 351