hadoop命令

一、hadoop基本命令

兩種指令均可:

hadoop fs 或者 hdfs dfs?

1.查看hdfs文件系統(tǒng)中已經(jīng)存在的文件:

hadoop fs -ls /

2.在hdfs問價系統(tǒng)中創(chuàng)建文件

hadoop fs -touchz /test.txt? ?(/test.txt 指的是像根目錄下創(chuàng)建test.txt文件)

3.向hdfs文件系統(tǒng)中文件中追加內容

hadoop fs -appendToFile?edit1.xml /edits.txt #將本地磁盤當前目錄的edit1.xml內容追加到HDFS根目錄 的edits.txt文件

4.查看HDFS文件內容

hadoop fs -cat /test.txt? 查看根目錄下的test.txt 的內容

5.從本地路徑上傳hdfs

#用法:hdfs dfs -put /本地路徑 /hdfs路徑

hdfs dfs -put hadoop-2.7.3.tar.gz /

hdfs dfs -copyFromLocal hadoop-2.7.3.tar.gz /? ? 與put作用一樣

hdfs dfs -moveFromLocal hadoop-2.7.3.tar.gz /? 與put作用一樣,只不過厂画,源文件被拷貝成功后,會被刪除

6.在hdfs文件系統(tǒng)上下載文件

hdfs dfs -get /hdfs路徑 /本地路徑

hdfs dfs -copyToLocal /hdfs路徑 /本地路徑? #根get作用一樣

7.在hdfs文件系統(tǒng)中創(chuàng)建目錄

hdfs dfs -mkdir /shell

8.在hdfs文件系統(tǒng)中刪除文件

hdfs dfs -rm /edits.txt

hdfs dfs -rm -r /shell

9.在hdfs文件系統(tǒng)中修改文件名稱(也可以用來移動文件到目錄)

hdfs dfs -mv /xcall.sh /call.sh

hdfs dfs -mv /call.sh /shell

10.在hdfs中拷貝文件到目錄

hdfs dfs -cp /xrsync.sh /shell

11.遞歸刪除目錄

hdfs dfs -rmr /shell

12.列出本地文件的內容(默認是hdfs文件系統(tǒng))

hdfs dfs -ls file:///home/hadoop/

13.查找文件

# linux find命令

find . -name 'edit*'

# HDFS find命令

hadoop fs -find / -name part-r-00000 # 在HDFS根目錄中现柠,查找part-r-00000文件

二脱惰、與getconf結合使用

獲取NameNode的節(jié)點名稱(可能有多個)

hdfs getconf -namenodes?

獲取hdfs最小塊信息

hdfs getconf -confKey dfs.namenode.fs-limits.min-block-size

查找hdfs的NameNode的RPC地址

hdfs getconf -nnRpcAddresses

三抱怔、 hdfs與dfsadmin結合使用

借助幫助信息

hdfs dfsadmin -help safemode

查看hdfs dfsadmin的幫助信息

hdfs dfsadmin

查看當前的模式

hdfs dfsadmin -safemode get

進入安全模式

hdfs dfsadmin -safemode enter

4. hdfs與fsck結合使用

fsck指令顯示HDFS塊信息

hdfs fsck /02-041-0029.mp4 -files -blocks -locations # 查看文件02-041-0029.mp4的塊信息

5. 其他命令

檢查壓縮庫本地安裝情況

hadoop checknative

格式化名稱節(jié)點(慎用蛀柴,一般只在初次搭建集群螃概,使用一次;格式化成功后鸽疾,不要再使用)

hadoop namenode -format

執(zhí)行自定義jar包

hadoop jar xxxx.jar com.xxx.hadoop.WordCount? /world.txt /out

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末吊洼,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子制肮,更是在濱河造成了極大的恐慌冒窍,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,470評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件豺鼻,死亡現(xiàn)場離奇詭異综液,居然都是意外死亡,警方通過查閱死者的電腦和手機儒飒,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,393評論 3 392
  • 文/潘曉璐 我一進店門谬莹,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人桩了,你說我怎么就攤上這事附帽。” “怎么了井誉?”我有些...
    開封第一講書人閱讀 162,577評論 0 353
  • 文/不壞的土叔 我叫張陵士葫,是天一觀的道長。 經(jīng)常有香客問我送悔,道長慢显,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,176評論 1 292
  • 正文 為了忘掉前任欠啤,我火速辦了婚禮荚藻,結果婚禮上,老公的妹妹穿的比我還像新娘洁段。我一直安慰自己应狱,他們只是感情好,可當我...
    茶點故事閱讀 67,189評論 6 388
  • 文/花漫 我一把揭開白布祠丝。 她就那樣靜靜地躺著疾呻,像睡著了一般。 火紅的嫁衣襯著肌膚如雪写半。 梳的紋絲不亂的頭發(fā)上岸蜗,一...
    開封第一講書人閱讀 51,155評論 1 299
  • 那天,我揣著相機與錄音叠蝇,去河邊找鬼璃岳。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的铃慷。 我是一名探鬼主播单芜,決...
    沈念sama閱讀 40,041評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼犁柜!你這毒婦竟也來了洲鸠?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 38,903評論 0 274
  • 序言:老撾萬榮一對情侶失蹤馋缅,失蹤者是張志新(化名)和其女友劉穎扒腕,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體股囊,經(jīng)...
    沈念sama閱讀 45,319評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡袜匿,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,539評論 2 332
  • 正文 我和宋清朗相戀三年更啄,在試婚紗的時候發(fā)現(xiàn)自己被綠了稚疹。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,703評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡祭务,死狀恐怖内狗,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情义锥,我是刑警寧澤柳沙,帶...
    沈念sama閱讀 35,417評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站拌倍,受9級特大地震影響赂鲤,放射性物質發(fā)生泄漏。R本人自食惡果不足惜柱恤,卻給世界環(huán)境...
    茶點故事閱讀 41,013評論 3 325
  • 文/蒙蒙 一数初、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧梗顺,春花似錦泡孩、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,664評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至变屁,卻和暖如春眼俊,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背粟关。 一陣腳步聲響...
    開封第一講書人閱讀 32,818評論 1 269
  • 我被黑心中介騙來泰國打工泵琳, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留派阱,地道東北人偎巢。 一個月前我還...
    沈念sama閱讀 47,711評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親怠硼。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,601評論 2 353

推薦閱讀更多精彩內容

  • 一涮母、前述 分享一篇hadoop的常用命令的總結挟冠,將常用的Hadoop命令總結如下。 二巩梢、具體 1创泄、啟動hadoop...
    BI羅閱讀 600評論 0 0
  • 首先,我們在使用前先看看HDFS是什麼括蝠?這將有助于我們是以后的運維使用和故障排除思路的獲得鞠抑。 HDFS采用mast...
    W_Bousquet閱讀 4,194評論 0 2
  • HDFS前言l 設計思想 分而治之:將大文件、大批量文件忌警,分布式存放在大量服務器上搁拙,以便于采取分而治之的方式對海量...
    NickYS閱讀 657評論 0 48
  • 與其 通過規(guī)章制度讓大家 遵守 某項規(guī)定 ,時而還要擔驚受怕 總有那么一小嘬人 冒天下之大不韙 以身試法 ...
    Helen_Cat閱讀 11,265評論 0 0
  • 王冬冬法绵,中原焦點講師心理咨詢師箕速,持續(xù)記錄624天(2019.8.22) 閱讀打卡第407天:《兒童與青少年焦點解決...
    和佛陀去賞花閱讀 153評論 0 3