hadoop fs

1.調(diào)用Hadoop的文件系統(tǒng)Shell(FileSystem Shell)的命令格式:
語法:hadoop fs <args>:前提是位置位于hadoop/bin下固以,其中fs是參數(shù)秽晚,表示FS Shell,<args>是fs的子命令
2.使用FS Shell命令行管理文件:
mkdir  -創(chuàng)建目錄

語法:hadoop fs -mkdir <paths>
例子:
hadoop fs -mkdir /user:在HDFS中創(chuàng)建"/user"目錄

hadoop fs -mkdir /user/hadoop:在HDFS中創(chuàng)建"/user/hadoop"目錄

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2:在HDFS中同時創(chuàng)建"/user/hadoop/dir1"和"/user/hadoop/dir2"大磺,目錄
ls -查看列表文件

語法:hadoop fs -ls <args>
如果是文件贡歧,則按照如下格式返回文件信息:
文件名<副本數(shù)> 文件大小 修改日期 修改時間 權(quán)限 用戶ID 組ID

如果是目錄滩租,則返回它直接子文件的一個列表
cat -查看文件

語法:hadoop fs -cat URI <URI...>:輸出路徑指定文件的內(nèi)容
例子:
hadoop fs -cat /input2/file1.txt  /input2/file2.txt:在HDFS中查看input2目錄下的file1.txt和file2.txt的文件內(nèi)容
put -從本地文件系統(tǒng)中復制一個或多個文件到HDFS(外部命令)

語法:hadoop fs -put <localsrc>...<dst>
其中l(wèi)ocalsrc只能是本地文件赋秀,dst只能是HDFS文件,且不受fs.defaultFS屬性影響律想。

例子:
hadoop fs -put /home/hduser/file/file1.txt /input2
-將本地文件復制到HDFS目錄"input2"

hadoop fs -put /home/hduser/file/file1.txt /home/hduser/file/file2.txt /input2
-將多個本地文件復制到HDFS目錄"input2"

hadoop fs -put - /input2/file3
-從標準輸入中讀取輸入猎莲,按Ctrl+C組合鍵退出并保存到"file3"
get -復制HDFS文件到本地系統(tǒng)(外部命令,是put命令的逆操作)

語法:hadoop fs -get <src><localdst>
其中src只能是HDFS文件技即,localdst只能是本地文件著洼,且同樣不受fs.defaultFS屬性影響

例子:
hadoop fs -get /input2/file1.txt /sa/file
-將HDFS目錄"input2"下的file1.txt文件復制到本地系統(tǒng)目錄"sa"下的file文件夾中
mv -移動、剪切命令

語法:hadoop fs -mv URI [URI...] <dest>:將文件從源路徑移動到目標路徑而叼,允許多個源路徑身笤,目標路徑必須是一個目錄

例子:
hadoop fs -mv /input2/file1.txt /input2/file2.txt /user/hadoop/dir1
-將HDFS上"input2"文件夾中的file1.txt和file2.txt文件移動到"/user/hadoop/dir1"文件夾中
cp -復制命令

語法:hadoop fs -cp URI [URI...] <dest>:將文件從源路徑復制到目標路徑,允許多個源路徑葵陵,目標路徑必須是一個目錄

例子:
hadoop fs -cp /input2/file1.txt /input2/file2.txt /user/hadoop/dir1
-將HDFS上"input2"文件夾中的file1.txt和file2.txt文件復制到"/user/hadoop/dir1"文件夾中
rm液荸、rmr -刪除文件

1.rm命令
語法:hadoop fs -rm URI [URI...]
刪除指定的文件,只刪除非空目錄和文件

例子:
hadoop fs -rm /input2/file1.txt
-在HDFS中刪除input2文件夾下的file1.txt文件

2.rmr命令
語法:hadoop fs -rmr URI [URI...]
rm的遞歸版本脱篙,整個文件夾及子文件將全部刪除
例子:
hadoop fs -rmr /user/hadoop/dir1
-在HDFS中直接刪除" /user/hadoop/dir1"路徑中dir1文件夾及該文件夾中的子文件
test莹弊、du、expubge -管理命令

1.test命令
語法:hadoop fs -test -[選項] URI
選項:
 -e:檢查文件是否存在涡尘,如果存在則返回0,不存在返回1响迂;
 -z:檢查文件是否存在內(nèi)容考抄,有內(nèi)容返回1,沒有內(nèi)容返回0(檢查文件的大小是否是0字節(jié)蔗彤,文件大小是0字節(jié)返回0川梅,不是0字節(jié)返回1);
 -d:檢查路徑是否為目錄然遏,如果是則返回1贫途,不是則返回0.

例子:
hadoop fs -test -e /input2/file1.txt 
-檢查文件是否存在
echo $?   -#"$?"是Linux變量,存儲上一條命令的返回值待侵,"echo $?"表示輸出命令行返回的數(shù)值丢早。

2.du命令
語法:hadoop fs -du URI [URI...]
-顯示目錄中所有文件的大小

例子:
hadoop fs -du /input2
-在HDFS中顯示input2文件夾的大小,如果是目錄則列出所有文件及其大小

hadoop fs -du /input2/file1.txt
-在HDFS中顯示input2文件夾下fil1.txt文件的大小秧倾,如果是目錄則統(tǒng)計總大小

3.expunge命令
語法:hadoop fs -expunge
-清空回收站
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末怨酝,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子那先,更是在濱河造成了極大的恐慌农猬,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,185評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件售淡,死亡現(xiàn)場離奇詭異斤葱,居然都是意外死亡慷垮,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,652評論 3 393
  • 文/潘曉璐 我一進店門揍堕,熙熙樓的掌柜王于貴愁眉苦臉地迎上來料身,“玉大人,你說我怎么就攤上這事鹤啡」咄眨” “怎么了?”我有些...
    開封第一講書人閱讀 163,524評論 0 353
  • 文/不壞的土叔 我叫張陵递瑰,是天一觀的道長祟牲。 經(jīng)常有香客問我,道長抖部,這世上最難降的妖魔是什么说贝? 我笑而不...
    開封第一講書人閱讀 58,339評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮慎颗,結(jié)果婚禮上乡恕,老公的妹妹穿的比我還像新娘。我一直安慰自己俯萎,他們只是感情好傲宜,可當我...
    茶點故事閱讀 67,387評論 6 391
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著夫啊,像睡著了一般函卒。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上撇眯,一...
    開封第一講書人閱讀 51,287評論 1 301
  • 那天报嵌,我揣著相機與錄音,去河邊找鬼熊榛。 笑死锚国,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的玄坦。 我是一名探鬼主播血筑,決...
    沈念sama閱讀 40,130評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼煎楣!你這毒婦竟也來了云挟?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,985評論 0 275
  • 序言:老撾萬榮一對情侶失蹤转质,失蹤者是張志新(化名)和其女友劉穎园欣,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體休蟹,經(jīng)...
    沈念sama閱讀 45,420評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡沸枯,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,617評論 3 334
  • 正文 我和宋清朗相戀三年日矫,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片绑榴。...
    茶點故事閱讀 39,779評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡哪轿,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出翔怎,到底是詐尸還是另有隱情窃诉,我是刑警寧澤,帶...
    沈念sama閱讀 35,477評論 5 345
  • 正文 年R本政府宣布赤套,位于F島的核電站飘痛,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏容握。R本人自食惡果不足惜宣脉,卻給世界環(huán)境...
    茶點故事閱讀 41,088評論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望剔氏。 院中可真熱鬧塑猖,春花似錦、人聲如沸谈跛。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,716評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽感憾。三九已至践险,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間吹菱,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,857評論 1 269
  • 我被黑心中介騙來泰國打工彭则, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留鳍刷,地道東北人。 一個月前我還...
    沈念sama閱讀 47,876評論 2 370
  • 正文 我出身青樓俯抖,卻偏偏與公主長得像输瓜,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子芬萍,可洞房花燭夜當晚...
    茶點故事閱讀 44,700評論 2 354

推薦閱讀更多精彩內(nèi)容