1.調(diào)用Hadoop的文件系統(tǒng)Shell(FileSystem Shell)的命令格式:
語法:hadoop fs <args>:前提是位置位于hadoop/bin下固以,其中fs是參數(shù)秽晚,表示FS Shell,<args>是fs的子命令
2.使用FS Shell命令行管理文件:
mkdir -創(chuàng)建目錄
語法:hadoop fs -mkdir <paths>
例子:
hadoop fs -mkdir /user:在HDFS中創(chuàng)建"/user"目錄
hadoop fs -mkdir /user/hadoop:在HDFS中創(chuàng)建"/user/hadoop"目錄
hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2:在HDFS中同時創(chuàng)建"/user/hadoop/dir1"和"/user/hadoop/dir2"大磺,目錄
ls -查看列表文件
語法:hadoop fs -ls <args>
如果是文件贡歧,則按照如下格式返回文件信息:
文件名<副本數(shù)> 文件大小 修改日期 修改時間 權(quán)限 用戶ID 組ID
如果是目錄滩租,則返回它直接子文件的一個列表
cat -查看文件
語法:hadoop fs -cat URI <URI...>:輸出路徑指定文件的內(nèi)容
例子:
hadoop fs -cat /input2/file1.txt /input2/file2.txt:在HDFS中查看input2目錄下的file1.txt和file2.txt的文件內(nèi)容
put -從本地文件系統(tǒng)中復制一個或多個文件到HDFS(外部命令)
語法:hadoop fs -put <localsrc>...<dst>
其中l(wèi)ocalsrc只能是本地文件赋秀,dst只能是HDFS文件,且不受fs.defaultFS屬性影響律想。
例子:
hadoop fs -put /home/hduser/file/file1.txt /input2
-將本地文件復制到HDFS目錄"input2"
hadoop fs -put /home/hduser/file/file1.txt /home/hduser/file/file2.txt /input2
-將多個本地文件復制到HDFS目錄"input2"
hadoop fs -put - /input2/file3
-從標準輸入中讀取輸入猎莲,按Ctrl+C組合鍵退出并保存到"file3"
get -復制HDFS文件到本地系統(tǒng)(外部命令,是put命令的逆操作)
語法:hadoop fs -get <src><localdst>
其中src只能是HDFS文件技即,localdst只能是本地文件著洼,且同樣不受fs.defaultFS屬性影響
例子:
hadoop fs -get /input2/file1.txt /sa/file
-將HDFS目錄"input2"下的file1.txt文件復制到本地系統(tǒng)目錄"sa"下的file文件夾中
mv -移動、剪切命令
語法:hadoop fs -mv URI [URI...] <dest>:將文件從源路徑移動到目標路徑而叼,允許多個源路徑身笤,目標路徑必須是一個目錄
例子:
hadoop fs -mv /input2/file1.txt /input2/file2.txt /user/hadoop/dir1
-將HDFS上"input2"文件夾中的file1.txt和file2.txt文件移動到"/user/hadoop/dir1"文件夾中
cp -復制命令
語法:hadoop fs -cp URI [URI...] <dest>:將文件從源路徑復制到目標路徑,允許多個源路徑葵陵,目標路徑必須是一個目錄
例子:
hadoop fs -cp /input2/file1.txt /input2/file2.txt /user/hadoop/dir1
-將HDFS上"input2"文件夾中的file1.txt和file2.txt文件復制到"/user/hadoop/dir1"文件夾中
rm液荸、rmr -刪除文件
1.rm命令
語法:hadoop fs -rm URI [URI...]
刪除指定的文件,只刪除非空目錄和文件
例子:
hadoop fs -rm /input2/file1.txt
-在HDFS中刪除input2文件夾下的file1.txt文件
2.rmr命令
語法:hadoop fs -rmr URI [URI...]
rm的遞歸版本脱篙,整個文件夾及子文件將全部刪除
例子:
hadoop fs -rmr /user/hadoop/dir1
-在HDFS中直接刪除" /user/hadoop/dir1"路徑中dir1文件夾及該文件夾中的子文件
test莹弊、du、expubge -管理命令
1.test命令
語法:hadoop fs -test -[選項] URI
選項:
-e:檢查文件是否存在涡尘,如果存在則返回0,不存在返回1响迂;
-z:檢查文件是否存在內(nèi)容考抄,有內(nèi)容返回1,沒有內(nèi)容返回0(檢查文件的大小是否是0字節(jié)蔗彤,文件大小是0字節(jié)返回0川梅,不是0字節(jié)返回1);
-d:檢查路徑是否為目錄然遏,如果是則返回1贫途,不是則返回0.
例子:
hadoop fs -test -e /input2/file1.txt
-檢查文件是否存在
echo $? -#"$?"是Linux變量,存儲上一條命令的返回值待侵,"echo $?"表示輸出命令行返回的數(shù)值丢早。
2.du命令
語法:hadoop fs -du URI [URI...]
-顯示目錄中所有文件的大小
例子:
hadoop fs -du /input2
-在HDFS中顯示input2文件夾的大小,如果是目錄則列出所有文件及其大小
hadoop fs -du /input2/file1.txt
-在HDFS中顯示input2文件夾下fil1.txt文件的大小秧倾,如果是目錄則統(tǒng)計總大小
3.expunge命令
語法:hadoop fs -expunge
-清空回收站
hadoop fs
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
- 文/潘曉璐 我一進店門揍堕,熙熙樓的掌柜王于貴愁眉苦臉地迎上來料身,“玉大人,你說我怎么就攤上這事鹤啡」咄眨” “怎么了?”我有些...
- 文/不壞的土叔 我叫張陵递瑰,是天一觀的道長祟牲。 經(jīng)常有香客問我,道長抖部,這世上最難降的妖魔是什么说贝? 我笑而不...
- 正文 為了忘掉前任,我火速辦了婚禮慎颗,結(jié)果婚禮上乡恕,老公的妹妹穿的比我還像新娘。我一直安慰自己俯萎,他們只是感情好傲宜,可當我...
- 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著夫啊,像睡著了一般函卒。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上撇眯,一...
- 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼煎楣!你這毒婦竟也來了云挟?” 一聲冷哼從身側(cè)響起,我...
- 正文 年R本政府宣布赤套,位于F島的核電站飘痛,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏容握。R本人自食惡果不足惜宣脉,卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望剔氏。 院中可真熱鬧塑猖,春花似錦、人聲如沸谈跛。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽感憾。三九已至践险,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間吹菱,已是汗流浹背。 一陣腳步聲響...
推薦閱讀更多精彩內(nèi)容
- 1尤揣,hadoop fs –fs [local | <file system URI>]:聲明hadoop使用的文件...
- 1,Hadoopfs –fs [local |]:聲明Hadoop使用的文件系統(tǒng)柬祠,如果不聲明的話北戏,使用當前配置文件...
- 調(diào)用文件系統(tǒng)(FS)Shell命令應(yīng)使用bin/hadoopfs的形式。 所有的的FSshell命令使用URI路徑...