一、hadoop基本命令
兩種指令均可:
hadoop fs 或者 hdfs dfs?
1.查看hdfs文件系統(tǒng)中已經(jīng)存在的文件:
hadoop fs -ls /
2.在hdfs問價系統(tǒng)中創(chuàng)建文件
hadoop fs -touchz /test.txt? ?(/test.txt 指的是像根目錄下創(chuàng)建test.txt文件)
3.向hdfs文件系統(tǒng)中文件中追加內容
hadoop fs -appendToFile?edit1.xml /edits.txt #將本地磁盤當前目錄的edit1.xml內容追加到HDFS根目錄 的edits.txt文件
4.查看HDFS文件內容
hadoop fs -cat /test.txt? 查看根目錄下的test.txt 的內容
5.從本地路徑上傳hdfs
#用法:hdfs dfs -put /本地路徑 /hdfs路徑
hdfs dfs -put hadoop-2.7.3.tar.gz /
hdfs dfs -copyFromLocal hadoop-2.7.3.tar.gz /? ? 與put作用一樣
hdfs dfs -moveFromLocal hadoop-2.7.3.tar.gz /? 與put作用一樣,只不過厂画,源文件被拷貝成功后,會被刪除
6.在hdfs文件系統(tǒng)上下載文件
hdfs dfs -get /hdfs路徑 /本地路徑
hdfs dfs -copyToLocal /hdfs路徑 /本地路徑? #根get作用一樣
7.在hdfs文件系統(tǒng)中創(chuàng)建目錄
hdfs dfs -mkdir /shell
8.在hdfs文件系統(tǒng)中刪除文件
hdfs dfs -rm /edits.txt
hdfs dfs -rm -r /shell
9.在hdfs文件系統(tǒng)中修改文件名稱(也可以用來移動文件到目錄)
hdfs dfs -mv /xcall.sh /call.sh
hdfs dfs -mv /call.sh /shell
10.在hdfs中拷貝文件到目錄
hdfs dfs -cp /xrsync.sh /shell
11.遞歸刪除目錄
hdfs dfs -rmr /shell
12.列出本地文件的內容(默認是hdfs文件系統(tǒng))
hdfs dfs -ls file:///home/hadoop/
13.查找文件
# linux find命令
find . -name 'edit*'
# HDFS find命令
hadoop fs -find / -name part-r-00000 # 在HDFS根目錄中现柠,查找part-r-00000文件
二脱惰、與getconf結合使用
獲取NameNode的節(jié)點名稱(可能有多個)
hdfs getconf -namenodes?
獲取hdfs最小塊信息
hdfs getconf -confKey dfs.namenode.fs-limits.min-block-size
查找hdfs的NameNode的RPC地址
hdfs getconf -nnRpcAddresses
三抱怔、 hdfs與dfsadmin結合使用
借助幫助信息
hdfs dfsadmin -help safemode
查看hdfs dfsadmin的幫助信息
hdfs dfsadmin
查看當前的模式
hdfs dfsadmin -safemode get
進入安全模式
hdfs dfsadmin -safemode enter
4. hdfs與fsck結合使用
fsck指令顯示HDFS塊信息
hdfs fsck /02-041-0029.mp4 -files -blocks -locations # 查看文件02-041-0029.mp4的塊信息
5. 其他命令
檢查壓縮庫本地安裝情況
hadoop checknative
格式化名稱節(jié)點(慎用蛀柴,一般只在初次搭建集群螃概,使用一次;格式化成功后鸽疾,不要再使用)
hadoop namenode -format
執(zhí)行自定義jar包
hadoop jar xxxx.jar com.xxx.hadoop.WordCount? /world.txt /out