單個hdfs Shell文件操作
hadoop fs -cp 文件名 路徑?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?? ? 將文件復(fù)制到路徑
hadoop fs -ls 路徑 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 查看hadoop根目錄下的所有文件
hadoop fs -text ?路徑 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??? ??? ??? ??hadoop中查看文件的內(nèi)容
hadoop fs -cat ?路徑 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?hadoop中查看文件的內(nèi)容
hadoop fs -mkdir 路徑 ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ??? ??? ??? ??? ??? ?hadoop建立文件夾/文件
hadoop fs -mkdir -p 路徑? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ??? ??? ?建立多個具有層次的文件夾
hadoop fs -ls -R 路徑? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ??? ?遞歸查看當(dāng)前目錄下的內(nèi)容
hadoop fs -put 文件名 路徑 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 從本地傳文件到hadoop目錄
hadoop fs -copyFromLocal 文件名 ?路徑?? ???? ???? ?? ?? ? ?將當(dāng)前目錄下的文件拷貝到hadoop某一路徑
hadoop fs -get 文件名 ?路徑 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?下載hadoop中的文件到目錄
hadoop fs -copyToLocal 文件名 路徑?? ??? ??? ??? ??? ??? ?? ?下載hadoop中的文件到目錄
hadoop fs -rm ?路徑?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ???? ??? ? ?刪除文件(文件夾不可刪除)
hadoop fs -rm -R 路徑?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?? ?? ??? ? 遞歸刪除(可刪除文件)
hadoop fs -appendToFile - 文件? ???? ??? ??? ??? ??? ??? ????? ?? ? 向文件添加內(nèi)容(control+c保存退出)
多個hdfs Shell文件操作
hadoop distcp 源文件路徑(絕對路徑) 目標(biāo)路徑?? ??? ?? ? 將文件從源文件集群復(fù)制到目標(biāo)集群路徑
hadoop distcp -update源文件路徑(絕對路徑) 目標(biāo)路徑 ? ? ? ? ?文件更新(防止報(bào)錯提高效率)
hadoop distcp -overwrite?源文件路徑(絕對路徑) 目標(biāo)路徑 ? ? ? ? ?文件覆蓋
hadoop管理員常見命令
hadoop job -list?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?? ??? ? 查看正在運(yùn)行的job
hadoop job -kill job名稱?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?? ? 關(guān)閉正在運(yùn)行的job?? ?
hadoop job fsck 路徑?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?? ? 檢查hdfs塊狀態(tài),是否損壞
hadoop job fsck 路徑 -delete?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?? ? 檢查hdfs塊狀態(tài),并刪除損壞塊
hadoop job dfsadmin -report?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?? ? 檢查hdfs狀態(tài),包含DataNode
hadoop job dfsadmin -safemode enter/leave?? ??? ??? ??? ?? ? hadoop進(jìn)入/離開安全模式
sbin/start-balancer.sh?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?? ? 平衡集群中的文件