上一篇：079-BigData-07hadoop偽分布式和分布式
一作谭、HDFS概念
1贝或、概念
HDFS，它是一個文件系統(tǒng)酱床，全稱：Hadoop Distributed File System昧捷，用于存儲文件通過目錄樹來定位文件靡挥；其次贮泞，它是分布式的啃擦，由很多服務(wù)器聯(lián)合起來實現(xiàn)其功能令蛉，集群中的服務(wù)器有各自的角色。
2祷安、組成
1）HDFS集群包括汇鞭，NameNode和DataNode以及Secondary Namenode。
2）NameNode負責(zé)管理整個文件系統(tǒng)的元數(shù)據(jù)读整，以及每一個路徑（文件）所對應(yīng)的數(shù)據(jù)塊信息米间。
3）DataNode 負責(zé)管理用戶的文件數(shù)據(jù)塊，每一個數(shù)據(jù)塊都可以在多個datanode上存儲多個副本另玖。
4）Secondary NameNode用來監(jiān)控HDFS狀態(tài)的輔助后臺程序，每隔一段時間獲取HDFS元數(shù)據(jù)的快照蹦哼。
3妆丘、HDFS 文件塊大小
HDFS中的文件在物理上是分塊存儲（block）奶赠，塊的大小可以通過配置參數(shù)( dfs.blocksize)來規(guī)定毅戈，默認大小在hadoop2.x版本中是128M，老版本中是64M
HDFS的塊比磁盤的塊大扇单，其目的是為了最小化尋址開銷。如果塊設(shè)置得足夠大凉倚，從磁盤傳輸數(shù)據(jù)的時間會明顯大于定位這個塊開始位置所需的時間。因而杏糙，傳輸一個由多個塊組成的文件的時間取決于磁盤傳輸速率宏侍。
如果尋址時間約為10ms，而傳輸速率為100MB/s绷耍，為了使尋址時間僅占傳輸時間的1%，我們要將塊大小設(shè)置約為100MB崎苗。默認的塊大小128MB肌蜻。
塊的大兴纹邸：10ms100100M/s = 100M
二祷杈、命令行操作
1但汞、上傳文件
傳一個test文件
hdfs dfs -put test /
然后在網(wǎng)頁查看
2、基本語法
bin/hadoop fs 具體命令
參數(shù)：
[-appendToFile <localsrc> ... <dst>]
[-cat [-ignoreCrc] <src> ...]
[-checksum <src> ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] <localsrc> ... <dst>]
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-count [-q] <path> ...]
[-cp [-f] [-p] <src> ... <dst>]
[-createSnapshot <snapshotDir> [<snapshotName>]]
[-deleteSnapshot <snapshotDir> <snapshotName>]
[-df [-h] [<path> ...]]
[-du [-s] [-h] <path> ...]
[-expunge]
[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getmerge [-nl] <src> <localdst>]
[-help [cmd ...]]
[-ls [-d] [-h] [-R] [<path> ...]]
[-mkdir [-p] <path> ...]
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setrep [-R] [-w] <rep> <path> ...]
[-stat [format] <path> ...]
[-tail [-f] <file>]
[-test -[defsz] <path>]
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...]
[-usage [cmd ...]]
3容贝、常用命令實操
（1）-help：輸出這個命令參數(shù)
bin/hdfs dfs -help rm
（2）-ls: 顯示目錄信息
hadoop fs -ls /
Hadoop fs -lsr /
（3）-mkdir：在hdfs上創(chuàng)建目錄
hadoop fs -mkdir -p /hdfs路徑
（4）-moveFromLocal從本地剪切粘貼到hdfs
hadoop fs -moveFromLocal 本地路徑 /hdfs路徑
（5）--appendToFile ：追加一個文件到已經(jīng)存在的文件末尾
hadoop fs -appendToFile 本地路徑 /hdfs路徑
（6）-cat ：顯示文件內(nèi)容
hadoop fs -cat /hdfs路徑
（7）-tail -f：監(jiān)控文件
hadoop fs -tail -f /hdfs路徑
（8）-chmod、-chown：linux文件系統(tǒng)中的用法一樣，修改文件所屬權(quán)限
hadoop fs -chmod 777 /hdfs路徑
hadoop fs -chown someuser:somegrp /hdfs路徑
（9）-cp ：從hdfs的一個路徑拷貝到hdfs的另一個路徑
hadoop fs -cp /hdfs路徑1 / hdfs路徑2
（10）-mv：在hdfs目錄中移動/重命名 文件
hadoop fs -mv /hdfs路徑 / hdfs路徑
（11）-get：等同于copyToLocal满力，就是從hdfs下載文件到本地
hadoop fs -get / hdfs路徑 ./本地路徑
（12）-getmerge ：合并下載多個文到linux本地，比如hdfs的目錄 /aaa/下有多個文件:log.1, log.2,log.3,...（注：是合成到Linux本地）
hadoop fs -getmerge /aaa/log.* ./log.sum
合成到不同的目錄：hadoop fs -getmerge /hdfs1路徑 /hdfs2路徑 /
（13）-put：等同于copyFromLocal
hadoop fs -put /本地路徑 /hdfs路徑
（14）-rm：刪除文件或文件夾
hadoop fs -rm -r /hdfs路徑
（15）-df ：統(tǒng)計文件系統(tǒng)的可用空間信息
hadoop fs -df -h / hdfs路徑
（16）-du統(tǒng)計文件夾的大小信息
[root@bigdata131 hadoop-2.8.4]$ hadoop fs -du -s -h / hdfs路徑
188.5 M /user/root/wcinput
[root@bigdata131 hadoop-2.8.4] hadoop fs -count / hdfs路徑
1 2 197657784 / hdfs路徑
嵌套文件層級悔耘； 包含文件的總數(shù)
（18）-setrep：設(shè)置hdfs中文件的副本數(shù)量：3是副本數(shù)，可改
hadoop fs -setrep 3 / hdfs路徑
這里設(shè)置的副本數(shù)只是記錄在namenode的元數(shù)據(jù)中我擂，是否真的會有這么多副本衬以，還得看datanode的數(shù)量缓艳。因為目前只有3臺設(shè)備，最多也就3個副本看峻，只有節(jié)點數(shù)的增加到10臺時阶淘，副本數(shù)才能達到10溪窒。
三宛瞄、Maven準(zhǔn)備
Binary：編譯之后的二進制文件
Source：表示可以查看源代碼的，比Binary大一點
修改配置：
然后再換一個快的下載源摩幔，目前阿里云稍微快點舶担。
<!--使用阿里云鏡像去下載Jar包蒲跨，速度更快-->
<mirrors>
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
</mirrors>
打開IDEA捌臊，選擇maven工程
創(chuàng)建一個maven工程举庶，好了后界面：
創(chuàng)建好之后替梨，再設(shè)置一下maven：
我們不用默認的信认，用我們自己的maven清寇，所以選擇一下：
配置文件和下載路徑也選擇一下：
其中下載地址已經(jīng)自動識別了妥泉。但配置文件需要手選一下。
可以坐等下載一下何鸡。
跑一下：
可以跑通龙亲。
接下來是重點配置：
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.8.4</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.8.4</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.8.4</version>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.16.10</version>
</dependency>
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>1.7.7</version>
</dependency>
<!-- https://mvnrepository.com/artifact/junit/junit -->
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
<scope>test</scope>
</dependency>
</dependencies>
配置然后下載。
接下來更重要。
我們把Linux的hadoop包直接解壓到j(luò)dk目錄里面：
提取碼：vq34
下載上面文件放進bin目錄下：
這樣做的目的就是：可以在win里面用一些hadoop命令了钉跷。
配置win電腦的HADOOP_HOME環(huán)境變量：
PATH里面也要添加上：
上面修改hadoop和jdk同級目錄。
附：Mac版本
選擇binary zip archive下載
conf文件下有一個settings.xml文件。在這里面我們可以修改一下鏡像的位置，默認的鏡像下載速度很慢，我們可以換成阿里云的鏡像。
<mirror>
<!--This sends everything else to /public -->
<id>nexus</id>
<mirrorOf>*</mirrorOf>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</mirror>
<mirror>
<!--This is used to direct the public snapshots repo in the
profile below over to a different nexus group -->
<id>nexus-public-snapshots</id>
<mirrorOf>public-snapshots</mirrorOf>
<url>http://maven.aliyun.com/nexus/content/repositories/snapshots/</url>
</mirror>
我們也可以把倉庫的位置換了没隘，倉庫就是我們通過maven下載的jar包存放的地方眶诈。
寫自己想放的位置
<localRepository>/Users/mac03/apache-maven-3.6.1/repository</localRepository>
打開終端輸入命令 vim ~/.bash_profile （編輯環(huán)境變量配置文件）
vi ~/.bash_profile
遇到權(quán)限浙炼，加個sudo
在環(huán)境變量文件中加上如下的配置
export MAVEN_HOME=/Users/mac03/apache-maven-3.6.1/apache-maven/src
export PATH=$PATH:$MAVEN_HOME/bin
配置好以后宴偿，更新一下
source ~/.bash_profile
測試一下好了沒
mvn -v
這樣就代表配置好了
四娩践、測試一下是否好了
創(chuàng)建一個Java工程：
public class HdfsClientDemo1 {
public static void main(String[] args) throws Exception {
// 1 獲取文件系統(tǒng)
Configuration configuration = new Configuration();
// 配置在集群上運行
configuration.set("fs.defaultFS", "hdfs://bigdata131:9000");
FileSystem fileSystem = FileSystem.get(configuration);
// 直接配置訪問集群的路徑和訪問集群的用戶名稱
// FileSystem fileSystem = FileSystem.get(new URI("hdfs://bigdata111:9000"),configuration, "itstar");
// 2 把本地文件上傳到文件系統(tǒng)中
fileSystem.copyFromLocalFile(new Path("f:/hello.txt"), new Path("/hello1.copy.txt"));
// 3 關(guān)閉資源
fileSystem.close();
System.out.println("over");
}
}
按alt加回車導(dǎo)包，選hadoop的包
準(zhǔn)備好上傳的文件
跑一下，看看效果：
去看看成功沒：
果然傳過來了钉蒲！很好~
報紅解決如下：
提取碼：ywq1
