1.Hadoop官網(wǎng)
http://hadoop.apache.org/
2.hadoop版本說明
①.hadoop1.x：
HDFS：分布式文件系統(tǒng)，存儲(chǔ)
MapReduce：分布式計(jì)算+資源調(diào)度和作業(yè)調(diào)度
②.hadoop2.x：
HDFS：存儲(chǔ)
MapReduce：計(jì)算
Yarn：YetAnother Resource Negotiator 資源調(diào)度和作業(yè)調(diào)度平臺(tái)
3.hadoop編譯要求

Github：https://github.com/apache/hadoop
        https://github.com/apache/hadoop/blob/trunk/BUILDING.txt

打開BUILDING.txt查看hadoop-2.8.1-src需求
[root@rzdatahadoop002 hadoop-2.8.1-src]# more BUILDING.txt

Build instructions for Hadoop
--------------------------------------------------------------------------------
Requirements:

* Unix System
* JDK 1.7+
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
* Zlib devel (if compiling native code)
* openssl devel (if compiling native hadoop-pipes and to get the best HDFS encry
ption performance)
* Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_d
fs)
* Internet connection for first build (to fetch all Maven and Hadoop dependencie
s)
-------------------------------------------------------------------------------

4.Java安裝
新建目錄：mkdir /usr/java
上傳安裝包：rz jdk-8u45-linux-x64.gz
解壓壓縮包：tar -xzvf jdk-8u45-linux-x64.gz得到j(luò)dk1.8.0_45
修改用戶、用戶組：
chown -R root:root jdk1.8.0_45 或
chown -R root:root jdk1.8.0_45/*
配置環(huán)境變量：
vi /etc/profile
在最后添加

export JAVA_HOME=/usr/java/jdk1.8.0_45
export PATH=$JAVA_HOME/bin:$PATH

執(zhí)行生效：source /etc/profile
查看版本：java -version
5.maven 安裝
新建目錄：mkdir /opt/sodtware
上傳安裝包：rz apache-maven-3.3.9-bin.zip
解壓壓縮包：unzip jdk-8u45-linux-x64.gz得到apache-maven-3.3.9
配置環(huán)境變量：
vi /etc/profile
在最后添加

export MAVEN_HOME=/opt/software/apache-maven-3.3.9
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

執(zhí)行生效：source /etc/profile
查看版本： mvn -version
6.protobuf安裝
上傳安裝包到/opt/software：rz protobuf-2.5.0.tar.gz
解壓：tar -xzvf protobuf-2.5.0.tar.gz得到protobuf-2.5.0
進(jìn)入protobuf-2.5.0目錄：cd protobuf-2.5.0
安裝依賴包：
yum install -y gcc gcc-c++ make cmake
配置： ./configure --prefix=/usr/local/protobuf
安裝：make && make install
配置環(huán)境變量：
vi /etc/profile
在最后添加

export PROTOC_HOME=/usr/local/protobuf
export PATH=$PROTOC_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

執(zhí)行生效：source /etc/profile
查看版本： protoc --version
7.findbugs安裝
上傳安裝包到/opt/software：rz findbugs-1.3.9.zip
解壓：unzip findbugs-1.3.9.zip得到findbugs-1.3.9
配置環(huán)境變量：
vi /etc/profile
在最后添加

export FINDBUGS_HOME=/opt/software/findbugs-1.3.9
export PATH=$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

執(zhí)行生效：source /etc/profile
查看版本：findbugs -version
8.hadoop編譯
安裝依賴包：
yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake
新建目錄：mkdir /opt/sourcecdoe
上傳源碼包：rz hadoop-2.8.1-src.tar.gz
解壓縮：tar -xzvf hadoop-2.8.1-src.tar.gz得到hadoop-2.8.1-src
進(jìn)入目錄：cd hadoop-2.8.1-src
編譯：mvn clean package -Pdist,native -DskipTests -Dtar

download需要3.5h
不想download就使用.m2.tar.gz -->解壓-->root家目錄

編譯好的tar包
/opt/sourcecode/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz

提醒：
1化焕、有時(shí)候編譯過程中會(huì)出現(xiàn)下載某個(gè)包的時(shí)間太久宾符，這是由于連接網(wǎng)站的過程中會(huì)出現(xiàn)假死嚼沿，
此時(shí)按ctrl+c蒸绩，重新運(yùn)行編譯命令祭钉。
2骤菠、如果出現(xiàn)缺少了某個(gè)文件的情況它改，則要先清理maven(使用命令 mvn clean) 再重新編譯。
9.hadoop編譯報(bào)錯(cuò)