1日杈、安裝bzip2以及各種依賴
yum -y install wget gcc gcc-c++ bzip2 bzip2-devel zlib zlib-devel openssl-devel curl curl-devel
2.安裝cmake
操作步驟如下:
1.下載cmake安裝包
wget https://cmake.org/files/v3.11/cmake-3.11.0.tar.gz
2.解壓安裝包
tar -zxvf cmake-3.11.0.tar.gz
3.安裝cmake
進(jìn)入解壓好的cmake-3.11.0目錄
./bootstrap && make && make install
【make install不指定目錄則都安裝在/usr/local/bin下】
3.安裝protobuf
步驟如下:
1.下載protobuf安裝包
wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz
2.解壓安裝包
tar -zxvf protobuf-2.5.0.tar.gz
3.安裝protubuf
cd protobuf-2.5.0
./configure --prefix=/protobuf-2.5.0/
make && make install
4.配置環(huán)境變量
pwd 【安裝文件在--profix指定的/protobuf-2.5.0/ 文件夾下】
/protobuf-2.5.0/bin
vim /etc/profile
export PATH=/protobuf-2.5.0/bin:$PATH
source /etc/profile
protoc --version
libprotoc 2.5.0
4.安裝snappy
步驟如下:
1.下載上傳snappy-1.1.1.tar.gz安裝包
自己網(wǎng)上找
2.解壓安裝包
tar -zxvf snappy-1.1.1.tar.gz
3.安裝snappy
cd snappy-1.1.1/
./configure
make && make install
4.檢查snappy是否安裝完成
ll /usr/local/lib/ | grep snappy
-rw-r--r-- 1 root root 329988 Apr 2 12:58 libsnappy.a
-rwxr-xr-x 1 root root 953 Apr 2 12:58 libsnappy.la
lrwxrwxrwx 1 root root 18 Apr 2 12:58 libsnappy.so -> libsnappy.so.1.2.0
lrwxrwxrwx 1 root root 18 Apr 2 12:58 libsnappy.so.1 -> libsnappy.so.1.2.0
-rwxr-xr-x 1 root root 164296 Apr 2 12:58 libsnappy.so.1.2.0
5挖腰、編譯Hadoop
步驟如下:
1.hadoop 編譯前將hadoop本地庫加入到環(huán)境變量
vim /etc/profile
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
source /etc/profile
2.從官網(wǎng)下載hadoop的源碼包椎例,解壓
tar -zxvf hadoop-2.5.0-src.tar.gz
3.輸入如下命令開始編譯梨熙,編譯過程較長堂竟,耐心等待
cd hadoop-2.5.0-src/
mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X
出現(xiàn)問題
1.下載的源碼記得看下jdk對不對的上必峰,這個是2.5的hadoop 然后開始是1.8的jdk報錯门躯,換成1.7的好了
2.用這個命令mvn package -Pdist,native -DskipTests -Dtar 不然會編譯卡住不動
- 把native下面的內(nèi)容移動到hadoop下面 cp -r native/ /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/lib
4.hadoop checknative查看 都是true就是加進(jìn)去了