每次換一次電腦或虛擬機都要重新編譯各個項目宁仔，很麻煩還總有坑吐葵，這里記錄一下。
Hadoop
- 從git上clone代碼到本地
- 按照hadoop下的buliding.txt文件安裝相關的依賴和庫
- 修改pb的版本(可能需要修改的步驟犹赖，若pb是2.5.0跳過這一步驟)
確定下linux 版本芭碍，在我們的虛擬機版本下被安裝了pb，且pb版本不是2.5.0, 此時需要修改pb的版本捏境，安裝源碼方式安裝即可于游，相關鏈接：https://my.oschina.net/allman90/blog/486768
具體步驟:
wget https://[github.com/google](http://github.com/google)/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz
tar -xzvf ./protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure
sudo su - （備注：切換到root下）
make
make install
- 替換 之前版本的protoc
在編譯的proto包下，找到編譯好的protoc垫言，位置一般是在./protobuf-2.5.0/src/protoc贰剥，替換原先自帶的protoc
5、編譯hadoop源碼
編譯命令: mvn package -Pdist -DskipTests -Dzookeeper.version=3.4.6 -Djetty.version=6.1.26 -Dtar
Spark
Spark依賴的hive是自己維護的筷频，所以要先編譯hive包
進入項目 hive-1.2.1-spark2
mvn versions:set -DnewVersion=2.7.3
mvn versions:commit
${M2_HOME}/bin/mvn clean install -Pdist -Phadoop-2 -Dhadoop.version=2.7.3 -DskipTests -Dzookeeper.version=3.4.6 -Psources
檢查.m2下面有對應版本的hive-exec.version.jar
然后再編譯Spark
mvn clean install -Pyarn -Phadoop-2.7 -Dhadoop.version=$HADOOP_VERSION -Phive -Phive-thriftserver -DskipTests
Hive
mvn clean package -Pdist -Phadoop-2 -DskipTests -Dzookeeper.version=3.4.6
