Hibench是一套用于云平臺進行基準測試的工具。去年用的時候記得是5.0版本掉弛，還只支持Hadoop症见，而現(xiàn)在迭代到6.0版本后，居然可以支持Spark殃饿，而且支持到最新的2.2.X版本谋作。最近剛好有實驗需要使用這么一套工具，因此在實驗室服務(wù)器進行編譯和部署乎芳。
準備工作
當然遵蚜，不管是服務(wù)器也好后還是虛擬機也好，都可以在linux下部署這套測試工具奈惑。我的目標集群是10臺DELL服務(wù)器吭净，Hibench只需要在主節(jié)點進行安裝部署即可。我的目的是為了做Spark的基準測試肴甸。
1寂殉、基本的環(huán)境：
1）JDK1.7、1.8均可
2）Python>=2.6均可（centos6.5中就是2.6.6版本雷滋，可以不用升級，強迫癥患者可以升一下）
3）Hadoop和Spark搭建好并能正常運行文兢。（搭建方法可參考我前一篇博文）
2晤斩、安裝包
1）Maven-3.5.0 在官網(wǎng)下載最新版本的maven-3.5.0，可以在本地下載完后SCP傳到服務(wù)器上姆坚，進行解壓澳泵。
2）Hibench-6.0下載：在github將整個項目down下來，SCP上傳到自己服務(wù)器上兼呵。
3兔辅、Maven安裝
Maven解壓后腊敲，pwd命令copy一下當前maven的安裝路徑。然后修改環(huán)境變量：
vim /etc/profile
在環(huán)境變量中加入：
export MAVEN_HOME=/home/ccit-cluster/apache-maven-3.5.0
export PATH=$PATH:$MAVEN_HOME/bin
修改完后维苔，進入root權(quán)限碰辅，使用source /etc/profile使剛剛的配置生效。
命令行輸入 mvn -version 看看是否成功介时。
4没宾、Maven鏡像修改
很多時候在編譯時會發(fā)現(xiàn)maven無法訪問一些國外網(wǎng)站而導(dǎo)致編譯失敗，所以最好修改一下鏡像為國內(nèi)鏡像沸柔。
在Maven-3.5.0/conf目錄下找到settings.xml循衰，直接添加如下：
<mirror>
<id>nexus-osc</id>
<mirrorOf>*</mirrorOf>
<name>Nexusosc</name>
<url>http://maven.oschina.net/content/groups/public/</url>
</mirror>
<mirror>
<id>osc_thirdparty</id>
<mirrorOf>thirdparty</mirrorOf>
<url>http://maven.oschina.net/content/repositories/thirdparty/</url>
</mirror>
<profile>
<id>jdk-1.4</id>
<activation>
<jdk>1.4</jdk>
</activation>
<repositories>
<repository>
<id>nexus</id>
<name>local private nexus</name>
<url>http://maven.oschina.net/content/groups/public/</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
</repositories>
<pluginRepositories>
<pluginRepository>
<id>nexus</id>
<name>local private nexus</name>
<url>http://maven.oschina.net/content/groups/public/</url>
<releases>
<enabled>true</enabled>
</releases>
<snapshots>
<enabled>false</enabled>
</snapshots>
</pluginRepository>
</pluginRepositories>
</profile>
同時可修改一下倉庫目錄為自定義目錄。我再maven-3.5.0安裝路徑下創(chuàng)建mvnRepo文件夾褐澎，然后同樣在settings.xml文件中添加如下配置：
<localRepository>/home/ccit-cluster/apache-maven-3.5.0/mvnRepo</localRepository>
5会钝、編譯Hibench
新版本的Hibench提供自定義編譯，也就是說如果只想對hadoop進行測試工三，可以只單獨編譯hadoop版本的hibench迁酸，甚至假如只想使用其中一個測試用例也可以只編譯其中的一個測試用例，大大降低了編譯的時間徒蟆。我這里編譯的是spark的全部測試用例胁出。我的spark版本為2.1.0，scala版本2.11.7段审，因此使用如下編譯命令：
mvn -Psparkbench -Dspark=2.1 -Dscala=2.11 clean package
編譯還是需要幾個小時全蝶，視網(wǎng)速而定。
編譯結(jié)束后寺枉，即可使用抑淫。使用方法可參考Hibench github
我的博客 : https://NingSM.github.io
轉(zhuǎn)載請注明原址，謝謝姥闪。
