編譯 hadoop 2.7.3 源碼

你是無意穿堂風(fēng) 偏偏孤倨引山洪

1.工具準(zhǔn)備

最靠譜的是hadoop說明文檔里要求具備的那些工具碱鳞。

到hadoop官網(wǎng)
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/
點擊下載hadoop-2.7.3-src.tar.gz元潘。

解壓之

tar -zxvf hadoop-2.7.3-src.tar.gz

得到hadoop-2.7.3-src文件夾。

進(jìn)入hadoop-2.7.3-src文件夾可免,查看BUILDING.txt

cd hadoop-2.7.3-src
vim BUILDING.txt

可以看到編譯所需的庫或者工具:

1

包括:

JDK1.7+
maven 3.0 or later
findbugs 1.3.9
protocolBuffer 2.5.0
cmake 2.6
zlib-devel
openssl-devel

除了上面這些,為了不出錯,實際還需要autoconf automake gcc等蔓肯。

下面開始準(zhǔn)備這些工具:

首先使用su命令獲取root權(quán)限遭铺,以免受到各種限制

2 安裝jdk

下載jdk-7u102-linux-x64.tar.gz丽柿,解壓后移動到/opt目錄下

tar -zxvf jdk-7u102-linux-x64.tar.gz

mv jdk1.8.0_102/opt

然后打開/etc/profile配置jdk環(huán)境變量

vim /etc/profile

按 i 進(jìn)入插入模式,在文件末尾添加

export JAVA_HOME=/opt/jdk1.8.0_102

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

export JRE_HOME=/opt/jdk1.8.0_102/jre

export PATH=$PATH:$JRE_HOME/bin

先后按Esc, Shift+:魂挂, wq甫题, 回車即可保存并退出編輯。

輸入 source /etc/profile 回車即可保存更改涂召。

運行javac -version 查看狀態(tài):

3.下面安裝各種庫坠非,

yum -y install svn ncurses-devel gcc*

yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel

4.安裝protobuf-2.5.0.tar.gz(注意版本必須是2.5.0)

tar zxvf protobuf-2.5.0.tar.gz

進(jìn)入protobuf-2.5.0依次執(zhí)行

cd protobuf-2.5.0 進(jìn)入目錄

假如 你希望編譯成功后輸出的目錄 為 /home/work /protobuf/ 則輸入如下兩條命令:

./configure --prefix=/home/work /protobuf/  

make && make install

編譯成功后將export PATH= /home/work /protobuf/bin:$PATH加入到環(huán)境變量中

最后輸入  protoc --version命令,如顯示libprotoc 2.5.0則安裝成功

5.安裝maven

(注意芹扭,如果下載很慢或者經(jīng)常失敗麻顶,建議更換maven的下載源赦抖,方法在另一篇博客中有說明)

下載apache- maven- 3.3.3- bin.tar.gz

解壓縮并配置環(huán)境變量

解壓:

tar -zxvf apache-maven-3.3.3-bin.tar.gz

移動到/opt目錄下:

mv apache-maven-3.3.3 /opt

配置環(huán)境變量:

vim /etc/profile

在末尾添加:

export MAVEN_HOME=/opt/apache-maven-3.3.3

export MAVEN_OPTS="-Xms256m -Xmx512m"

export PATH=$PATH:$MAVEN_HOME/bin

先按Esc, Shift+:, wq辅肾, 回車即可保存并推出編輯队萤。

輸入 source /etc/profile 回車即可保存更改。

查看安裝狀態(tài): mvn -version

3

6.安裝ant

下載apache-ant-1.9.4-bin.tar.gz

解壓縮并配置環(huán)境變量

解壓:

tar -zxvf apache-ant-1.9.4-bin.tar.gz

移動到/opt目錄下

mv apache-ant-1.9.4 /opt

配置環(huán)境變量

同上矫钓,在/etc/profile文件末未添加:

export ANT_HOME=/opt/apache-ant-1.9.4

export PATH=$PATH:$ANT_HOME/bin

然后保存要尔,退出,并使更改生效新娜。

查看安裝結(jié)果:

ant -version

3

7.安裝findbugs

下載findbugs-3.0.1.tar.gz

解壓縮并配置環(huán)境變量

解壓:

tar -zxvf findbugs-3.0.1.tar.gz

移動到 /opt目錄下

mv findbugs-3.0.1 /opt

配置環(huán)境變量:

在 /etc/profile 文件末尾添加:

export FINDBUGS_HOME=/opt/findbugs-3.0.1

export PATH=$PATH:$FINDBUGS_HOME/bin

保存退出赵辕,并使更改生效。

查看安裝結(jié)果

4

8.準(zhǔn)備完成概龄,下面開始編譯hadoop

進(jìn)入到hadoop-2.7.3-src目錄

vim hadoop-common-project/hadoop-auth/pom.xml

vim /hadoop-common-project/hadoop-common/pom.xml

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-annotations</artifactId>
    <scope>compile</scope>
</dependency>

將節(jié)點hadoop-annotations的值由provide 改成compile

在hadoop-2.7.3-src目錄下 使用命令:

mvn package -Pdist,native -DskipTests -Dtar

進(jìn)行編譯还惠。

務(wù)必保持網(wǎng)絡(luò)暢通,經(jīng)過漫長的等待(本人的比較慢私杜,花了2小時57分鐘)蚕键!

編譯好的文件在/hadoop-dist/target/hadoop-2.7.3.tar.gz下。

2

注意事項:

1.所有命令衰粹,建議手敲锣光,不建議復(fù)制粘貼,以避免因為頁面空格造成的不必要錯誤铝耻。

2.務(wù)必保持網(wǎng)絡(luò)暢通誊爹,如果出現(xiàn)缺少某個文件,則要先清理maven(使用命令 mvn clean) 再重新編譯瓢捉。

3.如果總是出現(xiàn)同一個錯誤導(dǎo)致編譯失敗频丘,則可能是缺少某個庫或者工具,檢查上述工具是否都安裝成功泡态,并且版本正確椎镣。

世界上所有的追求都是因為熱愛
一枚愛編碼 愛生活 愛分享的IT信徒
— hongXkeX

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市兽赁,隨后出現(xiàn)的幾起案子状答,更是在濱河造成了極大的恐慌,老刑警劉巖刀崖,帶你破解...
    沈念sama閱讀 222,729評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件惊科,死亡現(xiàn)場離奇詭異,居然都是意外死亡亮钦,警方通過查閱死者的電腦和手機(jī)馆截,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人蜡娶,你說我怎么就攤上這事混卵。” “怎么了窖张?”我有些...
    開封第一講書人閱讀 169,461評論 0 362
  • 文/不壞的土叔 我叫張陵幕随,是天一觀的道長。 經(jīng)常有香客問我宿接,道長赘淮,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,135評論 1 300
  • 正文 為了忘掉前任睦霎,我火速辦了婚禮梢卸,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘副女。我一直安慰自己蛤高,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 69,130評論 6 398
  • 文/花漫 我一把揭開白布碑幅。 她就那樣靜靜地躺著襟齿,像睡著了一般。 火紅的嫁衣襯著肌膚如雪枕赵。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,736評論 1 312
  • 那天位隶,我揣著相機(jī)與錄音拷窜,去河邊找鬼。 笑死涧黄,一個胖子當(dāng)著我的面吹牛篮昧,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播笋妥,決...
    沈念sama閱讀 41,179評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼懊昨,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了春宣?” 一聲冷哼從身側(cè)響起酵颁,我...
    開封第一講書人閱讀 40,124評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎月帝,沒想到半個月后躏惋,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,657評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡嚷辅,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,723評論 3 342
  • 正文 我和宋清朗相戀三年簿姨,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,872評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡扁位,死狀恐怖准潭,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情域仇,我是刑警寧澤刑然,帶...
    沈念sama閱讀 36,533評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站殉簸,受9級特大地震影響闰集,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜般卑,卻給世界環(huán)境...
    茶點故事閱讀 42,213評論 3 336
  • 文/蒙蒙 一武鲁、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧蝠检,春花似錦沐鼠、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至焰檩,卻和暖如春憔涉,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背析苫。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評論 1 274
  • 我被黑心中介騙來泰國打工兜叨, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人衩侥。 一個月前我還...
    沈念sama閱讀 49,304評論 3 379
  • 正文 我出身青樓国旷,卻偏偏與公主長得像,于是被迫代替她去往敵國和親茫死。 傳聞我的和親對象是個殘疾皇子跪但,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,876評論 2 361

推薦閱讀更多精彩內(nèi)容