Mac環(huán)境Hadoop-2.7.0源碼編譯

切記:使用root用戶(hù)編譯

1. 源碼下載及解壓

? ? Hadoop官網(wǎng):https://hadoop.apache.org/release/2.7.0.html片排,Download src? ? ? ??

下載完成后將hadoop-2.7.0-src.tar.gz 解壓到/opt/目錄盯蝴,

進(jìn)入解壓出來(lái)的目錄

BUILDING.txt文件是編譯hadoop源碼的說(shuō)明文件;打開(kāi)文件抱既,列出了編譯hadoop源碼時(shí)职烧,要求軟件及對(duì)應(yīng)版本要求。

本機(jī)環(huán)境:jdk 和maven已經(jīng)安裝好防泵,跳過(guò)

2. 環(huán)境準(zhǔn)備

? ?安裝findbugs:brew install findbugs,安裝完成查看版本:spotbugs -version

? ? 安裝autoconf:brew install autoconf

? ? 安裝automake:brew install automake

? ? 安裝libtool: brew install libtool , brew link libtool

? ? 安裝Protocol buffers (Google's data interchange format),必須是2.5.0:brew search protobuf蚀之,發(fā)現(xiàn)沒(méi)有這個(gè)版本,那么我們編譯安裝择克,安裝完成查看版本:protoc --version

? ? 下載安裝包:https://github.com/protocolbuffers/protobuf/releases?after=v3.0.0-alpha-1恬总,找到對(duì)應(yīng)的版本? ??

? ? 下載完成后解壓:sudo tar -xzvf protobuf-2.5.0.tar.gz -C /opt/

????進(jìn)入目錄:cd protobuf-2.5.0

? ? 執(zhí)行安裝配置命令:? ??

????????./autogen.sh & ./configure \?

? ? ? ? make \

????????make install

? ? ?最后驗(yàn)證是否安裝成功:protoc --version

安裝cmake: brew install cmake

安裝zlib: brew install zlib

安裝openssl:brew install openssl

安裝snappy(若想讓hadoop支持snappy壓縮,得先安裝snappy):

注意安裝snappy之前肚邢,需要先安裝cmake壹堰,pkg-config,因?yàn)閟nappy是依賴(lài)cmake和pkg-config的,如果已經(jīng)安裝了snappy骡湖,可以重新install贱纠,brew reinstall snappy

????brew install cmake

????brew install pkg-config

安裝snappy成功后,查看:brew info snappy

安裝jansson:brew install jansson

3. 編譯hadoop

? ? 進(jìn)入源碼目錄:cd /opt/hadoop-2.7.0-src/

? ? 執(zhí)行編譯命令:mvn package -Pdist,native -DskipTests -Dtar

????如果中途編譯失敗响蕴,并且不要文檔谆焊、hadoop支持snappy、支持openssl的話(huà)浦夷,請(qǐng)使用這個(gè)命令:

? ??mvn clean package -Pdist,native -DskipTests -Dtar -Drequire.snappy -Dsnappy.lib=/usr/local/Cellar/snappy/1.1.7_1/lib? -Dbundle.snappy -Drequire.openssl

說(shuō)明:支持snappy(若不需要支持snappy辖试,把這些選項(xiàng)去除即可):Drequire.snappy -Dsnappy.lib=/usr/local/Cellar/snappy/1.1.7_1/lib -Dbundle.snappy

????編譯過(guò)程中遇到的問(wèn)題:

? ? ? ? 1)No such file or directory:一般就是權(quán)限的問(wèn)題,切換到root再執(zhí)行看看劈狐」扌ⅲ或者你可以將更改目錄權(quán)限sudo chown -R chriszhao:staff /opt/hadoop-2.7.0-src/* (chriszhao:改成你自己的用戶(hù)名)

? ? ? ? 2)hadoop-pipes: An Ant BuildException has occured: exec returned: 1:???

? ? ? ? ? ? 查看build-main.xml

? ? ? ? 執(zhí)行: cmake?/opt/hadoop-2.7.0-src/hadoop-tools/hadoop-pipes/src/ -DJVM_ARCH_DATA_MODEL=64,發(fā)現(xiàn)如下錯(cuò)誤:

? ? ? ? Could NOT find OpenSSL, try to set the path to OpenSSL root folder in the System variable OPENSSL_ROOT_DIR (missing: OPENSSL_INCLUDE_DIR), suggesting that not found openssl suggested that the need to add environment variables

? ? ? ? 然后修改~/.zshrc, 之后再次執(zhí)行以上cmake 命令,如果沒(méi)錯(cuò)就再?lài)L試編譯

? ??????export LDFLAGS="-L/usr/local/opt/openssl@1.1/lib"

????????export CPPFLAGS="-I/usr/local/opt/openssl@1.1/include"

????????export PKG_CONFIG_PATH="/usr/local/opt/openssl@1.1/lib/pkgconfig"

????????export OPENSSL_INCLUDE_DIR="/usr/local/opt/openssl@1.1/include"

? ? ? ? export PATH="/usr/local/opt/openssl@1.1/bin:$PATH"

????????3)因?yàn)榫W(wǎng)絡(luò)問(wèn)題導(dǎo)致tomcat包下不來(lái)肥缔,多嘗試幾次編譯

4. 編譯完成后

? ? 想要的結(jié)果包在hadoop-dist/target/下

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末莲兢,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌改艇,老刑警劉巖收班,帶你破解...
    沈念sama閱讀 212,686評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異谒兄,居然都是意外死亡摔桦,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,668評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén)承疲,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)酣溃,“玉大人,你說(shuō)我怎么就攤上這事纪隙∩尥悖” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 158,160評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵绵咱,是天一觀的道長(zhǎng)碘饼。 經(jīng)常有香客問(wèn)我,道長(zhǎng)悲伶,這世上最難降的妖魔是什么艾恼? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,736評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮麸锉,結(jié)果婚禮上钠绍,老公的妹妹穿的比我還像新娘。我一直安慰自己花沉,他們只是感情好柳爽,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,847評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著碱屁,像睡著了一般磷脯。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上娩脾,一...
    開(kāi)封第一講書(shū)人閱讀 50,043評(píng)論 1 291
  • 那天赵誓,我揣著相機(jī)與錄音,去河邊找鬼柿赊。 笑死俩功,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的碰声。 我是一名探鬼主播诡蜓,決...
    沈念sama閱讀 39,129評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼奥邮!你這毒婦竟也來(lái)了万牺?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,872評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤洽腺,失蹤者是張志新(化名)和其女友劉穎脚粟,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體蘸朋,經(jīng)...
    沈念sama閱讀 44,318評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡核无,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,645評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了藕坯。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片团南。...
    茶點(diǎn)故事閱讀 38,777評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖炼彪,靈堂內(nèi)的尸體忽然破棺而出吐根,到底是詐尸還是另有隱情,我是刑警寧澤辐马,帶...
    沈念sama閱讀 34,470評(píng)論 4 333
  • 正文 年R本政府宣布拷橘,位于F島的核電站,受9級(jí)特大地震影響喜爷,放射性物質(zhì)發(fā)生泄漏冗疮。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,126評(píng)論 3 317
  • 文/蒙蒙 一檩帐、第九天 我趴在偏房一處隱蔽的房頂上張望术幔。 院中可真熱鬧,春花似錦湃密、人聲如沸诅挑。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,861評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)揍障。三九已至,卻和暖如春俩由,著一層夾襖步出監(jiān)牢的瞬間毒嫡,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,095評(píng)論 1 267
  • 我被黑心中介騙來(lái)泰國(guó)打工幻梯, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留兜畸,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,589評(píng)論 2 362
  • 正文 我出身青樓碘梢,卻偏偏與公主長(zhǎng)得像咬摇,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子煞躬,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,687評(píng)論 2 351

推薦閱讀更多精彩內(nèi)容