Hadoop實(shí)戰(zhàn):1忌锯、Hadoop基礎(chǔ)與源碼編譯

Hadoop基礎(chǔ)?

? 大數(shù)據(jù)概述

可以用“5V + 1C”來概括:

? ? Variety (多樣化) ? Volume (海量)? Velocity (快速)? Vitality (靈活)

? ? Value (價值性) ?? Complexity (復(fù)雜)


Hadoop與Hadoop生態(tài)圈

Hadoop

狹義: 軟件(HDFS乖寒、MapReduce歧譬、Yarn)

廣義: 以hadoop為主的生態(tài)圈


Hadoop1.x

hdfs: 分布式文件管理系統(tǒng)? ? ? ? ? ? ? ? ? ? 存儲

mapreduce1: 執(zhí)行引擎? ? ? ? ? ? ? ? ? 計算+資源、作業(yè)調(diào)度

Hadoop2.x三大組件

hdfs: 分布式文件管理系統(tǒng)? ? ? ? ? ? 存儲

mapreduce2: 執(zhí)行引擎? ? ? ? ? ? ? ? ? 計算

yarn: 資源(memory cpu)和作業(yè)調(diào)度平臺? ? 資源

Hadoop編譯

[root@hadoop-01 ~]# cd /opt/

[root@hadoop-01 opt]# mkdir sourcecode software

[root@hadoop-01 opt]# cd sourcecode

[root@hadoop-01 sourcecode]# pwd

/opt/sourcecode

hadoop源代碼下載

# 將hadoop-2.8.1-src.tar.gz下載(或者用rz上傳)到sourcecode目錄

[root@hadoop-01 sourcecode]# ll

total 33756 ??

-rw-r--r--. 1 root root 34523353 Aug 20 12:14 hadoop-2.8.1-src.tar.gz


# 解壓

[root@hadoop-01 sourcecode]# tar -xzvf hadoop-2.8.1-src.tar.gz

[root@hadoop-01 sourcecode]# ll

total 33760

? drwxr-xr-x. 17 root root? ? 4096 Jun? 2 14:13 hadoop-2.8.1-src

-rw-r--r--.? 1 root root 34523353 Aug 20 1c'd2:14 hadoop-2.8.1-src.tar.gz

[root@hadoop-01 sourcecode]# cd hadoop-2.8.1-src

JAVA安裝

[root@hadoop-01 ~]# mkdir -p /usr/java

[root@hadoop-01 ~]# cd /usr/java

[root@hadoop-01 java]# rz #上傳jdk-8u45-linux-x64.gz

[root@hadoop-01 java]# tar -xzvf jdk-8u45-linux-x64.gz


# 修改用戶和用戶組

[root@hadoop-01 java]# chown -R root:root jdk1.8.0_45


# 設(shè)置環(huán)境變量

[root@hadoop-01 java]# vi /etc/profile

# 在最底下加入

export JAVA_HOME=/usr/java/jdk1.8.0_45

export PATH=$JAVA_HOME/bin:$PATH

# 生效

[root@hadoop-01 java]# source /etc/profile


Maven安裝

[root@hadoop-01 ~]# cd /opt/software/

[root@hadoop-01 software]# rz? #上傳apache-maven-3.3.9-bin.zip

[root@hadoop-01 software]# ll

total 8432

-rw-r--r--. 1 root root 8617253 Aug 20 12:35 apache-maven-3.3.9-bin.zip

# 解壓

[root@hadoop-01 software]# unzip apache-maven-3.3.9-bin.zip

# 設(shè)置環(huán)境變量

[root@hadoop-01 software]# vi /etc/profile

export MAVEN_HOME=/opt/software/apache-maven-3.3.9

export MAVEN_OPTS="-Xms256m -Xmx512m"

export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

# 生效

[root@hadoop-01 software]# source /etc/profile

# 查看

[root@hadoop-01 software]# mvn -version

Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00)

Maven home: /opt/software/apache-maven-3.3.9

Java version: 1.8.0_45, vendor: Oracle Corporation

Java home: /usr/java/jdk1.8.0_45/jre

Default locale: en_US, platform encoding: UTF-8

OS name: "linux", version: "2.6.32-431.el6.x86_64", arch: "amd64", family: "unix"


Findbugs安裝

[root@hadoop-01 ~]# cd /opt/software/

[root@hadoop-01 software]# rz #上傳findbugs-1.3.9.zip

# 解壓

[root@hadoop-01 software]# unzip findbugs-1.3.9.zip

# 設(shè)置環(huán)境變量

[root@hadoop-01 software]# vi /etc/profile

export FINDBUGS_HOME=/opt/software/findbugs-1.3.9

export PATH=$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

# 生效

[root@hadoop-01 software]# source /etc/profile

# 查看

[root@hadoop-01 software]# findbugs -version

1.3.9


protobuf安裝

[root@hadoop-01 ~]# cd /opt/software/

[root@hadoop-01 software]# rz #上傳protobuf-2.5.0.tar.gz

# 解壓

[root@hadoop-01 software]# tar -xzvf protobuf-2.5.0.tar.gz

[root@hadoop-01 software]# cd protobuf-2.5.0

[root@hadoop-01 protobuf-2.5.0]# yum install -y gcc gcc-c++ make cmake

[root@hadoop-01 protobuf-2.5.0]# ./configure --prefix=/usr/local/protobuf

[root@hadoop-01 protobuf-2.5.0]# make && make install

# 設(shè)置環(huán)境變量

[root@hadoop-01 java]# vi /etc/profile

export PROTOC_HOME=/usr/local/protobuf

export PATH=$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH

# 生效

[root@hadoop-01 protobuf-2.5.0]# source /etc/profile

# 查看

[root@hadoop-01 protobuf-2.5.0]# protoc --version

libprotoc 2.5.0


其他依賴

yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool

yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake


編譯

[root@hadoop-01 sourcecode]# cd hadoop-2.8.1-src

[root@hadoop-01 hadoop-2.8.1-src]# mvn clean package -Pdist,native -DskipTests -Dtar


注意:

download需要3.5h

不想download就使用.m2.tar.gz -->解壓-->root家目錄

編譯好的tar包路徑

/opt/sourcecode/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz

[root@hadoop000 target]# pwd /opt/sourcecode/hadoop-2.8.1-src/hadoop-dist/target [root@hadoop000 target]# ls

antrun hadoop-dist-2.8.1-sources.jar classes hadoop-dist-2.8.1-test-sources.jar dist-layout-stitching.sh javadoc-bundle-options dist-tar-stitching.sh maven-archiver hadoop-2.8.1 maven-shared-archive-resources hadoop-2.8.1.tar.gz test-classes hadoop-dist-2.8.1.jar test-dir hadoop-dist-2.8.1-javadoc.jar



配置本地Maven倉庫

window/linux:

cd /opt/software/apache-maven-3.3.9/conf

1.vi setting.xml? ?

D:\software\apache-maven-3.3.9\repository

2.創(chuàng)建D:\software\apache-maven-3.3.9\repository

提醒

1侣夷、有時候編譯過程中會出現(xiàn)下載某個包的時間太久祠乃,這是由于連接網(wǎng)站的過程中會出現(xiàn)假死梦重,

此時按ctrl+c,重新運(yùn)行編譯命令亮瓷。

2琴拧、如果出現(xiàn)缺少了某個文件的情況,則要先清理maven(使用命令 mvn clean) 再重新編譯嘱支。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末蚓胸,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子除师,更是在濱河造成了極大的恐慌沛膳,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,639評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件汛聚,死亡現(xiàn)場離奇詭異锹安,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)倚舀,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,277評論 3 385
  • 文/潘曉璐 我一進(jìn)店門叹哭,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人痕貌,你說我怎么就攤上這事风罩。” “怎么了舵稠?”我有些...
    開封第一講書人閱讀 157,221評論 0 348
  • 文/不壞的土叔 我叫張陵泊交,是天一觀的道長。 經(jīng)常有香客問我柱查,道長,這世上最難降的妖魔是什么云石? 我笑而不...
    開封第一講書人閱讀 56,474評論 1 283
  • 正文 為了忘掉前任唉工,我火速辦了婚禮,結(jié)果婚禮上汹忠,老公的妹妹穿的比我還像新娘淋硝。我一直安慰自己雹熬,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,570評論 6 386
  • 文/花漫 我一把揭開白布谣膳。 她就那樣靜靜地躺著竿报,像睡著了一般。 火紅的嫁衣襯著肌膚如雪继谚。 梳的紋絲不亂的頭發(fā)上烈菌,一...
    開封第一講書人閱讀 49,816評論 1 290
  • 那天,我揣著相機(jī)與錄音花履,去河邊找鬼芽世。 笑死,一個胖子當(dāng)著我的面吹牛诡壁,可吹牛的內(nèi)容都是我干的济瓢。 我是一名探鬼主播,決...
    沈念sama閱讀 38,957評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼妹卿,長吁一口氣:“原來是場噩夢啊……” “哼旺矾!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起夺克,我...
    開封第一講書人閱讀 37,718評論 0 266
  • 序言:老撾萬榮一對情侶失蹤箕宙,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后懊直,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體扒吁,經(jīng)...
    沈念sama閱讀 44,176評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,511評論 2 327
  • 正文 我和宋清朗相戀三年室囊,在試婚紗的時候發(fā)現(xiàn)自己被綠了雕崩。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,646評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡融撞,死狀恐怖盼铁,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情尝偎,我是刑警寧澤饶火,帶...
    沈念sama閱讀 34,322評論 4 330
  • 正文 年R本政府宣布,位于F島的核電站致扯,受9級特大地震影響肤寝,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜抖僵,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,934評論 3 313
  • 文/蒙蒙 一鲤看、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧耍群,春花似錦义桂、人聲如沸找筝。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,755評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽袖裕。三九已至,卻和暖如春溉瓶,著一層夾襖步出監(jiān)牢的瞬間急鳄,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,987評論 1 266
  • 我被黑心中介騙來泰國打工嚷闭, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留攒岛,地道東北人。 一個月前我還...
    沈念sama閱讀 46,358評論 2 360
  • 正文 我出身青樓胞锰,卻偏偏與公主長得像灾锯,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子嗅榕,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,514評論 2 348

推薦閱讀更多精彩內(nèi)容

  • 一顺饮、大數(shù)據(jù)的定義 大數(shù)據(jù)=5V+1C 5V:variety(多樣化),volume(海量),velocity(...
    懷夕閱讀 165評論 0 1
  • Hadoop概要 到底是業(yè)務(wù)推動了技術(shù)的發(fā)展,還是技術(shù)推動了業(yè)務(wù)的發(fā)展凌那,這個話題放在什么時候都會惹來一些爭議兼雄。 隨...
    overad閱讀 159評論 0 2
  • 這幾年励稳,大數(shù)據(jù)非车璩耍火,作為一個IT從業(yè)者驹尼,如果所屬公司沒有涉足大數(shù)據(jù)趣避,并且自己再不主動了解一下大數(shù)據(jù),出去都不好意...
    慕容老K閱讀 4,584評論 1 3
  • 清晨新翎,朦朧程帕。曙光,咫尺地啰〕钍茫快說再見了,時間亏吝,不緊不慢岭埠。需要做的事還有很多,一切要有條不紊地進(jìn)行下去。昨天枫攀,一切順利,...
    漫漫無憂閱讀 187評論 8 5
  • 水晶月 雪竹 捧一只水晶盒株茶, 收今夜的月光住進(jìn)来涨。 藏著,藏著…… 故鄉(xiāng)的月色启盛, 月下的思念蹦掐, 等你, 等你...
    xuezhu766閱讀 399評論 2 2