hadoop集群的安裝

1候齿、CDH軟件版本重新進(jìn)行編譯
1、編譯hadoop的原因肌幽，需要對hadoop安裝包中添加以下C程序庫
2舌涨、編譯環(huán)境的準(zhǔn)備
2.1：準(zhǔn)備Linux環(huán)境
準(zhǔn)備一臺linux環(huán)境，內(nèi)存4G或以上扔字，硬盤40G或以上囊嘉，我這里使用的是Centos6.9 64位的操作系統(tǒng)

2.2：虛擬機(jī)聯(lián)網(wǎng)，關(guān)閉防火墻革为，關(guān)閉selinux
關(guān)閉防火墻命令：
server iptables stop
chkconfig iptables off
關(guān)閉selinux
vim /etc/selinux/config

2.3：安裝jdk1.7
hadoop2.6.0-cdh5.14.2這個版本的編譯只能使用jdk1.7扭粱，
上傳jdk安裝包到/kkb/soft目錄
解壓jdk壓縮包
mkdir -p /kkb/soft
mkdir -p /kkb/install
cd /kkb/soft
tar -zvxf jdk-7u71-linux-x64.tar.gz -C ../servers/
配置環(huán)境變量
vim /etc/profile
export JAVA_HOME=/kkb/install/jdk1.7.0_71
export PATH=: $JAVA_HOME/bin:$ PATH
讓修改立即生效
source /etc/profile

2.4：安裝maven
這里使用maven3.x以上的版本，這里使用3.0.5
maven上傳到/kkb/soft
解壓maven的安裝包/kkb/instll
cd /kkb/soft/
tart -zvxf apache-maven-3.0.5-bin.tar.gz -C ../install/
配置mavne的環(huán)境變量
vim /etc/profile
export MAVEN_HOME=/kkb/install/apache-maven-3.0.5
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=: $MAVEN_HOME/bin:$ PATH
讓修改立即生效
source /etc/profile

2.5：安裝findbugs
下載findbugs
cd /kkb/soft
wget --no-check-certificate https://sourceforge.net/projects/findbugs/files/findbugs/1.3.9/findbugs-1.3.9.tar.gz/download -0 findbugs-1.3.9.tar.gz
解壓findbugs
tar -zxvf findbugs-1.3.9.tar.gz -C ../install/
配置findbugs的環(huán)境變量
vim /etc/progile
export JAVA_HOME=/kkb/install/jdk1.7.0_75
export PATH=: $JAVA_HOME/bin:$ PATH

export MAVEN_HOME=/kkb/install/apache-maven-3.0.5
export PATH=: $MAVEN_HOME/bin:$ PATH
export FINDBUGS_HOME=/kkb/install/findbugs-1.3.9
export PATH= $DINDBUGS_HOME/bin:$ PATH
讓修改立即生效
source /etc/profile

2.6：在線安裝一下依賴包
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install openssl-devel
yum install lzo-devel zlib-devel gcc gcc-++
yum install -y bzip2-devel

2.7安裝protobuf
cd /kkb/soft
tar -zvxf protobuf-2.5.0.tar.gz -C ../servers/
cd /kkb/install/protobuf-2.5.0
./configure
make && make install

2.8震檩、安裝snappy
snappy下載地址
http://code.google.com/p/snappy/
cd /kkb/soft/
tar -zxf snappy-1.1.1.tar.gz -C ../servers/
cd ../servers/snappy-1.1.1/
./configure
make && make install

2.9：下載cdh源碼準(zhǔn)備編譯
源碼下載地址：
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.2-src.tar.gz
下載源碼進(jìn)行編譯
cd /kkb/soft
wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.2-src.tar.gz
tar -zxvf hadoop2.6.0-cdh5.14.2-src.tar.gz -C ../servers/
cd /kkb/install/hadoop-2.6.0-cdh5.14.2
編譯不支持snappy壓縮
mvnpackage -Pdis,native -DskipTests - Dtar
編譯至此snappy壓縮：
mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X
編譯完成后壓縮包就在這個路徑下

2.10：場景編譯錯誤
如果編譯之后出現(xiàn)這個錯誤
An Ant BuildException has occured:exec returned:2
這里因?yàn)閠omcat的壓縮包沒有下載完成琢蛤，需要自己下載一個對應(yīng)版本的apache-tomcat-6.0.53.tar.gz的壓縮包放到指定路徑下面去即可
這兩個路徑下面需要放上這個tomcat的壓縮包
/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoop-hdfs-project/hadoop-hdfs-httpfs/downloads
/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoop-common-project/hadoop-kms/downloads

2、hadoop集群的安裝
安裝服務(wù)不熟規(guī)劃
服務(wù)器IP 192.168.52.100 192.168.52.110 192.168.52.120
HDFS NameNode
HDFS SecondaryNameNode
HDFS DataNode DataNode DataNode
YARN ResourceManager
YARN NodeManager NodeManager NodeManager
歷史日志服務(wù)器 JobHistoryServer

第一步：上傳壓縮包并解壓
將我們重新編譯之后支持snappy壓縮的hadoop包上傳到第一臺服務(wù)器并解壓第一臺機(jī)器執(zhí)行以下命令
cd /kkb/soft/
tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C ../servers/
第二步：查看hadoop支持的壓縮方式以及本地庫

第一臺機(jī)器執(zhí)行以下命令
cd /kkb/install/hadoop2.6.0-cdh5.14.2
bin/hadoop checknative
如果出現(xiàn)openssl為false抛虏，那么所有機(jī)器在線安裝openssl即可博其，執(zhí)行以下命令，虛擬機(jī)聯(lián)網(wǎng)之后就可以在線進(jìn)行安裝了
sudo yum -y install openssl-devel
第三步：修改配置文件
修改core-sit.xml
第一臺機(jī)器執(zhí)行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:8082</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/kkb/install/hadoop2.6.0-cdh5.14.2/hadoopDatas/tempDatas</value>
</property>

<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>

<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
</configuration>

修改hdfs-site.xml
第一臺機(jī)器執(zhí)行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name
<value>node01:50090</value>
</property>
<property>
<name>dfs.namenode.http-adress</name>
<value>node01:50070</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>file:///kkb/instll/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas</value>
</property>
<property>
<name>dfs.namenode.edits.dir</name>
<value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits</value>
</property>
<property>
<name>dfs.namenode.chekpoint.dir</name>
<value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name</value>
</property>
<property>
<name>dfs.namenode.checkpoint.edits.dir</name>
<vale>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
</configuration>

修改hadoop-env.sh
第一臺機(jī)器執(zhí)行以下命令
cd /kkb/install/hadoop2.6.0-cdh5.14.2/etc/hadoop
vim hadoop-env.sh
export JAVA_HOME=/kkb/install/jdk1.8.0_141

修改mapred-site.xml
第一臺機(jī)器執(zhí)行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>node01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node01:19888</value>
</property>
</configuration>

修改yarn-site.xml
第一臺機(jī)器執(zhí)行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim yarn-site.xml

<configuration>
<property>
<name>yarn.resourcmanager.hostname</name>
<value>node01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

修改slaves文件
第一臺機(jī)器執(zhí)行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim slaves
node01
node02
node03

第四步：創(chuàng)建文件存放目錄
第一臺機(jī)器執(zhí)行以下命令
node01 機(jī)器上面創(chuàng)建以下目錄
mkdir -p /kkb/install/haoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits

第五步：安裝包的分發(fā)scp與rsync

第六步：配置hadoop的環(huán)境變量
三臺機(jī)器都要進(jìn)行配置hadoop的環(huán)境變量
三臺機(jī)器執(zhí)行以下命令
sudo vim /etc/profile
export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2
export PATH=: $HADOOP_HOME/bin:$ HADOOP_HOME/sbin:$PATH
配置完成之后生效
source /etc/profile

第七部：集群啟動
格式化集群
第一次啟動集群要格式化
bin/hdfs namenode -format 或者bin/hadoop namenode -format

單個節(jié)點(diǎn)逐一啟動
在主節(jié)點(diǎn)使用以上命令啟動HDFS NameNode:
hadoop-daemon.sh start namenode
在每個從節(jié)點(diǎn)使用以上命令啟動HDFS DataNode:
hadoop-daemon.sh start datanode
在主節(jié)點(diǎn)上使用以上命令啟動YARN ResourceManager:
yarn-daemon.sh start resourcemanager
在每個從節(jié)點(diǎn)使用以下命令啟動YARn nodemanager:
yarn-daemon.sh start nodemanager

停止腳本start換成stop

腳本一鍵啟動迂猴，要ssh免密登錄

cd /kkb/install/hadoop-2.6.0-cdh5.14.2/
sbin/start-dfs.sh
sbin/start-yarn.sh
停止集群
sbin/stop-dfs.sh
sbin/stop-yarn.sh

第八步瀏覽器查看啟動頁面
hdfs集群訪問地址

http://192.168.52.100:50070/dfshealth.html#tab-overview

yarn集群訪問地址

http://192.168.52.100:8088/cluster

jobhistory訪問地址：

http://192.168.52.100:19888/jobhistory

我們也可以通過jps在每臺機(jī)器上面查看進(jìn)程名稱慕淡，為了方便我們以后查看進(jìn)程，我們可以通過腳本一鍵查看所有機(jī)器的進(jìn)程

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末沸毁，一起剝皮案震驚了整個濱河市峰髓，隨后出現(xiàn)的幾起案子傻寂，更是在濱河造成了極大的恐慌，老刑警劉巖携兵，帶你破解...
沈念sama閱讀 219,188評論 6贊 508
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件疾掰，死亡現(xiàn)場離奇詭異，居然都是意外死亡徐紧，警方通過查閱死者的電腦和手機(jī)静檬，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 93,464評論 3贊 395
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來浪汪，“玉大人巴柿，你說我怎么就攤上這事∷涝猓” “怎么了广恢？”我有些...
開封第一講書人閱讀 165,562評論 0贊 356
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長呀潭。經(jīng)常有香客問我钉迷，道長，這世上最難降的妖魔是什么钠署？我笑而不...
開封第一講書人閱讀 58,893評論 1贊 295
?港島之戀（遺憾婚禮）
正文為了忘掉前任糠聪，我火速辦了婚禮，結(jié)果婚禮上谐鼎，老公的妹妹穿的比我還像新娘舰蟆。我一直安慰自己，他們只是感情好狸棍，可當(dāng)我...
茶點(diǎn)故事閱讀 67,917評論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布身害。她就那樣靜靜地躺著，像睡著了一般草戈。火紅的嫁衣襯著肌膚如雪塌鸯。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 51,708評論 1贊 305
城市分裂傳說
那天唐片，我揣著相機(jī)與錄音丙猬，去河邊找鬼。笑死费韭，一個胖子當(dāng)著我的面吹牛茧球，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播揽思，決...
沈念sama閱讀 40,430評論 3贊 420
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼袜腥，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起羹令，我...
開封第一講書人閱讀 39,342評論 0贊 276
萬榮殺人案實(shí)錄
序言：老撾萬榮一對情侶失蹤鲤屡，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后福侈，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體酒来，經(jīng)...
沈念sama閱讀 45,801評論 1贊 317
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,976評論 3贊 337
?白月光啟示錄
正文我和宋清朗相戀三年肪凛，在試婚紗的時候發(fā)現(xiàn)自己被綠了堰汉。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點(diǎn)故事閱讀 40,115評論 1贊 351
活死人
序言：一個原本活蹦亂跳的男人離奇死亡伟墙，死狀恐怖翘鸭，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情戳葵，我是刑警寧澤就乓，帶...
沈念sama閱讀 35,804評論 5贊 346
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站拱烁，受9級特大地震影響生蚁，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜戏自，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,458評論 3贊 331
男人毒藥：我在死后第九天來索命
文/蒙蒙一邦投、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧擅笔，春花似錦志衣、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 32,008評論 0贊 22
一樁弒父案蠢涝，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至阅懦，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間徘铝，已是汗流浹背耳胎。一陣腳步聲響...
開封第一講書人閱讀 33,135評論 1贊 272
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留惕它，地道東北人怕午。一個月前我還...
沈念sama閱讀 48,365評論 3贊 373
代替公主和親
正文我出身青樓，卻偏偏與公主長得像淹魄，于是被迫代替她去往敵國和親郁惜。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 45,055評論 2贊 355

hadoop集群的安裝

推薦閱讀更多精彩內(nèi)容