基于Centos7安裝Ambari+HDP,學習的記錄帽氓!

Ambari簡介

1.Ambari基本介紹

  • Ambari是是 Apache Software Foundation
    中的一個項目趣斤,并且是頂級項目,是一種基于Web的工具黎休,支持Apache Hadoop集群的供應浓领、管理和監(jiān)控
  • Ambari已支持大多數(shù)Hadoop組件,包括HDFS势腮、MapReduce联贩、Hive、Pig捎拯、Hbase撑蒜、Zookeeper、Sqoop和Hcatalog等。支持HDFS座菠、MapReduce、Hive藤树、Pig浴滴、Hbase、Zookeepr岁钓、Sqoop和Hcatalog等的集中管理升略。也是5個頂級hadoop管理工具之一。
  • 官方鏈接:Ambari官網(wǎng)
  • 需對hadoop生態(tài)圈的各個組件以及環(huán)境配置屡限,參數(shù)有一定的知識品嚣,才建議使用ambari搭建

2.Ambari安裝準備工作

2.1虛擬機準備工作

  • 安裝好 Centos 7.2, jdk-8u91, mysql5.7.13
  • 準備好ambari-2.7.4.0-centos7.tar.gz,HDP-3.1.4.0-centos7-rpm.tar.gz钧大,HDP-GPL-3.1.4.0-centos7-gpl.tar.gz翰撑,HDP-UTILS-1.1.0.22-centos7.tar.gz相關安裝包
  • 主節(jié)點:master(92.168.238.1)
  • 從節(jié)點:node1(192.168.238.2),node2(192.168.238.3)
  • 確保所有節(jié)點時間同步啊央;
  • 確保所有節(jié)點(master,node1,node2)能互相通信以及能訪問外網(wǎng)
2.1.1 資源下載
鏡像 下載地址
jdk-8u162-linux-x64 https://download.csdn.net/download/qq_44697847/16840098
mysql https://www.mysql.com/downloads/
ambari-2.7.4.0-centos7.tar.gz https://download.csdn.net/download/qq_44697847/16845882
HDP-3.1.4.0-centos7-rpm.tar.gz https://download.csdn.net/download/qq_44697847/16846206
HDP-GPL-3.1.4.0-centos7-gpl.tar.gz https://download.csdn.net/download/qq_44697847/16846358
HDP-UTILS-1.1.0.22-centos7.tar.gz https://download.csdn.net/download/qq_44697847/16846735
Vmware https://www.vmware.com
xshell+xfdp https://download.csdn.net/download/qq_44697847/16839001
CentOS-7-x86_64 https://download.csdn.net/download/qq_44697847/16838216
2.1.2 虛擬機安裝
主機 名稱 系統(tǒng) IP地址 內存 磁盤
Centos1 Master Centos7 192.168.238.1(NAT) 4G 60G
Centos2 Node1 Centos7 192.168.238.2(NAT) 2G 60G
Centos3 Node2 Centos7 192.168.238.3(NAT) 2G 60G
2.1.3 修改節(jié)點主機名字
hostnamectl set-hostname master  #master節(jié)點-192.168.238.1
hostnamectl set-hostname node1   #node1節(jié)點-192.168.238.2
hostnamectl set-hostname node2   #node2節(jié)點-192.168.238.3
2.1.4配置主機名到IP的映射關系

需要在master node1 node2 三個節(jié)點上的hosts文件上都進行以下操作眶诈!

vi /etc/hosts
#添加上以下內容
192.168.238.1  master
192.168.238.2  node1
192.168.238.3  node2
2.1.5防火墻配置

在后續(xù)的操作中,需要將防火墻關閉瓜饥。所有節(jié)點都需要進行以下操作

systemctl status firewalld   #查看firewall服務狀態(tài)
查看防火墻狀態(tài)
systemctl stop firewalld && systemctl disable firewalld   # 關閉防火墻
關閉防火墻
2.1.6關閉selinux
# 關閉selinux
setenforce 0
vi /etc/selinux/config
SELINUX=disabled

2.2JDK安裝

2.1.1JDK安裝(當前安裝全部在master節(jié)點上)

現(xiàn)將JDK包放到相應目錄下之后解壓/etc/lib/jvm下面

 #保證當前目錄下存在 jdk-8u162-linux-x64.tar.gz
 mkdir -p /usr/lib/jvm
 tar -zxvf jdk-8u162-linux-x64.tar.gz  -C /usr/lib/jvm
# 配置環(huán)境變量
vi /etc/profile
export JAVA_HOME=/opt/jdk1.8.0_171/
export PATH=$PATH:$JAVA_HOME/bin
#刷新環(huán)境變量
source /ect/profile
2.1.2配置免密登錄(所有節(jié)點)
# master
ssh-keygen
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2
# node1
ssh-keygen
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2
# node2
ssh-keygen
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2
2.1.3將master配置好的jdk發(fā)送到node1 node2上面

注意:需要提前在node1 逝撬,node2上創(chuàng)建jvm文件夾,保證 /usr/lib/jvm/路徑存在

也可以手動在node1 node2兩個節(jié)點上重復以上步驟安裝jdk

scp -r /usr/lib/jvm/  node1:/usr/lib/jvm/
scp -r /usr/lib/jvm/  node2:/usr/lib/jvm/
scp  /etc/profile/ node1:/usr/lib/jvm/
scp  /etc/profile/ node2:/usr/lib/jvm/

最后不要忘記在node1 node2上執(zhí)行下列代碼 使環(huán)境變量生效

source /ect/profile
#分別在master node1 node2上面輸入java -version檢查是否安裝成功
java -version

2.3安裝時間同步服務ntp

#安裝master
yum install -y ntp
#修改ntp.conf
vi /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10

systemctl start ntpd
systemctl enbale ntpd
#node1
yum install -y ntpdate
ntpdate master
#node2
yum install -y ntpdate
ntpdate master

2.4 安裝Apache Http服務器

yum install -y httpd
yum start httpd
yum enable http

2.5 關閉大頁面壓縮(所有節(jié)點)

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

2.5 配置yum源(只在master配置)

在/var/www/html 下面創(chuàng)建 ambari乓土,hdp宪潮,hdp_util ,hdp_gpl三個文件夾

這里推薦使用xfdp將之惡幾個文件放入到虛擬節(jié)點上面趣苏。

再將 ambari-2.7.4.0-centos7.tar.gz狡相,HDP-3.1.4.0-centos7-rpm.tar.gz,HDP-UTILS-1.1.0.22-centos7.tar.gz ,HDP-GPL-3.1.4.0-centos7-gpl.tar.gz 放入到 /var/www/html路徑下

tar -zxvf ambari-2.7.0.0-centos7.tar.gz -C /var/www/html/ambari/
tar -zxvf HDP-3.0.0.0-centos7-rpm.tar.gz -C /var/www/html/hdp
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp_util/
tar -zxvf HDP-GPL-3.1.4.0-centos7-gpl.tar.gz -C /var/www/html/hdp_gpl

這里我們對yum源進行配置

cd /etc/yum.repos.d
vi ambari.repo
[ambari]
name=ambari
baseurl=http://192.168.238.1/ambari/ambari/centos7/2.7.4.0-897/
gpgcheck=0

注意文件中的baseurl是你自己電腦的實際位置拦键,你可查看解壓之后的文件位置谣光,查看里買呢目錄,這里推薦使用xfdp去查看

vi hdp.repo
[HDP-3.1]
name=HDP-3.1
baseurl=http://192.168.238.1/hdp/HDP/centos7/3.1.4.0-315/
gpgcheck=0
[HDP-UTILS-1.1.0.22]
name=HDP-UTILS-1.1.0.22
baseurl=http://192.168.238.1/hdp-utils/HDP-UTILS/centos7/1.1.0.22/
gpgcheck=0
[HDP-3.1-GPL]
name=HDP-3.1-GPL
baseurl=http://192.168.238.1/hdp-gpl/HDP-GPL/centos7/3.1.4.0-315/
gpgcheck=0
# 驗證
yum repolist

成功之后將配置的yum源發(fā)送給node1與node2

#成功之后將配置的yum源發(fā)送給node1
scp /etc/yum.repos.d/ambari.repo node1:/etc/yum.repos.d/
scp /etc/yum.repos.d/hdp.repo node2:/etc/yum.repos.d/
#將配置的yum源發(fā)送給node2
scp /etc/yum.repos.d/ambari.repo node1:/etc/yum.repos.d/
scp /etc/yum.repos.d/hdp.repo node2:/etc/yum.repos.d/

瀏覽器輸入 http://192.168.238.1/ambari/

http://192.168.238.1/ambari/

2.6 數(shù)據(jù)庫安裝(master上安裝)

數(shù)據(jù)庫使用MariaDB作為元數(shù)據(jù)儲存的庫芬为,在master上安裝

# 安裝
yum install -y mariadb-server
# 啟動 開機自啟
systemctl start mariadb && systemctl enable mariadb
# 初始化
mysql_secure_installation

在初始化過程中萄金,我們需要對數(shù)據(jù)進行配置一下是配置選項

Set root password? [Y/n] Y
Remove anonymous users? [Y/n]  Y
Disallow root login remotely? [Y/n] n
Remove test database and access to it? [Y/n] Y
Reload privilege tables now? [Y/n]  Y

3 安裝配置ambari-server

yum install -y ambari-server

3.1配置數(shù)據(jù)庫

#登陸
mysql -uroot -proot
# 創(chuàng)建amabri數(shù)據(jù)庫
create database ambari;
#授權
grant all on ambari.* to ambari@'%' identified by '數(shù)據(jù)庫密碼';
grant all on ambari.* to ambari@localhost identified by '數(shù)據(jù)庫密碼';
# 使用ambari-server提供的sql腳本創(chuàng)建相關的表
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

3.2將JDBC驅動包復制到指定目錄(/usr/share/java)

下載連接:java/mysql-connector-java.jar

mkdir -p /usr/share/java
mv mysql-connector-java-*.jar /usr/share/java/mysql-connector-java.jar

3.3安裝ambari-server

ambari-server setup

配置信息

OK to continue [y/n] (y)? y

Customize user account for ambari-server daemon [y/n] (n)? y

Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1): 2

Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? n

Enter advanced database configuration [y/n] (n)? y

Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL / MariaDB
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
[7] - BDB
==============================================================================
Enter choice (1): 3

Hostname (localhost):master

Port (3306): 3306
#后面的幾個問題直接按 enter鍵
#啟動ambari-server
ambari-server start

3.4 安裝和配置ambari-agent(所有節(jié)點)

# 安裝
yum install -y ambari-agent
# 配置
vi /etc/ambari-agent/conf/ambari-agent.ini 
[server]
hostname=master
#啟動
ambari-agent start

3.5安裝成功訪問

http://192.168.238.3:8080

出現(xiàn)登錄界面,默認管理員賬戶登錄媚朦,賬戶:admin 密碼:admin

ambari的安裝到這就結束了氧敢,但是這只是一個安裝,后續(xù)可以更具你自己的需要询张,來使用ambari的web頁面去安裝一下組件孙乖,筆記hpd ,hbase, hive等等

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末唯袄,一起剝皮案震驚了整個濱河市弯屈,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌恋拷,老刑警劉巖资厉,帶你破解...
    沈念sama閱讀 221,635評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異蔬顾,居然都是意外死亡宴偿,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,543評論 3 399
  • 文/潘曉璐 我一進店門诀豁,熙熙樓的掌柜王于貴愁眉苦臉地迎上來窄刘,“玉大人,你說我怎么就攤上這事舷胜∶浼” “怎么了?”我有些...
    開封第一講書人閱讀 168,083評論 0 360
  • 文/不壞的土叔 我叫張陵逞带,是天一觀的道長欺矫。 經(jīng)常有香客問我,道長展氓,這世上最難降的妖魔是什么穆趴? 我笑而不...
    開封第一講書人閱讀 59,640評論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮遇汞,結果婚禮上未妹,老公的妹妹穿的比我還像新娘。我一直安慰自己空入,他們只是感情好络它,可當我...
    茶點故事閱讀 68,640評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著歪赢,像睡著了一般化戳。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上埋凯,一...
    開封第一講書人閱讀 52,262評論 1 308
  • 那天点楼,我揣著相機與錄音,去河邊找鬼白对。 笑死掠廓,一個胖子當著我的面吹牛,可吹牛的內容都是我干的甩恼。 我是一名探鬼主播蟀瞧,決...
    沈念sama閱讀 40,833評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼沉颂,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了悦污?” 一聲冷哼從身側響起铸屉,我...
    開封第一講書人閱讀 39,736評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎塞关,沒想到半個月后抬探,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,280評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡帆赢,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,369評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了线梗。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片椰于。...
    茶點故事閱讀 40,503評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖仪搔,靈堂內的尸體忽然破棺而出瘾婿,到底是詐尸還是另有隱情,我是刑警寧澤烤咧,帶...
    沈念sama閱讀 36,185評論 5 350
  • 正文 年R本政府宣布偏陪,位于F島的核電站,受9級特大地震影響煮嫌,放射性物質發(fā)生泄漏笛谦。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,870評論 3 333
  • 文/蒙蒙 一昌阿、第九天 我趴在偏房一處隱蔽的房頂上張望饥脑。 院中可真熱鬧,春花似錦懦冰、人聲如沸灶轰。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,340評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽笋颤。三九已至,卻和暖如春内地,著一層夾襖步出監(jiān)牢的瞬間伴澄,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,460評論 1 272
  • 我被黑心中介騙來泰國打工瓤鼻, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留秉版,地道東北人。 一個月前我還...
    沈念sama閱讀 48,909評論 3 376
  • 正文 我出身青樓茬祷,卻偏偏與公主長得像清焕,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,512評論 2 359

推薦閱讀更多精彩內容