環(huán)境部署
1.本文發(fā)表時(shí)所用的最新版本：
Ubuntu Server 16.10
APACHE AMBARI 2.5.2.0
- 設(shè)置主機(jī)、每個(gè)從機(jī)的內(nèi)網(wǎng)靜態(tài)IP
安裝的時(shí)候默認(rèn)只會(huì)對(duì)一個(gè)網(wǎng)卡配置自動(dòng)獲取IP宅倒，一般情況我們會(huì)有2個(gè)網(wǎng)卡囤锉，現(xiàn)在要對(duì)另一個(gè)網(wǎng)卡手動(dòng)設(shè)置內(nèi)網(wǎng)IP。首先知道網(wǎng)卡在Linux里的編號(hào)蜗细，用dmesg | grep ens查看ens開(kāi)頭的編號(hào)有哪些裆操，我這有一個(gè)ens160，一個(gè)ens192
然后再去sudo vi /etc/network/interfaces
發(fā)現(xiàn)ens160已經(jīng)配置自動(dòng)獲取IP了炉媒，所以另一個(gè)ens192我們配置成靜態(tài)IP踪区，添加四行內(nèi)容設(shè)置靜態(tài)IP和子網(wǎng)掩碼：
auto ens192
iface ens192 inet static
address 10.96.1.70
netmask 255.255.255.0
輸入sudo reboot或/etc/init.d/networking restart使其生效
- 修改主機(jī)、每個(gè)從機(jī)的hosts文件吊骤，主機(jī)名使用FQDN命名缎岗，使其能夠互相ping通
這里我的主機(jī)名配置如下，大家不必完全按照這個(gè)名字配置白粉，但要符合FQDN：
master.hd
slave1.hd
slave2.hd
slave3.hd
slave4.hd
以上三步基本不會(huì)有什么坑传泊，也是最基礎(chǔ)最簡(jiǎn)單的茅郎，沒(méi)有什么更優(yōu)雅的方式了。
一般來(lái)說(shuō)Ubuntu安裝時(shí)勾上OpenSSH或渤，安裝完系統(tǒng)后SSH直接可以使用了系冗，不需要再做任何配置，起碼我是不用的薪鹦。
配置SSH直接允許Root登錄
因?yàn)榧涵h(huán)境是在內(nèi)網(wǎng)集群掌敬，做好路由隔離后，直接允Root登錄并不會(huì)造成很?chē)?yán)重的安全問(wèn)題池磁，在后面的自動(dòng)安裝需要使用root權(quán)限奔害，否則會(huì)卡住不動(dòng)，嚴(yán)謹(jǐn)點(diǎn)也可以自己新建一個(gè)賬號(hào)地熄。
sudo vi /etc/ssh/sshd_config
將PermitRootLogin改為yes即可华临，其他配置項(xiàng)一般不需要?jiǎng)印Ｈ缓筮M(jìn)行驗(yàn)證ssh root@slave1.hd看能不能登錄到從機(jī)端考。生成SSH證書(shū)使得主機(jī)到各個(gè)從機(jī)能免密登錄
這里就有優(yōu)雅的方式了雅潭。在主機(jī)上sudo ssh-keygen一路回車(chē)生成本機(jī)公私鑰，不要輸入私鑰密碼却特。然后執(zhí)行下列命令
ssh-copy-id root@slave1.hd
ssh-copy-id root@slave2.hd
ssh-copy-id root@slave3.hd
...
依次會(huì)提示輸入每個(gè)從機(jī)的root密碼扶供，然后自動(dòng)將剛才生成的公鑰分發(fā)到各個(gè)從機(jī)上并馬上生效。
所以現(xiàn)在就可以使用 ssh root@slave1.hd直接登錄裂明，不需要再輸入密碼了椿浓。
然后復(fù)制一份剛才生成的私鑰內(nèi)容，等一下用Ambari創(chuàng)建集群時(shí)的需要用到這個(gè)私鑰闽晦。私鑰位于/root/.ssh/id_rsa
比較優(yōu)雅的前奏已經(jīng)準(zhǔn)備完了扳碍，接下來(lái)馬上就要更優(yōu)雅地部署環(huán)境了。
下載HDP離線安裝包
官方文檔是用源碼安裝仙蛉，我們要優(yōu)雅笋敞，所以直接使用已經(jīng)編譯好的。
首先到 https://docs.hortonworks.com/ 找到Ambari捅儒，截止本文發(fā)布的時(shí)候液样，最新版為2.5.2.0，找到它的Apache Ambari Installation巧还，找到HDP離線下載鞭莽，最新版為?HDP 2.6 Repositories
隨后下載Ubuntu16 Tarball 版的HDP以及HDP-UTILS 。 前者6G多麸祷，包含HDFS澎怒、HBase、Spark等等各種東西，請(qǐng)做好心理準(zhǔn)備喷面。如果這里不采用離線安裝包的話星瘾，等一下幾臺(tái)從機(jī)都要從網(wǎng)上獲取就毫無(wú)樂(lè)趣了。
安裝Apache Ambari
Ambari只需要在主機(jī)上安裝即可惧辈，隨后會(huì)自動(dòng)部署琳状。
繼續(xù)在剛才的網(wǎng)站上，找到Download the Ambari Repository
按照官方手冊(cè)指引盒齿，以root登錄主機(jī)后執(zhí)行三句命令即可完成安裝源的配置念逞。注意這里的版本是2.5.2.0，請(qǐng)注意是否符合你的版本边翁，如果不是請(qǐng)以網(wǎng)站的代碼為準(zhǔn)翎承。
wget -O /etc/apt/sources.list.d/ambari.list http://public-repo-1.hortonworks.com/ambari/ubuntu16/2.x/updates/2.5.2.0/ambari.list
apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
apt-get update
apt-get install ambari-server
最后一句安裝，這個(gè)安裝包大概有七百多MB符匾。
配置Apache Ambari
繼續(xù)按照這個(gè)手冊(cè)的指引叨咖，執(zhí)行命令ambari-server setup配置Ambari，一路回車(chē)采用默認(rèn)配置也可以啊胶。途中會(huì)自動(dòng)下載甲骨文的1.8Jdk甸各。用戶名密碼如果不配置，將會(huì)是admin和admin创淡。
啟動(dòng)Apache Ambari
主機(jī)上運(yùn)行一次ambari-server start稍等片刻即可痴晦。在這里引用一下手冊(cè)內(nèi)容：
Run the following command on the Ambari Server host:
ambari-server start
To check the Ambari Server processes:
ambari-server status
To stop the Ambari Server:
ambari-server stop
現(xiàn)在使用網(wǎng)頁(yè)瀏覽器嘗試訪問(wèn)主機(jī)的8080端口
http://<主機(jī)IP>:8080
如果出現(xiàn)Ambari的登錄界面，即可完成琳彩。賬號(hào)密碼如果剛才沒(méi)有配置，均為admin部凑。
安裝Nginx
其實(shí)也不一定要是Nginx露乏，只是需要其提供的HTTP服務(wù)，來(lái)作為HDP離線包的下載服務(wù)器涂邀。
在主機(jī)上使用sudo apt-get install nginx安裝瘟仿。
執(zhí)行完后，默認(rèn)會(huì)自動(dòng)啟動(dòng)比勉。訪問(wèn)http://<主機(jī)IP>:80看能否看到Nginx的歡迎頁(yè)面劳较。
安裝yum
每個(gè)從機(jī)、主機(jī)都需要安裝yum浩聋，否則后面Ambari部署不會(huì)通過(guò)观蜗。詳情見(jiàn)下文的 踩坑記錄1
sudo apt-get install yum
確保Python版本>2.6
Ubuntu16安裝默認(rèn)是符合這個(gè)條件的。所以直接略過(guò)衣洁。
部署HDP離線安裝包
將之前下載到的HDP以及HDP-UTILS 解壓到一個(gè)能容得下它們的大空間墓捻，然后做軟鏈接，鏈接到/var/www/html下坊夫，如果你空間足夠凛辣，也可以直接移動(dòng)到這里廉丽。其子路徑隨意悄窃。
然后將默認(rèn)的歡迎頁(yè)面重命名mv /var/www/html/index.nginx-debian.html /var/www/html/index.nginx-debian.html.bak
進(jìn)入Nginx的配置文件sudo vi /etc/nginx/sites-enabled/default ，在server{...}里添加一句autoindex on;即打開(kāi)目錄瀏覽功能放吩。
隨后再次訪問(wèn)http://<主機(jī)IP>時(shí)，能看到目錄結(jié)構(gòu)羽杰，同時(shí)能找到HDP以及HDP-UTILS屎慢，能夠從頁(yè)面上下載，就行了忽洛。
創(chuàng)建第一個(gè)集群
訪問(wèn)http://<主機(jī)IP>:8080腻惠，登錄后，點(diǎn)擊Launch Install Wizard開(kāi)始創(chuàng)建第一個(gè)集群
到了第二步選擇版本后
選擇使用本地庫(kù)欲虚，
HDP和HDP-UTILS的路徑配置應(yīng)為剛才在主機(jī)上用Nginx搭建的Http路徑
設(shè)置從機(jī)列表以及主機(jī)的root賬號(hào)能登錄每個(gè)從機(jī)的私鑰集灌，即剛才使用ssh-keygen生成的。
如果私鑰和端口設(shè)置正常复哆，hosts文件設(shè)置沒(méi)問(wèn)題欣喧，這里的installing將很快完成
踩坑記錄：
- 當(dāng)從機(jī)沒(méi)有安裝yum，此處無(wú)法通過(guò)梯找，使用
sudo apt-get install yum安裝唆阿。
==========================
Running OS type check...
==========================
Command start time 2017-09-09 23:34:16
env: ‘/var/lib/ambari-agent/tmp/os_check_type1504971236.py’: No such file or directory
Connection to slave2.hd closed.
SSH command execution finished
host=slave2.hd, exitcode=127
Command end time 2017-09-09 23:34:16
ERROR: Bootstrap of host slave2.hd fails because previous action finished with non-zero exit code (127)
ERROR MESSAGE: Connection to slave2.hd closed.
STDOUT: env: ‘/var/lib/ambari-agent/tmp/os_check_type1504971236.py’: No such file or directory
Connection to slave2.hd closed.
全部Success后，會(huì)有一個(gè)附加條件的檢查锈锤。我踩到兩個(gè)坑驯鳖，一個(gè)是沒(méi)安裝NTP服務(wù)，這個(gè)很簡(jiǎn)單久免，使用
apt-get install ntp即可還有一個(gè)常見(jiàn)的
Transparent Huge Pages Issues
這里要求關(guān)閉Transparent Huge Pages浅辙，所有涉及到的主機(jī)從機(jī)都要做這個(gè)。網(wǎng)上通常是做法是在rc.local文件做文章阎姥，但是Ubuntu16版本已經(jīng)不存在這個(gè)文件了记舆。Google了一番，比較優(yōu)雅的做法是：
參考這位老外David Foerster的解決方案 How do I modify “/sys/kernel/mm/transparent_hugepage/enabled”
install the sysfsutils package:
sudo apt install sysfsutils
and append a line with that setting to/etc/sysfs.conf:
kernel/mm/transparent_hugepage/enabled = never
但是他最初提供的并不全面呼巴，還不能解決問(wèn)題泽腮，我后來(lái)稍微看一下，自己補(bǔ)充了一句就可以完全關(guān)閉了衣赶。在/etc/sysfs.conf里應(yīng)該寫(xiě)如下兩行诊赊。隨后重啟即可。
kernel/mm/transparent_hugepage/enabled = never
kernel/mm/transparent_hugepage/defrag = never
希望大家都有這種美好的結(jié)果
從機(jī)不需要手動(dòng)去安裝Java屑埋。只要ssh連上了豪筝，Ambari的代理會(huì)全都幫你搞定，如果之前的HDP以及HDP-UTILS安裝源路徑設(shè)置沒(méi)問(wèn)題，安裝了Yum续崖，接下來(lái)基本沒(méi)有什么坑了敲街。
如果有，就是我還沒(méi)遇到严望，靠大家自己去解決了
尾聲
祝大家部署順利 O(∩_∩)O~
參考文獻(xiàn)
Ambari——大數(shù)據(jù)平臺(tái)的搭建利器
How do I modify “/sys/kernel/mm/transparent_hugepage/enabled”
使用Ambari快速部署Hadoop大數(shù)據(jù)環(huán)境
