hdp2.4是hortworks最新推出的100%開源的hadoop發(fā)行版本,其中包含了最新的spark 1.6是整,沖著這點砍的,使用離線方式安裝最新的2.4版本。
hdp2.jpg
1. 主要點
- 假設(shè)服務(wù)器無網(wǎng)絡(luò)環(huán)境葱椭,或者其中只有一臺能上外網(wǎng),或者上外網(wǎng)速度慢到相當(dāng)于無網(wǎng)絡(luò)口四。
- 離線下載數(shù)據(jù)包孵运,解壓,放到其中一臺機(jī)器蔓彩,開啟http支持掐松,其它內(nèi)網(wǎng)能訪問踱侣。
- 配置ubuntu的源,指向內(nèi)網(wǎng)的機(jī)器大磺,安裝Ambari-server服務(wù)抡句。再通過Ambari-server服務(wù)來安裝其它所有的hadoop組件。
無網(wǎng)絡(luò)環(huán)境安裝杠愧,主要是訪問hortworks的速度太慢了待榔,而且中間各種不穩(wěn)定,因此采用離線的方式流济,能保證安裝成功锐锣。
2. 具體的操作步驟
2.1 下載三個大文件,備用
# down.sh
nohup wget -c http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0/ambari-2.2.1.0-ubuntu14.tar.gz > 1.log 2>&1 &
nohup wget -c http://public-repo-1.hortonworks.com/HDP/ubuntu14/2.x/updates/2.4.0.0/HDP-2.4.0.0-ubuntu14-deb.tar.gz > 1.log 2>&1 &
nohup wget -c http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/ubuntu14/HDP-UTILS-1.1.0.20-ubuntu14.tar.gz > 2.log 2>&1 &
知識星球.jpeg
2.2 解壓
解壓三個文件到某個目錄绳瘟,最后雕憔,目錄中有如下
$ ls
AMBARI-2.2.1.0
ambari-2.2.1.0-ubuntu14.tar.gz
down.sh
HDP
HDP-2.4.0.0-ubuntu14-deb.tar.gz
HDP-UTILS-1.1.0.20
HDP-UTILS-1.1.0.20-ubuntu14.tar.gz
2.3 開啟http
在目錄下運行http服務(wù),不需要Apache糖声,也不需要Nginx以及他們的各種配置斤彼,使用一個命令即可:
$ python -m SimpleHTTPServer
看提示,已經(jīng)開啟了8000端口蘸泻,web的根目錄就為當(dāng)前目錄琉苇。
2.4 在內(nèi)網(wǎng)其它機(jī)器,添加官方源
wget -nv http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0/ambari.list -O /etc/apt/sources.list.d/ambari.list
apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
2.5 修改官方源配置文件
#VERSION_NUMBER=2.2.1.0-161
#deb http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0 Ambari main
deb http://1.2.3.4:8000/AMBARI-2.2.1.0/ubuntu14/2.2.1.0-161 Ambari main
其中地址:http://1.2.3.4:8000悦施,即是上面的那臺開啟http的內(nèi)網(wǎng)機(jī)器并扇。后面的目錄,可以根據(jù)前面下載解壓后的目錄來修改抡诞。
2.5 更新源并安裝程序:
apt-get update
apt-get install ambari-server
2.6 配置ambari服務(wù)
ambari-server setup
其中自定義jdk版本穷蛹,填寫JAVA_HOME的路徑為,根據(jù)具體的jdk路徑來設(shè)置昼汗,比如:/opt/jdk
2.7 啟動服務(wù)
ambari-server start
2.8 訪問web界面
http://ip:8080
使用默認(rèn)的admin/admin登錄肴熏。
2.9 在選擇源的地方,填寫路徑
# http://public-repo-1.hortonworks.com/HDP/ubuntu14/2.x/updates/2.4.0.0
http://1.2.3.4:8000/HDP/ubuntu14/2.x/updates/2.4.0.0
# http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/ubuntu12
http://1.2.3.4:8000/HDP-UTILS-1.1.0.20/repos/ubuntu14
注釋的部分為hdp2.4的默認(rèn)官方源乔遮,用自己的內(nèi)網(wǎng)源替換即可。
2.10 后續(xù)服務(wù)安裝
配置各機(jī)器證書登錄取刃,選擇安裝服務(wù)等等后續(xù)步驟蹋肮。
安裝好后,關(guān)閉前面的http服務(wù)即可璧疗。
就是這么簡單坯辩,就是這么方便。走過崩侠,路過漆魔,請不要跳過,在大數(shù)據(jù)圈混,遲早有一天用得到的改抡。
最后矢炼,如果遇到問題,請留言阿纤。