概述
HORTONWORKS DATA PLATFORM (HDP?)
基于集中化架構(gòu) (YARN)而涉，是業(yè)內(nèi)唯一一款極其安全且可用于企業(yè)的開源 Apache Hadoop? 分布式系統(tǒng)著瓶。HDP 可滿足靜態(tài)數(shù)據(jù)的全部需求，助力實(shí)時(shí)客戶應(yīng)用程序啼县，并提供可加速?zèng)Q策和創(chuàng)新進(jìn)程的強(qiáng)勁大數(shù)據(jù)分析材原。
Hortonworks DataFlow (HDF) 提供了唯一的端到端平臺(tái)，利用直觀的拖放界面季眷，可以在內(nèi)部或云中實(shí)時(shí)收集余蟹、管理、分析和操作數(shù)據(jù)子刮。HDF 是 Apache Nifi/MiNifi威酒、Apache Kafka、Apache Storm 和 Druid 集成的解決方案挺峡。HDF流實(shí)時(shí)數(shù)據(jù)分析平臺(tái)包含數(shù)據(jù)流管理系統(tǒng)葵孤、流處理和企業(yè)服務(wù)。
HDP處理靜態(tài)數(shù)據(jù)橱赠；HDF處理流實(shí)時(shí)數(shù)據(jù)尤仍。
本文主要介紹如何在一個(gè)新的HDP集群上安裝HDF服務(wù)。
要求環(huán)境
- 操作系統(tǒng)——CentOS7
- CPU架構(gòu)——x86
- 一個(gè)新的HDP集群環(huán)境狭姨，參考部署HDP
- Java1.8
在新的HDP集群上安裝HDF
準(zhǔn)備好以上環(huán)境以后宰啦，我們就可以開始安裝HDF了
下載HDF
下載Hortonworks HDF management pack(mpack)，參考你的操作系統(tǒng)饼拍，從 HDF Release Nots 下載相應(yīng)的版本绑莺。這里，我們以適用于 CentOS7 操作系統(tǒng)的 HDF-3.0.1.1 為例惕耕。你可以先下載下來，再上傳到裝有ambari的主機(jī)上诫肠，或者直接登陸到ambari主機(jī)司澎，執(zhí)行命令下載：
wget http://public-repo-1.hortonworks.com/HDF/centos7/3.x/updates/3.0.1.1/tars/hdf_ambari_mp/hdf-ambari-mpack-3.0.1.1-5.tar.gz
安裝HDF management pack
如果你還沒有登陸到ambari主機(jī)上，請(qǐng)先登錄栋豫，然后切換到 hdf-ambari-mpack-3.0.1.1-5.tar.gz 所在目錄挤安。接下來安裝management pack，執(zhí)行如下命令:
ambari-server install-mpack --mpack=./hdf-ambari-mpack-3.0.1.1-5.tar.gz --verbose
安裝完成后丧鸯，重啟 Ambari Server：
ambari-server restart
更新HDF Base URL
安裝好HDF management pack并重啟 Ambari Server 之后蛤铜，在瀏覽器訪問Ambari并登陸，然后執(zhí)行以下步驟：
- 點(diǎn)擊右上角的 admin，然后選在 Manage Ambari围肥；
- 找到左邊的 Clusters 視圖剿干，點(diǎn)擊 Versions，然后點(diǎn)擊 HDP version 鏈接穆刻；
- 參考你的操作系統(tǒng)置尔，從 HDF Release Nots 選擇相應(yīng)的 HDF Base URL，然后配置到對(duì)應(yīng)操作系統(tǒng)的base URL位置氢伟；
- 點(diǎn)擊 Save榜轿。
這樣，HDF就配置完成朵锣，下面就可以選擇相應(yīng)服務(wù)進(jìn)行添加了谬盐。
添加一個(gè)HDF服務(wù)到一個(gè)HDP集群
到此，我們已經(jīng)將HDF服務(wù)信息添加到Ambari中诚些，下面就可以添加HDF的服務(wù)了：
-
在Ambari home頁面飞傀，點(diǎn)擊左邊的 Actions，然后選擇 +Add Service;
image 選擇想要安裝的HDF服務(wù)(NiFi, Storm, Kafka, Streaming Analytics Manager, and Schema Registry);
在 Assign Masters 環(huán)節(jié)泣刹，使用先前的 Stream Processing 集群部署圖分發(fā) master 服務(wù)助析；
在 Assign Slaves and Clients 環(huán)節(jié)，使用先前的 Stream Processing 集群部署圖分發(fā) slave 服務(wù)椅您；
總結(jié)
到此為止外冀，我們已經(jīng)可以在一個(gè)現(xiàn)有的HDP集群上安裝HDF服務(wù)了，過程并不復(fù)雜掀泳。HDF服務(wù)更多詳細(xì)的配置步驟雪隧，請(qǐng)參考 更多HDF信息。
對(duì)于ambari员舵，從接觸開始脑沿，到現(xiàn)在的豐富功能，我看見了其在社區(qū)力量下的茁壯成長马僻，充分感覺到了社區(qū)的力量庄拇。而我個(gè)人也在積極參與社區(qū)并貢獻(xiàn)社區(qū)，希望志同道合的朋友們能夠積極分享所學(xué)所思韭邓，讓我們共同進(jìn)步措近。
轉(zhuǎn)載請(qǐng)注明出處……
