* HUE搭配基礎(chǔ)
首先簡(jiǎn)單說(shuō)一下Hue框架的來(lái)源:HUE=HadoopUser Experience,看這名字就知道怎么回事了吧蕊连,沒(méi)錯(cuò)森缠,直白來(lái)說(shuō)就是Hadoop用戶體驗(yàn),是一個(gè)開(kāi)源的Apache Hadoop UI系統(tǒng)奕谭,由Cloudera Desktop演化而來(lái)涣觉,最后Cloudera公司將其貢獻(xiàn)給Apache基金會(huì)的Hadoop社區(qū),它是基于Python Web框架Django實(shí)現(xiàn)的血柳。通過(guò)使用Hue我們可以在瀏覽器端的Web控制臺(tái)上與Hadoop集群進(jìn)行交互來(lái)分析處理數(shù)據(jù)官册。
簡(jiǎn)單來(lái)講,就是用圖形化的界面來(lái)操作HDFS上的數(shù)據(jù)难捌,運(yùn)行MapReduce Job膝宁,執(zhí)行Hive的SQL語(yǔ)句,瀏覽Hbase數(shù)據(jù)庫(kù)根吁,oozie员淫,flume等等。
官網(wǎng)網(wǎng)站:http://gethue.com/
在官網(wǎng)上可以看到击敌,如下世界知名公司都在用(地球人用了都說(shuō)好介返?)
* 安裝HUE
官網(wǎng)安裝幫助:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.0/manual.html
** 安裝依賴(lài)
如上圖所示,這部分內(nèi)容是告訴你沃斤,安裝編譯Hue需要依賴(lài)哪些Linux安裝包圣蝎,你只需要使用yum命令一次安裝就可以了,在此給大家整理好該命令(注意使用root權(quán)限安裝):
# yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel openldap-devel python-devel sqlite-devel openssl-devel mysql-devel gmp-devel
尖叫提示:使用yum安裝這些包的同時(shí)衡瓶,也會(huì)自動(dòng)安裝openJDK的依賴(lài)捅彻,所以,請(qǐng)自行刪除安裝后的openJDK鞍陨,忘記的同學(xué)請(qǐng)參考
** 下載HUE
你去官網(wǎng)下載是沒(méi)有問(wèn)題的步淹,在此給你開(kāi)個(gè)傳送門(mén):
鏈接:http://pan.baidu.com/s/1pKKSOSr 密碼:5r51
** 解壓HUE
$ tar -zxf hue-3.7.0-cdh5.3.6.tar.gz -C /opt/modules/cdh/
** 編譯HUE
到hue安裝目錄下从隆,執(zhí)行make apps
$ make apps
大概等個(gè)幾分鐘之后,就編譯成功了缭裆。
** 配置Hue
修改Hue.ini文件
文件位置:/opt/modules/cdh/hue-3.7.0-cdh5.3.6/desktop/conf/hue.ini
打開(kāi)之后键闺,更改如下屬性:
其中secret_key密鑰的值可以來(lái)Hue安裝幫助中查看到,如下圖位置:
** 啟動(dòng)HUE
完成之后呢澈驼,保存退出辛燥,我們來(lái)使用命令啟動(dòng)Hue
$ build/env/bin/supervisor,出現(xiàn)如下界面表示啟動(dòng)成功:
接下來(lái)使用瀏覽器來(lái)查看hue界面:
http://z01:8888缝其,接著我們就看到如下界面:
這句話是在提示你挎塌,第一次使用本工具,需要?jiǎng)?chuàng)建一個(gè)用戶及密碼内边,且會(huì)成為hue的超級(jí)用戶憑證榴都,在此呢,我設(shè)置為admin用戶名漠其,密碼隨意嘴高,那就123456吧,然后呢就可以見(jiàn)到如下界面了:
* HUE與Hadoop集成
當(dāng)前集群環(huán)境:
** 配置Hadoop文件
hdfs-site.xml
添加如圖內(nèi)容:
core-site.xml
添加如圖內(nèi)容:
httpfs-site.xml
配置內(nèi)容如圖:
我來(lái)解釋一下:
1和屎、如果沒(méi)有配置NameNode的HA拴驮,HUE可以用WebHDFS來(lái)管理HDFS
2、如果配置了NameNodeHA柴信,則HUE只可用HttpFS來(lái)管理HDFS
由于第一種方案官方說(shuō)明中有完整示例套啤,而且基于本例是在完全分布式且HA環(huán)境已經(jīng)部署的情況下搭建的,所以随常,采用第二種方式潜沦。即配置如上,請(qǐng)大家注意线罕。
尖叫提示:
1、Hadoop相關(guān)文件配置完成后窃判,scp拷貝到其他機(jī)器節(jié)點(diǎn)
2钞楼、配置完成后呢,記得重啟整個(gè)Hadoop集群
3袄琳、在z01機(jī)器節(jié)點(diǎn)上询件,在hadoop根目錄下,使用sbin/httpfs.sh start來(lái)啟動(dòng)Bootstrap進(jìn)程唆樊,以服務(wù)HttpFS管理
** 修改Hue.ini文件宛琅,先找到[[hdfs_clusters]]這個(gè)標(biāo)簽,然后修改如下圖:
**?修改Hue.ini文件红伦,先找到[[yarn_clusters]]這個(gè)標(biāo)簽英古,然后修改如下圖:
** 重啟HUE并測(cè)試
先使用Ctrl+C關(guān)閉HUE服務(wù),再使用如下命令重啟:
$ build/env/bin/supervisor
測(cè)試HDFS點(diǎn)進(jìn):File Browser選項(xiàng)查看如圖:
測(cè)試Yarn點(diǎn)進(jìn):Job Browser選項(xiàng)查看如圖:
注意紅框內(nèi)的內(nèi)容召调,我是按照之前提交任務(wù)的人物名來(lái)查看任務(wù)的歷史記錄的,可以自行到y(tǒng)arn中查看用戶名是什么蛮浑,如圖:
* HUE與Hive集成
** 配置Hive文件
hive-site.xml
HUE與hive集成需要hive開(kāi)啟HiveServer2服務(wù)
修改如下內(nèi)容如圖:
** 啟動(dòng)Hive服務(wù)
進(jìn)入Hive根目錄唠叛,使用命令啟動(dòng)服務(wù),末尾加上&符號(hào)沮稚,讓腳本在后臺(tái)運(yùn)行艺沼,不至于占用終端:
$ bin/hive --service metastore &
$ bin/hive --service hiveserver2 &
尖叫提示:如果設(shè)置了uris,那么必須啟動(dòng)如上兩個(gè)命令壮虫,否則Hive無(wú)法正常啟動(dòng)
** 配置Hue.ini
找到[beeswax]這個(gè)標(biāo)簽澳厢,配置如下:
然后重啟Hue服務(wù),在“查詢(xún)編輯器”中選擇Hive囚似,即可看到如下界面剩拢,我們之前創(chuàng)建的一個(gè)表,查詢(xún)一下試試:
* HUE與Mysql集成
** 配置Hue.ini
找到[[[mysql]]]標(biāo)簽饶唤,修改內(nèi)容如下:
** 配置完成徐伐,重啟Hue,點(diǎn)擊“DB查詢(xún)”募狂,看到如圖內(nèi)容:
* Hue與Oozie集成
** 配置Hue.ini
找到[liboozie]以及[oozie]標(biāo)簽办素,修改內(nèi)容如下:
** 修改Oozie配置文件
oozie-site.xml
修改一下oozie的時(shí)區(qū),如下:
** 啟動(dòng)Oozie相關(guān)服務(wù)
進(jìn)入到Oozie安裝根目錄祸穷,然后執(zhí)行命令:
$ bin/oozied.sh start
然后重啟Hue服務(wù)性穿,點(diǎn)擊Workflow-儀表板-Workflow,之前我們練習(xí)的歷史記錄如下:
配置完成后雷滚,可以非常簡(jiǎn)單方便的使用圖形化界面創(chuàng)建Oozie任務(wù)需曾,因?yàn)檫^(guò)于簡(jiǎn)單,在此不再贅述祈远,請(qǐng)自行體驗(yàn)呆万。
* 總結(jié)
這一節(jié)我們使用Hue工具將之前使用的工具和框架通過(guò)圖形界面化的形式展示出來(lái)并操作,方便了日常維護(hù)和開(kāi)發(fā)车份,里面的種種細(xì)節(jié)谋减,請(qǐng)同學(xué)們自行琢磨。
IT全棧公眾號(hào):
QQ大數(shù)據(jù)技術(shù)交流群(廣告勿入):476966007