HUE搭配基礎(chǔ)

* HUE搭配基礎(chǔ)

首先簡(jiǎn)單說(shuō)一下Hue框架的來(lái)源:HUE=HadoopUser Experience,看這名字就知道怎么回事了吧蕊连,沒(méi)錯(cuò)森缠,直白來(lái)說(shuō)就是Hadoop用戶體驗(yàn),是一個(gè)開(kāi)源的Apache Hadoop UI系統(tǒng)奕谭,由Cloudera Desktop演化而來(lái)涣觉,最后Cloudera公司將其貢獻(xiàn)給Apache基金會(huì)的Hadoop社區(qū),它是基于Python Web框架Django實(shí)現(xiàn)的血柳。通過(guò)使用Hue我們可以在瀏覽器端的Web控制臺(tái)上與Hadoop集群進(jìn)行交互來(lái)分析處理數(shù)據(jù)官册。

簡(jiǎn)單來(lái)講,就是用圖形化的界面來(lái)操作HDFS上的數(shù)據(jù)难捌,運(yùn)行MapReduce Job膝宁,執(zhí)行Hive的SQL語(yǔ)句,瀏覽Hbase數(shù)據(jù)庫(kù)根吁,oozie员淫,flume等等。

官網(wǎng)網(wǎng)站:http://gethue.com/

在官網(wǎng)上可以看到击敌,如下世界知名公司都在用(地球人用了都說(shuō)好介返?)

* 安裝HUE

官網(wǎng)安裝幫助:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.0/manual.html

** 安裝依賴(lài)

如上圖所示,這部分內(nèi)容是告訴你沃斤,安裝編譯Hue需要依賴(lài)哪些Linux安裝包圣蝎,你只需要使用yum命令一次安裝就可以了,在此給大家整理好該命令(注意使用root權(quán)限安裝):

# yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel openldap-devel python-devel sqlite-devel openssl-devel mysql-devel gmp-devel

尖叫提示:使用yum安裝這些包的同時(shí)衡瓶,也會(huì)自動(dòng)安裝openJDK的依賴(lài)捅彻,所以,請(qǐng)自行刪除安裝后的openJDK鞍陨,忘記的同學(xué)請(qǐng)參考

Linux基礎(chǔ)(二)

** 下載HUE

你去官網(wǎng)下載是沒(méi)有問(wèn)題的步淹,在此給你開(kāi)個(gè)傳送門(mén):

鏈接:http://pan.baidu.com/s/1pKKSOSr 密碼:5r51

** 解壓HUE

$ tar -zxf hue-3.7.0-cdh5.3.6.tar.gz -C /opt/modules/cdh/

** 編譯HUE

到hue安裝目錄下从隆,執(zhí)行make apps

$ make apps

大概等個(gè)幾分鐘之后,就編譯成功了缭裆。

** 配置Hue

修改Hue.ini文件

文件位置:/opt/modules/cdh/hue-3.7.0-cdh5.3.6/desktop/conf/hue.ini

打開(kāi)之后键闺,更改如下屬性:

其中secret_key密鑰的值可以來(lái)Hue安裝幫助中查看到,如下圖位置:

** 啟動(dòng)HUE

完成之后呢澈驼,保存退出辛燥,我們來(lái)使用命令啟動(dòng)Hue

$ build/env/bin/supervisor,出現(xiàn)如下界面表示啟動(dòng)成功:

接下來(lái)使用瀏覽器來(lái)查看hue界面:

http://z01:8888缝其,接著我們就看到如下界面:


這句話是在提示你挎塌,第一次使用本工具,需要?jiǎng)?chuàng)建一個(gè)用戶及密碼内边,且會(huì)成為hue的超級(jí)用戶憑證榴都,在此呢,我設(shè)置為admin用戶名漠其,密碼隨意嘴高,那就123456吧,然后呢就可以見(jiàn)到如下界面了:

* HUE與Hadoop集成

當(dāng)前集群環(huán)境:

NameNode與Resourcemanager均已配置HA與前幾節(jié)教程一致(Bootstrap一會(huì)再說(shuō))

** 配置Hadoop文件

hdfs-site.xml

添加如圖內(nèi)容:


core-site.xml

添加如圖內(nèi)容:

httpfs-site.xml

配置內(nèi)容如圖:

我來(lái)解釋一下:

1和屎、如果沒(méi)有配置NameNode的HA拴驮,HUE可以用WebHDFS來(lái)管理HDFS

2、如果配置了NameNodeHA柴信,則HUE只可用HttpFS來(lái)管理HDFS

由于第一種方案官方說(shuō)明中有完整示例套啤,而且基于本例是在完全分布式且HA環(huán)境已經(jīng)部署的情況下搭建的,所以随常,采用第二種方式潜沦。即配置如上,請(qǐng)大家注意线罕。

尖叫提示:

1、Hadoop相關(guān)文件配置完成后窃判,scp拷貝到其他機(jī)器節(jié)點(diǎn)

2钞楼、配置完成后呢,記得重啟整個(gè)Hadoop集群

3袄琳、在z01機(jī)器節(jié)點(diǎn)上询件,在hadoop根目錄下,使用sbin/httpfs.sh start來(lái)啟動(dòng)Bootstrap進(jìn)程唆樊,以服務(wù)HttpFS管理

** 修改Hue.ini文件宛琅,先找到[[hdfs_clusters]]這個(gè)標(biāo)簽,然后修改如下圖:

mycluster是我在core-site.xml和hdfs-site.xml中設(shè)置的集群名稱(chēng)逗旁,請(qǐng)自行查看自己的嘿辟,如果你遵從了前幾節(jié)的內(nèi)容舆瘪,則我們應(yīng)該是一致的。

**?修改Hue.ini文件红伦,先找到[[yarn_clusters]]這個(gè)標(biāo)簽英古,然后修改如下圖:

cluster-yarn1請(qǐng)到y(tǒng)arn-site.xml中查看

** 重啟HUE并測(cè)試

先使用Ctrl+C關(guān)閉HUE服務(wù),再使用如下命令重啟:

$ build/env/bin/supervisor

測(cè)試HDFS點(diǎn)進(jìn):File Browser選項(xiàng)查看如圖:

可以進(jìn)行刪除昙读,上傳等操作

測(cè)試Yarn點(diǎn)進(jìn):Job Browser選項(xiàng)查看如圖:

注意紅框內(nèi)的內(nèi)容召调,我是按照之前提交任務(wù)的人物名來(lái)查看任務(wù)的歷史記錄的,可以自行到y(tǒng)arn中查看用戶名是什么蛮浑,如圖:

* HUE與Hive集成

** 配置Hive文件

hive-site.xml

HUE與hive集成需要hive開(kāi)啟HiveServer2服務(wù)

修改如下內(nèi)容如圖:

** 啟動(dòng)Hive服務(wù)

進(jìn)入Hive根目錄唠叛,使用命令啟動(dòng)服務(wù),末尾加上&符號(hào)沮稚,讓腳本在后臺(tái)運(yùn)行艺沼,不至于占用終端:

$ bin/hive --service metastore &

$ bin/hive --service hiveserver2 &

尖叫提示:如果設(shè)置了uris,那么必須啟動(dòng)如上兩個(gè)命令壮虫,否則Hive無(wú)法正常啟動(dòng)

** 配置Hue.ini

找到[beeswax]這個(gè)標(biāo)簽澳厢,配置如下:

然后重啟Hue服務(wù),在“查詢(xún)編輯器”中選擇Hive囚似,即可看到如下界面剩拢,我們之前創(chuàng)建的一個(gè)表,查詢(xún)一下試試:


* HUE與Mysql集成

** 配置Hue.ini

找到[[[mysql]]]標(biāo)簽饶唤,修改內(nèi)容如下:

** 配置完成徐伐,重啟Hue,點(diǎn)擊“DB查詢(xún)”募狂,看到如圖內(nèi)容:

* Hue與Oozie集成

** 配置Hue.ini

找到[liboozie]以及[oozie]標(biāo)簽办素,修改內(nèi)容如下:

** 修改Oozie配置文件

oozie-site.xml

修改一下oozie的時(shí)區(qū),如下:

** 啟動(dòng)Oozie相關(guān)服務(wù)

進(jìn)入到Oozie安裝根目錄祸穷,然后執(zhí)行命令:

$ bin/oozied.sh start

然后重啟Hue服務(wù)性穿,點(diǎn)擊Workflow-儀表板-Workflow,之前我們練習(xí)的歷史記錄如下:

配置完成后雷滚,可以非常簡(jiǎn)單方便的使用圖形化界面創(chuàng)建Oozie任務(wù)需曾,因?yàn)檫^(guò)于簡(jiǎn)單,在此不再贅述祈远,請(qǐng)自行體驗(yàn)呆万。

* 總結(jié)

這一節(jié)我們使用Hue工具將之前使用的工具和框架通過(guò)圖形界面化的形式展示出來(lái)并操作,方便了日常維護(hù)和開(kāi)發(fā)车份,里面的種種細(xì)節(jié)谋减,請(qǐng)同學(xué)們自行琢磨。


IT全棧公眾號(hào):

QQ大數(shù)據(jù)技術(shù)交流群(廣告勿入):476966007


下一節(jié):Kafka框架基礎(chǔ)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末扫沼,一起剝皮案震驚了整個(gè)濱河市出爹,隨后出現(xiàn)的幾起案子庄吼,更是在濱河造成了極大的恐慌,老刑警劉巖以政,帶你破解...
    沈念sama閱讀 206,311評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件霸褒,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡盈蛮,警方通過(guò)查閱死者的電腦和手機(jī)废菱,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,339評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)抖誉,“玉大人殊轴,你說(shuō)我怎么就攤上這事√宦” “怎么了旁理?”我有些...
    開(kāi)封第一講書(shū)人閱讀 152,671評(píng)論 0 342
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)我磁。 經(jīng)常有香客問(wèn)我孽文,道長(zhǎng),這世上最難降的妖魔是什么夺艰? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,252評(píng)論 1 279
  • 正文 為了忘掉前任芋哭,我火速辦了婚禮,結(jié)果婚禮上郁副,老公的妹妹穿的比我還像新娘减牺。我一直安慰自己,他們只是感情好存谎,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,253評(píng)論 5 371
  • 文/花漫 我一把揭開(kāi)白布拔疚。 她就那樣靜靜地躺著,像睡著了一般既荚。 火紅的嫁衣襯著肌膚如雪稚失。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 49,031評(píng)論 1 285
  • 那天恰聘,我揣著相機(jī)與錄音句各,去河邊找鬼。 笑死憨琳,一個(gè)胖子當(dāng)著我的面吹牛诫钓,可吹牛的內(nèi)容都是我干的旬昭。 我是一名探鬼主播篙螟,決...
    沈念sama閱讀 38,340評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼问拘!你這毒婦竟也來(lái)了遍略?” 一聲冷哼從身側(cè)響起惧所,我...
    開(kāi)封第一講書(shū)人閱讀 36,973評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎绪杏,沒(méi)想到半個(gè)月后下愈,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,466評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡蕾久,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,937評(píng)論 2 323
  • 正文 我和宋清朗相戀三年势似,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片僧著。...
    茶點(diǎn)故事閱讀 38,039評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡履因,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出盹愚,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 33,701評(píng)論 4 323
  • 正文 年R本政府宣布泌豆,位于F島的核電站值戳,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏愈腾。R本人自食惡果不足惜憋活,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,254評(píng)論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望顶滩。 院中可真熱鬧余掖,春花似錦、人聲如沸礁鲁。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,259評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)仅醇。三九已至冗美,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間析二,已是汗流浹背粉洼。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,485評(píng)論 1 262
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留叶摄,地道東北人属韧。 一個(gè)月前我還...
    沈念sama閱讀 45,497評(píng)論 2 354
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像蛤吓,于是被迫代替她去往敵國(guó)和親宵喂。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,786評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容