Hue的功能
由于大數(shù)據(jù)框架很多数冬，為了解決某個(gè)問題堡妒，一般來說會(huì)用到幾個(gè)框架，但是每個(gè)框架又都有自己的web UI監(jiān)控界面瓜喇，對(duì)應(yīng)著不同的端口號(hào)挺益。比如HDFS(50070)、YARN(8088)乘寒、MapReduce(19888)等望众。這個(gè)時(shí)候有一個(gè)統(tǒng)一的web UI界面去管理各個(gè)大數(shù)據(jù)常用框架是非常方便的。這就使得對(duì)大數(shù)據(jù)的開發(fā)伞辛、監(jiān)控和運(yùn)維更加的方便烂翰。
Hue的架構(gòu)
從上圖可以看出，Hue幾乎可以支持所有大數(shù)據(jù)框架蚤氏，包含有HDFS文件系統(tǒng)對(duì)的頁面(調(diào)用HDFS API甘耿，進(jìn)行增刪改查的操作)，有HIVE UI界面(使用HiveServer2竿滨，JDBC方式連接佳恬，可以在頁面上編寫HQL語句，進(jìn)行數(shù)據(jù)分析查詢)于游，YARN監(jiān)控及Oozie工作流任務(wù)調(diào)度頁面等等毁葱。
Hue的編譯安裝
- 下載解壓
tar zxvf hue-3.7.0-cdh5.3.6.tar.gz -C /opt/modules/cdh/
- 用yum安裝相應(yīng)的依賴(對(duì)于不同的操作系統(tǒng)，需要的依賴不完全相同)
ant
asciidoc
cyrus-sasl-devel
cyrus-sasl-gssapi
gcc
gcc-c++
krb5-devel
libtidy
libxml2-devel
libxslt-devel
mvn
mysql
mysql-devel
openldap-devel
python-devel
sqlite-devel
openssl-devel
-
編譯Hue
3.png
正常編譯完成后的結(jié)果
4.png - 配置desktop/conf/hue.ini
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
# Webserver listens on this address and port
http_host=bigdata-00
http_port=8888
# Time zone name
time_zone=Asia/Shanghai
# Enable or disable Django debug mode.
django_debug_mode=false
# Enable or disable backtrace for server error
http_500_debug_mode=false
-
啟動(dòng)Hue贰剥，并在web ui界面訪問8888端口
5.png
第一次登陸Hue時(shí)倾剿，需要設(shè)置一個(gè)超級(jí)用戶。
6.png
Hue與HDFS的集成
- HDFS中的配置(因?yàn)闀?huì)在hue的web界面實(shí)現(xiàn)增刪改查蚌成，所以調(diào)用HDFS的api)前痘，配置完成后需要重啟HDFS集群。
hdfs-site.xml增加一個(gè)值開啟hdfs的web交互
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
core-site.xml担忧，設(shè)置允許hue中的那些用戶和組作為代理
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
- 修改desktop/conf/hue.ini
中括號(hào)標(biāo)記著框架的配置
[hadoop]
# Configuration for HDFS NameNode
# ------------------------------------------------------------------------
[[hdfs_clusters]]
# HA support by using HttpFs
[[[default]]]
# 定義交互的host:port
fs_defaultfs=hdfs://bigdata-00:8020
# hdfs web host:port
webhdfs_url=http://bigdata-00:50070/webhdfs/v1
# Directory of the Hadoop configuration
hadoop_conf_dir=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop
hadoop_hdfs_home=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6
hadoop_bin=/opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin
-
重啟hue后芹缔，在web端檢查是否配置成功(登陸web UI界面，點(diǎn)擊菜單欄中的File Brower)瓶盛」粤猓可以非常方便的對(duì)hdfs進(jìn)行增刪改查的操作坡锡。
8.png
9.png
Hue與框架YARN的集成
- 修改hue.ini文件
[[yarn_clusters]]
[[[default]]]
# Enter the host on which you are running the ResourceManager
resourcemanager_host=bigdata-00
# The port where the ResourceManager IPC listens on
resourcemanager_port=8032
# Whether to submit jobs to this cluster
submit_to=True
# URL of the ResourceManager API
resourcemanager_api_url=http://bigdata-00:8088
# URL of the ProxyServer API
proxy_api_url=http://bigdata-00:8088
# URL of the HistoryServer API
history_server_api_url=http://bigdata-00:19888
-
重啟hue server后蓬网，登陸界面窒所，點(diǎn)擊Job Brower按鈕查看
10.png
點(diǎn)擊任務(wù)可以查看詳細(xì)的信息
11.png
Hue與框架Hive的集成
-
開啟Hive Remote MetaStore
12.png
Hive的元數(shù)據(jù)可以存儲(chǔ)在本地的MySQL中，但是大多數(shù)情況會(huì)是一個(gè)mysql集群帆锋，而且不在本地吵取。所以在hive中需要開啟遠(yuǎn)程metastore。由于我是本地的mysql锯厢，我就不配置下列屬性了皮官，但是如果是遠(yuǎn)程的metastore，配置下面的屬性实辑。
<property>
<name>hive.metastore.uris</name>
<value></value>
<description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>
<property>
<name>hive.server2.transport.mode</name>
<value>http</value>
<description>Server transport mode. "binary" or "http".</description>
</property>
bin/hive --service metastore &
- Hue底層通過HiveServer2中JDBC/ODBC方式連接HIve捺氢，進(jìn)行數(shù)據(jù)分析查詢，需要先啟動(dòng)Hive中的HiveServer2服務(wù)剪撬，再在desktop/conf/hue.ini文件修改配置摄乒。對(duì)于端口號(hào)的設(shè)置需要注意，如果采用默認(rèn)的TCP協(xié)議残黑，端口號(hào)10000馍佑；如果設(shè)置為http，端口號(hào)為10001梨水。
[beeswax]
hive_server_host=hadoop-senior02.ibeifeng.com
# Port where HiveServer2 Thrift server runs on.
hive_server_port=10000
# Hive configuration directory, where hive-site.xml is located
hive_conf_dir=/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/conf
hive_home_dir=/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6
-
開啟Hiveserver2后運(yùn)行Hue拭荤，查看web界面
13.png
14.png
可以發(fā)現(xiàn)hue的web界是通過Hiveserver2交互的
16.png
Hue集成RDBMS
-
啟用標(biāo)記對(duì)，去掉圖中的注釋疫诽，配置hue的數(shù)據(jù)庫
17.png -
配置mysql數(shù)據(jù)庫
18.png -
查看web UI界面
19.png
