ubuntu建議版本hue-3.11.0或者h(yuǎn)ue-4.0.1
1.直接上http://gethue.com/下載
解壓斋荞,放到 /usr/local/hue
或者直接clone本地
git clone https://github.com/cloudera/hue.git
2.依賴安裝:
sudo apt-get install python2.7-dev \
make \
libkrb5-dev \
libxml2-dev \
libffi-dev \
libxslt-dev \
libsqlite3-dev \
libssl-dev \
libldap2-dev \
python-pip
官網(wǎng)給出的ubuntu依賴安裝耙考,防止報錯就裝一次:
sudo apt-get install \
ant gcc g++ \
libkrb5-dev libffi-dev libmysqlclient-dev libssl-dev \
libsasl2-dev libsasl2-modules-gssapi-mit libsqlite3-dev \
libtidy-0.99-0 libxml2-dev libxslt-dev make libldap2-dev \
maven python-dev python-setuptools libgmp3-dev
顯示libtidy-0.99-0被遺棄了荒澡,修改為libtidy-dev:
sudo apt-get install \
ant gcc g++ \
libkrb5-dev libffi-dev libmysqlclient-dev libssl-dev \
libsasl2-dev libsasl2-modules-gssapi-mit libsqlite3-dev \
libtidy-dev libxml2-dev libxslt-dev make libldap2-dev \
maven python-dev python-setuptools libgmp3-dev
sasl.h 文件
sudo apt-get install libsasl2-dev
3.安裝maven、nodejs和npm
注意: deepin安裝nodejs和npm需要另外處理
sudo apt-get install maven
sudo apt-get install nodejs
sudo apt-get install npm
#查看版本
mvn -v
node -v
npm -v
4.編譯:
cd /usr/local/hue
make apps
5.集成hadoop
/usr/local/hadoop/etc/hadoop/core-site.xml 配置:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.21:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hue.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hbase.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hbase.groups</name>
<value>*</value>
</property>
</configuration>
hadoop.proxyuser.hadoop.hosts 第二個hadoop是hadoop集群的使用者名
hadoop.proxyuser.hue.hosts 這個hue是給hue代理權(quán)限
6.配置hdfs-stie-xml
開啟運行HUE web訪問HDFS
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
7.集成hive
配置 /usr/local/hive/conf/hive-site.xml
<property>
<name>hive.server2.thrift.bind.host</name>
<value>ip</value>
</property>
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://ip:9083</value>
</property>
代理<name>hadoop.proxyuser.hive.hosts</name>在前面的core-site.xml中添加了
8.集成hbase
配置/usr/local/hbase/hbase-site.xml
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>
<property>
<name>hbase.thrift.support.proxyuser</name>
<value>true</value>
</property>
<property>
<name>hbase.regionserver.thrift.http</name>
<value>true</value>
</property>
代理<name>hadoop.proxyuser.hbase.hosts</name>在前面的core-site.xml中添加了
9.配置 /hue/desktop/conf/hue.ini (hue4-4為pseudo-distributed.ini)
default_hdfs_superuser=hadoop集群使用者名
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=ip
http_port=8888
time_zone=Asia/Shanghai
#找到[hadoop]項
[hadoop]
[[hdfs_clusters]]
fs_defaultfs=hdfs://ip:9000
webhdfs_url=http://ip:50070/webhdfs/v1
hadoop_conf_dir=/usr/local/hadoop/etc/hadoop
[[yarn_clusters]]
resourcemanager_host=ip
resourcemanager_port=8032
submit_to=True
resourcemanager_api_url=http://ip:8088
proxy_api_url=http://ip:8088
history_server_api_url=http://ip:19888
spark_history_server_url=http://ip:18088
#找到 [beeswax] 項
[beeswax]
hive_server_host=ip
hive_server_port=10000 #這個是hiveserver2的端口號她倘,很重要,如果沒設(shè)置的話hive的服務(wù)無法啟動
hive_conf_dir=/usr/local/hive/conf
server_conn_timeout=12000000 #默認(rèn)120,增加數(shù)值否則查詢會超時
#找到 [hbase]項
[hbase]
hbase_clusters=(Cluster|192.168.1.21:9090)
hbase_conf_dir=/usr/local/hbase/conf
thrift_transport=buffered
[spark]
# livy 服務(wù)器域名
livy_server_url=http://192.168.1.21:8998
livy_server_host=你的ip或者h(yuǎn)ostname
# livy 服務(wù)器端口
livy_server_port=8998
#livy_server_session_kind=spark://你的ip #兩種模式奈应,選yarn
livy_server_session_kind=yarn
sql_server_host=你的ip
sql_server_port=10000
security_enabled=false
# Host of the Sql Server
sql_server_host=192.168.1.21
# Port of the Sql Server
sql_server_port=10000
[[interpreters]]
#部分spark相關(guān)配置
[[[impala]]]
name=Impala
interface=hiveserver2
[[[sparksql]]]
name=SparkSql
interface=hiveserver2
#[[[sparksql]]]
# name=SparkSql
# interface=livy
[[[spark]]]
name=Scala
interface=livy
[[[pyspark]]]
name=PySpark
interface=livy
[[[r]]]
name=R
interface=livy
[[[jar]]]
name=Spark Submit Jar
interface=livy-batch
[[[py]]]
name=Spark Submit Python
interface=livy-batch
10.hue.ini中mysql的配置
#[[database]]的配置,要去掉注釋
[[database]]
engine=mysql
host=你的ip
port=3306
user=root
password=123
name=hue
#[librdbms]的[databases]的[mysql]配置购披,同樣去掉注解
[librdbms]
[[databases]]
[[[mysql]]] #這一行前面的注釋一定要去掉 杖挣,整個mysql配置才生效
nice_name="My SQL DB"
name(DB_NAME)=hue
engine=mysql
port=3306
user=root
password=123
初始化hue的mysql數(shù)據(jù)
cd /usr/local/hue/build/env
bin/hue syncdb #初始化數(shù)據(jù)庫,啟動后會出現(xiàn)讓你填寫用戶名和密碼,郵箱等信息刚陡,用戶名和密碼既可以用系統(tǒng)的惩妇,也可以用新建的hue用戶的株汉,筆者只試過第一個,因為第一個填寫成功后歌殃,再次初始化數(shù)據(jù)庫就不會出現(xiàn)那些填寫信息了乔妈,至于郵箱,可以直接跳過
bin/hue migrate #執(zhí)行完以后氓皱,可以在mysql中看到路召,hue相應(yīng)的表已經(jīng)生成。
11.啟動hived的2個服務(wù)
hive --service hiveserver2
hive --service metastore
12.啟動hbase的thrift服務(wù)
hbase thrift start
13.集成spark
詳情看:大數(shù)據(jù)單機(jī)部署 - spark+scala (hue 集成 spark)
46.啟動hue:
cd /usr/local/hue
./build/env/bin/hue runserver
./build/env/bin/supervisor
注意:hue4-4版本啟動都是8000
其他版本:
runserver --------- http://localhost:8000 打開web ui界面
supervisor --------- http://localhost:8888 打開web ui界面
在這里我們可以輸入系統(tǒng)的用戶名和登錄密碼波材,然后進(jìn)入界面進(jìn)行操作了
hive報錯:
如果報錯可以測試hive的服務(wù)是否能連通
beeline連接:
#啟動beeline
beeline
!connect jdbc:hive2://localhost:10000/default #測試是否可以連接
(可選)啟動 HUE 前股淡,如果沒有啟動 httpfs 服務(wù),應(yīng)先啟動此服務(wù)廷区,否則會報【111】錯誤
(a)先進(jìn)入到此目錄下:
cd /usr/local/hadoop/sbin/sbin/
(b)啟動httpfs服務(wù)(如果配置過hadoop全局唯灵,可以直接執(zhí)行此命令):
httpfs.sh start
編譯報錯:
1.Gcc 編譯出錯處理 --openssl 依賴問題
sudo apt-get install libssl1.0-dev
2.提示缺少 sasl.h 文件
sudo apt-get install libsasl2-dev
3.error: my_config.h: 沒有那個文件或目錄
鏈接:https://stackoverflow.com/questions/5178292/pip-install-mysql-python-fails-with-environmenterror-mysql-config-not-found
sudo apt install default-libmysqlclient-dev
4.ProgrammingError: (1146, "Table 'hive.django_session' doesn't exist")
沒有初始化數(shù)據(jù)庫
cd usr/local/hue/build/env
bin/hue syncdb
bin/hue migrate
5.Exception: Version mismatch: this is the 'cffi' package version 1.10.0, loca......
sudo apt-get install python-cffi