大數(shù)據(jù)單機(jī)部署-hue

ubuntu建議版本hue-3.11.0或者h(yuǎn)ue-4.0.1

1.直接上http://gethue.com/下載

解壓斋荞,放到 /usr/local/hue

或者直接clone本地
 git clone https://github.com/cloudera/hue.git

2.依賴安裝:

sudo apt-get install python2.7-dev \
make \
libkrb5-dev \
libxml2-dev \
libffi-dev \
libxslt-dev \
libsqlite3-dev \
libssl-dev \
libldap2-dev \
python-pip

官網(wǎng)給出的ubuntu依賴安裝耙考,防止報錯就裝一次:

sudo apt-get install \
ant gcc g++ \
libkrb5-dev libffi-dev libmysqlclient-dev libssl-dev \
libsasl2-dev libsasl2-modules-gssapi-mit libsqlite3-dev \
libtidy-0.99-0 libxml2-dev libxslt-dev make libldap2-dev \
maven python-dev python-setuptools libgmp3-dev

顯示libtidy-0.99-0被遺棄了荒澡,修改為libtidy-dev:

sudo apt-get install \
ant gcc g++ \
libkrb5-dev libffi-dev libmysqlclient-dev libssl-dev \
libsasl2-dev libsasl2-modules-gssapi-mit libsqlite3-dev \
libtidy-dev libxml2-dev libxslt-dev make libldap2-dev \
maven python-dev python-setuptools libgmp3-dev

sasl.h 文件

sudo apt-get install libsasl2-dev

3.安裝maven、nodejs和npm

注意: deepin安裝nodejs和npm需要另外處理

sudo apt-get install maven
sudo apt-get install nodejs
sudo apt-get install npm

#查看版本
mvn -v  
node -v  
npm -v  

4.編譯:

cd /usr/local/hue
make apps

5.集成hadoop

/usr/local/hadoop/etc/hadoop/core-site.xml 配置:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.1.21:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
    </property>

    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>

    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    <property>
         <name>hadoop.proxyuser.hadoop.groups</name>
         <value>*</value>
    </property>
    <property>
          <name>hadoop.proxyuser.hue.hosts</name>
          <value>*</value>
    </property>
    <property>
          <name>hadoop.proxyuser.hue.groups</name>
          <value>*</value>
    </property>
    <property>
         <name>hadoop.proxyuser.hbase.hosts</name>
         <value>*</value>
     </property>
     <property>
         <name>hadoop.proxyuser.hbase.groups</name>
         <value>*</value>
    </property>
</configuration>

hadoop.proxyuser.hadoop.hosts 第二個hadoop是hadoop集群的使用者名
hadoop.proxyuser.hue.hosts 這個hue是給hue代理權(quán)限

6.配置hdfs-stie-xml

開啟運行HUE web訪問HDFS

<property>
      <name>dfs.webhdfs.enabled</name>
      <value>true</value>
</property>
<property>
      <name>dfs.permissions.enabled</name>
      <value>false</value>
</property>

7.集成hive

配置 /usr/local/hive/conf/hive-site.xml

<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>ip</value>
</property>
 <property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
</property>
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://ip:9083</value>
</property>

代理<name>hadoop.proxyuser.hive.hosts</name>在前面的core-site.xml中添加了

8.集成hbase

配置/usr/local/hbase/hbase-site.xml

 <property>
        <name>dfs.support.append</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.thrift.support.proxyuser</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.regionserver.thrift.http</name>
        <value>true</value>
</property>

代理<name>hadoop.proxyuser.hbase.hosts</name>在前面的core-site.xml中添加了

9.配置 /hue/desktop/conf/hue.ini (hue4-4為pseudo-distributed.ini)

default_hdfs_superuser=hadoop集群使用者名      
secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o
http_host=ip
http_port=8888
time_zone=Asia/Shanghai


#找到[hadoop]項
[hadoop]
[[hdfs_clusters]]
      fs_defaultfs=hdfs://ip:9000
      webhdfs_url=http://ip:50070/webhdfs/v1
      hadoop_conf_dir=/usr/local/hadoop/etc/hadoop

[[yarn_clusters]]
      resourcemanager_host=ip
      resourcemanager_port=8032
      submit_to=True
      resourcemanager_api_url=http://ip:8088
      proxy_api_url=http://ip:8088
      history_server_api_url=http://ip:19888
      spark_history_server_url=http://ip:18088


#找到 [beeswax] 項
[beeswax] 
hive_server_host=ip    
hive_server_port=10000 #這個是hiveserver2的端口號她倘,很重要,如果沒設(shè)置的話hive的服務(wù)無法啟動
hive_conf_dir=/usr/local/hive/conf
server_conn_timeout=12000000   #默認(rèn)120,增加數(shù)值否則查詢會超時

#找到 [hbase]項
[hbase]
  hbase_clusters=(Cluster|192.168.1.21:9090)
  hbase_conf_dir=/usr/local/hbase/conf
  thrift_transport=buffered

[spark]
  # livy 服務(wù)器域名
  livy_server_url=http://192.168.1.21:8998
  livy_server_host=你的ip或者h(yuǎn)ostname

  # livy 服務(wù)器端口
   livy_server_port=8998
  #livy_server_session_kind=spark://你的ip   #兩種模式奈应,選yarn
  livy_server_session_kind=yarn                     
  sql_server_host=你的ip 
  sql_server_port=10000
  security_enabled=false


  # Host of the Sql Server
  sql_server_host=192.168.1.21

  # Port of the Sql Server
  sql_server_port=10000


[[interpreters]]      
#部分spark相關(guān)配置
   [[[impala]]]
      name=Impala
      interface=hiveserver2

    [[[sparksql]]]
       name=SparkSql
       interface=hiveserver2

    #[[[sparksql]]]
    #  name=SparkSql
    #  interface=livy

    [[[spark]]]
      name=Scala
      interface=livy

    [[[pyspark]]]
      name=PySpark
      interface=livy

    [[[r]]]
      name=R
      interface=livy

    [[[jar]]]
      name=Spark Submit Jar
      interface=livy-batch

    [[[py]]]
      name=Spark Submit Python
      interface=livy-batch

10.hue.ini中mysql的配置

#[[database]]的配置,要去掉注釋
[[database]]

  engine=mysql
  host=你的ip
  port=3306
  user=root
  password=123
  name=hue

#[librdbms]的[databases]的[mysql]配置购披,同樣去掉注解
[librdbms]
  [[databases]]
    [[[mysql]]]               #這一行前面的注釋一定要去掉 杖挣,整個mysql配置才生效  
      nice_name="My SQL DB"
      name(DB_NAME)=hue
      engine=mysql
      port=3306
      user=root
      password=123

初始化hue的mysql數(shù)據(jù)

cd /usr/local/hue/build/env
bin/hue syncdb            #初始化數(shù)據(jù)庫,啟動后會出現(xiàn)讓你填寫用戶名和密碼,郵箱等信息刚陡,用戶名和密碼既可以用系統(tǒng)的惩妇,也可以用新建的hue用戶的株汉,筆者只試過第一個,因為第一個填寫成功后歌殃,再次初始化數(shù)據(jù)庫就不會出現(xiàn)那些填寫信息了乔妈,至于郵箱,可以直接跳過
bin/hue migrate            #執(zhí)行完以后氓皱,可以在mysql中看到路召,hue相應(yīng)的表已經(jīng)生成。

11.啟動hived的2個服務(wù)

hive --service hiveserver2
hive --service metastore

12.啟動hbase的thrift服務(wù)

hbase thrift start

13.集成spark

詳情看:大數(shù)據(jù)單機(jī)部署 - spark+scala (hue 集成 spark)

46.啟動hue:

cd /usr/local/hue
./build/env/bin/hue runserver
./build/env/bin/supervisor

注意:hue4-4版本啟動都是8000

其他版本:
runserver --------- http://localhost:8000 打開web ui界面
supervisor --------- http://localhost:8888 打開web ui界面


在這里我們可以輸入系統(tǒng)的用戶名登錄密碼波材,然后進(jìn)入界面進(jìn)行操作了

hive報錯:

如果報錯可以測試hive的服務(wù)是否能連通
beeline連接:

#啟動beeline
beeline
!connect jdbc:hive2://localhost:10000/default     #測試是否可以連接

(可選)啟動 HUE 前股淡,如果沒有啟動 httpfs 服務(wù),應(yīng)先啟動此服務(wù)廷区,否則會報【111】錯誤

(a)先進(jìn)入到此目錄下:
    cd /usr/local/hadoop/sbin/sbin/
(b)啟動httpfs服務(wù)(如果配置過hadoop全局唯灵,可以直接執(zhí)行此命令):
    httpfs.sh start

編譯報錯:

1.Gcc 編譯出錯處理 --openssl 依賴問題

sudo apt-get install libssl1.0-dev

2.提示缺少 sasl.h 文件

sudo apt-get install libsasl2-dev

3.error: my_config.h: 沒有那個文件或目錄
鏈接:https://stackoverflow.com/questions/5178292/pip-install-mysql-python-fails-with-environmenterror-mysql-config-not-found

sudo apt install default-libmysqlclient-dev

4.ProgrammingError: (1146, "Table 'hive.django_session' doesn't exist")

沒有初始化數(shù)據(jù)庫

cd usr/local/hue/build/env
bin/hue syncdb
bin/hue migrate

5.Exception: Version mismatch: this is the 'cffi' package version 1.10.0, loca......

sudo apt-get install python-cffi
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市隙轻,隨后出現(xiàn)的幾起案子埠帕,更是在濱河造成了極大的恐慌,老刑警劉巖大脉,帶你破解...
    沈念sama閱讀 216,591評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件搞监,死亡現(xiàn)場離奇詭異,居然都是意外死亡镰矿,警方通過查閱死者的電腦和手機(jī)琐驴,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,448評論 3 392
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來秤标,“玉大人绝淡,你說我怎么就攤上這事〔越” “怎么了牢酵?”我有些...
    開封第一講書人閱讀 162,823評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長衙猪。 經(jīng)常有香客問我馍乙,道長,這世上最難降的妖魔是什么垫释? 我笑而不...
    開封第一講書人閱讀 58,204評論 1 292
  • 正文 為了忘掉前任丝格,我火速辦了婚禮,結(jié)果婚禮上棵譬,老公的妹妹穿的比我還像新娘显蝌。我一直安慰自己,他們只是感情好订咸,可當(dāng)我...
    茶點故事閱讀 67,228評論 6 388
  • 文/花漫 我一把揭開白布曼尊。 她就那樣靜靜地躺著酬诀,像睡著了一般。 火紅的嫁衣襯著肌膚如雪骆撇。 梳的紋絲不亂的頭發(fā)上瞒御,一...
    開封第一講書人閱讀 51,190評論 1 299
  • 那天,我揣著相機(jī)與錄音艾船,去河邊找鬼葵腹。 笑死,一個胖子當(dāng)著我的面吹牛屿岂,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播鲸匿,決...
    沈念sama閱讀 40,078評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼爷怀,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了带欢?” 一聲冷哼從身側(cè)響起运授,我...
    開封第一講書人閱讀 38,923評論 0 274
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎乔煞,沒想到半個月后吁朦,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,334評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡渡贾,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,550評論 2 333
  • 正文 我和宋清朗相戀三年逗宜,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片空骚。...
    茶點故事閱讀 39,727評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡纺讲,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出囤屹,到底是詐尸還是另有隱情熬甚,我是刑警寧澤,帶...
    沈念sama閱讀 35,428評論 5 343
  • 正文 年R本政府宣布肋坚,位于F島的核電站乡括,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏智厌。R本人自食惡果不足惜诲泌,卻給世界環(huán)境...
    茶點故事閱讀 41,022評論 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望峦剔。 院中可真熱鬧档礁,春花似錦、人聲如沸吝沫。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,672評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至羹幸,卻和暖如春脊髓,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背栅受。 一陣腳步聲響...
    開封第一講書人閱讀 32,826評論 1 269
  • 我被黑心中介騙來泰國打工将硝, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人屏镊。 一個月前我還...
    沈念sama閱讀 47,734評論 2 368
  • 正文 我出身青樓依疼,卻偏偏與公主長得像,于是被迫代替她去往敵國和親而芥。 傳聞我的和親對象是個殘疾皇子律罢,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,619評論 2 354

推薦閱讀更多精彩內(nèi)容