只記有問題的點(diǎn)。
首先配置spark3的環(huán)境變量在$KYUUBI_HOME/conf/kyuubi-env.sh
Spark Engine
SPARK_HOME=~/Downloads/spark-3.2.0-bin-hadoop3.2
Flink Engine
FLINK_HOME=/Downloads/flink-1.15.1
配置$KYUUBI_HOME/conf/kyuubi-defaults.conf
Flink Engine
kyuubi.engine.type FLINK_SQL
Starting Kyuubi
直接執(zhí)行 bin/kyuubi start
后臺運(yùn)行 bin/kyuubi run
在spark中配置hive服務(wù)滓窍，將hive-site.xml放在spark/conf下卖词。
KERBEROS
#kerberos
kyuubi.authentication KERBEROS
kyuubi.kinit.principal hive/indata-192-168-44-128.indata.com@INDATA.COM
kyuubi.kinit.keytab /etc/security/keytabs/hive.service.keytab
由于CDH5.16 HIVE是1.1版本。但是spark3編譯默認(rèn)是2.3.7吏夯，會導(dǎo)致報錯Invalid method name: 'get_table_req'
增加如下配置
spark.sql.hive.metastore.version=1.1.0
spark.sql.hive.metastore.jars=path
spark.sql.hive.metastore.jars.path=file:///opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/hive/lib/*
在登錄時此蜈，需要在beeline使用用戶登錄，帶上-n 參數(shù)噪生，例如
./bin/beeline -u 'jdbc:hive2://10.6.100.84:10009/default' -n hive
否則還是報Invalid method name: 'get_table_req'裆赵，很奇怪的問題。
spark3編譯見百度跺嗽。https://blog.csdn.net/weixin_44957036/article/details/125400182
kyuubi編譯見百度战授。https://jishuin.proginn.com/p/763bfbd67cf6··
