問題:
再來看看绎秒,$SPARK_HOME
原因分析:
出現(xiàn)上述的情況原因就是spark沒有檢測到hive存在,所以自己創(chuàng)建了默認(rèn)元數(shù)據(jù)呢灶。
解決方案:
hive:
修改hive-site.xml:添加這個(gè)
啟動(dòng)hive metastore:
hive --service metastore
后臺(tái)啟動(dòng):
hive --service metastore 2>&1 >> /home/log/hive_metastore.log &
spark 代碼中:
添加
再次啟動(dòng)程序吴超,就可以了。
PS:我的spark的版本是2.3.3 暫時(shí)只發(fā)現(xiàn)這一種方式解決鸯乃。一些老版本應(yīng)該可以直接把hive-site.xml復(fù)制到spark目錄下鲸阻,可以起到同樣的效果(這種方法官方不推薦)