為什么要編譯源碼呢?要搞hive on spark。。谒出。
1.CHD不好用,缺jar包啊
2.hive1.1的 pom文件寫了只支持spark1.2
3.Apache版本的部署包有-Phive編譯邻奠,不能用
簡單粗暴的說
下載源碼包開始編譯:
1.使用這個命令:
mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests clean package
官網只支持參數(shù)hadoop版本到2.4笤喳,想編譯其他版本 改pom文件,加進去就好了
編譯完之后是是沒有部署包的惕澎,要做的就是把./assembly/target/scala-2.11中的spark-assembly-1.2.0-hadoop2.4.0.jar包 替換到 之前解壓的Apache版本的lib目錄下
2.上步做完還是不能用莉测。。唧喉。報錯捣卤。。呵呵
3.恩八孝。董朝。在編譯完的目錄內再使用這個命令編譯一遍
./make-distribution.sh --name"hadoop2-without-hive"--tgz"-Pyarn,hadoop-provided,hadoop-2.6,parquet-provided"
4.編譯完之后的目錄下會有個tar包,拿出來重新解壓
5.
./bin/spark-submit --classorg.apache.spark.examples.SparkPi--masteryarn--deploy-modeclientlib/spark-examples-
測試成功了干跛,服務也開啟了子姜。。楼入。哥捕。
接下來hive on spark 。嘉熊。遥赚。。阐肤。凫佛。。孕惜。愧薛。。衫画。毫炉。。削罩。碘箍。遵馆。。丰榴。。秆撮。四濒。。职辨。盗蟆。。舒裤。喳资。。腾供。仆邓。
附個我自己編譯完的包~
鏈接: https://pan.baidu.com/s/1qXH0Eh2 密碼: 7x2h