看了好幾天spark源碼诞丽,今天突然想試一試如何把spark編譯出來打掘。
記錄一下編譯過程。
第一步,下載源碼:
下載源碼牵敷,考慮到墻的存在御铃,沒有直接使用spark提供的下載鏈接谎懦,我是從aliyun的鏡像網(wǎng)站下載的蜕便,http://mirrors.aliyun.com/apache/spark/spark-1.6.1/spark-1.6.1.tgz 。
將下載好的源碼解壓:
tar -xf spark-1.6.1.tgz
第二步哨坪,編譯:
使用spark提供的腳本進(jìn)行編譯:
cd spark-1.6.1
./make-distribution.sh --name custom-spark --tgz -Phadoop-2.4 -Pyarn
漫長(zhǎng)的等待過程庸疾。
編譯好了,會(huì)在當(dāng)前目錄產(chǎn)生一個(gè)文件spark-1.6.1-bin-custom-spark.tgz
第三步齿税,運(yùn)行:
解壓編譯出來的spark運(yùn)行包:
tar -xf spark-1.6.1-bin-custom-spark.tgz
運(yùn)行spark-shell
cd spark-1.6.1-bin-custom-spark
bin/spark-shell
運(yùn)行效果圖: