SparkConf 配置的用法
Spark應(yīng)用程序的配置骄噪，用于將各種Spark參數(shù)設(shè)置為鍵值對。
大多數(shù)情況下，將使用新的SparkConf(),創(chuàng)建一個SparkConf對象焦蘑，該對象將從您的應(yīng)用程序中設(shè)置的任何spark.*的Java系統(tǒng)屬性加載值。 在這種情況下盒发，** 直接在SparkConf對象上設(shè)置的參數(shù)優(yōu)先于系統(tǒng)屬性 **例嘱。
對于單元測試狡逢，您還可以調(diào)用新的SparkConf(false)來跳過加載外部設(shè)置，并獲得相同的配置拼卵，無論系統(tǒng)屬性如何奢浑。
此類中的所有setter方法都支持鏈?zhǔn)秸{(diào)用。
new SparkConf().setMaster("local").setAppName("My app")
SparkConf() //load defaults from system properties and classpath
def getAll: Array[(String, String)] //Get all parameters as a list of pairs
def setAppName(name: String) //Set a name for your application
val conf = new SparkConf().setAppName("PRM Training Process").setAll(Configuration.sparkProps)
Configuration.sparkProps //?
使用Dataset和DataFrame API編程Spark的入口點(diǎn)间学。
在預(yù)先創(chuàng)建此環(huán)境的環(huán)境中殷费，使用構(gòu)建器獲取現(xiàn)有會話
構(gòu)建器(builder)還可用于創(chuàng)建新會話
SparkSession.builder()
.master("local")
.appName("My app")
.config("spark.some.config.option", "some-value")
.getOrCreate()
val spark = SparkSession.builder.config(conf).enableHiveSupport.getOrCreate
