更多RDD的信息參考：https://www.cnblogs.com/qingyunzong/p/8899715.html
分區(qū)
在Spark程序中颜屠，RDD是由SparkContext上下文生成的，一個(gè)數(shù)據(jù)源只能生成一個(gè)RDD對(duì)象（流處理場(chǎng)景中娱两，指定多個(gè)消息源可以生成多個(gè)RDD扇住，存在DStream中）庶近。
RDD（Resilient Distributed Dataset）是Spark中最基本的數(shù)據(jù)抽象，它代表一個(gè)不可變、可分區(qū)、里面的元素可并行計(jì)算的集合赊舶。
分區(qū)（Partition），即數(shù)據(jù)集的基本組成單位赶诊。對(duì)于RDD來(lái)說(shuō)笼平，每個(gè)分區(qū)都會(huì)被一個(gè)計(jì)算任務(wù)Task處理，并決定并行計(jì)算的粒度舔痪。用戶可以在創(chuàng)建RDD時(shí)指定RDD的分區(qū)個(gè)數(shù)寓调，如果沒(méi)有指定，那么就會(huì)采用默認(rèn)值锄码。默認(rèn)值就是程序所分配到的CPU Core的數(shù)目（取決于運(yùn)行環(huán)境）夺英。如果是從HDFS中創(chuàng)建，默認(rèn)為文件的數(shù)據(jù)塊數(shù)滋捶。
分區(qū)劃分器
Spark默認(rèn)提供兩種劃分器：哈希分區(qū)劃分器（HashPartitioner）和范圍分區(qū)劃分器（RangePartitioner）,且Partitioner只存在（K, V）類型的RDD中痛悯，對(duì)于非(K, V)類型的Partitioner值為None。
//從test.txt 構(gòu)建rdd
JavaRDD<String> rdd = sc.textFile("test.txt");
System.out.println("初始分區(qū)劃分器：" + rdd.partitioner().toString());
輸出：初始分區(qū)劃分器：Optional.empty
HashPartitioner 是默認(rèn)分區(qū)劃分器重窟，他的原理是對(duì)于給定的key载萌，計(jì)算其hashCode，并除于分區(qū)的個(gè)數(shù)取余亲族，如果余數(shù)小于0炒考，則用余數(shù)+分區(qū)的個(gè)數(shù)，最后返回的值就是這個(gè)key所屬的分區(qū)ID霎迫。但HashPartitioner易造成分區(qū)內(nèi)數(shù)據(jù)不均勻（跟key的分布息息相關(guān)）斋枢。
RangePartitioner分區(qū)劃分器可以解決數(shù)據(jù)分布不均勻問(wèn)題，他能保證分區(qū)與分區(qū)之間是有序的知给，一個(gè)分區(qū)中的元素肯定都是比另一個(gè)分區(qū)內(nèi)的元素小或者大瓤帚，但是分區(qū)內(nèi)的元素是不能保證順序的。簡(jiǎn)單的說(shuō)就是將一定范圍內(nèi)的數(shù)映射到某一個(gè)分區(qū)內(nèi)涩赢。
groupByKey()默認(rèn)采用哈希分區(qū)劃分器戈次，當(dāng)然也可以手動(dòng)指定分區(qū)劃分器（包括自定義分區(qū)劃分器）
pairRDD.groupByKey(4); //默認(rèn)哈希分區(qū)劃分器，并指定分區(qū)數(shù)=4
OR
pairRDD.groupByKey(new HashPartitioner(4)); //指定哈希分區(qū)劃分器筒扒，并指定分區(qū)數(shù)=4
對(duì)<K,V>結(jié)構(gòu)的RDD怯邪，還可以手動(dòng)使用分區(qū)劃分器，使用partitionBy(Partitioner partitioner)函數(shù)
JavaPairRDD<String, Iterable<Integer>> groupRDD = pairRDD.groupByKey();
System.out.println("partitionBy前初始分區(qū)劃分器：" + groupRDD.partitioner().toString());
groupRDD.partitionBy(new HashPartitioner(3)); //手動(dòng)使用分區(qū)劃分器
System.out.println("partitionBy后初始分區(qū)劃分器：" + groupRDD.partitioner().toString());
請(qǐng)注意：如果rdd當(dāng)前分區(qū)劃分器與partitionBy指定的劃分器相同花墩，則不再進(jìn)行分區(qū)劃分悬秉，因此上述代碼輸出為
partitionBy前初始分區(qū)劃分器：Optional[org.apache.spark.HashPartitioner@4]
partitionBy后初始分區(qū)劃分器：Optional[org.apache.spark.HashPartitioner@4]
為了證明partitionBy指定HashPartitioner分區(qū)器沒(méi)有生效澄步，我們改變一下分區(qū)數(shù)，并打印
JavaPairRDD<String, Iterable<Integer>> groupRDD = pairRDD.groupByKey(2); //指定分區(qū)數(shù)2
System.out.println("partitionBy前分區(qū)數(shù)：" + groupRDD.getNumPartitions());
groupRDD.partitionBy(new HashPartitioner(4)); //指定分區(qū)數(shù)4
System.out.println("partitionBy后分區(qū)數(shù)：" + groupRDD.getNumPartitions());
輸出：
partitionBy前分區(qū)數(shù)：2
partitionBy后分區(qū)數(shù)：2
指定分區(qū)的方法
并行化創(chuàng)建（創(chuàng)建rdd時(shí)指定）和泌。指定生成n個(gè)分區(qū)的rdd
// 構(gòu)造數(shù)據(jù)源
List<Integer> data = Arrays.asList(1, 2, 3, 4, 5);
//并行化創(chuàng)建rdd
JavaRDD<Integer> rdd = sc.parallelize(data,n);
文件中創(chuàng)建（創(chuàng)建rdd時(shí)指定）村缸。指定生成n個(gè)分區(qū)的rdd
//從test.txt 構(gòu)建rdd
JavaRDD<String> rdd = sc.textFile("test.txt",n);
shuffle時(shí)指定。指定shuffle后新的rdd的分區(qū)數(shù)（n在最后）
JavaPairDStream<String, Integer> wordCounts = pairs.reduceByKey(new Function2<Integer, Integer, Integer>() {
public Integer call(Integer integer, Integer integer2) throws Exception {
return integer + integer2;
}
},n);
指定默認(rèn)配置武氓。請(qǐng)注意：此方式僅對(duì)shuffle后的rdd有效梯皿。即如果沒(méi)有在創(chuàng)建rdd時(shí)指定分區(qū)數(shù)，該配置不會(huì)修改初始rdd的分區(qū)數(shù)县恕，但是對(duì)shuffle后的新rdd有效东羹。
補(bǔ)充：我之前有個(gè)疑問(wèn)就是如果不指定分區(qū)，shuffle前和shuffle后的分區(qū)是不是變化的弱睦，經(jīng)過(guò)本地測(cè)試百姓，答案是會(huì)變化。
conf.set("spark.default.parallelism","n");
本地模式况木。貌似也只對(duì)并行化創(chuàng)建rdd有效，本地demo設(shè)置local[*]旬迹，打印從文件中創(chuàng)建的rdd分區(qū)數(shù)結(jié)果是2火惊。這種方式不用太在意，本地只是測(cè)試用奔垦。
new SparkConf().setMaster(local[n]); //n 表示具體的分區(qū)數(shù)
或
new SparkConf().setMaster(local[*]); //*表示使用cpu core 數(shù)
腳本模式屹耐。沒(méi)研究
- Spark-shell --conf <key>=<value>
- Spark-submit --conf <key>=<value>
綜上
建議直接在操作rdd的函數(shù)中指定分區(qū)數(shù)，不僅優(yōu)先級(jí)最高椿猎，而且保證準(zhǔn)確性惶岭。
