一账胧、高性能序列化類(lèi)庫(kù)
- 數(shù)據(jù)序列化概述
1)在任何分布式系統(tǒng)中料身，序列化都是扮演著一個(gè)重要的角色的。如果使用的序列化技術(shù)胰锌，在執(zhí)行序列化操作的時(shí)候很慢骗绕，或者是序列化后的數(shù)據(jù)還是很大，那么會(huì)讓分布式應(yīng)用程序的性能下降很多资昧。所以酬土，進(jìn)行Spark性能優(yōu)化的第一步，就是進(jìn)行序列化的性能優(yōu)化格带。
2)Spark自身默認(rèn)就會(huì)在一些地方對(duì)數(shù)據(jù)進(jìn)行序列化撤缴，比如Shuffle。還有就是叽唱，如果我們的算子函數(shù)使用到了外部的數(shù)據(jù)（比如Java內(nèi)置類(lèi)型屈呕，或者自定義類(lèi)型），那么也需要讓其可序列化棺亭。
3)而Spark自身對(duì)于序列化的便捷性和性能進(jìn)行了一個(gè)取舍和權(quán)衡虎眨。默認(rèn)，Spark傾向于序列化的便捷性镶摘，使用了Java自身提供的序列化機(jī)制——基于ObjectInputStream和ObjectOutputStream的序列化機(jī)制专甩。因?yàn)檫@種方式是Java原生提供的，很方便使用钉稍。
4)但是問(wèn)題是涤躲，Java序列化機(jī)制的性能并不高。序列化的速度相對(duì)較慢贡未，而且序列化以后的數(shù)據(jù)种樱，還是相對(duì)來(lái)說(shuō)比較大蒙袍，還是比較占用內(nèi)存空間。因此嫩挤，如果你的Spark應(yīng)用程序?qū)?nèi)存很敏感害幅，那么，實(shí)際上默認(rèn)的Java序列化機(jī)制并不是最好的選擇岂昭。
二以现、Spark提供的兩種序列化機(jī)制
- java序列化機(jī)制
默認(rèn)情況下、Spark使用自身的ObjectInputStream和ObjectOutputStream機(jī)制進(jìn)行對(duì)象的序列化约啊。只要你實(shí)現(xiàn)了Serializable接口,那么都是可以序列化的,而且Java序列化機(jī)制是提供了自定義序列化支持的,只要你實(shí)現(xiàn)Externalizable接口即可實(shí)習(xí)自己的更高性能的序列化算法,java序列化機(jī)制的速度比較慢,而且序列化后的數(shù)據(jù)占有的內(nèi)存空間比較大邑遏。
- Kryo序列化機(jī)制
Kryo序列化機(jī)制比java序列化機(jī)制更快,而且序列化機(jī)制的數(shù)據(jù)占用的空間更小,通常比java序列化的數(shù)據(jù)占用空間要小10倍。Kryo序列化機(jī)制之所以不是默認(rèn)序列化機(jī)制的原因是,有些類(lèi)型雖然實(shí)現(xiàn)了Seriralizable接口,但是也不一定能夠進(jìn)行序列化;此外,如果你要得到序列化最佳的性能,Kryo還要要求你在Spark應(yīng)用程序中,對(duì)所有你需要序列化的類(lèi)型都進(jìn)行注冊(cè)恰矩。
- 如何使用Kryo序列化機(jī)制
(1) 如果使用Kryo序列化機(jī)制,首先要用SparkConf設(shè)置一個(gè)參數(shù),使用new SparkConf().set("spark.serializer","org.apache.spark.serializer.KryoSerializer")即可,即將spark的序列化器設(shè)置為KryoSerializer记盒。這樣,Spark在內(nèi)部的一些操作,比如Shuffle,進(jìn)行序列化時(shí),就會(huì)使用Kryo類(lèi)庫(kù)進(jìn)行高性能、快速外傅、更低內(nèi)存占用量的序列化了纪吮。
使用Kryo時(shí),它要求需要序列化的類(lèi),是要預(yù)先進(jìn)行注冊(cè)的,以獲得最佳性能。如果不注冊(cè)的話(huà),那么Kryo必須時(shí)刻保存類(lèi)型的全限定類(lèi)名,反而占用不少內(nèi)存萎胰。Spark默認(rèn)是對(duì)scala中常用的類(lèi)型自動(dòng)注冊(cè)Kryo的,都在AllScalaRegistry類(lèi)中碾盟。
(2) 如果要使用自定義的類(lèi)型
Scala版本：
val conf = new SparkConf().setMaster(...).setAppName(...)
conf.registerKryoClasses(Array(classOf[Counter] ))
val sc = new SparkContext(conf)
Java版本：
SparkConf conf = new SparkConf().setMaster(...).setAppName(...)
conf.registerKryoClasses(Counter.class)
JavaSparkContext sc = new JavaSparkContext(conf)
三、優(yōu)化Kryo類(lèi)庫(kù)的使用
- 優(yōu)化緩存大小
如果注冊(cè)的要序列化的自定義的類(lèi)型,本身特別大,比如包含超過(guò)100個(gè)field技竟。那么就會(huì)導(dǎo)致要序列化的對(duì)象過(guò)大巷疼。此時(shí)就需要對(duì)Kryo本身進(jìn)行優(yōu)化。因此Kryo內(nèi)存的緩存可能不夠存放那么大的class對(duì)象灵奖。此時(shí)就需要調(diào)用SparkConf.set()方法,設(shè)置spark.kryoserializer.buffer.mb參數(shù)的值,將其調(diào)大嚼沿。默認(rèn)情況是2M
- 預(yù)先注冊(cè)自定義類(lèi)型
雖然不注冊(cè)自定義類(lèi)型,Kryo類(lèi)庫(kù)也能正常工作,但是那樣的話(huà)，對(duì)于它要序列化的每個(gè)對(duì)象瓷患，都會(huì)保存一份它的全限定類(lèi)名骡尽。此時(shí)反而會(huì)耗費(fèi)大量?jī)?nèi)存。因此通常都建議預(yù)先注冊(cè)號(hào)要序列化的自定義的類(lèi)擅编。
四攀细、Kryo使用場(chǎng)景
- 自定義了一個(gè)外部的大對(duì)象
