最近在負(fù)責(zé)Spark Streaming 結(jié)合 Spark Sql的相關(guān)項(xiàng)目誊册,語言是Java,留下一些筆記香到,也供大家參考擒贸,如有錯(cuò)誤联逻,請指教毅戈!
共享變量,又稱廣播變量:
每個(gè)worker節(jié)點(diǎn)中緩存一個(gè)副本愤惰,通過高效廣播算法提高傳輸效率苇经,廣播變量是只讀的;
broadcastList = jsc.sc().broadcast(Arrays.asList("Hadoop","Mahout","Hive"));
但實(shí)際使用中很少使用宦言。
工程中最多的還是累加器
accumulator = jsc.sparkContext().accumulator(0,"OnlineBlackListCounter");
可以向調(diào)用端傳輸所有任務(wù)成功數(shù)扇单,或者成功率。