目錄
1.系統(tǒng)架構(gòu)
2.環(huán)境搭建
2.1本地環(huán)境下kafka批量導(dǎo)入數(shù)據(jù)
2.2 kafka-manager的安裝與配置
3.1 Spark Streaming 性能調(diào)優(yōu)(一): 解決并行度
3.2 Spark Streaming 性能調(diào)優(yōu)(二): 解決task傾斜
系統(tǒng)架構(gòu)圖
節(jié)點解析:
1.服務(wù)器集群:
服務(wù)器集群負(fù)責(zé)對外提供接口,每次調(diào)用接口,都會生成若干日志,這些日志信息都會被寫入由flume + kafka組成的日志信息隊列中
2.flume + kafka:
日志信息隊列,負(fù)責(zé)接收服務(wù)器提供的日志信息,并按次序放入隊列,flume負(fù)責(zé)接收多個生產(chǎn)者(producer)提供的日志信息,kafka負(fù)責(zé)分發(fā)日志信息給多個消費者(consumer),即上圖中的spark計算集群
3.spark計算集群:
從日志信息隊列中獲取日志信息,并根據(jù)日志信息進(jìn)行大數(shù)據(jù)處理,隨后將處理結(jié)果返回或顯示在網(wǎng)頁上,供后臺管理者使用.
