根據(jù)Kafka subscribe 和 assign接口使用以及rebalancing說明[https://dzone.com/articles...

我們以數(shù)據(jù)源自kafka為例杈湾，進(jìn)行spark作業(yè)調(diào)優(yōu)的分析 1 資源評估 網(wǎng)絡(luò)能力： 評估下使用的節(jié)點數(shù)旦部、網(wǎng)絡(luò)帶寬橙垢，與所要處理的數(shù)據(jù)量狐榔，在網(wǎng)絡(luò)能...

spark streaming的應(yīng)用可能需要7*24小時不間斷的運行,因此需要一定的容錯能力藕筋。在系統(tǒng)出現(xiàn)問題后葫督，spark streaming ...

在面向流處理的分布式計算中叽赊，經(jīng)常會有這種需求，希望需要處理的某個數(shù)據(jù)集能夠不隨著流式數(shù)據(jù)的流逝而消失顺呕。 以spark streaming為例枫攀，就...

本文整理下hdp中開啟了kerberos后在storm中訪問的kafka所遇到的問題。測試使用的環(huán)境為： hdp2.6.0.3 storm 1....

本文以codis集群為例株茶，介紹redis集群的性能分析方法来涨，其他的redis 集群版本比如redis cluster分析方法也類似, 希望對大家...

一 Spark中的一致性 1 Spark RDD的基本容錯語義 RDD是不可變的，確定的忌卤，可以被重新計算的分布式數(shù)據(jù)集扫夜。每個RDD都記錄了已經(jīng)確...