根據(jù)Kafka subscribe 和 assign接口使用以及rebalancing說(shuō)明[https://dzone.com/articles...

我們以數(shù)據(jù)源自kafka為例理盆，進(jìn)行spark作業(yè)調(diào)優(yōu)的分析 1 資源評(píng)估 網(wǎng)絡(luò)能力： 評(píng)估下使用的節(jié)點(diǎn)數(shù)悠鞍、網(wǎng)絡(luò)帶寬萄传，與所要處理的數(shù)據(jù)量，在網(wǎng)絡(luò)能...

spark streaming的應(yīng)用可能需要7*24小時(shí)不間斷的運(yùn)行,因此需要一定的容錯(cuò)能力跪帝。在系統(tǒng)出現(xiàn)問(wèn)題后您访，spark streaming ...

在面向流處理的分布式計(jì)算中咙边，經(jīng)常會(huì)有這種需求审编，希望需要處理的某個(gè)數(shù)據(jù)集能夠不隨著流式數(shù)據(jù)的流逝而消失撼班。 以spark streaming為例，就...

本文整理下hdp中開(kāi)啟了kerberos后在storm中訪問(wèn)的kafka所遇到的問(wèn)題垒酬。測(cè)試使用的環(huán)境為： hdp2.6.0.3 storm 1....

本文以codis集群為例砰嘁，介紹redis集群的性能分析方法，其他的redis 集群版本比如redis cluster分析方法也類似, 希望對(duì)大家...

一 Spark中的一致性 1 Spark RDD的基本容錯(cuò)語(yǔ)義 RDD是不可變的勘究，確定的矮湘，可以被重新計(jì)算的分布式數(shù)據(jù)集。每個(gè)RDD都記錄了已經(jīng)確...