RPC體系結構 spark1.6中的RPC體系結構大致如下： RpcEnv相當于容器，有host恨锚、port已及注冊其中的RpcEndpoint琐旁，...

之前一段時間通過SparkStreaming+Kafka處理上網(wǎng)日志數(shù)據(jù)的一些記錄，做個備忘。 KafkaUtils.createDirectS...

運行監(jiān)控對系統(tǒng)的重要性不言而喻秩贰，尤其是分布式環(huán)境中霹俺，程序運行是否正常，在哪些節(jié)點上運行毒费，每個節(jié)點處理的數(shù)據(jù)量是否均勻丙唧，每個任務的處理時間是否大致...

算法描述 樸素貝葉斯算法是監(jiān)督學習中分類算法中的一種。需要先通過學習一批分類正確的訓練數(shù)據(jù)集得出模型才能進行分類,算法大致如下： 假設待分類的數(shù)...

概要 目前Spark官方提供Java,Scala,Python三種語言的API觅玻。因為Spark是用Scala開發(fā)想际，而Scala本身是基于JVM的...