z小趙

最近在研究Spark源碼，順便記錄一下奢人，供大家學(xué)習(xí)參考攻走，如有錯誤殷勘，請批評指正。好昔搂，廢話不多說玲销，這一篇先來講講Spark作業(yè)提交流程的整體架構(gòu)。 第一種摘符，基于Standalon...

邊學(xué)邊記

一贤斜、Kafka簡介 Kafka （科技術(shù)語）。Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)逛裤，它可以處理消費者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)蠢古。 1.1 背景歷史 當(dāng)今社會各種...

時待吾

kafka的定義:是一個分布式消息系統(tǒng)，由LinkedIn使用Scala編寫别凹，用作LinkedIn的活動流（Activity Stream）和運營數(shù)據(jù)處理管道（Pipelin...

z小趙

如題，我們來分析一下spark的shuffle操作原理洽糟；為什么說其非常重要炉菲，是因為shuffle操作是我們在Spark調(diào)優(yōu)中非常重要的一環(huán)堕战，對shuffle進行了優(yōu)化，往往可...

大時代_f479

個人觀點：大數(shù)據(jù)我們都知道hadoop拍霜，但并不都是hadoop.我們該如何構(gòu)建大數(shù)據(jù)庫項目嘱丢。對于離線處理，hadoop還是比較適合的祠饺，但是對于實時性比較強的越驻，數(shù)據(jù)量比較大的，...