前言 經(jīng)過前幾篇文章的介紹幻馁，大致了解了生產者背后的運行原理署辉。消息有生產就得有人去消費走哺，今天我們就來介紹下消費端消費消息背后發(fā)生的那點事兒。 ?文...

?前言 上篇文章講述了消息從生產到寫入到 Broker 的 partition 上背后發(fā)生的故事胁后，并提出了消息發(fā)送的網(wǎng)絡模型的問題。本篇文章我們...

最近一直在忙，沒顧得上寫文章趣兄，新年的第一篇文章，希望大家可以喜歡悼嫉；好了艇潭，今天接著之前的內容，來聊聊BlockManager的工作原理，上圖來分析...

如題蹋凝，我們來分析一下spark的shuffle操作原理鲁纠；為什么說其非常重要，是因為shuffle操作是我們在Spark調優(yōu)中非常重要的一環(huán)鳍寂，對s...

接著上一篇改含，我們接著來分析下一個非常重要的組建DAGScheduler的運行原理是怎么實現(xiàn)的；通過之前對Spark的分析講解迄汛，我們的Spark作...

接著上篇的Schedule調度內容捍壤，本篇我們來看看Driver，Application向Worker發(fā)送launch以后到底發(fā)生了什么隔心。先來看看...

上一篇我們闡述了Driver白群，Application，Worker的注冊實現(xiàn)原理硬霍，本篇我們來接著聊聊Driver帜慢，Application在注冊之...

這篇文章我們來討論一下Master的注冊機制；那么有哪些信息需要注冊到Master上面去呢唯卖？很簡單粱玲，分別有Worker的注冊，Driver的注冊...

Spark作業(yè)運行的集群環(huán)境有兩種拜轨，分別基于standalone模式和Yarn集群模式抽减。我們知道Yarn集群提供了HA來保證了集群的高可用，而s...