阿里巴巴技術(shù)專家<br>需要內(nèi)推阿里指蚜，螞蟻金服，菜鳥的可以私信聯(lián)系我<br><br>全棧開發(fā)<br>機器學習愛好者<br><br>單詞量早日上2w
發(fā)簡信
IP屬地：北京
-
Java中的多線程你只要看這一篇就夠了引 如果對什么是線程涨椒、什么是進程仍存有疑惑摊鸡，請先Google之绽媒，因為這兩個概念不在本文的范圍之內(nèi)。 用多線程只有一個目的免猾，那就是更好的利用cpu的資源是辕，因為所有的多線程代碼都...
-
@大象也能學會跳舞 是我疏忽了，應該是2M猎提，已經(jīng)修正過來了获三，感謝指正。
Spark-Core源碼精讀(14)锨苏、Shuffle--Write部分
前面我們分析了Spark中具體的Task的提交和運行過程疙教，從本文開始我們開始進入Shuffle的世界，Shuffle對于分布式計算來說是至關(guān)重要的部分伞租，它直接影響了分布式系統(tǒng)...
-
@大象也能學會跳舞 基本上也就上面提到的這幾點：迭代計算贞谓、數(shù)據(jù)重用、數(shù)據(jù)本地性原則葵诈、線程池復用裸弦、高效容錯...詳細的原理建議多看一下Spark的源碼，閱讀的過程中就會產(chǎn)生自己的理解驯击，Spark中很多思想都值得我們?nèi)ソ梃b烁兰，除了性能方面，相比于Hadoop而言徊都，Spark的API更加的友好。
另外建議閱讀源碼的時候每次都要明確自己的主線及主要的目的广辰，然后沿著這條主線追蹤源碼暇矫，不能被其他的分支干擾，否則很容易迷失Spark-Core源碼精讀(14)择吊、Shuffle--Write部分
前面我們分析了Spark中具體的Task的提交和運行過程李根，從本文開始我們開始進入Shuffle的世界，Shuffle對于分布式計算來說是至關(guān)重要的部分几睛，它直接影響了分布式系統(tǒng)...
-
@大象也能學會跳舞 數(shù)據(jù)重用是一方面房轿，還有更好的位置感知，Executor中線程池復用運行Task所森，高效的容錯機制等等囱持。
Spark-Core源碼精讀(14)、Shuffle--Write部分
前面我們分析了Spark中具體的Task的提交和運行過程焕济，從本文開始我們開始進入Shuffle的世界纷妆，Shuffle對于分布式計算來說是至關(guān)重要的部分，它直接影響了分布式系統(tǒng)...
-
寫磁盤也是進行一次性順序的寫入晴弃，相對于隨機寫入是很快的掩幢。其實Spark最大的優(yōu)勢不是基于內(nèi)存逊拍，擅長迭代式計算才是Spark真正的精髓，希望我的回答對您有所幫助际邻。
Spark-Core源碼精讀(14)芯丧、Shuffle--Write部分
前面我們分析了Spark中具體的Task的提交和運行過程，從本文開始我們開始進入Shuffle的世界世曾，Shuffle對于分布式計算來說是至關(guān)重要的部分缨恒，它直接影響了分布式系統(tǒng)...
-
英文GIF秀：看爆笑GIF,學地道英語001
Let's put an end to black on black violence: The 'force' is a powerful thing: Fun with ...
-
Spark Streaming Crash 如何保證Exactly Once Semantics
這篇文章只是為了闡述Spark Streaming 意外Crash掉后，如何保證Exactly Once Semantics度硝。本來這個是可以直接給出答案的肿轨，但是我還是啰嗦的講...
-
Spark-Core源碼精讀(15)、Shuffle--Read部分上一篇文章我們分析了Shuffle的write部分蕊程，本文中我們來繼續(xù)分析Shuffle的read部分椒袍。 我們來看ShuffledRDD中的compute方法： 可以看到首先調(diào)...
-
Spark-Core源碼精讀(14)、Shuffle--Write部分前面我們分析了Spark中具體的Task的提交和運行過程藻茂，從本文開始我們開始進入Shuffle的世界驹暑，Shuffle對于分布式計算來說是至關(guān)重要的部分，它直接影響了分布式系統(tǒng)...
-
深入理解 Scala 中的閉包（Closures）摘要 本文通過 Scala 語言來實現(xiàn)一個簡單的閉包辨赐，并且通過 Opcode 來深入理解 Scala 中閉包的實現(xiàn)原理优俘。 一個簡單的例子 閉包，簡單的理解就是：函數(shù)內(nèi)部的變量...
-
Spark-Core源碼精讀(13)掀序、Task的運行流程分析上一篇文章我們著重分析了Task的提交過程帆焕，本文中我們將對Task的運行進行詳細的分析。 我們從CoarseGrainedExecutorBackend接收到CoarseGr...
-
Spark-Core源碼精讀(12)不恭、Task的提交流程分析
上一篇文章我們談到叶雹，DAGScheduler將Job劃分成由Stage組成的DAG后，就根據(jù)Stage的具體類型來生成ShuffleMapTask和ResultTask换吧，然后...
-
Spark-Core源碼精讀(11)折晦、Stage的劃分過程和Task數(shù)據(jù)本地性本文將主要討論兩個Topic：Stage的劃分過程和Task數(shù)據(jù)本地性 引子 前面的文章中我們已經(jīng)分析了Spark應用程序即Application的注冊以及Executors...
-
Spark-Core源碼精讀(10)、注冊Application及Executors的啟動注冊流程(二)承接上一篇文章沾瓦，我們繼續(xù)來分析Executor的啟動過程满着，本文主要分為兩部分： 向worker發(fā)送啟動Executor的消息 啟動完成后向driver發(fā)送ExecutorAd...
-
Spark-Core源碼精讀(9)、注冊Application及Executors的啟動注冊流程(一)接下來的幾篇文章我們會結(jié)合源碼來分析注冊Application以及啟動Executor并向Driver注冊的具體流程贯莺。 上文我們跟蹤源碼到了SparkDeploySchedu...
-
Spark-Core源碼精讀(8)风喇、TaskScheduler和SchedulerBackend從本文開始，我們進入Spark中的調(diào)度部分乖篷，首先本文將對TaskScheduler和SchedulerBackend的實現(xiàn)原理進行分析响驴。 我們從SparkContext中的源...
-
@博客小白菜 用的是Excel，沒有使用專業(yè)的制圖軟件撕蔼。
Spark-Core源碼精讀(5)豁鲤、Spark內(nèi)核架構(gòu)概述
前面的文章中我們分析了Spark的部署模式和提交程序的流程秽誊，也分析了Master中schedule方法在感知到資源變化或者有新的應用程序提交時，啟動Driver和Execut...
個人介紹
致力于大數(shù)據(jù)技術(shù)和相關(guān)的學習和研究琳骡，包括但不限于：Spark锅论、Hadoop、Scala楣号、Java最易、Docker 等，歡迎共同學習和交流炫狱。