發(fā)簡信
IP屬地：上海
-
數(shù)據(jù)結(jié)構(gòu)之LinkList鏈表
鏈表與數(shù)組在數(shù)據(jù)結(jié)構(gòu)的江湖上被并稱為南數(shù)組忘衍、北鏈表窒悔，其江湖地位可見一斑 概念 鏈表作為最基礎(chǔ)的通用存儲結(jié)構(gòu)亲茅，它的作用和數(shù)組是一樣的，但存儲數(shù)據(jù)的...
-
Spark中的exactly once語義
exactly once指的是在處理數(shù)據(jù)的過程中，系統(tǒng)有很好的容錯性(fault-tolerance)，能夠保證數(shù)據(jù)處理不重不丟，每一條數(shù)據(jù)僅被...
-
spark源碼閱讀之storage模塊②
在spark源碼閱讀之storage模塊①中杀糯，描繪了Storage模塊的整體框架是標準的master-slave框架：master用來管理sla...
-
spark源碼閱讀之storage模塊①Storage模塊負責管理spark在計算過程中產(chǎn)生的數(shù)據(jù)，對用戶來說苍苞，spark的編程面向的是RDD這種抽象的邏輯數(shù)據(jù)集固翰，對RDD的轉(zhuǎn)換和動作...
-
spark源碼閱讀之shuffle模塊②
在spark源碼閱讀之shuffle模塊①中，介紹了spark版本shuffle的演化史羹呵，提到了主要的兩個shuffle策略：HashBased...
-
spark源碼閱讀之shuffle模塊①我們在之前scheduler模塊的分析中了解到骂际，DAGScheduler劃分stage的依據(jù)就是Shuffle Dependency，那么Shu...
-
spark源碼閱讀之scheduler模塊②
在spark源碼閱讀之scheduler模塊①中冈欢，分析了DAGScheduler如何提交Job方援，并且將Job劃分為stage提交給TaskSch...
-
Java中的collection類在Scala中的語法錯誤問題
報錯如下： error: value foreach is not a member of java.util.List[String][ERR...
-
spark源碼閱讀之scheduler模塊①
本文基于Spark 1.6.3版本源碼 整體概述 spark的調(diào)度模塊可以說是非常有特色的模塊設(shè)計，使用DAG（有向無環(huán)圖）刻畫spark任務(wù)的...