接下來(lái)跟著上一篇, 解析情景七和情景八 情景七 寫寫讀 首先線程1開始 說明此時(shí)隊(duì)列中沒有被阻塞的線程, hasQueuedPredecessors返回false 接下來(lái)回到...
發(fā)簡(jiǎn)信
IP屬地：北京
-
ReadWriteLock之公平鎖解析(四)
-
ReadWriteLock之公平鎖解析(三)
接下來(lái)跟著上一篇, 解析情景五和情景六 情景五 寫讀讀 回到tryAcquire方法 此時(shí)線程1獲得寫鎖, 線程2開始執(zhí)行 接下來(lái)回到acquireShared方法 此時(shí)線程...
-
ReadWriteLock之公平鎖解析(二)
接下來(lái)跟著上一篇, 解析情景三和情景四 情景三 讀寫讀 線程1的獲得讀鎖的操作和情景一相同, 接下來(lái)從線程2開始分析 之后返回acquire方法 此時(shí)線程2開始執(zhí)行 說明在隊(duì)...
-
ReadWriteLock之公平鎖解析(一)
接下來(lái)探討ReadWriteLock的公平鎖實(shí)現(xiàn), 也是分如下場(chǎng)景分析 情景1 三個(gè)線程都是讀 接下來(lái)回到tryAcquireShared方法中 此時(shí)線程1已經(jīng)獲取讀鎖, 接...
-
Hive(一)Hive產(chǎn)生背景 (1) 從開發(fā)圆雁、測(cè)試事格、需求變更角度來(lái)看，MapReduce編程不方便 (2) 傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)人員的需要 (3) 如果數(shù)據(jù)在HDFS上寞焙，如果想要使用SQL來(lái)...
-
RDD持久化
官網(wǎng)介紹 One of the most important capabilities in Spark is persisting (or caching) a datas...
-
Spark共享變量共享變量分類 共享變量官網(wǎng)解釋 Normally, when a function passed to a Spark operation (such as map or r...
-
Sequence File
代碼中使用Sequence File 1.1 代碼輸出 1.2 上述代碼存在的問題 1.3 對(duì)以上代碼的改進(jìn) 1.4 注意(1) 輸出結(jié)果為 使用textFile函數(shù)對(duì)其進(jìn)行...
-
寬窄依賴與Spark開發(fā)流程窄依賴(narrow dependency) 1.1 定義 1.2 Example 1.3 窄依賴優(yōu)點(diǎn) 寬依賴 2.1 寬依賴定義
-
Spark Components
Spark components示意圖 1.1 spark component示意圖解釋(1) driver program內(nèi)包含了sparkcontext對(duì)象 (2) sp...
-
Spark術(shù)語(yǔ)
Application User program built on Spark Consists of a driver program and executors on...
-
Spark shell
常用命令 1.1 --master 1.1.1 --master后接參數(shù)解析 (1) local Run Spark locally with one worker thre...
-
RDD(二)
class RDD源碼解析 1.1 RDD源碼 1.2 RDD類解釋 1.3 RDD class中如何體現(xiàn)RDD的五大特性(主要是前三大特性) (1) 第一大特性(A lis...
-
RDD(一)這里unified指的是生態(tài)棧，包含了很多組件 概念 A Resilient Distributed Dataset (RDD), the basic abstraction...
-
wordCount執(zhí)行過程中的源碼解析wordCount程序流程圖示rdd.png wordcount程序 2.1 collect函數(shù) 此時(shí)進(jìn)入DAGScheduler類 根據(jù)debug程序可以知道jobSubm...
-
Spark調(diào)優(yōu)
調(diào)優(yōu)的原因 數(shù)據(jù)序列化 2.1 序列化的原因 2.2 Example2.2.1 Writable接口2.2.1.1 注釋 2.2.1.2代碼 2.2.1.3. 補(bǔ)充說明 2....