發(fā)簡(jiǎn)信
IP屬地：江蘇
-
隨筆-2022-05-10
突然想到一些東西往扔，隨便記記吧凭语。之前聽到一首歌，翻來覆去的唱下面幾句拾因。"春有百花秋有月修档，夏有涼風(fēng)冬有雪若专。若無閑事掛心頭脖含，便是人間好時(shí)節(jié)。"這原是佛...
-
Scala - return in anonymous function
spark（spark-2.10）算子（如map角骤、filter等）的源碼實(shí)現(xiàn)隅忿，都會(huì)調(diào)用ClosureCleaner.clean對(duì)傳入的funct...
-
記一次序列化導(dǎo)致的MR統(tǒng)計(jì)問題
類似簡(jiǎn)單的wordcount，MapReduce輸出的統(tǒng)計(jì)結(jié)果卻不符預(yù)期邦尊。部分key丟失了背桐，未丟失的key，其value值也不對(duì)蝉揍。經(jīng)查链峭，是因?yàn)榇?..
-
scala語法在spark withScope上的應(yīng)用withSpout在spark中是用來做DAG可視化的，它在代碼里的用法如下（以map為例又沾，spark 1.5.0版本） 因?yàn)閷?duì)scala語法比...
-
avro源碼閱讀-讀avro文件在實(shí)際工作中弊仪，會(huì)將avro文件讀到一個(gè)類中。下面就看看代碼是如何實(shí)現(xiàn)的（這里看的是avro-1.7.7版本）捍掺。 讀取整個(gè)avro文件的類是Dat...
-
avro源碼閱讀-寫avro文件avro文件結(jié)構(gòu) avro文件格式大致如下（引用自avro官網(wǎng)Specification的Object Container Files一節(jié)） A...
-
Java AbstractQueuedSynchronizer源碼閱讀5-從await()和awaitUninterruptibly()看interrupt
這篇文章說是對(duì)AbstractQueuedSynchronizer源碼的閱讀撼短，倒不如說是對(duì)java interrupt的理解再膳。 在看await(...
-
Java AbstractQueuedSynchronizer源碼閱讀4-ConditionObjectAbstractQueuedSynchronizer為鎖機(jī)制維護(hù)了一個(gè)隊(duì)列挺勿，需要獲取鎖的線程們排在隊(duì)列中，只有排在隊(duì)首的線程才有資格獲取鎖喂柒。Co...
-
Java--Lock&Condition的理解
本文為后續(xù)介紹AbstractQueuedSynchronizer.ConditionObject做一下鋪墊不瓶。 Lock&Condition L...