Tim在路上

歡迎關(guān)注公眾號(hào)“Tim在路上”通常為提高數(shù)據(jù)處理的效率，計(jì)算引擎要實(shí)現(xiàn)謂詞的下推服傍，而存儲(chǔ)引擎可以根據(jù)下推的過濾條件盡可能的跳過無關(guān)數(shù)據(jù)或文件尚揣。不管是Hudi、Iceberg還...

Tim在路上

歡迎關(guān)注公眾號(hào)“Tim在路上”剛剛結(jié)束的Data + AI summit上，Databricks宣布將Delta Lake全部開源匀借。 目前在LakeHouse的市場(chǎng)上國(guó)內(nèi)有H...

Tim在路上

歡迎關(guān)注公眾號(hào)“Tim在路上”今天來閑談下數(shù)據(jù)湖三劍客中的iceberg。 Iceberg項(xiàng)目2017年由Netflix發(fā)起平窘， 它是在2018年被Netflix捐贈(zèng)給Apac...

Tim在路上

歡迎關(guān)注公眾號(hào)“Tim在路上”在Spark3.2中引入了領(lǐng)英設(shè)計(jì)的一種新的shuffle方案瑰艘，今天我們先來了解下其大致的設(shè)計(jì)原理，之后會(huì)再分析其具體的代碼實(shí)現(xiàn)肤舞。 當(dāng)我們?cè)赮a...

Tim在路上

歡迎關(guān)注公眾號(hào)“Tim在路上”在討論external shuffle service的具體實(shí)現(xiàn)之前，我們先來回顧下spark shuffle的大概過程李剖。 spark shuf...

Tim在路上

歡迎關(guān)注公眾號(hào)“Tim在路上” 在Spark中shuffleWriter有三種實(shí)現(xiàn)芒率，分別是bypassMergeSortShuffleWriter, UnsafeShuffl...

Tim在路上

歡迎關(guān)注微信公眾號(hào)“Tim在路上”之前我們已經(jīng)了解了shuffle writer的詳細(xì)過程偶芍，那么生成文件后會(huì)發(fā)生什么呢充择？以及它們是如何被讀取呢？讀取是內(nèi)存的操作嗎匪蟀？這些問題也...

Tim在路上

歡迎關(guān)注微信公眾號(hào)“Tim在路上”Unsafe Shuffle的實(shí)現(xiàn)在一定程度上是Tungsten內(nèi)存管理優(yōu)化的的主要應(yīng)用場(chǎng)景椎麦。其實(shí)現(xiàn)過程實(shí)際上和SortShuffleWri...

Tim在路上

歡迎關(guān)注公眾號(hào)“Tim在路上”在說UnsafeShuffleWriter 前，需要先細(xì)談下Tungsten對(duì)內(nèi)存管理的優(yōu)化材彪。當(dāng)然這里就不展開講了以防內(nèi)容過于冗長(zhǎng)观挎。 Tungs...

Tim在路上

歡迎關(guān)注公眾號(hào) “Tim在路上”SortShuffleWriter 是最基礎(chǔ)的ShuffleWriter, 當(dāng)其他幾個(gè)ShuffleWriter不滿足條件，或存在mapSid...

Tim在路上

歡迎關(guān)注公眾號(hào) “Tim在路上”BypassMergeSortShuffleWriter 就如其名段化，旁支的sort-baesd Shuffle, 他是采用Hash-style...

Tim在路上

一提到shuffle, 我們猶如“談虎色變”嘁捷。shuffle是大數(shù)據(jù)中的性能殺手，其來源于大數(shù)據(jù)中的元老級(jí)的組件Hadoop显熏。 在Hadoop組件中定義的Shuffle包括了...

Tim在路上

Spark RDD 分布式彈性數(shù)據(jù)集 rdd是一種彈性分布式的數(shù)據(jù)集荆残，它代表著不可變的數(shù)據(jù)元素奴艾，可以被分區(qū)并行處理。 rdd是一個(gè)粗粒度的數(shù)據(jù)生成方式和流轉(zhuǎn)迭代計(jì)算方式的描述...