IP屬地：上海
-
spark在生產(chǎn)中是否要禁止掉BHJ(BroadcastHashJoin)
背景 本文基于spark 3.2driver內(nèi)存 2G 問(wèn)題描述 在基于復(fù)雜的sql運(yùn)行中灸姊，或者說(shuō)是存在多個(gè)join操作的sql中旁壮，如果說(shuō)dri...
-
spark hiveUDF transient的重要性
背景 最近在寫(xiě)hiveUDF的時(shí)候财喳，遇到了一些反序列的問(wèn)題捞蛋，具體的報(bào)錯(cuò)如下： 分析 我們的代碼類(lèi)似如下： 其中spark的配置是使用kryo序列...
-
AQE中的CoalesceShufflePartitions和OptimizeLocalShuffleReader
背景 本文基于spark 3.1.2在之前的文章spark CTAS nuion all （union all的個(gè)數(shù)很多）導(dǎo)致超過(guò)spark.d...
-
spark CTAS nuion all （union all的個(gè)數(shù)很多）導(dǎo)致超過(guò)spark.driver.maxResultSize配置（2G）
背景 該sql運(yùn)行在spark版本 3.1.2下的thrift server下 現(xiàn)象 在運(yùn)行包含多個(gè)union 的spark sql的時(shí)候報(bào)錯(cuò)（...
-
spark outer join push down filter rule（spark 外連接中的下推規(guī)則
背景 對(duì)于spark的不同的join操作來(lái)說(shuō)，有些謂詞是能下推蜈漓，是有謂詞是不能下推的蛹锰，今天我們實(shí)地操作一番，從現(xiàn)象和源碼級(jí)別分析一下，這到底是怎...
-
spark hive類(lèi)總是優(yōu)先記載應(yīng)用里面的jar包,跟spark.{driver/executor}.userClassPathFirst 無(wú)關(guān)
背景 最近在弄spark on k8s的時(shí)候佩研，要集成同事的一些功能柑肴，其實(shí)這并沒(méi)有什么，但是里面涉及到了hive的類(lèi)問(wèn)題（具體指這個(gè)org.apa...
-
2021年北美數(shù)據(jù)+AI峰會(huì)重點(diǎn)
Zen項(xiàng)目 Zen項(xiàng)目在一年前開(kāi)始啟動(dòng)旬薯，目標(biāo)就是讓spark對(duì)python用戶更加友好 類(lèi)型提示 重要的一步就是加了一些類(lèi)型提示晰骑，例如他能夠在I...
-
spark on k8s的動(dòng)態(tài)資源分配和external shuffle Service以及任務(wù)的隊(duì)列資源管理
我們知道目前在spark on k8s的官網(wǎng)中[https://spark.apache.org/docs/3.1.2/running-on-k...
-
spark on k8s:apache YuniKorn（Incubating）的助力
背景 為什么選擇spark on k8s Apache Spark 作為一站式平臺(tái)統(tǒng)一了批處理,實(shí)時(shí)處理,流分析，機(jī)器學(xué)習(xí)绊序，以及交互式查詢.雖然...
個(gè)人介紹