背景 本文基于spark 3.2driver內(nèi)存 2G 問題描述 在基于復(fù)雜的sql運(yùn)行中迎献，或者說是存在多個(gè)join操作的sql中哨颂，如果說driver內(nèi)存不是很大的情況下野瘦，我...
IP屬地：上海
-
spark在生產(chǎn)中是否要禁止掉BHJ(BroadcastHashJoin)
-
spark hiveUDF transient的重要性
背景 最近在寫hiveUDF的時(shí)候哎垦，遇到了一些反序列的問題，具體的報(bào)錯(cuò)如下： 分析 我們的代碼類似如下： 其中spark的配置是使用kryo序列化，spark.seriali...
-
AQE中的CoalesceShufflePartitions和OptimizeLocalShuffleReader
背景 本文基于spark 3.1.2在之前的文章spark CTAS nuion all （union all的個(gè)數(shù)很多）導(dǎo)致超過spark.driver.maxResult...
-
spark CTAS nuion all （union all的個(gè)數(shù)很多）導(dǎo)致超過spark.driver.maxResultSize配置（2G）
背景 該sql運(yùn)行在spark版本 3.1.2下的thrift server下 現(xiàn)象 在運(yùn)行包含多個(gè)union 的spark sql的時(shí)候報(bào)錯(cuò)（該sql包含了50多個(gè)uino...
-
spark outer join push down filter rule（spark 外連接中的下推規(guī)則
背景 對(duì)于spark的不同的join操作來說，有些謂詞是能下推黎比，是有謂詞是不能下推的超营，今天我們實(shí)地操作一番，從現(xiàn)象和源碼級(jí)別分析一下阅虫，這到底是怎么回事糟描。 版本&環(huán)境 spar...
-
spark hive類總是優(yōu)先記載應(yīng)用里面的jar包,跟spark.{driver/executor}.userClassPathFirst 無關(guān)
背景 最近在弄spark on k8s的時(shí)候，要集成同事的一些功能躬拢，其實(shí)這并沒有什么躲履，但是里面涉及到了hive的類問題（具體指這個(gè)org.apache.hadoop.hive...
-
2021年北美數(shù)據(jù)+AI峰會(huì)重點(diǎn)
Zen項(xiàng)目 Zen項(xiàng)目在一年前開始啟動(dòng)，目標(biāo)就是讓spark對(duì)python用戶更加友好 類型提示 重要的一步就是加了一些類型提示聊闯，例如他能夠在IDE或者notebook中自動(dòng)...
-
spark on k8s的動(dòng)態(tài)資源分配和external shuffle Service以及任務(wù)的隊(duì)列資源管理
我們知道目前在spark on k8s的官網(wǎng)中[https://spark.apache.org/docs/3.1.2/running-on-kubernetes.html#...
-
spark on k8s:apache YuniKorn（Incubating）的助力
背景 為什么選擇spark on k8s Apache Spark 作為一站式平臺(tái)統(tǒng)一了批處理,實(shí)時(shí)處理,流分析菱蔬，機(jī)器學(xué)習(xí)篷帅，以及交互式查詢.雖然說spark 提供了多樣的使用...
-
《簡(jiǎn)書之旅》記錄簡(jiǎn)書那些事兒魏身，進(jìn)入生活那些事兒小島，鏈接：<a href="http://www.reibang.com/g/5825d64276c8644a" target="_blank">http://www.reibang.com/g/5825d64276c8644a</a>蚪腐，一起聊家常吧箭昵！進(jìn)入簡(jiǎn)·收益小島，鏈接：<a href="http://www.reibang.com/g/fc11f96fe8e1fe74" target="_blank">http://www.reibang.com/g/fc11f96fe8e1fe74</a>回季，我的專題：家常家制，鏈接：<a href="http://www.reibang.com/c/26b9f0e17184" target="_blank">http://www.reibang.com/c/26b9f0e17184</a>，簡(jiǎn)書說：<a href="http://www.reibang.com/c/22189ccdf317" target="_blank">http://www.reibang.com/c/22189ccdf317</a>泡一，長(zhǎng)篇小說颤殴，鏈接：<a href="http://www.reibang.com/c/81de8e661ce5" target="_blank">http://www.reibang.com/c/81de8e661ce5</a>，理財(cái)吧鼻忠，鏈接：<a href="http://www.reibang.com/c/f47c84fd77d4" target="_blank">http://www.reibang.com/c/f47c84fd77d4</a>
-
分享自媒體干貨芥永，幫你做知識(shí)變現(xiàn)<br>孵化個(gè)人IP，企業(yè)IP钝吮，知識(shí)博主<br>讓無力者有力埋涧，讓悲觀者前行<br>簡(jiǎn)書會(huì)員入口<a href="http://www.reibang.com/mobile/club?ref=893165dc" target="_blank">http://www.reibang.com/mobile/club?ref=893165dc</a><br>相信相信的力量板辽！只要開始永遠(yuǎn)不晚！<br>
-
掌握spark 3.0中的查詢計(jì)劃
本文翻譯自Mastering Query Plans in Spark 3.0[https://towardsdatascience.com/mastering-query-...
-
關(guān)于page Cache和memory mappped Files 和zero copy背景 由于前段時(shí)間在學(xué)習(xí)mysql相關(guān)的知識(shí)棘催，其中涉及到了wal redo log以及磁盤的問題劲弦，在此記錄一下。 Page Cache page Cache 是現(xiàn)代操作系統(tǒng)為...
-
基于 k8s 調(diào)度遇到的問題
pod的phase從Failed轉(zhuǎn)換為了Succeeded一開始遇到這個(gè)問題的時(shí)候很是蒙，查了一系列的源碼谚赎，也沒有找到原因淫僻，線下也沒有復(fù)現(xiàn)出來，后面查看kubenrete的G...
個(gè)人介紹