發(fā)簡(jiǎn)信
IP屬地：河北
-
聊聊spark shuffle分蘋(píng)果 我們先以生活中的個(gè)小故事來(lái)個(gè)開(kāi)場(chǎng)白谦趣，小王今年家里蘋(píng)果豐收疲吸，總共摘了三大筐的蘋(píng)果，小王準(zhǔn)備按照大前鹅、中和小規(guī)格包裝成禮盒放到商場(chǎng)里賣摘悴，小王身...
-
如何在華為平臺(tái)使用自己的spark
場(chǎng)景 我們私有云團(tuán)隊(duì)在給客戶部署系統(tǒng)時(shí)遇到困難，客戶要求在他們購(gòu)買的華為大數(shù)據(jù)平臺(tái)上部署我們的產(chǎn)品舰绘，我們底層主要用到了spark蹂喻、hdfs葱椭、和h...
-
sparkSQL新增優(yōu)化器實(shí)現(xiàn)復(fù)雜計(jì)算的快速預(yù)覽場(chǎng)景 有時(shí)我們使用sparkSQL做復(fù)雜模型時(shí)需要實(shí)現(xiàn)對(duì)數(shù)據(jù)的快速預(yù)覽，假如模型是用好幾表做Join且每個(gè)表的數(shù)據(jù)量都挺大時(shí)口四，那么預(yù)覽就會(huì)很慢孵运。...
-
spark2以后對(duì)limit的優(yōu)化和存在問(wèn)題
問(wèn)題 假如我們?cè)趕park-shell上執(zhí)行：spark.sql("select * from table limit 1000").colle...
-
SparkSQL自定義Hint優(yōu)化器解決熱點(diǎn)數(shù)據(jù)導(dǎo)致JOIN數(shù)據(jù)傾斜問(wèn)題場(chǎng)景 有時(shí)我們通過(guò)sparkSQL來(lái)分析數(shù)據(jù)，當(dāng)使用Join操作時(shí)蔓彩，最讓人頭疼的莫過(guò)于數(shù)據(jù)傾斜了治笨，如果你是大表關(guān)聯(lián)小表的情況，那情況還不是很糟糕...