本文基于spark源碼2.11 1. 前言 shuffle是spark job中一個(gè)重要的階段斤富，發(fā)生在map和reduce之間，涉及到map到reduce之間的數(shù)據(jù)的移動(dòng)裸弦，以...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
Spark Shuffle Write 和Read -
-
當(dāng)然是直接join效率高泞坦，不過(guò)你用的是什么引擎沪斟，mysql？hive暇矫？還是其他OLAP的東東？
大數(shù)據(jù)不就是寫(xiě)SQL嗎择吊？
【原創(chuàng)李根，轉(zhuǎn)載請(qǐng)注明出處】 應(yīng)屆生小祖參加了個(gè)需求分析會(huì)回來(lái)后跟我說(shuō)被產(chǎn)品懟了一句： "不就是寫(xiě)SQL嗎，要那么久嗎" 我去几睛，欺負(fù)我小弟房轿，這我肯定不能忍呀，于是我寫(xiě)了一篇文章發(fā)...
-
@Robin_Hxn 公司沒(méi)用阿里云所森，但是這和用阿里云有什么關(guān)系囱持？
大數(shù)據(jù)不就是寫(xiě)SQL嗎？
【原創(chuàng)焕济，轉(zhuǎn)載請(qǐng)注明出處】 應(yīng)屆生小祖參加了個(gè)需求分析會(huì)回來(lái)后跟我說(shuō)被產(chǎn)品懟了一句： "不就是寫(xiě)SQL嗎纷妆，要那么久嗎" 我去，欺負(fù)我小弟晴弃，這我肯定不能忍呀掩幢，于是我寫(xiě)了一篇文章發(fā)...
-
數(shù)據(jù)倉(cāng)庫(kù)ODS、DW和DM概念區(qū)分今天看了一些專業(yè)的解釋上鞠，還是對(duì)ODS际邻、DW和DM認(rèn)識(shí)不深刻，下班后花時(shí)間分別查了查它們的概念芍阎。 ODS——操作性數(shù)據(jù) DW——數(shù)據(jù)倉(cāng)庫(kù) DM——數(shù)據(jù)集市 1.數(shù)據(jù)中心整體架構(gòu)...
-
從面試官的角度談?wù)劥髷?shù)據(jù)面試
關(guān)于傳授面試經(jīng)驗(yàn)的文章太多了世曾，眼花繚亂，我這里就不談了谴咸，點(diǎn)進(jìn)來(lái)想獲取幾噸面試學(xué)習(xí)資料的同學(xué)轮听，抱歉讓你失望了骗露。（我是真的找不到那么多資料...）。所以蕊程，今天我們只聊面試官椒袍。 作...
-
大數(shù)據(jù)驹暑，收錄大數(shù)據(jù)相關(guān)技術(shù)的文章。
-
大數(shù)據(jù)不就是寫(xiě)SQL嗎辨赐？
【原創(chuàng)优俘，轉(zhuǎn)載請(qǐng)注明出處】 應(yīng)屆生小祖參加了個(gè)需求分析會(huì)回來(lái)后跟我說(shuō)被產(chǎn)品懟了一句： "不就是寫(xiě)SQL嗎，要那么久嗎" 我去掀序，欺負(fù)我小弟帆焕，這我肯定不能忍呀，于是我寫(xiě)了一篇文章發(fā)...
-
@死兔子2333 你的sql之路還很漫長(zhǎng)啊
大數(shù)據(jù)不就是寫(xiě)SQL嗎不恭？
【原創(chuàng)叶雹，轉(zhuǎn)載請(qǐng)注明出處】 應(yīng)屆生小祖參加了個(gè)需求分析會(huì)回來(lái)后跟我說(shuō)被產(chǎn)品懟了一句： "不就是寫(xiě)SQL嗎，要那么久嗎" 我去换吧，欺負(fù)我小弟折晦，這我肯定不能忍呀，于是我寫(xiě)了一篇文章發(fā)...
-
大數(shù)據(jù)不就是寫(xiě)SQL嗎沾瓦？
【原創(chuàng)满着，轉(zhuǎn)載請(qǐng)注明出處】 應(yīng)屆生小祖參加了個(gè)需求分析會(huì)回來(lái)后跟我說(shuō)被產(chǎn)品懟了一句： "不就是寫(xiě)SQL嗎，要那么久嗎" 我去贯莺，欺負(fù)我小弟风喇，這我肯定不能忍呀，于是我寫(xiě)了一篇文章發(fā)...
