本文基于spark源碼2.11 1. 前言 shuffle是spark job中一個(gè)重要的階段丘薛，發(fā)生在map和reduce之間，涉及到map到reduce之間的數(shù)據(jù)的移動(dòng)帕棉，以...
發(fā)簡(jiǎn)信
IP屬地：廣東
-
Spark Shuffle Write 和Read -
數(shù)據(jù)倉(cāng)庫(kù)ODS剿牺、DW和DM概念區(qū)分今天看了一些專業(yè)的解釋，還是對(duì)ODS、DW和DM認(rèn)識(shí)不深刻骆莹，下班后花時(shí)間分別查了查它們的概念萨蚕。 ODS——操作性數(shù)據(jù) DW——數(shù)據(jù)倉(cāng)庫(kù) DM——數(shù)據(jù)集市 1.數(shù)據(jù)中心整體架構(gòu)...
-
大數(shù)據(jù)不就是寫(xiě)SQL嗎？
【原創(chuàng)蹄胰，轉(zhuǎn)載請(qǐng)注明出處】 應(yīng)屆生小祖參加了個(gè)需求分析會(huì)回來(lái)后跟我說(shuō)被產(chǎn)品懟了一句： "不就是寫(xiě)SQL嗎岳遥，要那么久嗎" 我去，欺負(fù)我小弟裕寨，這我肯定不能忍呀浩蓉，于是我寫(xiě)了一篇文章發(fā)...
-
大數(shù)據(jù)需要學(xué)什么？注意本文非廣告宾袜，閱讀時(shí)間四分鐘左右捻艳，適合大數(shù)據(jù)入門(mén)級(jí)讀者閱讀 大數(shù)據(jù)需要學(xué)習(xí)什么？很多人問(wèn)過(guò)我這個(gè)問(wèn)題庆猫。每一次回答完都覺(jué)得自己講得太片面了认轨，總是沒(méi)有一個(gè)合適的契機(jī)去好好總結(jié)這...
