join

select a., b. from a join b on a.id = b.id

interview: 描述如何使用MapReduce來實現(xiàn)join的功能
考察點:
1)MapReduce執(zhí)行流程
2)JOIN的底層執(zhí)行過程
3)JOIN的多種實現(xiàn)方式:ReduceJoin(shuffle)匆帚、MapJoin(沒有reduce风宁,即沒有Shuffle)

resume:
1)最新的項目是寫在最前面的
2)寫的東西一定要真正會的

  1. 從你寫的東西開始面起,然后逐步擴展 ====> 你的技能/技術的一個功能鏈條

ReduceJoin:
數(shù)據(jù)通過Mapper加載過來悔捶,然后經(jīng)過shuffle階段皂岔,在Reduce端完成真正的join操作

dept: dname蹋笼、deptno
emp: empno、ename躁垛、sal剖毯、deptno

Question1: Mapper的泛型里面有幾個參數(shù),各是什么意思
Question2: map方法有幾個參數(shù)教馆,各是什么意思
Question3: 為什么字符串拼接不要使用 +
Question3: Mapper 或者Reducer的生命周期的方法有哪些

有些數(shù)據(jù)比較小逊谋,是否真的有必要全部進行shuffle呢?
shuffle事整個大數(shù)據(jù)處理過程中非常耗時土铺、非常損耗性能的地方
能規(guī)避shuffle的地方就不要使用shuffle

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末胶滋,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子悲敷,更是在濱河造成了極大的恐慌究恤,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,214評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件后德,死亡現(xiàn)場離奇詭異丁溅,居然都是意外死亡,警方通過查閱死者的電腦和手機探遵,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評論 2 382
  • 文/潘曉璐 我一進店門窟赏,熙熙樓的掌柜王于貴愁眉苦臉地迎上來妓柜,“玉大人,你說我怎么就攤上這事涯穷」髌” “怎么了?”我有些...
    開封第一講書人閱讀 152,543評論 0 341
  • 文/不壞的土叔 我叫張陵拷况,是天一觀的道長作煌。 經(jīng)常有香客問我,道長赚瘦,這世上最難降的妖魔是什么粟誓? 我笑而不...
    開封第一講書人閱讀 55,221評論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮起意,結(jié)果婚禮上鹰服,老公的妹妹穿的比我還像新娘。我一直安慰自己揽咕,他們只是感情好悲酷,可當我...
    茶點故事閱讀 64,224評論 5 371
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著亲善,像睡著了一般设易。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上蛹头,一...
    開封第一講書人閱讀 49,007評論 1 284
  • 那天顿肺,我揣著相機與錄音,去河邊找鬼渣蜗。 笑死屠尊,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的袍睡。 我是一名探鬼主播知染,決...
    沈念sama閱讀 38,313評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼肋僧,長吁一口氣:“原來是場噩夢啊……” “哼斑胜!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起嫌吠,我...
    開封第一講書人閱讀 36,956評論 0 259
  • 序言:老撾萬榮一對情侶失蹤止潘,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后辫诅,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體凭戴,經(jīng)...
    沈念sama閱讀 43,441評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,925評論 2 323
  • 正文 我和宋清朗相戀三年炕矮,在試婚紗的時候發(fā)現(xiàn)自己被綠了么夫。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片者冤。...
    茶點故事閱讀 38,018評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖档痪,靈堂內(nèi)的尸體忽然破棺而出涉枫,到底是詐尸還是另有隱情,我是刑警寧澤腐螟,帶...
    沈念sama閱讀 33,685評論 4 322
  • 正文 年R本政府宣布愿汰,位于F島的核電站,受9級特大地震影響乐纸,放射性物質(zhì)發(fā)生泄漏衬廷。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,234評論 3 307
  • 文/蒙蒙 一汽绢、第九天 我趴在偏房一處隱蔽的房頂上張望吗跋。 院中可真熱鬧,春花似錦庶喜、人聲如沸小腊。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,240評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽秩冈。三九已至,卻和暖如春斥扛,著一層夾襖步出監(jiān)牢的瞬間入问,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,464評論 1 261
  • 我被黑心中介騙來泰國打工稀颁, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留芬失,地道東北人。 一個月前我還...
    沈念sama閱讀 45,467評論 2 352
  • 正文 我出身青樓匾灶,卻偏偏與公主長得像棱烂,于是被迫代替她去往敵國和親阶女。 傳聞我的和親對象是個殘疾皇子颊糜,可洞房花燭夜當晚...
    茶點故事閱讀 42,762評論 2 345

推薦閱讀更多精彩內(nèi)容