發(fā)簡(jiǎn)信
IP屬地：臺(tái)灣
-
flume 自定義kafka sink運(yùn)行失敾魑场：找不到Callback官網(wǎng)和github上都提供了source包，借助提供的kafkasink代碼，在其中增加分區(qū)邏輯文搂，實(shí)現(xiàn)flume讀取日志并按特定規(guī)則輸入到kaf...
-
Mapreduce 優(yōu)化策略
優(yōu)化策略 優(yōu)化Map和Reducer數(shù)量。 輸入秤朗，大文件優(yōu)于小文件煤蹭。 減少網(wǎng)絡(luò)傳輸（尤其是shuffle階段）：壓縮或combiner 設(shè)置相關(guān)...
-
Mapreduce shuffle簡(jiǎn)單過程
shuffle（洗牌）把mapper階段的結(jié)果拷貝到reducer階段分為兩部分，mapshuffle,reduceshuffle mapshu...
-
MapReduce setup()和cleanup()方法
setup()此方法被MapReduce框架僅且執(zhí)行一次取视，在執(zhí)行Map任務(wù)前硝皂，進(jìn)行相關(guān)變量或者資源的集中初始化工作。若是將資源初始化工作放在方法...