--- 極客時間 《大數(shù)據(jù)經(jīng)典論文解讀》學(xué)習(xí)
Dremel相比于MapReduce，其數(shù)據(jù)檢索速度快了一個數(shù)量級劝评。它的核心思路是以下四條：
讓計(jì)算節(jié)點(diǎn)和存儲節(jié)點(diǎn)放在同一臺Server上；
進(jìn)程常駐鬼癣，做好緩存童漩，確保不會用大量時間做冷啟動火惊；
樹狀架構(gòu)，多層聚合累贤，這樣可以讓單個節(jié)點(diǎn)響應(yīng)時間和計(jì)算量都較小叠穆，能夠快速拿到返回結(jié)果。
-
即使不適用GFS臼膏，數(shù)據(jù)也會復(fù)制三份存放到不同節(jié)點(diǎn)硼被。計(jì)算過程中，Dremel會監(jiān)測各葉子Server的執(zhí)行進(jìn)度讶请，對于落后的計(jì)算節(jié)點(diǎn)祷嘶，會調(diào)度到其他計(jì)算節(jié)點(diǎn)。（MR 推測執(zhí)行）
5D947EF6-E928-4337-B7C9-744F5B75C0D9.jpg
中間層服務(wù)器最主要的功能是幫我們把數(shù)據(jù)歸并的工作并行化了夺溢。
Dremel借鑒了MPP數(shù)據(jù)庫论巍，把計(jì)算和存儲節(jié)點(diǎn)放在一起；
通過行列混合方式风响，完成了數(shù)據(jù)的并行運(yùn)算嘉汰，縮減了需要掃描的數(shù)據(jù)量；
通過借鑒搜索引擎的分布式索引系統(tǒng)状勤，搭建了一個樹形多層的服務(wù)器架構(gòu)鞋怀，通過中間層服務(wù)器進(jìn)行數(shù)據(jù)聚合双泪，減少計(jì)算延時；
同時密似，借鑒了MapReduce的推測執(zhí)行機(jī)制焙矛，拋棄掉隊(duì)者節(jié)點(diǎn)的任務(wù)。
