Hadoop的核心思想之一是mapreduce（分布式計算框架）Compute：計算層（處理層）HDFS：分治 一趣倾、What? 什么是MR 1士聪、過濾性別為0的循環(huán)處理每行記錄...
發(fā)簡信
IP屬地：江西
-
Haddop：Mapreduce -
維度建模：緩慢變化維SCD緩慢變化維（Slowly Changing Dimension）就是變化相對緩慢（相對與快速變化的事實表來說）的維度遮婶。 在維度建模理論中蝗碎，有8種處理方式，包括基礎(chǔ)的5種以及混...
-
LeetCode-SQL【UNLOCK】
目錄 175 Combine Two Tables E 176 Second Highest Salary E 177 Nth Highest Salary M 1...
-
HIVE：小文件合并
HDFS非常容易存儲大數(shù)據(jù)文件旗扑，如果Hive中存在過多的小文件會給namecode帶來巨大的性能壓力蹦骑。同時小文件過多會影響JOB的執(zhí)行，hadoop會將一個job轉(zhuǎn)換成多個t...
-
三大性質(zhì)總結(jié)：原子性臀防，有序性眠菇，可見性原創(chuàng)文章&經(jīng)驗總結(jié)&從校招到A廠一路陽光一路滄桑 詳情請戳www.codercc.com 1. 三大性質(zhì)簡介 在并發(fā)編程中分析線程安全的問題時往往需要切入點，那就是兩大核心：...
-
MapReduce過程袱衷、Spark和Hadoop以Shuffle為中心的對比分析
mapreduce與Spark的map-Shuffle-reduce過程 mapreduce過程解析（mapreduce采用的是sort-based shuffle） 將獲取...
-
HIVE：數(shù)據(jù)傾斜
1捎废、什么是數(shù)據(jù)傾斜？ 數(shù)據(jù)分布不均勻致燥，造成數(shù)據(jù)大量的集中到一點登疗，造成數(shù)據(jù)熱點 2、Hadoop 框架的特性 A嫌蚤、不怕數(shù)據(jù)大辐益，怕數(shù)據(jù)傾斜B、Jobs 數(shù)比較多的作業(yè)運行效率相對...
-
大數(shù)據(jù)數(shù)據(jù)倉庫建設(shè)前言 互聯(lián)網(wǎng)行業(yè)脱吱，除了數(shù)據(jù)量大之外智政，業(yè)務(wù)時效性要求也很高，甚至很多是要求實時的箱蝠， 另外女仰，互聯(lián)網(wǎng)行業(yè)的業(yè)務(wù)變化非常快抡锈，不可能像傳統(tǒng)行業(yè)一樣疾忍，可以使用自頂向下的方法建立數(shù)據(jù)倉庫，...
-
LeetCode高頻100【1】目錄 【1】 20. Valid Parentheses（Easy） Given a string containing just the characters '(', '...
