發(fā)簡(jiǎn)信
IP屬地：北京
-
-
-
數(shù)據(jù)庫(kù)范式（1NF 2NF 3NF BCNF）詳解
數(shù)據(jù)庫(kù)的設(shè)計(jì)范式是數(shù)據(jù)庫(kù)設(shè)計(jì)所需要滿足的規(guī)范慰毅，滿足這些規(guī)范的數(shù)據(jù)庫(kù)是簡(jiǎn)潔的、結(jié)構(gòu)明晰的，同時(shí)榄棵，不會(huì)發(fā)生插入（insert）、刪除（delete）和更新（update）操作異常...
-
hive.groupby.skewindata=true注意點(diǎn)
和SQL一樣潘拱，HiveQL中同樣支持DISTINCT操作疹鳄，如下示例：(1) SELECTcount(DISTINCT uid) FROM log(2) SELECT ip, ...
-
Hive數(shù)據(jù)傾斜總結(jié)
Hive數(shù)據(jù)傾斜總結(jié) 傾斜的原因： 使map的輸出數(shù)據(jù)更均勻的分布到reduce中去，是我們的最終目標(biāo)芦岂。由于Hash算法的局限性瘪弓，按key Hash會(huì)或多或少的造成數(shù)據(jù)傾斜。...
-
怎么說呢禽最，發(fā)朋友圈的人至少眼有所望心有所想腺怯，長(zhǎng)年不發(fā)的人不是心已老就是身將死，至于多少為多川无，多少為少瓢喉，人各有異，喜歡看就看舀透，不喜歡看屏蔽栓票，難道不知道還有個(gè)刪除功能嗎？
-
如果不曾看到太陽(yáng)惑芭，我本可忍受黑暗坠狡。
-
Hive處理25億數(shù)據(jù)之性能優(yōu)化
項(xiàng)目背景 有個(gè)關(guān)于分布式鏈路追蹤呢項(xiàng)目，公司微服務(wù)460個(gè)左右遂跟，zipkin 日增數(shù)據(jù)約1.6T逃沿，約25億左右數(shù)據(jù)婴渡。 通過清洗，輸出不同5大維度維度凯亮，8種粒度的依賴視圖边臼，以及...
-
學(xué)習(xí)數(shù)據(jù)倉(cāng)庫(kù)DW技術(shù)柠并，不限于RDBMS
-
數(shù)倉(cāng)入門基礎(chǔ)-2-技術(shù)棧
1.hive sql >> 五星 在大多數(shù)的工作中，主要用的語(yǔ)言就是sql,說難不難富拗，只要做的多了臼予，基本就可以融會(huì)貫通，當(dāng)然也要了解 hive ,清楚常運(yùn)用到的優(yōu)化方法啃沪。...
-
數(shù)據(jù)倉(cāng)庫(kù)真的太抽象了粘拾，不跟著一個(gè)項(xiàng)目去做的話，很難真正理解
數(shù)據(jù)倉(cāng)庫(kù)第三章整理——數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)
一创千、數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)方法概述 （一）DW設(shè)計(jì)與DB設(shè)計(jì)方法的比較 1.處理類型不同 （1）DB：操作型數(shù)據(jù)環(huán)境半哟，面向業(yè)務(wù) （2）DW：面向主題的分析型數(shù)據(jù)環(huán)境，面向分析签餐，從基本主...
-
數(shù)據(jù)倉(cāng)庫(kù)第三章整理——數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)
一寓涨、數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)方法概述 （一）DW設(shè)計(jì)與DB設(shè)計(jì)方法的比較 1.處理類型不同 （1）DB：操作型數(shù)據(jù)環(huán)境，面向業(yè)務(wù) （2）DW：面向主題的分析型數(shù)據(jù)環(huán)境氯檐，面向分析戒良，從基本主...
-
數(shù)據(jù)倉(cāng)庫(kù)開發(fā)之路之二--概述整個(gè)開發(fā)流程在上篇隨筆《數(shù)據(jù)倉(cāng)庫(kù)開發(fā)之路之一--準(zhǔn)備工作》中粗略介紹了一下數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目應(yīng)用中涉及到的一些知識(shí)和工具，其中涉及到了ETL工具DataStage冠摄、BI商務(wù)智能工具BO（Bus...
-
不同級(jí)別和用途的數(shù)據(jù)模型說起數(shù)據(jù)模型大部分人就會(huì)想到數(shù)據(jù)庫(kù)的表結(jié)構(gòu)糯崎，就是用一張圖把數(shù)據(jù)庫(kù)里表的結(jié)構(gòu)給畫一遍。 數(shù)據(jù)模型的作用之一確實(shí)是這樣河泳，準(zhǔn)確來說是用圖的方式描述數(shù)據(jù)庫(kù)里的表結(jié)構(gòu)沃呢。但是，數(shù)據(jù)模型的...
-
-
Hive原理及SQL優(yōu)化1.Hive原理 Hive是構(gòu)建在Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)軟件框架，支持使用SQL來讀纸兔，寫和管理大規(guī)模數(shù)據(jù)集合惰瓜。Hive入門非常簡(jiǎn)單，功能非常強(qiáng)大汉矿，所以非常流行崎坊。 通常來說，...
-
kafka的實(shí)現(xiàn)原理什么是Kafka Kafka是一款分布式消息發(fā)布和訂閱系統(tǒng)洲拇，它的特點(diǎn)是高性能奈揍、高吞吐量曲尸。 最早設(shè)計(jì)的目的是作為L(zhǎng)inkedIn的活動(dòng)流和運(yùn)營(yíng)數(shù)據(jù)的處理管道。這些數(shù)據(jù)主要是用來...
