發(fā)簡(jiǎn)信
IP屬地：北京
-
-
-
數(shù)據(jù)庫范式（1NF 2NF 3NF BCNF）詳解
數(shù)據(jù)庫的設(shè)計(jì)范式是數(shù)據(jù)庫設(shè)計(jì)所需要滿足的規(guī)范下愈，滿足這些規(guī)范的數(shù)據(jù)庫是簡(jiǎn)潔的矫钓、結(jié)構(gòu)明晰的，同時(shí)铁瞒，不會(huì)發(fā)生插入（insert）妙色、刪除（delete）和更新（update）操作異常...
-
hive.groupby.skewindata=true注意點(diǎn)
和SQL一樣，HiveQL中同樣支持DISTINCT操作慧耍，如下示例：(1) SELECTcount(DISTINCT uid) FROM log(2) SELECT ip, ...
-
Hive數(shù)據(jù)傾斜總結(jié)
Hive數(shù)據(jù)傾斜總結(jié) 傾斜的原因： 使map的輸出數(shù)據(jù)更均勻的分布到reduce中去身辨，是我們的最終目標(biāo)。由于Hash算法的局限性芍碧，按key Hash會(huì)或多或少的造成數(shù)據(jù)傾斜煌珊。...
-
怎么說呢，發(fā)朋友圈的人至少眼有所望心有所想泌豆，長(zhǎng)年不發(fā)的人不是心已老就是身將死定庵，至于多少為多，多少為少，人各有異蔬浙，喜歡看就看猪落，不喜歡看屏蔽，難道不知道還有個(gè)刪除功能嗎畴博？
-
如果不曾看到太陽官疲，我本可忍受黑暗。
-
Hive處理25億數(shù)據(jù)之性能優(yōu)化
項(xiàng)目背景 有個(gè)關(guān)于分布式鏈路追蹤呢項(xiàng)目庶艾，公司微服務(wù)460個(gè)左右袁余，zipkin 日增數(shù)據(jù)約1.6T，約25億左右數(shù)據(jù)咱揍。 通過清洗颖榜，輸出不同5大維度維度，8種粒度的依賴視圖煤裙，以及...
-
學(xué)習(xí)數(shù)據(jù)倉庫DW技術(shù)硼砰，不限于RDBMS
-
數(shù)倉入門基礎(chǔ)-2-技術(shù)棧
1.hive sql >> 五星 在大多數(shù)的工作中且蓬，主要用的語言就是sql,說難不難，只要做的多了题翰，基本就可以融會(huì)貫通恶阴，當(dāng)然也要了解 hive ,清楚常運(yùn)用到的優(yōu)化方法。...
-
數(shù)據(jù)倉庫真的太抽象了豹障，不跟著一個(gè)項(xiàng)目去做的話冯事，很難真正理解
數(shù)據(jù)倉庫第三章整理——數(shù)據(jù)倉庫設(shè)計(jì)
一、數(shù)據(jù)倉庫設(shè)計(jì)方法概述 （一）DW設(shè)計(jì)與DB設(shè)計(jì)方法的比較 1.處理類型不同 （1）DB：操作型數(shù)據(jù)環(huán)境血公，面向業(yè)務(wù) （2）DW：面向主題的分析型數(shù)據(jù)環(huán)境昵仅，面向分析，從基本主...
-
數(shù)據(jù)倉庫第三章整理——數(shù)據(jù)倉庫設(shè)計(jì)
一累魔、數(shù)據(jù)倉庫設(shè)計(jì)方法概述 （一）DW設(shè)計(jì)與DB設(shè)計(jì)方法的比較 1.處理類型不同 （1）DB：操作型數(shù)據(jù)環(huán)境摔笤，面向業(yè)務(wù) （2）DW：面向主題的分析型數(shù)據(jù)環(huán)境，面向分析垦写，從基本主...
-
數(shù)據(jù)倉庫開發(fā)之路之二--概述整個(gè)開發(fā)流程在上篇隨筆《數(shù)據(jù)倉庫開發(fā)之路之一--準(zhǔn)備工作》中粗略介紹了一下數(shù)據(jù)倉庫項(xiàng)目應(yīng)用中涉及到的一些知識(shí)和工具吕世，其中涉及到了ETL工具DataStage、BI商務(wù)智能工具BO（Bus...
-
不同級(jí)別和用途的數(shù)據(jù)模型說起數(shù)據(jù)模型大部分人就會(huì)想到數(shù)據(jù)庫的表結(jié)構(gòu)梯投，就是用一張圖把數(shù)據(jù)庫里表的結(jié)構(gòu)給畫一遍寞冯。 數(shù)據(jù)模型的作用之一確實(shí)是這樣渴析，準(zhǔn)確來說是用圖的方式描述數(shù)據(jù)庫里的表結(jié)構(gòu)。但是吮龄，數(shù)據(jù)模型的...
-
-
Hive原理及SQL優(yōu)化1.Hive原理 Hive是構(gòu)建在Hadoop上的數(shù)據(jù)倉庫軟件框架漓帚，支持使用SQL來讀母债，寫和管理大規(guī)模數(shù)據(jù)集合。Hive入門非常簡(jiǎn)單尝抖，功能非常強(qiáng)大毡们，所以非常流行。 通常來說昧辽，...
-
kafka的實(shí)現(xiàn)原理什么是Kafka Kafka是一款分布式消息發(fā)布和訂閱系統(tǒng)衙熔，它的特點(diǎn)是高性能、高吞吐量搅荞。 最早設(shè)計(jì)的目的是作為L(zhǎng)inkedIn的活動(dòng)流和運(yùn)營(yíng)數(shù)據(jù)的處理管道红氯。這些數(shù)據(jù)主要是用來...
