大數(shù)據(jù)技術(shù)與數(shù)倉(cāng)

IP屬地：上海

該如何設(shè)計(jì)數(shù)倉(cāng)的匯總層(DWS)
關(guān)于數(shù)據(jù)倉(cāng)庫(kù)的分層嚎莉，似乎大家都有一個(gè)共同的認(rèn)識(shí)。但涉及到每一層該如何去建模，可能每個(gè)人都有自己的理解矾麻。數(shù)據(jù)建模，毫無(wú)疑問(wèn)是數(shù)倉(cāng)建設(shè)的重中之重拒秘，然...

1.1 1630 0 11
實(shí)時(shí)數(shù)倉(cāng)|以u(píng)psert的方式讀寫Kafka數(shù)據(jù)——以Flink1.12為例
在某些場(chǎng)景中渺杉，比如GROUP BY聚合之后的結(jié)果，需要去更新之前的結(jié)果值砚偶。這個(gè)時(shí)候批销，需要將 Kafka 消息記錄的 key 當(dāng)成主鍵處理，用來(lái)確...

0.3 810 0 3

Flink on Hive構(gòu)建流批一體數(shù)倉(cāng)
Flink使用HiveCatalog可以通過(guò)批或者流的方式來(lái)處理Hive中的表蟹演。這就意味著Flink既可以作為Hive的一個(gè)批處理引擎风钻，也可以通...

1.2 1170 2 6
Flink集成Hive之Hive Catalog與Hive Dialect--以Flink1.12
在上一篇分享Flink集成Hive之快速入門--以Flink1.12為例[https://mp.weixin.qq.com/s/99ehmNzJ...

0.3 1193 0 3
Flink集成Hive之快速入門--以Flink1.12為例
使用Hive構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)成為了比較普遍的一種解決方案。目前酒请，一些比較常見(jiàn)的大數(shù)據(jù)處理引擎骡技，都無(wú)一例外兼容Hive。Flink從1.9開始支持...

0.4 1272 1 5
數(shù)倉(cāng)開發(fā)需要了解的5大SQL分析函數(shù)
基本語(yǔ)法 analytic_function_name: 函數(shù)名稱 — 比如 RANK(), SUM(), FIRST()等等 partitio...

316 0 1
第十一篇|基于SparkSQL的電影分析項(xiàng)目實(shí)戰(zhàn)
在之前的分享中羞反，曾系統(tǒng)地介紹了Spark的基本原理和使用方式布朦，感興趣的可以翻看之前的分享文章。在本篇分享中昼窗，將介紹一個(gè)完整的項(xiàng)目案例是趴，該案例會(huì)真...

0.2 978 0 3

篇五|ClickHouse數(shù)據(jù)導(dǎo)入(Flink、Spark澄惊、Kafka唆途、MySQL富雅、Hive)
本文分享主要是ClickHouse的數(shù)據(jù)導(dǎo)入方式，本文主要介紹如何使用Flink肛搬、Spark没佑、Kafka、MySQL温赔、Hive將數(shù)據(jù)導(dǎo)入Clic...

0.9 1600 1 9
篇四|ClickHouse的可視化界面與集群狀態(tài)監(jiān)控
介紹 tabix支持通過(guò)瀏覽器直接連接 ClickHouse蛤奢，不需要安裝其他軟件，就可以訪問(wèn)ClickHouse陶贼，具有以下特點(diǎn)： ?亮語(yǔ)法的編輯...

1.0 1891 0 6