有一張財(cái)務(wù)流水表，未分庫(kù)分表严沥，目前的數(shù)據(jù)量為9555695，分頁(yè)查詢(xún)使用到了limit，優(yōu)化之前的查詢(xún)耗時(shí)16 s 938 ms (execut...

一、 什么是數(shù)據(jù)倉(cāng)庫(kù)役耕、數(shù)據(jù)集市和數(shù)據(jù)湖采转？ 1、數(shù)據(jù)倉(cāng)庫(kù) 早期系統(tǒng)采用數(shù)據(jù)庫(kù)來(lái)存放管理數(shù)據(jù)瞬痘，但是隨著大數(shù)據(jù)技術(shù)的興起故慈，大家想要通過(guò)大數(shù)據(jù)技術(shù)來(lái)找...

概述 隨著業(yè)務(wù)發(fā)展和數(shù)據(jù)量的增加惯悠，大數(shù)據(jù)應(yīng)用開(kāi)發(fā)已成為部門(mén)應(yīng)用開(kāi)發(fā)常用的開(kāi)發(fā)方式邻邮，由于部門(mén)業(yè)務(wù)特點(diǎn)的關(guān)系竣况，spark和hive應(yīng)用開(kāi)發(fā)在部門(mén)內(nèi)部...

01 、 頂層設(shè)計(jì)法 顧名思義筒严，頂層設(shè)計(jì)法就是先做一個(gè)數(shù)據(jù)治理頂層設(shè)計(jì)的規(guī)劃丹泉，然后按照規(guī)劃執(zhí)行即可。 做過(guò)咨詢(xún)的彭友都知道鸭蛙，頂層設(shè)計(jì)摹恨、戰(zhàn)略咨詢(xún)都...

一、Checkpoint 簡(jiǎn)介 Flink 的 Checkpoint 機(jī)制是其可靠性的基石娶视。當(dāng)一個(gè)任務(wù)在運(yùn)行過(guò)程中出現(xiàn)故障時(shí)晒哄，可以根據(jù) Chec...

1.前言 2.狀態(tài)原理 2.1. 狀態(tài)肪获、狀態(tài)后端寝凌、Checkpoint 三者之間的區(qū)別及關(guān)系？ 結(jié)論：拿五個(gè)字做比喻："鐵鍋燉大鵝"孝赫，鐵鍋是狀態(tài)...