為了計(jì)算一些實(shí)時(shí)指標(biāo)掸冤，就在原來離線數(shù)倉的基礎(chǔ)上增加了一個(gè)實(shí)時(shí)計(jì)算的鏈路敞葛，并對數(shù)據(jù)源做流式改造（即把數(shù)據(jù)發(fā)送到消息隊(duì)列）指蚁，實(shí)時(shí)計(jì)算去訂閱消息隊(duì)列墩朦，直接完成指標(biāo)增量的計(jì)算商膊，推送到...
發(fā)簡信
IP屬地：江蘇
-
實(shí)時(shí)數(shù)倉模型
-
數(shù)據(jù)交換工具DataX使用（2）
1售睹，下載 svn co http://code.taobao.org/p/datax 2尊残，安裝 根據(jù)服務(wù)器安裝軟件情況可能需要安裝下面軟件 yum install ant y...
-
掌握spark 3.0中的查詢計(jì)劃
本文翻譯自Mastering Query Plans in Spark 3.0[https://towardsdatascience.com/mastering-query-...
-
Spark SQL on Yarn with Cluster mode Fails Load hive-site.xml
問題描述 運(yùn)行spark sql on yarn的時(shí)候發(fā)現(xiàn)yarn client模式跑的好好的程序绍些，換成yarn cluster模式就不正確了捞慌，原因是hive-site.xm...
-
一文通俗理解Spark架構(gòu)、Spark部署方式柬批、配屬配置優(yōu)先級啸澡、Spark處理所提交的application的流程、Spark共享變量氮帐、Spark監(jiān)聽嗅虏，以及master、driver上沐、worke...Spark是一種基于內(nèi)存計(jì)算的計(jì)算引擎（通俗地說就是計(jì)算速度快）皮服，由于其可以將計(jì)算的中間結(jié)果存放在內(nèi)存中，因此非常適合于迭代計(jì)算和交互式查詢参咙。 一龄广、Spark的四大核心組件和...
-
hive字段級別血緣實(shí)現(xiàn)
背## 背景 為便于hive表數(shù)據(jù)上下游的管理(評估邏輯變更的影響、快速追溯數(shù)據(jù)來源)昂勒，需要構(gòu)建hive字段級別的數(shù)據(jù)血緣蜀细，hive本身提供提供了一個(gè)用于打印數(shù)據(jù)血緣的鉤子類...
