每天都必須特別認真的活著
發(fā)簡信
IP屬地：四川
-
實時數(shù)倉模型
為了計算一些實時指標，就在原來離線數(shù)倉的基礎(chǔ)上增加了一個實時計算的鏈路爪膊，并對數(shù)據(jù)源做流式改造（即把數(shù)據(jù)發(fā)送到消息隊列）权悟，實時計算去訂閱消息隊列，直接完成指標增量的計算惊完，推送到...
-
一個孤獨的小作者
-
數(shù)據(jù)交換工具DataX使用（2）
1小槐，下載 svn co http://code.taobao.org/p/datax 2拇派，安裝 根據(jù)服務(wù)器安裝軟件情況可能需要安裝下面軟件 yum install ant y...
-
掌握spark 3.0中的查詢計劃
本文翻譯自Mastering Query Plans in Spark 3.0[https://towardsdatascience.com/mastering-query-...
-
-
Spark SQL on Yarn with Cluster mode Fails Load hive-site.xml
問題描述 運行spark sql on yarn的時候發(fā)現(xiàn)yarn client模式跑的好好的程序惫谤，換成yarn cluster模式就不正確了，原因是hive-site.xm...
-
目前從事大數(shù)據(jù)開發(fā)工作，使用語言java许蓖、scala和python
-
一文通俗理解Spark架構(gòu)蝴猪、Spark部署方式、配屬配置優(yōu)先級膊爪、Spark處理所提交的application的流程自阱、Spark共享變量、Spark監(jiān)聽米酬，以及master沛豌、driver、worke...Spark是一種基于內(nèi)存計算的計算引擎（通俗地說就是計算速度快）淮逻，由于其可以將計算的中間結(jié)果存放在內(nèi)存中琼懊，因此非常適合于迭代計算和交互式查詢。 一爬早、Spark的四大核心組件和...
-
hive字段級別血緣實現(xiàn)
背## 背景 為便于hive表數(shù)據(jù)上下游的管理(評估邏輯變更的影響筛严、快速追溯數(shù)據(jù)來源)醉旦，需要構(gòu)建hive字段級別的數(shù)據(jù)血緣，hive本身提供提供了一個用于打印數(shù)據(jù)血緣的鉤子類...
-
聯(lián)系江江17706130227免費學(xué)Python基礎(chǔ)語法和爬蟲哦
