1.執(zhí)行引擎變更：TEZ 不用支持緩慢過時的MapReduce了，14年測試時TEZ比ＭapReduce快100%适刀。 2.鑒權變更:Ranger Hive默認使用storag...
發(fā)簡信
IP屬地：廣東
-
數(shù)據(jù)中臺思考背景 最近一段時間掌栅，經常與各位技術大佬說起中臺服務相關的概念轩端，在腦海中第一個概念SOA的概念凯亮，但是回想一下恩商，應該會有差別： SOA：業(yè)務系統(tǒng)分解為多個組件倾鲫，組件之間獨立提供...
-
七尤蒿、Flink Event Time Watermark
在 Apache Flink 中使用 watermark 的 4 個理解 在下文中的例子中郑气，我們有一個帶有時間戳的事件流，但是由于某種原因它們并不是按順序到達的腰池。圖中的數(shù)字代...
-
Apache Flink 學習筆記（二）
上一篇 Apache Flink 學習筆記（一） 簡單示范了批處理的使用尾组，本篇展示流式處理的使用方法。 流處理也叫無界處理示弓，因為數(shù)據(jù)是源源不斷的被加載進來的讳侨，流處理需要用到D...
-
數(shù)倉--Theory--數(shù)倉數(shù)據(jù)質量監(jiān)控暫時定義為數(shù)倉的質量管理，完全可以定義為數(shù)據(jù)中臺的質量管理 數(shù)據(jù)質量的理解 數(shù)據(jù)質量的高低代表了該數(shù)據(jù)滿足數(shù)據(jù)消費者期望的程度奏属，這種程度基于他們對數(shù)據(jù)的使用預期跨跨。數(shù)據(jù)質量必須...
-
Spark Sql 運行原理Spark SQL 原理和運行機制 Catalyst 執(zhí)行優(yōu)化器 Catalyst 是 Spark SQL 執(zhí)行優(yōu)化器的代號，所有 Spark SQL 語句最終都能通過它來解...
