發(fā)簡信
IP屬地：廣東
-
數據湖的基本特征
數據湖的基本特征 可以從數據和計算兩個層面進一步分析數據湖應該具備哪些特征。在數據方面： “保真性”徽曲。數據湖中對于業(yè)務系統(tǒng)中的數據都會存儲一份“...
-
什么是數據湖
一喘蟆、什么是數據湖 數據湖是目前比較熱的一個概念，許多企業(yè)都在構建或者計劃構建自己的數據湖逻住。但是在計劃構建數據湖之前梭冠，搞清楚什么是數據湖呕寝，明確一個...
-
Flink——Exactly-Once
Apache Flink的Exactly-Once機制 Apache Flink是目前市場最受關注的流計算處理引擎空执，相較于Spark Strea...
-
Spark——Exactly-Once
什么是Exactly-Once一致性語義 Apache Spark的Exactly-once機制 Apache Flink的Exactly-on...
-
Flink-算子（1）——DataSet
DataSet 一浪箭、Source算子 1. fromCollection fromCollection：從本地集合讀取數據 例： 2. read...
-
Spark-RDD算子調優(yōu)
1. RDD復用 在對RDD進行算子時，要避免相同的算子和計算邏輯之下對RDD進行重復的計算： 對上圖中的RDD計算架構進行修改辨绊，得到如下圖所示...
-
Hive SQL(5)-lateral view 奶栖、explode 、reflect
使用explode函數將hive表中的Map和Array字段數據進行拆分 lateral view用于和split门坷、explode等UDTF一起...
-
Hive SQL(4)-函數
聚合函數 注意：聚合操作時要注意null值count(*) 包含null值宣鄙，統(tǒng)計所有行數count(id) 不包含null值min 求最小值是不...
-
Hive SQL(3)-DQL
單表查詢 注意：1、order by 會對輸入做全局排序默蚌，因此只有一個reducer框冀，會導致當輸入規(guī)模較大時，需要較長的計算時間敏簿。2、sort ...