大數(shù)據(jù)學習

IP屬地：廣東

數(shù)據(jù)湖的基本特征
數(shù)據(jù)湖的基本特征可以從數(shù)據(jù)和計算兩個層面進一步分析數(shù)據(jù)湖應該具備哪些特征扣讼。在數(shù)據(jù)方面： “保真性”司澎。數(shù)據(jù)湖中對于業(yè)務系統(tǒng)中的數(shù)據(jù)都會存儲一份“...

0.1 804 0 1
什么是數(shù)據(jù)湖
一贬养、什么是數(shù)據(jù)湖數(shù)據(jù)湖是目前比較熱的一個概念，許多企業(yè)都在構(gòu)建或者計劃構(gòu)建自己的數(shù)據(jù)湖。但是在計劃構(gòu)建數(shù)據(jù)湖之前，搞清楚什么是數(shù)據(jù)湖，明確一個...

0.1 1190 0 1

Flink——Exactly-Once
Apache Flink的Exactly-Once機制 Apache Flink是目前市場最受關注的流計算處理引擎拓巧，相較于Spark Strea...

0.1 1032 0 1
Spark——Exactly-Once
什么是Exactly-Once一致性語義 Apache Spark的Exactly-once機制 Apache Flink的Exactly-on...

0.1 984 0 1
Flink-算子（1）——DataSet
DataSet 一、Source算子 1. fromCollection fromCollection：從本地集合讀取數(shù)據(jù) 例： 2. read...

0.2 643 0 2
Spark-RDD算子調(diào)優(yōu)
1. RDD復用在對RDD進行算子時昔搂，要避免相同的算子和計算邏輯之下對RDD進行重復的計算：對上圖中的RDD計算架構(gòu)進行修改玲销，得到如下圖所示...

0.1 303 0 1
Hive SQL(5)-lateral view 、explode 摘符、reflect
使用explode函數(shù)將hive表中的Map和Array字段數(shù)據(jù)進行拆分 lateral view用于和split贤斜、explode等UDTF一起...

0.2 1966 0 2

Hive SQL(4)-函數(shù)
聚合函數(shù) 注意：聚合操作時要注意null值count(*) 包含null值策吠，統(tǒng)計所有行數(shù)count(id) 不包含null值min 求最小值是不...

0.1 766 0 1
Hive SQL(3)-DQL
單表查詢注意：1、order by 會對輸入做全局排序瘩绒，因此只有一個reducer猴抹，會導致當輸入規(guī)模較大時，需要較長的計算時間锁荔。2蟀给、sort ...

0.1 499 0 1