發(fā)簡信
IP屬地：貴州
-
數(shù)據(jù)漂移的處理
數(shù)據(jù)漂移的處理 通常我們把從源系統(tǒng)同步進人數(shù)據(jù)倉庫的第一層數(shù)據(jù)稱為 ODS stag ing 層數(shù)據(jù)猛铅，阿里巴巴統(tǒng)稱為 ODS 。數(shù)據(jù)漂移是 O...
-
hive之存儲格式
今天給大家分享一個主題：Storage Format, 也就是存儲格式 我們先在 hive 里建張表蟹但，打開 hive 的控制臺昔字，創(chuàng)建一個表cre...
-
hive調(diào)優(yōu)
hive調(diào)優(yōu) 一扼雏、fetch策略 hive.fetch.task.conversion現(xiàn)在版本默認(rèn)值是morenone：表示禁用南捂，任何查詢都會走...
-
hive元數(shù)據(jù)
Hive元數(shù)據(jù)是什么？ 元數(shù)據(jù)缸兔，即解釋數(shù)據(jù)的數(shù)據(jù)日裙。在Hive架構(gòu)中，數(shù)據(jù)庫/表內(nèi)實際數(shù)據(jù)存放在HDFS之類的分布式存儲系統(tǒng)中灶体，但這些數(shù)據(jù)并不帶有...
-
Hive如何處理大量小文件
Hive如何處理大量小文件 小文件是如何產(chǎn)生的 1.動態(tài)分區(qū)插入數(shù)據(jù)的時候阅签，會產(chǎn)生大量的小文件，從而導(dǎo)致map數(shù)量的暴增2.數(shù)據(jù)源本身就包含有大...
-
常見sql種 lateral view用法：
常見sql種 lateral view用法： 1.question_option_id是數(shù)組存儲格式是字符串類型 2.question_opti...
-
spark常見錯誤：
spark常見錯誤：一：·21/07/22 18:34:48 ERROR MetricsSystem: Sink class org.apach...
-
阿里云常見錯誤：
阿里云常見錯誤： 2021-07-19 20:21:27 INFO Current task status:RUNNING 2021-07-19...
-
kafka
Kafka官網(wǎng) kafka.apache.org 1.官網(wǎng)的介紹 消息中間件 承上啟下 緩沖 穩(wěn)穩(wěn)的消費flume-->kafka-->ss...