數(shù)據(jù)漂移的處理 通常我們把從源系統(tǒng)同步進人數(shù)據(jù)倉庫的第一層數(shù)據(jù)稱為 ODS stag ing 層數(shù)據(jù)鸯绿，阿里巴巴統(tǒng)稱為 ODS 洲愤。數(shù)據(jù)漂移是 ODS 數(shù)據(jù)的一個 頑疾猎物，通常是...
發(fā)簡信
IP屬地：遼寧
-
數(shù)據(jù)漂移的處理
-
hive調(diào)優(yōu)
hive調(diào)優(yōu) 一、fetch策略 hive.fetch.task.conversion現(xiàn)在版本默認值是morenone：表示禁用顿痪，任何查詢都會走mr（count好像不走）mi...
-
hive元數(shù)據(jù)
Hive元數(shù)據(jù)是什么？ 元數(shù)據(jù)油够，即解釋數(shù)據(jù)的數(shù)據(jù)蚁袭。在Hive架構(gòu)中，數(shù)據(jù)庫/表內(nèi)實際數(shù)據(jù)存放在HDFS之類的分布式存儲系統(tǒng)中石咬，但這些數(shù)據(jù)并不帶有數(shù)據(jù)庫/表/字段之類的描述信息...
-
Hive如何處理大量小文件
Hive如何處理大量小文件 小文件是如何產(chǎn)生的 1.動態(tài)分區(qū)插入數(shù)據(jù)的時候揩悄，會產(chǎn)生大量的小文件，從而導致map數(shù)量的暴增2.數(shù)據(jù)源本身就包含有大量的小文件3.reduce個數(shù)...
-
常見sql種 lateral view用法：
常見sql種 lateral view用法： 1.question_option_id是數(shù)組存儲格式是字符串類型 2.question_option_id是數(shù)組，存儲格式是數(shù)...
-
spark常見錯誤：
spark常見錯誤：一：·21/07/22 18:34:48 ERROR MetricsSystem: Sink class org.apache.spark.metrics...
-
2021-03-11
Spark初識 spark幾種模式 local 下載下來后焕窝，不做什么配置 StandLone 了解即可·····Spark集群： 1個節(jié)點 N個節(jié)點 VS Had...
-
2021-03-10
HDFS常用API 在前面獲取文件系統(tǒng)的客戶端對象（里面都是配置文件） 在后面關(guān)閉流 將hdfs文件下載到本地 用流來實現(xiàn) //將hdfs文件下載到本地 刪除文件 讀取文件...
-
2021-03-07
spark初識 1.MapReduce map + reduce 開發(fā)easy?一般情況下：map ==》（寫入） 磁盤 reduce ==>（寫入） hdfs特殊;...
-
spark之RDD詳解----五大特性spark Github: https://github.com/apache/spark/[https://github.com/apache/spark/]RDD： 讓開...
-
安裝mysql5.7
可以參考視頻鏈接： 視頻鏈接[https://www.bilibili.com/video/BV12b411N7Lv]視頻鏈接[https://www.bilibili.co...
-
Hadoop SecondNameNode工作機制蹬挺、常用命令與常用設置1. SNN****（****secondNamenode****） 1.1****secondNamenode****工作機制 1.secondNamenode執(zhí)行chec...
-
linux生產(chǎn)常用筆記（二）
LInux筆記 1. 磁盤 1.1****df -h 它報告文件系統(tǒng)磁盤空間的使用情況。 真實的數(shù)據(jù)盤 2. 內(nèi)存 free -m：查看內(nèi)存使用情況 5058/7823 =6...
-
linux生產(chǎn)常用命令（一）
linux生產(chǎn)常用命令 企業(yè)生產(chǎn)常用命令（一） 1.~ 家目錄 root用戶袜啃，管理員，最大的權(quán)限~ :當前該用戶的 家目錄 [root@bigdata01 ~]# cd /o...
