發(fā)簡信
IP屬地：北京
-
ETL開發(fā)規(guī)范1斋泄、ETL數(shù)據(jù)架構(gòu)層次 2席舍、建表規(guī)范 3、命名規(guī)范 4茅诱、作業(yè)開發(fā)規(guī)范 注釋： 作業(yè)說明是一種注釋,位于作業(yè)最開始部分。作業(yè)說明有助于提高代碼的可...
-
Spark RDD 編程指南(官方文檔中文版+補充)
Spark RDD 編程指南(官方文檔中文版+補充) 1.總覽 Spark 提供的主要抽象是彈性分布式數(shù)據(jù)集(RDD),它是跨集群節(jié)點劃分的元素...
-
idea 使用maven的archetype模板來創(chuàng)建Spark 項目
目錄 [toc] 版本 Scala 版本：2.11.8 spark 版本：spark-2.4.4-bin-hadoop2.7.tgz 一肩钠、創(chuàng)建S...
-
DataX 數(shù)據(jù)全量挡鞍，增量同步方案關(guān)于DataX 增量更新實現(xiàn) 注：參考來源文章 增量更新總體思路：從目標(biāo)數(shù)據(jù)庫讀取一個最大值的記錄，可以是DataTime 或者 RowVers...
-
使用maven的模板archetype 來創(chuàng)建scala項目
文檔參考：https://docs.scala-lang.org/tutorials/scala-with-maven.html new pro...
-
Flume實戰(zhàn)(1)—single agent flow的實現(xiàn)1.理論基礎(chǔ) 需要注意的是： 一個source可以對接多個channel 一個sink只能對接一個channel 實現(xiàn)一個數(shù)據(jù)流的需求關(guān)鍵點就在...
-
Flume 理論
1. Flume 簡介 Flume 是一個分布式的海量日志采集售躁，聚合坞淮，轉(zhuǎn)移工具。 大數(shù)據(jù)常用數(shù)據(jù)處理框架 這里只是給flume一個定位陪捷，清楚fl...
-
sqoop 1.99.7 導(dǎo)入導(dǎo)出數(shù)據(jù)準(zhǔn)備要導(dǎo)入的數(shù)據(jù) mysql創(chuàng)建表并插入數(shù)據(jù) 準(zhǔn)備要導(dǎo)出的數(shù)據(jù) customer.csv 上傳到hdfs 任意目錄 啟動相關(guān)服務(wù) 首先保證SQO...
-
Hive 基本操作
準(zhǔn)備工作 1.檢查各項服務(wù)是否已正常啟動 [x] hdfs啟動【start-dfs.sh】 [x] yarn啟動【start-yarn.sh】 ...