ETL - 專題 - 簡書

投稿

ETL

收錄了17篇文章 · 3人關(guān)注

總結(jié)：Hive曲伊，Hive on Spark和SparkSQL區(qū)別
Hive on Mapreduce Hive的原理大家可以參考這篇大數(shù)據(jù)時代的技術(shù)hive：hive介紹菠镇，實際的一些操作可以看這篇筆記：新手的H...

2.5 mrlevo520 6 61
再議數(shù)據(jù)倉庫之拉鏈算法
拉鏈算法是目前數(shù)據(jù)倉庫領(lǐng)域比較XX的算法之一..通用非常廣.記錄數(shù)據(jù)量很大且為全量實體記錄歷史的操作谢揪。例如，某某移動通信公司客戶資料醇锚，以河北為...

0.4 叫我老村長 0 4

crontab定期執(zhí)行命令以及案例詳解
一续膳，什么是crond，crontab linux下面定期分為二部分胖替，一部分是后臺程序crond研儒，一部分是crontab往crond輸入指令的接口...

叫我老村長 0 0
Kettle:使用觸發(fā)器和快照表進行增量數(shù)據(jù)同步
本文介紹了使用快照表和觸發(fā)器進行增量數(shù)據(jù)同步。主庫為Oracle 11g數(shù)據(jù)庫独令，針對需要同步的表建立增量數(shù)據(jù)臨時表以及觸發(fā)器并通過kettle定...

1.1 叫我老村長 0 6
使用Kettle實現(xiàn)數(shù)據(jù)實時增量同步--時間戳增量回滾同步
使用Kettle實現(xiàn)數(shù)據(jù)實時增量同步 0. 前言本文介紹了使用Kettle對一張業(yè)務(wù)表數(shù)據(jù)（500萬條數(shù)據(jù)以上）進行實時（10秒）同步端朵，采用了...

3.1 叫我老村長 0 20
使用Kettle工具進行增量數(shù)據(jù)同步
增量同步的方式有很多種，我使用的是: 快照表 + 觸發(fā)器需求：當(dāng)主庫庫表發(fā)生增刪改時燃箭，從庫庫表與主庫庫表數(shù)據(jù)保持一致冲呢。環(huán)境：1、Mysql2...

5.4 叫我老村長 0 20
ETL-Kettle學(xué)習(xí)筆記（入門招狸，簡介敬拓，簡單操作）
Kettle:簡介 ETL:簡介 ETL（Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取裙戏、轉(zhuǎn)換乘凸、裝載的過程），對于企業(yè)或行業(yè)應(yīng)用...

0.4 叫我老村長 1 5

hive中拉鏈表
在有些情況下累榜，為了保持歷史的一些狀態(tài)翰意，需要用拉鏈表來做，這樣做目的在可以保留所有狀態(tài)的情況下可以節(jié)省空間。拉鏈表適用于以下幾種情況吧數(shù)據(jù)量有...

0.3 叫我老村長 0 5
kettle日志記錄
環(huán)境描述：現(xiàn)在一個項目有很多個作業(yè)冀偶，需要知道每次跑批后哪些ktr跑成功醒第，哪些失敗了問題解決：下面是一個具體的操作流程首先建立數(shù)據(jù)庫表數(shù)...

1.5 叫我老村長 1 4
Kettle中各個版本比較大的變化
Kettle(現(xiàn)在已經(jīng)更名為PDI，Pentaho Data Integration)中各個版本比較大的變化版本新增功能kettle 8.1...

0.6 叫我老村長 0 1