簡(jiǎn)介 最近有個(gè)項(xiàng)目要對(duì)接ZF的數(shù)據(jù)，數(shù)據(jù)庫(kù)為Oracle九榔，由于采用OGG的方式同步費(fèi)用很高穴肘，于是想到采用FlinkCDC的方式進(jìn)行同步唐础。 Install Oracle 本例采...
發(fā)簡(jiǎn)信
IP屬地：天津
-
Flink CDC實(shí)戰(zhàn)之Oracle同步Mysql
-
PyFlink集群部署前言 前面講到flink實(shí)時(shí)計(jì)算用戶畫像的功能星持，flink需要調(diào)用python寫的算法庫(kù)玩荠，之前的兩種方案都存在各種各樣的問(wèn)題辛块，最后決定采用pyflink來(lái)開(kāi)發(fā)存捺。 一門新技術(shù)的...
-
Cpython簡(jiǎn)單介紹
前言 上一篇介紹了Java采用Jython調(diào)用python程序的方式槐沼，但是問(wèn)題是目前只支持python2.x，如果需要調(diào)用python3.x目前是無(wú)法做到的捌治，所以想到另外一種...
-
Jython簡(jiǎn)單介紹
前言 Jython(原 JPython)岗钩，是一個(gè)用 Java 語(yǔ)言寫的 Python 解釋器。由于python語(yǔ)法簡(jiǎn)潔肖油，寫起來(lái)快兼吓，而且目前有很多現(xiàn)成的算法庫(kù)，所以別的語(yǔ)言也想...
-
Flink CDC實(shí)戰(zhàn)之Mysql同步Hudi簡(jiǎn)介 在業(yè)務(wù)開(kāi)發(fā)過(guò)程中森枪，mysql應(yīng)該是最常用的數(shù)據(jù)庫(kù)了视搏。不同業(yè)務(wù)部門會(huì)有自己的mysql集群审孽，為了解決數(shù)據(jù)孤島問(wèn)題，我們必須對(duì)數(shù)據(jù)進(jìn)行同步整合浑娜，為了提高數(shù)據(jù)同步的時(shí)效性佑力，我...
-
基于混合云構(gòu)建調(diào)度平臺(tái)簡(jiǎn)介 很多業(yè)務(wù)場(chǎng)景對(duì)數(shù)據(jù)的安全性要求很高，所以會(huì)采用私有云部署應(yīng)用筋遭，但是開(kāi)發(fā)和運(yùn)營(yíng)需要在公有云操作打颤，所以很多企業(yè)都采用公有云+私有云的架構(gòu)模式，本例對(duì)這種混合云的調(diào)度問(wèn)題進(jìn)行...
-
DataX擴(kuò)展hudiwriter組件前言 最近公司啟動(dòng)了一個(gè)規(guī)劃2年的項(xiàng)目漓滔，是做一個(gè)數(shù)據(jù)平臺(tái)编饺。主要包括數(shù)據(jù)同步（實(shí)時(shí)/離線）、mapping（實(shí)時(shí)/離線）响驴、數(shù)倉(cāng)（實(shí)時(shí)/離線）透且、源數(shù)據(jù)管理、數(shù)據(jù)血緣豁鲤、調(diào)度秽誊、BI等...
-
湖數(shù)據(jù)運(yùn)維(Data Lake Ops)
前言 最近在做一個(gè)用戶畫像的項(xiàng)目，我主要負(fù)責(zé)數(shù)據(jù)模塊畅形，架構(gòu)大概是： 首先從各業(yè)務(wù)庫(kù)和數(shù)倉(cāng)接入數(shù)據(jù)养距，經(jīng)過(guò)mapping處理后統(tǒng)一存儲(chǔ)在hudi中诉探，以database日熬、table...
-
Flink CDC實(shí)戰(zhàn)之Mongo同步Mysql
簡(jiǎn)介 面對(duì)復(fù)雜的業(yè)務(wù)場(chǎng)景，企業(yè)可能會(huì)選用不同的數(shù)據(jù)庫(kù)肾胯，這給業(yè)務(wù)之間數(shù)據(jù)交互竖席，數(shù)據(jù)分析等帶來(lái)一定的困擾，對(duì)此敬肚，數(shù)據(jù)同步起到很重要的作用毕荐，目前業(yè)內(nèi)成熟的數(shù)據(jù)同步組件很多，支持實(shí)時(shí)...