發(fā)簡(jiǎn)信
IP屬地：安徽
-
Flink CDC實(shí)戰(zhàn)之Oracle同步Mysql
簡(jiǎn)介 最近有個(gè)項(xiàng)目要對(duì)接ZF的數(shù)據(jù)筷厘，數(shù)據(jù)庫(kù)為Oracle恤浪，由于采用OGG的方式同步費(fèi)用很高恰聘，于是想到采用FlinkCDC的方式進(jìn)行同步。 Ins...
-
PyFlink集群部署前言 前面講到flink實(shí)時(shí)計(jì)算用戶畫像的功能呢袱，flink需要調(diào)用python寫的算法庫(kù)，之前的兩種方案都存在各種各樣的問題，最后決定采用pyf...
-
Cpython簡(jiǎn)單介紹
前言 上一篇介紹了Java采用Jython調(diào)用python程序的方式厅贪，但是問題是目前只支持python2.x，如果需要調(diào)用python3.x目前...
-
Jython簡(jiǎn)單介紹
前言 Jython(原 JPython)雅宾，是一個(gè)用 Java 語言寫的 Python 解釋器养涮。由于python語法簡(jiǎn)潔，寫起來快眉抬，而且目前有很多...
-
Flink CDC實(shí)戰(zhàn)之Mysql同步Hudi簡(jiǎn)介 在業(yè)務(wù)開發(fā)過程中贯吓，mysql應(yīng)該是最常用的數(shù)據(jù)庫(kù)了。不同業(yè)務(wù)部門會(huì)有自己的mysql集群蜀变，為了解決數(shù)據(jù)孤島問題悄谐，我們必須對(duì)數(shù)據(jù)進(jìn)行同步整合...
-
基于混合云構(gòu)建調(diào)度平臺(tái)簡(jiǎn)介 很多業(yè)務(wù)場(chǎng)景對(duì)數(shù)據(jù)的安全性要求很高，所以會(huì)采用私有云部署應(yīng)用库北，但是開發(fā)和運(yùn)營(yíng)需要在公有云操作爬舰，所以很多企業(yè)都采用公有云+私有云的架構(gòu)模式，...
-
DataX擴(kuò)展hudiwriter組件前言 最近公司啟動(dòng)了一個(gè)規(guī)劃2年的項(xiàng)目寒瓦，是做一個(gè)數(shù)據(jù)平臺(tái)情屹。主要包括數(shù)據(jù)同步（實(shí)時(shí)/離線）、mapping（實(shí)時(shí)/離線）杂腰、數(shù)倉(cāng)（實(shí)時(shí)/離線）垃你、源數(shù)...
-
湖數(shù)據(jù)運(yùn)維(Data Lake Ops)
前言 最近在做一個(gè)用戶畫像的項(xiàng)目，我主要負(fù)責(zé)數(shù)據(jù)模塊，架構(gòu)大概是： 首先從各業(yè)務(wù)庫(kù)和數(shù)倉(cāng)接入數(shù)據(jù)蜡镶，經(jīng)過mapping處理后統(tǒng)一存儲(chǔ)在hudi中雾袱，...
-
Flink CDC實(shí)戰(zhàn)之Mongo同步Mysql
簡(jiǎn)介 面對(duì)復(fù)雜的業(yè)務(wù)場(chǎng)景，企業(yè)可能會(huì)選用不同的數(shù)據(jù)庫(kù)官还，這給業(yè)務(wù)之間數(shù)據(jù)交互芹橡，數(shù)據(jù)分析等帶來一定的困擾，對(duì)此望伦，數(shù)據(jù)同步起到很重要的作用林说，目前業(yè)內(nèi)成...