發(fā)簡信
IP屬地：黑龍江
-
Flink CDC實戰(zhàn)之Oracle同步Mysql
簡介 最近有個項目要對接ZF的數據爆惧，數據庫為Oracle营袜，由于采用OGG的方式同步費用很高，于是想到采用FlinkCDC的方式進行同步关霸。 Ins...
-
PyFlink集群部署前言 前面講到flink實時計算用戶畫像的功能传黄，flink需要調用python寫的算法庫，之前的兩種方案都存在各種各樣的問題队寇，最后決定采用pyf...
-
Cpython簡單介紹
前言 上一篇介紹了Java采用Jython調用python程序的方式膘掰，但是問題是目前只支持python2.x，如果需要調用python3.x目前...
-
Jython簡單介紹
前言 Jython(原 JPython)英上，是一個用 Java 語言寫的 Python 解釋器炭序。由于python語法簡潔，寫起來快苍日，而且目前有很多...
-
Flink CDC實戰(zhàn)之Mysql同步Hudi簡介 在業(yè)務開發(fā)過程中惭聂，mysql應該是最常用的數據庫了。不同業(yè)務部門會有自己的mysql集群相恃，為了解決數據孤島問題辜纲，我們必須對數據進行同步整合...
-
基于混合云構建調度平臺簡介 很多業(yè)務場景對數據的安全性要求很高，所以會采用私有云部署應用拦耐，但是開發(fā)和運營需要在公有云操作耕腾，所以很多企業(yè)都采用公有云+私有云的架構模式，...
-
DataX擴展hudiwriter組件前言 最近公司啟動了一個規(guī)劃2年的項目杀糯，是做一個數據平臺扫俺。主要包括數據同步（實時/離線）、mapping（實時/離線）固翰、數倉（實時/離線）狼纬、源數...
-
湖數據運維(Data Lake Ops)
前言 最近在做一個用戶畫像的項目羹呵，我主要負責數據模塊，架構大概是： 首先從各業(yè)務庫和數倉接入數據疗琉，經過mapping處理后統(tǒng)一存儲在hudi中冈欢，...
-
Flink CDC實戰(zhàn)之Mongo同步Mysql
簡介 面對復雜的業(yè)務場景，企業(yè)可能會選用不同的數據庫盈简，這給業(yè)務之間數據交互凑耻，數據分析等帶來一定的困擾，對此柠贤，數據同步起到很重要的作用香浩，目前業(yè)內成...