Flink CDC實(shí)戰(zhàn)之Mysql同步Hudi

簡(jiǎn)介

在業(yè)務(wù)開發(fā)過程中,mysql應(yīng)該是最常用的數(shù)據(jù)庫了暑竟。不同業(yè)務(wù)部門會(huì)有自己的mysql集群,為了解決數(shù)據(jù)孤島問題育勺,我們必須對(duì)數(shù)據(jù)進(jìn)行同步整合但荤,為了提高數(shù)據(jù)同步的時(shí)效性,我們一般采用cdc的方式實(shí)時(shí)同步涧至。以下介紹筆者采用flink cdc同步mysql到hudi腹躁,用來構(gòu)建實(shí)時(shí)數(shù)據(jù)湖的過程。

mysql配置

  1. 開啟binglog

vim /usr/local/etc/my.cnf 添加以下配置

# Default Homebrew MySQL server config
[mysqld]
# Only allow connections from localhost
bind-address = 127.0.0.1
log-bin = mysql-bin
binlog-format = ROW
server_id = 1

重啟mysql :service mysql.server restart

  1. 創(chuàng)建賬號(hào)密碼南蓬,可以修改密碼復(fù)雜度

set global validate_password_policy=0
set validate_password_length=6
CREATE USER 'flinkuser'@'localhost' IDENTIFIED BY 'flinkpw';

  1. 授權(quán)

GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT > ON . TO 'flinkuser'@'localhost' IDENTIFIED BY 'flinkpw'

  1. 查看授權(quán)

show grants for 'flinkuser'@'localhost'

  1. 把配置刷新到文件

FLUSH PRIVILEGES

hadoop配置

  1. 配置環(huán)境變量

export HADOOP_CLASSPATH=`hadoop classpath`

  1. 啟動(dòng)集群

sbin/start-all.sh

  1. 進(jìn)程列表
>flink-1.13.5 % jps
57988 SecondaryNameNode
64612 YarnSessionClusterEntrypoint
57749 NameNode
58183 ResourceManager
58279 NodeManager
60969 SqlClient
64733 Jps
57855 DataNode

flink 配置

  1. 添加依賴

flink-sql-connector-mysql-cdc-2.2.1.jar
hudi-flink-bundle_2.11-0.10.0.jar

注:為了保證版本的兼容性纺非,最好自己手動(dòng)編譯jar包

  1. 啟動(dòng)yarn-session集群(注:依賴于hadoop存儲(chǔ),所以只能以yarn模式啟動(dòng)集群)

bin/yarn-session.sh -nm flink-session-cluster -d

  1. 啟動(dòng)flink client

bin/sql-client.sh embedded -s yarn-session

  1. 創(chuàng)建mysql cdc源表
CREATE TABLE mysql_user (
    id INT,
    name STRING,
    age INT,
    dt STRING,
    score DOUBLE,
    create_at STRING,
    update_at STRING,
    PRIMARY KEY(id) NOT ENFORCED
) WITH (
    'connector' = 'mysql-cdc',
    'hostname' = 'localhost',
    'port' = '3306',
    'username' = 'flinkuser',
    'password' = 'flinkpw',
    'database-name' = 'wlapp',
    'table-name' = 'user'
);
  1. 創(chuàng)建hudi目標(biāo)表
CREATE TABLE hudi_user(
    id INT,
    name STRING,
    age INT,
    dt STRING,
    score DOUBLE,
    create_at STRING,
    update_at STRING,
    PRIMARY KEY(id) NOT ENFORCED
)
WITH (
  'connector' = 'hudi',
  'path' = 'hdfs://localhost:9000/user/warehouse/wlapp.db/user',
  'table.type' = 'COPY_ON_WRITE',
  'write.insert.drop.duplicates' = 'true'
);
  1. 執(zhí)行etl
INSERT INTO hudi_user SELECT * FROM mysql_user;
  1. 程序運(yùn)行之后在mysql客戶端查看下binlog狀態(tài)

show master status

運(yùn)行結(jié)果

  1. yarn資源管理界面


    yarn
  2. flink作業(yè)管理界面


    flink

結(jié)

本例中重點(diǎn)關(guān)注mysql的binglog開啟赘方、用戶授權(quán)以及flink的運(yùn)行模式須采用yarn-session烧颖,standalone模式是不行的,因?yàn)橐蕾囉趆adoop存儲(chǔ)蒜焊,需要讀一些hadoop集群的配置信息倒信。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末科贬,一起剝皮案震驚了整個(gè)濱河市泳梆,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌榜掌,老刑警劉巖优妙,帶你破解...
    沈念sama閱讀 217,185評(píng)論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異憎账,居然都是意外死亡套硼,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,652評(píng)論 3 393
  • 文/潘曉璐 我一進(jìn)店門胞皱,熙熙樓的掌柜王于貴愁眉苦臉地迎上來邪意,“玉大人九妈,你說我怎么就攤上這事∥砉恚” “怎么了萌朱?”我有些...
    開封第一講書人閱讀 163,524評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)策菜。 經(jīng)常有香客問我晶疼,道長(zhǎng),這世上最難降的妖魔是什么又憨? 我笑而不...
    開封第一講書人閱讀 58,339評(píng)論 1 293
  • 正文 為了忘掉前任翠霍,我火速辦了婚禮,結(jié)果婚禮上蠢莺,老公的妹妹穿的比我還像新娘寒匙。我一直安慰自己,他們只是感情好躏将,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,387評(píng)論 6 391
  • 文/花漫 我一把揭開白布蒋情。 她就那樣靜靜地躺著,像睡著了一般耸携。 火紅的嫁衣襯著肌膚如雪棵癣。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,287評(píng)論 1 301
  • 那天夺衍,我揣著相機(jī)與錄音狈谊,去河邊找鬼。 笑死沟沙,一個(gè)胖子當(dāng)著我的面吹牛河劝,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播矛紫,決...
    沈念sama閱讀 40,130評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼赎瞎,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了颊咬?” 一聲冷哼從身側(cè)響起务甥,我...
    開封第一講書人閱讀 38,985評(píng)論 0 275
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎喳篇,沒想到半個(gè)月后敞临,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,420評(píng)論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡麸澜,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,617評(píng)論 3 334
  • 正文 我和宋清朗相戀三年挺尿,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,779評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡编矾,死狀恐怖熟史,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情窄俏,我是刑警寧澤以故,帶...
    沈念sama閱讀 35,477評(píng)論 5 345
  • 正文 年R本政府宣布,位于F島的核電站裆操,受9級(jí)特大地震影響怒详,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜踪区,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,088評(píng)論 3 328
  • 文/蒙蒙 一昆烁、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧缎岗,春花似錦静尼、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,716評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至眷细,卻和暖如春拦盹,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背溪椎。 一陣腳步聲響...
    開封第一講書人閱讀 32,857評(píng)論 1 269
  • 我被黑心中介騙來泰國(guó)打工普舆, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人校读。 一個(gè)月前我還...
    沈念sama閱讀 47,876評(píng)論 2 370
  • 正文 我出身青樓沼侣,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親歉秫。 傳聞我的和親對(duì)象是個(gè)殘疾皇子蛾洛,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,700評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容