發(fā)簡(jiǎn)信
IP屬地：新疆
-
【Kafka小試】Kafka 高可用機(jī)制
Kafka的Replica kafka的topic可以設(shè)置有n個(gè)副本（replica），副本數(shù)最好要小于等于broker的數(shù)量，也就是要保證一個(gè)...
-
【Flink小試】Flink CDC DataStream API監(jiān)聽(tīng)MySQL動(dòng)態(tài)發(fā)往Kafka Topic
[toc] 一大猛、背景 業(yè)務(wù)背景: MySQL增量數(shù)據(jù)實(shí)時(shí)更新同步到Kafka中供下游使用 查看了一下Flink CDC的官方文檔[https:/...
-
SpringBoot @Scheduled多線程執(zhí)行
問(wèn)題 在用springboot框架做定時(shí)任務(wù)的時(shí)候耙考，大部分情況都是直接通過(guò)@Scheduled注解來(lái)指定定時(shí)任務(wù)的荆忍。但是當(dāng)你有多個(gè)定時(shí)任務(wù)時(shí)既穆，@...
-
Go mongo driver使用
通過(guò)go mod下載官方driver包go.mongodb.org/mongo-driver 一隐解、初始化設(shè)置 創(chuàng)建init.go 二抖拦、 創(chuàng)建數(shù)據(jù)...
-
Go Tools -- 數(shù)組收納數(shù)組相關(guān)的操作工具 1. 兩個(gè)數(shù)組并集 2. 兩個(gè)數(shù)組交集 3. 兩個(gè)數(shù)組差集 4. 數(shù)組是否包含元素 5. 去除數(shù)組中的重復(fù)元素 Test...
-
二叉樹(shù)遍歷方式題目： 已知一棵二叉樹(shù)前序遍歷和中序遍歷分別為ABDEGCFH和DBGEACHF把介，則該二叉樹(shù)的后序遍歷結(jié)果為？ 思路： 根據(jù)根節(jié)點(diǎn)遍歷順序記遍歷...
-
MongoDB Spark Connector使用
背景 對(duì)現(xiàn)有的存儲(chǔ)在MongoDB中的海量數(shù)據(jù)進(jìn)行清洗操作蟋座。為了提供數(shù)據(jù)的處理速度拗踢，決定使用spark作為引擎對(duì)數(shù)據(jù)進(jìn)行操作。 先決條件 Mon...
-
數(shù)據(jù)倉(cāng)庫(kù)中的ODS DW DM理解1. DW 1.1 簡(jiǎn)介 data warehouse(可簡(jiǎn)寫(xiě)為DW或DWH)數(shù)據(jù)倉(cāng)庫(kù),是在數(shù)據(jù)庫(kù)已經(jīng)大量存在的情況下向臀，為了進(jìn)一步挖掘數(shù)據(jù)資源巢墅、...
-
Go創(chuàng)建Kafka生產(chǎn)者和消費(fèi)者
1. 定義Producer和Consumer結(jié)構(gòu)體 2. 獲取Producer實(shí)例 3. 發(fā)送數(shù)據(jù)到Kafka 批量發(fā)送 單條發(fā)送 4. 通過(guò)C...