需求 有2張大的mysql表历涝,量級(jí)分別是1億和4.5億(太大了铅鲤,DBA的同學(xué)正在考慮分表)姻采,而且數(shù)據(jù)是增量的,需要寫spark任務(wù)做處理鼠渺,直接讀取mysql有點(diǎn)吃力,想通過(guò)s...
![240](https://cdn2.jianshu.io/assets/default_avatar/6-fd30f34c8641f6f32f5494df5d6b8f3c.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/240/h/240)
需求 有2張大的mysql表历涝,量級(jí)分別是1億和4.5億(太大了铅鲤,DBA的同學(xué)正在考慮分表)姻采,而且數(shù)據(jù)是增量的,需要寫spark任務(wù)做處理鼠渺,直接讀取mysql有點(diǎn)吃力,想通過(guò)s...
系統(tǒng)環(huán)境:Windows 10Python:3.6.6Superset:0.27.0 0 Superset 簡(jiǎn)介 ??Superset 是一款由 Airbnb 開源的“現(xiàn)代化...
[TOC] 簡(jiǎn)介 kafka是一個(gè)分布式消息隊(duì)列陆赋。具有高性能、持久化嚷闭、多副本備份攒岛、橫向擴(kuò)展能力。生產(chǎn)者往隊(duì)列里寫消息胞锰,消費(fèi)者從隊(duì)列里取消息進(jìn)行業(yè)務(wù)邏輯灾锯。一般在架構(gòu)設(shè)計(jì)中起到解...