1 spark sql寫入mysql非常慢 有這樣一個業(yè)務(wù)場景：需要將通過Spark處理之后的數(shù)據(jù)寫入MySQL耙箍，并在在網(wǎng)頁端進(jìn)行可視化輸出。Spark處理之后有大概40萬條...
發(fā)簡信
IP屬地：云南
-
spark3.x 生產(chǎn)調(diào)優(yōu)筆記
-
元數(shù)據(jù)管理
1 為什么需要數(shù)據(jù)治理酥馍？ 通過數(shù)據(jù)治理實現(xiàn)企業(yè)數(shù)據(jù)的標(biāo)準(zhǔn)化辩昆、提高數(shù)據(jù)質(zhì)量、提升業(yè)務(wù)處理的效率旨袒，為數(shù)據(jù)分析提供準(zhǔn)確的數(shù)據(jù)支撐汁针，賦能業(yè)務(wù)，助力企業(yè)實現(xiàn)數(shù)字化轉(zhuǎn)型砚尽。大數(shù)據(jù)的數(shù)據(jù)管理...
-
hive3.x on spark3.0生產(chǎn)調(diào)優(yōu)實踐1 數(shù)據(jù)傾斜 絕大部分任務(wù)都很快完成扇丛，只有一個或者少數(shù)幾個任務(wù)執(zhí)行的很慢甚至最終執(zhí)行失敗，這樣的現(xiàn)象為數(shù)據(jù)傾斜現(xiàn)象尉辑。 將數(shù)據(jù)傾斜分為單表攜帶了 GroupBy 字段的查詢和兩...
-
Flink檢查點(diǎn)機(jī)制與狀態(tài)管理1 檢查點(diǎn)機(jī)制 1.1 CheckPoints 為了使 Flink 的狀態(tài)具有良好的容錯性，F(xiàn)link 提供了檢查點(diǎn)機(jī)制 (CheckPoints) 较屿。通過檢查點(diǎn)機(jī)制隧魄，F(xiàn)li...
-
智慧醫(yī)療 - 微服務(wù)最佳實踐
01 產(chǎn)品分析與定位 02 微服務(wù)架構(gòu)設(shè)計 以業(yè)務(wù)為中心 高內(nèi)聚低耦合 高度自治 彈性設(shè)計 日志與監(jiān)控 自動化 03 實時消息推送技術(shù)演進(jìn) 接入層負(fù)載均衡基于http七層負(fù)載...
-
Flink Window API窗口（window）就是將無限流切割為有限流的一種方式，它會將流數(shù)據(jù)分發(fā)到有限大小的桶（bucket）中進(jìn)行分析 window類型 時間窗口（Time Window） 滾動時...
-
用戶畫像 - 挖掘標(biāo)簽
RFM 用戶價值模型 1 需求 假設(shè)我是一個市場營銷者, 在做一次活動之前, 我可能會思考如下問題 誰是我比較有價值的客戶? 誰是比較有潛力成為有價值的客戶? 誰快要流失了?...