為什么我要把這段話放在最前面呢疟位?因?yàn)椴┲饔辛舜蟀l(fā)現(xiàn)塞俱,博主在總結(jié)學(xué)習(xí)的過程中蜘渣,總結(jié)了除了 Flink CP授舟、Chandy-Lamport 全局一致性快照算法之外的一種通用全局一...
為什么我要把這段話放在最前面呢疟位?因?yàn)椴┲饔辛舜蟀l(fā)現(xiàn)塞俱,博主在總結(jié)學(xué)習(xí)的過程中蜘渣,總結(jié)了除了 Flink CP授舟、Chandy-Lamport 全局一致性快照算法之外的一種通用全局一...
1.前言 對于很多做離線或者實(shí)時(shí)數(shù)倉的小伙伴來說肩碟,我先問幾個(gè)問題强窖,看看小伙伴萌能回答上來嗎? ? 你知道狀態(tài)是什么嗎削祈?在離線數(shù)據(jù)開發(fā)的經(jīng)歷中翅溺,你碰到過狀態(tài)的概念嗎脑漫? ? 為什...
感謝您的關(guān)注 + 點(diǎn)贊 + 再看,對博主的肯定咙崎,會督促博主持續(xù)的輸出更多的優(yōu)質(zhì)實(shí)戰(zhàn)內(nèi)容S判摇!褪猛! 1.序篇-本文結(jié)構(gòu) protobuf 作為目前各大公司中最廣泛使用的高效的協(xié)...
感謝您的關(guān)注 + 點(diǎn)贊 + 再看网杆,對博主的肯定,會督促博主持續(xù)的輸出更多的優(yōu)質(zhì)實(shí)戰(zhàn)內(nèi)容R磷獭L既础! 1.序篇-先說結(jié)論 protobuf 作為目前各大公司中最廣泛使用的高效的協(xié)...
感謝您的關(guān)注 + 點(diǎn)贊 + 再看笑旺,對博主的肯定追城,會督促博主持續(xù)的輸出更多的優(yōu)質(zhì)實(shí)戰(zhàn)內(nèi)容!T镒病座柱! 1.序篇-本文結(jié)構(gòu) 背景篇-為啥需要 redis 數(shù)據(jù)匯表 目標(biāo)篇-redi...
感謝您的關(guān)注 + 點(diǎn)贊 + 再看,對博主的肯定物舒,會督促博主持續(xù)的輸出更多的優(yōu)質(zhì)實(shí)戰(zhàn)內(nèi)容I础!冠胯! 1.序篇-本文結(jié)構(gòu) 背景篇-為啥需要 redis 維表 目標(biāo)篇-做 redi...
1.序篇-本文結(jié)構(gòu) 本文從以下五個(gè)小節(jié)介紹 flink sql source\sink\format 的概念火诸、原理。 背景篇-關(guān)于 sql 定義篇-sql source荠察、si...
1.前言 陪伴了小伙伴萌這么久悉盆,寫的都是一些技術(shù)干貨盯荤,還沒有聊過工作上成長的經(jīng)驗(yàn)。 那么為什么突然要聊這么一個(gè)話題呢焕盟,有兩個(gè)原因: 最近博主晉升了一次秋秤,在這個(gè)過程中,準(zhǔn)備答辯...
本系列每篇文章都是從一些實(shí)際生產(chǎn)實(shí)踐需求出發(fā)灼卢,解決一些生產(chǎn)實(shí)踐中的問題,拋磚引玉来农,以幫助小伙伴們解決一些實(shí)際生產(chǎn)問題鞋真。本篇文章主要介紹直播間畫像實(shí)時(shí)維表建設(shè)的整個(gè)過程,如果對...
本系列每篇文章都是從一些實(shí)際的 case 出發(fā)沃于,分析一些生產(chǎn)環(huán)境中經(jīng)常會遇到的問題涩咖,拋磚引玉赶袄,以幫助小伙伴們解決一些實(shí)際問題。本文介紹 Flink 時(shí)間以及時(shí)區(qū)問題抠藕,分析了在...
本系列每篇文章都比較短小,不定期更新盾似,從一些實(shí)際的 case 出發(fā)拋磚引玉敬辣,提高小伙伴的姿♂勢水平。本文介紹在滿足原有需求零院、實(shí)現(xiàn)原有邏輯的場景下溉跃,在 Flink 中使用 un...
本系列每篇文章都比較短小,不定期更新告抄,從一些實(shí)際的 case 出發(fā)拋磚引玉撰茎,提高小伙伴的姿♂勢水平。本文介紹 Flink sink schema 字段設(shè)計(jì)小技巧打洼,閱讀時(shí)長大概...
mangodata: 本文詳細(xì)介紹了在上游使用處理時(shí)間語義的 flink 任務(wù)出現(xiàn)故障后龄糊,重啟消費(fèi)大量積壓在上游的數(shù)據(jù)并產(chǎn)出至下游數(shù)據(jù)亂序特別嚴(yán)重時(shí),下游 flink 任務(wù)使...
本文詳細(xì)介紹了實(shí)時(shí)監(jiān)控類指標(biāo)的數(shù)據(jù)流轉(zhuǎn)鏈路以及技術(shù)方案募疮,大多數(shù)的實(shí)時(shí)監(jiān)控類指標(biāo)都可按照本文中的幾種方案實(shí)現(xiàn)炫惩。 短視頻生產(chǎn)消費(fèi)監(jiān)控 短視頻帶來了全新的傳播場域和節(jié)目形態(tài),小屏幕...
flink Sink簡介 flink 中有兩個(gè)重要的概念阿浓,Source 和 Sink 他嚷,Source 決定了我們的數(shù)據(jù)從哪里產(chǎn)生,而 Sink 決定了數(shù)據(jù)將要去到什么地方芭毙。 ...