Flink-Kafka 眾所周知，F(xiàn)link在很早的時候就通過Checkpointing提供了exactly-once的semantic惠猿，不過僅限于自身或者是從KafkaCo...
發(fā)簡信
IP屬地：上海
-
Flink exactly-once 實戰(zhàn)筆記
-
Java線程的6種狀態(tài)及切換（透徹講解）
Java中線程的狀態(tài)分為6種羔砾。 1.初始(NEW)：新創(chuàng)建了一個線程對象，但還沒有調(diào)用start()方法偶妖。 2.運行(RUNNABLE)：Java線程中將就緒（ready）和...
-
數(shù)據(jù)結(jié)構(gòu)之LinkList鏈表
鏈表與數(shù)組在數(shù)據(jù)結(jié)構(gòu)的江湖上被并稱為南數(shù)組姜凄、北鏈表，其江湖地位可見一斑 概念 鏈表作為最基礎(chǔ)的通用存儲結(jié)構(gòu)餐屎，它的作用和數(shù)組是一樣的檀葛，但存儲數(shù)據(jù)的方式略有不同。數(shù)組需要預(yù)先獲取...
-
Spark Streaming + Kafka + Redis狀態(tài)管理 top100場景 Exactly Once??最近面試螞蟻金服一面的時候腹缩，和面試官聊項目問題的時候屿聋，發(fā)現(xiàn)我這邊業(yè)務(wù)實現(xiàn)的top100場景好像沒有實現(xiàn)exactly once語義，我們項目的offset是存儲在zk中藏鹊，...
-
Spark中的exactly once語義
exactly once指的是在處理數(shù)據(jù)的過程中润讥，系統(tǒng)有很好的容錯性(fault-tolerance)，能夠保證數(shù)據(jù)處理不重不丟盘寡，每一條數(shù)據(jù)僅被處理一次楚殿。Spark具備很好的...
-
spark源碼閱讀之storage模塊②
在spark源碼閱讀之storage模塊①中，描繪了Storage模塊的整體框架是標(biāo)準(zhǔn)的master-slave框架：master用來管理slave的元數(shù)據(jù)信息竿痰，slave則...
-
spark源碼閱讀之storage模塊①Storage模塊負(fù)責(zé)管理spark在計算過程中產(chǎn)生的數(shù)據(jù)脆粥，對用戶來說砌溺，spark的編程面向的是RDD這種抽象的邏輯數(shù)據(jù)集，對RDD的轉(zhuǎn)換和動作完成對數(shù)據(jù)運算邏輯的處理变隔。而在...
-
spark源碼閱讀之shuffle模塊②
在spark源碼閱讀之shuffle模塊①中规伐，介紹了spark版本shuffle的演化史，提到了主要的兩個shuffle策略：HashBasedShuffle和SortedB...
-
spark源碼閱讀之shuffle模塊①我們在之前scheduler模塊的分析中了解到匣缘，DAGScheduler劃分stage的依據(jù)就是Shuffle Dependency猖闪，那么Shuffle是一個怎么樣的過程呢？...
