發(fā)簡(jiǎn)信
IP屬地：上海
-
-
Flink exactly-once 實(shí)戰(zhàn)筆記
Flink-Kafka 眾所周知公黑，F(xiàn)link在很早的時(shí)候就通過Checkpointing提供了exactly-once的semantic，不過僅限于自身或者是從KafkaCo...
-
-
Java線程的6種狀態(tài)及切換（透徹講解）
Java中線程的狀態(tài)分為6種。 1.初始(NEW)：新創(chuàng)建了一個(gè)線程對(duì)象耻蛇，但還沒有調(diào)用start()方法踪蹬。 2.運(yùn)行(RUNNABLE)：Java線程中將就緒（ready）和...
-
數(shù)據(jù)結(jié)構(gòu)之LinkList鏈表
鏈表與數(shù)組在數(shù)據(jù)結(jié)構(gòu)的江湖上被并稱為南數(shù)組、北鏈表臣咖，其江湖地位可見一斑 概念 鏈表作為最基礎(chǔ)的通用存儲(chǔ)結(jié)構(gòu)跃捣，它的作用和數(shù)組是一樣的，但存儲(chǔ)數(shù)據(jù)的方式略有不同夺蛇。數(shù)組需要預(yù)先獲取...
-
Spark Streaming + Kafka + Redis狀態(tài)管理 top100場(chǎng)景 Exactly Once??最近面試螞蟻金服一面的時(shí)候疚漆，和面試官聊項(xiàng)目問題的時(shí)候，發(fā)現(xiàn)我這邊業(yè)務(wù)實(shí)現(xiàn)的top100場(chǎng)景好像沒有實(shí)現(xiàn)exactly once語義刁赦，我們項(xiàng)目的offset是存儲(chǔ)在zk中娶聘，...
-
Spark中的exactly once語義
exactly once指的是在處理數(shù)據(jù)的過程中，系統(tǒng)有很好的容錯(cuò)性(fault-tolerance)甚脉，能夠保證數(shù)據(jù)處理不重不丟丸升，每一條數(shù)據(jù)僅被處理一次。Spark具備很好的...
-
spark源碼閱讀之storage模塊②
在spark源碼閱讀之storage模塊①中顿涣，描繪了Storage模塊的整體框架是標(biāo)準(zhǔn)的master-slave框架：master用來管理slave的元數(shù)據(jù)信息，slave則...
-
spark源碼閱讀之storage模塊①Storage模塊負(fù)責(zé)管理spark在計(jì)算過程中產(chǎn)生的數(shù)據(jù)酝豪，對(duì)用戶來說涛碑，spark的編程面向的是RDD這種抽象的邏輯數(shù)據(jù)集，對(duì)RDD的轉(zhuǎn)換和動(dòng)作完成對(duì)數(shù)據(jù)運(yùn)算邏輯的處理孵淘。而在...
-
spark源碼閱讀之shuffle模塊②
在spark源碼閱讀之shuffle模塊①中蒲障，介紹了spark版本shuffle的演化史，提到了主要的兩個(gè)shuffle策略：HashBasedShuffle和SortedB...
-
spark源碼閱讀之shuffle模塊①我們?cè)谥皊cheduler模塊的分析中了解到，DAGScheduler劃分stage的依據(jù)就是Shuffle Dependency背捌，那么Shuffle是一個(gè)怎么樣的過程呢毙籽？...
-
此簡(jiǎn)書用來發(fā)布Spark+AI的深夜學(xué)堂坑赡，每夜一更新！夜空中最亮的星：Spark么抗！
-
spark源碼閱讀之scheduler模塊②
在spark源碼閱讀之scheduler模塊①中毅否，分析了DAGScheduler如何提交Job，并且將Job劃分為stage提交給TaskScheduler蝇刀，最后調(diào)用了Tas...
-
頭條大數(shù)據(jù)實(shí)習(xí)面經(jīng)
時(shí)間：2019-2-22 3:30 pm 面試官：我是你的面試官螟加，感謝你參加面試。先做個(gè)自我介紹吧我：xxx面試官：說一下項(xiàng)目吧我：xxx面試官：你項(xiàng)目中用了Spark吞琐，是以...
-
Java中的collection類在Scala中的語法錯(cuò)誤問題
報(bào)錯(cuò)如下： error: value foreach is not a member of java.util.List[String][ERROR] for (co...
-
spark源碼閱讀之scheduler模塊①
本文基于Spark 1.6.3版本源碼 整體概述 spark的調(diào)度模塊可以說是非常有特色的模塊設(shè)計(jì)捆探，使用DAG（有向無環(huán)圖）刻畫spark任務(wù)的邏輯關(guān)系，將任務(wù)切分為多個(gè)st...
-
spark源碼閱讀之executor模塊③
本文基于Spark 1.6.3源碼站粟，采用一步一步深入的方式來展開閱讀徐许，本文是為了紀(jì)錄自己在閱讀源碼時(shí)候的思路，看完一遍真的很容易忘記卒蘸，寫一篇文章梳理一遍可以加深印象。 在sp...
