第十二周

Algorithm

并查集: java實現(xiàn)并查集,一種特殊的樹瓤荔,子節(jié)點指向父節(jié)點。rank優(yōu)化钥组、路徑優(yōu)化输硝。

github地址

Review

一、《為什么要學習 Apache Flink程梦?》

應用場景:

  • flink-kafka ETL 數(shù)據(jù)清洗点把。(構(gòu)建實時數(shù)倉橘荠,實時索引build)
  • 數(shù)據(jù)分析 (報表、大屏)
  • 數(shù)據(jù)觸發(fā)(觸發(fā)器郎逃,告警)

鏈接

二哥童、《有狀態(tài)流式處理引擎基石》

  • 狀態(tài)容錯

    • Flink如何保證精確一次如何保證?分布式快照 流程中安插checkpoint barrier,其中記錄source的position和流過的各個operator中的state褒翰。
  • 狀態(tài)維護

    • JVM Heap狀態(tài)后端 (on memery)
    • RocksDB狀態(tài)后端(on disk)
  • Event-time處理

    • 如何判定在某一個時間點數(shù)據(jù)都到齊了
  • 狀態(tài)的保存與遷移

鏈接

三贮懈、《DataStream API》

操作概覽.png
image.png
image.png

鏈接

Tips/Technology

一、JVM知識體系復習

參考資料:https://github.com/CyC2018/CS-Notes/blob/master/notes/Java%20%E8%99%9A%E6%8B%9F%E6%9C%BA.md

二优训、Flink教程(更新中)

本系列課程由 Apache Flink Community China 官方出品朵你。旨在為具備一定大數(shù)據(jù)基礎(chǔ)、對Apache Flink感興趣的同學提供系統(tǒng)性的入門教程揣非,課程路徑為“基礎(chǔ)篇>>進階篇>>運維篇>>實戰(zhàn)篇>>源碼篇”抡医。地址

三、分布式鎖

  • redis

現(xiàn)成實現(xiàn)框架:Redisson早敬,實現(xiàn)原理:

石衫大神的圖.png

其中l(wèi)ua腳本中有兩個判斷:第一個判斷當前key是否有空閑鎖和是否過期忌傻,第二個判斷客戶端id,如果相同則為重入鎖搞监,數(shù)據(jù)結(jié)構(gòu)后+1水孩。
如果加鎖成功則啟動watch dog后臺進程,沒十秒掃描一次琐驴,如果當前持鎖的客戶端還繼續(xù)持有鎖則繼續(xù)延長時間荷愕。

缺點:集群或者主從結(jié)構(gòu)在master宕機的時候,客戶A持有鎖棍矛。還沒同步過去就宕機了,此時客戶端B去加鎖就成功了抛杨,客戶端A也認為自己持有鎖够委。

  • zk

現(xiàn)成的實現(xiàn)框架 Curator

image.png

1.誰需要加鎖,誰就去zk上創(chuàng)建一個臨時順序節(jié)點
2.創(chuàng)建完成后怖现,判斷一下自己是不是最小的節(jié)點茁帽,如果是就拿鎖,不是就對上一個節(jié)點添加監(jiān)聽器
3.上一個節(jié)點結(jié)束自己就排到前面去了屈嗤,相當于一個排隊機制潘拨。
4.如果節(jié)點掛了,因為是臨時的zk會自動刪除節(jié)點饶号,完成釋放鎖的過程铁追。

Share

《什么是命》

最近這個時間一直感覺自己很迷茫∶4總有這樣一種感覺琅束,自己無論多么努力好像最后也就那么回事了扭屁,而開始慢悠悠的養(yǎng)老生活其實也不會差到哪里去,我相信很多中年人都會有這種體會涩禀,這就應該是命料滥。

如果一個人中了彩票或者家里拆遷了,我想這不是命好而運氣好艾船。運氣和命是不一樣的葵腹,世界上從不缺少有好運氣的人,并且每個人都會有走運和不走運的時候屿岂,但是命如果定了践宴,那些中獎的人就會在幾年內(nèi)把錢敗光,或者當一輩子守財奴一生也就那樣了雁社。運氣無非是在命運曲線上的微調(diào)而已浴井。

我個人是不信宿命論這一系列說法的。我認為命是由環(huán)境和性格決定的霉撵。環(huán)境很重要磺浙,生在現(xiàn)在肯定就比生在100年前要好。在同一個時代下徒坡,人的性格就是命運撕氧,因為它決定人看問題的角度和處理事情的方法。有的人保守喇完,有的人激進伦泥,有的人軟弱,有的人沖動.... 這些不同的性格會讓人在人生這條路上選擇不同的方向锦溪,選著選著命運的曲線就出來了不脯,而運氣不過是在這條曲線上的微調(diào)而已。我在和不同的人交流的時候刻诊,就能看到一個人未來的命運判斷他到底能不能成功防楷,不是我會算命,因為我感覺他做事的方式不會引導他向成功的方向前進则涯。

Research

JVM知識體系復習复局,多級JSON樹型結(jié)構(gòu),F(xiàn)link使用SQL語法解析粟判。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末亿昏,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子档礁,更是在濱河造成了極大的恐慌角钩,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,198評論 6 514
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異彤断,居然都是意外死亡野舶,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,334評論 3 398
  • 文/潘曉璐 我一進店門宰衙,熙熙樓的掌柜王于貴愁眉苦臉地迎上來平道,“玉大人,你說我怎么就攤上這事供炼∫晃荩” “怎么了?”我有些...
    開封第一講書人閱讀 167,643評論 0 360
  • 文/不壞的土叔 我叫張陵袋哼,是天一觀的道長冀墨。 經(jīng)常有香客問我,道長涛贯,這世上最難降的妖魔是什么诽嘉? 我笑而不...
    開封第一講書人閱讀 59,495評論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮弟翘,結(jié)果婚禮上虫腋,老公的妹妹穿的比我還像新娘。我一直安慰自己稀余,他們只是感情好悦冀,可當我...
    茶點故事閱讀 68,502評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著睛琳,像睡著了一般盒蟆。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上师骗,一...
    開封第一講書人閱讀 52,156評論 1 308
  • 那天历等,我揣著相機與錄音,去河邊找鬼辟癌。 笑死募闲,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的愿待。 我是一名探鬼主播,決...
    沈念sama閱讀 40,743評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼靴患,長吁一口氣:“原來是場噩夢啊……” “哼仍侥!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起鸳君,我...
    開封第一講書人閱讀 39,659評論 0 276
  • 序言:老撾萬榮一對情侶失蹤农渊,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后或颊,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體砸紊,經(jīng)...
    沈念sama閱讀 46,200評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡传于,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,282評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了醉顽。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片沼溜。...
    茶點故事閱讀 40,424評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖游添,靈堂內(nèi)的尸體忽然破棺而出系草,到底是詐尸還是另有隱情,我是刑警寧澤唆涝,帶...
    沈念sama閱讀 36,107評論 5 349
  • 正文 年R本政府宣布找都,位于F島的核電站,受9級特大地震影響廊酣,放射性物質(zhì)發(fā)生泄漏能耻。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,789評論 3 333
  • 文/蒙蒙 一亡驰、第九天 我趴在偏房一處隱蔽的房頂上張望晓猛。 院中可真熱鬧,春花似錦隐解、人聲如沸鞍帝。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,264評論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽帕涌。三九已至,卻和暖如春续徽,著一層夾襖步出監(jiān)牢的瞬間蚓曼,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,390評論 1 271
  • 我被黑心中介騙來泰國打工钦扭, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留纫版,地道東北人。 一個月前我還...
    沈念sama閱讀 48,798評論 3 376
  • 正文 我出身青樓客情,卻偏偏與公主長得像其弊,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子膀斋,可洞房花燭夜當晚...
    茶點故事閱讀 45,435評論 2 359

推薦閱讀更多精彩內(nèi)容