對于經(jīng)常使用 Spark 的人來說境肾，如何設(shè)置 driver 或 executor 的內(nèi)存大小，如何盡量減少 GC 相信不會陌生胆屿。要做好這兩點奥喻，除了 Spark 知識的掌握外，...
發(fā)簡信
IP屬地：北京
-
JVM GC 那些事（一）- JVM 運行時內(nèi)存劃分 -
【實戰(zhàn)篇】如何優(yōu)雅的停止你的 Spark Streaming Application
Spark 1.3及其前的版本 你的一個 spark streaming application 已經(jīng)好好運行了一段時間了环鲤，這個時候你因為某種原因要停止它。你應(yīng)該怎么做彻秆？直接...
-
【容錯篇】Spark Streaming的還原藥水——Checkpoint一個 Streaming Application 往往需要7*24不間斷的跑，所以需要有抵御意外的能力（比如機器或者系統(tǒng)掛掉唇兑，JVM crash等）。為了讓這成為可能桦锄，Spa...
-
Intellij IDEA 一些不為人知的技巧螞蟻金服招聘中間件開發(fā)工程師/技術(shù)專家，歡迎大家的簡歷哦：khotyn.huangt@alibaba-inc.com 今天又聽了 Jetbrains 首席布道師 Hadi 的...
-
Mac上有哪些冷門但卻逆天的軟件结耀？說逆天似乎有些標(biāo)題黨了匙铡，但確實Mac上有很多小眾但卻讓人無法自拔的工具，自己平時用的多碍粥，整理了一些鳖眼，希望有幫助:) 這次只分四部分：閱讀類、工具類嚼摩、圖片類钦讳、筆記類。 還是和以...
-
『 Spark 』5. 這些年愿卒，你不能錯過的 spark 學(xué)習(xí)資源
原文鏈接：『 Spark 』5. 這些年，你不能錯過的 spark 學(xué)習(xí)資源 寫在前面 本系列是綜合了自己在學(xué)習(xí)spark過程中的理解記錄 ＋ 對參考文章中的一些理解 ＋ 個...
-
9. Spark Streaming技術(shù)內(nèi)幕 : Receiver的精妙實現(xiàn)和生命周期研究和思考原創(chuàng)文章琼开，轉(zhuǎn)載請注明:轉(zhuǎn)載自聽風(fēng)居士博客(http://www.reibang.com/users/4435a13863fb/timeline) Spark streamin...
-
spark streaming應(yīng)用一個越跑越慢的bug題記： 這是我的第一篇技術(shù)博文，寫得不好請多提意見枕荞。然后柜候，感謝張志斌老師躏精，畢業(yè)之前張老師幫助我解一些“神奇的bug”渣刷，現(xiàn)在畢業(yè)一個月，我終于自己開始解自己認為“神奇的bug”...
