背景 在調(diào)度系統(tǒng)中存在很多定時執(zhí)行的任務(wù)解恰，這些任務(wù)有不同的執(zhí)行周期霉撵，比如有每分鐘、每小時帘撰、每天執(zhí)行一次的跑慕，也有可能是半天執(zhí)行一次的，且這些任務(wù)之間需要建立依賴關(guān)系骡和，組成一個數(shù)...
發(fā)簡信
IP屬地：上海
-
調(diào)度系統(tǒng)中不同周期任務(wù)依賴的方法（1）
-
clickhouse + chproxy 集群搭建集群規(guī)劃 集群架構(gòu) 其中 Distribute 是指創(chuàng)建分布式表的機器慰于，在此文章中是將 Distribute 單獨部署的钮科，也可以將 Distribute 角色劃分到每個 Re...
-
@FinalFantasyXX 哈哈 被apache喂胖了 思路是這樣 可以自己試著實現(xiàn)
餓了么元數(shù)據(jù)管理實踐之路
大數(shù)據(jù)挑戰(zhàn) 多種執(zhí)行、存儲引擎婆赠，分鐘绵脯、小時、天級的任務(wù)調(diào)度休里，怎樣梳理數(shù)據(jù)的時間線變化蛆挫？ 任務(wù)、表妙黍、列悴侵、指標等數(shù)據(jù)，如何進行檢索拭嫁、復(fù)用可免、清理抓于、熱度Top計算？ 怎樣對表浇借、列捉撮、指...
-
Apache Flink源碼解析 （五）DataStream API概述 這篇文章是但不僅僅是官方文檔的中文翻譯，還有里面每一個方法對應(yīng)的Transformation和運行時對Task的影響妇垢。 Prerequisites 關(guān)于算子想說的有很多...
-
餓了么元數(shù)據(jù)管理實踐之路
大數(shù)據(jù)挑戰(zhàn) 多種執(zhí)行巾遭、存儲引擎，分鐘闯估、小時灼舍、天級的任務(wù)調(diào)度，怎樣梳理數(shù)據(jù)的時間線變化睬愤？ 任務(wù)片仿、表、列尤辱、指標等數(shù)據(jù)砂豌，如何進行檢索、復(fù)用光督、清理阳距、熱度Top計算？ 怎樣對表结借、列筐摘、指...
-
Dr.Elephant源碼分析--MapReduce
Job日志 mapred-site.xml配置任務(wù)執(zhí)行日志路徑(hdfs) 作業(yè)啟動時，hadoop會將作業(yè)信息放在${yarn.app.mapreduce.am.stagi...
-
加油
BroadcastManager--SparkEnv
Broadcast是分布式的數(shù)據(jù)共享船老，由BroadcastManager負責(zé)管理其創(chuàng)建或銷毀咖熟。Broadcast一般用于處理共享的配置文件、通用Dataset柳畔、常用數(shù)據(jù)結(jié)構(gòu) ...
-
BroadcastManager--SparkEnv
Broadcast是分布式的數(shù)據(jù)共享馍管，由BroadcastManager負責(zé)管理其創(chuàng)建或銷毀。Broadcast一般用于處理共享的配置文件薪韩、通用Dataset确沸、常用數(shù)據(jù)結(jié)構(gòu) ...
-
SerializerManager--SparkEnv
SparkEnv中有兩個序列化的組件，分別是SerializerManager和closureSerializer SerializerManager集成序列化俘陷、壓縮罗捎、加密的...
-
度量系統(tǒng)--MetricsSpark的度量系統(tǒng)有以下幾部分，也可以參照MetricsSystem類的注釋部分 Instance: 數(shù)據(jù)實例拉盾。Spark的Instance有Master桨菜、Worker、A...
-
事件總線--ListenerBusSpark中很多組件都是靠RPC捉偏、事件消息機制實現(xiàn)通信的雷激。前者解決遠程通信問題替蔬，后者則是本地較為高效的通信方式 定義ListenerBus Spark定義了一個trait的L...
-
徹底理解ThreadLocalThreadLocal的作用是提供一個線程的局部變量告私，比如context屎暇、session。是直接把某個對象在各自線程中實例化一份驻粟，每個線程都有屬于自己的該對象根悼。ThreadL...
-
用Optional取代null
創(chuàng)建Optional對象 Optional.empty()：聲明一個空Optional Optional.of()：依據(jù)一個非空值創(chuàng)建Optional Optional.of...
-
Function、Predicate蜀撑、Consumer挤巡、Supplier接口
這些接口都有一個@FunctionalInterface注解，表明這個接口將是一個函數(shù)式接口酷麦，里面只能有一個抽象方法 Function Function<T, R> => R...
-
-
如果你是程序員会喝，或者有一顆喜歡寫程序的心陡叠，喜歡分享技術(shù)干貨玩郊、項目經(jīng)驗、程序員日常囧事等等枉阵，歡迎投稿《程序員》專題译红。 專題主編：小彤花園 http://www.reibang.com/users/4a4eb4feee62/ 【程序員】專題拒稿指北：http://www.reibang.com/p/7c8b33b5f63b 投稿須知： 1.收錄相關(guān)技術(shù)文章，但不限于技術(shù)兴溜，也可以是項目經(jīng)驗類的文章和程序員日常侦厚。 2.文章內(nèi)不得有任何推廣信息。包括但不限于公眾號拙徽、微博刨沦、微信，更不得在通過投稿后再修改文章加入推廣信息膘怕。你可以將這些推廣以及個人信息放在個人主頁介紹里想诅。 3.字數(shù)極少，段落混亂岛心，大段代碼沒有放到代碼框的文章不收錄 4.不相關(guān)的內(nèi)容不收錄来破，請確認文章內(nèi)容和本專題相關(guān) 目前針對優(yōu)質(zhì)作者及愛好者，開設(shè)了官方程序員微信群鹉梨，希望加入請發(fā)簡信給主編小彤花園索取個人微信讳癌，主編會將你加入到【程序員】微信群，分享內(nèi)容存皂，收獲知識晌坤。添加微信時備注昵稱。
-
每個人都是生活家? 1.生活家收錄范圍：美食、美妝護膚疤孕、穿搭商乎、手工手賬、旅行攻略祭阀、購物指南以及測評鹉戚、寵物植物、育兒指南专控、家裝指南抹凳、運動健身（非專業(yè)）、健康養(yǎng)生伦腐、及其他貼近生活的興趣愛好 所有讓生活變得更好的技能和經(jīng)驗赢底，（比如教你p照片，記錄瘦身過程等）純粹生活感悟不收 ? 2.內(nèi)容原創(chuàng)、鼓勵從生活中的自身經(jīng)驗發(fā)掘生活的美好與樂趣幸冻，鼓勵圖文并茂粹庞。? 3. 文內(nèi)不得出現(xiàn)個人推廣性質(zhì)的額外鏈接，例如微信號洽损，微博庞溜。更不得在通過投稿后再修改文章加入推廣信息。? 專題主編：? 迷蝴莊生 http://www.reibang.com/u/257421ea813e 簡書生活家微信群已建立趁啸，加入請?zhí)砑佑袗鄣纳罴倚≈治⑿臜edy3680（歡姐）强缘，拉入群。添加請備注“我愛生活家”不傅。 關(guān)注簡書官方微信公眾號（jianshuio），及時閱讀簡書熱門好文赏胚。?
