發(fā)簡信
IP屬地：上海
-
餓了么元數(shù)據(jù)管理實踐之路
大數(shù)據(jù)挑戰(zhàn) 多種執(zhí)行、存儲引擎蠢护，分鐘、小時少梁、天級的任務調(diào)度擎值，怎樣梳理數(shù)據(jù)的時間線變化骑素？ 任務劲蜻、表陆淀、列、指標等數(shù)據(jù)先嬉，如何進行檢索、復用楚堤、清理疫蔓、熱度...
-
Dr.Elephant源碼分析--MapReduce
Job日志 mapred-site.xml配置任務執(zhí)行日志路徑(hdfs) 作業(yè)啟動時，hadoop會將作業(yè)信息放在${yarn.app.map...
-
BroadcastManager--SparkEnv
Broadcast是分布式的數(shù)據(jù)共享身冬，由BroadcastManager負責管理其創(chuàng)建或銷毀衅胀。Broadcast一般用于處理共享的配置文件、通用...
-
SerializerManager--SparkEnv
SparkEnv中有兩個序列化的組件酥筝，分別是SerializerManager和closureSerializer SerializerMana...
-
度量系統(tǒng)--MetricsSpark的度量系統(tǒng)有以下幾部分滚躯，也可以參照MetricsSystem類的注釋部分 Instance: 數(shù)據(jù)實例。Spark的Instance有...
-
事件總線--ListenerBusSpark中很多組件都是靠RPC嘿歌、事件消息機制實現(xiàn)通信的掸掏。前者解決遠程通信問題，后者則是本地較為高效的通信方式 定義ListenerBus Sp...
-
徹底理解ThreadLocalThreadLocal的作用是提供一個線程的局部變量宙帝，比如context丧凤、session。是直接把某個對象在各自線程中實例化一份步脓，每個線程都有屬...
-
用Optional取代null
創(chuàng)建Optional對象 Optional.empty()：聲明一個空Optional Optional.of()：依據(jù)一個非空值創(chuàng)建Optio...
-
Function愿待、Predicate浩螺、Consumer、Supplier接口
這些接口都有一個@FunctionalInterface注解仍侥，表明這個接口將是一個函數(shù)式接口要出，里面只能有一個抽象方法 Function Func...