發(fā)簡(jiǎn)信
IP屬地：上海
-
餓了么元數(shù)據(jù)管理實(shí)踐之路
大數(shù)據(jù)挑戰(zhàn) 多種執(zhí)行骆莹、存儲(chǔ)引擎览徒，分鐘、小時(shí)贷币、天級(jí)的任務(wù)調(diào)度衬浑，怎樣梳理數(shù)據(jù)的時(shí)間線變化婆瓜？ 任務(wù)笑陈、表际度、列、指標(biāo)等數(shù)據(jù)涵妥，如何進(jìn)行檢索乖菱、復(fù)用、清理妹笆、熱度...
-
Dr.Elephant源碼分析--MapReduce
Job日志 mapred-site.xml配置任務(wù)執(zhí)行日志路徑(hdfs) 作業(yè)啟動(dòng)時(shí)块请，hadoop會(huì)將作業(yè)信息放在${yarn.app.map...
-
BroadcastManager--SparkEnv
Broadcast是分布式的數(shù)據(jù)共享娜氏，由BroadcastManager負(fù)責(zé)管理其創(chuàng)建或銷毀拳缠。Broadcast一般用于處理共享的配置文件、通用...
-
SerializerManager--SparkEnv
SparkEnv中有兩個(gè)序列化的組件贸弥，分別是SerializerManager和closureSerializer SerializerMana...
-
度量系統(tǒng)--MetricsSpark的度量系統(tǒng)有以下幾部分窟坐，也可以參照MetricsSystem類的注釋部分 Instance: 數(shù)據(jù)實(shí)例。Spark的Instance有...
-
事件總線--ListenerBusSpark中很多組件都是靠RPC绵疲、事件消息機(jī)制實(shí)現(xiàn)通信的哲鸳。前者解決遠(yuǎn)程通信問題，后者則是本地較為高效的通信方式 定義ListenerBus Sp...
-
徹底理解ThreadLocalThreadLocal的作用是提供一個(gè)線程的局部變量盔憨，比如context徙菠、session。是直接把某個(gè)對(duì)象在各自線程中實(shí)例化一份郁岩，每個(gè)線程都有屬...
-
用Optional取代null
創(chuàng)建Optional對(duì)象 Optional.empty()：聲明一個(gè)空Optional Optional.of()：依據(jù)一個(gè)非空值創(chuàng)建Optio...
-
Function婿奔、Predicate缺狠、Consumer、Supplier接口
這些接口都有一個(gè)@FunctionalInterface注解萍摊，表明這個(gè)接口將是一個(gè)函數(shù)式接口挤茄，里面只能有一個(gè)抽象方法 Function Func...