在進(jìn)行Spark開(kāi)發(fā)算法時(shí)粗卜，最有用的一個(gè)函數(shù)就是reduceByKey。 reduceByKey的作用對(duì)像是(key, value)形式的rdd篱蝇，而reduce有減少贝椿、壓縮之...
發(fā)簡(jiǎn)信
IP屬地：上海
-
reduceByKey應(yīng)用舉例 -
GUAVA STOPWATCH源碼解析
問(wèn)題 一直在使用如下代碼進(jìn)行程序耗時(shí)計(jì)算和性能調(diào)試纤虽，但是對(duì)其返回值代表的具體意義卻不甚了解狐血。 查看源碼發(fā)現(xiàn)其代碼并不復(fù)雜脖镀，下面就對(duì)其源碼進(jìn)行剖析和解釋饲做。 源碼剖析 通過(guò)對(duì)el...
-
數(shù)據(jù)埋點(diǎn)一二
互聯(lián)網(wǎng)經(jīng)歷了野蠻時(shí)期线婚，用戶數(shù)量激增，用戶需求更趨多元盆均，當(dāng)用戶基數(shù)足夠龐大(億萬(wàn)級(jí))時(shí)塞弊，對(duì)于用戶行為數(shù)據(jù)的分析從而獲取用戶本身驅(qū)動(dòng)的隱藏需求愈發(fā)重要。而如何獲取這一部分隱藏需求...
-
debug了很久，發(fā)現(xiàn)了Hystrix的兩個(gè)bug最近基于Hystrix源碼添加一些花邊功能游沿，比如數(shù)據(jù)埋點(diǎn)饰抒、參數(shù)動(dòng)態(tài)配置等，交付給業(yè)務(wù)之后诀黍，經(jīng)過(guò)一系列的壓測(cè)之后袋坑，發(fā)現(xiàn)了各種問(wèn)題。 1眯勾、埋點(diǎn)數(shù)據(jù)有問(wèn)題2枣宫、熔斷一直不恢復(fù) 先來(lái)看...
-
深入理解JVM（4） : Java垃圾收集 （GC）Java與C++之間有一堵由內(nèi)存動(dòng)態(tài)分配和垃圾收集技術(shù)所圍成的“高墻”，墻外面的人想進(jìn)去吃环，墻里面的人卻想出來(lái)也颤。 對(duì)于垃圾收集（Gabage Collection，GC）, 我...
-
深入理解JVM（1） : Java內(nèi)存區(qū)域劃分Java與C++之間有一堵由內(nèi)存動(dòng)態(tài)分配和垃圾收集技術(shù)所圍成的“高墻”郁轻，墻外面的人想進(jìn)去翅娶，墻里面的人卻想出來(lái)。 Java虛擬機(jī)在執(zhí)行Java程序的過(guò)程中會(huì)把它管理的內(nèi)存劃分為...
-
《設(shè)計(jì)模式之禪》讀書(shū)筆記-2.6-代理模式
2.6 代理模式 代理的原理可先參看此文章：Java基礎(chǔ)-001-枚舉好唯、反射竭沫、類加載器、內(nèi)省渠啊、注解、泛型权旷、代理 定義： Proxy Pattern替蛉，也叫委托模式Provide...
