還記得好幾年前，大概13或者14年，當(dāng)時不過是一個普通的工薪族之宿，雖然玩玩程序代碼，但是高不成低不就肴盏，沒有辦法燕鸽，作為程序媛闪彼，多少不會具備程序猿的那種對代碼符號的沖動婿滓。每日也就是...
發(fā)簡信
IP屬地：浙江
-
從程序猿到一名水彩畫手：我的畫畫工具篇 -
Spark的數(shù)據(jù)本地化和延遲調(diào)度策略
一.概述 Spark數(shù)據(jù)本地化即計(jì)算向數(shù)據(jù)移動老速，但數(shù)據(jù)塊所在的Executor不一定有足夠的的計(jì)算資源提供，為了讓task能盡可能的以最優(yōu)本地化級別（Locality Lev...
-
Apache Kylin 從零開始構(gòu)建Cube(含優(yōu)化策略)前言 Apache Kylin采用“預(yù)計(jì)算”的模式凸主，用戶只需要提前定義好查詢維度橘券，Kylin將幫助我們進(jìn)行計(jì)算，并將結(jié)果存儲到HBase中，為海量數(shù)據(jù)的查詢和分析提供亞秒級返...
-
Spark消息通信原理一.NettyRpcEnv主要組件 子組件TransportConf旁舰，Dispatcher锋华，TransportClientFactory，TransportServer Tr...
-
Spark中RangePartitioner的實(shí)現(xiàn)機(jī)制分析
一.分區(qū)器的區(qū)別 HashPartitioner分區(qū)可能HashPartitioner導(dǎo)致每個分區(qū)中數(shù)據(jù)量的不均勻鬓梅。 RangePartitioner分區(qū)盡量保證每個分區(qū)中數(shù)...
-
Spark任務(wù)輸出追蹤器MapOutputTracker詳解
一.什么是shuffle MapOutputTrancker用于跟蹤map任務(wù)的輸出狀態(tài)供置，此狀態(tài)便于reduce任務(wù)定位到map輸出結(jié)果所在的節(jié)點(diǎn)地址谨湘，進(jìn)而獲取中間輸出結(jié)果绽快，...
-
決策樹與隨機(jī)森林及其在SparkMllib中的使用一.概念 決策樹和隨機(jī)森林：決策樹和隨機(jī)森林都是非線性有監(jiān)督的分類模型。 決策樹是一種樹形結(jié)構(gòu)紧阔，樹內(nèi)部每個節(jié)點(diǎn)表示一個屬性上的測試坊罢，每個分支代表一個測試輸出，每個葉子節(jié)點(diǎn)代表...
-
Flink中指定Key的幾種方式
前言 在Flink中比如某些算子（join,coGroup,keyBy,groupBy）要求在數(shù)據(jù)元上定義key擅耽。另外有些算子操作活孩，例如reduce，groupReduce乖仇，...
