Kafka的基本概念 BrokerKafka集群中包含多個(gè)服務(wù)器，其中每個(gè)服務(wù)器稱(chēng)為一個(gè)broker。有一點(diǎn)需要注意一下施禾，添加一個(gè)新的broker到cluster中的時(shí)候拗胜，并...
發(fā)簡(jiǎn)信
IP屬地：浙江
-
2018-08-26
-
GBDT總結(jié)1.1 介紹 GBDT = Gradient Boosting + Decision TreeGradient Boosting = Gradient Descent + B...
-
Xgboost PPT解析監(jiān)督學(xué)習(xí)基本元素 模型 參數(shù) 目標(biāo)函數(shù) = 損失函數(shù)+正則化項(xiàng)：優(yōu)化損失函數(shù)為了擬合預(yù)測(cè)模型炒嘲，而正則項(xiàng)負(fù)責(zé)簡(jiǎn)化模型洒琢，提高模型的泛化能力Snipaste_2018-08-10_...
-
-
rpc系列3-支持異步調(diào)用空盼，提供future、callback的能力新荤。
支持異步調(diào)用揽趾，提供future、callback的能力苛骨。 在實(shí)現(xiàn)新功能之前篱瞎，先將RpcBuilder重構(gòu)下，職責(zé)分離： RpcConsumer：提供給客戶(hù)端操作接口 RpcP...
-
Java類(lèi)加載器
本文從類(lèi)七個(gè)階段更加high Level的角度去解析一下類(lèi)的加載過(guò)程痒芝。Java字節(jié)碼的表現(xiàn)形式是字節(jié)數(shù)組俐筋，而java類(lèi)在jvm中的表現(xiàn)是java.lang.Class對(duì)象。大...
-
JVM加載類(lèi)的時(shí)機(jī)與過(guò)程
類(lèi)的加載過(guò)程概況 類(lèi)從被加載到虛擬機(jī)內(nèi)存開(kāi)始严衬，直到卸載出內(nèi)存澄者，它的生命周期包含了：加載，驗(yàn)證请琳，準(zhǔn)備粱挡，解析，初始化俄精，使用和卸載7個(gè)階段询筏。 其中，加載竖慧，驗(yàn)證屈留，準(zhǔn)備，初始化和卸載五...
-
Spark 調(diào)優(yōu)
大家都知道spark的計(jì)算是基于內(nèi)存的测蘑，所以?xún)?nèi)存的合理使用對(duì)spark調(diào)優(yōu)至關(guān)重要灌危，其實(shí)大方向主要關(guān)注三個(gè)方面CPU，網(wǎng)絡(luò)帶寬碳胳，內(nèi)存勇蝙。下文主要覆蓋兩個(gè)方面，一個(gè)是網(wǎng)絡(luò)（數(shù)據(jù)序...
-
Spark Job調(diào)度
概況 spark提供了一些方案來(lái)調(diào)度資源挨约。首先味混，每個(gè)spark程序都在跑在若干個(gè)獨(dú)立的executor集群上的（其中executor是一個(gè)jvm來(lái)run task和store...
-
spark動(dòng)態(tài)資源分配起源 spark提供了一種根據(jù)負(fù)載動(dòng)態(tài)調(diào)整資源的的方式产雹，意味著你的程序可以將閑置的資源釋放和添加需要的資源。對(duì)多個(gè)程序共享一塊資源是非常有意義的翁锡。 配置 為了使動(dòng)態(tài)資源分配生...