發(fā)簡信
IP屬地：浙江
-
2018-08-26
Kafka的基本概念 BrokerKafka集群中包含多個(gè)服務(wù)器卖擅，其中每個(gè)服務(wù)器稱為一個(gè)broker蹋岩。有一點(diǎn)需要注意一下丝里，添加一個(gè)新的broke...
-
GBDT總結(jié)1.1 介紹 GBDT = Gradient Boosting + Decision TreeGradient Boosting = Gradi...
-
Xgboost PPT解析監(jiān)督學(xué)習(xí)基本元素 模型 參數(shù) 目標(biāo)函數(shù) = 損失函數(shù)+正則化項(xiàng)：優(yōu)化損失函數(shù)為了擬合預(yù)測模型挽拔，而正則項(xiàng)負(fù)責(zé)簡化模型，提高模型的泛化能力Snipa...
-
CAP理論CAP分布式理論 2002年CAP理論正式成為分布式計(jì)算領(lǐng)域的公認(rèn)定理 CAP指一致性（Consisitency）癣防，可用性（Avaliabili...
-
Java類加載器
本文從類七個(gè)階段更加high Level的角度去解析一下類的加載過程绍豁。Java字節(jié)碼的表現(xiàn)形式是字節(jié)數(shù)組，而java類在jvm中的表現(xiàn)是java...
-
JVM加載類的時(shí)機(jī)與過程
類的加載過程概況 類從被加載到虛擬機(jī)內(nèi)存開始驶悟，直到卸載出內(nèi)存胡野，它的生命周期包含了：加載，驗(yàn)證痕鳍，準(zhǔn)備硫豆，解析，初始化笼呆，使用和卸載7個(gè)階段熊响。 其中，加...
-
Spark 調(diào)優(yōu)
大家都知道spark的計(jì)算是基于內(nèi)存的诗赌，所以內(nèi)存的合理使用對(duì)spark調(diào)優(yōu)至關(guān)重要汗茄，其實(shí)大方向主要關(guān)注三個(gè)方面CPU，網(wǎng)絡(luò)帶寬铭若，內(nèi)存洪碳。下文主要覆...
-
Spark Job調(diào)度
概況 spark提供了一些方案來調(diào)度資源。首先叼屠，每個(gè)spark程序都在跑在若干個(gè)獨(dú)立的executor集群上的（其中executor是一個(gè)jvm...
-
spark動(dòng)態(tài)資源分配起源 spark提供了一種根據(jù)負(fù)載動(dòng)態(tài)調(diào)整資源的的方式瞳腌，意味著你的程序可以將閑置的資源釋放和添加需要的資源。對(duì)多個(gè)程序共享一塊資源是非常有意義的...