IP屬地：廣東
-
Spark 內(nèi)存管理Spark是基于內(nèi)存的計算引擎况芒，就是說它高效的使用了分布式節(jié)點(diǎn)上的內(nèi)存資源，盡可能多的使用內(nèi)存，而不是將數(shù)據(jù)寫入磁盤颈将。內(nèi)存管理機(jī)制就是其中的核心...
-
HBase最近看了Bigtable的論文，所以結(jié)合著看了HBase的實(shí)現(xiàn) HBase是一個開源的，分布式，版本化的非關(guān)系型數(shù)據(jù)庫湃缎，模仿Google Big...
-
Java 火焰圖火焰圖是進(jìn)行性能分析的工具，可以通過Flame Graph獲取指定程序的火焰圖蠢壹，目前IDEA也增添了火焰圖功能嗓违，叫做CPU Profiler F...
-
Spark ShutdownHook
按照優(yōu)先級在關(guān)閉時執(zhí)行一系列操作，在spark內(nèi)用途很廣泛图贸，主要是釋放資源蹂季，刪除文件等 使用 ShutdownHookManager Shutd...
-
Docker 概念Docker是基于容器的應(yīng)用開發(fā)冕广，部署和運(yùn)行平臺 高性能：相比傳統(tǒng)虛擬機(jī)，不需要hepervisor的額外負(fù)載乏盐，而是直接在主機(jī)內(nèi)核中運(yùn)行佳窑，可以在...
-
Java CPU親和性
最近在項(xiàng)目中碰到整個進(jìn)程的CPU占用率極低，分析了很久父能，才排查到是CPU親和性相關(guān)的問題，因?yàn)樵陧?xiàng)目啟動配置過程中净神，調(diào)用了一個FPGA的初始化操...
-
Unsafe類詳解
Unsafe類是進(jìn)行底層操作的方法集合何吝，可以直接操作內(nèi)存，進(jìn)行一些非常規(guī)操作鹃唯，所以說是"不安全"的操作爱榕，但是因?yàn)橹苯硬僮鲀?nèi)存，它的效率很高坡慌，通常...
-
Spark RPC 通信機(jī)制
相關(guān)概念 主要涉及RpcEnv黔酥，RpcEndpoint，RpcEndpointRef洪橘，其中RpcEnv是通信的基礎(chǔ)跪者，每個通信節(jié)點(diǎn)上都需要實(shí)現(xiàn)該類...
-
Spark SortShuffleWriter
這是三種ShuffleWriter中最通用的情況，對應(yīng)BaseShuffleHandle熄求，此時可以在map端進(jìn)行數(shù)據(jù)合并渣玲，否則不向排序工具Ext...