IP屬地：廣西
-
Spark 內(nèi)存管理Spark是基于內(nèi)存的計算引擎追驴，就是說它高效的使用了分布式節(jié)點上的內(nèi)存資源，盡可能多的使用內(nèi)存从撼，而不是將數(shù)據(jù)寫入磁盤。內(nèi)存管理機制就是其中的核心...
-
HBase最近看了Bigtable的論文钧栖，所以結(jié)合著看了HBase的實現(xiàn) HBase是一個開源的低零，分布式，版本化的非關(guān)系型數(shù)據(jù)庫拯杠，模仿Google Big...
-
Java 火焰圖火焰圖是進(jìn)行性能分析的工具掏婶，可以通過Flame Graph獲取指定程序的火焰圖，目前IDEA也增添了火焰圖功能潭陪，叫做CPU Profiler F...
-
Spark ShutdownHook
按照優(yōu)先級在關(guān)閉時執(zhí)行一系列操作雄妥，在spark內(nèi)用途很廣泛最蕾，主要是釋放資源，刪除文件等 使用 ShutdownHookManager Shutd...
-
Docker 概念Docker是基于容器的應(yīng)用開發(fā)老厌，部署和運行平臺 高性能：相比傳統(tǒng)虛擬機瘟则，不需要hepervisor的額外負(fù)載，而是直接在主機內(nèi)核中運行枝秤，可以在...
-
Java CPU親和性
最近在項目中碰到整個進(jìn)程的CPU占用率極低醋拧，分析了很久，才排查到是CPU親和性相關(guān)的問題宿百，因為在項目啟動配置過程中趁仙，調(diào)用了一個FPGA的初始化操...
-
Unsafe類詳解
Unsafe類是進(jìn)行底層操作的方法集合，可以直接操作內(nèi)存垦页，進(jìn)行一些非常規(guī)操作雀费，所以說是"不安全"的操作，但是因為直接操作內(nèi)存痊焊，它的效率很高盏袄，通常...
-
Spark RPC 通信機制
相關(guān)概念 主要涉及RpcEnv，RpcEndpoint薄啥，RpcEndpointRef辕羽，其中RpcEnv是通信的基礎(chǔ)，每個通信節(jié)點上都需要實現(xiàn)該類...
-
Spark SortShuffleWriter
這是三種ShuffleWriter中最通用的情況垄惧，對應(yīng)BaseShuffleHandle刁愿，此時可以在map端進(jìn)行數(shù)據(jù)合并，否則不向排序工具Ext...