本文基于hbase-1.3.0源碼 1. 前言 HBase coprocessor(協(xié)處理器)按照工作方式分為兩種：endpoint和observer诗轻。 endpoint類似...
發(fā)簡(jiǎn)信
IP屬地：河南
-
HBase學(xué)習(xí) - Coprocessor
-
maven插件(5) - antrun
1. antrun 簡(jiǎn)述 通過antrun插件可以在maven中運(yùn)行ant task园匹， 具體參考antrun 2. 使用antrun 按照如下格式使用antrun 2.1 一...
-
Spark學(xué)習(xí)、項(xiàng)目使用相關(guān)叛买。
-
IDEA遠(yuǎn)程調(diào)試Spark1.前言 本文講述如何使用IDEA遠(yuǎn)程調(diào)試spark棠涮，這里所說的調(diào)試spark包括： 調(diào)試spark應(yīng)用程序谬哀，也就是使用spark算子編寫的driver applicatio...
-
Spark任務(wù)提交過程1. 前言 本文主要講述一下我對(duì)spark任務(wù)調(diào)度過程的理解，必要的地方會(huì)配合源碼严肪。 2 . Spark任務(wù)調(diào)度 2.1 基本概念 Job用戶提交的spark應(yīng)用程序中任何一...
-
-
JDK并發(fā)包 - FutureTask1. FutureTask FutureTask實(shí)現(xiàn)了Runnable和Future接口史煎，它主要用于包裝真實(shí)callable或runnable的task，其run方法內(nèi)運(yùn)行包...
-
Netty 使用Zero Copy傳輸文件
1. Zero Copy傳輸 一般情況下驳糯，將服務(wù)器上的文件傳輸?shù)娇蛻舳藭r(shí)篇梭，文件在服務(wù)端會(huì)經(jīng)歷如下copy過程：調(diào)用read方法從硬盤讀文件到內(nèi)核空間，從內(nèi)核空間讀到用戶內(nèi)存空...
-
HBase學(xué)習(xí) - HFile格式 以及 HFile的讀寫1.前言 HBase的數(shù)據(jù)最終是以HFile的形式存儲(chǔ)在HDFS中的酝枢，HBase中HFile有著自己的格式恬偷。一次memstore的flush會(huì)產(chǎn)生一個(gè)HFile，一次Comp...
-
spark如何只在map端做完成reduce的工作
1. 前言 有時(shí)候需要按照key去做reduce操作時(shí)帘睦，一般情況下調(diào)用reduceByKey就可以完成按照key reduce的任務(wù)袍患，reduceByKey的調(diào)用就必然意味...
-
maven插件(4) - 項(xiàng)目打包插件
1. maven-assembly-plugin 參考maven-assembly-plugin, maven-assembly-plugin這個(gè)插件可用來打可發(fā)布可獨(dú)立運(yùn)行...
-
maven插件(3) - scala插件scala-maven-plugin
1. scala-maven-plugin 這個(gè)插件是用來讓maven能夠編譯、測(cè)試竣付、運(yùn)行scala項(xiàng)目的诡延，使用文檔參考scala-maven-plugin 1. 1使用插件...
-
maven插件(2) - spring boot 插件
1. Spring Boot Maven 插件 Spring Boot的maven插件能夠以maven命令行的方式提供對(duì)spring boot 應(yīng)用打包和運(yùn)行的支持。 使用s...
-
maven插件(1) - 使用插件
1. 前言 Maven is - at its heart - a plugin execution framework; all work is done by plugi...
-
Spark Sql 之 cacheTable
1. 前言 spark sql中使用DataFrame/DataSet來抽象表示結(jié)構(gòu)化數(shù)據(jù)（關(guān)系數(shù)據(jù)庫中的table）古胆，DataSet上支持和RDD類似的操作肆良，和RDD上的操...
-
Spark內(nèi)存管理1. 存儲(chǔ)總體結(jié)構(gòu) Spark存儲(chǔ)結(jié)構(gòu)分為兩層：內(nèi)存存儲(chǔ)和磁盤存儲(chǔ)筛璧，其中內(nèi)存主要用作緩存以及任務(wù)計(jì)算時(shí)期數(shù)據(jù)存儲(chǔ)，磁盤用在內(nèi)存存儲(chǔ)不足時(shí)使用惹恃。Executor和Driver都...
-
JUC之AbstractQueuedSynchronizer
1. 前言 AbstractQueuedSynchronizer(AQS)基于FIFO等待隊(duì)列以及CAS操作實(shí)現(xiàn)了基礎(chǔ)了同步框架夭谤，JUC中包括ReentrantLock，Re...
-
Logback - SiftingAppender1. 作用 Logback將寫日志事件的任務(wù)委托給appender組件完成巫糙，SiftingAppender顧名思義就是篩選日志事件朗儒，具體點(diǎn)就是： 對(duì)于Logback委托給它的...
