本文基于hbase-1.3.0源碼 1. 前言 HBase coprocessor(協(xié)處理器)按照工作方式分為兩種:endpoint和obser...
1. antrun 簡(jiǎn)述 通過(guò)antrun插件可以在maven中運(yùn)行ant task, 具體參考antrun 2. 使用antrun 按照如下格...
1.前言 本文講述如何使用IDEA遠(yuǎn)程調(diào)試spark碌廓,這里所說(shuō)的調(diào)試spark包括: 調(diào)試spark應(yīng)用程序塞椎,也就是使用spark算子編寫(xiě)的dr...
1. 前言 本文主要講述一下我對(duì)spark任務(wù)調(diào)度過(guò)程的理解,必要的地方會(huì)配合源碼阀趴。 2 . Spark任務(wù)調(diào)度 2.1 基本概念 Job用戶提...
1. FutureTask FutureTask實(shí)現(xiàn)了Runnable和Future接口,它主要用于包裝真實(shí)callable或runnable的...
1. Zero Copy傳輸 一般情況下,將服務(wù)器上的文件傳輸?shù)娇蛻舳藭r(shí)捏萍,文件在服務(wù)端會(huì)經(jīng)歷如下copy過(guò)程:調(diào)用read方法從硬盤(pán)讀文件到內(nèi)核...
1.前言 HBase的數(shù)據(jù)最終是以HFile的形式存儲(chǔ)在HDFS中的,HBase中HFile有著自己的格式空闲。一次memstore的flush會(huì)產(chǎn)...
1. 前言 有時(shí)候需要按照key去做reduce操作時(shí)令杈,一般情況下調(diào)用reduceByKey就可以完成按照key reduce的任務(wù),redu...