發(fā)簡(jiǎn)信
IP屬地：湖北
-
[翻譯] 模式：服務(wù)網(wǎng)格?微服務(wù)?分布式系統(tǒng)?服務(wù)網(wǎng)?模式? 自從幾十年前分布式系統(tǒng)被首次提出骗露，我們了解到分布式系統(tǒng)能夠?qū)崿F(xiàn)在這之前我們甚至沒有想到過(guò)的用例吼蚁，但它們也會(huì)...
-
第6章 MapReduce應(yīng)用開發(fā)-MRUnit編寫
MRUnit是一個(gè)測(cè)試庫(kù)深啤，可以方便地測(cè)試Mapper與Reducer運(yùn)行邏輯是否符合預(yù)期. 1占卧、Mapper單元測(cè)試 如下為V1版本Mapper...
-
第6章 MapReduce應(yīng)用開發(fā)-管理配置
1瓣窄、多環(huán)境配置切換 開發(fā)時(shí)溢吻，如果需要經(jīng)常在本地運(yùn)行與集群運(yùn)行間切換乌庶，可以編寫多個(gè)hadoop配置文件从诲，每個(gè)文件包含每個(gè)環(huán)境的連接設(shè)置左痢，運(yùn)行時(shí)指定...
-
第6章 MapReduce應(yīng)用開發(fā)-Configuration詳解
1、API解讀 Resources 配置通過(guò)資源指定系洛，資源以XML形式包含一組name/value對(duì)俊性，每個(gè)資源通過(guò)String或Path指定，假...
-
第5章 Hadoop IO操作 學(xué)習(xí)筆記
5.1 數(shù)據(jù)完整性 系統(tǒng)中需要處理的數(shù)據(jù)量大到Hadoop處理極限時(shí)描扯，容易出現(xiàn)數(shù)據(jù)丟失或者損壞.措施：數(shù)據(jù)引入系統(tǒng)時(shí)計(jì)算校驗(yàn)和（checksum...
-
第3章 Hadoop分布式文件系統(tǒng) 學(xué)習(xí)筆記（二）3.6 數(shù)據(jù)流 3.6.1 剖析文件讀取 1定页、客戶端調(diào)用DistributedFileSystem.open方法以打開希望讀取的文件，Distr...
-
java.util.ServiceLoader加載服務(wù)實(shí)現(xiàn)類
1绽诚、ServiceLoader 簡(jiǎn)介 用于加載服務(wù)提供者典徊。 服務(wù)通常是一組接口或者抽象類，服務(wù)提供者是服務(wù)的特定實(shí)現(xiàn)恩够。服務(wù)提供者中的類通常實(shí)現(xiàn)了...
-
Java查詢HDFS文件系統(tǒng)
1卒落、文件元數(shù)據(jù) FileStatus 輸入如下： FileStatus封裝了目錄與文件的元數(shù)據(jù)信息，包括所有者蜂桶、塊大小儡毕、文件長(zhǎng)度、修改時(shí)間扑媚、副本...
-
Java讀寫Hadoop文件
1腰湾、從Hadoop URL讀取文件 示例一： URL.setURLStreamHandlerFactory(new FsUrlStreamHan...