?微服務(wù)?分布式系統(tǒng)?服務(wù)網(wǎng)?模式? 自從幾十年前分布式系統(tǒng)被首次提出韭畸，我們了解到分布式系統(tǒng)能夠?qū)崿F(xiàn)在這之前我們甚至沒(méi)有想到過(guò)的用例，但它們也會(huì)引入各種新問(wèn)題名党。當(dāng)這些系統(tǒng)很少...
發(fā)簡(jiǎn)信
IP屬地：山西
-
[翻譯] 模式：服務(wù)網(wǎng)格 -
第6章 MapReduce應(yīng)用開(kāi)發(fā)-MRUnit編寫(xiě)
MRUnit是一個(gè)測(cè)試庫(kù)，可以方便地測(cè)試Mapper與Reducer運(yùn)行邏輯是否符合預(yù)期. 1牵现、Mapper單元測(cè)試 如下為V1版本Mapper: 根據(jù)withOutput調(diào)...
-
第6章 MapReduce應(yīng)用開(kāi)發(fā)-管理配置
1橱野、多環(huán)境配置切換 開(kāi)發(fā)時(shí)，如果需要經(jīng)常在本地運(yùn)行與集群運(yùn)行間切換沧侥，可以編寫(xiě)多個(gè)hadoop配置文件可霎，每個(gè)文件包含每個(gè)環(huán)境的連接設(shè)置，運(yùn)行時(shí)指定使用哪一個(gè)配置文件宴杀，可以把這些...
-
第6章 MapReduce應(yīng)用開(kāi)發(fā)-Configuration詳解
1癣朗、API解讀 Resources 配置通過(guò)資源指定，資源以XML形式包含一組name/value對(duì)旺罢，每個(gè)資源通過(guò)String或Path指定旷余，假如使用String指定資源，將...
-
第5章 Hadoop IO操作 學(xué)習(xí)筆記
5.1 數(shù)據(jù)完整性 系統(tǒng)中需要處理的數(shù)據(jù)量大到Hadoop處理極限時(shí)扁达，容易出現(xiàn)數(shù)據(jù)丟失或者損壞.措施：數(shù)據(jù)引入系統(tǒng)時(shí)計(jì)算校驗(yàn)和（checksum）正卧，當(dāng)數(shù)據(jù)通過(guò)不可信通道傳輸時(shí)...
-
第3章 Hadoop分布式文件系統(tǒng) 學(xué)習(xí)筆記（二）3.6 數(shù)據(jù)流 3.6.1 剖析文件讀取 1、客戶(hù)端調(diào)用DistributedFileSystem.open方法以打開(kāi)希望讀取的文件罩驻，DistributedFileSyste...
-
java.util.ServiceLoader加載服務(wù)實(shí)現(xiàn)類(lèi)
1穗酥、ServiceLoader 簡(jiǎn)介 用于加載服務(wù)提供者。 服務(wù)通常是一組接口或者抽象類(lèi)惠遏，服務(wù)提供者是服務(wù)的特定實(shí)現(xiàn)砾跃。服務(wù)提供者中的類(lèi)通常實(shí)現(xiàn)了接口，并子類(lèi)化了在服務(wù)接口中定...
-
Java查詢(xún)HDFS文件系統(tǒng)
1节吮、文件元數(shù)據(jù) FileStatus 輸入如下： FileStatus封裝了目錄與文件的元數(shù)據(jù)信息抽高，包括所有者、塊大小透绩、文件長(zhǎng)度翘骂、修改時(shí)間壁熄、副本數(shù)、權(quán)限等信息 2碳竟、列出文件 ...
-
Java讀寫(xiě)Hadoop文件
1草丧、從Hadoop URL讀取文件 示例一： URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory())使...
-
第3章 Hadoop分布式文件系統(tǒng) 學(xué)習(xí)筆記（一）分布式文件系統(tǒng)：管理網(wǎng)絡(luò)中跨多臺(tái)計(jì)算機(jī)存儲(chǔ)的文件系統(tǒng)，能容忍節(jié)點(diǎn)故障 3.1 HDFS的設(shè)計(jì) HDFS以流式數(shù)據(jù)訪(fǎng)問(wèn)模式來(lái)存儲(chǔ)超大文件莹桅，運(yùn)行于商用硬件集群昌执。 超大文件 MB級(jí)...
-
第2章 關(guān)于MapReduce 學(xué)習(xí)筆記2.1 使用Hadoop分析數(shù)據(jù) 2.1.1 map和reduce MapReduce包含map和reduce兩個(gè)階段，每階段輸入輸出都為key-value 以下示例為計(jì)算每...
-
第1章 初始hadoop 學(xué)習(xí)筆記
1.1 數(shù)據(jù) 1诈泼、數(shù)據(jù)快速增長(zhǎng)： 1）個(gè)人產(chǎn)生的數(shù)據(jù)日益增長(zhǎng)懂拾，包括電話(huà)、郵件铐达、文件岖赋、音頻、視頻2）物聯(lián)網(wǎng)數(shù)據(jù)瓮孙，包括機(jī)器日志唐断、GPS、零售交易數(shù)據(jù)衷畦、傳感器栗涂、RFID讀卡器 不同...
-
第1章 初識(shí)Kafka數(shù)據(jù)對(duì)于企業(yè)發(fā)展變得越來(lái)越重要，為業(yè)務(wù)決策提供依據(jù)祈争，企業(yè)應(yīng)用產(chǎn)生各種數(shù)據(jù)斤程，包括系統(tǒng)運(yùn)行日志、度量指標(biāo)菩混、響應(yīng)消息忿墅、用戶(hù)活動(dòng)記錄等，數(shù)據(jù)源多種多樣沮峡，集成多種數(shù)據(jù)源疚脐，并且把數(shù)據(jù)快速...
-
Druid快速入門(mén)硬件及軟件要求: Java 8 or higherLinux, Mac OS X, or other Unix-like OS (Windows is not support...
-
Apache HBase ? 參考指南
Getting Started 1. Introduction Quickstart 將先介紹如何部署單HBase實(shí)例至單節(jié)點(diǎn)上。 2. Quick Start - Stan...
-
Google API Design Guide
標(biāo)簽（空格分隔）： google restful api design 當(dāng)前版本的API設(shè)計(jì)指南發(fā)布時(shí)間：2017-02-21 介紹 這是一份關(guān)于網(wǎng)絡(luò)API如何設(shè)計(jì)的通用指南...
-
[翻譯] 漸變維度Slowly Changing Dimension
數(shù)據(jù)管理和數(shù)據(jù)倉(cāng)庫(kù) 中的維度包含有諸如地理位置邢疙、客戶(hù)或產(chǎn)品等實(shí)體的相對(duì)靜態(tài)數(shù)據(jù)棍弄。Slowly Changing Dimensions (SCDs) 捕獲的數(shù)據(jù)變化緩慢而不可預(yù)...
-
阿里云官網(wǎng)（<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.aliyun.com%2F" target="_blank">https://www.aliyun.com/</a>）呼畸，每日分享最新產(chǎn)品技術(shù)內(nèi)容、官網(wǎng)活動(dòng)資訊颁虐！
-
