發(fā)簡(jiǎn)信
IP屬地：北京
-
RestTemplate在Spring Cloud中的三種用法
第一種,直接new一個(gè)RestTemplate實(shí)例將url寫死 第二種，利用Spring Cloud提供的LoadBalancerClient來(lái)...
-
Winston日志框架使用
winston日志框架使用 原來(lái)一直是使用log4js做日志輸出付呕，原來(lái)只是輸出到標(biāo)準(zhǔn)輸出中，用了3年了跌捆，一直沒(méi)換過(guò)』罩埃現(xiàn)在為了將詳細(xì)的日志都記錄下...
-
HDFS（6）- distcp并行復(fù)制
我們可以用Java Api寫代碼進(jìn)行復(fù)制文件或目錄，也可以使用hadoop fs -cp進(jìn)行復(fù)制佩厚，可這兩種效率并不高姆钉，拷貝文件或目錄寫代碼也麻煩...
-
HDFS（5）- 數(shù)據(jù)流之寫入根據(jù)下圖介紹HDFS的寫入流程。 步驟 1. create 客戶端通過(guò)對(duì)DistributedFileSystem對(duì)象調(diào)用create()方法來(lái)...
-
HDFS（4）- 數(shù)據(jù)流之讀取HDFS文件讀取步驟是怎么樣的抄瓦？我們通過(guò)下圖中的步驟順序一步步梳理潮瓶，然后再看這樣設(shè)計(jì)的好處。 步驟（Java客戶端） 1. open 客戶端調(diào)用...
-
HDFS（3）- 不是只有HDFS钙姊，Hadoop文件系統(tǒng)全家桶
Hadoop文件系統(tǒng)全家桶 Hadoop有一個(gè)抽象的文件系統(tǒng)概念毯辅，HDFS只是其中一個(gè)實(shí)現(xiàn)。Java抽象類org.apache.hadoop.f...
-
HDFS（2）- 概念
1煞额、數(shù)據(jù)塊（block） 數(shù)據(jù)塊是磁盤讀/寫的最小單位思恐，每個(gè)磁盤都有默認(rèn)的數(shù)據(jù)塊大小。HDFS作為分布式文件系統(tǒng)也有塊的概念膊毁，但是數(shù)據(jù)塊比較大胀莹，...
-
HDFS（1）- 設(shè)計(jì)
HDFS的設(shè)計(jì) 我們從以下角度分析： 超大文件HDFS可以并適合存儲(chǔ)超大文件。這里只具有幾百M(fèi)B媚媒、幾百GB嗜逻、甚至幾百TB大小的文件。目前已經(jīng)有存...