發(fā)簡(jiǎn)信
IP屬地：北京
-
RestTemplate在Spring Cloud中的三種用法
第一種,直接new一個(gè)RestTemplate實(shí)例將url寫(xiě)死 第二種，利用Spring Cloud提供的LoadBalancerClient來(lái)...
-
Winston日志框架使用
winston日志框架使用 原來(lái)一直是使用log4js做日志輸出伊磺，原來(lái)只是輸出到標(biāo)準(zhǔn)輸出中盛正，用了3年了，一直沒(méi)換過(guò)∩莼耄現(xiàn)在為了將詳細(xì)的日志都記錄下...
-
HDFS（6）- distcp并行復(fù)制
我們可以用Java Api寫(xiě)代碼進(jìn)行復(fù)制文件或目錄蛮艰，也可以使用hadoop fs -cp進(jìn)行復(fù)制，可這兩種效率并不高，拷貝文件或目錄寫(xiě)代碼也麻煩...
-
HDFS（5）- 數(shù)據(jù)流之寫(xiě)入根據(jù)下圖介紹HDFS的寫(xiě)入流程壤蚜。 步驟 1. create 客戶(hù)端通過(guò)對(duì)DistributedFileSystem對(duì)象調(diào)用create()方法來(lái)...
-
HDFS（4）- 數(shù)據(jù)流之讀取HDFS文件讀取步驟是怎么樣的即寡？我們通過(guò)下圖中的步驟順序一步步梳理，然后再看這樣設(shè)計(jì)的好處袜刷。 步驟（Java客戶(hù)端） 1. open 客戶(hù)端調(diào)用...
-
HDFS（3）- 不是只有HDFS聪富，Hadoop文件系統(tǒng)全家桶
Hadoop文件系統(tǒng)全家桶 Hadoop有一個(gè)抽象的文件系統(tǒng)概念，HDFS只是其中一個(gè)實(shí)現(xiàn)著蟹。Java抽象類(lèi)org.apache.hadoop.f...
-
HDFS（2）- 概念
1墩蔓、數(shù)據(jù)塊（block） 數(shù)據(jù)塊是磁盤(pán)讀/寫(xiě)的最小單位，每個(gè)磁盤(pán)都有默認(rèn)的數(shù)據(jù)塊大小萧豆。HDFS作為分布式文件系統(tǒng)也有塊的概念奸披，但是數(shù)據(jù)塊比較大，...
-
HDFS（1）- 設(shè)計(jì)
HDFS的設(shè)計(jì) 我們從以下角度分析： 超大文件HDFS可以并適合存儲(chǔ)超大文件涮雷。這里只具有幾百M(fèi)B阵面、幾百GB、甚至幾百TB大小的文件洪鸭。目前已經(jīng)有存...