發(fā)簡(jiǎn)信
IP屬地：廣東
-
MapReduce框架原理最全的MapReduce框架原理哥倔，方便以后復(fù)習(xí)辅搬。知識(shí)點(diǎn)來(lái)自尚硅谷的課程學(xué)習(xí)。課程鏈接 一伏尼、InputFormat數(shù)據(jù)輸入 1. 切片與MapTa...
-
MapReduce序列化
序列化就是把內(nèi)存中的對(duì)象轉(zhuǎn)換成字節(jié)序列以便于存儲(chǔ)到磁盤(pán)（持久化）和網(wǎng)絡(luò)傳輸忿檩。反序列化就是將字節(jié)序列或者是持久化的數(shù)據(jù)轉(zhuǎn)換成內(nèi)存中的對(duì)象。 內(nèi)存中...
-
2020-05-21 生活感悟
在今年初的時(shí)候爆阶，我給自己訂了一個(gè)目標(biāo)燥透，建立自己的行為準(zhǔn)則，今天偶然看到了一個(gè)故事辨图，有一點(diǎn)反思班套，希望記錄下來(lái)，在日后的生活中運(yùn)用實(shí)踐故河。故事大概是這...
-
MapReduce —— WordCount案例
WordCount：統(tǒng)計(jì)一個(gè)或多個(gè)文件內(nèi)每個(gè)單詞的出現(xiàn)次數(shù)吱韭。 一般情況下，一個(gè)MapReduce程序主要包含三個(gè)部分：Map鱼的、Reduce和Dr...
-
MapReduceMapReduce是一個(gè)分布式運(yùn)算程序的編程框架理盆，是用戶(hù)開(kāi)發(fā)“基于Hadoop的數(shù)據(jù)分析應(yīng)用”的核心框架。主要用于分析數(shù)據(jù)凑阶。 優(yōu)缺點(diǎn) 優(yōu)點(diǎn)易于編...
-
使用IO流操作HDFS
除了可以使用系統(tǒng)API進(jìn)行HDFS操作熏挎，還可以通過(guò)Java的IO流進(jìn)行文件的上傳和下載。適用于HDFS的自定義操作晌砾，其實(shí)API的底層也是使用IO...
-
HDFS 配置本地客戶(hù)端之前坎拐，一直通過(guò)Linux命令操作HDFS。接下來(lái)养匈，在本地配置HDFS客戶(hù)端哼勇，通過(guò)編寫(xiě)代碼操作HDFS。 環(huán)境： mbp2018 hadoop-2...
-
HDFSHDFS（Hadoop Distributed File System）呕乎，是一個(gè)文件系統(tǒng)积担，用于存儲(chǔ)文件，通過(guò)目錄樹(shù)來(lái)定位文件猬仁，其實(shí)帝璧，它是分布式的...
-
集群時(shí)間同步步驟 1. 檢查ntp（網(wǎng)絡(luò)時(shí)間協(xié)議）是否安裝。 ps -e | grep ntp如果出現(xiàn)一下內(nèi)容表明一斤安裝： 如果什么都沒(méi)有湿刽，可以使用 進(jìn)行...