發(fā)簡信
IP屬地：上海
-
【大數(shù)據(jù)學習】第十一篇-MapReduce簡介MapReduce定義 MapReduce是一個分布式計算的框架汇在，是用戶開發(fā)機遇hadoop的數(shù)據(jù)分析應用的核心框架睦尽。 MapReduce的優(yōu)缺...
-
【大數(shù)據(jù)學習】第十篇-DataNode工作機制
DataNode工作機制 DataNode啟動后，首先向NameNode節(jié)點注冊信息 成功后尖淘，開始定時執(zhí)行數(shù)據(jù)校驗和同步，將自身的數(shù)據(jù)塊列表信息...
-
【大數(shù)據(jù)學習】第九篇-NameNode工作機制1. NameNode與Secondary NameNode 簡述 NameNode負責管理編輯日志（edits文件）和記錄鏡像（fsimage...
-
【Mac大數(shù)據(jù)開發(fā)】第八篇-HDFS讀寫機制詳解1. 寫數(shù)據(jù)機制 Hadoop寫入數(shù)據(jù)的機制和流程如下圖所示簡述：客戶端與namenode創(chuàng)建連接著觉，namenode返回可以存放副本的datan...
-
【Mac大數(shù)據(jù)開發(fā)】第七篇-HDFS的開發(fā)環(huán)境和JavaAPI1. 開發(fā)環(huán)境配置 添加Hadoop環(huán)境變量 注：網(wǎng)上相關教程要求本地也安裝hadoop村生，添加環(huán)境變量，然后才能使用Java客戶端饼丘。沒有看過官方...
-
【Mac大數(shù)據(jù)開發(fā)】第六篇-HDFS簡介
1. 概念 HDFS是一個分布式文件系統(tǒng)趁桃，Hadoop distributed file system。通過樹形結(jié)構(gòu)定位文件肄鸽，由多臺服務組合實現(xiàn)...
-
【Mac大數(shù)據(jù)開發(fā)】第五篇-分布式集群和免密登陸1. 集群配置 此前使用的是偽分布式的單機模式卫病，本篇使用分布式的集群配置。配置方案如下： 修改對應的配置文件即可典徘。同時更改hadoop的/etc...
-
【Mac大數(shù)據(jù)開發(fā)】第四篇-Hadoop安裝和配置(偽分布式集群)1. Hadoop的安裝 下載Hadoop安裝包蟀苛，通過scp（或其他指令方式）發(fā)送到虛擬機上，并進行解壓安裝烂斋。修改環(huán)境變量 使用hadoop命令...
-
【Mac大數(shù)據(jù)開發(fā)】第三篇-Hadoop概論1.Hadoop起源 Lucene的一個子項目 思想源于Google的三篇論文GFS - HDFS 分布式文件系統(tǒng)Map-Reduce - MR...