Mac學(xué)習(xí)大數(shù)據(jù) - 專題

投稿

收錄了11篇文章 · 6人關(guān)注

【大數(shù)據(jù)學(xué)習(xí)】第十一篇-MapReduce簡介
MapReduce定義 MapReduce是一個分布式計算的框架，是用戶開發(fā)機遇hadoop的數(shù)據(jù)分析應(yīng)用的核心框架。 MapReduce的優(yōu)缺...

0.1 irving_yuan 0 1
【大數(shù)據(jù)學(xué)習(xí)】第十篇-DataNode工作機制
DataNode工作機制 DataNode啟動后悦污，首先向NameNode節(jié)點注冊信息成功后漩氨，開始定時執(zhí)行數(shù)據(jù)校驗和同步祷愉，將自身的數(shù)據(jù)塊列表信息...

0.2 irving_yuan 0 1

【大數(shù)據(jù)學(xué)習(xí)】第九篇-NameNode工作機制
1. NameNode與Secondary NameNode 簡述 NameNode負(fù)責(zé)管理編輯日志（edits文件）和記錄鏡像（fsimage...

0.2 irving_yuan 0 1
【Mac大數(shù)據(jù)開發(fā)】第八篇-HDFS讀寫機制詳解
1. 寫數(shù)據(jù)機制 Hadoop寫入數(shù)據(jù)的機制和流程如下圖所示簡述：客戶端與namenode創(chuàng)建連接芳誓，namenode返回可以存放副本的datan...

0.2 irving_yuan 0 1
【Mac大數(shù)據(jù)開發(fā)】第七篇-HDFS的開發(fā)環(huán)境和JavaAPI
1. 開發(fā)環(huán)境配置添加Hadoop環(huán)境變量注：網(wǎng)上相關(guān)教程要求本地也安裝hadoop堰怨，添加環(huán)境變量侣签，然后才能使用Java客戶端塘装。沒有看過官方...

0.2 irving_yuan 0 1
【Mac大數(shù)據(jù)開發(fā)】第六篇-HDFS簡介
1. 概念 HDFS是一個分布式文件系統(tǒng)，Hadoop distributed file system影所。通過樹形結(jié)構(gòu)定位文件蹦肴，由多臺服務(wù)組合實現(xiàn)...

0.2 irving_yuan 0 1
【Mac大數(shù)據(jù)開發(fā)】第五篇-分布式集群和免密登陸
1. 集群配置此前使用的是偽分布式的單機模式，本篇使用分布式的集群配置猴娩。配置方案如下：修改對應(yīng)的配置文件即可冗尤。同時更改hadoop的/etc...

0.2 irving_yuan 0 3

【Mac大數(shù)據(jù)開發(fā)】第四篇-Hadoop安裝和配置(偽分布式集群)
1. Hadoop的安裝下載Hadoop安裝包，通過scp（或其他指令方式）發(fā)送到虛擬機上胀溺，并進行解壓安裝裂七。修改環(huán)境變量使用hadoop命令...

0.2 irving_yuan 0 1
【Mac大數(shù)據(jù)開發(fā)】第三篇-Hadoop概論
1.Hadoop起源 Lucene的一個子項目思想源于Google的三篇論文GFS - HDFS 分布式文件系統(tǒng)Map-Reduce - MR...

0.2 irving_yuan 0 1
【Mac大數(shù)據(jù)開發(fā)】第一篇-Mac環(huán)境虛擬機安裝與配置
[TOC] 1.虛擬機選擇虛擬機軟件有多種，如VMware仓坞、Parallels Desktop背零、VirtualBox等。在Windows環(huán)境下...

0.2 irving_yuan 2 2