11篇文章 · 9716字 · 5人關(guān)注
-
Hadoop--DataNode工作機(jī)制DataNode工作機(jī)制 1）一個(gè)數(shù)據(jù)塊在datanode上以文件形式存儲(chǔ)在磁盤上筐咧，包括兩個(gè)文件，一個(gè)是數(shù)據(jù)本身垮庐，一個(gè)是元數(shù)據(jù)包括數(shù)據(jù)塊的長(zhǎng)度，...
-
Hadoop--Hadoop集群守護(hù)進(jìn)程
1 namenode :它是hadoop中的主服務(wù)器，管理文件系統(tǒng)名稱空間和對(duì)集群中存儲(chǔ)的文件的訪問(wèn)碍粥，保存有 metadate； 2 Quoru...
-
Hadoop--NameNode工作機(jī)制NameNode&Secondary NameNode工作機(jī)制 1）第一階段：namenode啟動(dòng)（1）第一次啟動(dòng)namenode格式化后黑毅，創(chuàng)建...
-
Hadoop--hdfs寫數(shù)據(jù)/讀數(shù)據(jù)流程Hadoop寫數(shù)據(jù)流程 1）客戶端通過(guò)Distributed FileSystem模塊向namenode請(qǐng)求上傳文件嚼摩，namenode檢查目標(biāo)文...
-
Hadoop--Yarn資源調(diào)度器Hadoop作業(yè)調(diào)度器主要有三種：FIFO、Capacity Scheduler和Fair Scheduler矿瘦。Hadoop2.7.x默認(rèn)的資源...
-
Hadoop--Yarn概述/基礎(chǔ)架構(gòu)/工作機(jī)制Yarn概述 Yarn是一個(gè)資源調(diào)度平臺(tái)枕面，負(fù)責(zé)為運(yùn)算程序提供服務(wù)器運(yùn)算資源，相當(dāng)于一個(gè)分布式的操作系統(tǒng)平臺(tái)缚去，而mapreduce等運(yùn)算程序則相當(dāng)...
-
Hadoop-面試選擇題
Attention Please--文章來(lái)自互聯(lián)網(wǎng)資料整理潮秘，如有雷同，純屬李小李抄襲易结，如有侵權(quán)請(qǐng)聯(lián)系刪除 From 李小李面試題源自互聯(lián)網(wǎng)收集整...
-
Hadoop--ReduceTask機(jī)制
1）設(shè)置ReduceTask reducetask的并行度同樣影響整個(gè)job的執(zhí)行并發(fā)度和執(zhí)行效率枕荞，但與maptask的并發(fā)數(shù)由切片數(shù)決定不同，...
-
Hadoop--Shuffle機(jī)制Shuffle機(jī)制 Mapreduce確保每個(gè)reducer的輸入都是按鍵排序的搞动。系統(tǒng)執(zhí)行排序的過(guò)程（即將map輸出作為輸入傳給reducer）...
