1.運(yùn)行namenode的節(jié)點(diǎn)要穩(wěn)定
2.多路多核求厕,高頻率cpu著隆、大內(nèi)存
namenode的內(nèi)存決定了集群保存文件數(shù)的總量扰楼,resourcemanager也會(huì)消耗一定內(nèi)存
3.從節(jié)點(diǎn)的內(nèi)存需要根據(jù)cpu的虛擬核數(shù)進(jìn)行配比
cpu的vcore數(shù)=cpu個(gè)數(shù)*單cpu核數(shù)*HT(超線程 數(shù))
內(nèi)存容量=vcore數(shù)*2GB
4.根據(jù)數(shù)據(jù)量集群規(guī)模
如有1TB 每天增加10GB
則:(1TB+10GB*365)*3*1.3=17.8TB
節(jié)點(diǎn)數(shù)=18TB/2TB=9
總節(jié)點(diǎn)數(shù)=9+2=11(需要加主節(jié)點(diǎn))
5.不要網(wǎng)絡(luò)io成為瓶頸
交換機(jī)要選好的
操作系統(tǒng)調(diào)優(yōu)不了解
/***hadoop參數(shù)調(diào)優(yōu)****/
1.dfs.block.size 塊越大,元數(shù)據(jù)越少美浦,但是影響分片時(shí)間
2.mapred.local.dir
將中間結(jié)果目錄設(shè)置為分部在多個(gè)磁盤(pán)以提升寫(xiě)入速度
3.dfs.datanode.hander.count 默認(rèn)為三
設(shè)置datanode處理rpc的線程數(shù)弦赖,大集群可以適當(dāng)加大
4.dfs,namenode.hander.count
設(shè)置namenode能夠同時(shí)處理的請(qǐng)求數(shù),一般為集群規(guī)模的自然對(duì)數(shù)lnN 的20倍
5.yarn的資源模型為container
容器內(nèi)存
yarn.nodemanager.resource.memory-mb
最小容器內(nèi)存
yarn.sheduler.minimum-allocation-mb
容器內(nèi)存增量
yarn.scheduler.increment-allocation-mb
最大容器內(nèi)存
yarn.sheduler.maximun-allocation-mb
如果內(nèi)存為120G可以給容器內(nèi)存設(shè)置為100G
CPU資源
yarn.nodemanager.resource.cpu-vcores
最小虛擬cpu內(nèi)核數(shù)量
yarn.sheduler.minimum-cpu-vcores
容器虛擬cpu內(nèi)核增量
yarn.scheduler.increment-allocation-mb
最大容器虛擬cpu內(nèi)核數(shù)量
yarn.sheduler.maximun-cpu-vcores
//mapreduce調(diào)優(yōu)
1.增大作業(yè)并行程度
改變輸入分片的大小浦辨,增大數(shù)量,計(jì)算公式
max(mapred.min.split.size,min(mapred.max.split.size,dfs.block.size))
默認(rèn)
mapre.min.split.size=1
mapred.max.split.size=9223372036854775807
dfs.block.size為塊的大小
最好分片大小和塊大小一樣這樣可以減少網(wǎng)絡(luò)傳輸
2.內(nèi)存
Map任務(wù)內(nèi)存
mapreduce.map.memory.bm
Reduce任務(wù)內(nèi)存
mapreduce.reduce.memory.bm
Map任務(wù)最大堆棧
mapreduce.map.java.ops.max.heap
Reduce任務(wù)最大堆棧
mapreduce.reduce.java.ops.max.heap
ApplicationMaster內(nèi)存
yarn.app.mapreduce.am.resource.mb
3.把所有資源留個(gè)shuffle包含拷貝和排序
最大洗牌連接
mapred.shuttle.max.connections
I/O排序內(nèi)存緩沖(MIB)
mapreduce.task.io.sort.mb
I/O排序因子
mapreduce.task.io.sort.fastor
洗牌期間并行傳輸?shù)哪J(rèn)數(shù)量,reduce通過(guò)rcp條用map的輸出
太大造成擁堵
mapreduce.reduce.shuffle.parallelcopies
壓縮map輸出
mapreduce.map.output.compress
hadoop性能調(diào)優(yōu)
最后編輯于 :
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門(mén)同辣,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人惭载,你說(shuō)我怎么就攤上這事旱函。” “怎么了描滔?”我有些...
- 文/不壞的土叔 我叫張陵棒妨,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我含长,道長(zhǎng)券腔,這世上最難降的妖魔是什么? 我笑而不...
- 正文 為了忘掉前任拘泞,我火速辦了婚禮纷纫,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘陪腌。我一直安慰自己辱魁,他們只是感情好,可當(dāng)我...
- 文/花漫 我一把揭開(kāi)白布诗鸭。 她就那樣靜靜地躺著染簇,像睡著了一般。 火紅的嫁衣襯著肌膚如雪强岸。 梳的紋絲不亂的頭發(fā)上锻弓,一...
- 那天,我揣著相機(jī)與錄音蝌箍,去河邊找鬼青灼。 笑死暴心,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的杂拨。 我是一名探鬼主播酷勺,決...
- 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼扳躬!你這毒婦竟也來(lái)了脆诉?” 一聲冷哼從身側(cè)響起,我...
- 序言:老撾萬(wàn)榮一對(duì)情侶失蹤贷币,失蹤者是張志新(化名)和其女友劉穎击胜,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體役纹,經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡偶摔,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了促脉。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片辰斋。...
- 正文 年R本政府宣布藕夫,位于F島的核電站,受9級(jí)特大地震影響枯冈,放射性物質(zhì)發(fā)生泄漏毅贮。R本人自食惡果不足惜,卻給世界環(huán)境...
- 文/蒙蒙 一尘奏、第九天 我趴在偏房一處隱蔽的房頂上張望滩褥。 院中可真熱鬧,春花似錦炫加、人聲如沸瑰煎。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)萤捆。三九已至萍摊,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間阿蝶,已是汗流浹背诀艰。 一陣腳步聲響...
- 正文 我出身青樓苛蒲,卻偏偏與公主長(zhǎng)得像卤橄,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子臂外,可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- spark性能優(yōu)化:數(shù)據(jù)傾斜調(diào)優(yōu) - LW_ICE - 博客頻道 - CSDN.NEThttp://blog.cs...
- 前面介紹了很多關(guān)于Spark性能的調(diào)優(yōu)手段窟扑,今天來(lái)介紹一下Spark性能調(diào)優(yōu)的最后一個(gè)點(diǎn),就是關(guān)于Spark中常用...
- 參數(shù)設(shè)置 在Java虛擬機(jī)的參數(shù)中漏健,有3種表示方法用“ps -ef |grep "java"命令嚎货,可以得到當(dāng)前Ja...
- 本篇文章來(lái)介紹一個(gè)重量級(jí)的Spark調(diào)優(yōu)機(jī)制,就是我們常說(shuō)的shuffle調(diào)優(yōu)蔫浆。在講解shuffle調(diào)優(yōu)之前殖属,我們...
- 你就是生來(lái)就有的那道光芒 微弱,易息瓦盛,透著亮光 我在某一個(gè)夜晚的歌聲里 聽(tīng)著你淺聲吟唱 今晚是青島的月亮 我想念羅...