hadoop基本配置

core-site.xml:

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://node1:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/your/tmp/dir</value>

<description>需要默認創(chuàng)建tmp目錄用于臨時文件的存放时捌,不然會放在/tmp目錄下</description>

</property>

<property>

<name>fs.checkpoint.period</name>

<value>300</value>

<description>The number of seconds between two periodic checkpoints</description>

</property>

<property>

<name>fs.checkpoint.dir</name>

<value>${hadoop.tmp.dir}/dfs/namesecondary</value>

<description>Determines where on the local filesystem the DFS secondary name node should store the temporary images to merge.If this is a comma-delimited list of directories then the image is replicated in all of the directories for redundancy</description>

</property>

</configuration>


hdfs-site.xml:

<configuration>

<property>

<name>dfs.replication</name>

<value> <num_replication> </value>

</property>

<property>

<name>dfs.namenode.name.dir</name>
<value>file:/data/hadoop/hdfs/namenode/</value>

</property>

</configuration>


yarn-site.xml:

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>node1:8025</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>node1:8030</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>node1:8050</value>

</property>

<property>

<name>yarn.nodemanager.resource.memory-mb</name>

<value>12288</value>

</property>

<property>

<name>yarn.scheduler.maximum-allocation-mb</name>

<value>36864<value>

<description>單個任務(wù)可申請最大內(nèi)存莹桅,默認8192MB</description>

</property>

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<property>

<name>yarn.log.server.url</name>

<value>http://node1:19888/jobhistory/logs</value>

</property>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>node1</value>

</property>

</configuration>


mapred-site.xml:

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>


Hadoop pid 存放位置:

(1)修改hadoop-env.sh

修改如下排嫌,如果沒有下面的設(shè)置借帘,可以直接添加:

export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase

export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置腕唧,影響

NameNode

DataNode

SecondaryNameNode

進程pid存儲

(2)修改mapred-env.sh

修改

export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置此熬,影響

JobHistoryServer

進程pid存儲

(3)修改yarn-env.sh

修改或者添加(不存在此項配置時)艰躺,這里面我沒有找到pid的環(huán)境設(shè)置變量绍撞,所以就直接添加了

export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase

上述配置,影響

NodeManager

ResourceManager

進程pid存儲

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末蜻韭,一起剝皮案震驚了整個濱河市悼尾,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌肖方,老刑警劉巖闺魏,帶你破解...
    沈念sama閱讀 217,657評論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異俯画,居然都是意外死亡析桥,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,889評論 3 394
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來泡仗,“玉大人埋虹,你說我怎么就攤上這事∶湓酰” “怎么了搔课?”我有些...
    開封第一講書人閱讀 164,057評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長截亦。 經(jīng)常有香客問我爬泥,道長,這世上最難降的妖魔是什么魁巩? 我笑而不...
    開封第一講書人閱讀 58,509評論 1 293
  • 正文 為了忘掉前任急灭,我火速辦了婚禮,結(jié)果婚禮上谷遂,老公的妹妹穿的比我還像新娘葬馋。我一直安慰自己,他們只是感情好肾扰,可當我...
    茶點故事閱讀 67,562評論 6 392
  • 文/花漫 我一把揭開白布畴嘶。 她就那樣靜靜地躺著,像睡著了一般集晚。 火紅的嫁衣襯著肌膚如雪窗悯。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,443評論 1 302
  • 那天偷拔,我揣著相機與錄音蒋院,去河邊找鬼。 笑死莲绰,一個胖子當著我的面吹牛欺旧,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播蛤签,決...
    沈念sama閱讀 40,251評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼辞友,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了震肮?” 一聲冷哼從身側(cè)響起称龙,我...
    開封第一講書人閱讀 39,129評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎戳晌,沒想到半個月后鲫尊,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,561評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡沦偎,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,779評論 3 335
  • 正文 我和宋清朗相戀三年马昨,在試婚紗的時候發(fā)現(xiàn)自己被綠了竞帽。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片扛施。...
    茶點故事閱讀 39,902評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡鸿捧,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出疙渣,到底是詐尸還是另有隱情匙奴,我是刑警寧澤,帶...
    沈念sama閱讀 35,621評論 5 345
  • 正文 年R本政府宣布妄荔,位于F島的核電站泼菌,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏啦租。R本人自食惡果不足惜哗伯,卻給世界環(huán)境...
    茶點故事閱讀 41,220評論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望篷角。 院中可真熱鬧焊刹,春花似錦、人聲如沸恳蹲。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,838評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽嘉蕾。三九已至贺奠,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間错忱,已是汗流浹背儡率。 一陣腳步聲響...
    開封第一講書人閱讀 32,971評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留以清,地道東北人儿普。 一個月前我還...
    沈念sama閱讀 48,025評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像玖媚,于是被迫代替她去往敵國和親箕肃。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,843評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 簡述 hadoop 集群一共有4種部署模式今魔,詳見《hadoop 生態(tài)圈介紹》勺像。HA聯(lián)邦模式解決了單純HA模式的性能...
    mtide閱讀 12,895評論 8 20
  • 簡述 hadoop 集群一共有4種部署模式,詳見《hadoop 生態(tài)圈介紹》错森。HA模式的集群里面會部署兩臺NN(最...
    mtide閱讀 7,000評論 0 10
  • 簡述 hadoop 集群一共有4種部署模式吟宦,詳見《hadoop 生態(tài)圈介紹》。偽分布式模式將hadoop安裝在一臺...
    mtide閱讀 1,714評論 0 6
  • 簡述 hadoop 集群一共有4種部署模式涩维,詳見《hadoop 生態(tài)圈介紹》殃姓。完全分布式模式將hadoop部署在至...
    mtide閱讀 4,134評論 0 10
  • 2017年9月21號袁波,天氣晴,星期五 今天一諾放學后蜗侈,回家跟我說篷牌,媽媽這次我知道啞嗓子的感覺太難受了,真是感受到老...
    盧偉一諾閱讀 186評論 0 0