[TOC]
hadoop 集群
hadoop3.2 分為 單點(diǎn)求厕，集群 ，偽集群
hadoop 配置
hadoop /etc/hadoop/ 下的xml 配置
環(huán)境變量的配置
hadoop 安全模式
用戶(hù)可以通過(guò) hdfs dfsadmin -safemode value 來(lái)操作安全模式祝懂，參數(shù)value的說(shuō)明如下：
enter - 進(jìn)入安全模式
leave - 強(qiáng)制NameNode離開(kāi)安全模式
get - 返回安全模式是否開(kāi)啟的信息
wait - 等待，一直到安全模式結(jié)束。
hadoop datanode
在3.2中 hdfs namenode -format 后蚊丐，啟動(dòng)start-all.sh 用jps 查看沒(méi)有 datanode ,需要使用
hdfs 命令 hdfs datanode 啟動(dòng)
hadoop 3.2 頁(yè)面訪問(wèn)
http://<localhost>:8088
http://<localhost>:9870
hadoop 2.7
http://<localhost>:50070
http://<localhost>:9870
同步時(shí)間
apt-get install ntp
ntpdate 192.168.1.159
啟動(dòng)
在regionServer上 ./hbase-daemon.sh start regionserver
在master上執(zhí)行 ./bin/hbase-daemon.sh start master
hdfs datanode
hadoop 單節(jié)點(diǎn)啟動(dòng) yarn NodeManageer (處理wordcount)
1.單個(gè)節(jié)點(diǎn)操作
-
啟動(dòng)|停止單個(gè)節(jié)點(diǎn)
hdfs --daemon start|stop datanode hdfs --daemon start|stop namenode -
啟動(dòng)|停止單個(gè)節(jié)點(diǎn)的NodeManageer
yarn --daemon start nodemanager yarn --daemon stop nodemanager
-
啟動(dòng)|停止ResourceManager
yarn --daemon start resourcemanager yarn --daemon stop resourcemanager
2.集群操作
start|stop-dfs.sh 在master上使用,否則只會(huì)停掉該臺(tái)機(jī)器的datanode(namenode)
start|stop-yarn.sh(會(huì)停掉ResourceManager與NodeManager)在配置ResourceManager的機(jī)器上使用,否則只會(huì)停止該臺(tái)機(jī)器上的NodeManager
start|stop-all.sh(不建議對(duì)集群使用)
wordcount
1.yarn-site.xml mapred-site.xml 內(nèi)存修改
2.啟動(dòng) NodeManageer resourcemanager
37開(kāi) - 原創(chuàng)文章(已經(jīng)在多平臺(tái)發(fā)表)飘蚯，轉(zhuǎn)載請(qǐng)標(biāo)明出處
