個(gè)人備注網(wǎng)頁, 不喜勿擾
1.解壓hadoop
[root@base ~]# tar -zxf downloads/hadoop-2.8.1.tar.gz
2.改名
[root@base ~]# mv hadoop-2.8.1 hadoop
3.修改配置文件
進(jìn)入hadoop-2.2.1/etc/hadoop目錄下颤绕，需要配置以下7個(gè)文件有：
hadoop-env.sh, yarn-env.sh, slaves, core-site.xml, hdfs-site.xml, maprd-site.xml, yarn-site.xml
hadoop-env.sh
修改 export JAVA_HOME=${JAVA_HOME}
為(真實(shí)jdk地址)
export JAVA_HOME=/root/jdk1.7.0_80
yarn-env.sh
在JAVA=$JAVA_HOME/bin/java 上一行增加
export JAVA_HOME=/root/jdk1.7.0_80
slaves(這里先配置一個(gè),便于測(cè)試.以后可以追加)
master
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/tmp</value>
<description>Abasefor other temporary directories.</description>
</property>
<property>
<name>hadoop.proxyuser.spark.hosts</name>
<value></value>
</property>
<property>
<name>hadoop.proxyuser.spark.groups</name>
<value></value>
</property>
</configuration>
*** 使用 這個(gè)配置需要在home下新建tmp文件夾 mkdir tmp***
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/dfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/dfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
*** 使用 這個(gè)配置需要在home下新建dfs文件夾 mkdir dfs***
*** 使用 這個(gè)配置需要在home/dfs下新建name文件夾 mkdir name 和新建data文件夾 mkdir data***
mapred-site.xml(mapred-site.xml.template 先改名)
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
</configuration>
4.增加環(huán)境變量
vi /etc/profile
增加:
export PATH=$PATH:/root/hadoop/bin
刷新文件
source /etc/profile
5.格式化nodename
hadoop namenode -format
6.啟動(dòng)測(cè)試
./sbin/start-all.sh
7.瀏覽器訪問
http://192.168.10.109:50070
說明hdfs成功
http://192.168.10.109:18088
說明yarn成功
==========================================================
以下非部署使用
部署時(shí) master需要修改host 將主機(jī)和工作及其的IP均進(jìn)行配置
如：192.168.10.86 sparkhost
192.168.10.88 startX
打開Hadoop堰乔，sbin/start-all.sh
上傳文件：bin/hadoop fs -put /home/xleer/1.txt /user/hadoop/input1/
查看HDFS中的文件：
bin/hadoop fs -ls /user/hadoop/input1/*
在hdfs中創(chuàng)建文件夾：
bin/hadoop fs -mkdir -p /user/hadoop/input (無-p也可以)
刪除HDFS中的文件夾：
bin/hadoop fs -rm -r /user/hadoop/output
修改文件的權(quán)限：
sudo bin/hadoop fs -chmod 777 /user/hadoop
查看運(yùn)行結(jié)果：
sudo bin/hadoop fs cat output/part-r-00000
