安裝Centos 7鏡像

Centos 7鏡像

圖形界面

不習(xí)慣的話可以按 Ctrl + Alt + F4 切換為字符界面 (F1切換回來)

字符界面

修改主機(jī)名

vi /etc/hostname

修改主機(jī)名

關(guān)閉防火墻

systemctl stop firewalld

主機(jī)與虛擬機(jī)Ping通

修改虛擬機(jī)網(wǎng)絡(luò)配置

vim /etc/sysconfig/network-scripts/ifcfg-eno16777736 (eno16777736網(wǎng)卡名稱)

修改虛擬機(jī)網(wǎng)絡(luò)配置

注意事項

主機(jī)與虛擬機(jī)IP地址要在同一個網(wǎng)段

網(wǎng)卡選擇橋接模式

動態(tài)dhcp改成靜態(tài)static

添加自己所需IP地址

橋接模式

修改etc/hosts

vim /etc/hosts

修改etc/hosts

重啟網(wǎng)卡

service network restart

是否配置正確

映射主機(jī)IP地址

找到 C:\Windows\System32\drivers\etc 目錄 

往里面添加地址 主機(jī)名

hosts

主機(jī)與虛擬機(jī)相互Ping通

虛擬機(jī)

主機(jī)

配置SSH免密登錄

cd ~/.ssh
ssh-keygen -t rsa
ssh-copy-id master

安裝JDK

安裝JDK （下載地址）

解壓JDK

tar  -zxvf  jdk-8u131-linux-x64.tar.gz

將【jdk1.8.0_131】里的數(shù)據(jù)拷貝至新建java目錄下

mv jdk1.8.0_131 /java

配置環(huán)境變量

cd java/jdk1.8.0_131
vi /etc/profile
export JAVA_HOME=/root/java/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}
source /etc/profile

配置環(huán)境變量

檢查是否安裝成功

cd /

java -version

檢查是否安裝成功

安裝Hadoop

下載地址（Hadoop）

創(chuàng)建根目錄

mkdir hadoop

解壓下載好的hadoop到hadoop目錄中

tar -zxvf hadoop-2.7.7.tar.gz -C hadoop/

進(jìn)入目錄

cd hadoop/hadoop-2.7.7/etc/hadoop/

修改配置文件

vi hadoop-env.sh (配置JDK路徑)

hadoop-env.sh

vi core-site.xml

配置信息如下

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop/hadoop-2.7.7/tmp</value>
</property>
</configuration>

core-site.xml

vi hdfs-site.xml

配置信息如下

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

hdfs-site.xml

vi mapred-site.xml

注意

默認(rèn)沒有mapred-site.xml文件
但是有個mapred-site.xml.template配置模板文件
復(fù)制模板生成mapred-site.xml

[root@localhost hadoop-2.7.7]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

配置信息如下

<configuration>
<!-- 通知框架MR使用YARN -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

mapred-site.xml

修改slaves

[root@master ~]# vi hadoop/hadoop-2.7.7/etc/hadoop/slaves 

配置信息如下

localhost改為自己設(shè)置的主機(jī)名

vi yarn-site.xml

配置信息如下

<configuration>
<!-- reducer取數(shù)據(jù)的方式是mapreduce_shuffle -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
</property>
</configuration>

yarn-site.xml

將hadoop添加到環(huán)境變量

vi /etc/profile
export HADOOP_HOME=/root/hadoop/hadoop-2.7.7
export PATH=$PATH:$JAVA_HOME/bin:${HADOOP_HOME}/bin
source /etc/profile

hadoop環(huán)境變量

啟動Hadoop

格式化hadoop

hdfs namenode -format

格式化hadoop

啟動hdfs和yarn

[root@localhost hadoop-2.7.7]# sbin/start-dfs.sh 
[root@localhost hadoop-2.7.7]# sbin/start-yarn.sh 

驗證是否成功

hdfs管理界面：http://192.168.1.102:50070

yarm管理界面：http://192.168.1.102:8088

hdfs頁面

yarn頁面