查看mac系統(tǒng)Java版本和安裝目錄
/usr/libexec/java_home -V
應(yīng)該能查看到結(jié)果
Matching Java Virtual Machines (1):
1.8.0_131, x86_64: "Java SE 8" /Library/Java/JavaVirtualMachines/jdk1.8.0_131.jdk/Contents/Home
修改各自的hostname
用pd新建一個(gè)ubuntu虛擬機(jī)，配置好一個(gè)然后克隆2個(gè)就好怔鳖。
關(guān)閉防火墻
ubutntu中命令是
ufw disable
修改hostname
<code>su -</code> 進(jìn)入到root用戶
vim /etc/hostname
配置靜態(tài)IP
- master設(shè)置為192.168.3.74
- salve1設(shè)置為192.168.3.75
可以在網(wǎng)絡(luò)那里用圖形化界面edit設(shè)置魁蒜。GateWay設(shè)置成路由器的地址 - salve2設(shè)置為192.168.3.80
可以在網(wǎng)絡(luò)那里用圖形化界面edit設(shè)置昔案。GateWay設(shè)置成路由器的地址
然后各個(gè)節(jié)點(diǎn)之間可以ping通
WechatIMG10.jpeg
修改hosts文件
vim /etc/hosts
安裝JDK
SSH免密鑰登陸
該步驟都是在普通用戶下完成
Master節(jié)點(diǎn)操作：
- 終端生成密鑰帝牡，一路回車
ssh-keygen -t rsa
- 復(fù)制公鑰文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- 修改 authorized_keys 文件的權(quán)限俄认，命令如下:
chmod 600 ~/.ssh/authorized_keys
slave節(jié)點(diǎn)
- 在終端生成密鑰个少，命令如下(一路點(diǎn)擊回車生成密鑰)
ssh-keygen -t rsa
- 將 authorized_keys 文件移動(dòng)到.ssh 目錄
mv authorized_keys ~/.ssh/
- 修改 authorized_keys 文件的權(quán)限，命令如下:
cd ~/.ssh
chmod 600 authorized_keys
- 如果出現(xiàn)Agent admitted failure to sign using the key
ssh-add ~/.ssh/id_rsa
- 驗(yàn)證
ssh slave1
Hadoop部署配置
每個(gè)節(jié)點(diǎn)配置一樣眯杏，所以在master配置好復(fù)制到各個(gè)slave就好
進(jìn)入到普通用戶下夜焦。首先我把hadoop2-5-2放在／home／yubin下
- 配置環(huán)境變量 hadoop-env.sh.就是配置JAVA_HOME
WechatIMG14.jpeg
- 配置環(huán)境變量 yarn-env.sh 就是配置JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_111
- 配置核心組件 core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.3.74:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/yubin/hadoop-2.5.2/hadoopdata</value>
</property>
```
- 配置文件系統(tǒng) hdfs-site.xml
```
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
```
- 配置文件系統(tǒng) yarn-site.xml
```
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
```
- 配置計(jì)算框架 mapred-site.xml
```
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
```
- 在 master 節(jié)點(diǎn)配置 slaves 文件
```
master
slave1
slave2
```
- 復(fù)制到從節(jié)點(diǎn)1
```
scp -r hadoop-2.5.2 slave1:~/
```
- 復(fù)制到從節(jié)點(diǎn)2
```
scp -r hadoop-2.5.2 slave2:~/
```
#####啟動(dòng)集群
也是在普通用戶下進(jìn)行
- 配置hadoop環(huán)境變量,在/etc/profile中
```
export HADOOP_HOME=/home/yubin/hadoop-2.5.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
```
然后source
- 創(chuàng)建數(shù)據(jù)目錄
```
mkdir /home/yubin/hadoop-2.5.2/hadoopdata
```
- 格式化文件系統(tǒng)
```
hdfs namenode -format
```
- 啟動(dòng)
```
sbin/start-all.sh
```
- JPS查看進(jìn)程
- WEB查看
```
http://master:50070/
```
