CentOS6.4安裝
1焕檬、使用課程提供的鏡像:CentOS-6.4-i386-minimal.iso跃赚。
2、創(chuàng)建虛擬機(jī):打開Virtual Box屯掖,點(diǎn)擊“新建”按鈕玄柏;輸入虛擬機(jī)名稱為sparkproject1,選擇操作系統(tǒng)為Linux贴铜,選擇版本為Red Hat粪摘;分配1024MB內(nèi)存瀑晒;后面所有選項(xiàng)全部用默認(rèn)的設(shè)置;注意徘意,在Virtual disk file location and size中苔悦,一定要自己選擇一個(gè)目錄來存放虛擬機(jī)文件;最后點(diǎn)擊“create”按鈕椎咧,開始創(chuàng)建虛擬機(jī)玖详。
3、設(shè)置網(wǎng)卡(橋接網(wǎng)卡):選擇創(chuàng)建好的虛擬機(jī)勤讽,點(diǎn)擊“設(shè)置”按鈕竹宋,在網(wǎng)絡(luò)一欄中,連接方式中地技,選擇“Bridged Adapter”,即橋接網(wǎng)卡秒拔。
4莫矗、安裝CentOS 6.4操作系統(tǒng):選擇創(chuàng)建好的虛擬機(jī),點(diǎn)擊“開始”按鈕砂缩;選擇安裝介質(zhì)(即本地的CentOS 6.4鏡像文件)作谚;選擇第一項(xiàng)開始安裝-Skip-歡迎界面Next-選擇默認(rèn)語言-Baisc Storage Devices-Yes, discard any data-主機(jī)名:sparkproject1-選擇時(shí)區(qū)-設(shè)置初始密碼為hadoop-Replace Existing Linux System-Write changes to disk-開始安裝。
5庵芭、安裝完以后妹懒,會(huì)提醒你要重啟一下,就是reboot双吆,reboot就可以了眨唬。
密碼設(shè)為hadoop
切出virtualbox的快捷鍵為 右ctrl
網(wǎng)絡(luò)配置
1、先臨時(shí)性設(shè)置虛擬機(jī)ip地址:ifconfig eth0 192.168.1.110好乐,在/etc/hosts文件中配置本地ip到host的映射
2匾竿、配置windows主機(jī)上的hosts文件:C:\Windows\System32\drivers\etc\hosts,192.168.1.110 sparkproject1
3蔚万、使用SecureCRT從windows上連接虛擬機(jī)
4岭妖、永久性配置CentOS網(wǎng)絡(luò)
vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.1.110
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
5、重啟網(wǎng)卡
service network restart
vi /etc/hosts
添加并保存 192.168.1.110 sparkproject1
ping sparkproject1
按ESC鍵 跳到命令模式反璃,然后:
:w 保存文件但不退出vi
:w file 將修改另外保存到file中昵慌,不退出vi
:w! 強(qiáng)制保存,不推出vi
:wq 保存文件并退出vi
:wq! 強(qiáng)制保存文件淮蜈,并退出vi
q: 不保存文件斋攀,退出vi
:q! 不保存文件,強(qiáng)制退出vi
:e! 放棄所有修改礁芦,從上次保存文件開始再編輯
關(guān)閉防火墻
service iptables stop
service ip6tables stop
service iptables status
service ip6tables status
chkconfig iptables off
chkconfig ip6tablesoff
vi /etc/selinux/config
SELINUX=disabled
在win7的控制面板中蜻韭,關(guān)閉windows的防火墻悼尾!如果不關(guān)閉防火墻的話,就怕肖方,可能win7和虛擬機(jī)直接無法ping通闺魏!
配置DNS服務(wù)器,替換repo文件俯画,配置yum
1析桥、配置DNS服務(wù)器
vi /etc/resolv.conf
nameserver 61.139.2.69
ping www.baidu.com
1、修改repo
將CentOS6-Base-163.repo上傳到CentOS中的/usr/local目錄下
cd /etc/yum.repos.d/
rm -rf *
mv 自己的repo文件移動(dòng)到/etc/yum.repos.d/目錄中:cp /usr/local/CentOS6-Base-163.repo .
修改repo文件艰垂,把所有g(shù)pgcheck屬性修改為0
2泡仗、配置yum
yum clean all
yum makecache
yum install telnet
解決無法訪問外網(wǎng)的問題
即使更換了ip地址,重啟網(wǎng)卡猜憎,可能還是聯(lián)不通網(wǎng)娩怎。那么可以先將IPADDR、NETMASK胰柑、GATEWAY給刪除截亦,將BOOTPROTO改成dhcp。然后用service network restart重啟網(wǎng)卡柬讨。此時(shí)linux會(huì)自動(dòng)給分配一個(gè)ip地址崩瓤,用ifconfig查看分配的ip地址。然后再次按照之前說的踩官,配置網(wǎng)卡却桶,將ip改成自動(dòng)分配的ip地址。最后再重啟一次網(wǎng)卡蔗牡。
安裝JDK
1颖系、將jdk-7u60-linux-i586.rpm上傳到虛擬機(jī)中
2、安裝JDK:rpm -ivh jdk-7u65-linux-i586.rpm
3辩越、配置jdk相關(guān)的環(huán)境變量
vi ~/.bashrc
export JAVA_HOME=/usr/java/latest
export PATH=JAVA_HOME/bin
source ~/.bashrc
4集晚、測試jdk安裝是否成功:java -version
5、rm -f /etc/udev/rules.d/70-persistent-net.rules
linux中 ~ 表示的是什么目錄区匣?
~ 表示代碼主目錄偷拔,也就是當(dāng)前登錄用戶的用戶目錄。
比如:我登錄用戶是chen
cd ~
~ 代表的就是 /home/chen/
這里的.bashrc應(yīng)為~/.bashrc
按照以上操作亏钩,再增加兩臺(tái)機(jī)器sparkproject2莲绰,sparkproject3
配置集群ssh免密碼登陸
1、在三臺(tái)機(jī)器的/etc/hosts文件中姑丑,都配置對三臺(tái)機(jī)器的ip-hostname的映射
2蛤签、首先在三臺(tái)機(jī)器上配置對本機(jī)的ssh免密碼登錄
生成本機(jī)的公鑰,過程中不斷敲回車即可栅哀,ssh-keygen命令默認(rèn)會(huì)將公鑰放在/root/.ssh目錄下
ssh-keygen -t rsa
將公鑰復(fù)制為authorized_keys文件震肮,此時(shí)使用ssh連接本機(jī)就不需要輸入密碼了
cd /root/.ssh
cp id_rsa.pub authorized_keys
3称龙、接著配置三臺(tái)機(jī)器互相之間的ssh免密碼登錄
使用ssh-copy-id -i spark命令將本機(jī)的公鑰拷貝到指定機(jī)器的authorized_keys文件中(方便好用)