1.虛擬機(jī)安裝
安裝vmware,此處安裝vmware14版本虛擬機(jī),密匙易搜扬虚。
2.linux環(huán)境準(zhǔn)備
下載linux系統(tǒng)鏡像,下載地址:
http://archive.kernel.org/centos-vault/6.5/isos/x86_64/
cent-os下載巨細(xì)說明:
https://blog.csdn.net/sinat_36564972/article/details/81560395
此處鑒于本機(jī)原因選擇cent-os-64位-6.5版本(現(xiàn)在一般服務(wù)server均使用7.4左右)
3.linux系統(tǒng)(cent-os)于虛擬機(jī)安裝
關(guān)于安裝cent-os有直接安裝標(biāo)準(zhǔn)版,可以直接安裝很容易囱稽,這樣安裝得到的是桌面版的cent-os系統(tǒng),但是初始使用basic-server版的cent-os安裝可以對該系統(tǒng)有個好的的了解常侣,具體的安裝本人借鑒于慕課網(wǎng)linux課程安裝進(jìn)行裆站,也可以自行搜集進(jìn)行l(wèi)inux系統(tǒng)的安裝条辟,安裝需要注意的地方做一羅列。
不使用標(biāo)準(zhǔn)簡易安裝宏胯,使用自定義安裝羽嫡,之后進(jìn)入安裝,需要注意的是如果是win10系統(tǒng)肩袍,需要進(jìn)入dos界面進(jìn)行簡單的設(shè)置杭棵。
下一步選擇好下載好的cent-os系統(tǒng)鏡像文件:
此處注意,開始安裝虛擬需要給自己所在盤符如e盤下留有足夠的空間,為了文件以及后續(xù)大數(shù)據(jù)hadoop體系組件搭建魂爪,留40g以上空間為保證后續(xù)操作順暢先舷。
win10系統(tǒng)創(chuàng)建虛擬機(jī)需要bois界面設(shè)置:
https://blog.csdn.net/sinat_37390744/article/details/56498655
安裝前虛擬機(jī)創(chuàng)建好后,其中一般將處理器設(shè)置為多核滓侍,此處設(shè)置為4核蒋川,選擇centos系統(tǒng)鏡像文件網(wǎng)絡(luò)選擇橋接,簡單的方法使得一臺電腦上的多臺虛擬機(jī)網(wǎng)絡(luò)可以互通(橋接的意思是跟主機(jī)可以互相通信且是率屬于同一網(wǎng)段撩笆,非主機(jī)路由出的子網(wǎng)段捺球,如果是net模式是由主機(jī)路由出的子網(wǎng)),初始建議網(wǎng)絡(luò)均選擇橋接模式夕冲,橋接模式下在同一局域網(wǎng)下或者公司內(nèi)網(wǎng)氮兵,之間均可以通信,但是需要注意如果公司網(wǎng)絡(luò)大量用于開發(fā)使用歹鱼,需要跟網(wǎng)絡(luò)工程師溝通泣栈,看是否有閑置ip,否則造成ip沖突醉冤,網(wǎng)絡(luò)不穩(wěn)定秩霍,還會影響同時辦公,也可以請教網(wǎng)絡(luò)工程師進(jìn)行協(xié)助蚁阳,那樣效率也會高很多铃绒,由于其它原因后續(xù)需要考慮與云主機(jī)進(jìn)行通訊等,暫不巨細(xì)討論螺捐。
網(wǎng)絡(luò)選擇橋接颠悬,選擇鏡像文件,內(nèi)存選擇1g(1g一般夠用定血,本機(jī)內(nèi)存是8g赔癌,內(nèi)存1g分給虛擬機(jī))
開機(jī)(快速切入虛擬機(jī)按F2)
進(jìn)入后選擇第一項(xiàng)-->已經(jīng)存在的系統(tǒng)-->之后檢查選擇skip跳過-->之后ok確認(rèn)后進(jìn)入centos的安裝-->選擇語言Chinese中文簡體-->鍵盤美國英式標(biāo)準(zhǔn)-->設(shè)備選擇基本存儲設(shè)備默認(rèn)-->默認(rèn)之后選擇安裝模式-->此處為了節(jié)省存儲空間-->使用自定義安裝-->然后進(jìn)行分區(qū)-->一般分區(qū)設(shè)置-->自定義分區(qū)-->必須根分區(qū)與boot分區(qū),boot 200M home 2000M swap 1000M \ 根分選擇剩余全部澜沟,作為最后需要的擴(kuò)展分區(qū)(備存放邏輯分區(qū))
-->格式化-->選擇basic server灾票,之后按照引導(dǎo)重新啟動ok,密碼設(shè)置此處均設(shè)置的不少于6位茫虽,完成安裝刊苍,上述主要步驟如上,巨細(xì)可以查找資料或者慕課網(wǎng)linux安裝濒析。
安裝成功后關(guān)機(jī)配置網(wǎng)絡(luò)正什,在安裝虛擬機(jī)后,進(jìn)入網(wǎng)絡(luò)適配器選項(xiàng)号杏,修改vm8網(wǎng)絡(luò)適配器婴氮,其網(wǎng)段與本機(jī)所在網(wǎng)絡(luò)一致,此處再可以查找資料。
修改vm8網(wǎng)絡(luò)適配器后修改vmware的網(wǎng)路適配器
網(wǎng)絡(luò)適配器參考:
配置好之后開機(jī)進(jìn)入虛擬機(jī)主经。
上述安裝完畢荣暮,虛擬機(jī)有兩個功能比較實(shí)用,快照和克隆旨怠,快照記錄下虛擬機(jī)某一狀態(tài)渠驼,所得到的快照文件也就便于另一臺,或者多態(tài)虛擬機(jī)的安裝鉴腻,克隆可以將整個系統(tǒng)克隆下來迷扇,生成的文件比快照要大,快照使用的更多一些爽哎,快照下某一時刻的應(yīng)用蜓席,之間進(jìn)行切換,便于系統(tǒng)恢復(fù)以及相關(guān)功能或者應(yīng)用組件安裝測試课锌。
上述對于虛擬機(jī)的基本安裝已經(jīng)好了厨内,接下來需要做一些為使用,再更進(jìn)一步為大數(shù)據(jù)組件安裝使用做一些準(zhǔn)備工作渺贤。
網(wǎng)絡(luò)配置:
vi /etc/sysconfig/network-scripts/ifcfg-eth0
如果是動態(tài)獲取地址雏胃,BOOTPROTO=dhcp ,如果是設(shè)置靜態(tài)地址志鞍,則BOOTPROTO=static
BOOTPROTO=static
IPADDR=192.168.1.103 (此處所在局域網(wǎng)的網(wǎng)絡(luò)ip設(shè)置瞭亮,與網(wǎng)絡(luò)適配器屬同一網(wǎng)段)
NETMASK=255.255.255.0
GATEWAY=192.168.1.1 (主機(jī)網(wǎng)絡(luò)適配器設(shè)置的網(wǎng)關(guān))
https://blog.csdn.net/u010064017/article/details/77883776
ONBOOT=yes
無論是動態(tài)還是靜態(tài),配置文件里默認(rèn)的ONBOOT=no要改成ONBOOT=yes固棚,然后保存统翩。
service neteork restart 命令重啟網(wǎng)絡(luò)服務(wù)。
vi /etc/resolv.conf
添加域名服務(wù)器:
nameserver 218.2.135.1
nameserver 8.8.8.8
保存后此洲,無需重啟網(wǎng)卡厂汗,DNS立即生效。
網(wǎng)絡(luò)成功配置參考:
https://blog.csdn.net/u010064017/article/details/77883776
https://blog.csdn.net/u014466635/article/details/80284792
網(wǎng)絡(luò)防火墻關(guān)閉(較為簡單呜师,參考下文檔娶桦,注意最好使用永久關(guān)閉防火墻):
service iptables stop(關(guān)閉)
chkconfig iptables off (永久關(guān)閉,使用永久關(guān)閉,三臺機(jī)器均操作)
service iptables status
https://www.cnblogs.com/maybo/p/5250668.html
service network restart 重啟網(wǎng)絡(luò)服務(wù)
為了配置安裝hadoop以及其它使用還需要進(jìn)行主機(jī)名的設(shè)置
主機(jī)名進(jìn)行設(shè)置(修改主機(jī)名):
[root@master /]# cat /etc/sysconfig/network #HOSTNAME=localhostzjx
NETWORKING=yes
HOSTNAME=master
NETWORKING_IPV6=yes
需要進(jìn)行切換用戶生效:
su - root
也可百度下設(shè)置用戶名和密碼,另外需要將進(jìn)行網(wǎng)絡(luò)通信的主機(jī)名與ip加入/etc/hosts 汁汗。這里面配置的是其它主機(jī)的ip與主機(jī)名的映射趟紊,由此才可以通過主機(jī)名進(jìn)行訪問。
vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.176.2.101 master
10.176.2.103 zjx03
10.176.2.105 zjx05
10.176.2.111 yjy11
10.176.2.113 yjy13
10.176.2.115 yjy15
可以使用主機(jī)名進(jìn)行測試:
ssh master date
基本安裝與環(huán)境配置到此已經(jīng)完畢碰酝,可以使用此鏡像完成
大數(shù)據(jù)hadoop安裝準(zhǔn)備
hadoop安裝
hadoop下載地址:
http://central.maven.org/maven2/org/apache/hadoop/
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
hadoop安裝獲取hadoop官方版本,另一個是CDH版本戴差,關(guān)于安裝版本選擇送爸,目前所使用的較多的有hadoop-2.5版本,但后續(xù)更多應(yīng)用均采用2.7,此處也選用hadoop-2.7
有參考版本如下:
hadoop-2.5.0.tar.gz
hbase-0.98.6-cdh5.3.0
jdk-7u67-linux-x64
zookeeper-3.4.5-cdh.10.0
實(shí)際安裝版本:
jdk-8.191
hadoop-2.7.7
zookeeper-3.4.5-cdh5.12.2
后續(xù)組件安裝sqoop選用版本:sqoop-1.4.7.bin__hadoop-2.6.0
已成功安裝對應(yīng)此版本下的基于zookeeper的hadoop集群袭厂,此版本測試環(huán)境可以放心使用墨吓,生產(chǎn)環(huán)境待測。
下一篇:進(jìn)行大數(shù)據(jù)平臺搭建hadoop安裝(單機(jī)版纹磺,hadoop集群版帖烘,zookeeper管理集群的安裝)
不足之處還望指正,謝謝!Q:1098077157