大數(shù)據(jù)平臺環(huán)境搭建準(zhǔn)備

1.虛擬機(jī)安裝
安裝vmware,此處安裝vmware14版本虛擬機(jī),密匙易搜扬虚。
2.linux環(huán)境準(zhǔn)備
下載linux系統(tǒng)鏡像,下載地址:
http://archive.kernel.org/centos-vault/6.5/isos/x86_64/
cent-os下載巨細(xì)說明:
https://blog.csdn.net/sinat_36564972/article/details/81560395
此處鑒于本機(jī)原因選擇cent-os-64位-6.5版本(現(xiàn)在一般服務(wù)server均使用7.4左右)
3.linux系統(tǒng)(cent-os)于虛擬機(jī)安裝
關(guān)于安裝cent-os有直接安裝標(biāo)準(zhǔn)版,可以直接安裝很容易囱稽,這樣安裝得到的是桌面版的cent-os系統(tǒng),但是初始使用basic-server版的cent-os安裝可以對該系統(tǒng)有個好的的了解常侣,具體的安裝本人借鑒于慕課網(wǎng)linux課程安裝進(jìn)行裆站,也可以自行搜集進(jìn)行l(wèi)inux系統(tǒng)的安裝条辟,安裝需要注意的地方做一羅列。
不使用標(biāo)準(zhǔn)簡易安裝宏胯,使用自定義安裝羽嫡,之后進(jìn)入安裝,需要注意的是如果是win10系統(tǒng)肩袍,需要進(jìn)入dos界面進(jìn)行簡單的設(shè)置杭棵。


下一步選擇好下載好的cent-os系統(tǒng)鏡像文件:

此處注意,開始安裝虛擬需要給自己所在盤符如e盤下留有足夠的空間,為了文件以及后續(xù)大數(shù)據(jù)hadoop體系組件搭建魂爪,留40g以上空間為保證后續(xù)操作順暢先舷。
win10系統(tǒng)創(chuàng)建虛擬機(jī)需要bois界面設(shè)置:
https://blog.csdn.net/sinat_37390744/article/details/56498655
安裝前虛擬機(jī)創(chuàng)建好后,其中一般將處理器設(shè)置為多核滓侍,此處設(shè)置為4核蒋川,選擇centos系統(tǒng)鏡像文件網(wǎng)絡(luò)選擇橋接,簡單的方法使得一臺電腦上的多臺虛擬機(jī)網(wǎng)絡(luò)可以互通(橋接的意思是跟主機(jī)可以互相通信且是率屬于同一網(wǎng)段撩笆,非主機(jī)路由出的子網(wǎng)段捺球,如果是net模式是由主機(jī)路由出的子網(wǎng)),初始建議網(wǎng)絡(luò)均選擇橋接模式夕冲,橋接模式下在同一局域網(wǎng)下或者公司內(nèi)網(wǎng)氮兵,之間均可以通信,但是需要注意如果公司網(wǎng)絡(luò)大量用于開發(fā)使用歹鱼,需要跟網(wǎng)絡(luò)工程師溝通泣栈,看是否有閑置ip,否則造成ip沖突醉冤,網(wǎng)絡(luò)不穩(wěn)定秩霍,還會影響同時辦公,也可以請教網(wǎng)絡(luò)工程師進(jìn)行協(xié)助蚁阳,那樣效率也會高很多铃绒,由于其它原因后續(xù)需要考慮與云主機(jī)進(jìn)行通訊等,暫不巨細(xì)討論螺捐。
網(wǎng)絡(luò)選擇橋接颠悬,選擇鏡像文件,內(nèi)存選擇1g(1g一般夠用定血,本機(jī)內(nèi)存是8g赔癌,內(nèi)存1g分給虛擬機(jī))

開機(jī)(快速切入虛擬機(jī)按F2)
進(jìn)入后選擇第一項(xiàng)-->已經(jīng)存在的系統(tǒng)-->之后檢查選擇skip跳過-->之后ok確認(rèn)后進(jìn)入centos的安裝-->選擇語言Chinese中文簡體-->鍵盤美國英式標(biāo)準(zhǔn)-->設(shè)備選擇基本存儲設(shè)備默認(rèn)-->默認(rèn)之后選擇安裝模式-->此處為了節(jié)省存儲空間-->使用自定義安裝-->然后進(jìn)行分區(qū)-->一般分區(qū)設(shè)置-->自定義分區(qū)-->必須根分區(qū)與boot分區(qū),boot 200M home 2000M swap 1000M \ 根分選擇剩余全部澜沟,作為最后需要的擴(kuò)展分區(qū)(備存放邏輯分區(qū))
-->格式化-->選擇basic server灾票,之后按照引導(dǎo)重新啟動ok,密碼設(shè)置此處均設(shè)置的不少于6位茫虽,完成安裝刊苍,上述主要步驟如上,巨細(xì)可以查找資料或者慕課網(wǎng)linux安裝濒析。

安裝成功后關(guān)機(jī)配置網(wǎng)絡(luò)正什,在安裝虛擬機(jī)后,進(jìn)入網(wǎng)絡(luò)適配器選項(xiàng)号杏,修改vm8網(wǎng)絡(luò)適配器婴氮,其網(wǎng)段與本機(jī)所在網(wǎng)絡(luò)一致,此處再可以查找資料。



修改vm8網(wǎng)絡(luò)適配器后修改vmware的網(wǎng)路適配器




網(wǎng)絡(luò)適配器參考:

配置好之后開機(jī)進(jìn)入虛擬機(jī)主经。
上述安裝完畢荣暮,虛擬機(jī)有兩個功能比較實(shí)用,快照和克隆旨怠,快照記錄下虛擬機(jī)某一狀態(tài)渠驼,所得到的快照文件也就便于另一臺,或者多態(tài)虛擬機(jī)的安裝鉴腻,克隆可以將整個系統(tǒng)克隆下來迷扇,生成的文件比快照要大,快照使用的更多一些爽哎,快照下某一時刻的應(yīng)用蜓席,之間進(jìn)行切換,便于系統(tǒng)恢復(fù)以及相關(guān)功能或者應(yīng)用組件安裝測試课锌。

上述對于虛擬機(jī)的基本安裝已經(jīng)好了厨内,接下來需要做一些為使用,再更進(jìn)一步為大數(shù)據(jù)組件安裝使用做一些準(zhǔn)備工作渺贤。
網(wǎng)絡(luò)配置:
vi /etc/sysconfig/network-scripts/ifcfg-eth0
如果是動態(tài)獲取地址雏胃,BOOTPROTO=dhcp ,如果是設(shè)置靜態(tài)地址志鞍,則BOOTPROTO=static

BOOTPROTO=static
IPADDR=192.168.1.103 (此處所在局域網(wǎng)的網(wǎng)絡(luò)ip設(shè)置瞭亮,與網(wǎng)絡(luò)適配器屬同一網(wǎng)段)
NETMASK=255.255.255.0
GATEWAY=192.168.1.1 (主機(jī)網(wǎng)絡(luò)適配器設(shè)置的網(wǎng)關(guān))
https://blog.csdn.net/u010064017/article/details/77883776
ONBOOT=yes
無論是動態(tài)還是靜態(tài),配置文件里默認(rèn)的ONBOOT=no要改成ONBOOT=yes固棚,然后保存统翩。
service neteork restart 命令重啟網(wǎng)絡(luò)服務(wù)。
vi /etc/resolv.conf
添加域名服務(wù)器:
nameserver 218.2.135.1
nameserver 8.8.8.8
保存后此洲,無需重啟網(wǎng)卡厂汗,DNS立即生效。
網(wǎng)絡(luò)成功配置參考:
https://blog.csdn.net/u010064017/article/details/77883776
https://blog.csdn.net/u014466635/article/details/80284792
網(wǎng)絡(luò)防火墻關(guān)閉(較為簡單呜师,參考下文檔娶桦,注意最好使用永久關(guān)閉防火墻):
service iptables stop(關(guān)閉)
chkconfig iptables off (永久關(guān)閉,使用永久關(guān)閉,三臺機(jī)器均操作)
service iptables status
https://www.cnblogs.com/maybo/p/5250668.html
service network restart 重啟網(wǎng)絡(luò)服務(wù)

為了配置安裝hadoop以及其它使用還需要進(jìn)行主機(jī)名的設(shè)置
主機(jī)名進(jìn)行設(shè)置(修改主機(jī)名):
[root@master /]# cat /etc/sysconfig/network #HOSTNAME=localhostzjx
NETWORKING=yes
HOSTNAME=master
NETWORKING_IPV6=yes

需要進(jìn)行切換用戶生效:
su - root

也可百度下設(shè)置用戶名和密碼,另外需要將進(jìn)行網(wǎng)絡(luò)通信的主機(jī)名與ip加入/etc/hosts 汁汗。這里面配置的是其它主機(jī)的ip與主機(jī)名的映射趟紊,由此才可以通過主機(jī)名進(jìn)行訪問。
vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.176.2.101 master
10.176.2.103 zjx03
10.176.2.105 zjx05
10.176.2.111 yjy11
10.176.2.113 yjy13
10.176.2.115 yjy15

可以使用主機(jī)名進(jìn)行測試:
ssh master date

基本安裝與環(huán)境配置到此已經(jīng)完畢碰酝,可以使用此鏡像完成

大數(shù)據(jù)hadoop安裝準(zhǔn)備
hadoop安裝
hadoop下載地址:
http://central.maven.org/maven2/org/apache/hadoop/
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

hadoop安裝獲取hadoop官方版本,另一個是CDH版本戴差,關(guān)于安裝版本選擇送爸,目前所使用的較多的有hadoop-2.5版本,但后續(xù)更多應(yīng)用均采用2.7,此處也選用hadoop-2.7
有參考版本如下:
hadoop-2.5.0.tar.gz
hbase-0.98.6-cdh5.3.0
jdk-7u67-linux-x64
zookeeper-3.4.5-cdh.10.0

實(shí)際安裝版本:
jdk-8.191
hadoop-2.7.7
zookeeper-3.4.5-cdh5.12.2
后續(xù)組件安裝sqoop選用版本:sqoop-1.4.7.bin__hadoop-2.6.0
已成功安裝對應(yīng)此版本下的基于zookeeper的hadoop集群袭厂,此版本測試環(huán)境可以放心使用墨吓,生產(chǎn)環(huán)境待測。

下一篇:進(jìn)行大數(shù)據(jù)平臺搭建hadoop安裝(單機(jī)版纹磺,hadoop集群版帖烘,zookeeper管理集群的安裝)

不足之處還望指正,謝謝!Q:1098077157

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末橄杨,一起剝皮案震驚了整個濱河市秘症,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌式矫,老刑警劉巖乡摹,帶你破解...
    沈念sama閱讀 212,718評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異采转,居然都是意外死亡聪廉,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,683評論 3 385
  • 文/潘曉璐 我一進(jìn)店門故慈,熙熙樓的掌柜王于貴愁眉苦臉地迎上來板熊,“玉大人,你說我怎么就攤上這事察绷「汕” “怎么了?”我有些...
    開封第一講書人閱讀 158,207評論 0 348
  • 文/不壞的土叔 我叫張陵克婶,是天一觀的道長筒严。 經(jīng)常有香客問我,道長情萤,這世上最難降的妖魔是什么鸭蛙? 我笑而不...
    開封第一講書人閱讀 56,755評論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮筋岛,結(jié)果婚禮上娶视,老公的妹妹穿的比我還像新娘。我一直安慰自己睁宰,他們只是感情好肪获,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,862評論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著柒傻,像睡著了一般孝赫。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上红符,一...
    開封第一講書人閱讀 50,050評論 1 291
  • 那天青柄,我揣著相機(jī)與錄音伐债,去河邊找鬼。 笑死致开,一個胖子當(dāng)著我的面吹牛峰锁,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播双戳,決...
    沈念sama閱讀 39,136評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼虹蒋,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了飒货?” 一聲冷哼從身側(cè)響起魄衅,我...
    開封第一講書人閱讀 37,882評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎膏斤,沒想到半個月后徐绑,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,330評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡莫辨,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,651評論 2 327
  • 正文 我和宋清朗相戀三年傲茄,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片沮榜。...
    茶點(diǎn)故事閱讀 38,789評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡盘榨,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出蟆融,到底是詐尸還是另有隱情草巡,我是刑警寧澤,帶...
    沈念sama閱讀 34,477評論 4 333
  • 正文 年R本政府宣布型酥,位于F島的核電站山憨,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏弥喉。R本人自食惡果不足惜郁竟,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,135評論 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望由境。 院中可真熱鬧棚亩,春花似錦、人聲如沸虏杰。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,864評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽纺阔。三九已至瘸彤,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間笛钝,已是汗流浹背钧栖。 一陣腳步聲響...
    開封第一講書人閱讀 32,099評論 1 267
  • 我被黑心中介騙來泰國打工低零, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人拯杠。 一個月前我還...
    沈念sama閱讀 46,598評論 2 362
  • 正文 我出身青樓,卻偏偏與公主長得像啃奴,于是被迫代替她去往敵國和親潭陪。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,697評論 2 351

推薦閱讀更多精彩內(nèi)容