引用：http://www.reibang.com/p/57179e03795f
系統(tǒng)要求
系統(tǒng)：CentOS 6.5
Cloudera:CM5.2.0 + CDH 5.2.0
內(nèi)存：主節(jié)點4G內(nèi)存以上，其他節(jié)點需要2G以上內(nèi)存
Hadoop版本選擇
目前Hadoop比較流行的主要有2個版本惋鸥，Apache和Cloudera版本杂穷。
Apache Hadoop：維護人員比較多鹅龄，更新頻率比較快，但是穩(wěn)定性比較差亭畜。
Cloudera Hadoop（CDH）：CDH：Cloudera公司的發(fā)行版本扮休，基于ApacheHadoop的二次開發(fā)，優(yōu)化了組件兼容和交互接口拴鸵、簡化安裝配置玷坠、增加Cloudera兼容特性。
準備工作
以下步驟要在所有節(jié)點上執(zhí)行
修改hostname
vi /etc/sysconfig/network
關閉SELinux
查看SELinux狀態(tài)
getenforce
若SELinux沒有關閉劲藐，按照下述方式關閉
vi /etc/selinux/config
修改SELinux=disabled八堡。重啟生效，可以等后面都設置完了重啟主機
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#? ? ? enforcing - SELinux security policy is enforced.
#? ? ? permissive - SELinux prints warnings instead of enforcing.
#? ? ? disabled - SELinux is fully disabled.
SELINUX=disabled
# SELINUXTYPE= type of policy in use. Possible values are:
#? ? ? targeted - Only targeted network daemons are protected.
#? ? ? strict - Full SELinux protection.
SELINUXTYPE=targeted
關閉防火墻
sudo service iptables stop
sudo chkconfig iptables off
sudo chkconfig iptables --list
網(wǎng)絡配置
vim /etc/sysconfig/network-scripts/ifcfg-eth0
設置靜態(tài)ip聘芜，以及指定ip地址
DEVICE="eth0"
BOOTPROTO="static"
IPADDR=192.168.1.110
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
DNS1=8.8.8.8
DNS2=8.8.4.4
GATEWAY=192.168.1.1
修改hosts文件
把所有要添加到集群中的主機都要加入hosts中兄渺，格式如下：
127.0.0.1? ? ? ? ? localhost
# CDH Cluster
192.168.1.110? master
192.168.1.111? slave1
192.168.1.112? slave2
以上步驟執(zhí)行完畢后，重啟主機
reboot
重啟后再次檢查下以上幾點汰现，確保環(huán)境配置正確挂谍。
提前下載(本教程中，CM和CDH版本均為5.2.0)
修改baseurl中cm版本為實際版本瞎饲，本例中改成5.2.0
[cloudera-manager]
# Packages for Cloudera Manager, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera Manager
baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.2.0/
gpgkey =https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1
下載CM rpms口叙，目錄下全部下載出來
下載CDH Parcel文件，只需要下載圖中所示的3個文件
CDH文件下載
這里注意下嗅战，將.sha1文件后綴更改為.sha妄田，同時把內(nèi)容只保留hash碼部分。(5.2.0版本sha文件內(nèi)容本身就只包含hash碼驮捍，不需要修改疟呐，其他版本請自行查看！)
Cloudera Manager安裝
以下步驟要在所有節(jié)點上執(zhí)行：
將cloudera-manager.repo文件拷貝到所有節(jié)點的/etc/yum.repos.d/文件夾下
驗證repo文件是否起效
yum list|grep cloudera
如果列出的不是你安裝的版本东且，執(zhí)行下面命令重試
yum clean all
yum list | grep cloudera
將之前下載的rpms文件拷貝到所有節(jié)點下（任意目錄）
切換到rpms目錄下启具，執(zhí)行
yum -y install *.rpm
將之前下載的Parcel那3個文件拷貝到/opt/cloudera/parcel-repo目錄下（如果沒有該目錄，請自行創(chuàng)建）
至此苇倡，/opt/cloudera/parcel-repo下面有三個文件：? ? CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel
mainfest.json
CDH-5.2.0-1.cdh5.2.0.p0.36-el6.parcel.sha
以下步驟請只在主節(jié)點上執(zhí)行：
將下載好的bin文件拷貝到主節(jié)點任意目錄下
進入該目錄富纸，給bin文件賦予可執(zhí)行權限
sudo chmod +x ./cloudera-manager-installer.bin
安裝CM
./cloudera-manager-installer.bin
接下來全部next和yes就行了囤踩，因為所需要的rpm包已經(jīng)提前下載下來了旨椒，這個過程會進行的非常快堵漱。
CM安裝成功
CDH集群安裝
CM安裝成功后瀏覽器輸入http://ip:7180,ip是CM安裝的主機ip或者主機名综慎。顯示如下界面，用戶名和密碼都輸入admin勤庐，進入web管理界面示惊。
CM Web管理界面
如果打不開改網(wǎng)頁好港，請耐心等待會。這個服務啟動是需要一定時間的米罚。
選擇部署的版本钧汹，這里我們選擇免費版的就可以了。
CM-選擇版本
點擊繼續(xù)
CM-介紹
選擇添加的主機录择。輸入主機ip或者主機名拔莱，點擊搜索。
CM-選擇主機
這里如果選擇一系列主機可以輸入如下的內(nèi)容：
192.168.1.[101-105]
slave[1-3].com.cn
勾選要添加的主機隘竭，繼續(xù)下一步操作塘秦。
選擇存儲庫
這里我們采用Parcel離線安裝的方式，安裝簡便动看、完全離線而且更便于集群的管理尊剔。
CM-選擇存儲庫
選擇我們之前上傳到服務器的CDH5.2.0版本，其他全選無菱皆，下一步须误。
JDK安裝選項
這里之前已經(jīng)安裝過了，所以不需要勾選仇轻，直接繼續(xù)霹期。
CM－JDK安裝
提供SSH登陸憑據(jù)
由于CDH會自動管理所有主機間的SSH通訊，所以我們之前并沒有手動配置各個節(jié)點間的SSH免密登錄拯田。在這里統(tǒng)一設置就行了历造，設置好密碼點繼續(xù)。
CM－SSH管理
集群安裝
因為這里所需要的軟件包我們之前都已經(jīng)安裝過了船庇，這一步會很快結束吭产。
CM－集群安裝
安裝完成
安裝Parcel到所有主機上
因為Parcel文件已經(jīng)提前下載好了，第一個進度條會直接顯示已下載鸭轮，然后開始分配臣淤。這個過程實際上就是將Parcel內(nèi)的軟件解壓縮安裝到各個主機上的過程。耐心等待窃爷，時間會比較長邑蒋，我安裝2臺主機大概是需要20分鐘時間。
CM－安裝Parcel
安裝完畢后點繼續(xù)
Parcel安裝完畢
主機檢查
檢查就可以了按厘，建議不要跳過医吊。檢查結果如下：
主機檢查
下面這2個都是誤報，不需要理會逮京。
主機檢查2
安裝服務
CDH5提供了你可能需要的各種服務卿堂，需要什么啟動什么就行了。這里我選擇了自定義，添加HBase草描，HDFS览绿，MapReduce和ZooKeeper，這里大家按照自己的需求選穗慕。
CM－添加服務
角色分配
分配各個節(jié)點的角色
CM-角色分配
數(shù)據(jù)庫設置
CDH默認內(nèi)嵌了一個數(shù)據(jù)庫饿敲，如果你需要MySQL或者Oracle請選擇使用自定義數(shù)據(jù)庫，點擊測試連接逛绵，成功后點繼續(xù)诀蓉。
CM－數(shù)據(jù)庫設置
審核更改
這里全部默認就可以了，直接繼續(xù)暑脆。
CM－審核更改
安裝完成渠啤，初始化
到這里集群已經(jīng)安裝部署完成了，CDH會自動對你選擇的服務進行初始化設置添吗，你也可以稍后自行開啟沥曹。
CM－初始化
初始化完成后，將進入主頁面
CM－主頁
因為我們只安裝了2臺主機碟联，而HDFS和ZooKeeper建議至少3個節(jié)點妓美，所以頁面上有一些警告，這些都不影響鲤孵。到此壶栋，CDH集群部署完成。
問題匯總
1普监、安裝過程中遇到以下提示
Detecting Cloudera Manager Server...
Detecting Cloudera Manager Server...
BEGIN host -t PTR 192.168.1.198
198.1.168.192.in-addr.arpa domain name pointer localhost.
END (0)
using localhost as scm server hostname
BEGIN which python
/usr/bin/python
END (0)
BEGIN python -c 'import socket; import sys; s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' localhost 7182
Traceback (most recent call last):
File "", line 1, in
File "", line 1, in connect
socket.error: [Errno 111] Connection refused
END (1)
could not contact scm server at localhost:7182, giving up
waiting for rollback request
在失敗的主機上贵试，終端執(zhí)行
mv /usr/bin/host /usr/bin/host.bak
然后重試。
2凯正、安裝過程一直卡在"正在獲取安裝鎖"
在卡住的主機上毙玻，刪除/tmp文件夾中的所有scm_prepare_node.開頭的文件，清空yum緩存廊散，然后重啟主機桑滩。
cd /tmp
rm -rf? scm_prepare_node.*
yum clean all
reboot
3、安裝完畢后NameNode格式化失敗允睹，報一下錯誤
IncorrectVersionException: Unexpected version of storage directory /data/dfs
刪除NameNode節(jié)點的/data/dfs文件夾运准，重新添加主機。
4缭受、如何更改節(jié)點ip
重新設置每臺主機的hosts文件胁澳，完成后進入主機界面，點擊重新運行升級向導贯涎，再走一遍之前的流程即可听哭。
更改ip
作者：dzgdp888
鏈接：http://www.reibang.com/p/57179e03795f
來源：簡書
著作權歸作者所有慢洋。商業(yè)轉載請聯(lián)系作者獲得授權塘雳，非商業(yè)轉載請注明出處陆盘。
