一.基本配置
1.關(guān)閉防火墻
Cloudera Manager不能穿透防火墻癣籽，所以需要將防火墻關(guān)閉挽唉。
以CentOS6為例：
立刻關(guān)閉防火墻/永久關(guān)閉防火墻
[root@vhost174 ~]# service iptables stop
[root@vhost174 ~]# chkconfig iptables off
查看防火墻狀態(tài)
[root@vhost174 ~]# service iptables status
iptables: Firewall is not running.
2.關(guān)閉 Selinux
查看狀態(tài)
[root@vhost174 ~]# getenforce
Disabled
如果為enforcing，修改下面選項(xiàng)
[root@vhost174 ~]# vim /etc/selinux/config
SELINUX=disabled
（此步驟需要重啟服務(wù)器才生效）
3.修改hosts文件
文件位置：
/etc/hosts
在所有節(jié)點(diǎn)添加
IP 主機(jī)名
二.基本優(yōu)化
1.關(guān)閉THP（transparent_hugepage）
該配置為CDH & Redis & MongoDB 官方推薦關(guān)閉筷狼，如果不關(guān)閉會增大CPU占用瓶籽。
查看THP狀態(tài)
[root@vhost174 ~]# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never
關(guān)閉 THP
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
2.修改最大文件打開數(shù)以及鏈接數(shù)
[root@vhost174 ~]# vim /etc/security/limits.conf
# 添加如下的行
* soft nofile 32768
* hard nofile 32768
Hadoop - nofile 32768
Hadoop - nproc unlimited
#<CDH5> additional users
Hdfs - nofile 32768
spark soft nofile 65535
spark hard nofile 5535
spark - nproc 32768
以下是說明：
- 代表針對所有用戶
noproc 是代表最大進(jìn)程數(shù)
nofile 是代表最大文件打開數(shù)
3.swap分區(qū)
最好關(guān)閉swap分區(qū)
sudo sysctl vm.swappiness=0
vim /etc/sysctl.conf
添加
vm.swappiness=0
4.安裝NTP
三.配置本地repo
選擇一個節(jié)點(diǎn)安裝這個和CDH & CM 沒有關(guān)系，也不需要安裝到CDH 或者 CM節(jié)點(diǎn)埂材，只是用來放置安裝包塑顺。
1.安裝apache 服務(wù)器
本地Repo用來存放CDH和CM的安裝軟件包，實(shí)際就是yum install 軟件所在的庫俏险，是一個apache2服務(wù)器茬暇。
安裝apache2服務(wù)器
CentOS
yum -y install httpd
ubuntu
apt-get install -y apache2
啟動服務(wù)apache2
service httpd start
默認(rèn)端口為80
瀏覽器訪問 http:IP 查看安裝啟動是否成功
apache2的根目錄為/var/www/html/
（最新的apache已經(jīng)變更目錄，為新建apache用戶的home目錄下）
2.下載CDH安裝包
下載腳本
#!/bin/bashRH6DIR=$(cd "$(dirname "$0")";pwd)
cd $RH6DIR
ADDRESS=`date -d "yesterday" +"%Y%m%d"`
date >> wget.log
rm -rf stderr.log stdout.log
for benchmark in `cat $RH6DIR/dowmload.list`; doif [[ $benchmark == \#* ]]; thencontinuefi
wget -r -np -c -N --tries=0 --level=15 --reject=html,*5.0.0*,*5.0.1*,*5.0.2*,*5.0.3*,*5.0.4*,*5.0.5*,*5.0.6*,*5.0.7*,*5.0.8*,*5.0.9*,*5.1.1*,*5.1.2*,*5.1.3*,*5.1.4*,*5.1.5*,*5.1.6*,*5.1.7*,*5.1.8*,*5.1.9*,*5.2.0*,*5.2.1*,*5.2.2*,*5.2.3*,*5.2.4*,*5.2.5*,*5.2.6*,*5.2.7*,*5.2.8*,*5.2.9*,*5.3.0*,*5.3.1*,*5.3.2*,*5.3.3*,*5.3.4*,*5.3.5*,*5.3.6*,*5.3.7*,*5.3.8*,*5.3.9*,*5.4.0*,*5.4.1*,*5.4.2*,*5.4.3*,*5.4.4*,*5.4.5*,*5.4.6*,*5.4.7*,*5.4.8*,*5.4.9* $benchmark 2>> wget.log
done
2.dowmload.list
就是下載 CDH 與 CM
http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.5.0/
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.5.0/
下載以CDH5.5.0&CM5.5.0為例寡喝。
下載好以后將軟件包拷貝到 /var/www/html/ 下
這樣就可以通過瀏覽器訪問repo
四.安裝CM & CDH
選擇一個節(jié)點(diǎn)作為CM節(jié)點(diǎn)。
- 配置 repo 源
注：安裝CDH 以及CM 需要root 用戶或者有root權(quán)限的用戶
把本地repo添加地址 /etc/yum.repos.d/目錄下
模版：
#cm.repo的內(nèi)容
[cm]
name=cm
baseurl=[http://local_repo.com/CDH5.4.3/archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.4.3](http://local_repo.com/CDH5.4.3/archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.4.3)
gpgcheck=0
[cdh]
name=cdh
baseurl=[http://local_repo.com/CDH5.4.3/archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.4.3](http://local_r)
gpgcheck=0
2.下載CM安裝腳本
wget [http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin](http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin)
修改權(quán)限
chmod u+x cloudera-manager-installer.bin
-
安裝CM
運(yùn)行--skip_repo_package=1表示忽略網(wǎng)絡(luò)repo使用本地repo
./cloudera-manager-installer.bin --skip_repo_package=1
等待安裝結(jié)束
image.png
CDH 的默認(rèn)端口為7180
五.安裝 CDH
- 登錄Web安裝界面
CM 管理的默認(rèn)帳號密碼為：
username:admin
password:admin
打開瀏覽器輸入安裝了CM的：IP:7180
2.版本選擇
可以選擇Cloudera Enterprise
開始免費(fèi)60天勒奇，等試用結(jié)束自動變成免費(fèi)版
3.填寫服務(wù)器
填寫要安裝CDH的服務(wù)器预鬓，填寫IP
可以一個一個填寫用英文逗號分割，例如：192.168.177.134,192.168.177.135,192.168.177.136
也可以用范圍赊颠，例如：192.168.177.[134-136]
注：填寫了IP 并不代表該太服務(wù)器就會立刻安裝Hadoop格二，CM會將所有的安裝包都拷貝到相應(yīng)的節(jié)點(diǎn)，大約3.6GB竣蹦。等到后面可以選擇具體哪個節(jié)點(diǎn)安裝什么樣的角色顶猜。Flume也通過CM安裝。
目前已知的組件有
HDFS痘括，HBase长窄，Hive，Yarn纲菌，Spark挠日，ZooKeeper，Oozie翰舌，Pig嚣潜，Sqoop，Sentry椅贱，F(xiàn)lume懂算，mahout只冻，search，whirr计技，llama喜德，Impala，Hue酸役，solr住诸，Bigtop
所有服務(wù)器都必須可以訪問，點(diǎn)擊搜索以后就可以繼續(xù)
這個地方選擇使用數(shù)據(jù)包
選擇自定義存儲庫
在這里填寫上CDH的repo地址
選擇安裝Java工具包
Java無限制強(qiáng)度加密政策文件不要選涣澡，如果需要使用kerberos 用戶或者使用Sentry 時候才安裝贱呐。
點(diǎn)擊繼續(xù)，不要選單用戶模式
填寫所有服務(wù)器的root賬戶密碼
繼續(xù)以后就可以執(zhí)行安裝了
等待安裝結(jié)束
這個地方根據(jù)需要進(jìn)行更改
最后一步運(yùn)行所有的服務(wù)
安裝成功界面
（關(guān)閉HDFS權(quán)限檢查）
