超簡單的CDH6部署和體驗(單機版)

歡迎訪問我的GitHub

內(nèi)容：所有原創(chuàng)文章分類匯總及配套源碼谭胚，涉及Java饵史、Docker阅虫、Kubernetes境钟、DevOPS等矮慕；

為什么會超簡單

借助ansible簡化了CDH6部署工作的大部分內(nèi)容填物，也降低了手工操作失誤的概率毛萌，今天實戰(zhàn)的內(nèi)容损晤，是在一臺安裝了ansible的電腦上(蘋果或Linux操作系統(tǒng))運行ansible腳本，遠程操作一臺CentOS服務(wù)器砌溺，在上面部署CDH6影涉，并操作驗證本次部署是否成功。

ansible學習

如果您想了解ansible规伐，請參考《ansible2.4安裝和體驗》

為什么要部署單機版CDH6

主要是用來做為大數(shù)據(jù)技術(shù)的學習和開發(fā)的環(huán)境蟹倾，并不適合生產(chǎn)；

實戰(zhàn)簡述

本次實戰(zhàn)內(nèi)容：部署猖闪、啟動鲜棠、驗證，整個過程如下圖所示：

在這里插入圖片描述

全文大綱

本文由以下章節(jié)組成：

環(huán)境信息培慌；
下載文件豁陆；
文件擺放；
CDH機器設(shè)置吵护；
ansible參數(shù)設(shè)置盒音；
部署；
重啟CDH服務(wù)器
啟動何址；
設(shè)置里逆；
修復問題；
體驗用爪；

環(huán)境信息

本次實戰(zhàn)的操作過程如下圖所示原押，安裝ansible2.9版本的MabBook Pro電腦作為ansible服務(wù)器，執(zhí)行playbook腳本偎血，對一臺CentOS服務(wù)器進行遠程操作诸衔，完成CDH6的部署和啟動：

在這里插入圖片描述

上圖藍色背景的電腦，可以是蘋果操作系統(tǒng)颇玷，也可以是Linux操作系統(tǒng)笨农，黃色背景的電腦要用來運行CDH6，必須是CentOS7.7操作系統(tǒng)(實在對不起帖渠，我這條件有限谒亦，別的系統(tǒng)沒有試過)

整個實戰(zhàn)涉及的環(huán)境版本信息如下：

ansible服務(wù)器：macOS Catalina 10.15(實測用CentOS7.7也成功)
CDH服務(wù)器：CentOS Linux release 7.7.1908
cm版本：6.1.0
parcel版本：6.1.1
jdk版本：8u191

下載文件(ansible服務(wù)器)

本次實戰(zhàn)用到的所有文件如下表所示：

| 編號 | 文件名 | 簡介 |
|--|--|--|--|
| 1 | jdk-8u191-linux-x64.tar.gz | Linux版的jdk安裝包 |
| 2 | mysql-connector-java-5.1.34.jar | mysql的JDBC驅(qū)動 |
| 3 | cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm | cm的server安裝包 |
| 4 | cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm | cm的daemon安裝包 |
| 5 | cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm | cm的agent安裝包 |
| 6 | CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel | CDH應用離線安裝包 |
| 7 | CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha | CDH應用離線安裝包sha驗證碼 |
| 8 | hosts | ansible用到的遠程主機配置，里面記錄了CDH6服務(wù)器的信息 |
| 9 | ansible.cfg | ansible用到的配置信息 |
| 9 | ansible.cfg | ansible用到的配置信息 |
| 10 | cdh-single-install.yml | 部署CDH時用到的ansible腳本 |
| 11 | cdh-single-start.yml | 初次啟動CDH時用到的ansible腳本 |

上述11個文件的下載地址：

jdk-8u191-linux-x64.tar.gz：Oracle官網(wǎng)可下空郊，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn份招，您可以一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987
mysql-connector-java-5.1.34.jar：maven中央倉庫可下狞甚，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn锁摔，您可以一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987
cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm
cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm
cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm
CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel：https://archive.cloudera.com/cdh6/6.1.1/parcels/CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel
CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha：https://archive.cloudera.com/cdh6/6.1.1/parcels/CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha256 （下載完畢后哼审，將擴展名從.sha256改為.sha）
hosts谐腰、ansible.cfg孕豹、cdh-single-install.yml、cdh-single-start.yml：這四個文件都保存在我的GitHub倉庫十气，地址是：https://github.com/zq2599/blog_demos 励背，這里面有多個文件夾，上述文件在名為ansible-cdh6-single的文件夾中砸西，如下圖紅框所示：

在這里插入圖片描述

文件擺放(ansible服務(wù)器)

如果您已經(jīng)下載好了上述11個文件椅野，請按照如下位置擺放，這樣才能順利完成部署：

在家目錄下新建名為playbooks的文件夾：mkdir ~/playbooks
把這四個文件放入playbooks文件夾：hosts籍胯、ansible.cfg、cdh-single-install.yml离福、cdh-single-start.yml
在playbooks文件夾里新建名為cdh6的子文件夾杖狼；
把這七個文件放入cdh6文件夾(即剩余的七個)：jdk-8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar妖爷、cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm蝶涩、cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm、cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm絮识、CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel绿聘、CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha
擺放完畢后目錄和文件情況如下圖，再次提醒次舌，文件夾playbooks一定要放在家目錄下（即：~/）：

在這里插入圖片描述

CDH服務(wù)器設(shè)置

本次實戰(zhàn)中熄攘，CDH服務(wù)器hostname是deskmini，IP地址是192.168.50.134彼念，需要做以下操作：

請確保CDH服務(wù)器能SSH登錄(用戶名+密碼)挪圾；
SSH登錄到部署CDH的機器；
檢查/etc/hostname文件是正確逐沙，如下圖：

在這里插入圖片描述
修改/etc/hosts文件哲思，將自己的IP地址和hostname配置上去，如下圖紅框所示（事實證明這一步很重要吩案，如果不做可能導致在部署時一直卡在"分配"階段棚赔，看agent日志顯示agent下載parcel的進度一直是百分之零）：

在這里插入圖片描述

ansible參數(shù)設(shè)置(ansible服務(wù)器)

ansible參數(shù)設(shè)置的操作設(shè)置很簡單，就是把部署CDH的機器信息配置好即可徘郭，包括IP地址靠益、登錄賬號、密碼等崎岂，修改~/playbooks/hosts文件捆毫，內(nèi)容如下所示，您需要根據(jù)自身情況修改deskmini冲甘、ansible_host绩卤、ansible_port途样、ansible_user、ansible_password：

[cdh_group]
deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888

部署(ansible服務(wù)器)

進入~/playbooks目錄濒憋；
檢查ansible遠程操作CDH服務(wù)器是否正常何暇，執(zhí)行命令ansible deskmini -a "free -m"，正常情況下顯示CDH服務(wù)器的內(nèi)存信息凛驮，如下圖：

在這里插入圖片描述
執(zhí)行此命令開始部署：ansible-playbook cdh-single-install.yml
整個部署過程涉及在線安裝裆站、傳遞文件等耗時的操作，因此請耐心等待（半小時左右）黔夭，我在部署期間遭遇網(wǎng)絡(luò)問題導致失敗退出宏胯，待網(wǎng)絡(luò)正常后再重新執(zhí)行上述操作即可，ansible保證了操作的冪等性本姥；
部署成功如下圖所示：

在這里插入圖片描述

重啟CDH服務(wù)器

由于修改了selinux和swap的設(shè)置肩袍，需要重啟操作系統(tǒng)才能生效，因此請重啟CDH服務(wù)器婚惫；

啟動(ansible服務(wù)器)

等待CDH服務(wù)器重啟成功氛赐；
登錄ansible服務(wù)器，進入~/playbooks目錄先舷；
執(zhí)行此命令開始初始化數(shù)據(jù)庫艰管，然后啟動CDH：ansible-playbook cdh-single-start.yml
啟動完成輸出如下信息：

在這里插入圖片描述

設(shè)置(網(wǎng)頁)

CDH已經(jīng)啟動，CDH服務(wù)器對外提供了web服務(wù)蒋川，可以通過瀏覽器來操作：

瀏覽器訪問：http://192.168.50.134:7180 牲芋，如下圖，賬號密碼都是admin：

在這里插入圖片描述
一路next尔破，在選擇版本頁面選擇60天體驗版：

在這里插入圖片描述
選擇主機頁面可見deskmini：

在這里插入圖片描述
選擇下圖紅框中的CDH版本街图，因為對應的離線包已經(jīng)復制到CM的本地倉庫，無需下載：

在這里插入圖片描述
下載瞬間完成懒构，等候分配餐济、解壓、激活：

在這里插入圖片描述
選擇服務(wù)的頁面胆剧，我這里選擇了Data Engineering絮姆，因為需要spark：

在這里插入圖片描述
選擇機器的頁面，全選deskmini：

在這里插入圖片描述
數(shù)據(jù)庫設(shè)置頁面秩霍，請和下圖保持一致篙悯，數(shù)據(jù)庫主機都是localhost，每個數(shù)據(jù)庫的名稱铃绒、用戶名鸽照、密碼都相同，分別是：hive颠悬、amon矮燎、rman定血、oozie、hue

在這里插入圖片描述
參數(shù)設(shè)置頁面诞外，請根據(jù)磁盤情況適當調(diào)整存儲路徑澜沟，例如我的/home目錄空間充足，這里都改到了/home目錄下面：

在這里插入圖片描述
等待啟動完成：

在這里插入圖片描述
等待啟動完成后峡谊，如下圖所示：

在這里插入圖片描述

至此茫虽，所有服務(wù)啟動完成，不過有兩個小問題需要修復既们；

修復HDFS問題

服務(wù)整體情況如下圖濒析，HDFS服務(wù)有問題，點擊紅框中的圖標：

在這里插入圖片描述
點擊下圖紅框位置：

在這里插入圖片描述
故障詳情如下圖所示啥纸，屬于常見的副本不足的問題：

在這里插入圖片描述
如下圖所示悼枢，修改HDFS的配置dfs.replication，從3改成1脾拆，然后保存更改：

在這里插入圖片描述
重啟服務(wù)：

在這里插入圖片描述
經(jīng)過上述設(shè)置，副本數(shù)已經(jīng)調(diào)整為1莹妒，但是已有文件的副本數(shù)還沒有同步名船，需要重新做設(shè)置，SSH登錄到電腦deskmini上旨怠；
執(zhí)行命令vi /etc/passwd渠驼，找到賬號hdfs的配置，如下圖紅框所示鉴腻，/sbin/nologin這樣的shell會導致切換到hdfs賬號失斆陨取：

在這里插入圖片描述
將上述紅框中的內(nèi)容改為/bin/bash，修改后如下圖紅框所示：

在這里插入圖片描述
執(zhí)行命令su - hdfs爽哎，即可切換到hdfs賬號蜓席，此時執(zhí)行以下命令即可完成副本數(shù)設(shè)置：

hadoop fs -setrep -R 1 /

服務(wù)已經(jīng)全部正常了：

在這里插入圖片描述

調(diào)整YARN參數(shù)避免spark-shell啟動失敗

YARN默認給容器分配的內(nèi)存過小，導致啟動spark-shell失敗课锌，需要調(diào)整YARM相關(guān)的內(nèi)存參數(shù)：

在這里插入圖片描述
在YARN的配置頁面厨内，調(diào)整yarn.scheduler.maximum-allocation-mb和yarn.nodemanager.resource.memory-mb這兩個參數(shù)的值，我這里將這個兩個參數(shù)的值都改成8G（請按照自己電腦實際硬件配置來調(diào)整）渺贤，如下圖：

在這里插入圖片描述
重啟YARN：

在這里插入圖片描述
執(zhí)行spark-shell命令之前雏胃，先執(zhí)行命令su - hdfs切換到hdfs賬號；
這次終于成功進入spark-shell交互模式：

在這里插入圖片描述

至此志鞍，CDH6的部署瞭亮、啟動、設(shè)置都已經(jīng)完成固棚，接下來體驗一下大數(shù)據(jù)服務(wù)统翩；

體驗HDFS和Spark

接下來運行一個Spark任務(wù)仙蚜，經(jīng)典的WordCount：

準備一份文本文件，里面是英文內(nèi)容唆缴，您可以下載這個文件：https://raw.githubusercontent.com/zq2599/blog_demos/master/files/GoneWiththeWind.txt
登錄SSH鳍征，切換到hdfs賬號；
創(chuàng)建HDFS文件夾：

hdfs dfs -mkdir /input

hdfs dfs -put ./GoneWiththeWind.txt /input

執(zhí)行命令spark-shell面徽，啟動一個worker艳丛；
輸入以下命令，即可完成一次WorkCount任務(wù)趟紊，192.168.50.134是deskmini的IP地址：

sc.textFile("hdfs://192.168.50.134:8020/input/GoneWiththeWind.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://192.168.50.134:8020/output")

執(zhí)行完畢后氮双，下載結(jié)果文件：

hdfs dfs -get /output/*

上述命令將spark任務(wù)的結(jié)果文件part-00000、part-00001下載到本機霎匈，用vi命令查看文件戴差，如下圖，可見WorkCount執(zhí)行成功：

在這里插入圖片描述
在瀏覽器上查看歷史任務(wù)铛嘱，地址是：http://192.168.50.134:18088 暖释，可見此次任務(wù)的詳情：

在這里插入圖片描述

至此，CDH6的部署墨吓、設(shè)置球匕、體驗都已經(jīng)完成，如果您正在搭建自己的學習或者開發(fā)環(huán)境帖烘，希望本文能給您一些參考亮曹。

深度定制

整個實戰(zhàn)雖然避免了傳統(tǒng)部署過程中的大量手動操作，但弊端也很明顯：所有路徑秘症、文件名照卦、服務(wù)版本都是固定的，不能做任何設(shè)置乡摹，雖然ansible也支持變量役耕，但是如果變量太多也會給您帶來困擾，所以聪廉，如果您有修改版本或路徑的需求蹄葱，建議您自行修改cdh-single-install.yml、cdh-single-start.yml的內(nèi)容锄列，所有文件和版本信息都在里面图云。

歡迎關(guān)注公眾號：程序員欣宸

微信搜索「程序員欣宸」，我是欣宸邻邮，期待與您一同暢游Java世界...
https://github.com/zq2599/blog_demos