Hadoop集群安裝記錄

前言

因工作需要驗證FlinkCDC相關(guān)功能侦副，F(xiàn)link的checkpoint 信息可以放到Hdfs上酒贬，因此想部署一套Hadoop進行驗證，鑒于之前部署的都沒有做記錄绢涡，本次安裝部署的時候還得重新找安裝步驟乓梨，因此本次做了記錄鳖轰，方便后續(xù)如果需要可以進行快速安裝。大神繞過~

一扶镀、環(huán)境準備

1.集群規(guī)劃

    VMware Workstation 15
    CentOS 7.9
    192.168.10.21(hadoop01)
    192.168.10.22(hadoop02)
    192.168.10.23(hadoop03)

2.虛擬機安裝蕴侣、網(wǎng)絡(luò)配置
略...
3.JDK安裝

版本：JDK1.8
步驟：略

新增 hadoop 用戶增加sudo權(quán)限

1.新增用戶
useradd hadoop
passwd hadoop

2.增加sudo權(quán)限
vi /etc/sudoers
新增 hadoop   ALL=(ALL)   ALL

## Allow root to run any commands anywhere 
root     ALL=(ALL)   ALL
hadoop   ALL=(ALL)   ALL

二、zookeeper安裝

1.hadoop用戶配置免密

1.各節(jié)點ssh-keygen生成RSA密鑰和公鑰（192.168.10.21~23）
ssh-keygen -q -t rsa  -N "" -f  ~/.ssh/id_rsa

2.將所有的公鑰文件匯總到一個總的授權(quán)key文件中臭觉，在192.168.10.21 執(zhí)行
ssh 192.168.10.21 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh 192.168.10.22 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh 192.168.10.23 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3.出于安全性考慮昆雀，將這個授權(quán)key文件賦予600權(quán)限：    
chmod 600 ~/.ssh/authorized_keys

4.將這個包含了所有互信機器認證key的認證文件，分發(fā)到各個機器中去
scp ~/.ssh/authorized_keys  192.168.10.22:~/.ssh/
scp ~/.ssh/authorized_keys  192.168.10.23:~/.ssh/

修改hosts

vi /etc/hosts

#Hadoop Cloud
192.168.10.21 hadoop01
192.168.10.22 hadoop02
192.168.10.23 hadoop03

3.上傳安裝包到hadoop01

下載：http://archive.apache.org/dist/zookeeper/
版本：apache-zookeeper-3.8.0-bin.tar.gz
注：zookeeper 好像從 3.5 版本以后胧谈，命名就發(fā)生了改變忆肾，如果是 apache-zookeeper-3.5.5.tar.gz 這般命名的，都是未編譯的菱肖，而 apache-zookeeper-3.5.5-bin.tar.gz 這般命名的客冈，才是已編譯的包。


個人喜歡使用rz稳强，先安裝這個工具
sudo yum -y install lrzsz

1.創(chuàng)建目錄
mkdir -p /home/hadoop/plat/zookeeper

2.上傳安裝包到該目錄

3.解壓
cd /home/hadoop/plat/zookeeper
tar -zxvf apache-zookeeper-3.8.0-bin.tar.gz

4.更改名稱
mv apache-zookeeper-3.8.0-bin zookeeper-3.8.0

5.新增目錄
mkdir -p /home/hadoop/plat/zookeeper/zookeeper-3.8.0/data
mkdir -p /home/hadoop/plat/zookeeper/zookeeper-3.8.0/logs

修改配置文件

1.配置文件修改
cd /home/hadoop/plat/zookeeper/zookeeper-3.8.0/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
刪除其中內(nèi)容场仲，并更改為
tickTime=2000                                                                                                        
dataDir=/home/hadoop/plat/zookeeper/zookeeper-3.8.0/data
dataLogDir=/home/hadoop/plat/zookeeper/zookeeper-3.8.0/logs
clientPort=21001
initLimit=5
syncLimit=2
server.1=192.168.10.21:21002:21003
server.2=192.168.10.22:21002:21003
server.3=192.168.10.23:21002:21003
autopurge.purgeInterval=24

2.myid修改
cd /home/hadoop/plat/zookeeper/zookeeper-3.8.0/data
echo 1 > myid

5.分發(fā)到其他主機

1.配置put工具
cd /home/hadoop
vi .bashrc
新增如下內(nèi)容
export hadoop01=192.168.10.21
export hadoop02=192.168.10.22
export hadoop03=192.168.10.23
put()
{
    if [ $# != 2 ]
    then
        echo " put filename remotedir   -- eg:  put a.txt /home"
    else
        FileName=$1
        DirName=$2
        echo "${FileName} ${DirName}"
        echo $hadoop0{2..3} | xargs -n1 |awk '{print $0}'
        echo $hadoop0{2..3} | xargs -n1 | xargs -i scp  -r ${FileName} {}:${DirName}
    fi
}

2. 分發(fā)到其他兩臺主機
目標主機創(chuàng)建目錄
mkdir -p /home/hadoop/plat/zookeeper

hadoop01主機
cd /home/hadoop/plat/zookeeper
put zookeeper-3.8.0 /home/hadoop/plat/zookeeper

3.修改hadoop02和hadoop03的myid
hadoop02 修改為 2
hadoop02 修改為 3

6.啟動集群

1.配置環(huán)境變量
#Zookeeper
export ZOOKEEPER_HOME=/home/hadoop/plat/zookeeper/zookeeper-3.8.0
export PATH=${ZOOKEEPER_HOME}/bin:${PATH}

2.三臺機器同時啟動
cd /home/hadoop
zkServer.sh start

7.查看集群狀態(tài)
zkServer.sh status

image.png

三、hadoop安裝

1退疫、安裝jdk
2渠缕、配置hostname
3、配置hosts
4褒繁、版本選擇

地址：http://archive.apache.org/dist/hadoop/core/
版本：hadoop-3.3.1.tar.gz

5亦鳞、上傳壓縮包

1.hadoop01 創(chuàng)建目錄
mkdir -p /home/hadoop/plat/hadoop

2.上傳安裝包到該目錄并解壓
tar -zxvf hadoop-3.3.1.tar.gz

6、配置環(huán)境變量

vi ~/.bashrc
#Hadoop
export HADOOP_HOME=/home/hadoop/plat/hadoop/hadoop-3.3.1
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${PATH}

7、配置文件修改
7.1 修改 hadoop-env.sh

cd ${HADOOP_HOME}/etc/hadoop
vi hadoop-env.sh
# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
# export JAVA_HOME=
export JAVA_HOME=/usr/local/src/jdk1.8.0_321

7.2 修改 core-site.xml

cd ${HADOOP_HOME}
mkdir data
cd ${HADOOP_HOME}/etc/hadoop
vi core-site.xml

<configuration>
    <!-- 指定HADOOP所使用的文件系統(tǒng)schema（URI）燕差，HDFS的老大（NameNode）的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property> 
    
    <!-- 指定hadoop運行時產(chǎn)生文件的存儲目錄 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/plat/hadoop/hadoop-3.3.1/data</value>
    </property>
    
    <!-- 在Web UI訪問HDFS使用的用戶名遭笋。-->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>hadoop</value>
    </property>
</configuration>

7.3 修改 hdfs-site.xml

<configuration>
    <!-- 設(shè)定SNN運行主機和端口。-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop02:9868</value>
    </property>
    
    <!-- 指定HDFS副本的數(shù)量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

7.4 修改 mapred-site.xml

<configuration>
   <!-- 指定mapreduce運行在yarn上 -->
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>

   <property>
       <name>yarn.app.mapreduce.am.env</name>
       <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
   </property>
   <property>
       <name>mapreduce.map.env</name>
       <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
   </property>
   <property>
       <name>mapreduce.reduce.env</name>
       <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
   </property>
</configuration>

7.5 修改 yarn-site.xml

<configuration>
    <!-- 指定YARN的老大（ResourceManager）的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop01</value>
    </property>

    <!-- reducer獲取數(shù)據(jù)的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 關(guān)閉yarn內(nèi)存檢查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

    <!--開啟日志聚合-->
    <property>  
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    
    <!--日志聚合hdfs存儲路徑-->
    <property>  
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/home/hadoop/plat/hadoop/hadoop-3.3.1/logs/nodemanager-remote-app-logs</value>
    </property>
    
    <!--hdfs上的日志保留時間-->
    <property>      
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

    <!--應(yīng)用執(zhí)行時存儲路徑-->
    <property>  
        <name>yarn.nodemanager.log-dirs</name>
        <value>file:///home/hadoop/plat/hadoop/hadoop-3.3.1/logs/nodemanager-logs</value>
    </property>

    <property>
    <!--應(yīng)用執(zhí)行完日志保留的時間徒探，默認0瓦呼，即執(zhí)行完立刻刪除-->
        <name>yarn.nodemanager.delete.debug-delay-sec</name>
        <value>604800</value>
    </property>
</configuration>

7.6 修改workers

hadoop01
hadoop02
hadoop03

7.6 分發(fā)到其他主機

cd /home/hadoop/plat
put hadoop /home/hadoop/plat

7.7 初始化namenode

hdfs namenode -format
看到成功的標識
/home/hadoop/plat/hadoop/hadoop-3.3.1/data/dfs/name has been successfully formatted.

7.8 啟動 hadoop

start-all.sh

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市测暗，隨后出現(xiàn)的幾起案子央串，更是在濱河造成了極大的恐慌，老刑警劉巖碗啄，帶你破解...
沈念sama閱讀 216,919評論 6贊 502
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件质和，死亡現(xiàn)場離奇詭異，居然都是意外死亡稚字，警方通過查閱死者的電腦和手機侦另，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 92,567評論 3贊 392
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來尉共，“玉大人，你說我怎么就攤上這事弃锐“烙眩” “怎么了？”我有些...
開封第一講書人閱讀 163,316評論 0贊 353
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵霹菊，是天一觀的道長剧蚣。經(jīng)常有香客問我，道長旋廷，這世上最難降的妖魔是什么鸠按？我笑而不...
開封第一講書人閱讀 58,294評論 1贊 292
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮饶碘，結(jié)果婚禮上目尖，老公的妹妹穿的比我還像新娘。我一直安慰自己扎运，他們只是感情好瑟曲，可當我...
茶點故事閱讀 67,318評論 6贊 390
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著豪治，像睡著了一般洞拨。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上负拟，一...
開封第一講書人閱讀 51,245評論 1贊 299
城市分裂傳說
那天烦衣，我揣著相機與錄音，去河邊找鬼。笑死花吟，一個胖子當著我的面吹牛秸歧，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播示辈，決...
沈念sama閱讀 40,120評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼寥茫，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了矾麻？” 一聲冷哼從身側(cè)響起纱耻，我...
開封第一講書人閱讀 38,964評論 0贊 275
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎险耀，沒想到半個月后弄喘，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 45,376評論 1贊 313
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡甩牺，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 37,592評論 2贊 333
?白月光啟示錄
正文我和宋清朗相戀三年蘑志，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片贬派。...
茶點故事閱讀 39,764評論 1贊 348
活死人
序言：一個原本活蹦亂跳的男人離奇死亡急但，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出搞乏，到底是詐尸還是另有隱情波桩，我是刑警寧澤，帶...
沈念sama閱讀 35,460評論 5贊 344
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布请敦，位于F島的核電站昼窗，受9級特大地震影響惑申，放射性物質(zhì)發(fā)生泄漏顿膨。R本人自食惡果不足惜葫督，卻給世界環(huán)境...
茶點故事閱讀 41,070評論 3贊 327
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望匣椰。院中可真熱鬧裆熙，春花似錦、人聲如沸窝爪。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,697評論 0贊 22
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽蒲每。三九已至纷跛，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間邀杏，已是汗流浹背贫奠。一陣腳步聲響...
開封第一講書人閱讀 32,846評論 1贊 269
情欲美人皮
我被黑心中介騙來泰國打工唬血，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人唤崭。一個月前我還...
沈念sama閱讀 47,819評論 2贊 370
代替公主和親
正文我出身青樓拷恨，卻偏偏與公主長得像，于是被迫代替她去往敵國和親谢肾。傳聞我的和親對象是個殘疾皇子腕侄，可洞房花燭夜當晚...
茶點故事閱讀 44,665評論 2贊 354

Hadoop集群安裝記錄

前言

一扶镀、環(huán)境準備

二、zookeeper安裝

三、hadoop安裝

推薦閱讀更多精彩內(nèi)容