30 分鐘手工搭建 HDFS + Hive 環(huán)境

0 下載軟件

下載JDK: jdk-8u161-linux-x64.tar.gz
下載 hadoop 3.1.3: http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz
下載 hive 3.1.2: https://www-us.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
在 mysql 官網(wǎng) https://dev.mysql.com/downloads/connector/j/
下載 mysql-connector-java-8.0.18.tar.gz

1 基礎(chǔ)鏡像構(gòu)建

下載好上述文件后將文件統(tǒng)一放置在一個(gè)目錄中火邓，并創(chuàng)建 Dockerfile

FROM centos:7

RUN curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.163.com/.help/CentOS7-Base-163.repo
RUN yum clean all && yum makecache

# 安裝openssh-server和sudo軟件包闯估，并且將sshd的UsePAM參數(shù)設(shè)置成no
RUN yum install -y openssh-server sudo
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
#安裝openssh-clients
RUN yum  install -y openssh-clients

RUN yum  install -y vim net-tools which

# 添加測(cè)試用戶root膀藐，密碼root，并且將此用戶添加到sudoers里
RUN echo "root:root" | chpasswd
RUN echo "root   ALL=(ALL)       ALL" >> /etc/sudoers
# 下面這兩句比較特殊响蕴，在centos6上必須要有，否則創(chuàng)建出來的容器sshd不能登錄
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key

WORKDIR /usr/local/

COPY jdk-8u161-linux-x64.tar.gz /usr/local/
RUN tar -zxf jdk-8u161-linux-x64.tar.gz
RUN mv jdk1.8.0_161 jdk1.8
ENV JAVA_HOME /usr/local/jdk1.8
ENV PATH $JAVA_HOME/bin:$PATH

COPY hadoop-3.1.3.tar.gz /usr/local/
RUN tar -zxf hadoop-3.1.3.tar.gz
RUN mv hadoop-3.1.3 hadoop
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH

COPY apache-hive-3.1.2-bin.tar.gz /usr/local/
RUN tar -zxf apache-hive-3.1.2-bin.tar.gz
RUN mv apache-hive-3.1.2-bin hive
ENV HIVE_HOME /usr/local/hive
ENV PATH $HIVE_HOME/bin:$PATH
RUN mkdir -p /home/hadoop/hive/tmp

COPY mysql-connector-java-8.0.18.tar.gz /usr/local/
RUN tar -zxf mysql-connector-java-8.0.18.tar.gz
RUN mv mysql-connector-java-8.0.18/mysql-connector-java-8.0.18.jar $HIVE_HOME/lib

WORKDIR /usr/local/hadoop

# 啟動(dòng)sshd服務(wù)并且暴露22端口
RUN mkdir /var/run/sshd
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]

確認(rèn)當(dāng)前目錄下有以下文件

Dockerfile
jdk-8u161-linux-x64.tar.gz
hadoop-3.1.3.tar.gz
apache-hive-3.1.2-bin.tar.gz
mysql-connector-java-8.0.18.tar.gz

然后構(gòu)建 docker 鏡像, 取名為 centos-hadoop

docker build -t=centos-hadoop .

2 搭建 HDFS 環(huán)境

創(chuàng)建 docker 網(wǎng)絡(luò)

docker network create --subnet=172.20.10.0/24 hadoop

創(chuàng)建三個(gè)節(jié)點(diǎn)容器

docker run --name hadoop0 --hostname hadoop0 --net hadoop --ip 172.20.10.100 -d -P -p 50070:50070 -p 8088:8088 -p 9083:9083 -p 10000:10000 -p 8888:8888 centos-hadoop

docker run --name hadoop1 --hostname hadoop1 --net hadoop --ip 172.20.10.101 -d -P centos-hadoop

docker run --name hadoop2 --hostname hadoop2 --net hadoop --ip 172.20.10.102 -d -P centos-hadoop

設(shè)置ssh免密碼登錄

docker exec -it hadoop0 bash
cd  ~
mkdir .ssh
cd .ssh
ssh-keygen -t rsa
(一直按回車即可)
ssh-copy-id -i localhost
ssh-copy-id -i hadoop0
ssh-copy-id -i hadoop1
ssh-copy-id -i hadoop2
(密碼都是 root)
exit

docker exec -it hadoop1 bash
cd  ~
mkdir .ssh
cd .ssh
ssh-keygen -t rsa
ssh-copy-id -i localhost
ssh-copy-id -i hadoop0
ssh-copy-id -i hadoop1
ssh-copy-id -i hadoop2
exit

docker exec -it hadoop2 bash
cd  ~
mkdir .ssh
cd .ssh
ssh-keygen -t rsa
ssh-copy-id -i localhost
ssh-copy-id -i hadoop0
ssh-copy-id -i hadoop1
ssh-copy-id -i hadoop2
exit

在hadoop0上修改hadoop的配置文件:

exec -it hadoop0 bash
cd /usr/local/hadoop/etc/hadoop

hadoop-env.sh 中添加

export JAVA_HOME=/usr/local/jdk1.8

core-site.xml 中添加

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop0:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop/tmp</value>
        </property>
         <property>
                 <name>fs.trash.interval</name>
                 <value>1440</value>
        </property>
</configuration>

hdfs-site.xml 中添加

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>0.0.0.0:50070</value>
    </property>
</configuration>

yarn-site.xml 中添加

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property> 
                <name>yarn.log-aggregation-enable</name> 
                <value>true</value> 
        </property>
</configuration>

mapred-site.xml 中添加

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
</configuration>

修改啟動(dòng)和停止的腳本文件:

cd /usr/local/hadoop/sbin

start-dfs.sh stop-dfs.sh 行首空白處添加

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh stop-yarn.sh 行首空白處添加

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

確認(rèn) hdfs 命令可用

which hdfs

格式化

hdfs namenode -format

先嘗試啟動(dòng)偽分布 hadoop （可跳過此步）

cd /usr/local/hadoop
sbin/start-dfs.sh
sbin/start-yarn.sh

驗(yàn)證 jps 類似如下

$ jps
1970 ResourceManager
1330 NameNode
2099 NodeManager
1463 DataNode
2440 Jps
1678 SecondaryNameNode

停止偽分布hadoop

sbin/stop-dfs.sh
sbin/stop-yarn.sh

分布式配置

etc/hadoop/yarn-site.xml 增加

<property>
    <description>The hostname of the RM.</description>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop0</value>
</property>

etc/hadoop/workers 增加

hadoop1
hadoop2

復(fù)制配置文件到其他節(jié)點(diǎn)

scp  -rq /usr/local/hadoop   hadoop1:/usr/local
scp  -rq /usr/local/hadoop   hadoop2:/usr/local

啟動(dòng)hadoop分布式集群服務(wù), 各節(jié)點(diǎn)均執(zhí)行

sbin/stop-dfs.sh
sbin/stop-yarn.sh
sbin/start-dfs.sh
sbin/start-yarn.sh

驗(yàn)證集群是否正常

hadoop0上需要有這幾個(gè) jps 進(jìn)程

$ jps
4643 Jps
4073 NameNode
4216 SecondaryNameNode
4381 ResourceManager

hadoop1 hadoop2上需要有這幾個(gè) jps 進(jìn)程

$ jps
715 NodeManager
849 Jps
645 DataNode

Web UI
http://your.domain:50070
http://your.domain:8088

文件讀寫驗(yàn)證

cat > a.txt << EOF
a,1,12.4
b,20,5.5
EOF
hdfs dfs -mkdir /test
hdfs dfs -put a.txt /test/
hdfs dfs -ls /test
hdfs dfs -text /test/a.txt

mapreduce 驗(yàn)證

cat > b.txt << EOF
hello world
hello hadoop
EOF
hdfs dfs -put b.txt /
cd /usr/local/hadoop/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /b.txt /out
hdfs dfs -text /out/part-r-00000

以上就搭建好了 HDFS 分布式文件系統(tǒng)了皆撩！

3 搭建 Hive 環(huán)境

創(chuàng)建元數(shù)據(jù)庫

docker run --name mysql -v /var/lib/mysql:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=root -p 3306:3306 --net=hadoop -d mysql:5.7
docker exec -it mysql bash
mysql -u root -proot
create database metastore default character set utf8mb4 collate utf8mb4_unicode_ci;

在 hdfs 創(chuàng)建目錄

hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /user/hive/tmp
hdfs dfs -mkdir -p /user/hive/log
hdfs dfs -chmod -R 777 /user/hive/warehouse
hdfs dfs -chmod -R 777 /user/hive/tmp
hdfs dfs -chmod -R 777 /user/hive/log

配置 hive:

mkdir -p /home/hadoop/hive/tmp
cd /usr/local/hive
cd hive/conf
cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

hive-env.sh

export JAVA_HOME=/usr/local/jdk1.8    ##Java路徑
export HADOOP_HOME=/usr/local/hadoop   ##Hadoop安裝路徑
export HIVE_HOME=/usr/local/hive    ##Hive安裝路徑
export HIVE_CONF_DIR=/hive/conf    ##Hive配置文件路徑

hive-site.xml

<property>
    <name>hive.exec.scratchdir</name>
    <value>/user/hive/tmp</value>
</property>

<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
</property>

<property>
    <name>hive.querylog.location</name>
    <value>/user/hive/log</value>
</property>

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://taojy123.com:3306/metastore?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>

  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
  </property>

${system:java.io.tmpdir} 替換成 /home/hadoop/hive/tmp
{system:user.name} 替換成 {user.name}

:%s/${system:java.io.tmpdir}/\/home\/hadoop\/hive\/tmp/g
:%s/{system:user.name}/{user.name}/g

初始化 hive

schematool -dbType mysql -initSchema

可能會(huì)遇到兩個(gè)報(bào)錯(cuò):

NoSuchMethodError … checkArgument
解決方法

cd /usr/local/hive/lib
mv guava-19.0.jar guava-19.0.jar.bak
cp /usr/local/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar ./

WstxParsingExceptionIllegal character entity
解決方法

vim /usr/local/hive/conf/hive-site.xml
刪除 3215 行中的 &#8; 字符

再次初始化 hive 成功

開啟 server

nohup hive --service hiveserver2 &
nohup hive --service metastore &

嘗試創(chuàng)建外部表

$ hive
create external table test
(name string, num int, score float)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE
location '/test';

查看表數(shù)據(jù)

select * from test;

如正巢叟希看到2行表數(shù)據(jù)，說明 Hive 環(huán)境搭建成功鞍爱！

最后編輯于：2019.11.21 18:07:17

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末鹃觉，一起剝皮案震驚了整個(gè)濱河市，隨后出現(xiàn)的幾起案子睹逃，更是在濱河造成了極大的恐慌盗扇，老刑警劉巖，帶你破解...
沈念sama閱讀 221,635評(píng)論 6贊 515
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件沉填，死亡現(xiàn)場(chǎng)離奇詭異疗隶，居然都是意外死亡，警方通過查閱死者的電腦和手機(jī)翼闹，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 94,543評(píng)論 3贊 399
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門斑鼻，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人猎荠，你說我怎么就攤上這事坚弱。” “怎么了关摇？”我有些...
開封第一講書人閱讀 168,083評(píng)論 0贊 360
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵荒叶，是天一觀的道長(zhǎng)。經(jīng)常有香客問我拒垃，道長(zhǎng)停撞，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 59,640評(píng)論 1贊 296
?港島之戀（遺憾婚禮）
正文為了忘掉前任悼瓮，我火速辦了婚禮戈毒，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘横堡。我一直安慰自己埋市，他們只是感情好，可當(dāng)我...
茶點(diǎn)故事閱讀 68,640評(píng)論 6贊 397
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布命贴。她就那樣靜靜地躺著道宅，像睡著了一般。火紅的嫁衣襯著肌膚如雪胸蛛。梳的紋絲不亂的頭發(fā)上污茵，一...
開封第一講書人閱讀 52,262評(píng)論 1贊 308
城市分裂傳說
那天，我揣著相機(jī)與錄音葬项，去河邊找鬼泞当。笑死，一個(gè)胖子當(dāng)著我的面吹牛民珍，可吹牛的內(nèi)容都是我干的襟士。我是一名探鬼主播盗飒，決...
沈念sama閱讀 40,833評(píng)論 3贊 421
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長(zhǎng)吁一口氣：“原來是場(chǎng)噩夢(mèng)啊……” “哼陋桂！你這毒婦竟也來了逆趣？” 一聲冷哼從身側(cè)響起，我...
開封第一講書人閱讀 39,736評(píng)論 0贊 276
萬榮殺人案實(shí)錄
序言：老撾萬榮一對(duì)情侶失蹤嗜历，失蹤者是張志新（化名）和其女友劉穎宣渗，沒想到半個(gè)月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體梨州，經(jīng)...
沈念sama閱讀 46,280評(píng)論 1贊 319
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡落包，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 38,369評(píng)論 3贊 340
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了摊唇。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片咐蝇。...
茶點(diǎn)故事閱讀 40,503評(píng)論 1贊 352
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡，死狀恐怖巷查，靈堂內(nèi)的尸體忽然破棺而出有序，到底是詐尸還是另有隱情，我是刑警寧澤岛请，帶...
沈念sama閱讀 36,185評(píng)論 5贊 350
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布旭寿，位于F島的核電站，受9級(jí)特大地震影響崇败，放射性物質(zhì)發(fā)生泄漏盅称。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,870評(píng)論 3贊 333
男人毒藥：我在死后第九天來索命
文/蒙蒙一后室、第九天我趴在偏房一處隱蔽的房頂上張望缩膝。院中可真熱鬧，春花似錦岸霹、人聲如沸疾层。這莊子的主人今日做“春日...
開封第一講書人閱讀 32,340評(píng)論 0贊 24
一樁弒父案贡避，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽痛黎。三九已至，卻和暖如春刮吧，著一層夾襖步出監(jiān)牢的瞬間湖饱，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 33,460評(píng)論 1贊 272
情欲美人皮
我被黑心中介騙來泰國(guó)打工杀捻，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留井厌，地道東北人。一個(gè)月前我還...
沈念sama閱讀 48,909評(píng)論 3贊 376
代替公主和親
正文我出身青樓，卻偏偏與公主長(zhǎng)得像旗笔，于是被迫代替她去往敵國(guó)和親。傳聞我的和親對(duì)象是個(gè)殘疾皇子拄踪，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 45,512評(píng)論 2贊 359

30 分鐘手工搭建 HDFS + Hive 環(huán)境

0 下載軟件

1 基礎(chǔ)鏡像構(gòu)建

2 搭建 HDFS 環(huán)境

3 搭建 Hive 環(huán)境

推薦閱讀更多精彩內(nèi)容