2020-03-26補記錄：hadoop集群的搭建和建hive

之前自己嘗試搭建hadoop，在word上面作了筆記俭正，不過在公司電腦里钉稍，想看的時候會不太方便，所以把筆記放到這里來县遣，記錄一下自己所學的知識

hadoop集群搭建

1、建立虛擬機

注意：以下操作在master上操作汹族，同時在另外兩臺機上一樣的操作
這里建立了3臺虛擬機：master萧求、slave1、slave2顶瞒，一個主節(jié)點夸政，兩個從節(jié)點
建立的3臺虛擬機的網(wǎng)關ip要一樣，ip地址修改按順序（在虛擬機編輯器中可以查看nat模式查看網(wǎng)關ip和子掩碼）
（1）查看主機ip地址：ifconfig
（2）修改網(wǎng)絡配置文件榴徐，將BOOTPROTO值修改為”static”
輸入命令：

[root@master ~]  vim  /etc/sysconfig/network-scripts/ifcfg-eth0
        
DEVICE（網(wǎng)卡名稱）=eth0
ONBOOT=yes  #（開啟網(wǎng)卡）
BOOTPROTO=static/none #（表示靜態(tài)守问，dhcp表示動態(tài)）
#（靜態(tài)必須有以下幾項，動態(tài)不必填寫）
IPADDR=192.168.189.16 #（ip地址）
NETMASK=255.255.255.0 #（子網(wǎng)掩碼）
GATEWAY=192.168.189.2 #（網(wǎng)關）
HWADDR #（網(wǎng)卡的物理地址）自動生成可不寫

（3）重啟網(wǎng)絡服務：service network restart
（4）更改主機名稱：vim / etc/sysconfig/network （重啟后永久生效）

2坑资、建立主機和各ip的映射

輸入命令：vim /etc/hosts 修改如下內容：ip地址主機名
另外兩臺同樣操作耗帕，再互相ping看看是否ping通（例如：ping slave1）

image.png

3、配置ssh免密碼登錄

注意：以下操作命令都在master主機上進行操作
（1）在root用戶下輸入命令：ssh-keygen -t rsa 一路回車

[root@master ~]  cd  ~/.ssh #進入到~/.ssh目錄

（2）秘鑰生成后在~/.ssh目錄下袱贮，有兩個文件id_rsa（私鑰）和id_rsa.pub（公鑰）仿便，將公鑰復制到authorized_keys并賦予authorized_keys 600權限

[root@master ~]  cat  ~/.ssh/id_rsa.pub  >>  /.ssh/authorized_keys
[root@master ~] chmod 600  /.ssh/authorized_keys

（3）同理在另外兩臺機上面同樣的操作，然后將兩臺機上面的公鑰復制到master節(jié)點上的authorized_keys中，下圖為復制過去的結果

image.png

（4）將master節(jié)點上的authorized_keys遠程輸送到slave1和slave2的~/.ssh目錄下

輸入命令：scp ~/.ssh/authorized_keys root@slave1:~/.ssh

（5）檢查是否免密登錄

在master上輸入命令：ssh slave1
在slave1上輸入命令：ssh slave2

4嗽仪、關閉防火墻

在master上輸入命令：

chkconfig --list | grep iptables
vim /etc/selinux/config 修改SELINUX=disabled

5荒勇、安裝JDK

注意：所有節(jié)點都要安裝Java并配置java環(huán)境變量
（1）下載好jdk的安裝包（這里下載的是jdk1.8.0-161.gz.tar），拖入linux中闻坚，在xshell中用rz命令進行上傳：

在xsell工具中如果沒有rz沽翔、sz命令需要安裝服務：
安裝服務：yum -y install lrzsz
上傳：rz
下載：sz

（2）解壓壓縮包：tar -xzvf jdk1.8.0-161.tar.gz 壓縮在/usr/java/目錄下

（3）在/etc/profile文件中添加jdk的路徑，配置環(huán)境jdk環(huán)境（根據(jù)自己的文件路徑）

  export  JAVA_HOME =/usr/java/ jdk1.8.0-161 （jdk的文件目錄路徑）
  export  JRE_HOME=$JAVA_HOME/jre
  export  CLASSPATH=.:$JAVA_HOME/lib/dt.java: $ JAVA_HOME/lib/tools.jar
  export    PATH=$ JAVA_HOME/bin:$PATH

（4）使配置文件立即生效窿凤，輸入命令：source /etc/profile
檢查是否安裝成功：java –version （出現(xiàn)版本信息則安裝成功）

6仅偎、安裝mysql（在主節(jié)點上安裝）

（1）查詢系統(tǒng)已經(jīng)安裝的mysql

輸入命令：rmp -qa | grep mysql

（2）徹底刪除卸載mysql及其所有依賴的包

輸入命令：rmp –e --nodeps mysql–libs…(這里為系統(tǒng)安裝的mysql，前面查詢的時候有)

（3）解壓mysql（自己下載的卷玉，這里下載的是mysql-5.6.45-linux-glibc2.12-x86-64.tar.gz）哨颂，將解壓的文件改名為mysql，放在目錄/usr/local/下
（4）創(chuàng)建mysql用戶

a.先檢查是否存在mysql組下面的mysql用戶：groups mysql
b.沒有則創(chuàng)建相种，有則跳過：useradd -r mysql
c.然后檢查是否創(chuàng)建成功：groups mysql

（5）在mysql文件夾目錄data下創(chuàng)建一個文件夾mysql威恼，用以保存mysql數(shù)據(jù)，將屬組改為mysql：chown -R mysql:mysql mysql
（6）初始化數(shù)據(jù)庫
進入到mysql/scripts目錄寝并，輸入命令：

./mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/ussr/local/mysql/data
這里如果報錯箫措，解決方法如下：
a.先安裝perl：yum install –y perl perl-devel autoconf
b.再出錯，安裝libaio：yum install -y libaio

安裝后再執(zhí)行初始化

（7）修改配置文件

a.將mysql/support-files/目錄下的my-default.cnf 復制帶/etc/my.cnf
b.將mysql/support-files/目錄下的mysql.server復制到/etc/init.d/mysqld衬潦，然后授予執(zhí)行權限（755）
c.重新編輯mysqld文件斤蔓，設置兩個值
輸入命令：vim /etc/init.d/mysqld
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data

（8）配置環(huán)境變量，目的是在任意地方都可以執(zhí)行mysql命令

     原：export  PATH=$JAVA_HOME/bin:$PATH
     修改為：export  PATH=$JAVA_HOME/bin:/usr/local/mysql/bin:$PATH

（source一下配置文件立即生效）

（9）啟動mysql

service mysql start 啟動
service mysql stop 停止
service mysql status 查看狀態(tài)

（10）進入/usr/local/mysql/bin目錄镀岛，修改root密碼為App12345（登錄mysql的密碼）

輸入命令：./mysqladmin -u root -password ‘App12345’
進入mysql：mysql -uroot -p （之后輸入密碼）

注：此時如果出現(xiàn)-bash：mysql：command not found
原因：由于系統(tǒng)默認會查找/usr/bin下的命令弦牡，如果命令不在該目錄下就會找不到命令，此時需要映射一個鏈接到/usr/bin目錄下漂羊，首先得知道m(xù)ysql命令或者是mysqladmin命令的完整路徑：/usr/local/mysql/bin/mysql
輸入命令：ln -s /usr/local/mysql/bin/mysql /usr/bin

（11）設置允許外界訪問驾锰，清楚空數(shù)據(jù)
進入msyql頁面：

    >use mysql; 
    >select host,user from user;
    >delete from user where user=’ ‘;
    >update user set host=’%’ where user=’root’ and host=’localhost’;  #（設置host為%，允許所以主機訪問該數(shù)據(jù)庫）
    >select host,user from user;
    >flush privileges; #（刷新）

（12）開啟防火墻

firewall –cmd --permanent--query-port=3306/tcp （檢查端口3306是否開放）
firewall –cmd --permanent—add-port=3306/tcp （開放3306端口）
firewall –cmd --reload （刷新防火墻）

7走越、搭建集群

（1）新建hadoop用戶及其用戶組

adduser hadoop
passwd hadoop

（2）將新建的hadoop用戶添加到hadoop用戶組

usermod -a -G hadoop hadoop （組名）

（3）賦予hadoop用戶root權限

vim /etc/sudoer
加上：hadoop ALL=（ALL） ALL

（4）安裝hadoop并配置環(huán)境（每一個節(jié)點都進行相同配置椭豫，可以在主機操作然后復制）

a.將hadoop包放在/usr/目錄下并解壓
b.配置環(huán)境變量在/etc/profil里添加：

    export  HADOOP_HOME=/usr/hadoop-2.7.3
    export  PATH=$JAVA_HOME/bin:$ HADOOP_HOME/bin:$PATH （加上hadoop的路徑）

（5）準備工作

在master節(jié)點上創(chuàng)建以下文件夾
/usr/hadoop-2.7.3/hdfs/name
/usr/hadoop-2.7.3/hdfs/data
/usr/hadoop-2.7.3/hdfs/tmp

（6）配置hadoop文件
接下來配置/usr/hadoop-2.7.3/etc/hadoop/目錄下的文件，有7個：
①-------配置slaves 文件
把原本的localhost刪掉旨指，改為slave1赏酥、slave2
②-------配置hadoop-env.sh文件
將JAVA_HOME文件配置為本機JAVA_HOME路徑
export JAVA_HOME=/usr/java/jdk1.8.0_161

image.png

③------配置 yarn-env.sh
將其中的JAVA_HOME修改為本機JAVA_HOME路徑(先把這一行的#去掉)

image.png

④---------配置core-site.xml
輸入以下代碼：

<configuration>
    <property>   
        <name>hadoop.tmp.dir</name>   
        <value>file:/usr/hadoop-2.7.3/hdfs/tmp</value>   
        <description>A base for other temporary directories.</description> 
    </property> 
    <property>  
        <name>io.file.buffer.size</name>   
        <value>131072</value> 
    </property> 
    <property>   
        <name>fs.defaultFS</name>  
        <value>hdfs://master:9000</value> </property>
</configuration>

注意：第一個屬性中的value和我們之前創(chuàng)建的/hadoop-2.7.3/hdfs/tmp路徑要一致。

⑤-------配置hdfs-site.xml
輸入以下代碼：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/hadoop-2.7.3/hdfs/name</value>
        <final>true</final>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/hadoop-2.7.3/hdfs/data</value>
        <final>true</final> 
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>   
        <value>master:9001</value> 
    </property> 
    <property>   
        <name>dfs.webhdfs.enabled</name>   
        <value>true</value> 
    </property> 
    <property>   
        <name>dfs.permissions</name>   
        <value>false</value> 
    </property>
</configuration>

注意：(其中第二個dfs.namenode.name.dir和dfs.datanode.data.dir的value和之前創(chuàng)建的/hdfs/name和/hdfs/data路徑一致谆构；因為這里只有一個從主機slave1裸扶，slave2,所以dfs.replication設置為2)

⑥--------配置mapred-site.xml
復制mapred-site.xml.template文件，并命名為mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

⑦---------配置yarn-site.xml

<configuration>
<!-- site specific YARN configuration properties -->    
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:18040</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:18030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:18025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:18141</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:18088</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<configuration>

（7）配置hadoop的環(huán)境
根據(jù)hadoop文件夾的路徑配置：vim /etc/profile

export HADOOP_HOME=/usr/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

鍵入命令 source /etc/profile 使配置立即生

（8）接下來搬素，將hadoop傳到slave1姓言、slave2虛擬機上面去瞬项，傳過去后蔗蹋，在slave1何荚、slave2上面同樣對hadoop進行路徑配置（和第（7）步一樣）

    scp  -r  /usr/hadoop-2.7.3/  root@slave1:/usr/
    scp  -r  /usr/hadoop-2.7.3/  root@slave2:/usr/

使配置文件立即實行：source /etc/profile

8、運行hadoop

（1）格式化Namenode

./bin/hdfs namenode -format

（2）查詢hadoop：安裝成功

（3）啟動集群
兩種方法：（/usr/hadoop-2.7.3/sbin/目錄下）

start-all.sh
先start-dfs.sh,再start-yarn.sh

如果在mater上面鍵入jps后看到：

如果在slave1上面鍵入jps后看到：

則說明集群搭建成功

（4）進行測試
①上傳文件到hdfs：hadoop fs –put test.txt /hdfs
②用自帶的樣例測試hadoop集群能不能正常跑任務：

hadoop jar /usr/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar  pi 10 10

9猪杭、附錄(在搭建過程中遇到的問題進行了一些總結）

問題一：啟動集群異常：

1餐塘、namenode沒有正常啟動
出現(xiàn)原因：①core-site.xml文件中tmp文件的路徑錯誤，此時把路徑修改正確即可皂吮，修改完后hadoop namenode –format初始化namenode戒傻。
2、datanode沒有正常啟動
出現(xiàn)原因：datanode的clusterID和namenode的clusterID不匹配蜂筹。打開hdfs-site.xml里配置的datanode和namenode對應的目錄需纳，分別打開hdfs目錄下data和name文件下的current文件夾里的VERSION，可以看到clusterID正如日志里記錄的一樣艺挪，確實不一致不翩。
修改datanode（hdfs/data/current）里VERSION文件的clusterID與namenode（hdfs/name/current）里的一致，再重新啟動dfs(執(zhí)行start-all.sh)再執(zhí)行jps命令可以看到datanode已正常啟動麻裳。

問題二：出現(xiàn)錯誤信息提示：could only be replicated to 0 nodes, instead of 1

產(chǎn)生這樣的錯誤原因有多種口蝠，這里列舉出以下四種常用的解決方法以供參考：
①確保master（namenode）、slaves（datanode）的防火墻已經(jīng)關閉津坑。
②確保DFS空間的使用情況妙蔗，即不處于安全模式
③Hadoop的hadoop.tmp.dir的路徑是否正確

一些命令：
查看安全狀態(tài)：hadoop dfsadmin -safemode get
退出安全狀態(tài)：hadoop dfsadmin -safemode leave
進入安全狀態(tài)：hadoop dfsadmin -safemode enter
查看防火墻狀態(tài)：systemctl status firewalld
service iptables status
暫時關閉防火墻：systemctl stop firewalld
service iptables stop
永久關閉防火墻：systemctl disable firewalld
chkconfig iptables off
重啟防火墻：systemctl enable firewalld
service iptables restart
永久關閉后重啟：chkconfig iptables on

搭建hive

Hive是基于Hadoop構建的一套數(shù)據(jù)倉庫分析系統(tǒng)，它提供了豐富的SQL查詢方式來分析存儲在Hadoop 分布式文件系統(tǒng)中的數(shù)據(jù)疆瑰。其在Hadoop的架構體系中承擔了一個SQL解析的過程眉反，它提供了對外的入口來獲取用戶的指令然后對指令進行分析，解析出一個MapReduce程序組成可執(zhí)行計劃穆役，并按照該計劃生成對應的MapReduce任務提交給Hadoop集群處理寸五，獲取最終的結果。元數(shù)據(jù)——如表模式——存儲在名為metastore的數(shù)據(jù)庫中孵睬。

1播歼、解壓壓縮包

可先在master上安裝，然后分發(fā)到其他節(jié)點中掰读。登錄master 將Hive安裝包拷貝到home/hadoop/下并解壓秘狞，并將解壓文件名改為hive。

輸入命令：tar –zxvf apache-hive-0.13.1-bin.tar.gz

2蹈集、設置環(huán)境變量

Hive使用環(huán)境變量HADOOP_HOME來制定Hadoop的所有相關JAR和配置文件

#set Hive environment
export HIVE_HOME=/home/hadoop/hive
export PATH=$PATH:$HIVE_HOME/bin

備注：HIVE_HOME的路徑設置為HIVE的安裝路徑烁试，依據(jù)自己的情況修改。

3拢肆、Metastore

metastore是Hive元數(shù)據(jù)集中存放地减响。它包括兩部分：服務和后臺數(shù)據(jù)存儲靖诗。有三種方式配置metastore：內嵌metastore、本地metastore以及遠程metastore支示。這里采用mysql作為hive的metastore刊橘。
（1）登錄mysql
（2）創(chuàng)建用戶hive@master（密碼hive）并分配權限

①創(chuàng)建用戶hive：create user ‘hive’ identified by ‘hive’;
②在mysql上創(chuàng)建hive元數(shù)據(jù)庫，并對hive進行授權
create database hive颂鸿；
grant all privileges on hive to ‘hive’@’%’ identified by ‘hive’;
grant all privileges on hive to ‘hive’@’master’ identified by ‘hive’;
grant all privileges on hive to ‘hive’@’localhost’ identified by ‘hive’;
③刷新：flush privileges;

（3）用戶名hive登錄

mysql -h master -uhive

（4）其他可能會用到的命令

①查看MYSQL數(shù)據(jù)庫中所有用戶
SELECT DISTINCT CONCAT('User: ''',user,'''@''',host,''';') AS query FROM mysql.user;
②查看用戶是否設置了密碼
mysql>; select user,host,password from mysql.user;

4促绵、hive配置

Hive使用和Hadoop類似的XML配置文件進行設置，配置文件為hive/conf/hive-site.xml嘴纺。幾個較為重要的metastore配置屬性見下：

（1）修改配置文件
進入到hive的配置文件目錄下败晴，找到hive-default.xml.template，另存為hive-site.xml并修改參數(shù)栽渴。
Hive 系統(tǒng)會加載兩個配置文件一個默認配置文件“hive-default.xml”尖坤，另一個就是用戶自定義文件“hive-site.xml”。當“hive-site.xml”中的配置參數(shù)的值與“hive-default.xml”文件中不一致時闲擦，以用戶自定義的為準慢味。所以可將不需要的參數(shù)都刪除掉，只留下下面所示的內容

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
     <name>javax.jdo.option.ConnectionDriverName</name>
     <value>com.mysql.jdbc.Driver</value>
</property>
<property>
       <name>javax.jdo.option.ConnectionUserName</name>
       <value>hive</value>
 </property>
 <property>
       <name>javax.jdo.option.ConnectionPassword</name>
       <value>hive</value>
 </property>
 <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
 </property>
</configuration>

其中佛致，MySQL的端口號3306為默認端口號贮缕，具體可在MySQL的配置文件my.cnf中查看。

（2）拷貝JDBC驅動包
把MySQL的JDBC驅動包復制到Hive的lib目錄下（mysql-connector-java）俺榆，mysql-connector-java需要自己下載
（3）分發(fā)HIVE
拷貝Hive目錄到其他所有slave節(jié)點上感昼，并且安裝目錄跟master上一致，同時配置環(huán)境變量
注意：在hiv-site.xml中修改配置文件添加一下內容罐脊，顯示當前數(shù)據(jù)庫和表頭

<property>
<name>hive.cli.print.header</name>
<value>true</value>
<description>Whether to print the names of the columns in query output.</description>
</property>
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
<description>Whether to include the current database in the Hive prompt.</description>
</property>

5定嗓、測試hive

在命令行直接輸入hive即可進入hive頁面（這里要啟動hadoop和mysql服務）。
1.需要知道現(xiàn)在的hadoop中的HDFS存了什么
輸入命令：hadoop fs -lsr /

進入hive并創(chuàng)建一個測試庫和測試表
進入hive：hive
創(chuàng)建庫：create database hive_1;
查詢一下HDFS有什么變化：會多了一個庫hive_1
4.查看mysql中的hive庫有什么變化：

use hive;
select * from DBS;

最后編輯于：2020.03.26 16:06:24

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者

人面猴
序言：七十年代末萍桌，一起剝皮案震驚了整個濱河市宵溅，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌上炎，老刑警劉巖恃逻，帶你破解...
沈念sama閱讀 206,013評論 6贊 481
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異藕施，居然都是意外死亡寇损，警方通過查閱死者的電腦和手機，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 88,205評論 2贊 382
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門裳食，熙熙樓的掌柜王于貴愁眉苦臉地迎上來矛市，“玉大人，你說我怎么就攤上這事诲祸∽抢簦” “怎么了而昨？”我有些...
開封第一講書人閱讀 152,370評論 0贊 342
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長找田。經(jīng)常有香客問我歌憨，道長，這世上最難降的妖魔是什么午阵？我笑而不...
開封第一講書人閱讀 55,168評論 1贊 278
?港島之戀（遺憾婚禮）
正文為了忘掉前任躺孝，我火速辦了婚禮，結果婚禮上底桂，老公的妹妹穿的比我還像新娘。我一直安慰自己惧眠，他們只是感情好籽懦，可當我...
茶點故事閱讀 64,153評論 5贊 371
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著氛魁，像睡著了一般暮顺。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上秀存，一...
開封第一講書人閱讀 48,954評論 1贊 283
城市分裂傳說
那天捶码，我揣著相機與錄音，去河邊找鬼或链。笑死惫恼，一個胖子當著我的面吹牛，可吹牛的內容都是我干的澳盐。我是一名探鬼主播祈纯，決...
沈念sama閱讀 38,271評論 3贊 399
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼叼耙！你這毒婦竟也來了腕窥？” 一聲冷哼從身側響起，我...
開封第一講書人閱讀 36,916評論 0贊 259
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤筛婉，失蹤者是張志新（化名）和其女友劉穎簇爆，沒想到半個月后，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體爽撒，經(jīng)...
沈念sama閱讀 43,382評論 1贊 300
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡入蛆，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內容為張勛視角年9月15日...
茶點故事閱讀 35,877評論 2贊 323
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了匆浙。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片安寺。...
茶點故事閱讀 37,989評論 1贊 333
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖首尼，靈堂內的尸體忽然破棺而出挑庶，到底是詐尸還是另有隱情言秸，我是刑警寧澤，帶...
沈念sama閱讀 33,624評論 4贊 322
?日本核電站爆炸內幕
正文年R本政府宣布迎捺，位于F島的核電站举畸，受9級特大地震影響，放射性物質發(fā)生泄漏凳枝。R本人自食惡果不足惜抄沮，卻給世界環(huán)境...
茶點故事閱讀 39,209評論 3贊 307
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望岖瑰。院中可真熱鬧叛买，春花似錦、人聲如沸蹋订。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,199評論 0贊 19
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽露戒。三九已至椒功，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間智什，已是汗流浹背动漾。一陣腳步聲響...
開封第一講書人閱讀 31,418評論 1贊 260
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留荠锭，地道東北人旱眯。一個月前我還...
沈念sama閱讀 45,401評論 2贊 352
代替公主和親
正文我出身青樓，卻偏偏與公主長得像节沦，于是被迫代替她去往敵國和親键思。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
茶點故事閱讀 42,700評論 2贊 345

2020-03-26補記錄：hadoop集群的搭建和建hive

hadoop集群搭建

1、建立虛擬機

2坑资、建立主機和各ip的映射

3、配置ssh免密碼登錄

4嗽仪、關閉防火墻

5荒勇、安裝JDK

6仅偎、安裝mysql（在主節(jié)點上安裝）

7走越、搭建集群

8、運行hadoop

9猪杭、附錄(在搭建過程中遇到的問題進行了一些總結）

問題一：啟動集群異常：

問題二：出現(xiàn)錯誤信息提示：could only be replicated to 0 nodes, instead of 1

搭建hive

1播歼、解壓壓縮包

2蹈集、設置環(huán)境變量

3拢肆、Metastore

4促绵、hive配置

5定嗓、測試hive

推薦閱讀更多精彩內容