sqoop介紹與安裝
1 概述
sqoop是Apache旗下的一款“hadoop和關(guān)系型數(shù)據(jù)庫服務(wù)器之間傳送數(shù)據(jù)”的工具。
導(dǎo)入數(shù)據(jù)：將關(guān)系型結(jié)構(gòu)化數(shù)據(jù)如MySQL怕篷，oracle數(shù)據(jù)導(dǎo)入到hadoop的hdfs打瘪、hive友鼻、hbase的數(shù)據(jù)存儲系統(tǒng)。
導(dǎo)出數(shù)據(jù)：從hadoop的文件系統(tǒng)中導(dǎo)出數(shù)據(jù)到關(guān)系型數(shù)據(jù)庫闺骚。
2 工作機制
將導(dǎo)入導(dǎo)出命令解析成MapReduce程序來實現(xiàn)彩扔，解析出的MapReduce中主要是對inputformat和outputformat進行定制。
3 sqoop安裝
安裝sqoop的前提是已經(jīng)具備java和hadoop的環(huán)境僻爽。
3.1 下載并解壓
最新版下載地址
http://ftp.wayne.edu/apache/sqoop/1.4.6/
3.2 修改配置文件
$ cd $SQOOP_HOME/conf
$ mv sqoop-env-template.sh sqoop-env.sh
# 打開sqoop-env.sh并編輯下面幾行：
export HADOOP_COMMON_HOME=/soft/hadoop-2.6.1/
export HADOOP_MAPRED_HOME=/soft/hadoop-2.6.1/
export HIVE_HOME=/soft/hive-1.2.1
3.3 加入mysql的jdbc驅(qū)動包
可以從hive的lib中拷貝MySQL驅(qū)動到sqoop的lib目錄下虫碉。
cp /soft/hive/lib/mysql-connector-java-5.1.28.jar $SQOOP_HOME/lib
如果沒有mysql的驅(qū)動的話需要自己到Apache官網(wǎng)去下載。
3.4 驗證啟動
輸入$sqoop version命令如果成功應(yīng)該顯示如下信息：
<pre>
15/12/17 14:52:32 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
Sqoop 1.4.6 git commit id 5b34accaca7de251fc91161733f906af2eddbe83
Compiled by abe on Fri Aug 1 11:19:26 PDT 2015
</pre>
OK! 到這里sqoop的安裝已經(jīng)完成进泼。
