Sqoop是一款開源的工具衷佃，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(kù)(mysql、postgresql...)間進(jìn)行數(shù)據(jù)的傳遞鲸拥，可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)（例如 ： MySQL ,Oracle ,Postgres等）中的數(shù)據(jù)導(dǎo)進(jìn)到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進(jìn)到關(guān)系型數(shù)據(jù)庫(kù)中。Sqoop項(xiàng)目開始于2009年贷掖，最早是作為Hadoop的一個(gè)第三方模塊存在，后來為了讓使用者能夠快速部署渴语，也為了讓開發(fā)人員能夠更快速的迭代開發(fā)苹威，Sqoop獨(dú)立成為一個(gè)Apache項(xiàng)目。
總之Sqoop是一個(gè)轉(zhuǎn)換工具驾凶，用于在關(guān)系型數(shù)據(jù)庫(kù)與HDFS之間進(jìn)行數(shù)據(jù)轉(zhuǎn)換牙甫。
注意：sqoop1與sqoop2完全不兼容，1.4.6及之前的版本是sqoop1调违，之后的是sqoop2
Sqoop1和Sqoop2的對(duì)比
sqoop2比sqoop1的改進(jìn)
引入sqoop server窟哺，集中化管理connector等
多種訪問方式：CLI,Web UI，REST API
引入基于角色 的安全機(jī)制
sqoop1與sqoop2的優(yōu)缺點(diǎn)
sqoop1的架構(gòu)技肩，僅僅使用一個(gè)sqoop客戶端且轨，sqoop2的架構(gòu)，引入了sqoop server集中化管理connector虚婿，以及rest api旋奢，web，UI然痊，并引入權(quán)限安全機(jī)制至朗。
sqoop1優(yōu)點(diǎn)架構(gòu)部署簡(jiǎn)單
sqoop1的缺點(diǎn)命令行方式容易出錯(cuò)，格式緊耦合玷过，無法支持所有數(shù)據(jù)類型爽丹，安全機(jī)制不夠完善，例如密碼暴漏辛蚊，
安裝需要root權(quán)限粤蝎，connector必須符合JDBC模型
sqoop2的優(yōu)點(diǎn)多種交互方式，命令行袋马，web UI初澎，rest API，conncetor集中化管理，所有的鏈接安裝在sqoop server上碑宴，完善權(quán)限管理機(jī)制软啼，connector規(guī)范化，僅僅負(fù)責(zé)數(shù)據(jù)的讀寫延柠。
sqoop2的缺點(diǎn)祸挪，架構(gòu)稍復(fù)雜，配置部署更繁瑣贞间。
sqoop1架構(gòu)圖
sqoop2架構(gòu)圖
由于sqoop2還不是很完善贿条，官方建議生產(chǎn)環(huán)境不建議使用，在此就sqoop1.4.6來作介紹
安裝環(huán)境：
Cenos7系統(tǒng)
sqoop版本：1.4.6
Hadoop：2.7.3
MySQL：5.7.15
JDK ：1.8
下載并解壓sqoop1.4.6
安裝在一臺(tái)節(jié)點(diǎn)上就可以了
點(diǎn)擊 sqoop下載地址增热，下載Sqoop安裝文件sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz整以。將文件上傳到服務(wù)器的/usr/local文件夾中。
下面執(zhí)行以下命令
1. cd ~#進(jìn)入當(dāng)前用戶的用戶目錄
2. cd /usr/local
3. sudo tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local#解壓安裝文件
5. sudo mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop146#修改文件名
6. sudo chown -R hadoop:hadoop sqoop146#修改文件夾屬主峻仇，如果你當(dāng)前登錄用戶名不是hadoop公黑，請(qǐng)修改成你自己的用戶名 （hadoop為用Hadoop創(chuàng)建的用戶組和用戶名，sqoop將與Hadoop組合使用）
修改配置文件sqoop-env.sh
1. cd sqoop146/conf/
2. cat sqoop-env-template.sh >> sqoop-env.sh#將sqoop-env-template.sh復(fù)制一份并命名為sqoop-env.sh
3. vi sqoop-env.sh#編輯sqoop-env.sh
修改sqoop-env.sh的如下信息摄咆，若有其它的可以都加上
export HADOOP_COMMON_HOME=/usr/local/hadoop273
export HADOOP_MAPRED_HOME=/usr/local/hadoop273
export HBASE_HOME=/usr/local/hbase
export HIVE_HOME=/usr/local/hive
export ZOOCFGDIR= #如果讀者配置了ZooKeeper,也需要在此配置ZooKeeper的路徑
配置環(huán)境變量
打開當(dāng)前用戶的環(huán)境變量配置文件：
vi ~/.bash_profile
在配置文件第一行鍵入如下信息：
export SQOOP_HOME=/usr/local/sqoop146
export PATH=$PATH:$SBT_HOME/bin:$SQOOP_HOME/bin
export CLASSPATH=$CLASSPATH:$SQOOP_HOME/lib
保存該文件凡蚜，退出vim編輯器。
然后豆同，執(zhí)行下面命令讓配置文件立即生效:
source ~/.bash_profile
將mysql驅(qū)動(dòng)包拷貝到$SQOOP_HOME/lib
下面要把MySQL驅(qū)動(dòng)程序和hadoop-connector jar包拷貝到$SQOOP_HOME/lib目錄下番刊，不存在先下載驅(qū)動(dòng)包。
cp ./mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/sqoop146/lib
cp $HADOOP_HOME/share/hadoop/common/hadoop-common-2.7.3.jar $SQOOP_HOME/lib
修改$SQOOP_HOME/bin/configure-sqoop
注釋掉HCatalog影锈，Accumulo檢查(除非你準(zhǔn)備使用HCatalog芹务，Accumulo等HADOOP上的組件)
##Moved to be a runtime check in sqoop.#if[ ! -d "${HCAT_HOME}" ]; then#echo "Warning: $HCAT_HOME does notexist! HCatalog jobs will fail."#echo 'Please set $HCAT_HOME to the root ofyour HCatalog installation.'#fi#if[ ! -d "${ACCUMULO_HOME}" ]; then#echo "Warning: $ACCUMULO_HOME does notexist! Accumulo imports will fail."#echo 'Please set $ACCUMULO_HOME to the rootof your Accumulo installation.'#fi#Add HCatalog to dependency list#if[ -e "${HCAT_HOME}/bin/hcat" ]; then#TMP_SQOOP_CLASSPATH=${SQOOP_CLASSPATH}:`${HCAT_HOME}/bin/hcat-classpath`#if [ -z "${HIVE_CONF_DIR}" ]; then#TMP_SQOOP_CLASSPATH=${TMP_SQOOP_CLASSPATH}:${HIVE_CONF_DIR}#fi#SQOOP_CLASSPATH=${TMP_SQOOP_CLASSPATH}#fi#Add Accumulo to dependency list#if[ -e "$ACCUMULO_HOME/bin/accumulo" ]; then#for jn in `$ACCUMULO_HOME/bin/accumuloclasspath | grep file:.*accumulo.*jar |cut -d':' -f2`; do#SQOOP_CLASSPATH=$SQOOP_CLASSPATH:$jn#done#for jn in `$ACCUMULO_HOME/bin/accumuloclasspath | grep file:.*zookeeper.*jar |cut -d':' -f2`; do#SQOOP_CLASSPATH=$SQOOP_CLASSPATH:$jn#done#fi
測(cè)試與MySQL的連接
首先請(qǐng)確保mysql服務(wù)已經(jīng)啟動(dòng)了，如果沒有啟動(dòng)鸭廷，請(qǐng)執(zhí)行下面命令啟動(dòng)：
service mysql start
然后就可以測(cè)試sqoop與MySQL之間的連接是否成功：
sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -password root
root為數(shù)據(jù)庫(kù)的用戶名和密碼枣抱，mysql的數(shù)據(jù)庫(kù)列表顯示在屏幕上表示連接成功。
