常用命令列舉

這里給大家列出來了一部分Sqoop操作時的常用參數澄港，以供參考老厌，需要深入學習的可以參看對應類的源代碼劣纲。

命令&參數詳解

剛才列舉了一些Sqoop的常用命令，對于不同的命令昂芜，有不同的參數，讓我們來一一列舉說明赔蒲。
首先來我們來介紹一下公用的參數泌神，所謂公用參數，就是大多數命令都支持的參數舞虱。

公用參數：數據庫連接

公用參數：import

公用參數：export

公用參數：hive

公用參數介紹完之后踊谋，我們來按照命令介紹命令對應的特有參數。

命令&參數：import

將關系型數據庫中的數據導入到HDFS（包括Hive旋讹，HBase）中褪子，如果導入的是Hive量淌，那么當Hive中沒有對應表時，則自動創(chuàng)建嫌褪。

1. 命令：
   如：導入數據到hive中

$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--hive-import

如：增量導入數據到hive中呀枢，mode=append

append導入：
$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--num-mappers 1 \
--fields-terminated-by "\t" \
--target-dir /user/hive/warehouse/staff_hive \
--check-column id \
--incremental append \
--last-value 3

尖叫提示：append不能與--hive-等參數同時使用（Append mode for hive imports is not yet supported. Please remove the parameter --append-mode）
如：增量導入數據到hdfs中，mode=lastmodified

先在mysql中建表并插入幾條數據：
mysql> create table company.staff_timestamp(id int(4), name varchar(255), sex varchar(255), last_modified timestamp DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP);
mysql> insert into company.staff_timestamp (id, name, sex) values(1, 'AAA', 'female');
mysql> insert into company.staff_timestamp (id, name, sex) values(2, 'BBB', 'female');
先導入一部分數據：
$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff_timestamp \
--delete-target-dir \
--m 1
再增量導入一部分數據：
mysql> insert into company.staff_timestamp (id, name, sex) values(3, 'CCC', 'female');
$ bin/sqoop import \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff_timestamp \
--check-column last_modified \
--incremental lastmodified \
--last-value "2017-09-28 22:20:38" \
--m 1 \
--append

尖叫提示：使用lastmodified方式導入數據要指定增量數據是要--append（追加）還是要--merge-key（合并）
尖叫提示：last-value指定的值是會包含于增量導入的數據中

2. 參數：

命令&參數：export

從HDFS（包括Hive和HBase）中獎數據導出到關系型數據庫中。

1. 命令：
   如：

$ bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--export-dir /user/company \
--input-fields-terminated-by "\t" \
--num-mappers 1

2. 參數：

命令&參數：codegen

將關系型數據庫中的表映射為一個Java類，在該類中有各列對應的各個字段。
如：

$ bin/sqoop codegen \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--bindir /home/admin/Desktop/staff \
--class-name Staff \
--fields-terminated-by "\t"

命令&參數：create-hive-table

生成與關系數據庫表結構對應的hive表結構柳譬。
命令：
如：

$ bin/sqoop create-hive-table \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--hive-table hive_staff

命令&參數：eval

可以快速的使用SQL語句對關系型數據庫進行操作，經常用于在import數據之前摸航，了解一下SQL語句是否正確制跟，數據是否正常，并可以將結果顯示在控制臺忙厌。
命令：
如：

$ bin/sqoop eval \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--query "SELECT * FROM staff"

參數：

命令&參數：import-all-tables

可以將RDBMS中的所有表導入到HDFS中，每一個表都對應一個HDFS目錄
命令：
如：

$ bin/sqoop import-all-tables \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--warehouse-dir /all_tables

命令&參數：job

用來生成一個sqoop任務江咳，生成后不會立即執(zhí)行逢净，需要手動執(zhí)行。
命令：
如：

$ bin/sqoop job \
 --create myjob -- import-all-tables \
 --connect jdbc:mysql://hadoop102:3306/company \
 --username root \
 --password 000000
$ bin/sqoop job \
--list
$ bin/sqoop job \
--exec myjob

尖叫提示：注意import-all-tables和它左邊的--之間有一個空格
尖叫提示：如果需要連接metastore歼指，則--meta-connect jdbc:hsqldb:hsql://linux01:16000/sqoop
參數：

尖叫提示：在執(zhí)行一個job時爹土，如果需要手動輸入數據庫密碼，可以做如下優(yōu)化

<property>
    <name>sqoop.metastore.client.record.password</name>
    <value>true</value>
    <description>If true, allow saved passwords in the metastore.</description>
</property>

命令&參數：list-databases

命令：
如：

$ bin/sqoop list-databases \
--connect jdbc:mysql://hadoop102:3306/ \
--username root \
--password 000000

參數：與公用參數一樣

命令&參數：list-tables

命令：
如：

$ bin/sqoop list-tables \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000

參數：與公用參數一樣

命令&參數：merge

將HDFS中不同目錄下面的數據合并在一起并放入指定目錄中
數據環(huán)境：

new_staff
1       AAA     male
2       BBB     male
3       CCC     male
4       DDD     male
old_staff
1       AAA     female
2       CCC     female
3       BBB     female
6       DDD     female

尖叫提示：上邊數據的列之間的分隔符應該為\t踩身，行與行之間的分割符為\n胀茵，如果直接復制，請檢查之挟阻。
命令：
如：

創(chuàng)建JavaBean：
$ bin/sqoop codegen \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--bindir /home/admin/Desktop/staff \
--class-name Staff \
--fields-terminated-by "\t"

開始合并：
$ bin/sqoop merge \
--new-data /test/new/ \
--onto /test/old/ \
--target-dir /test/merged \
--jar-file /home/admin/Desktop/staff/Staff.jar \
--class-name Staff \
--merge-key id
結果：
1   AAA MALE
2   BBB MALE
3   CCC MALE
4   DDD MALE
6   DDD FEMALE

參數：

命令&參數：metastore

記錄了Sqoop job的元數據信息坷备，如果不啟動該服務熄浓，那么默認job元數據的存儲目錄為~/.sqoop，可在sqoop-site.xml中修改省撑。
命令：
如：啟動sqoop的metastore服務

$ bin/sqoop metastore

參數：

關注微信公眾號