5.1泌豆、常用命令列舉
這里給大家列出來(lái)了一部分Sqoop操作時(shí)的常用參數(shù)讨惩，以供參考婶熬，需要深入學(xué)習(xí)的可以參看對(duì)應(yīng)類(lèi)的源代碼。

5.2、命令&參數(shù)詳解
剛才列舉了一些Sqoop的常用命令坛掠，對(duì)于不同的命令赊锚，有不同的參數(shù)治筒，讓我們來(lái)一一列舉說(shuō)明。
首先來(lái)我們來(lái)介紹一下公用的參數(shù)舷蒲，所謂公用參數(shù)耸袜，就是大多數(shù)命令都支持的參數(shù)。
5.2.1牲平、公用參數(shù)：數(shù)據(jù)庫(kù)連接

5.2.2堤框、公用參數(shù)：import

5.2.3腊嗡、公用參數(shù)：export

5.2.4、公用參數(shù)：hive

公用參數(shù)介紹完之后凄敢，我們來(lái)按照命令介紹命令對(duì)應(yīng)的特有參數(shù)。
5.2.5湿痢、命令&參數(shù)：import
將關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)導(dǎo)入到HDFS（包括Hive涝缝，HBase）中，如果導(dǎo)入的是Hive譬重，那么當(dāng)Hive中沒(méi)有對(duì)應(yīng)表時(shí)拒逮，則自動(dòng)創(chuàng)建。

1. 命令：
   如：導(dǎo)入數(shù)據(jù)到hive中

$ bin/sqoop import \
--connect jdbc:mysql://bigdata111:3306/Andy \
--username root \
--password 000000 \
--table access \
--hive-import \
--fields-terminated-by "\t"

如：增量導(dǎo)入數(shù)據(jù)到hive中臀规，mode=append
append導(dǎo)入：

$ bin/sqoop import \
--connect jdbc:mysql://bigdata111:3306/Andy \
--username root \
--password 000000 \
--table aca \
--num-mappers 1 \
--fields-terminated-by "\t" \
--target-dir /user/hive/warehouse/staff_hive \
--check-column id \
--incremental append \
--last-value 10

尖叫提示：append不能與--hive-等參數(shù)同時(shí)使用（Append mode for hive imports is not yet supported. Please remove the parameter --append-mode）
注:--last-value 2 的意思是標(biāo)記增量的位置為第二行滩援，也就是說(shuō)，當(dāng)數(shù)據(jù)再次導(dǎo)出的時(shí)候塔嬉，從第二行開(kāi)始算
注：如果 --last-value N , N > MYSQL中最大行數(shù)玩徊，則HDFS會(huì)創(chuàng)建一個(gè)空文件租悄。如果N<=0 , 那么就是所有數(shù)據(jù)

如：增量導(dǎo)入數(shù)據(jù)到hdfs中，mode=lastmodified（注：卡锥鞲ぁ）
先在mysql中建表并插入幾條數(shù)據(jù)：

mysql> create table company.staff_timestamp(id int(4), name varchar(255), sex varchar(255), last_modified timestamp DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP);
mysql> insert into company.staff_timestamp (id, name, sex) values(1, 'AAA', 'female');
mysql> insert into company.staff_timestamp (id, name, sex) values(2, 'BBB', 'female');
先導(dǎo)入一部分?jǐn)?shù)據(jù)：
$ bin/sqoop import \
--connect jdbc:mysql://bigdata111:3306/company \
--username root \
--password 000000 \
--table staff_timestamp \
--delete-target-dir \
--hive-import \
--fields-terminated-by "\t" \
--m 1
再增量導(dǎo)入一部分?jǐn)?shù)據(jù):
mysql> insert into company.staff_timestamp (id, name, sex) values(3, 'CCC', 'female');
$ bin/sqoop import \
--connect jdbc:mysql://bigdata111:3306/company \
--username root \
--password 000000 \
--table staff_timestamp \
--check-column last_modified \
--incremental lastmodified \
--m 1 \
--last-value "2019-05-17 09:50:12" \
--append

--last-value "2019-05-17 07:08:53" \

尖叫提示：使用lastmodified方式導(dǎo)入數(shù)據(jù)要指定增量數(shù)據(jù)是要--append（追加）還是要--merge-key（合并）
尖叫提示：在Hive中泣棋，如果不指定輸出路徑，可以去看以下兩個(gè)目錄
1./user/root（此為用戶(hù)名）
2./user/hive/warehouse 個(gè)人配置的目錄
尖叫提示：last-value指定的值是會(huì)包含于增量導(dǎo)入的數(shù)據(jù)中
如果卡住畔塔，在yarn-site.xml中加入以下配置

 <property>
     <name>yarn.nodemanager.resource.memory-mb</name>
     <value>20480</value>
 </property>

 <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>2048</value>
 </property>

 <property>
     <name>yarn.nodemanager.vmem-pmem-ratio</name>
     <value>2.1</value>
 </property>

2. 參數(shù)：

5.2.6确憨、命令&參數(shù)：export
從HDFS（包括Hive和HBase）中將數(shù)據(jù)導(dǎo)出到關(guān)系型數(shù)據(jù)庫(kù)中。

1. 命令：
   如：

bin/sqoop export \
--connect jdbc:mysql://bigdata111:3306/Andy \
--username root \
--password 000000 \
--export-dir /user/hive/warehouse/staff_hive \
--table aca \
--num-mappers 1 \
--input-fields-terminated-by "\t"

2. 參數(shù)：

5.2.7医增、命令&參數(shù)：codegen
將關(guān)系型數(shù)據(jù)庫(kù)中的表映射為一個(gè)Java類(lèi)，在該類(lèi)中有各列對(duì)應(yīng)的各個(gè)字段老虫。
如：

$ bin/sqoop codegen \
--connect jdbc:mysql://bigdata111:3306/company \
--username root \
--password 000000 \
--table staff \
--bindir /opt/Desktop/staff \
--class-name Staff \
--fields-terminated-by "\t"

5.2.8、命令&參數(shù)：create-hive-table
生成與關(guān)系數(shù)據(jù)庫(kù)表結(jié)構(gòu)對(duì)應(yīng)的hive表結(jié)構(gòu)市埋。
命令：
如：僅建表

$ bin/sqoop create-hive-table \
--connect jdbc:mysql://bigdata111:3306/company \
--username root \
--password 000000 \
--table staff \
--hive-table hive_staff1

參數(shù)：

5.2.9抒倚、命令&參數(shù)：eval
可以快速的使用SQL語(yǔ)句對(duì)關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行操作，經(jīng)常用于在import數(shù)據(jù)之前坷澡，了解一下SQL語(yǔ)句是否正確托呕，數(shù)據(jù)是否正常，并可以將結(jié)果顯示在控制臺(tái)频敛。
命令：
如：

$ bin/sqoop eval \
--connect jdbc:mysql://bigdata111:3306/company \
--username root \
--password 000000 \
--query "SELECT * FROM staff"

參數(shù)：

5.2.10项郊、命令&參數(shù)：import-all-tables
可以將RDBMS中的所有表導(dǎo)入到HDFS中，每一個(gè)表都對(duì)應(yīng)一個(gè)HDFS目錄
命令：
如：注意：(卡住)

$ bin/sqoop import-all-tables \
--connect jdbc:mysql://bigdata111:3306/company \
--username root \
--password 000000 \
--hive-import \
--fields-terminated-by "\t"

參數(shù)：

5.2.11斟赚、命令&參數(shù)：job
用來(lái)生成一個(gè)sqoop任務(wù)着降，生成后不會(huì)立即執(zhí)行，需要手動(dòng)執(zhí)行汁展。
命令：
如：

$ bin/sqoop job \
 --create myjob -- import-all-tables \
 --connect jdbc:mysql://bigdata111:3306/company \
 --username root \
 --password 000000
$ bin/sqoop job \
--list
$ bin/sqoop job \
--exec myjob

尖叫提示：注意import-all-tables和它左邊的--之間有一個(gè)空格
尖叫提示：如果需要連接metastore鹊碍，則--meta-connect
執(zhí)行的結(jié)果在HDFS：/user/root/ 目錄中，即導(dǎo)出所有表到/user/root中
參數(shù)：

尖叫提示：在執(zhí)行一個(gè)job時(shí)食绿，如果需要手動(dòng)輸入數(shù)據(jù)庫(kù)密碼侈咕，可以做如下優(yōu)化

<property>
    <name>sqoop.metastore.client.record.password</name>
    <value>true</value>
    <description>If true, allow saved passwords in the metastore.</description>
</property>

5.2.12、命令&參數(shù)：list-databases
命令：
如：

$ bin/sqoop list-databases \
--connect jdbc:mysql://bigdata111:3306/ \
--username root \
--password 000000

參數(shù)：與公用參數(shù)一樣

5.2.13器紧、命令&參數(shù)：list-tables
命令：
如：

$ bin/sqoop list-tables \
--connect jdbc:mysql://bigdata111:3306/company \
--username root \
--password 000000

參數(shù)：與公用參數(shù)一樣
5.2.14耀销、命令&參數(shù)：merge
將HDFS中不同目錄下面的數(shù)據(jù)合并在一起并放入指定目錄中
數(shù)據(jù)環(huán)境：注意:以下數(shù)據(jù)自己手動(dòng)改成\t
new_staff

1 AAA male
2 BBB male
3 CCC male
4 DDD male
old_staff

1 AAA female
2 CCC female
3 BBB female
6 DDD female

尖叫提示：上邊數(shù)據(jù)的列之間的分隔符應(yīng)該為\t，行與行之間的分割符為\n铲汪，如果直接復(fù)制熊尉，請(qǐng)檢查之罐柳。
命令：
如：
創(chuàng)建JavaBean：

$ bin/sqoop codegen \
--connect jdbc:mysql://bigdata111:3306/company \
--username root \
--password 000000 \
--table staff \
--bindir /opt/Desktop/staff \
--class-name Staff \
--fields-terminated-by "\t"

開(kāi)始合并：注：是hdfs路徑
$ bin/sqoop merge \
--new-data /test/new/ \
--onto /test/old/ \
--target-dir /test/merged \
--jar-file /opt/Desktop/staff/Staff.jar \
--class-name Staff \
--merge-key id
結(jié)果：
1   AAA MALE
2   BBB MALE
3   CCC MALE
4   DDD MALE
6   DDD FEMALE

參數(shù)：

5.2.15肮蛹、命令&參數(shù)：metastore
記錄了Sqoop job的元數(shù)據(jù)信息，如果不啟動(dòng)該服務(wù)创南，那么默認(rèn)job元數(shù)據(jù)的存儲(chǔ)目錄為~/.sqoop伦忠，可在sqoop-site.xml中修改。
命令：
如：?jiǎn)?dòng)sqoop的metastore服務(wù)

$ bin/sqoop metastore

參數(shù)：