將關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)導(dǎo)入到HDFS(包括Hive侣夷,HBase)中秫舌,如果導(dǎo)入的是Hive,那么當(dāng)Hive中沒有對應(yīng)表時润歉,則自動創(chuàng)建。
序號 | 參數(shù) | 說明 |
---|---|---|
1 | --append | 將數(shù)據(jù)追加到HDFS中已經(jīng)存在的DataSet中颈抚,如果使用該參數(shù)踩衩,sqoop會把數(shù)據(jù)先導(dǎo)入到臨時文件目錄,再合并贩汉。 |
2 | --as-avrodatafile | 將數(shù)據(jù)導(dǎo)入到一個Avro數(shù)據(jù)文件中 |
3 | --as-sequencefile | 將數(shù)據(jù)導(dǎo)入到一個sequence文件中 |
4 | --as-textfile | 將數(shù)據(jù)導(dǎo)入到一個普通文本文件中 |
5 | --boundary-query <statement> | 邊界查詢驱富,導(dǎo)入的數(shù)據(jù)為該參數(shù)的值(一條sql語句)所執(zhí)行的結(jié)果區(qū)間內(nèi)的數(shù)據(jù)。 |
6 | --columns <col1, col2, col3> | 指定要導(dǎo)入的字段 |
7 | --direct | 直接導(dǎo)入模式匹舞,使用的是關(guān)系數(shù)據(jù)庫自帶的導(dǎo)入導(dǎo)出工具褐鸥,以便加快導(dǎo)入導(dǎo)出過程。 |
8 | --direct-split-size | 在使用上面direct直接導(dǎo)入的基礎(chǔ)上策菜,對導(dǎo)入的流按字節(jié)分塊晶疼,即達(dá)到該閾值就產(chǎn)生一個新的文件 |
9 | --inline-lob-limit | 設(shè)定大對象數(shù)據(jù)類型的最大值 |
10 | --m或–num-mappers | 啟動N個map來并行導(dǎo)入數(shù)據(jù)酒贬,默認(rèn)4個。 |
11 | --query或--e <statement> | 將查詢結(jié)果的數(shù)據(jù)導(dǎo)入翠霍,使用時必須伴隨參--target-dir锭吨,--hive-table,如果查詢中有where條件寒匙,則條件后必須加上$CONDITIONS關(guān)鍵字 |
12 | --split-by <column-name> | 按照某一列來切分表的工作單元零如,不能與--autoreset-to-one-mapper連用(請參考官方文檔) |
13 | --table <table-name> | 關(guān)系數(shù)據(jù)庫的表名 |
14 | --target-dir <dir> | 指定HDFS路徑 |
15 | --warehouse-dir <dir> | 與14參數(shù)不能同時使用,導(dǎo)入數(shù)據(jù)到HDFS時指定的目錄 |
16 | --where | 從關(guān)系數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)時的查詢條件 |
17 | --z或--compress | 允許壓縮 |
18 | --compression-codec | 指定hadoop壓縮編碼類锄弱,默認(rèn)為gzip(Use Hadoop codec default gzip) |
19 | --null-string <null-string> | string類型的列如果null考蕾,替換為指定字符串 |
20 | --null-non-string <null-string> | 非string類型的列如果null,替換為指定字符串 |
21 | --check-column <col> | 作為增量導(dǎo)入判斷的列名 |
22 | --incremental <mode> | mode:append或lastmodified |
23 | --last-value <value> | 指定某一個值会宪,用于標(biāo)記增量導(dǎo)入的位置 |