sqoop1與sqoop2的區(qū)別
sqoop1提供用戶命令行的方式使用數(shù)據(jù)遷移功能對數(shù)據(jù)進(jìn)行遷移箍铲。目前提供的功能由關(guān)系型數(shù)據(jù)庫雇卷,Hbase, hive, HDFS之間的數(shù)據(jù)遷移颠猴。Sqoop1的缺點是:
- 基于命令行的操作方式关划,易出錯,且不安全翘瓮。
- 數(shù)據(jù)傳輸和數(shù)據(jù)格式是緊耦合的贮折,這使得connector無法支持所有的數(shù)據(jù)格式
- 用戶名和密碼暴漏出來
- sqoop安裝需要root權(quán)限
sqoop2在sqoop1的基礎(chǔ)之上
- 對遷移功能的組件進(jìn)行了更細(xì)致的劃分。
- 引入sqoop server资盅,集中化管理Connector等
- 多種訪問方式:CLI调榄,Web UI,REST API
- 引入基于角色的安全機(jī)制
sqoop2相比sqoop1來說更容易擴(kuò)展律姨,更易于使用振峻, 更安全。
sqoop1的整體架構(gòu)
sqoop.png
sqoop2的架構(gòu)
sqoop2.png