//
開源ETL工具Kettle初試–遠(yuǎn)程執(zhí)行任務(wù) – lxw的大數(shù)據(jù)田地
http://lxw1234.com/archives/2017/02/834.htm#comments
Kettle是一款國外開源的ETL以及簡單的調(diào)度工具恼五。官網(wǎng)：http://www.pentaho.com/product/data-integration之前Kettle在傳統(tǒng)數(shù)據(jù)倉庫中用的比較多，現(xiàn)在也集成了很多大數(shù)據(jù)相關(guān)的組件，比如：HDFS往弓、MapReduce、HBase团秽、Hive订晌、Sqoop等。這兩天試驗(yàn)了一下倘要，在此做一記錄。
我使用的Kettle版本為最新的pdi-ce-7.0.0.0-25.zip，特別注意封拧，該版本對jdk的要求比較高志鹃，之前系統(tǒng)上的jdk-8u65竟然也不行，后來用了最新的jdk-8u121才正常泽西。
完成了一個簡單的ETL過程：從Oracle中抽取數(shù)據(jù)->寫入HDFS->Load進(jìn)Hive表曹铃。
因?yàn)槲覀兊腖inux服務(wù)器都沒有圖形化界面，并且我本機(jī)不能訪問hadoop集群節(jié)點(diǎn)的內(nèi)網(wǎng)ip（只能通過網(wǎng)關(guān)機(jī)訪問）捧杉，因此陕见，需要進(jìn)行下面的部署：
kettle
在Hadoop網(wǎng)關(guān)機(jī)（Linux）上啟動Kettle遠(yuǎn)程服務(wù)，作為子服務(wù)器味抖；在我的機(jī)器（windows）上啟動Kettle评甜，作為主服務(wù)器，進(jìn)行作業(yè)開發(fā)仔涩，執(zhí)行時候忍坷，提交到子服務(wù)器進(jìn)行遠(yuǎn)程執(zhí)行。
配置Kettle遠(yuǎn)程服務(wù)
下載Kettle：
https://nchc.dl.sourceforge.net/project/pentaho/Data%20Integration/7.0/pdi-ce-7.0.0.0-25.zip
解壓之后红柱，編輯data-integration/plugins/pentaho-big-data-plugin/plugin.properties文件：設(shè)置hadoop版本（我使用的cdh5.8）：active.hadoop.configuration=cdh58
進(jìn)入data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/cdh58目錄：將hadoop的配置文件core-site.xml承匣、mapred-site.xml、yarn-site.xml復(fù)制過來锤悄。
在Kettle遠(yuǎn)程服務(wù)器上（Linux）：進(jìn)入data-integration目錄韧骗，設(shè)置遠(yuǎn)程服務(wù)連接密碼：sh encr.sh -carte yourpassword結(jié)果會輸出加密后的密碼：OBF:1hvy1i271vny1zej1zer1vn41hzj1hrk
編輯密碼文件：vi ./pwd/kettle.pwdcluster: OBF:1hvy1i271vny1zej1zer1vn41hzj1hrk其中，cluster為默認(rèn)的用戶名零聚。
然后啟動遠(yuǎn)程服務(wù)：nohup ./carte.sh localhost 9888 >> carte.log &
端口號9888可以自己定義袍暴。
本地Kettle主服務(wù)器開發(fā)任務(wù)
本地windows解壓Kettle之后，執(zhí)行Spoon.bat啟動Kettle隶症。執(zhí)行SpoonConsole.bat打開圖形界面政模。
文件->新建->轉(zhuǎn)換：
kettle
在該轉(zhuǎn)換中，需要配置2個DB鏈接（Oracle和HiveServer2）,配置Hadoop集群（HDFS）蚂会，配置子服務(wù)器（遠(yuǎn)程執(zhí)行服務(wù)器）淋样。DB的配置很簡單，略過胁住。新建子服務(wù)器：
kettle
新建Hadoop集群：注意趁猴，如果不使用MapReduce和ZK，那么只需要配置HDFS即可彪见，Hostname為主NameNode的IP.
kettle
遠(yuǎn)程執(zhí)行任務(wù)
開發(fā)完后儡司，在執(zhí)行的選項(xiàng)中，選擇遠(yuǎn)程執(zhí)行：
kettle
本地Kettle會連接到遠(yuǎn)程Kettle子服務(wù)器余指，將該作業(yè)配置信息發(fā)送給子服務(wù)器進(jìn)行執(zhí)行捕犬。
除了上述方法完成DBàHive的數(shù)據(jù)導(dǎo)入，Kettle也集成了Sqoop，應(yīng)該也可以完成碉碉，后續(xù)再進(jìn)行嘗試：
kettle
