首先下載kettle孟辑,我下載的是7.1.注意使用7.1的版本需要JDK1.8以上,另外Windows下需要IE11,如果沒有可能會(huì)出現(xiàn)一些嵌入式WEB頁面加載不出來的情況伊滋,導(dǎo)致有些功能無法使用。
在Windows下運(yùn)行spoon.bat,打開spoon队秩。spoon是kettle的圖形開發(fā)工具笑旺,可以在這上面開發(fā)轉(zhuǎn)換和job。
如果要是使用資源庫(資源庫是自定義的一些資源可以和別人共享馍资,或者可以一次創(chuàng)建資源以便供后面多次使用筒主,創(chuàng)建的轉(zhuǎn)換和job),要使用資源庫鸟蟹,點(diǎn)擊右上角Connect丐黄,然后在彈出窗中點(diǎn)擊getstart(如果在win下彈出窗無內(nèi)容梢什,確認(rèn)是否裝了IE11)融痛,新建一個(gè)數(shù)據(jù)庫資源庫(也可以新建文件資源庫)凛膏。新建了數(shù)據(jù)庫資源庫后,再連接到資源庫熊经,默認(rèn)的用戶名和密碼都是admin泽艘。
人后新建的轉(zhuǎn)換和job都會(huì)保存在資源庫里面了。
在java中調(diào)用:
我的需求是要在Java程序中控制kettle任務(wù)的執(zhí)行,在spoon中開發(fā)測(cè)試好之后奈搜,在Java中從資源庫中獲取轉(zhuǎn)換和任務(wù)執(zhí)行悉盆。
相關(guān)代碼如下:
package com.wdkj.test.kettle;
import org.pentaho.di.core.KettleEnvironment;
import org.pentaho.di.core.database.DatabaseMeta;
import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.job.Job;
import org.pentaho.di.job.JobMeta;
import org.pentaho.di.repository.Repository;
import org.pentaho.di.repository.RepositoryDirectoryInterface;
import org.pentaho.di.repository.kdr.KettleDatabaseRepository;
import org.pentaho.di.repository.kdr.KettleDatabaseRepositoryMeta;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransMeta;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
public class KettleTest {
private static final Logger log = LoggerFactory.getLogger(KettleTest.class);
private static KettleDatabaseRepository repository;
private static RepositoryDirectoryInterface directory;
public static void main(String... args){
initRepo();
try {
runTrans();
}catch (Exception e){
log.error("run trans error", e);
}
}
public static void initRepo(){
try {
KettleEnvironment.init();
repository = new KettleDatabaseRepository();
DatabaseMeta databaseMeta = new DatabaseMeta("kettle_repo", "MySql", "Native", "192.168.0.101",
"kettle", "3306",
"manager", "manager");//資源庫數(shù)據(jù)庫地址,我這里采用oracle數(shù)據(jù)庫
KettleDatabaseRepositoryMeta kettleDatabaseMeta = new KettleDatabaseRepositoryMeta("kettle_repo", "kettle_repo",
"Transformation description", databaseMeta);
repository.init(kettleDatabaseMeta);
repository.connect("admin", "admin");//資源庫用戶名和密碼
directory = repository.loadRepositoryDirectoryTree();
} catch (KettleException e) {
log.error("init kettle error :", e);
}
}
public static void runTrans() throws KettleException {
//根據(jù)變量查找到模型所在的目錄對(duì)象,此步驟很重要馋吗。
RepositoryDirectoryInterface directory = repository.findDirectory("/");
//創(chuàng)建ktr元對(duì)象
TransMeta transformationMeta = repository.loadTransformation("marriage_trans", directory, null, true, null);
transformationMeta.setParameterValue("original_database_password", "gerakan");
//創(chuàng)建ktr
Trans trans = new Trans(transformationMeta);
//執(zhí)行ktr
String[] params = {"original_database_port"};
trans.execute( params);
//等待執(zhí)行完畢
trans.waitUntilFinished();
if (trans.getErrors() > 0) {
log.info("trans executed failed");
} else {
log.info("trans executed OK");
}
}
public static void runJob() throws KettleException {
JobMeta jobMeta = ((Repository) repository).loadJob("job", directory, null, null);
Job job = new Job(repository, jobMeta);
job.setVariable("id", 1);
job.start();
job.waitUntilFinished();
if (job.getErrors() > 0) {
log.info("trans executed failed");
} else {
log.info("trans executed OK");
}
}
}
另外在Java調(diào)用數(shù)據(jù)庫資源庫的時(shí)候找不到IMetaStore這個(gè)類的錯(cuò)誤,把metastore的jar導(dǎo)入就行焕盟。
在spoon開發(fā)和測(cè)試環(huán)境和生產(chǎn)環(huán)境中要使用不同的配置,只需要設(shè)置參數(shù)值即可宏粤。
如果需要執(zhí)行時(shí)設(shè)置變量,即使用設(shè)置變量控件脚翘,需要新建job,在job中最前的轉(zhuǎn)換中設(shè)置變量绍哎,后面的轉(zhuǎn)換才能使用設(shè)置的變量.