使用kettle做數(shù)據(jù)ETL

首先下載kettle孟辑,我下載的是7.1.注意使用7.1的版本需要JDK1.8以上,另外Windows下需要IE11,如果沒有可能會(huì)出現(xiàn)一些嵌入式WEB頁面加載不出來的情況伊滋,導(dǎo)致有些功能無法使用。

在Windows下運(yùn)行spoon.bat,打開spoon队秩。spoon是kettle的圖形開發(fā)工具笑旺,可以在這上面開發(fā)轉(zhuǎn)換和job。

spoon界面

如果要是使用資源庫(資源庫是自定義的一些資源可以和別人共享馍资,或者可以一次創(chuàng)建資源以便供后面多次使用筒主,創(chuàng)建的轉(zhuǎn)換和job),要使用資源庫鸟蟹,點(diǎn)擊右上角Connect丐黄,然后在彈出窗中點(diǎn)擊getstart(如果在win下彈出窗無內(nèi)容梢什,確認(rèn)是否裝了IE11)融痛,新建一個(gè)數(shù)據(jù)庫資源庫(也可以新建文件資源庫)凛膏。新建了數(shù)據(jù)庫資源庫后,再連接到資源庫熊经,默認(rèn)的用戶名和密碼都是admin泽艘。

人后新建的轉(zhuǎn)換和job都會(huì)保存在資源庫里面了。

在java中調(diào)用:
我的需求是要在Java程序中控制kettle任務(wù)的執(zhí)行,在spoon中開發(fā)測(cè)試好之后奈搜,在Java中從資源庫中獲取轉(zhuǎn)換和任務(wù)執(zhí)行悉盆。
相關(guān)代碼如下:

package com.wdkj.test.kettle;

import org.pentaho.di.core.KettleEnvironment;
import org.pentaho.di.core.database.DatabaseMeta;
import org.pentaho.di.core.exception.KettleException;
import org.pentaho.di.job.Job;
import org.pentaho.di.job.JobMeta;
import org.pentaho.di.repository.Repository;
import org.pentaho.di.repository.RepositoryDirectoryInterface;
import org.pentaho.di.repository.kdr.KettleDatabaseRepository;
import org.pentaho.di.repository.kdr.KettleDatabaseRepositoryMeta;
import org.pentaho.di.trans.Trans;
import org.pentaho.di.trans.TransMeta;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class KettleTest {

    private static final Logger log = LoggerFactory.getLogger(KettleTest.class);

    private static KettleDatabaseRepository repository;
    private static RepositoryDirectoryInterface directory;

    public static void main(String... args){
        initRepo();
        try {
            runTrans();
        }catch (Exception e){
            log.error("run trans error", e);
        }
    }

    public static void initRepo(){
        try {
            KettleEnvironment.init();
            repository = new KettleDatabaseRepository();
            DatabaseMeta databaseMeta = new DatabaseMeta("kettle_repo", "MySql", "Native", "192.168.0.101",
                    "kettle", "3306",
                    "manager", "manager");//資源庫數(shù)據(jù)庫地址,我這里采用oracle數(shù)據(jù)庫
            KettleDatabaseRepositoryMeta kettleDatabaseMeta = new KettleDatabaseRepositoryMeta("kettle_repo", "kettle_repo",
                    "Transformation description", databaseMeta);
            repository.init(kettleDatabaseMeta);
            repository.connect("admin", "admin");//資源庫用戶名和密碼
            directory = repository.loadRepositoryDirectoryTree();

        } catch (KettleException e) {
            log.error("init kettle error :", e);
        }
    }

    public static void runTrans() throws KettleException {
        //根據(jù)變量查找到模型所在的目錄對(duì)象,此步驟很重要馋吗。
        RepositoryDirectoryInterface directory = repository.findDirectory("/");
        //創(chuàng)建ktr元對(duì)象
        TransMeta transformationMeta = repository.loadTransformation("marriage_trans", directory, null, true, null);
        
        transformationMeta.setParameterValue("original_database_password", "gerakan");

        //創(chuàng)建ktr
        Trans trans = new Trans(transformationMeta);

        //執(zhí)行ktr
        String[] params = {"original_database_port"};
        trans.execute( params);
        //等待執(zhí)行完畢
        trans.waitUntilFinished();
        if (trans.getErrors() > 0) {
            log.info("trans executed failed");
        } else {
            log.info("trans executed OK");
        }
    }

    public static void runJob() throws KettleException {
        JobMeta jobMeta = ((Repository) repository).loadJob("job", directory, null, null);
        Job job = new Job(repository, jobMeta);
        job.setVariable("id", 1);
        job.start();
        job.waitUntilFinished();
        if (job.getErrors() > 0) {
            log.info("trans executed failed");
        } else {
            log.info("trans executed OK");
        }
    }
}

另外在Java調(diào)用數(shù)據(jù)庫資源庫的時(shí)候找不到IMetaStore這個(gè)類的錯(cuò)誤,把metastore的jar導(dǎo)入就行焕盟。

在spoon開發(fā)和測(cè)試環(huán)境和生產(chǎn)環(huán)境中要使用不同的配置,只需要設(shè)置參數(shù)值即可宏粤。

如果需要執(zhí)行時(shí)設(shè)置變量,即使用設(shè)置變量控件脚翘,需要新建job,在job中最前的轉(zhuǎn)換中設(shè)置變量绍哎,后面的轉(zhuǎn)換才能使用設(shè)置的變量.

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末来农,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子崇堰,更是在濱河造成了極大的恐慌沃于,老刑警劉巖涩咖,帶你破解...
    沈念sama閱讀 217,542評(píng)論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異繁莹,居然都是意外死亡檩互,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門咨演,熙熙樓的掌柜王于貴愁眉苦臉地迎上來闸昨,“玉大人,你說我怎么就攤上這事薄风《希” “怎么了?”我有些...
    開封第一講書人閱讀 163,912評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵遭赂,是天一觀的道長循诉。 經(jīng)常有香客問我,道長嵌牺,這世上最難降的妖魔是什么打洼? 我笑而不...
    開封第一講書人閱讀 58,449評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮逆粹,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘炫惩。我一直安慰自己僻弹,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,500評(píng)論 6 392
  • 文/花漫 我一把揭開白布他嚷。 她就那樣靜靜地躺著蹋绽,像睡著了一般。 火紅的嫁衣襯著肌膚如雪筋蓖。 梳的紋絲不亂的頭發(fā)上卸耘,一...
    開封第一講書人閱讀 51,370評(píng)論 1 302
  • 那天,我揣著相機(jī)與錄音粘咖,去河邊找鬼蚣抗。 笑死,一個(gè)胖子當(dāng)著我的面吹牛瓮下,可吹牛的內(nèi)容都是我干的翰铡。 我是一名探鬼主播,決...
    沈念sama閱讀 40,193評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼讽坏,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼锭魔!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起路呜,我...
    開封第一講書人閱讀 39,074評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤迷捧,失蹤者是張志新(化名)和其女友劉穎织咧,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體漠秋,經(jīng)...
    沈念sama閱讀 45,505評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡笙蒙,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,722評(píng)論 3 335
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了膛堤。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片手趣。...
    茶點(diǎn)故事閱讀 39,841評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖肥荔,靈堂內(nèi)的尸體忽然破棺而出绿渣,到底是詐尸還是另有隱情,我是刑警寧澤燕耿,帶...
    沈念sama閱讀 35,569評(píng)論 5 345
  • 正文 年R本政府宣布中符,位于F島的核電站,受9級(jí)特大地震影響誉帅,放射性物質(zhì)發(fā)生泄漏淀散。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,168評(píng)論 3 328
  • 文/蒙蒙 一蚜锨、第九天 我趴在偏房一處隱蔽的房頂上張望档插。 院中可真熱鬧,春花似錦亚再、人聲如沸郭膛。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽则剃。三九已至,卻和暖如春如捅,著一層夾襖步出監(jiān)牢的瞬間棍现,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評(píng)論 1 269
  • 我被黑心中介騙來泰國打工镜遣, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留己肮,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,962評(píng)論 2 370
  • 正文 我出身青樓烈涮,卻偏偏與公主長得像朴肺,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子坚洽,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,781評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容

  • //[kettle官方首頁]Data Integration | Pentaho Communityhttp://...
    葡萄喃喃囈語閱讀 5,081評(píng)論 0 21
  • Kettle 1.Kettle的介紹: Kettle是一款國外開源...
    有你就行閱讀 739評(píng)論 0 1
  • 背景 最近因公司項(xiàng)目原因戈稿,接觸到了Kettle這樣一款ETL工具。計(jì)劃在這段學(xué)習(xí)與使用的過程中讶舰,將自己的心得體會(huì)鞍盗,...
    熊頎閱讀 26,492評(píng)論 11 41
  • 今天是個(gè)好日子般甲。 今天情人節(jié)肋乍,明天除夕,后天春節(jié)敷存。 多么喜慶與溫情澳乖臁! 這幾天難得暢快淋漓的休息幾天锚烦,閑來沒事找了...
    Senven詩瑪閱讀 232評(píng)論 2 0
  • 教育孩子就是摸石頭過河觅闽,邊走邊試水的深淺緩急,即使同一條河流已經(jīng)走第二遍或第三遍涮俄,或許有了些許經(jīng)驗(yàn)蛉拙,但走第四邊時(shí),...
    伽小主閱讀 225評(píng)論 2 1