Kettle入門之一 介紹、安裝

數(shù)據(jù)整合是吧在不同數(shù)據(jù)源的數(shù)據(jù)收集荸频、整理菱肖、清洗、轉(zhuǎn)換(有點像ETL)后旭从,加載到一個新的數(shù)據(jù)源稳强,為數(shù)據(jù)使用者提供統(tǒng)一數(shù)據(jù)視圖的數(shù)據(jù)集成方式场仲。

數(shù)據(jù)整合

數(shù)據(jù)整合是共享或者合并來自于兩個或者更多應用的數(shù)據(jù),創(chuàng)建一個具有更多功能的企業(yè)應用的過程退疫。傳統(tǒng)的商業(yè)應用有很強的面向?qū)ο笮浴此麄円揽砍掷m(xù)的數(shù)據(jù)結(jié)構(gòu)為商業(yè)實體和過程建模渠缕。當這種情況發(fā)生時,邏輯方式是通過數(shù)據(jù)共享或合并進行整合褒繁,而其他情況下亦鳞,來自于一個應用的數(shù)據(jù)可能是重新構(gòu)造才能和另一個應用的數(shù)據(jù)結(jié)構(gòu)匹配,然后被直接寫進另一個數(shù)據(jù)庫棒坏。

下面我們將介紹一個目前比較成熟穩(wěn)定的數(shù)據(jù)整合工具:Kettle

Kettle 介紹

Kettle是一款國外開源的ETL工具燕差,純java編寫,可以在Window坝冕、Linux谁不、Unix上運行,綠色無需安裝徽诲,數(shù)據(jù)抽取高效穩(wěn)定刹帕。

Kettle 中文名稱叫水壺,該項目的主程序員MATT 希望把各種數(shù)據(jù)放到一個壺里谎替,然后以一種指定的格式流出偷溺。

Kettle這個ETL工具集,它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù)钱贯,通過提供一個圖形化的用戶環(huán)境來描述你想做什么挫掏,而不是你想怎么做。

Kettle中有兩種腳本文件秩命,transformation和job尉共,transformation完成針對數(shù)據(jù)的基礎轉(zhuǎn)換,job則完成整個工作流的控制弃锐。

Kettle目前包含五個產(chǎn)品:Spoon袄友、Pan、Chef霹菊、Kithcen剧蚣、Encr。

SPOON: 是一個圖形用戶界面旋廷,允許你通過圖形界面來設計ETL轉(zhuǎn)換過程(Transformation)和任務鸠按。

PAN: 轉(zhuǎn)換(trasform)執(zhí)行器;允許你批量運行由Spoon設計的ETL轉(zhuǎn)換 (如使用一個時間調(diào)度器)饶碘。Pan是一個后臺執(zhí)行的程序目尖,沒有圖形界面。

CHEF: 允許你創(chuàng)建任務(Job)扎运。 任務通過允許每個轉(zhuǎn)換瑟曲,任務饮戳,腳本等等,更有利于自動化更新數(shù)據(jù)倉庫的復雜工作测蹲。任務通過允許每個轉(zhuǎn)換莹捡,任務,腳本等等扣甲。任務將會被檢查篮赢,看看是否正確地運行了。

KITHCEN: 作業(yè)(job)執(zhí)行器琉挖;允許你批量使用由Chef設計的任務 (如使用一個時間調(diào)度器)启泣。KITCHEN也是一個后臺運行的程序。

ENCR: 用來加密連接數(shù)據(jù)庫密碼與集群時使用的密碼

Kettle 下載和部署

1示辈、我們可以進入 Kettle官網(wǎng) 進行下載寥茫,進入之后,下拉頁面矾麻,看到如圖所示;

查看所有版本纱耻,我們可以看到最新版本以及所有舊版本的Kettle

此處選擇7.1版本

2、Kettle 環(huán)境配置
由于Kettle是使用Java語言編寫的险耀,所有Kettel的運行需要有Java環(huán)境弄喘,安裝JDK,請參考:Linux環(huán)境下JDK安裝和配置Windows環(huán)境下JDK安裝和配置

3甩牺、運行Kettle
進入到Kettle目錄蘑志,如果Kettle部署在windows環(huán)境雙擊Spoon.bat文件啟動Kettle,如果是在Linux環(huán)境下贬派,則運行spoon.sh文件啟動急但。出現(xiàn)如下界面,則我們的Kettle就安裝成功了搞乏。

至此波桩,Kettle的下載、環(huán)境配置和安裝就基本完成了查描。

下一篇 :Kettle入門之二 Kettle應用場景(只增量插入)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末突委,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子冬三,更是在濱河造成了極大的恐慌,老刑警劉巖缘缚,帶你破解...
    沈念sama閱讀 217,084評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件勾笆,死亡現(xiàn)場離奇詭異,居然都是意外死亡桥滨,警方通過查閱死者的電腦和手機窝爪,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,623評論 3 392
  • 文/潘曉璐 我一進店門弛车,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人蒲每,你說我怎么就攤上這事纷跛。” “怎么了邀杏?”我有些...
    開封第一講書人閱讀 163,450評論 0 353
  • 文/不壞的土叔 我叫張陵贫奠,是天一觀的道長。 經(jīng)常有香客問我望蜡,道長唤崭,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,322評論 1 293
  • 正文 為了忘掉前任脖律,我火速辦了婚禮谢肾,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘小泉。我一直安慰自己芦疏,他們只是感情好,可當我...
    茶點故事閱讀 67,370評論 6 390
  • 文/花漫 我一把揭開白布微姊。 她就那樣靜靜地躺著酸茴,像睡著了一般。 火紅的嫁衣襯著肌膚如雪柒桑。 梳的紋絲不亂的頭發(fā)上弊决,一...
    開封第一講書人閱讀 51,274評論 1 300
  • 那天,我揣著相機與錄音魁淳,去河邊找鬼飘诗。 笑死,一個胖子當著我的面吹牛界逛,可吹牛的內(nèi)容都是我干的昆稿。 我是一名探鬼主播,決...
    沈念sama閱讀 40,126評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼息拜,長吁一口氣:“原來是場噩夢啊……” “哼溉潭!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起少欺,我...
    開封第一講書人閱讀 38,980評論 0 275
  • 序言:老撾萬榮一對情侶失蹤喳瓣,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后赞别,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體畏陕,經(jīng)...
    沈念sama閱讀 45,414評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,599評論 3 334
  • 正文 我和宋清朗相戀三年仿滔,在試婚紗的時候發(fā)現(xiàn)自己被綠了惠毁。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片犹芹。...
    茶點故事閱讀 39,773評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖鞠绰,靈堂內(nèi)的尸體忽然破棺而出腰埂,到底是詐尸還是另有隱情,我是刑警寧澤蜈膨,帶...
    沈念sama閱讀 35,470評論 5 344
  • 正文 年R本政府宣布屿笼,位于F島的核電站,受9級特大地震影響丈挟,放射性物質(zhì)發(fā)生泄漏刁卜。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,080評論 3 327
  • 文/蒙蒙 一曙咽、第九天 我趴在偏房一處隱蔽的房頂上張望蛔趴。 院中可真熱鬧,春花似錦例朱、人聲如沸孝情。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,713評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽箫荡。三九已至,卻和暖如春渔隶,著一層夾襖步出監(jiān)牢的瞬間羔挡,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,852評論 1 269
  • 我被黑心中介騙來泰國打工间唉, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留绞灼,地道東北人。 一個月前我還...
    沈念sama閱讀 47,865評論 2 370
  • 正文 我出身青樓呈野,卻偏偏與公主長得像低矮,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子被冒,可洞房花燭夜當晚...
    茶點故事閱讀 44,689評論 2 354

推薦閱讀更多精彩內(nèi)容