Linux集群部署Kettle

一.Kettle原理簡單描述:

一個主carte服務器和多個carte服務器組成,類似于主仆模式(Master-Slave),實質(zhì)Master并不是處理處理具體任務,僅僅只負責任務的分發(fā)和運行結(jié)果的收集新娜。Master節(jié)點收到請求后,會把任務分成多個部分交給slave carte執(zhí)行赵辕,slave(子節(jié)點)執(zhí)行完畢會把結(jié)果信息交給Master進行匯總收集,最終結(jié)果返回概龄。

二.主仆模式(Master-Slave)核心思想:

一個基于分而治之思想設計模式还惠,將一個任務(原始任務)分解為若干個語義等同的子任務,并由專門的工作者線程來并行執(zhí)行這些任務旁钧,原始任務的結(jié)果是通過整合各個子任務的處理結(jié)果形成的吸重。

三.基本集群環(huán)境配置(服務器信息):

  • 環(huán)境相關信息:linux(Centos6.8.iso鏡像) + JDK 1.8.0_171 + pdi-ce-7.0.0.0-25
  • 節(jié)點相關信息:
    1. 192.168.146.131:8080 (Mster主節(jié)點)
    2. 192.168.146.132:8081 (SlaveFrist)
    3. 192.168.146.133:8082 (SlaveSecond)
  • 注意:節(jié)點服務器節(jié)點開防火墻,不然訪問不了

四.配置Kettle集群

1.1 配置主節(jié)點服務器

打開Kettle解壓目錄,再找集群配置文件的目錄(data-integration../pwd),里面有4個XML文件歪今,包含主服務配置文件(carte-config-master-8080.xml)和子服務器配置文件(carte-config-**.xml)嚎幸。
配置描述
主服務器相關配置

1.2 配置從節(jié)點服務器

子服務器器相關配置

注意:剩下子服務器復制主從配置文件(修改靜態(tài)IP即可)

1.3 啟動節(jié)點信息

啟動節(jié)點命令
啟動成功的判斷(監(jiān)聽的IP+Port)

1.4 spoon建立集群,創(chuàng)建子服務器

Spoon中主服務器配置
Spoon中從服務器配置
Sponn子服務器集群配置
設計轉(zhuǎn)換流程啟動(Run)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市寄猩,隨后出現(xiàn)的幾起案子嫉晶,更是在濱河造成了極大的恐慌,老刑警劉巖田篇,帶你破解...
    沈念sama閱讀 223,126評論 6 520
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件替废,死亡現(xiàn)場離奇詭異,居然都是意外死亡泊柬,警方通過查閱死者的電腦和手機椎镣,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,421評論 3 400
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來兽赁,“玉大人状答,你說我怎么就攤上這事冷守。” “怎么了惊科?”我有些...
    開封第一講書人閱讀 169,941評論 0 366
  • 文/不壞的土叔 我叫張陵拍摇,是天一觀的道長。 經(jīng)常有香客問我馆截,道長充活,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,294評論 1 300
  • 正文 為了忘掉前任蜡娶,我火速辦了婚禮混卵,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘翎蹈。我一直安慰自己淮菠,他們只是感情好男公,可當我...
    茶點故事閱讀 69,295評論 6 398
  • 文/花漫 我一把揭開白布荤堪。 她就那樣靜靜地躺著,像睡著了一般枢赔。 火紅的嫁衣襯著肌膚如雪澄阳。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,874評論 1 314
  • 那天踏拜,我揣著相機與錄音碎赢,去河邊找鬼。 笑死速梗,一個胖子當著我的面吹牛肮塞,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播姻锁,決...
    沈念sama閱讀 41,285評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼枕赵,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了位隶?” 一聲冷哼從身側(cè)響起拷窜,我...
    開封第一講書人閱讀 40,249評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎涧黄,沒想到半個月后篮昧,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,760評論 1 321
  • 正文 獨居荒郊野嶺守林人離奇死亡笋妥,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,840評論 3 343
  • 正文 我和宋清朗相戀三年懊昨,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片春宣。...
    茶點故事閱讀 40,973評論 1 354
  • 序言:一個原本活蹦亂跳的男人離奇死亡酵颁,死狀恐怖狈孔,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情材义,我是刑警寧澤均抽,帶...
    沈念sama閱讀 36,631評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站其掂,受9級特大地震影響油挥,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜款熬,卻給世界環(huán)境...
    茶點故事閱讀 42,315評論 3 336
  • 文/蒙蒙 一深寥、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧贤牛,春花似錦惋鹅、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,797評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至般卑,卻和暖如春武鲁,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背蝠检。 一陣腳步聲響...
    開封第一講書人閱讀 33,926評論 1 275
  • 我被黑心中介騙來泰國打工沐鼠, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人叹谁。 一個月前我還...
    沈念sama閱讀 49,431評論 3 379
  • 正文 我出身青樓饲梭,卻偏偏與公主長得像,于是被迫代替她去往敵國和親焰檩。 傳聞我的和親對象是個殘疾皇子憔涉,可洞房花燭夜當晚...
    茶點故事閱讀 45,982評論 2 361