一.Kettle原理簡單描述:
一個主carte服務器和多個carte服務器組成,類似于主仆模式(Master-Slave),實質(zhì)Master并不是處理處理具體任務,僅僅只負責任務的分發(fā)和運行結(jié)果的收集新娜。Master節(jié)點收到請求后,會把任務分成多個部分交給slave carte執(zhí)行赵辕,slave(子節(jié)點)執(zhí)行完畢會把結(jié)果信息交給Master進行匯總收集,最終結(jié)果返回概龄。
二.主仆模式(Master-Slave)核心思想:
一個基于分而治之思想設計模式还惠,將一個任務(原始任務)分解為若干個語義等同的子任務,并由專門的工作者線程來并行執(zhí)行這些任務旁钧,原始任務的結(jié)果是通過整合各個子任務的處理結(jié)果形成的吸重。
三.基本集群環(huán)境配置(服務器信息):
- 環(huán)境相關信息:linux(Centos6.8.iso鏡像) + JDK 1.8.0_171 + pdi-ce-7.0.0.0-25
- 節(jié)點相關信息:
1. 192.168.146.131:8080 (Mster主節(jié)點)
2. 192.168.146.132:8081 (SlaveFrist)
3. 192.168.146.133:8082 (SlaveSecond) - 注意:節(jié)點服務器節(jié)點開防火墻,不然訪問不了
四.配置Kettle集群
1.1 配置主節(jié)點服務器
打開Kettle解壓目錄,再找集群配置文件的目錄(data-integration../pwd),里面有4個XML文件歪今,包含主服務配置文件(carte-config-master-8080.xml)和子服務器配置文件(carte-config-**.xml)嚎幸。
配置描述
主服務器相關配置
1.2 配置從節(jié)點服務器
子服務器器相關配置
注意:剩下子服務器復制主從配置文件(修改靜態(tài)IP即可)
1.3 啟動節(jié)點信息
啟動節(jié)點命令
啟動成功的判斷(監(jiān)聽的IP+Port)
1.4 spoon建立集群,創(chuàng)建子服務器
Spoon中主服務器配置
Spoon中從服務器配置
Sponn子服務器集群配置
設計轉(zhuǎn)換流程啟動(Run)