原理
由一個(gè)主carte服務(wù)器和多個(gè)carte服務(wù)器組成鲫尊,類似于master-slave結(jié)構(gòu)渴庆,不同的是'master'不處理具體任務(wù)称鳞,只負(fù)責(zé)任務(wù)的分發(fā)和收集運(yùn)行結(jié)果。Master carte節(jié)點(diǎn)收到請求后惜姐,把任務(wù)分成多個(gè)部分交給slave carte執(zhí)行犁跪,slave執(zhí)行完畢后把結(jié)果交給master進(jìn)行匯總,再由master返回結(jié)果歹袁。
1.配置集群
1.1配置主服務(wù)器
打開kettle目錄坷衍,找到pwd目錄,里面有4個(gè)xml文件条舔,分別是主服務(wù)器和子服務(wù)器的配置枫耳,以及密碼文件:
主服務(wù)器的配置文件為carte-config-master-8080.xml,打開這個(gè)文件,修改成以下內(nèi)容孟抗,注意迁杨,hostname必須填寫主服務(wù)器的靜態(tài)IP。
1.2配置從服務(wù)器
剩下的三個(gè)從服務(wù)器配置文件凄硼,以carte-config-8081.xml為例铅协。打開該文件:
然后回到kettle主目錄,打開命令行摊沉,輸入:
>>./carte.sh localhost 8080
出現(xiàn)以下畫面狐史,主服務(wù)器創(chuàng)建完成,接著说墨,我們來配置從服務(wù)器骏全。
發(fā)現(xiàn)該文件有和兩層標(biāo)簽,標(biāo)簽表示該服務(wù)器要連接的主服務(wù)器的信息尼斧,保持與carte-config-master.xml一致姜贡。標(biāo)簽是從服務(wù)器的信息,按照需要更改即可棺棵。
1.3啟動(dòng)各節(jié)點(diǎn)
然后回到kettle主目錄楼咳,打開命令行,輸入以下命令正常啟動(dòng)主服務(wù)器:
>>./carte.sh 172.16.2.222 8080
然后將kettle文件夾傳輸?shù)綇墓?jié)點(diǎn)到服務(wù)器烛恤,尤其是主目錄下pwd文件夾母怜。
之后在從節(jié)點(diǎn)kettle文件夾下打開命令行輸入以下命令:
>>./carte.sh 172.16.3.211 8081
2.建立集群
2.1在spoon中創(chuàng)建子服務(wù)器
先啟動(dòng)spoon,新創(chuàng)建一個(gè)轉(zhuǎn)換。然后選擇主對象樹-子服務(wù)器棒动,點(diǎn)擊新建子服務(wù)器,然后填寫必要信息。
然后按同樣的方式建立子服務(wù)器的節(jié)點(diǎn):
2.2 建立集群
在對象樹中選擇kettle集群schemas,填寫schema名稱宾添、端口船惨、sokects緩存大小柜裸、sockets刷新時(shí)間間隔、socketts數(shù)據(jù)是否壓縮粱锐。
Schema名稱即集群的名稱疙挺。
端口即集群對外服務(wù)的端口。
sockets緩存大辛场:sockets緩存
Sockets刷新時(shí)間間隔:達(dá)到多少行記錄時(shí)刷新到子服務(wù)器铐然。
Sockets數(shù)據(jù)是否壓縮:如果網(wǎng)絡(luò)狀態(tài)差,建議選擇恶座。
之后點(diǎn)擊選擇子服務(wù)器將集群節(jié)點(diǎn)加入到該集群中搀暑。
2.3執(zhí)行轉(zhuǎn)換
點(diǎn)擊轉(zhuǎn)換-->排序記錄,建立一個(gè)排序記錄節(jié)點(diǎn)跨琳,之后右鍵該節(jié)點(diǎn)自点,點(diǎn)擊集群,選擇集群后點(diǎn)確定脉让。
此時(shí)桂敛,在排序記錄上會(huì)多出一個(gè)標(biāo)志,表示該排序記錄有一個(gè)從服務(wù)器負(fù)責(zé)執(zhí)行任務(wù)溅潜。
2.4集群執(zhí)行
右鍵集群運(yùn)行設(shè)置术唬,如下: