carte集群的搭建筆記

原理

由一個(gè)主carte服務(wù)器和多個(gè)carte服務(wù)器組成鲫尊,類似于master-slave結(jié)構(gòu)渴庆,不同的是'master'不處理具體任務(wù)称鳞,只負(fù)責(zé)任務(wù)的分發(fā)和收集運(yùn)行結(jié)果。Master carte節(jié)點(diǎn)收到請求后惜姐,把任務(wù)分成多個(gè)部分交給slave carte執(zhí)行犁跪,slave執(zhí)行完畢后把結(jié)果交給master進(jìn)行匯總,再由master返回結(jié)果歹袁。

1.配置集群

1.1配置主服務(wù)器

打開kettle目錄坷衍,找到pwd目錄,里面有4個(gè)xml文件条舔,分別是主服務(wù)器和子服務(wù)器的配置枫耳,以及密碼文件:

carte配置

主服務(wù)器的配置文件為carte-config-master-8080.xml,打開這個(gè)文件,修改成以下內(nèi)容孟抗,注意迁杨,hostname必須填寫主服務(wù)器的靜態(tài)IP。

8080

1.2配置從服務(wù)器

剩下的三個(gè)從服務(wù)器配置文件凄硼,以carte-config-8081.xml為例铅协。打開該文件:

從服務(wù)器配置

然后回到kettle主目錄,打開命令行摊沉,輸入:

>>./carte.sh localhost 8080

出現(xiàn)以下畫面狐史,主服務(wù)器創(chuàng)建完成,接著说墨,我們來配置從服務(wù)器骏全。

主服務(wù)器創(chuàng)建完成
從服務(wù)器配置文件

發(fā)現(xiàn)該文件有和兩層標(biāo)簽,標(biāo)簽表示該服務(wù)器要連接的主服務(wù)器的信息尼斧,保持與carte-config-master.xml一致姜贡。標(biāo)簽是從服務(wù)器的信息,按照需要更改即可棺棵。

1.3啟動(dòng)各節(jié)點(diǎn)

然后回到kettle主目錄楼咳,打開命令行,輸入以下命令正常啟動(dòng)主服務(wù)器:

>>./carte.sh 172.16.2.222 8080

然后將kettle文件夾傳輸?shù)綇墓?jié)點(diǎn)到服務(wù)器烛恤,尤其是主目錄下pwd文件夾母怜。

之后在從節(jié)點(diǎn)kettle文件夾下打開命令行輸入以下命令:

>>./carte.sh 172.16.3.211 8081

2.建立集群

2.1在spoon中創(chuàng)建子服務(wù)器

先啟動(dòng)spoon,新創(chuàng)建一個(gè)轉(zhuǎn)換。然后選擇主對象樹-子服務(wù)器棒动,點(diǎn)擊新建子服務(wù)器,然后填寫必要信息。

主服務(wù)器

然后按同樣的方式建立子服務(wù)器的節(jié)點(diǎn):

從服務(wù)器

2.2 建立集群

在對象樹中選擇kettle集群schemas,填寫schema名稱宾添、端口船惨、sokects緩存大小柜裸、sockets刷新時(shí)間間隔、socketts數(shù)據(jù)是否壓縮粱锐。

Schema名稱即集群的名稱疙挺。

端口即集群對外服務(wù)的端口。

sockets緩存大辛场:sockets緩存

Sockets刷新時(shí)間間隔:達(dá)到多少行記錄時(shí)刷新到子服務(wù)器铐然。

Sockets數(shù)據(jù)是否壓縮:如果網(wǎng)絡(luò)狀態(tài)差,建議選擇恶座。

之后點(diǎn)擊選擇子服務(wù)器將集群節(jié)點(diǎn)加入到該集群中搀暑。

集群

2.3執(zhí)行轉(zhuǎn)換

點(diǎn)擊轉(zhuǎn)換-->排序記錄,建立一個(gè)排序記錄節(jié)點(diǎn)跨琳,之后右鍵該節(jié)點(diǎn)自点,點(diǎn)擊集群,選擇集群后點(diǎn)確定脉让。

此時(shí)桂敛,在排序記錄上會(huì)多出一個(gè)標(biāo)志,表示該排序記錄有一個(gè)從服務(wù)器負(fù)責(zé)執(zhí)行任務(wù)溅潜。

排序記錄

2.4集群執(zhí)行

右鍵集群運(yùn)行設(shè)置术唬,如下:

集群運(yùn)行設(shè)置

2.5執(zhí)行,查看結(jié)果

最后滚澜,查看執(zhí)行結(jié)果
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末粗仓,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子博秫,更是在濱河造成了極大的恐慌潦牛,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,907評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件挡育,死亡現(xiàn)場離奇詭異巴碗,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)即寒,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,987評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門橡淆,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人母赵,你說我怎么就攤上這事逸爵。” “怎么了凹嘲?”我有些...
    開封第一講書人閱讀 164,298評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵师倔,是天一觀的道長。 經(jīng)常有香客問我周蹭,道長趋艘,這世上最難降的妖魔是什么疲恢? 我笑而不...
    開封第一講書人閱讀 58,586評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮瓷胧,結(jié)果婚禮上显拳,老公的妹妹穿的比我還像新娘。我一直安慰自己搓萧,他們只是感情好杂数,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,633評(píng)論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著瘸洛,像睡著了一般揍移。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上货矮,一...
    開封第一講書人閱讀 51,488評(píng)論 1 302
  • 那天羊精,我揣著相機(jī)與錄音,去河邊找鬼囚玫。 笑死喧锦,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的抓督。 我是一名探鬼主播燃少,決...
    沈念sama閱讀 40,275評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼铃在!你這毒婦竟也來了阵具?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,176評(píng)論 0 276
  • 序言:老撾萬榮一對情侶失蹤定铜,失蹤者是張志新(化名)和其女友劉穎阳液,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體揣炕,經(jīng)...
    沈念sama閱讀 45,619評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡帘皿,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,819評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了畸陡。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片鹰溜。...
    茶點(diǎn)故事閱讀 39,932評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖丁恭,靈堂內(nèi)的尸體忽然破棺而出曹动,到底是詐尸還是另有隱情,我是刑警寧澤牲览,帶...
    沈念sama閱讀 35,655評(píng)論 5 346
  • 正文 年R本政府宣布墓陈,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏贡必。R本人自食惡果不足惜熬的,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,265評(píng)論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望赊级。 院中可真熱鬧,春花似錦岔绸、人聲如沸理逊。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,871評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽晋被。三九已至,卻和暖如春刚盈,著一層夾襖步出監(jiān)牢的瞬間羡洛,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,994評(píng)論 1 269
  • 我被黑心中介騙來泰國打工藕漱, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留欲侮,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,095評(píng)論 3 370
  • 正文 我出身青樓肋联,卻偏偏與公主長得像威蕉,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個(gè)殘疾皇子橄仍,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,884評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容

  • JBoss AS7集群方案...2 基礎(chǔ)環(huán)境搭建...2 安裝jdk.3 AS7安裝韧涨、配置3 AS7群集配置、測試...
    lannerate閱讀 2,854評(píng)論 0 1
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理侮繁,服務(wù)發(fā)現(xiàn)虑粥,斷路器,智...
    卡卡羅2017閱讀 134,656評(píng)論 18 139
  • Spring Boot 參考指南 介紹 轉(zhuǎn)載自:https://www.gitbook.com/book/qbgb...
    毛宇鵬閱讀 46,810評(píng)論 6 342
  • 1.Linux安裝前的配置 1.1.關(guān)閉防火墻 本站文檔是假定「服務(wù)器在防火墻以內(nèi)」的前提下編纂的宪哩,在這個(gè)前提下...
    lao男孩閱讀 3,322評(píng)論 0 4
  • 在北京的兩處斋射,他們分別偷偷的笑育勺。不能再打電話多說點(diǎn),所以只能回憶剛才的對話罗岖,一個(gè)字一個(gè)字的樂涧至;沒有手機(jī)去發(fā)個(gè)短信確...
    安二汶閱讀 4,852評(píng)論 0 1