Pulsar 2.5.0 之本地集群搭建

Pulsar 2.5.0 之本地集群搭建

官網(wǎng)原文標(biāo)題《Set up a standalone Pulsar locally》

翻譯時(shí)間:2020-02-12

官網(wǎng)原文地址:http://pulsar.apache.org/docs/en/standalone/

譯者:本文介紹了如何在本地搭建單機(jī)集群才顿。

為了開發(fā)和測(cè)試标锄,你需要在你的本地機(jī)器上安裝本地集群模式,本地集群模式包括Pulsar broker, 以及必須ZooKeeper and BookKeeper組件,都是運(yùn)行在你的單個(gè)虛擬機(jī)實(shí)例上掺栅。

提示:如果你需要運(yùn)行所有的組件,請(qǐng)參考? Deploying a Pulsar instance 指南.

系統(tǒng)必要條件

Pulsar可以運(yùn)行在MacOS和Linux上。需要安裝Java 8來運(yùn)行pulsar。

Pulsar 啟動(dòng)默認(rèn)分配2G堆內(nèi)存,如果需要調(diào)整修改conf/pulsar_env.sh 文件中的PULSAR_MEM參數(shù)

使用二進(jìn)制包 release版本安裝 Pulsar

通過如下任何一個(gè)地址下載二進(jìn)制realease版本包

Apache 鏡像

Pulsar 下載頁

Pulsar 主頁

wget

$ wget https://archive.apache.org/dist/pulsar/pulsar-2.5.0/apache-pulsar-2.5.0-bin.tar.gz

下載完成 tarball 通過tar命令解壓潮峦,cd命令進(jìn)入目錄

$ tar xvfz apache-pulsar-2.5.0-bin.tar.gz

$ cd apache-pulsar-2.5.0

解壓目錄結(jié)構(gòu)如下

? 錄? ? 內(nèi)容?

? bin? ? Pulsar的命令行工具勇婴,例如pulsar和pulsar-admin?

? conf? ? Pulsar的配置文件,包括broker配置拘悦、zookeeper配置等等?

? example? ? Pulsar? function例子的Java jar文件?

? lib? ? Pulsar用到的Jar文件?

? licenses? ? 各種Pulsar codebase組件的License文件橱脸,.txt形式础米,?

一旦你開始運(yùn)行Pulsar添诉,下面的這些目錄將會(huì)被創(chuàng)建.

? 目錄? ? 內(nèi)容?

? data? ? ZooKeeper和BookKeeper使用的數(shù)據(jù)存儲(chǔ)目錄?

? instances? ? 為Pulsar? Function創(chuàng)建的Artifact?

? logs? ? 安裝時(shí)創(chuàng)建的log?

安裝 builtin connectors (可選)

從2.1.0-incubating發(fā)布后艾帐,Pulsar發(fā)布了一個(gè)單獨(dú)的binary分發(fā)版,含有所有內(nèi)建connector。如果你想要使用這些內(nèi)建connector条霜,你可以通過下述方式下載connector tarball催什。

Apache鏡像下載

Pulsar IO Connectors 2.5.0-incubating release

Pulsar下載頁

Pulsar發(fā)布頁

使用wget

$wget https://archive.apache.org/dist/pulsar/pulsar-2.5.0/connectors/{connector}-2.5.0.nar

下載好tarball后,在pulasr目錄下解壓io-connectors包宰睡,然后在pulsar目錄下拷貝connectors蒲凶。例如 pulsar-io-aerospike-2.5.0.nar

$ mkdirconnectors

?

$ mvpulsar-io-aerospike-2.5.0.nar connectors

?

$ lsconnectors

?

pulsar-io-aerospike-2.5.0.nar

安裝 tiered storage offloaders (可選)

如果你想要使用這些內(nèi)建tiered storage offloaders,你可以通過下述方式下載tiered storage offloaders tarball拆内。

Apache鏡像下載

Pulsar Tiered Storage Offloaders 2.5.0 release

Pulsar下載頁

Pulsar發(fā)布頁

使用wget

$wgethttps://archive.apache.org/dist/pulsar/pulsar-2.5.0/apache-pulsar-offloaders-2.5.0-bin.tar.gz

下載好tarball后旋圆,在pulsar目錄下解壓offloaders包,然后在pulsar目錄下拷貝offloaders麸恍。

$ tarxvfz apache-pulsar-offloaders-2.5.0-bin.tar.gz

?

// you willfinda directory named`apache-pulsar-offloaders-2.5.0`inthe pulsar directory

?

//thencopy the offloaders

?

$ mvapache-pulsar-offloaders-2.5.0/offloaders offloaders

?

$ lsoffloaders

?

tiered-storage-jcloud-2.5.0.nar

如果想了解tiered storage配置的信息 請(qǐng)參考 Tiered storage cookbook.

集群部署需要把offloaders tarball解壓到所有pulsar目錄下

Docker部署需要用apachepulsar/pulsar-all鏡像覆蓋原apachepulsar/pulsar鏡像

啟動(dòng)本地集群

$ bin/pulsar standalone

啟動(dòng)成功灵巧,看到如下信息:

2017-06-0114:46:29,192-INFO-[main:WebSocketService@95]-Configuration Store cache started

?

2017-06-0114:46:29,192-INFO-[main:AuthenticationService@61]-Authentication is disabled

?

2017-06-0114:46:29,192-INFO-[main:WebSocketService@108]-Pulsar WebSocket Service started

服務(wù)運(yùn)行在終端,如果需要再后臺(tái)啟動(dòng)抹沪,需要使用pulsar-daemon start standalone 命令孩等,更多詳情,請(qǐng)參考? pulsar-daemon.

默認(rèn)情況下沒有加密采够,沒有安全認(rèn)證肄方,不需要配置安全認(rèn)證參數(shù)。允許通過非安全認(rèn)證策略訪問蹬癌。安全配置請(qǐng)參考 Security Overview

啟動(dòng)本地單機(jī)集群权她,Pulsar將會(huì)自動(dòng)創(chuàng)建public/default namespace,你可以用來作開發(fā)目的逝薪。所有的Pulsar topic都將在此namespace下管理隅要,了解更多 Topics.

測(cè)試你的cluster安裝

Pulsar提供了名為pulsar-client 的CLI工具,使你可以做一些諸如發(fā)送或消費(fèi)消息到topic

測(cè)試消費(fèi)者

$ bin/pulsar-client consume my-topic-s"first-subscription"

如果消費(fèi)成功董济,你可以在pulsar-client中看到如下信息

09:56:55.566 [pulsar-client-io-1-1] INFO org.apache.pulsar.client.impl.MultiTopicsConsumerImpl-[TopicsConsumerFakeTopicNamee2df9] [first-subscription] Success subscribe new topic my-topicintopics consumer, partitions:4, allTopicPartitionsNumber:4

my-topic 不存在步清,無論是消費(fèi)者還是生產(chǎn)者都會(huì)自動(dòng)這個(gè)主題

測(cè)試生產(chǎn)者

$ bin/pulsar-client produce my-topic--messages"hello-pulsar"

如果消息發(fā)送成功,你可以在pulsar-client中看到如下信息

13:09:39.356 [main] INFO org.apache.pulsar.client.cli.PulsarClientTool-1messages successfully produced

?

?

停止集群

Ctrl+C 停止本地集群

如果是使用 pulsar-daemon start standalone 命令啟動(dòng), 需要使用pulsar-daemon stop standalone 命令停止服務(wù)虏肾,了解更多, 查閱 pulsar-daemon.

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末廓啊,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子封豪,更是在濱河造成了極大的恐慌谴轮,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,194評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件吹埠,死亡現(xiàn)場(chǎng)離奇詭異第步,居然都是意外死亡疮装,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,058評(píng)論 2 385
  • 文/潘曉璐 我一進(jìn)店門粘都,熙熙樓的掌柜王于貴愁眉苦臉地迎上來廓推,“玉大人,你說我怎么就攤上這事翩隧∈苌叮” “怎么了?”我有些...
    開封第一講書人閱讀 156,780評(píng)論 0 346
  • 文/不壞的土叔 我叫張陵鸽心,是天一觀的道長(zhǎng)滚局。 經(jīng)常有香客問我,道長(zhǎng)顽频,這世上最難降的妖魔是什么藤肢? 我笑而不...
    開封第一講書人閱讀 56,388評(píng)論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮糯景,結(jié)果婚禮上嘁圈,老公的妹妹穿的比我還像新娘。我一直安慰自己蟀淮,他們只是感情好最住,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,430評(píng)論 5 384
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著怠惶,像睡著了一般涨缚。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上策治,一...
    開封第一講書人閱讀 49,764評(píng)論 1 290
  • 那天脓魏,我揣著相機(jī)與錄音,去河邊找鬼通惫。 笑死茂翔,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的履腋。 我是一名探鬼主播珊燎,決...
    沈念sama閱讀 38,907評(píng)論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼遵湖!你這毒婦竟也來了悔政?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,679評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤奄侠,失蹤者是張志新(化名)和其女友劉穎卓箫,沒想到半個(gè)月后载矿,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體垄潮,經(jīng)...
    沈念sama閱讀 44,122評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡烹卒,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,459評(píng)論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了弯洗。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片旅急。...
    茶點(diǎn)故事閱讀 38,605評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖牡整,靈堂內(nèi)的尸體忽然破棺而出藐吮,到底是詐尸還是另有隱情,我是刑警寧澤逃贝,帶...
    沈念sama閱讀 34,270評(píng)論 4 329
  • 正文 年R本政府宣布谣辞,位于F島的核電站,受9級(jí)特大地震影響沐扳,放射性物質(zhì)發(fā)生泄漏泥从。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,867評(píng)論 3 312
  • 文/蒙蒙 一沪摄、第九天 我趴在偏房一處隱蔽的房頂上張望躯嫉。 院中可真熱鬧,春花似錦杨拐、人聲如沸祈餐。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,734評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽帆阳。三九已至,卻和暖如春屋吨,著一層夾襖步出監(jiān)牢的瞬間舱痘,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,961評(píng)論 1 265
  • 我被黑心中介騙來泰國(guó)打工离赫, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留芭逝,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,297評(píng)論 2 360
  • 正文 我出身青樓渊胸,卻偏偏與公主長(zhǎng)得像旬盯,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子翎猛,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,472評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • 1. 網(wǎng)站集群架構(gòu)搭建規(guī)劃 1.1 中小規(guī)呐趾玻基礎(chǔ)網(wǎng)站集群架構(gòu)規(guī)劃 1.2 網(wǎng)站集群搭建順序規(guī)劃 1.3 主機(jī)IP及...
    阿喪小威閱讀 381評(píng)論 0 0
  • 起床:5:34 就寢:凌晨1點(diǎn)左右 天氣:陰 心情:美美噠 任務(wù)清單 昨日完成的任務(wù),最重要的三件事:完成50% ...
    起點(diǎn)_e57c閱讀 290評(píng)論 0 0
  • 1早 讀書2h(2本書) 占星學(xué)習(xí)1h 晚上運(yùn)動(dòng)1h 公眾號(hào)碎片化學(xué)習(xí)(經(jīng)濟(jì)切厘,互聯(lián)網(wǎng)萨咳,社媒,思維 疫稿,文案培他,占星鹃两,美...
    看星星的蝎子閱讀 51評(píng)論 0 0
  • 窗外的冷風(fēng)融進(jìn)蒙蒙細(xì)雨中,是秋天了舀凛。 綠瓦俊扳、紅磚、柳樹猛遍、青苔馋记,它們絕非無序堆砌出來的雜亂景物,而是融進(jìn)了濃濃的...
    忱兮_閱讀 431評(píng)論 0 3
  • 昨天送女兒去吉安讀書了懊烤,這也意味著我的單身女生活模式開啟了梯醒。好在女兒的暫時(shí)沒去吉安,才得以女兒陪了我二十來天腌紧。那二...
    獨(dú)孤草原狼閱讀 102評(píng)論 0 0