cdh5.15.1添加kafka服務(wù)

? ? 安裝好cdh后在cloudera-manager管理界面上并沒有kafka服務(wù),在CDH官網(wǎng)中關(guān)于Kafka的安裝和升級(jí)中已經(jīng)說到,在CDH中铐拐,Kafka作為一個(gè)分布式的parcel,單獨(dú)出來作為parcel分發(fā)安裝包。只要我們把分離開的kafka的服務(wù)描述jar包和服務(wù)parcel包下載了厕吉,就可以實(shí)現(xiàn)完美集成了酱固。

(一)查看版本對(duì)應(yīng)

訪問網(wǎng)址https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#pcm_kafka查看cdh與kafka版本的對(duì)應(yīng)關(guān)系,如下圖所示:

本次cdh使用的是5.15.1所以選擇kafka3.1

(二)下載kafka包

訪問下載地址:http://archive.cloudera.com/kafka/parcels/latest/头朱,下載如下圖所示紅框中的文件:

(三)修改文件

1)重命名KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha1為KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha

2)將manifest.json文件中parcelName為KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel的hash值拷貝到KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha中运悲,如果KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha中的值和manifest.json文件中的hash一致則省略該步。

(四)拷貝文件

將KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha项钮、KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel和manifest.json文件拷貝到/opt/cloudera/parcel-repo路徑下班眯,如果該路徑下已經(jīng)存在manifest.json文件則將其重命名,如下圖所示:

(五)配置Kafka-1.2.0.jar

訪問下載地址:http://archive.cloudera.com/csds/kafka/烁巫,下載Kafka-1.2.0.jar署隘,如下圖所示:

將Kafka-1.2.0.jar文件拷貝到路徑/opt/cloudera/csd,如下圖所示:

(六)添加kafka服務(wù)

添加kafka會(huì)出現(xiàn)如下圖所示亚隙,需要先安裝kafka包磁餐,

點(diǎn)擊install the parcel first,檢查更新parcel阿弃,分配崖媚,激活。

如下圖所示則說明成功:

(七)kafka集群驗(yàn)證

?????? 啟動(dòng)kafka服務(wù)之后恤浪,執(zhí)行命令:kafka-topics --create --topic test --zookeeper node3:2181 --partitions 2 --replication-factor 2創(chuàng)建名為test的topic畅哑,執(zhí)行命令:

kafka-topics --list --zookeeper node3:2181查看已創(chuàng)建topic信息,如下圖所示:

? ? ? ?在不同機(jī)器上分別執(zhí)行如下命令水由,啟動(dòng)生產(chǎn)者和消費(fèi)者荠呐,進(jìn)行消息的生產(chǎn)和消費(fèi):

?????? kafka-console-producer --topic test --broker-list node3:9092 (生產(chǎn)者)

?????? kafka-console-consumer --zookeeper node3:2181? --topic test (消費(fèi)者)

啟動(dòng)生產(chǎn)者和消費(fèi)者之后模擬消息的生產(chǎn)和消費(fèi),如下圖所示:

????今天的分享就到這砂客,有看不明白的地方一定是我寫的不夠清楚泥张,所有歡迎提任何問題以及改善方法。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末鞠值,一起剝皮案震驚了整個(gè)濱河市媚创,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌彤恶,老刑警劉巖钞钙,帶你破解...
    沈念sama閱讀 221,635評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異声离,居然都是意外死亡芒炼,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,543評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門术徊,熙熙樓的掌柜王于貴愁眉苦臉地迎上來本刽,“玉大人,你說我怎么就攤上這事∽釉ⅲ” “怎么了暗挑?”我有些...
    開封第一講書人閱讀 168,083評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)斜友。 經(jīng)常有香客問我窿祥,道長(zhǎng),這世上最難降的妖魔是什么蝙寨? 我笑而不...
    開封第一講書人閱讀 59,640評(píng)論 1 296
  • 正文 為了忘掉前任晒衩,我火速辦了婚禮,結(jié)果婚禮上墙歪,老公的妹妹穿的比我還像新娘听系。我一直安慰自己,他們只是感情好虹菲,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,640評(píng)論 6 397
  • 文/花漫 我一把揭開白布靠胜。 她就那樣靜靜地躺著,像睡著了一般毕源。 火紅的嫁衣襯著肌膚如雪浪漠。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,262評(píng)論 1 308
  • 那天霎褐,我揣著相機(jī)與錄音址愿,去河邊找鬼。 笑死冻璃,一個(gè)胖子當(dāng)著我的面吹牛响谓,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播省艳,決...
    沈念sama閱讀 40,833評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼娘纷,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了跋炕?” 一聲冷哼從身側(cè)響起赖晶,我...
    開封第一講書人閱讀 39,736評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎辐烂,沒想到半個(gè)月后遏插,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,280評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡棉圈,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,369評(píng)論 3 340
  • 正文 我和宋清朗相戀三年涩堤,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片分瘾。...
    茶點(diǎn)故事閱讀 40,503評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出德召,到底是詐尸還是另有隱情白魂,我是刑警寧澤,帶...
    沈念sama閱讀 36,185評(píng)論 5 350
  • 正文 年R本政府宣布上岗,位于F島的核電站福荸,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏肴掷。R本人自食惡果不足惜敬锐,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,870評(píng)論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望呆瞻。 院中可真熱鬧台夺,春花似錦、人聲如沸痴脾。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,340評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)赞赖。三九已至滚朵,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間前域,已是汗流浹背辕近。 一陣腳步聲響...
    開封第一講書人閱讀 33,460評(píng)論 1 272
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留匿垄,地道東北人亏推。 一個(gè)月前我還...
    沈念sama閱讀 48,909評(píng)論 3 376
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像年堆,于是被迫代替她去往敵國(guó)和親吞杭。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,512評(píng)論 2 359