Kafka數(shù)據(jù)推送配置 | 如何設(shè)置賬號(hào)密碼驗(yàn)證贴妻?

背景:之前資產(chǎn)信息用網(wǎng)絡(luò)接口進(jìn)行數(shù)據(jù)推送湃崩,但是接口推送需要驗(yàn)證而且反應(yīng)較慢龄减。Kafak中間件提供了另一種可行的數(shù)據(jù)推送方式诅病,它可以進(jìn)行消息隊(duì)列推送戚宦,且反應(yīng)速度快晰洒。但是Kafka需部署在公網(wǎng)環(huán)境瑞信,并進(jìn)行登錄驗(yàn)證顷帖,如果部署Kafka后未設(shè)置登錄驗(yàn)證逆航,會(huì)被惡意掃描到鼎文,此時(shí)向Kafka里面push超過(guò)1G的文件,將會(huì)直接導(dǎo)致Kafka宕掉因俐。 為了避免Kafka宕掉拇惋,建設(shè)在使用Kafka過(guò)程中配置登錄驗(yàn)證周偎,以下是Kafka登錄驗(yàn)證的配置過(guò)程。 1撑帖、修改kafka配置文件: vim /asop/kafka/kafka_2.11-2.1.0/config/server.properties broker.id=0 listeners=SASL_PLAINTEXT://:9092 advertised.listeners=SASL_PLAINTEXT://1.1.1.1:9092 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/asop/kafka/logs num.partitions=1 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 zookeeper.connect=localhost:2181 zookeeper.connection.timeout.ms=6000 group.initial.rebalance.delay.ms=0 #使用的認(rèn)證協(xié)議 security.inter.broker.protocol=SASL_PLAINTEXT #SASL機(jī)制 sasl.enabled.mechanisms=PLAIN sasl.mechanism.inter.broker.protocol=PLAIN #完成身份驗(yàn)證的類 authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer #如果沒(méi)有找到ACL(訪問(wèn)控制列表)配置蓉坎,則允許任何操作。 allow.everyone.if.no.acl.found=false #需要開(kāi)啟設(shè)置超級(jí)管理員,設(shè)置visitor用戶為超級(jí)管理員 super.users=User:visitor

2胡嘿、為server創(chuàng)建登錄驗(yàn)證文件(可以自主命名文件) 如vim /asop/kafka/kafka_2.11-2.1.0/config/kafka_server_jaas.conf 文件內(nèi)容如下 KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule required username="visitor" password="qaz@123" user_visitor="qaz@123"; };

4蛉艾、為consumer和producer創(chuàng)建登錄驗(yàn)證文件(可自主命名文件) 如kafka_client_jaas.conf,文件內(nèi)容如下(如果是程序訪問(wèn)衷敌,如springboot訪問(wèn)勿侯,可以不配置) vim /asop/kafka/kafka_2.11-2.1.0/config/kafka_client_jaas.conf KafkaClient { org.apache.kafka.common.security.plain.PlainLoginModule required username="visitor" password="qaz@123"; };

5、在consumer.properties和producer.properties里分別加上如下配置 vim /asop/kafka/kafka_2.11-2.1.0/config/consumer.properties vim /asop/kafka/kafka_2.11-2.1.0/config/producer.properties security.protocol=SASL_PLAINTEXT sasl.mechanism=PLAIN

7缴罗、分別啟動(dòng)zookeeper和kafka助琐,至此服務(wù)端kafka用戶登錄驗(yàn)證配置完成(先關(guān)閉kafka后關(guān)閉zookeeper) 關(guān)閉服務(wù)kafka # /asop/kafka/kafka_2.11-2.1.0/bin/kafka-server-stop.sh -daemon /asop/kafka/kafka_2.11-2.1.0/config/server.properties 關(guān)閉服務(wù)zookeeper-3.4.13 /asop/zk/zookeeper-3.4.13/bin/zkServer.sh stop /asop/zk/zookeeper-3.4.13/conf/zoo.cfg 啟動(dòng)服務(wù)zookeeper-3.4.13 /asop/zk/zookeeper-3.4.13/bin/zkServer.sh start /asop/zk/zookeeper-3.4.13/conf/zoo.cfg 啟動(dòng)服務(wù)kafka #/asop/kafka/kafka_2.11-2.1.0/bin/kafka-server-start.sh -daemon /asop/kafka/kafka_2.11-2.1.0/config/server.properties

以上就是本期的全部?jī)?nèi)容。大家好面氓,我是樂(lè)樂(lè)兵钮,專注IT運(yùn)維技術(shù)研究與分享,更多運(yùn)維知識(shí)請(qǐng)關(guān)注樂(lè)維社區(qū)舌界,如有運(yùn)維問(wèn)題也歡迎到社區(qū)提問(wèn)掘譬!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市呻拌,隨后出現(xiàn)的幾起案子葱轩,更是在濱河造成了極大的恐慌,老刑警劉巖柏锄,帶你破解...
    沈念sama閱讀 206,602評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件酿箭,死亡現(xiàn)場(chǎng)離奇詭異复亏,居然都是意外死亡趾娃,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,442評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門(mén)缔御,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)抬闷,“玉大人,你說(shuō)我怎么就攤上這事耕突◇猿桑” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 152,878評(píng)論 0 344
  • 文/不壞的土叔 我叫張陵眷茁,是天一觀的道長(zhǎng)炕泳。 經(jīng)常有香客問(wèn)我,道長(zhǎng)上祈,這世上最難降的妖魔是什么培遵? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 55,306評(píng)論 1 279
  • 正文 為了忘掉前任浙芙,我火速辦了婚禮,結(jié)果婚禮上籽腕,老公的妹妹穿的比我還像新娘嗡呼。我一直安慰自己,他們只是感情好皇耗,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,330評(píng)論 5 373
  • 文/花漫 我一把揭開(kāi)白布南窗。 她就那樣靜靜地躺著,像睡著了一般郎楼。 火紅的嫁衣襯著肌膚如雪万伤。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 49,071評(píng)論 1 285
  • 那天箭启,我揣著相機(jī)與錄音壕翩,去河邊找鬼。 笑死傅寡,一個(gè)胖子當(dāng)著我的面吹牛放妈,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播荐操,決...
    沈念sama閱讀 38,382評(píng)論 3 400
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼芜抒,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了托启?” 一聲冷哼從身側(cè)響起宅倒,我...
    開(kāi)封第一講書(shū)人閱讀 37,006評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎屯耸,沒(méi)想到半個(gè)月后拐迁,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,512評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡疗绣,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,965評(píng)論 2 325
  • 正文 我和宋清朗相戀三年线召,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片多矮。...
    茶點(diǎn)故事閱讀 38,094評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡缓淹,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出塔逃,到底是詐尸還是另有隱情讯壶,我是刑警寧澤,帶...
    沈念sama閱讀 33,732評(píng)論 4 323
  • 正文 年R本政府宣布湾盗,位于F島的核電站伏蚊,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏格粪。R本人自食惡果不足惜躏吊,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,283評(píng)論 3 307
  • 文/蒙蒙 一肺孵、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧颜阐,春花似錦平窘、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,286評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至肤舞,卻和暖如春紫新,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背李剖。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,512評(píng)論 1 262
  • 我被黑心中介騙來(lái)泰國(guó)打工芒率, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人篙顺。 一個(gè)月前我還...
    沈念sama閱讀 45,536評(píng)論 2 354
  • 正文 我出身青樓偶芍,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親德玫。 傳聞我的和親對(duì)象是個(gè)殘疾皇子匪蟀,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,828評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容