kafka
kafka說說它的特性蕴潦，客戶端offset宕機(jī)后匣缘，同一個(gè)topic客戶端能不能接上它消費(fèi)？ 不能，只能客戶端本地記錄offset途茫。
kafka 各個(gè)模塊概念 kafka 高水位（不會(huì)）
17、Kafka 選主怎么做的？ 18、kafka 與 rabbitmq區(qū)別始鱼； 19、kafka 分區(qū)怎么同步的脆贵？ 20医清、kafka 怎么保證不丟消息的？kafka partition broker consumer consumer group topic 等都是啥關(guān)系卖氨？ 21会烙、kafka 為什么可以扛住這么高的qps？(shopee 蝦皮)
2筒捺、kafka 的消息的順序一致性如何保證柏腻？ 3、kafka 的消息可靠性如何保證系吭？ 4五嫂、kafka 的 controller 選舉和 leader 選舉；
4肯尺、kafka的架構(gòu)沃缘，如何用kafka保證消息的有序性？(京東)
3则吟、kafka如何保證消息的順序性（partition分區(qū))(多益大數(shù)據(jù))
kafka消費(fèi)有序原因(字節(jié))
7槐臀、kafka特點(diǎn)？ 使用場景 逾滥？ 8峰档、kafka的分區(qū) ？kafka一個(gè)生產(chǎn)者可以把消息發(fā)到多個(gè)分區(qū)嗎寨昙？ 9讥巡、kafka消息在磁盤上的組織方式 (字節(jié))
kafka topic partition介紹下 一個(gè) partition對(duì)應(yīng)多少 生產(chǎn)者（不限），對(duì)應(yīng)多少消費(fèi)者（?）(騰訊PCG)
如果生產(chǎn)者生產(chǎn)的數(shù)據(jù)量很多舔哪，消費(fèi)者來不及消費(fèi)這些數(shù)據(jù)怎么辦欢顷，kafka的機(jī)制（百度）
kafka怎么保證消費(fèi)成功(字節(jié))
3、Kafka是如何實(shí)現(xiàn)高吞吐率的捉蚤？ （1）順序讀寫：kafka的消息是不斷追加到文件中的抬驴，這個(gè)特性使kafka可以（2）充分利用磁盤的順序讀寫性能 （3）零拷貝：跳過“用戶緩沖區(qū)”的拷貝，建立一個(gè)磁盤空間和內(nèi)存的直接映射缆巧，數(shù)據(jù)不再復(fù)制到“用戶態(tài)緩沖區(qū)” （4）文件分段：kafka的隊(duì)列topic被分為了多個(gè)區(qū)partition布持，每個(gè)partition又分為多個(gè)段segment，所以一個(gè)隊(duì)列中的消息實(shí)際上是保存在N多個(gè)片段文件中 （5）批量發(fā)送：Kafka允許進(jìn)行批量發(fā)送消息陕悬，先將消息緩存在內(nèi)存中题暖，然后一次請求批量發(fā)送出去 （6）數(shù)據(jù)壓縮：Kafka還支持對(duì)消息集合進(jìn)行壓縮，Producer可以通過GZIP或Snappy格式對(duì)消息集合進(jìn)行壓縮（京東）
6、kafka為什么性能高胧卤？(餓了么)
4唯绍、kafka如何確保消息不丟失 （YY）
2、kafka生產(chǎn)端怎么實(shí)現(xiàn)冪等的 3枝誊、kafka如何實(shí)現(xiàn)分布式消息 4况芒、kafka的副本同步機(jī)制的理解 5、kafka怎么進(jìn)行消息寫入的ack(騰訊)
9叶撒、說一下kafka的topic绝骚，partition，broker概念 10痊乾、kafka的主從選舉機(jī)制 （字節(jié)）
kafka中producer的ack設(shè)置 19. kafka中topic和partition和broker的關(guān)系 (網(wǎng)易)
kafka的ISR隊(duì)列 leader選舉 kafka的消息重復(fù)和丟失怎么解決 zookeeper在kafka中的作用 還講了下zookeeper底層是怎么實(shí)現(xiàn)的 還問了下kafka的應(yīng)用場景(小米)
Kafka的數(shù)據(jù)積壓和數(shù)據(jù)傾斜問題（河貍家）
29皮壁、是什么原因讓你選型了kafka（kafka的特性），問的比較深的會(huì)問kafka isr機(jī)制哪审，partition的選舉
kafka怎么實(shí)現(xiàn)數(shù)據(jù)的分類處理蛾魄，就是一些數(shù)據(jù)需要?jiǎng)h除一些數(shù)據(jù)要保存什么的。 kafka遇到什么問題湿滓，如果數(shù)據(jù)過多會(huì)有什么問題滴须。(大華)
3、kafka底層的結(jié)構(gòu)有研究嗎叽奥？ redis和kafka這些相互之間怎么通信的扔水？（美團(tuán)）
5、kafka的高可用是怎么保證的朝氓？ 6魔市、kafka遇到什么性能瓶頸？ 7赵哲、了解kafka和其他MQ之間的區(qū)別嗎待德？比如說activeMQ。 8枫夺、kafka的哪些設(shè)計(jì)會(huì)提高它的性能将宪。（字節(jié)）
kafka怎么會(huì)有這么高的效率。 kafka怎么保證消息不重復(fù)不丟失橡庞。
5较坛、kafka的isr和osr。ack有幾種值扒最？（快手）
kafka的副本機(jī)制 副本是怎么同步消息的丑勤？ kafka的消費(fèi)者組你知道嗎？他們是怎么消費(fèi)消息的吧趣。怎么找到消息的法竞，消費(fèi)的是哪一個(gè)副本除呵？ (京東)
18、對(duì)kafka本身有什么了解爪喘？kafka的Topic了解嗎？原理纠拔，topic的結(jié)構(gòu)設(shè)計(jì)秉剑，Topic是個(gè)什么東西？ 19稠诲、消費(fèi)的是leader分區(qū)的還是follwer也可以讀侦鹏？ 20、為什么不能讀follwer臀叙？ 21略水、什么情況會(huì)產(chǎn)漏讀呢？消費(fèi)者可能會(huì)丟消息劝萤。 22渊涝、知道ISR隊(duì)列？ 23床嫌、一般leader怎么判斷follwer掛掉跨释？ 24、超時(shí)時(shí)間一般是多少厌处？ 25鳖谈、kafka通過什么方式學(xué)？ （跟誰學(xué)）
12阔涉、kafka的數(shù)據(jù)是自己生成的嗎缆娃？有沒有嘗試自己設(shè)置kafka的offset。（58）
kafka為什么高吞吐(猿輔導(dǎo))
kafka 是如何解決大數(shù)據(jù)量的問題（高吞吐的原因）瑰排？如果不在允許增加分區(qū)的情況下贯要，kafka 是如何解決生產(chǎn)者生產(chǎn)大大數(shù)量的，怎樣防止數(shù)據(jù)的堆積凶伙？（沒回答到點(diǎn)上郭毕，今天剛看過，其實(shí)可以從kafka 的特性上來說） 4函荣、zookeeper 對(duì)于 kafka 的作用显押？4.kafka 的高吞吐是如何實(shí)現(xiàn)的？（ 有贊）
kafka如果丟數(shù)據(jù)怎么辦 kafka如果生產(chǎn)端并發(fā)量很高傻挂，broker不能承受乘碑，怎么解決這個(gè)問題 （B站）
kafka解決兩個(gè)客戶端消費(fèi)數(shù)據(jù)的問題 （一點(diǎn)資訊）
12、Flink消費(fèi)kafka數(shù)據(jù)時(shí)金拒，如果kafka充分區(qū)兽肤，F(xiàn)iink會(huì)不會(huì)受到影響 （貝殼）
7.kafka高吞吐的原因（字節(jié)跳動(dòng)）
9.場景：使用kafka時(shí)候發(fā)生宕機(jī)套腹，重啟后怎么從上次消費(fèi)的地方接著處理？
1.kafka架構(gòu) 2.kafka如何主副同步 3.kafka的優(yōu)勢 5.kafka生成者客戶端有幾個(gè)線程
9.sparkstreaming直連kafka時(shí)资铡，Kafka在某一時(shí)刻分區(qū)數(shù)增加了电禀，下游的spark怎么知道的 10.kafka中消費(fèi)者組是怎么回事？為什么kafka要設(shè)有消費(fèi)者組笤休？作用是什么 11.kafka中producer,broker,cousumer的關(guān)系
8.kafka的消費(fèi)者組是怎么回事尖飞，為什么有消費(fèi)者組，作用是啥（京東）
12.kafka在消費(fèi)完之后店雅，提交offset之前政基，機(jī)器掛了，怎么處理 13.如何知道sparkstreaming當(dāng)前消費(fèi)到了kafka的哪些分區(qū)闹啦，以及消費(fèi)到的offset到哪了
kafka副本機(jī)制
kafka的組成部分 說一下消費(fèi)者組是如何消費(fèi)數(shù)據(jù)的 kafka有什么特點(diǎn)沮明？高吞吐量低延遲是怎么實(shí)現(xiàn)的，生產(chǎn)者異步提交窍奋，順序?qū)懠鼋。x寫用到零拷貝 一面kafka高吞吐量的原因沒說全，讓補(bǔ)充說了一下琳袄，我說了批提交和消費(fèi)者組同時(shí)進(jìn)行進(jìn)行消費(fèi)摧扇，然后還問了一下零拷貝的具體原理 （京東）
介紹一下kafka kafka消息的有序性 場景題：kafka如何保證多次修改一個(gè)商品的價(jià)格的順序
kafka： 特點(diǎn)：高吞吐量低延遲 為什么具有這樣的特點(diǎn)，零拷貝挚歧，順序?qū)懀╧afka有用到零拷貝嗎扛稽？有啊；骸） 還有什么提高吞吐量的方法在张？異步生產(chǎn) coding
kafka底層了解嗎；副本機(jī)制了解嗎 （恒生）
kafka:發(fā)消息的流程comsumer group vs partition comsumer rebalance?ISR?消息堆積處理方法矮慕？ 要么加線程(partitoin) 要么批量成批poll, 事務(wù)功能關(guān)閉增加partition帮匾，consumer數(shù)量，consumer用工作線程加阻塞隊(duì)列來接收痴鳄，如果是有大量提交失敗導(dǎo)致重復(fù)消費(fèi)瘟斜，需要看一下原因session.timeout.ms(字節(jié))
12.kafka是push還是pull?partition的數(shù)據(jù)如何保存到硬盤？
5.為什么要用kafka痪寻？kafka中的broker是什么螺句？kafka是如何實(shí)現(xiàn)分區(qū)的？
kafka如何防止消息重復(fù)消費(fèi)等橡类，以及消息丟失問題
3.如何保證消息隊(duì)列的高可用啊?如何保證消息不被重復(fù)消費(fèi)啊? 4.kafka,activemq,rabbitmq,rocketmq都有什么優(yōu)點(diǎn),缺點(diǎn)啊? 5.如果讓你寫一個(gè)消息隊(duì)列蛇尚，該如何進(jìn)行架構(gòu)設(shè)計(jì)啊?
kafka如何保證高吞吐
問到kafka的事務(wù) kafka的消息恢復(fù)機(jī)制
kafka如何保證消息可靠性？ 重復(fù)發(fā)送顾画，數(shù)據(jù)落地取劫，確認(rèn)信號(hào) push和pull有什么區(qū)別?
kafka的工作機(jī)制匆笤，消息獲取是拉還是推的
kafka 消息隊(duì)列的使用場景 kafka如何保證消息投遞的可靠性
9 為什么用kafka，kafka怎么實(shí)現(xiàn)的高可用 10 kafka怎么處理丟消息谱邪； 11 kafka怎么保證冪等炮捧； 12 kafka怎么保證只有一個(gè)消費(fèi)者消費(fèi)； 13 消息隊(duì)列有哪些應(yīng)用場景
7惦银、kafka的消費(fèi)者寓盗，如何保證不消費(fèi)到重復(fù)的數(shù)據(jù)？通過提交offset璧函，并保證數(shù)據(jù)的冪等性。通郴裕可以怎么做蘸吓？保存在redis和Mysql有什么區(qū)別？如果有一條offset對(duì)應(yīng)的數(shù)據(jù)撩幽，消費(fèi)完成之后库继，手動(dòng)提交失敗，如何處理窜醉？回滾宪萄，利用Kafka的事務(wù)解決。介紹下Kafka的事務(wù)榨惰。
5.kafka消息消費(fèi)容錯(cuò)機(jī)制拜英； (人人)
2.為什么kafka需要集群，估計(jì)kafka吞吐量多少 （票牛網(wǎng)）
kafka的replicas的作用琅催，為什么比其他的消息隊(duì)列好居凶。(菜鳥)
項(xiàng)目中你用過消息隊(duì)列，為什么要用消息隊(duì)列呢藤抡？-----------說白了就是業(yè)務(wù)場景侠碧，順便考察了面試者的開發(fā)項(xiàng)目經(jīng)驗(yàn)。 如果項(xiàng)目中用了消息隊(duì)列缠黍，會(huì)有哪些優(yōu)點(diǎn)和缺點(diǎn)呢弄兜？（結(jié)合自己的實(shí)際項(xiàng)目把不用消息隊(duì)列時(shí)的耦合擴(kuò)展成本太高、同步時(shí)效太長瓷式、并發(fā)造成的請求壓力……詳細(xì)介紹下替饿，主要還是項(xiàng)目中的實(shí)踐）會(huì)有哪些項(xiàng)目中遇到的坑，如何避免這些坑贸典？（MQ屬于第三方的一個(gè)產(chǎn)品盛垦，引入系統(tǒng)中當(dāng)然會(huì)增加業(yè)務(wù)邏輯對(duì)該產(chǎn)品的依賴，而且提防這個(gè)MQ產(chǎn)品掛掉瓤漏，提防MQ重復(fù)發(fā)送腾夯，丟失消息颊埃，或者由于內(nèi)部某個(gè)線程延時(shí)導(dǎo)致消息順序紊亂，） 你接觸的消息隊(duì)列產(chǎn)品有哪些蝶俱？它們有什么異同之處班利？---------RocketMQ、RabbitMQ榨呆、activeMQ罗标、kafka……這應(yīng)該是有不同的吞吐量，說實(shí)話不清楚它們具體的異同积蜻，我只用過一種闯割。。竿拆。宙拉。。自己有興趣自己查吧 如何保證消息隊(duì)列的高可用丙笋？------聊集群相關(guān)的應(yīng)用場景谢澈，本來消息隊(duì)列就是為了大規(guī)模數(shù)據(jù)請求引入的一個(gè)第三方產(chǎn)品，單機(jī)版的豈不是畫蛇添足御板？ 消息隊(duì)列重復(fù)消費(fèi)情況------對(duì)于kafka會(huì)有一個(gè)消息編號(hào)锥忿，專業(yè)術(shù)語offset。消費(fèi)者按照編號(hào)順序消費(fèi)隊(duì)列怠肋，并且定時(shí)上交消費(fèi)記錄敬鬓，如果出現(xiàn)消費(fèi)者宕機(jī)則重啟以后依照offset編號(hào)繼續(xù)。如果消息隊(duì)列的offset沒有提交消費(fèi)者已經(jīng)消費(fèi)的消息笙各，那么消費(fèi)者重啟后就產(chǎn)生重復(fù)消費(fèi)列林。 如何保證消息隊(duì)列的冪等性---------前面挖的坑，既然有了重復(fù)消息酪惭，那就得去重解決呀希痴。把接收到的消息先查詢一下已寫入的庫，如果不存在那就消費(fèi)春感。相當(dāng)于在數(shù)據(jù)庫寫入之前做一個(gè)查詢驗(yàn)證砌创。 消息隊(duì)列丟失消息的可能性------------生產(chǎn)者弄丟了（消息MQ開啟事務(wù)監(jiān)控MQ是否受到消息但由于同步阻塞原因性能比較低，還有一種屬于異步回調(diào)機(jī)制效率比較高……）鲫懒、MQ宕機(jī)弄丟了（消息隊(duì)列開啟的持久化……創(chuàng)建持久化和發(fā)送時(shí)的設(shè)置持久化缺一不可）嫩实，消費(fèi)者消費(fèi)時(shí)弄丟（消息隊(duì)列的ack機(jī)制……）。 消息隊(duì)列的順序性如何保證窥岩？ 消息隊(duì)列的延時(shí)以及過期失效甲献？ 消息隊(duì)列存滿了，而有上百萬的消息持續(xù)積壓問題------硬件擴(kuò)容颂翼，多加幾臺(tái)機(jī)器消費(fèi)消息晃洒。 如何設(shè)計(jì)一個(gè)消息隊(duì)列架構(gòu)呢慨灭？說說你的看法？---------把消息隊(duì)列就看作一個(gè)假設(shè)在數(shù)據(jù)庫和客戶端請求中間的一個(gè)中間件球及，這個(gè)中間件接受來自成千上萬的客戶端請求氧骤，然后將請求落地到數(shù)據(jù)庫中。而且實(shí)現(xiàn)這個(gè)消息隊(duì)列架構(gòu)要考慮擴(kuò)展（加物理機(jī)分布式架構(gòu)）吃引，安全（順序和丟失問題筹陵，那就為隊(duì)列消息編號(hào)）
4.kafka一致性原理 消費(fèi)時(shí)的消息丟失和重復(fù)如何解決(螞蟻)
11.kafka如何保證不丟消息又不會(huì)重復(fù)消費(fèi)。 (paypal)
簡單說一下RabbitMQ的工作原理镊尺？如何保證消息的順序執(zhí)行朦佩？Kafka了解嗎？和RabbitMQ有什么區(qū)別庐氮？你為啥不用kafka來做语稠，當(dāng)時(shí)怎么考慮的？ (拼多多)
你了解哪些消息中間件旭愧？--------既然引入了消息隊(duì)列，那肯定要對(duì)市面上的一些中間件進(jìn)行調(diào)研……并發(fā)量宙暇、維護(hù)周期输枯、定制功能（kafka日志采集功能）…… 你們公司的生產(chǎn)環(huán)境用的是什么中間件？引入中間件的意義占贫？------結(jié)合項(xiàng)目來說……解耦桃熄、異步、削峰…… 使用消息隊(duì)列會(huì)有哪些缺點(diǎn)型奥？-----可用性上消息隊(duì)列的宕機(jī)瞳收、以及消息中間件導(dǎo)致的消息丟失、數(shù)據(jù)一致厢汹、數(shù)據(jù)重復(fù)螟深、數(shù)據(jù)順序……一系列新問題。 既然有了問題烫葬，那如何規(guī)避和解決上述問題呢界弧？--------高可用方面，Master和Slave的***搭综；數(shù)據(jù)重復(fù)消費(fèi)垢箕，數(shù)據(jù)庫的唯一主鍵……；數(shù)據(jù)丟失兑巾，區(qū)分生產(chǎn)者丟失和消息隊(duì)列丟失以及消費(fèi)者丟失數(shù)據(jù)……（TCL）
kafka如何保證不丟消息又不會(huì)重復(fù)消費(fèi)条获。(美團(tuán))
kafka如何保證可靠，高可用蒋歌，冪等(shopee)
kafka的原理帅掘？怎么保證消息不丟失委煤？ （拼多多）
kafka怎么保證消息的順序性？(百度)
kafka（項(xiàng)目用到）的東西：kafka如何保證可靠性锄开，kafka的主從機(jī)制描述下素标，ISR解釋下，消費(fèi)者的配置情況萍悴。（字節(jié)）
2头遭、kafka怎么保證數(shù)據(jù)的exactlyonce？ 3癣诱、offset你們公司如何維護(hù)的计维？為什么不放在mysql？ 4撕予、kafka可以保證數(shù)據(jù)的局部有序鲫惶，如何保證全局有序的？ 5实抡、介紹一下kafka的事務(wù)欠母。（360）
3、Kafka中是怎么體現(xiàn)消息順序性的吆寨？ kafka每個(gè)partition中的消息在寫入時(shí)都是有序的赏淌，消費(fèi)時(shí)，每個(gè)partition只能被每一個(gè)group中的一個(gè)消費(fèi)者消費(fèi)啄清，保證了消費(fèi)時(shí)也是有序的六水。 整個(gè)topic不保證有序。如果為了保證topic整個(gè)有序辣卒，那么將partition調(diào)整為1. （微眾銀行）
7掷贾、kafka的消費(fèi)者，如何保證不消費(fèi)到重復(fù)的數(shù)據(jù)荣茫？通過提交offset想帅，并保證數(shù)據(jù)的冪等性。通撤壤颍可以怎么做博脑？保存在redis和Mysql有什么區(qū)別？如果有一條offset對(duì)應(yīng)的數(shù)據(jù)票罐，消費(fèi)完成之后叉趣，手動(dòng)提交失敗，如何處理该押？回滾疗杉，利用Kafka的事務(wù)解決。介紹下Kafka的事務(wù)。
為什么用kafka烟具，kafka怎么實(shí)現(xiàn)的高可用 10 kafka怎么處理丟消息梢什； 11 kafka怎么保證冪等； 12 kafka怎么保證只有一個(gè)消費(fèi)者消費(fèi)朝聋； 13 消息隊(duì)列有哪些應(yīng)用場景嗡午；
歡迎關(guān)注和點(diǎn)贊，以及總結(jié)的分類面試題https://github.com/zhendiao/JavaInterview
