14篇文章 · 21642字 · 2人關(guān)注
-
Kafka參數(shù)producer.type
producer還分為同步和異步模式，由屬性producer.type指定，默認(rèn)是sync表谊，即同步發(fā)送模式橘沥。 mmap和producer.typ...
-
Kafka的零拷貝技術(shù)kafka中的消費(fèi)者在讀取服務(wù)端的數(shù)據(jù)時(shí)毅戈，需要將服務(wù)端的磁盤文件通過網(wǎng)絡(luò)發(fā)送到消費(fèi)者進(jìn)程搓扯，網(wǎng)絡(luò)發(fā)送需要經(jīng)過幾種網(wǎng)絡(luò)節(jié)點(diǎn)。如下圖所示： 傳統(tǒng)的讀取...
-
Kafka的存儲(chǔ)機(jī)制以及可靠性
一包归、kafka的存儲(chǔ)機(jī)制 kafka通過topic來分主題存放數(shù)據(jù)锨推，主題內(nèi)有分區(qū)，分區(qū)可以有多個(gè)副本，分區(qū)的內(nèi)部還細(xì)分為若干個(gè)segment换可。 ...
-
調(diào)優(yōu)Kafka調(diào)優(yōu)目標(biāo) 在做調(diào)優(yōu)之前椎椰，我們必須明確優(yōu)化 Kafka 的目標(biāo)是什么。通常來說沾鳄，調(diào)優(yōu)是為了滿足系統(tǒng)常見的非功能性需求慨飘。在眾多的非功能性需求中，性能...
-
sarama 使用遇到的問題
sarama是kafka go語(yǔ)言的的一個(gè)框架译荞，star數(shù)也挺高的瓤的，這里記錄下使用遇到的一些問題。 跟著官方給的例子學(xué)習(xí)吞歼，文件consumer_...
-
Kafka常用命令
創(chuàng)建topic ./kafka-topics.sh --create --zookeeper localhost:2181 --replicat...
-
Kafka 消息壓縮與解壓縮壓縮秉承了用時(shí)間去換空間的經(jīng)典 trade-off 思想圈膏，具體來說就是用 CPU 時(shí)間去換磁盤空間或網(wǎng)絡(luò) I/O 傳輸量，希望以較小的 CPU ...
-
Kafka 分區(qū)策略我們?cè)谑褂?Apache Kafka 生產(chǎn)和消費(fèi)消息的時(shí)候篙骡，肯定是希望能夠?qū)?shù)據(jù)均勻地分配到所有服務(wù)器上稽坤。比如很多公司使用 Kafka 收集應(yīng)用...
-
Kafka Topic 、JVM 糯俗、操作系統(tǒng)參數(shù)
Topic 級(jí)別參數(shù) 你可能會(huì)有這樣的疑問：如果同時(shí)設(shè)置了 Topic 級(jí)別參數(shù)和全局 Broker 參數(shù)尿褪，到底聽誰(shuí)的呢？哪個(gè)說了算呢得湘？答案就是...
