下面我們來(lái)說(shuō)一下Kafka是怎么處理日志的。Kafka中的日志就像數(shù)據(jù)庫(kù)中的記錄袭异，或者是commit log一樣的日志含末，是按照時(shí)間順序?qū)懭氲拇澹荎afka并不是直接將message直接寫(xiě)到日志里的怀挠，而是把消息和timestamp,version等信息一起放到record里存儲(chǔ)的勿她。
當(dāng)然這樣查找大量的數(shù)據(jù)效率就會(huì)比較低术奖。Kafka解決查詢(xún)效率的手段之一是將數(shù)據(jù)文件分段腰奋，比如有100條Message，它們的offset是從0到99曙痘。假設(shè)將數(shù)據(jù)文件分成5段芳悲，第一段為0-19立肘，第二段為20-39边坤，以此類(lèi)推名扛，每段放在一個(gè)單獨(dú)的數(shù)據(jù)文件里面，數(shù)據(jù)文件以該段中最小的offset命名茧痒。這樣在查找指定offset的Message的時(shí)候肮韧，用二分查找就可以定位到該Message在哪個(gè)段中。
數(shù)據(jù)文件分段使得可以在一個(gè)較小的數(shù)據(jù)文件中查找對(duì)應(yīng)offset的Message了旺订，但是這依然需要順序掃描才能找到對(duì)應(yīng)offset的Message弄企。為了進(jìn)一步提高查找的效率，Kafka為每個(gè)分段后的數(shù)據(jù)文件建立了索引文件区拳，文件名與數(shù)據(jù)文件的名字是一樣的拘领，只是文件擴(kuò)展名為.index。
索引文件中包含若干個(gè)索引條目樱调，每個(gè)條目表示數(shù)據(jù)文件中一條Message的索引约素。索引包含兩個(gè)部分（均為4個(gè)字節(jié)的數(shù)字），分別為相對(duì)offset和position笆凌。
index文件中每隔一定字節(jié)的數(shù)據(jù)建立一條索引圣猎。這樣避免了索引文件占用過(guò)多的空間，從而可以將索引文件保留在內(nèi)存中乞而。但缺點(diǎn)是沒(méi)有建立索引的Message也不能一次定位到其在數(shù)據(jù)文件的位置送悔，從而需要做一次順序掃描，但是這次順序掃描的范圍就很小了爪模。
Kafka的日志處理就介紹到這里了欠啤。
深入理解Kafka (七) 日志處理
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門(mén)，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)憾赁，“玉大人污朽，你說(shuō)我怎么就攤上這事×迹” “怎么了蟆肆？”我有些...
- 文/不壞的土叔 我叫張陵矾睦，是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我炎功，道長(zhǎng)枚冗，這世上最難降的妖魔是什么？ 我笑而不...
- 正文 為了忘掉前任蛇损，我火速辦了婚禮赁温，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘淤齐。我一直安慰自己股囊，他們只是感情好，可當(dāng)我...
- 文/花漫 我一把揭開(kāi)白布更啄。 她就那樣靜靜地躺著稚疹，像睡著了一般。 火紅的嫁衣襯著肌膚如雪祭务。 梳的紋絲不亂的頭發(fā)上内狗，一...
- 那天，我揣著相機(jī)與錄音待牵，去河邊找鬼其屏。 笑死，一個(gè)胖子當(dāng)著我的面吹牛缨该，可吹牛的內(nèi)容都是我干的偎行。 我是一名探鬼主播，決...
- 文/蒼蘭香墨 我猛地睜開(kāi)眼贰拿，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼蛤袒！你這毒婦竟也來(lái)了？” 一聲冷哼從身側(cè)響起膨更，我...
- 序言：老撾萬(wàn)榮一對(duì)情侶失蹤妙真，失蹤者是張志新（化名）和其女友劉穎，沒(méi)想到半個(gè)月后荚守，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體珍德，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年矗漾，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了锈候。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
- 正文 年R本政府宣布谷市，位于F島的核電站，受9級(jí)特大地震影響击孩，放射性物質(zhì)發(fā)生泄漏迫悠。R本人自食惡果不足惜，卻給世界環(huán)境...
- 文/蒙蒙 一溯壶、第九天 我趴在偏房一處隱蔽的房頂上張望及皂。 院中可真熱鬧甫男，春花似錦且改、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至若治，卻和暖如春慨蓝，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背端幼。 一陣腳步聲響...
- 正文 我出身青樓此熬，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親滑进。 傳聞我的和親對(duì)象是個(gè)殘疾皇子犀忱，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- 上個(gè)世紀(jì)90年年代，是一個(gè)風(fēng)云變幻的時(shí)代扶关。 政治逐漸走向穩(wěn)定阴汇，經(jīng)濟(jì)上涌動(dòng)的和今天的中國(guó)相似的創(chuàng)業(yè)熱潮，從工作公務(wù)員...
- 有多少孩子的創(chuàng)新止于嘗試节槐？ 有多少家長(zhǎng)和孩子溝通時(shí)搀庶，慣用以上對(duì)下的權(quán)勢(shì)？ 有多少孩子是玩具帶大的铜异？ 又有多少家長(zhǎng)除...
- 我記得很久很久之前哥倔，我和我爸坐在床邊，我認(rèn)真的指著手機(jī)上的國(guó)際時(shí)間熙掺，跟他講未斑，你這個(gè)時(shí)間千萬(wàn)不要給我打電話(huà)，因?yàn)槟抢?..
