Kafka
一艺栈、Kafka是一個分布式消息隊列系統(tǒng)傅寡，以集群方式存在放妈。
優(yōu)點：高吞吐率（每秒百萬級）北救；基于多分區(qū)多副本實現(xiàn)高容錯，并發(fā)能力強芜抒；易擴展（增加blocker）等扭倾。
缺點：僅保證分區(qū)內(nèi)有序，不保證topic全局消息有序挽绩。
二膛壹、內(nèi)部原理及實現(xiàn)
Kafka依賴zk，以集群方式工作唉堪，每臺機器稱為一個blocker（與其他分布式環(huán)境不同的是模聋，僅有1臺blocker也能工作），并分別指定blockerId唠亚，kafka中同一類型數(shù)據(jù)以topic形式存在链方，可對topic進行分區(qū)，及指定副本數(shù)灶搜，例如可將 topic1 分區(qū)為3個partition:p0,p1,p2 ;每個分區(qū)副本數(shù)為3祟蚀，則每個分區(qū)塊會均勻的分布在blocker中，對于每個partition割卖，有多個副本前酿，會選出一個leader partition對外接收請求（只有l(wèi)eader partition會接收外部請求，其他follower partition只負責(zé)同步leader數(shù)據(jù)鹏溯，不接收外部請求罢维，包括讀請求，這里與zk不同丙挽，zk的follower會接收讀請求）肺孵。集群有多個blocker，會基于zk選擇出一個Controller颜阐，來管理整個集群平窘，包括blocker管理、topic管理凳怨，partition leader分配等瑰艘。
每個blocker只存儲消息體，不存儲元數(shù)據(jù)（topic信息猿棉；分區(qū)信息：topic有哪些分區(qū)磅叛，哪些副本，分別在哪臺blocker上萨赁，哪個是leader弊琴；consumer信息及讀取消息后提交的偏移量數(shù)據(jù)等），元數(shù)據(jù)存儲在zk中杖爽。
Controller主要功能：
（1）更新元數(shù)據(jù)
若blocker宕機敲董，相關(guān)副本不可用紫皇，需要重新選擇相關(guān)partition的leader，及更新ISR列表腋寨，選舉完畢后聪铺，controller會更新zk中的元數(shù)據(jù)，并廣播給其他blocker（每個blocker都可以對外提供元數(shù)據(jù)信息）
（2）topic管理
新增萄窜、刪除topic
（3）分區(qū)重新分配
通過自帶的 kafka-reassign-partitions 腳本可重新制定topic分區(qū)铃剔，由controller處理請求，重新分配并選擇每個分區(qū)的leader查刻。
（4）partition leader 分配
partition? leader 選舉的原理 ：
1. 在ZooKeeper上創(chuàng)建/admin/preferred_replica_election節(jié)點键兜，并存入需要調(diào)整Preferred Replica的Partition信息。
2. Controller一直Watch該節(jié)點穗泵，一旦該節(jié)點被創(chuàng)建普气，Controller會收到通知，并獲取該內(nèi)容佃延。
3. Controller讀取Preferred Replica现诀，如果發(fā)現(xiàn)該Replica當(dāng)前并非是Leader并且它在該Partition的ISR中，
Controller向該Replica發(fā)送LeaderAndIsrRequest履肃，使該Replica成為Leader仔沿。
如果該Replica當(dāng)前并非是Leader，且不在ISR中榆浓，Controller為了保證沒有數(shù)據(jù)丟失于未，并不會將其設(shè)置為Leader。
（總結(jié)：副本partition向zk創(chuàng)建臨時節(jié)點并寫入數(shù)據(jù)陡鹃，Controller broker監(jiān)聽節(jié)點，一旦創(chuàng)建成功抖坪，獲取其中的消息萍鲸，更新副本Leader及ISR列表，完成選舉擦俐；只會選擇ISR列表中的設(shè)備作為leader）
具體實現(xiàn)：
在kafka中創(chuàng)建一個topic脊阴，controller會接收創(chuàng)建的請求，并在zk的目錄下新增topic節(jié)點
zk中會維護consumer相關(guān)信息：
其他還有什么信息查查zk節(jié)點就知道了蚯瞧。嘿期。。
三埋合、消息生產(chǎn)與消費的流程
Producer 發(fā)送消息到kafka中：
生產(chǎn)者會指定一個blocker servers备徐，與集群中blocker一致。并指定acks級別（發(fā)送完消息后是否等待消息成功寫入kafka的反饋）甚颂。
kafka集群中的任何一個broker,都可以向producer提供metadata信息,這些metadata中包含"集群中存活的servers列表"/"partitions leader列表"等信息(請參看zookeeper中的節(jié)點信息).
當(dāng)producer獲取到metadata信息之后, producer將會和Topic下所有partition leader保持socket連接;
消息由producer直接通過socket發(fā)送到broker,中間不會經(jīng)過任何"路由層".事實上,消息被路由到哪個partition上,由producer客戶端決定.比如可以采用"random""key-hash""輪詢"等,如果一個topic中有多個partitions,那么在producer端實現(xiàn)"消息均衡分發(fā)"是必要的.
在producer端的配置文件中,開發(fā)者可以指定partition路由的方式.
Consumer 消費：
需要為每個Consumer 指定一個Consumer Group蜜猾，不同Group可讀取相同消息秀菱；同一group內(nèi)不同consumer 互斥，不會消費相同的消息蹭睡。
consumer 相關(guān)信息也在zk中維護（屬于哪個consumer group衍菱，讀取哪個topic，不同的分區(qū)分別讀到哪里的偏移量等）肩豁；consumer讀取完消息后可選擇自動提交偏移量 或 手動提交脊串；
Consumer均衡算法：
當(dāng)一個group中,有consumer加入或者離開時,會觸發(fā)partitions均衡.均衡的最終目的,是提升topic的并發(fā)消費能力.
1) 假如topic1,具有如下partitions: P0,P1,P2,P3
2) 加入group中,有如下consumer: C0,C1
3) 首先根據(jù)partition索引號對partitions排序: P0,P1,P2,P3
4) 根據(jù)consumer.id排序: C0,C1
5) 計算倍數(shù): M = [P0,P1,P2,P3].size / [C0,C1].size,本例值M=2(向上取整)
6) 然后依次分配partitions: C0 = [P0,P1],C1=[P2,P3],即Ci = [P(i * M),P((i + 1) * M -1)]
一般情況下可以 1個 consumner負責(zé)一個 partition，如果partition 比consumer多清钥，可以1個consumer負責(zé)多個partition? 提升并發(fā)能力琼锋。。
? 1) Producer端直接連接broker.list列表,從列表中返回TopicMetadataResponse,該Metadata包含Topic下每個partition leader建立socket連接并發(fā)送消息.
? ? 2) Broker端使用zookeeper用來注冊broker信息,以及監(jiān)控partition leader存活性.
? ? 3) Consumer端使用zookeeper用來注冊consumer信息,其中包括consumer消費的partition列表等,同時也用來發(fā)現(xiàn)broker列表,并和partition leader建立socket連接,并獲取消息.
Flume
一循捺、Flume是海量數(shù)據(jù)采集斩例、聚合、傳輸?shù)南到y(tǒng)从橘，廣泛用于日志采集念赶。
內(nèi)置豐富的組件，通過組件間的自由組合恰力，實現(xiàn)不同架構(gòu)的數(shù)據(jù)采集系統(tǒng)叉谜，無需開發(fā)，只需手動配置文件即可實現(xiàn)踩萎。
理解下圖：
