Lenses是 Apache Kafka的流式數(shù)據(jù)管理平臺(tái)。它提供了Kafka的核心元素以及 web 用戶(hù)界面和企業(yè)功能。這將在使用 Apache Kafka時(shí)為工程團(tuán)隊(duì)、業(yè)務(wù)用戶(hù)、數(shù)據(jù)科學(xué)家和管理員帶來(lái)更好的用戶(hù)體驗(yàn)。
| 特性 | 說(shuō)明 |
|---|---|
| 靈活性 | 查看和存儲(chǔ)任何類(lèi)型的數(shù)據(jù)俗壹。 使用批處理或交互式SQL對(duì)其進(jìn)行操作 |
| 集成 | 有25多個(gè)（開(kāi)源的流響應(yīng)式）Kafka連接器，用于連接到流行的數(shù)據(jù)存儲(chǔ) |
| 安全 | 使用SSL铐姚，LDAP和Kerberos處理和控制敏感數(shù)據(jù) |
| 可擴(kuò)展性 | 提供SQL處理器并通過(guò)Kubernetes和其他可擴(kuò)展模式對(duì)其進(jìn)行擴(kuò)展以適應(yīng)您的需求 |
| 高可用性 | 有信心執(zhí)行實(shí)時(shí)的操作業(yè)務(wù)任務(wù) |
| 監(jiān)控 | 提供基礎(chǔ)架構(gòu)和應(yīng)用拓?fù)銴PI |
| 兼容性 | 可利用你現(xiàn)有的IT基礎(chǔ)架構(gòu) |
| 審計(jì) | 基于角色的訪問(wèn)和審計(jì) |
瀏覽運(yùn)行中的數(shù)據(jù)
Lenses提供了豐富的Web界面以及相關(guān)的REST和WebSocket端點(diǎn)策肝，它們協(xié)同工作使你能夠?qū)崟r(shí)瀏覽Kafka主題，或者通過(guò)完全訪問(wèn)partition/offset/timestamp信息來(lái)瀏覽隐绵、搜索和過(guò)濾歷史數(shù)據(jù)之众。
SQL處理器
使用 SQL 處理器創(chuàng)建無(wú)限數(shù)據(jù)查詢(xún)以聚合、聯(lián)接和/或轉(zhuǎn)換流依许。通過(guò) UI, 你可以可視化監(jiān)視拓?fù)浣Y(jié)構(gòu)甚至擴(kuò)展棺禾。此外, 執(zhí)行計(jì)劃查看器允許你優(yōu)化性能。
流拓?fù)?/h1>
使用Lenses, 你可以現(xiàn)在構(gòu)建和操作復(fù)雜的流式拓?fù)浣Y(jié)構(gòu)峭跳，如ETL數(shù)據(jù)管道膘婶，流處理，以及將多個(gè)Connectors蛀醉，Processors和Topics相結(jié)合的完整數(shù)據(jù)沿襲分析悬襟。
Lenses不僅能夠可視化LSQL處理器的拓?fù)浣Y(jié)構(gòu)，還能夠顯示全局拯刁，高層次的景觀視圖脊岳，包括構(gòu)成企業(yè)管線的主題，連接器和處理器垛玻。
Avro支持
完全支持Avro消息割捅，包括十進(jìn)制類(lèi)型（適用于金融機(jī)構(gòu)），在Lenses SQL Engine中可用帚桩。 Lenses平臺(tái)與你的模式注冊(cè)集成亿驾，并提供豐富的用戶(hù)界面來(lái)創(chuàng)建、編輯和跟蹤模式账嚎。
Kafka連接
通過(guò)Lenses莫瞬，你可以管理多個(gè)“Kafka連接”集群，輕松構(gòu)建流式ETL數(shù)據(jù)管道郭蕉，同時(shí)監(jiān)控連接器及其任務(wù)乏悄。 Lenses包含最大數(shù)量的Apache Kafka連接器（并支持Lenses SQL），適用于包括Cassandra恳不、Elastic、InfluxDB开呐、Azure CosmosDB烟勋、MQTT规求、JMS等在內(nèi)的所有主要數(shù)據(jù)sources和sinks。
消費(fèi)滯后
實(shí)時(shí)監(jiān)控Kafka消費(fèi)滯后并管理消費(fèi)offset卵惦。 設(shè)置警報(bào)以確保你可以擴(kuò)展或采取適當(dāng)?shù)牟僮鳌?/p>
監(jiān)控服務(wù)
通過(guò)JMX為Kafka Brokers阻肿，Zookeeper，Schema Registry和Connect監(jiān)控核心服務(wù)和基礎(chǔ)設(shè)施沮尿。 預(yù)防潛在問(wèn)題并對(duì)其做出響應(yīng)丛塌，并深入了解集群的性能。
警報(bào)
設(shè)置警報(bào)并預(yù)防問(wèn)題畜疾。
審計(jì)
跟蹤Kafka集群的所有更改：主題創(chuàng)建赴邻，配置修改，刪除（針對(duì)模式啡捶，連接器和處理器）姥敛。
安全
Lenses支持基本認(rèn)證和LDAP。 此外瞎暑，還提供了不同的操作員角色來(lái)限制用戶(hù)操作彤敛，為操作員提供了一種在Kafka上提供安全性的方法。 用戶(hù)可以管理主題ACL（訪問(wèn)控制列表）來(lái)限制reader和writer的數(shù)據(jù)了赌。
Hadoop集成
使用CSD包（Cloudera自定義服務(wù)描述符）來(lái)升級(jí)你的數(shù)據(jù)流功能的Cloudera CDH集群墨榄，來(lái)部署、配置勿她、擴(kuò)展和管理你的Apache Kafka集群袄秩。 完全支持Kafka Connect，并允許利用Cloudera Manager集成進(jìn)行監(jiān)控嫂拴。
Lenses SQL引擎
Lenses SQL是一個(gè)多用途引擎播揪，它完全支持Avro和Json負(fù)載類(lèi)型，并且可以執(zhí)行批處理和實(shí)時(shí)流SQL筒狠。
