Confluent Cloud 介紹

Confluent Cloud 是一個(gè)完全托管的 Apache Kafka 服務(wù)棍好，提供高可用性和可擴(kuò)展性，旨在簡(jiǎn)化數(shù)據(jù)流處理和實(shí)時(shí)數(shù)據(jù)集成耿焊。用戶可以輕松創(chuàng)建和管理 Kafka 集群，而無需擔(dān)心基礎(chǔ)設(shè)施的維護(hù)和管理遍搞。Confluent Cloud 支持多種數(shù)據(jù)源和目標(biāo)罗侯，允許用戶在云環(huán)境中實(shí)現(xiàn)數(shù)據(jù)流的無縫傳輸和處理。此外溪猿，它還提供強(qiáng)大的工具和功能钩杰，如 Schema Registry、Kafka Connect 和 KSQL诊县，使開發(fā)者能夠快速構(gòu)建和部署流處理應(yīng)用程序讲弄。通過 Confluent Cloud，企業(yè)可以更高效地利用實(shí)時(shí)數(shù)據(jù)依痊，推動(dòng)業(yè)務(wù)創(chuàng)新和數(shù)字化轉(zhuǎn)型避除。

Confluent Cloud 旨在為開發(fā)者和企業(yè)提供一種簡(jiǎn)單、高效的方式來構(gòu)建抗悍、部署和管理實(shí)時(shí)數(shù)據(jù)管道和流式應(yīng)用程序驹饺。以下是 Confluent Cloud 的幾個(gè)關(guān)鍵特點(diǎn)：

- 完全托管：Confluent Cloud 負(fù)責(zé)處理 Kafka 集群的維護(hù)和管理工作，包括配置缴渊、擴(kuò)展赏壹、更新和故障恢復(fù)，讓用戶可以專注于應(yīng)用程序的開發(fā)衔沼。

- 高可用性：提供高可靠性和容錯(cuò)能力蝌借，確保數(shù)據(jù)流和應(yīng)用程序的穩(wěn)定運(yùn)行昔瞧。

- 可擴(kuò)展性：根據(jù)需求自動(dòng)或手動(dòng)擴(kuò)展資源，輕松應(yīng)對(duì)流量高峰菩佑。

- 安全性：提供加密自晰、身份驗(yàn)證和授權(quán)機(jī)制，保護(hù)數(shù)據(jù)安全和隱私稍坯。

- 性能優(yōu)化：自動(dòng)優(yōu)化性能酬荞，包括負(fù)載均衡和分區(qū)管理，以提高數(shù)據(jù)處理效率瞧哟。

- 成本效益：按使用量付費(fèi)混巧，無需預(yù)先投資昂貴的硬件和維護(hù)成本。

可觀測(cè)性對(duì)于 Confluent Cloud 尤為重要勤揩，它能夠提供對(duì)數(shù)據(jù)流和系統(tǒng)性能的深入洞察咧党，實(shí)時(shí)跟蹤其性能指標(biāo)，確保數(shù)據(jù)流的穩(wěn)定性和可靠性陨亡，及時(shí)發(fā)現(xiàn)并解決潛在問題傍衡，優(yōu)化資源分配，并保障業(yè)務(wù)連續(xù)性负蠕。通過監(jiān)控蛙埂，可以獲得關(guān)鍵洞察，比如流量模式虐急、延遲箱残、錯(cuò)誤率等滔迈，從而幫助維護(hù)服務(wù)質(zhì)量止吁，預(yù)防系統(tǒng)故障，并支持?jǐn)?shù)據(jù)驅(qū)動(dòng)的決策制定燎悍。

觀測(cè)云

觀測(cè)云是一款專為 IT 工程師打造的全鏈路可觀測(cè)產(chǎn)品敬惦，它集成了基礎(chǔ)設(shè)施監(jiān)控、應(yīng)用程序性能監(jiān)控和日志管理谈山，為整個(gè)技術(shù)棧提供實(shí)時(shí)可觀察性俄删。這款產(chǎn)品能夠幫助工程師全面了解端到端的用戶體驗(yàn)追蹤，了解應(yīng)用內(nèi)函數(shù)的每一次調(diào)用奏路，以及全面監(jiān)控云時(shí)代的基礎(chǔ)設(shè)施畴椰。此外，觀測(cè)云還具備快速發(fā)現(xiàn)系統(tǒng)安全風(fēng)險(xiǎn)的能力鸽粉，為數(shù)字化時(shí)代提供安全保障斜脂。

部署 DataKit

DataKit 是一個(gè)開源的、跨平臺(tái)的數(shù)據(jù)收集和監(jiān)控工具触机，由觀測(cè)云開發(fā)并維護(hù)帚戳。它旨在幫助用戶收集玷或、處理和分析各種數(shù)據(jù)源，如日志片任、指標(biāo)和事件偏友，以便進(jìn)行有效的監(jiān)控和故障排查。DataKit 支持多種數(shù)據(jù)輸入和輸出格式对供，可以輕松集成到現(xiàn)有的監(jiān)控系統(tǒng)中位他。

登錄[觀測(cè)云控制臺(tái)](https://console.guance.com/)，在集成 -> DataKit 選擇對(duì)應(yīng)安裝方式产场，當(dāng)前采用 Linux 主機(jī)部署 DataKit 棱诱。

指標(biāo)采集

Confluent Cloud 指標(biāo)集成配置

1、登陸 Confluent Cloud 涝动，在 ADMINISTRATION 下選擇 Metrics 迈勋。

2、在 Metrics 頁點(diǎn)擊按鈕 New integration 醋粟，選擇監(jiān)控類型 Prometheus 靡菇。

3、點(diǎn)擊 Generate Cloud API key 按鈕米愿，生成 API Key 厦凤。

4、Resources 選擇 All Kafka clusters育苟，生成 Prometheus 的 scrape_configs 较鼓。

scrape_configs:

? - job_name: Confluent Cloud

? ? scrape_interval: 1m

? ? scrape_timeout: 1m

? ? honor_timestamps: true

? ? static_configs:

? ? ? - targets:

? ? ? ? - api.telemetry.confluent.cloud

? ? scheme: https

? ? basic_auth:

? ? ? username: H5BO.....

? ? ? password: RDCgMwguHMy.....

? ? metrics_path: /v2/metrics/cloud/export

? ? params:

? ? ? "resource.kafka.id":

? ? ? ? - lkc-xxxx

5、點(diǎn)擊頁面 Copy 按鈕進(jìn)行內(nèi)容復(fù)制违柏。

DataKit 采集器配置

由于 Confluent Cloud 能夠直接暴露 metrics url 博烂，所以可以直接通過 prom 采集器進(jìn)行采集。

進(jìn)入 DataKit 安裝目錄下的 `conf.d/prom` 漱竖，復(fù)制 `prom.conf.sample` 為 `confluent_cloud.conf` 禽篱。

cp prom.conf.sample confluent_cloud.conf

調(diào)整 `confluent_cloud.conf` 內(nèi)容如下：

# {"version": "1.61.0-testing_testing-graphite-metric-set", "desc": "do NOT edit this line"}

[[inputs.prom]]

? ## Exporter URLs.

? urls = ["https://api.telemetry.confluent.cloud/v2/metrics/cloud/export?resource.kafka.id=lkc-xxxx"]

? source = "confluent_cloud"

? ## Add HTTP headers to data pulling (Example basic authentication).

? [inputs.prom.http_headers]

? ? Authorization = "Basic QkXXXXXXXXXXXX"

? interval = "60s"

調(diào)整參數(shù)說明 ：

- urls: 將 Confluent Cloud 復(fù)制的內(nèi)容調(diào)整下，拼接成 url 馍惹，如果有多個(gè) kafka 資源躺率，則用逗號(hào)分割。

- Authorization: 將用戶名和密碼轉(zhuǎn)化成 Basic Authorization 格式万矾，可以使用轉(zhuǎn)化工具 http://web.chacuo.net/safebasicauth 悼吱。

- interval: 調(diào)整為 60s ，由于 Confluent Cloud API 限制良狈，這個(gè)值不能小于 60s 后添，低于這個(gè)值將導(dǎo)致無法采集數(shù)據(jù)。

關(guān)鍵指標(biāo)

confluent 指標(biāo)集

場(chǎng)景視圖

登錄觀測(cè)云控制臺(tái)们颜，點(diǎn)擊「場(chǎng)景」 -「新建儀表板」吕朵，輸入 “Confluent Cloud ”猎醇， 選擇 “Confluent Cloud 監(jiān)控視圖”，點(diǎn)擊 “確定” 即可添加內(nèi)置視圖努溃。

監(jiān)控器（告警）

Kafka 消息堆積

滯后量過大硫嘶，表示消費(fèi)者無法及時(shí)處理消息。

Kafka 分區(qū)創(chuàng)建太高

每個(gè)分區(qū)都會(huì)占用一定的磁盤空間梧税，并且需要維護(hù)其狀態(tài)信息沦疾。過多的分區(qū)會(huì)增加磁盤和網(wǎng)絡(luò)I/O的負(fù)載，進(jìn)而導(dǎo)致 Kafka 的性能下降第队。

Kafka 服務(wù)認(rèn)證成功次數(shù)過高報(bào)警

認(rèn)證次數(shù)過高哮塞，可能存在帳號(hào)被攻擊的行為。

總結(jié)

Confluent Cloud 是一個(gè)由 Confluent 提供的全托管 Apache Kafka 服務(wù)凳谦，通過觀測(cè)云對(duì) Confluent Cloud 進(jìn)行全面可觀測(cè)性忆畅，實(shí)時(shí)跟蹤其性能指標(biāo)，確保數(shù)據(jù)流的穩(wěn)定性和可靠性尸执，及時(shí)發(fā)現(xiàn)并解決潛在問題家凯，優(yōu)化資源分配，并保障業(yè)務(wù)連續(xù)性如失。