背景

在早期的GPU監(jiān)控中我們會(huì)使用一些NVML工具來對(duì)GPU卡的基本信息進(jìn)行采集赦肃，并持久化到監(jiān)控系統(tǒng)的數(shù)據(jù)存儲(chǔ)層履因。因?yàn)槲覀冎溃鋵?shí)通過nvidia-smi這樣的命令也是可以獲取到GPU的基本信息的拉背，但隨著整個(gè)AI市場(chǎng)的發(fā)展和成熟断箫，對(duì)于GPU的監(jiān)控也越來越需要一套標(biāo)準(zhǔn)化的工具體系，也就是本篇文章講的關(guān)于DCGM相關(guān)的監(jiān)控解決方案。

簡(jiǎn)介

DCGM(Data Center GPU Manager)即數(shù)據(jù)中心GPU管理器寞秃，是一套用于在集群環(huán)境中管理和監(jiān)視Tesla?GPU的工具斟叼。

它包括主動(dòng)健康監(jiān)控偶惠，全面診斷春寿，系統(tǒng)警報(bào)以及包括電源和時(shí)鐘管理在內(nèi)的治理策略。

它可以由系統(tǒng)管理員獨(dú)立使用忽孽，并且可以輕松地集成到NVIDIA合作伙伴的集群管理绑改，資源調(diào)度和監(jiān)視產(chǎn)品中。

DCGM簡(jiǎn)化了數(shù)據(jù)中心中的GPU管理兄一，提高了資源可靠性和正常運(yùn)行時(shí)間厘线，自動(dòng)化了管理任務(wù)，并有助于提高整體基礎(chǔ)架構(gòu)效率出革。

DCGM采集GPU指標(biāo)的實(shí)現(xiàn)都封裝在 libdcgm.so 庫(kù)中

指標(biāo)含義

dcgm-exporter采集指標(biāo)項(xiàng)以及含義:

dcgm_fan_speed_percent：GPU 風(fēng)扇轉(zhuǎn)速占比（%）
dcgm_sm_clock：GPU sm 時(shí)鐘(MHz)
dcgm_memory_clock：GPU 內(nèi)存時(shí)鐘(MHz)
dcgm_gpu_temp：GPU 運(yùn)行的溫度(℃)
dcgm_power_usage：GPU 的功率（w）
dcgm_pcie_tx_throughput：GPU PCIe TX傳輸?shù)淖止?jié)總數(shù) （kb）
dcgm_pcie_rx_throughput：GPU PCIe RX接收的字節(jié)總數(shù) （kb）
dcgm_pcie_replay_counter：GPU PCIe重試的總數(shù)
dcgm_gpu_utilization：GPU 利用率（%）
dcgm_mem_copy_utilization：GPU 內(nèi)存利用率（%）
dcgm_enc_utilization：GPU 編碼器利用率 （%）
dcgm_dec_utilization：GPU 解碼器利用率 (%)
dcgm_xid_errors：GPU 上一個(gè)xid錯(cuò)誤的值
dcgm_power_violation：GPU 功率限制導(dǎo)致的節(jié)流持續(xù)時(shí)間(us)
dcgm_thermal_violation：GPU 熱約束節(jié)流持續(xù)時(shí)間(us)
dcgm_sync_boost_violation：GPU 同步增強(qiáng)限制造壮，限制持續(xù)時(shí)間(us)
dcgm_fb_free：GPU fb（幀緩存）的剩余（MiB）
dcgm_fb_used：GPU fb （幀緩存）的使用 （MiB）

其實(shí)到這，DCGM的工具集已經(jīng)完整的將我們需要的 GPU 的metrics數(shù)據(jù)采集出來了骂束，并且是符合prometheus的數(shù)據(jù)格式和標(biāo)準(zhǔn)的耳璧，此時(shí)，我們可以根據(jù)實(shí)際的情況編寫一個(gè)簡(jiǎn)單的api程序展箱，將采集到的數(shù)據(jù)以api的形式暴露出去旨枯，就可以讓整個(gè)prometheus server對(duì)各個(gè) GPU 主機(jī)的metrics進(jìn)行采集和監(jiān)控。

啟動(dòng)參數(shù)

三種啟動(dòng)模式

DCGM 可以通過三種模式來啟動(dòng)：

• Embedded：在當(dāng)前進(jìn)程內(nèi)啟動(dòng) hostengine败潦。

• Standalone：連接到指定地址的、已經(jīng)在運(yùn)行的 nv-hostengine准脂，可以通過 -connect "IP:PORT/Socket" -socket "isSocket" 來指定目標(biāo)地址劫扒。

• StartHostengine：通過打開 Unix socket的方式來啟動(dòng)并連接到 nv-hostengine，并在退出時(shí)終止 nv-hostengine狸膏。

DeviceOptions

type DeviceOptions struct {
    Flex             bool  // 如果為true沟饥，則監(jiān)聽所有不支持MIG的GPU信息，或支持MIG的GPU實(shí)例信息
    GpuRange         []int // 要監(jiān)聽的GPU的索引列表，如果是-1贤旷，則表示監(jiān)聽所有GPU
    GpuInstanceRange []int // 要監(jiān)聽的GPU實(shí)例的索引列表广料，如果是-1，則表示監(jiān)聽所有GPU實(shí)例
}

啟動(dòng)過程

1. 把命令行參數(shù)轉(zhuǎn)成*dcgmexporter.Config

2. 如果使用遠(yuǎn)程hostengine幼驶，則采用 Standalone 啟動(dòng)模式艾杏，否則以 Embedded 模式啟動(dòng)。

   1. 初始化 DCGM

      1. 加載 libdcgm.so

3. 判斷是否需要收集 DCP 相關(guān)指標(biāo)

4. 創(chuàng)建 ch channel用于傳遞指標(biāo)數(shù)據(jù)

5. 創(chuàng)建 *dcgmexporter.MetricsPipeline 實(shí)例

   1. 從--configmap-data 指定的 ConfigMap中解析要采集的指標(biāo)信息

      1. 初始化 kubernetes.Interface

      2. 獲取目標(biāo)ConfigMap盅藻，并解析“metrics”配置

   2. 如果從ConfigMap中解析失敗购桑，則從 --collectors 指定的 csv 文件中解析要采集的指標(biāo)信息

   3. 創(chuàng)建 *dcgmexporter.DCGMCollector 實(shí)例

      1. 初始化 *dcgmexporter.SystemInfo 實(shí)例

         1. 獲取 GPU 設(shè)備數(shù)量

         2. 獲取每個(gè) GPU 的詳細(xì)信息，包括 GPU編號(hào)氏淑、DCGM可支持勃蜘、UUID、功率（W）假残、PCI信息（BusID缭贡、BAR1、FBTotal辉懒、帶寬）阳惹、設(shè)備標(biāo)志（品牌、模式耗帕、序列號(hào)穆端、Vbios、驅(qū)動(dòng)版本等）仿便、P2PLink列表体啰、CPU親和性

         3. 獲取GPU實(shí)例的層級(jí)結(jié)構(gòu)

         4. 根據(jù)層級(jí)結(jié)構(gòu)判斷GPU是否支持MIG，及關(guān)聯(lián)的 GPU 實(shí)例信息

         5. 設(shè)置 DeviceOptions

      2. 獲取hostname

      3. SetupDcgmFieldsWatch嗽仪，并返回對(duì)應(yīng)的 cleanup 方法（用于資源回收）

         1. 通過 *dcgmexporter.SystemInfo 信息創(chuàng)建分組

            1. 根據(jù) SystemInfo 和 DeviceOptions 獲取要監(jiān)控的實(shí)體（包括GPU和GPU實(shí)例）

            2. 創(chuàng)建Group及其cleanup方法

            3. 將被監(jiān)控實(shí)體加入分組

         2. 創(chuàng)建 FileGroup 及其cleanup方法

         3. WatchFieldGroup

   4. 如果需要支持kubernetes指標(biāo)映射到pod荒勇，創(chuàng)建 *dcgmexporter.PodMapper 實(shí)例

   5. 封裝成 *dcgmexporter.MetricsPipeline 實(shí)例

6. 創(chuàng)建 *dcgmexporter.MetricsServer 實(shí)例，并將 ch channel 傳給 MetricsServer闻坚，賦值給 metricsChan 字段

   1. 啟動(dòng) HTTP 服務(wù)沽翔，用于處理 /health、/metrics 路徑請(qǐng)求

7. 執(zhí)行 MetricsPipeline.Run() 方法窿凤，并將 ch channel 傳給 Run() 方法仅偎，用于寫入指標(biāo)數(shù)據(jù)

   1. 啟動(dòng)定時(shí)器，定期執(zhí)行 MetricsPipeline.run() 方法

      1. 執(zhí)行 gpuCollector.GetMetrics() 方法雳殊，獲取指標(biāo)數(shù)據(jù)

         1. 從 *dcgmexporter.SystemInfo 實(shí)例中獲取要監(jiān)控的實(shí)體信息（包括GPU橘沥、GPU實(shí)例）

         2. 遍歷目標(biāo)實(shí)體，獲取最新的指標(biāo)數(shù)據(jù)夯秃，并轉(zhuǎn)化成 Prometheus 指標(biāo)格式

         3. 返回指標(biāo)數(shù)據(jù)

      2. 通過 PodMapper 將指標(biāo)數(shù)據(jù)和 Pod 進(jìn)行映射

      3. 對(duì)指標(biāo)數(shù)據(jù)進(jìn)行格式化

   2. 將結(jié)果寫入 ch channel

8. 執(zhí)行 MetricsServer.Run() 方法

   1. 啟動(dòng)HTTP服務(wù)

   2. 從 metricsChan 接收指標(biāo)數(shù)據(jù)

9. 監(jiān)聽系統(tǒng)中斷信號(hào)座咆，如果監(jiān)聽到中斷信號(hào)痢艺，則進(jìn)行停止或重啟操作

參考文檔

基于DCGM和Prometheus的GPU監(jiān)控方案